JP2024508046A - 問題のある細胞実体の蛍光ベースの検出 - Google Patents
問題のある細胞実体の蛍光ベースの検出 Download PDFInfo
- Publication number
- JP2024508046A JP2024508046A JP2023572253A JP2023572253A JP2024508046A JP 2024508046 A JP2024508046 A JP 2024508046A JP 2023572253 A JP2023572253 A JP 2023572253A JP 2023572253 A JP2023572253 A JP 2023572253A JP 2024508046 A JP2024508046 A JP 2024508046A
- Authority
- JP
- Japan
- Prior art keywords
- target
- fluorescence
- image
- model
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 50
- 238000004458 analytical method Methods 0.000 claims abstract description 62
- 230000001413 cellular effect Effects 0.000 claims abstract description 61
- 238000000034 method Methods 0.000 claims abstract description 37
- 244000052769 pathogen Species 0.000 claims description 137
- 206010052428 Wound Diseases 0.000 claims description 113
- 208000027418 Wounds and injury Diseases 0.000 claims description 113
- 230000001717 pathogenic effect Effects 0.000 claims description 79
- 238000013528 artificial neural network Methods 0.000 claims description 57
- 238000010801 machine learning Methods 0.000 claims description 45
- 230000003595 spectral effect Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 17
- 238000005286 illumination Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 13
- 231100000241 scar Toxicity 0.000 claims description 10
- 208000015181 infectious disease Diseases 0.000 claims description 9
- 238000001931 thermography Methods 0.000 claims description 6
- 230000015654 memory Effects 0.000 claims description 4
- 238000011160 research Methods 0.000 claims description 4
- 241000894007 species Species 0.000 claims description 4
- 230000029663 wound healing Effects 0.000 claims description 4
- 238000012742 biochemical analysis Methods 0.000 claims description 3
- 230000001338 necrotic effect Effects 0.000 claims description 3
- 238000006213 oxygenation reaction Methods 0.000 claims description 3
- 244000000058 gram-negative pathogen Species 0.000 claims description 2
- 244000000059 gram-positive pathogen Species 0.000 claims description 2
- 230000002547 anomalous effect Effects 0.000 claims 6
- 230000001678 irradiating effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 21
- 210000001519 tissue Anatomy 0.000 description 20
- 210000000988 bone and bone Anatomy 0.000 description 15
- 238000012545 processing Methods 0.000 description 15
- 239000003550 marker Substances 0.000 description 11
- 238000012706 support-vector machine Methods 0.000 description 11
- 230000005284 excitation Effects 0.000 description 9
- 238000001574 biopsy Methods 0.000 description 7
- 230000000287 tissue oxygenation Effects 0.000 description 7
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 229910000831 Steel Inorganic materials 0.000 description 5
- 239000000090 biomarker Substances 0.000 description 5
- 239000010959 steel Substances 0.000 description 5
- 102000053602 DNA Human genes 0.000 description 4
- 108020004414 DNA Proteins 0.000 description 4
- 238000011065 in-situ storage Methods 0.000 description 4
- 230000010287 polarization Effects 0.000 description 4
- 229920002477 rna polymer Polymers 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000017531 blood circulation Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000002073 fluorescence micrograph Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 210000002435 tendon Anatomy 0.000 description 3
- 208000032544 Cicatrix Diseases 0.000 description 2
- 208000008960 Diabetic foot Diseases 0.000 description 2
- 206010063560 Excessive granulation tissue Diseases 0.000 description 2
- 206010020649 Hyperkeratosis Diseases 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 241000589517 Pseudomonas aeruginosa Species 0.000 description 2
- 208000031650 Surgical Wound Infection Diseases 0.000 description 2
- 238000009635 antibiotic susceptibility testing Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 210000001072 colon Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000002316 cosmetic surgery Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 210000003238 esophagus Anatomy 0.000 description 2
- 210000001126 granulation tissue Anatomy 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 229930027945 nicotinamide-adenine dinucleotide Natural products 0.000 description 2
- BOPGDPNILDQYTO-NNYOXOHSSA-N nicotinamide-adenine dinucleotide Chemical compound C1=CCC(C(=O)N)=CN1[C@H]1[C@H](O)[C@H](O)[C@@H](COP(O)(=O)OP(O)(=O)OC[C@@H]2[C@H]([C@@H](O)[C@@H](O2)N2C3=NC=NC(N)=C3N=C2)O)O1 BOPGDPNILDQYTO-NNYOXOHSSA-N 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 238000002428 photodynamic therapy Methods 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000037387 scars Effects 0.000 description 2
- 210000003491 skin Anatomy 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 238000007447 staining method Methods 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- INGWEZCOABYORO-UHFFFAOYSA-N 2-(furan-2-yl)-7-methyl-1h-1,8-naphthyridin-4-one Chemical compound N=1C2=NC(C)=CC=C2C(O)=CC=1C1=CC=CO1 INGWEZCOABYORO-UHFFFAOYSA-N 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241000588748 Klebsiella Species 0.000 description 1
- QIVBCDIJIAJPQS-VIFPVBQESA-N L-tryptophane Chemical compound C1=CC=C2C(C[C@H](N)C(O)=O)=CNC2=C1 QIVBCDIJIAJPQS-VIFPVBQESA-N 0.000 description 1
- OUYCCCASQSFEME-QMMMGPOBSA-N L-tyrosine Chemical compound OC(=O)[C@@H](N)CC1=CC=C(O)C=C1 OUYCCCASQSFEME-QMMMGPOBSA-N 0.000 description 1
- RJQXTJLFIWVMTO-TYNCELHUSA-N Methicillin Chemical compound COC1=CC=CC(OC)=C1C(=O)N[C@@H]1C(=O)N2[C@@H](C(O)=O)C(C)(C)S[C@@H]21 RJQXTJLFIWVMTO-TYNCELHUSA-N 0.000 description 1
- 108010064719 Oxyhemoglobins Proteins 0.000 description 1
- 206010041925 Staphylococcal infections Diseases 0.000 description 1
- 241000191940 Staphylococcus Species 0.000 description 1
- 241000191967 Staphylococcus aureus Species 0.000 description 1
- QIVBCDIJIAJPQS-UHFFFAOYSA-N Tryptophan Natural products C1=CC=C2C(CC(N)C(O)=O)=CNC2=C1 QIVBCDIJIAJPQS-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 239000012080 ambient air Substances 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000002306 biochemical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000012136 culture method Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 108010002255 deoxyhemoglobin Proteins 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 150000002211 flavins Chemical class 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000001963 growth medium Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 208000015688 methicillin-resistant staphylococcus aureus infectious disease Diseases 0.000 description 1
- 229960003085 meticillin Drugs 0.000 description 1
- 230000002906 microbiologic effect Effects 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 229950006238 nadide Drugs 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 210000002381 plasma Anatomy 0.000 description 1
- 150000004032 porphyrins Chemical class 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 210000004915 pus Anatomy 0.000 description 1
- 108010025281 pyoverdin Proteins 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- 210000000582 semen Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- OUYCCCASQSFEME-UHFFFAOYSA-N tyrosine Natural products OC(=O)C(N)CC1=CC=C(O)C=C1 OUYCCCASQSFEME-UHFFFAOYSA-N 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/17—Image acquisition using hand-held instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N2021/1738—Optionally different kinds of measurements; Method being valid for different kinds of measurement
- G01N2021/174—Optionally different kinds of measurements; Method being valid for different kinds of measurement either absorption-reflection or emission-fluorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/02—Mechanical
- G01N2201/022—Casings
- G01N2201/0221—Portable; cableless; compact; hand-held
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/129—Using chemometrical methods
- G01N2201/1296—Using chemometrical methods using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Biochemistry (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Computational Linguistics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
Abstract
目標中の問題のある細胞実体の存在を検出するための技法が開示される。一例では、分析モデルを使用して、蛍光ベース画像が分析される。分析モデルは、目標中の問題のある細胞実体の存在を検出するために、複数の参照蛍光ベース画像を使用して訓練される。分析に基づいて、目標中に存在する問題のある細胞実体が検出される。検出を実施するために、問題のある細胞実体から出る蛍光ベース画像中の蛍光と、問題のある細胞実体以外の領域から出る蛍光ベース画像中の蛍光との間で区別するように、分析モデルが訓練される。
Description
本主題は、一般的に、目標中の病原体などといった問題のある細胞実体の検出に関し、詳細には、問題のある細胞実体によって放出される蛍光に基づいた問題のある細胞実体の検出に関する。
細胞実体は、単細胞生物、多細胞生物、組織などといった、1つまたは複数の生体細胞でできている実体であってよい。問題のある細胞実体は、植物、動物、または人間の健康に対して害をもたらす可能性があるものであってよい。問題のある細胞実体の例は、人間に疾患をもたらす病原体、および傷の治癒を遅らせる病原体である。問題のある細胞実体は、植物、動物、または人間の病気を示すものであってよい。たとえば、癌組織は、腫瘍の存在を示す問題のある細胞実体であってよい。人体または食用製品などといった、目標上の問題のある細胞実体の存在は、たとえば、疾患の発生を防止する、人を疾患でなくすなどのため、検出されるべきである。
本主題の特徴、態様、および利点は、以下の説明および添付図面に関してよりよく理解されることになる。異なる図中の同じ参照番号の使用は、同様または同一の特徴および構成要素を示す。
目標上の問題のある細胞実体の存在は、正確に検出されるべきである。目標は、たとえば、人体中の傷領域、食用製品、人体から抽出した組織サンプル、または殺菌されるべき表面であってよい。典型的には、病原体などといった、問題のある細胞実体の検出は、培養法を使用して実施される。この方法では、サンプルは、スワブ/深部組織生体検査法を使用して、病原体感染を有すると予想される部位から取られる。その後、サンプルが好適な培養媒体の管理下に置かれ、そこで、部位中にあると予想される病原体が、時間とともに成長する。存在する場合、次いで部位中の病原体は、生化学的方法を使用して、分離および識別される。癌組織などといった問題のある細胞実体では、組織生体検査法が行われる。さらに、組織生体検査法は、組織が癌組織であるかを識別するため、ヘマトキシリンエオジン染色法、ムチカルミン染色法、パパニコラウ染色などといった、染色方法を用いた顕微鏡検査で検査される。いくつかの例では、検査は、染色方法なしで実施される場合がある。理解されるように、上述の方法は、煩雑であり、専用の微生物学設備を必要とし、感染を正確に識別して病原体または癌組織を分類するのに1～2日かかる。
いくつかの場合に、問題のある細胞実体の検出および分類は、問題のある細胞実体中の固有のバイオマーカから生じる自己蛍光に基づいて実施される。固有のバイオマーカは、たとえば、ニコチンアミドアデニンジヌクレオチド(NADH)、フラビン、ポルフィリン、ピオベルジン、チロシン、およびトリプトファンであってよい。バイオマーカから生じる自己蛍光は、それらに固有であってよく、問題のある細胞実体の検出および分類に有用であってよい。
自己蛍光は検出および分類に使用できるが、固有のバイオマーカから生じる自己蛍光は弱く、容易に検出することができない。さらに、自己蛍光に加えて、目標から出る光は背景光および励起光を含む場合があり、これらが放出される自己蛍光と干渉する場合がある。したがって、放出される自己蛍光を使用して検出および分類を可能にするため、目標によって放出される非蛍光光を抑制する光学フィルタが使用されるべきである。光学フィルタは、放出フィルタと呼ぶこともできる。放出フィルタの使用によって、自己蛍光に基づいた検出が高価になる。
さらに、自己蛍光ベースの検出を採用するデバイス中で、複数の放出フィルタが使用されるべきである。というのは、異なる波長の自己蛍光を、検出および分類のために捕捉するべきであるからである。異なる放出フィルタの使用する画像の捕捉によって、検出および分類のための時間が増加する。さらに、異なる放出フィルタを使用して画像を捕捉するために、フィルタホイールなどといった追加の構成要素が使用され、このことによって、デバイスの費用がさらに増加する。
本主題は、問題のある細胞実体の蛍光ベースの検出に関する。本主題を使用して、問題のある細胞実体の検出のためのデバイスを、簡単で費用効果的に作ることができる。デバイスは、フィルタホイールがなくてよい。さらに機械学習技法およびディープラーニング技法を使用して、問題のある細胞実体の迅速で正確な検出を実現することができる。
本主題に従ったデバイスは、目標を照射するための光を放出するための光源を含むことができる。目標は、病原体または癌組織などといった、問題のある細胞実体を有すると疑われてよい。一例では、目標が1つまたは複数の細胞からできていてよく、たとえば、身体部分の傷または組織サンプルであってよい。他の例では、目標は、食用製品、研究機器、または衛生機器などといった、病原体が存在しないべきである物品であってよい。放出される光は、照射されると目標中のマーカに蛍光を行わせる波長帯にあってよい。特に、放出される光は、照射されると目標中のマーカに蛍光を行わせる単一波長のものであってよい。マーカは、問題のある細胞実体の部分であってよい。問題のある細胞実体の部分であるマーカによって放出される蛍光を自己蛍光と呼ぶことができる。一例では、合成マーカなどといった外因性マーカを目標上に噴霧して、目標中の問題のある細胞実体の検出を行わせることができる。外因性マーカは、デオキシリボ核酸(DNA)、リボ核酸(RNA)、タンパク質、生化学マーカなどといった、細胞実体と結合することができ、このことによって、目標を蛍光させることができる。加えられた合成マーカによって放出される蛍光は、外因性蛍光と呼ぶこともできる。
デバイスは、光源による目標の照射に応答して目標によって放出される光を直接受け取り、放出される光に基づいて形成される画像を捕捉するための画像センサを含む。目標が蛍光を行うマーカを含む場合、捕捉された画像は、蛍光を含み、蛍光ベース画像と呼ぶことができる。したがって、蛍光ベース画像は、目標から出る蛍光を含むことができる。ここで、光は、画像センサによって直接受け取られると言われている。というのは、画像の捕捉以前に光が放出フィルタによってフィルタ処理されないためである。
デバイスは、蛍光ベース画像を分析するため、プロセッサをさらに含む。分析は、目標中の問題のある細胞実体の存在を検出するために、複数の参照蛍光ベース画像を使用して訓練される分析モデルを使用して行うことができる。一例では、分析モデルは、人工ニューラルネットワーク(ANN)モデルを含むことができる。別の例では、分析モデルは、サポートベクターマシン(SVM)モデル、ロジスティック回帰モデル、ランダムフォレストモデルなど、またはそれらの組合せなどといった、ANNモデル以外の機械学習(ML)モデルを含むことができる。さらなる例では、分析モデルは、ANNモデルとMLモデルの両方を含むことができる。
分析モデルによる分析は、蛍光の波長などといった、蛍光ベース画像中の蛍光を分析することを含むことができる。分析モデルは、問題のある細胞実体から出る蛍光ベース画像中の蛍光と、問題のある細胞実体以外の領域から出る蛍光ベース画像中の蛍光との間で区別するように訓練することができる。たとえば、分析モデルは、病原体を有する傷領域から出る蛍光と、傷領域中の骨または傷領域に隣接する皮膚から出る蛍光との間で区別することができる。したがって、分析モデルは、問題のある細胞実体を有すると予想される領域からの蛍光であって、背景蛍光でないものを分析することができる。分析に基づいて、問題のある細胞実体が目標中に存在することを検出することができる。
目標中の問題のある細胞実体の存在を検出することに加えて、分析モデルは、問題のある細胞実体を分類することもできる。たとえば、問題のある細胞実体が病原体である場合、分析モデルは、問題のある細胞実体のグラムタイプまたは種を識別することができる。
本主題は、目標中の問題のある細胞実体の存在を検出するために、いくつかの参照蛍光ベース画像にわたって訓練される分析モデルを利用する。加えて、一例では、分析モデルは、傷領域、骨領域などといった、領域を最初に区別するために使用できるいくつかの参照白色光画像にわたって訓練することができる。その後、分析モデルは、目標中の問題のある細胞実体の存在を検出するために、いくつかの参照蛍光ベース画像にわたって訓練し、それによって、検出の精度を向上させることができる。分析モデルは、蛍光ベース画像中の背景光および励起光を無視することができ、蛍光ベース画像中の弱い蛍光情報を拾い上げることができる。したがって、本主題は、背景光および励起光をフィルタ処理するための放出フィルタの使用をなくすことができる。そのため、本開示のデバイスの部分としてのフィルタホイールの使用を回避することができる。したがって、本主題のデバイスは、簡単で費用効果的である。
こうして、本主題は、「光学的計算生体検査」技法を使用した、病原体の迅速で、フィルタのない、非侵襲的、自動的、およびインサイチュ(in-situ)での検出および分類を実現する。光学的計算生体検査技法は、問題のある細胞実体を検出および分類するための非侵襲的生体検査のために、機械学習モデル、人工ニューラルネットワーク(ANN)モデル、ディープラーニングモデルなどといった計算モデルと一緒にマルチスペクトル撮影が使用される技法である。
本主題は、糖尿病の足部潰瘍、手術部位感染、やけど、皮膚、ならびに食道、胃、および結腸など体の内部における問題のある細胞実体の存在を検出するために使用することができる。本主題のデバイスは、皮膚科学、美容術、形成外科、感染管理、光力学治療監視、および抗菌感受性試験の分野で使用することができる。
本主題の上および他の特徴、態様、および利点は、以下の説明、添付される請求項、および添付図面に関してよりよく説明されることになる。説明および図面は、単に、本明細書に記載される例と一緒に本主題の原理を説明していることに留意するべきであり、本主題の限定と解釈するべきではない。したがって、本明細書に明示的に記載または示されないが、本開示の原理を具体化する様々な配置構成を考案できると理解される。さらに、本明細書でそれらの原理、態様、および例に言及するすべての記載は、それらの等価物を包含することが意図される。さらに、簡単のために、制限なしで、同様の特徴および構成要素を参照するため、同じ数字が図面を通して使用される。
下の説明では、本主題は、主に、傷上の病原体の検出および分類を参照して説明されている。しかし、本主題のデバイスは、膿、血液、尿、唾液、汗、精液、粘液、血漿などといった、他のサンプル中の病原体を検出するため使用できることを理解されたい。さらに、デバイスは、病原体のコロニー形成および壊死組織を理解するために、蛍光中の時間依存性の変化を検出するために使用することができる。
デバイスは、手ならびに病原体があるべきでない病院および他の場所における表面上の、病原体の存在を検出するために使用することもできる。デバイスは、食品、果物、および野菜などといった、食用製品中の病原体汚染を検出するために使用することができる。
図1は、本主題の実装形態に従った、目標102を検査するためのデバイス100を図示する。目標102は、病原体、癌組織、または壊死組織などといった、問題のある細胞実体を有すると疑われるものであってよい。目標102は、1つまたは複数の細胞でできていてよい。たとえば、目標102は、足または手など人体の部位上の傷であってよい。傷は、その中に病原体を有すると疑われる可能性があり、病原体は、傷の治癒の遅延を引き起こす可能性があり、または、傷の感染を引き起こす可能性がある。別の例では、目標102は、その中に腫瘍または壊死を有すると疑われる組織サンプルであってよい。別の例では、目標102は、人が消費するためそれを供給する前に、病原体の存在を試験しなければならない可能性がある食用製品であってよい。他の例では、目標102は、研究機器、マスク、頭部マスク、外科用ナイフ、衛生デバイス、衛生機器、周囲空気、生化学分析チップ、および微小流体チップであってよい。下の例では、問題のある細胞実体が病原体を参照して説明され、目標102は、人体の部位上の傷を参照して説明される。
デバイス100は、第1の光源104を含み、矢印106によって示されるような光で目標102を照射する。光は、具体的には、照射されると、目標102中の1つまたは複数のマーカに蛍光を行わせることができる好適な波長の、好適な波長帯にあってよい。一実装形態では、励起フィルタ(図1に図示せず)をデバイス100中に設けることができ、これは、第1の光源104によって放出される光から特定の周波数または特定の周波数帯をフィルタ処理することができる。励起フィルタは放出フィルタとは異なり、目標の照射に応答して目標によって放出される周波数帯をフィルタ除去するために、従来のデバイスに使用されることに留意されたい。一例では、光は、紫外線(UV)光、可視光、または近赤外線(NIR)光であってよい。一例では、目標102からの蛍光を生じさせるために使用される光の波長は、280nm、310nm、330nm、365nm、395nm、405nm、415nm、430nm、480nm、および520nmを含む場合がある。加えて一例では、これらの波長と異なるいくつかの他の波長を使用することもできる。たとえば、図6(d)に関して記載されるような、組織酸素化を理解するためデバイス100を使用することができるシナリオでは、波長は、430nm、680nm、740nm、および940nmを含む場合がある。マーカは、目標102中に存在する問題のある細胞実体の部分であってよい。
その照射に応答して目標102によって放出される光は、矢印110によって示されるように、画像センサ108によって集められる。画像センサ108は、デバイス100のカメラ(図1に図示せず)の部分であってよく、電荷結合デバイス(CCD)センサ(または)デジタルカメラ、相補型金属酸化物半導体(CMOS)センサ(または)デジタルカメラ、単一光子アバランシェダイオード(SPAD)/アバランシェ光検出器(APD)アレイ、光電子増倍管(PMT)アレイ、近赤外線(NIR)センサ、赤緑青(RGB)センサ、3次元(3D)カメラ、またはそれらの組合せなどといった、デジタル画像センサであってよい。画像センサ108は、目標102から受け取った光から形成される画像を捕捉する。目標が蛍光を行うマーカを含む場合、捕捉される画像が蛍光を含む。したがって、画像を、蛍光ベース画像と呼ぶことができる。
デバイス100は、プロセッサ112を含むことができる。プロセッサ112は、マイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央処理装置、ステートマシン、論理回路、および/または、動作命令に基づいて信号を操作できる任意のデバイスとして実装することができる。能力の中でもとりわけ、プロセッサ112は、デバイス100のメモリ(図1に図示せず)中に含まれるコンピュータ可読命令をフェッチし実行することができる。プロセッサ112は、画像センサ108が目標102によって放出される光を捕捉するべきときに、画像センサ108を活性化させることができる。このために、プロセッサ112は、光を放出するために第1の光源104を活性化させるときに、画像センサ108を活性化させることができる。
さらに、一例では、蛍光ベース画像をデバイス100のプロセッサ112によって分析することができる。蛍光ベース画像を分析するため、プロセッサ112は、分析モデル114を利用することができる。分析モデル114は、目標中の問題のある細胞実体の存在を検出するために、目標の複数の蛍光ベース画像にわたって訓練することができる。それを使用して分析モデル114が訓練される蛍光ベース画像を、参照蛍光ベース画像と呼ぶことができる。分析モデル114は、複数の白色光画像を含むこともできる。分析モデル114は、たとえば、人工ニューラルネットワーク(ANN)モデルを含むことができ、これは、人間の神経系が動作する方法の簡略化モデルであってよく、複数の層に配置されるいくつかの相互接続されたノードを含むことができる。ANNは、たとえば、畳込みニューラルネットワーク(CNN)、敵対的生成ネットワーク(GAN)、オートエンコーダデコーダネットワークなどの、ディープラーニングモデルであってよい。別の例では、分析モデル114は、ANNモデル以外の機械学習(ML)モデルを含むことができる。以降では、ANNモデル以外のMLモデルを、MLモデルと呼ぶことができる。たとえば、MLモデルは、サポートベクターマシン(SVM)モデルまたはランダムフォレストモデルまたはそれらの組合せであってよい。さらなる例では、分析モデル114は、ANNモデルとMLモデルの両方を含むことができる。他の例では、分析モデル114は、1つもしくは複数のANNモデルおよび/または1つもしくは複数のMLモデルを含むことができる。
分析モデル114は、蛍光ベース画像を分析することができる。たとえば、分析モデル114は、蛍光ベース画像中の蛍光光の波長を分析することができる。蛍光ベース画像中の蛍光は、目標102中のマーカのために引き起こされるために、蛍光は、マーカが目標102中に存在するのを示すことができる。さらに、目標102中のマーカが病原体の部分であってよいために、蛍光ベース画像の分析は、目標102中の病原体の存在を検出するために使用することができる。分析は、病原体のグラムタイプ、病原体の種、病原体の科、病原体の属、または病原体の菌株レベルなどといった、病原体のタイプを判定するために使用することもできる。
デバイス100は、第2の光源116を含むこともできる。第2の光源116は、目標102中のマーカに蛍光を引き起こさないことができるような波長の光(矢印118によって示される)を放出することができる。たとえば、第2の光源116は、白色光を放出できる白色光源であってよい。第2の光源116によって放出される光は、矢印120によって示されるように、目標102が反射することができる。反射した光を画像センサ108が捕捉して、目標102の第2の画像を形成することができる。第2の光源116が白色光源である場合、第2の画像を白色光画像と呼ぶことができる。
一例では、デバイス100は、複数の偏光板(図1に図示せず)を含むことができる。偏光板は、特定の偏光の光波を通過させる一方で、他の偏光の光波をブロックする光学要素であってよい。偏光板は、不確定または混在した偏光の光のビームを、良好に規定された偏光のビームへと調節することができる。一例では、偏向板を第1の光源104と一体化することができ、別の偏向板を第2の光源116と一体化することができ、さらに別の偏向板を画像センサ108と一体化することができる。偏光板の使用は、傷などといった目標102の鏡面反射を減らす一方で、白色光画像を捕捉するのに役立つことができる。さらに、蛍光ベース画像を捕捉する間に、偏光板は、蛍光の選択的な検出を可能にすること、および、光源104からの放出光と、目標102によって放出される蛍光との干渉を低減させることができる。たとえば、光源104と一体化した偏光板と画像センサ108と一体化した別の光の偏光板などといった、2つの偏光板を、交差偏光板の幾何学的形態に配置して、光源104からの放出光と、目標102によって放出される蛍光との干渉を最小化することができる。
いくつかの実装形態では、デバイス100は、異なる波長の光を放出できる追加光源(図1に図示せず)を含むことができる。プロセッサ112は、様々な光源の動作のシーケンスならびに各光源の照射期間を制御することができる。デバイス100中の光源は、発光ダイオード(LED)、レーザなどであってよい。さらに、デバイス100中の光源は、200nmと2500nmの間の波長を有する光を放出することができる。デバイス100は、異なる波長の光を放出する光源を含む場合がある。というのは、目標中のマーカに蛍光を行わせることができる波長はマーカ毎に変わる場合があるためである。こうして、異なる波長の光を放出する光源を設けることによって、幅広いマーカに蛍光を行わせることができることが確実になり、それによって、いくつかのタイプの病原体の検出が可能になる。
さらに、デバイス100は、画像センサ108に加えて、デジタル画像センサであってよい追加画像センサ(図1に図示せず)を含むことができる。たとえば、画像センサ108を蛍光ベース画像を捕捉するために使用することができ、他の画像センサを白色光画像を捕捉するために使用することができる。さらなる画像センサ(図1に図示せず)を目標の3次元(3D)画像を捕捉するために使用することができる。
分析モデル114は、第2の画像中の目標102を識別するために訓練することができる。たとえば、第2の画像が傷のある人の足の画像である場合、分析モデル114は、第2の画像中の傷領域を識別することができる。画像中の傷領域の識別は、傷のセグメント化とも呼ばれる。
一例では、分析モデル114は、最初に第2の画像中で、骨、組織、腱などといった、目標のタイプを認識することによって背景蛍光を補正し、かなりの背景蛍光のある目標上でさえ、細胞の異常の存在を評価することができる。
一実装形態では、分析モデル114は、第2の画像を蛍光ベース画像と比較することによって、蛍光ベース画像中の目標102を識別することができる。蛍光ベース画像中の目標102を識別する際に、分析モデル114は、病原体の存在を検出するため目標102から出る蛍光を分析することができ、蛍光ベース画像中の目標以外の領域から出る蛍光を無視することができる。たとえば、分析モデル114は、傷から出る蛍光を分析することができ、蛍光ベース画像中の骨、腱、および皮膚などといった、隣接領域から出る蛍光を無視することができる。さらに、一実装形態では、分析モデル114は、蛍光ベース画像中の目標102以外の領域からの蛍光を分析することができ、分析に基づいて、他の領域中の異常の存在を検出することができる。たとえば、分析モデル114は、蛍光ベース画像中の骨から出る蛍光を分析することができ、分析に基づいて骨に異常があるか判定することができる。たとえば、蛍光が骨によって典型的に放出されるものより高い場合、骨に異常があると判定することができる。
デバイス100は、目標中の問題のある細胞実体の存在の検出および問題のある細胞実体のタイプの分析結果を表示するためのディスプレイ122を含むことができる。ディスプレイ122は、ユーザからの入力を、1つもしくは複数の指またはスタイラスを介して受け取るタッチセンシティブディスプレイであってよい。たとえば、デバイス100は、目標102中に病原体が存在することを表示することができ、ディスプレイ122上に病原体のタイプを表示することができる。一実装形態では、分析の結果は、画像センサ108によって捕捉されたような目標102の画像上にオーバーレイすることができる。たとえば、病原体を有する目標102の領域を、蛍光ベース画像上で強調表示することができる。
一実装形態では、デバイス100は、可搬式で手持ち式のデバイスとして実装することができる。デバイス100は、プロセッサ112を含むことができるコンピューティングデバイスを含むことができる。コンピューティングデバイスは、たとえば、スマートフォンまたはシステムオンチップ(SoC)またはシステムオンモジュール(SoM)であってよい。コンピューティングデバイスがスマートフォンである場合、画像センサ108がコンピューティングデバイスの部分であってよい。デバイス100は、病原体および組織の、非侵襲的、自動的、およびインサイチュ(in-situ)での検出および分類を実現する。本明細書で使用する、「インサイチュ(in-situ)」という言葉は、サンプルの何らかの事前処理なしの、発生源のサンプル中の病原体の検出のことをいうと理解されよう。たとえば、サンプルは、体の部位上の傷であってよい。一例では、デバイス100は、電源(図1に図示せず)によって電力供給されてよい。
図2(a)～図2(i)は、本主題の実装形態に従った、分析モデル114のANNモデルを訓練するために使用できる参照画像セットを図示する。ここで、目標102は、人間の足の傷を参照して説明される。上で説明したように、ANNモデルは、蛍光ベース画像中の目標102によって放出される蛍光に基づいて蛍光ベース画像中の病原体の存在を検出するために使用することができる。検出を容易にするため、ANNモデルは、複数の参照白色光画像および複数の対応する参照蛍光ベース画像を使用して訓練することができる。白色光画像に対応する蛍光ベース画像とは、白色光画像によって捕捉されたのと同じ領域の蛍光ベース画像のことをいう。したがって、各画像セットは、参照白色光画像と対応する参照蛍光ベース画像を含む。たとえば、画像202と画像204は、それぞれ、参照白色光画像と対応する参照蛍光ベース画像である。
参照白色光画像は、その画像中の傷の表示および/またはその画像中の骨もしくは皮膚などといった別の領域の表示でタグ付けすることができる。たとえば、白色光画像202の領域206は、それが傷領域を表すと示されるようにタグ付けされる。したがって、複数の参照白色光画像にわたって訓練することによって、ANNモデルが、所与の画像上の傷、骨、皮膚などを識別することが可能になる。
さらに、白色光画像に対応する複数の参照蛍光ベース画像にわたって訓練することによって、ANNモデルが、蛍光ベース画像上の骨、皮膚、肉芽組織などといった、様々な領域を識別することを可能にすること、したがって、傷領域中の病原体のタイプ、またはグラム陽性、またはグラム陰性を判定することがやはりできる。たとえば、複数の蛍光ベース画像にわたって訓練すること、および、病原体のタイプまたはグラム陽性もしくはグラム陰性病原体に対応する参照ラベルを使用することによって、任意の新規の目標画像を分類することができる。目標画像は、訓練の正確さを理解および評価するための訓練で使用される画像、または完全に新規の目標画像であってよい。次いで、画像208などといった、第3の画像、すなわち、ANNモデルの出力が生成される。画像208では、病原体を有すると検出される傷の部分が強調表示される。いくつかの例では、傷中の異なるタイプの病原体は、異なる陰影で強調表示される。たとえば、図2(d)および図2(e)に描かれる画像208では、傷中の2つの異なる病原体が異なる陰影で強調表示される。一例では、傷中の異なるタイプの病原体は、異なる色を使用して強調表示することができる。
一実装形態では、特定の病原体を有する第3の画像208の領域は、その病原体の表示でタグ付けすることができる。たとえば、第1の病原体を有する画像208の領域は第1の病原体の表示でタグ付けされ、第2の病原体を有する画像208の領域は第2の病原体の表示でタグ付けされる。こうして、複数の画像のセットにわたって訓練することによって、ANNモデルは、所与の蛍光ベース画像中に存在する病原体を識別することが可能になる。
上で述べたように、分析モデル114は、傷中の病原体の検出および分類のためにMLモデルを含むことができる。MLモデルの訓練のために、各参照蛍光ベース画像のスペクトルマップおよび空間マップを作成して、MLモデルへの特徴として供給することができる。各空間マップは、傷および傷の隣接領域の、テクスチャ、多孔性、光沢などの情報を提供することができる。さらに、スペクトルマップは、参照蛍光ベース画像中の各画素または領域中のスペクトル強度の情報を提供することができる。
図3は、本主題の実装形態に従った、参照蛍光ベース画像の空間マップおよびスペクトルマップに基づいたMLモデルの訓練を図示する。ブロック302において、参照蛍光ベース画像および参照白色光画像は、目標のタイプ(すなわち、皮膚または傷)、傷領域のタイプ(すなわち、脱落組織、骨など)、感染した病原体種、グラムタイプなどといった、様々な参照ラベルでタグ付けされる。一例では、テクスチャ、傷および隣接領域の多孔性、蛍光の色相などの様々なスペクトルの特徴、またはそれらの組合せなどといった、様々な空間的特徴が抽出される。一例では、タグ付けは、白色光画像だけで実施することができる。
ブロック304において、タグ付けされた画像が事前処理される。たとえば、画像は、グレースケールに変換され、サイズ変更され、拡張される。画像の拡張は、画像を回転すること、画像を反転することなどを含むことができる。ブロック306において、空間的特徴、スペクトル的特徴、またはそれらの組合せなどといった、様々な特徴が画像から抽出される。いくつかの例では、勾配方向ヒストグラム(HOG, histogram of oriented gradient)特徴、エントロピー特徴、局所的2値パターン(LBP, Local Binary Patterns)、スケール不変特徴変換(SIFT, Scale Invariant Feature Transforms)などといった、空間的特徴を画像から抽出することができる。同様に、いくつかの例では、スペクトル的特徴は、RGB波長で白色光画像から、様々な励起波長で蛍光画像から抽出することができる。白色光画像および蛍光画像では、スペクトル的特徴は、各画素/領域において、赤緑青(RGB)、色相飽和値(HSV)、または任意の他の色マッピング値を使用して抽出される。ブロック308において、抽出された空間的特徴およびスペクトル的特徴ならびにタグは、データベースに記憶することができる。抽出された特徴は、次いで、下に記載されるように、病原体の検出および空間マッピングのために、MLモデルへと渡される。たとえば、緑膿菌などといった、いくつかの病原体では、空間的特徴および励起波長を使用して、病原体を検出することができる。大腸菌(E-coli)、クレブシエラ菌、ブドウ球菌などといった、いくつかの病原体では、検出は、空間的特徴とスペクトル的特徴の両方の組合せを抽出することによって行うことができる。
目標にした予め規定された目標の訓練精度が達成されるまで、いくつかの参照蛍光ベース画像およびいくつかの白色光画像について、ステップ302～308を繰り返すことができる。ブロック310において、データベース中の情報は、SVMモデルであってよいMLモデルを訓練するため使用することができる。訓練によって、画像の抽出された空間的特徴、スペクトル的特徴、またはそれらの組合せに基づいて、SVMは、所与の画像中の傷を識別することが可能になる。すなわち、SVMは、傷のセグメント化を実施することができる。一例では、ブロック310に続けて、方法300は、傷のセグメント化の結果を滑らかにし、それによって、傷のセグメント化の精度を改善するために使用することができる、連結成分のラベリング、隠れマルコフモデルなどといった、後処理ステップを含むことができる。
SVMモデルの訓練の際に、SVMモデルは、画像中の傷を正確に識別することができるかを検証するため試験することができる。したがって、ブロック312において、試験画像中の対象の領域が選択され、ブロック314において、試験画像が事前処理され、ブロック316において、試験画像の空間的特徴が抽出される。ブロック318において、抽出した特徴をSVMモデルに供給して、傷のセグメント化ならびに問題のある細胞実体の検出および分類が実施される。その後、SVMモデルが実施した傷のセグメント化、問題のある細胞実体の検出および分類の結果を受け取ることができる。
一実装形態では、傷のセグメント化に使用されるMLモデルは、病原体検出および分類に使用されるものと異なってよい。したがって、傷のセグメント化の出力は、第1のMLモデルによって第2のMLモデルに提供することができる。第2のMLモデルは、次いで、第1のMLモデルによって識別された傷領域からの蛍光を分析し、次いで、傷領域中の病原体を検出および分類することができる。代わりに、一例では、第2のMLモデルは、病原体の検出および分類のために、スペクトル的特徴と組み合わせて、傷、骨、組織領域などについての第1のMLモデルからの空間的特徴、情報を使用することもできる。
一実装形態では、分析モデル114は、各々が異なる機能を実施する、ANNモデルとMLモデルの両方を含むことができる。たとえば、MLモデルは、傷のセグメント化を実施するために訓練することができる一方で、ANNモデルは、病原体を検出および分類するために訓練することができる。別の例では、ANNモデルは、蛍光ベース画像からスペクトル画像を生成することができ、MLモデルは、図3に描かれるように、生成したスペクトル画像に基づいて病原体を検出および分類することができる。一例では、ANNモデルは、蛍光ベース画像に加えて、白色光画像およびMLモデルから追加でスペクトル画像を生成することもできる。
一実装形態では、MLモデルは、傷中の病原体を、グラム陽性(GP)およびグラム陰性(GN)病原体へと分類することができる。さらに、ANNモデルは、傷中の病原体の種を識別することができる。
図4(a)～図4(b)は、本主題の実装形態に従った、ANNモデルによって検出された傷中の病原体の分類結果を図示する。図示されるように、傷の特定の領域中の病原体の表示が、蛍光ベース画像中のその領域上にオーバーレイされる。加えて、病原体確率を、蛍光ベース画像上にオーバーレイすることもできる。
図5(a)～図5(d)は、本主題の実装形態に従った、ANNモデルによって検出された傷中の病原体のグラムタイプの分類結果を図示する。図示されるように、傷の特定の領域中の病原体のグラムタイプの表示が、蛍光ベース画像中のその領域上にオーバーレイされる。加えて、病原体グラムタイプ確率を、蛍光ベース画像上にオーバーレイすることもできる。
いくつかの実装形態では、表示される結果は、図6(a)～図6(c)に描かれるように、傷中の病原体空間分布、病原体成長状況データ、共同コロニー形成データ、生物膜情報、バイオマーカ情報、病原体定量化データ、表面もしくは傷の場合の感染の空間マッピング、以降の処理プロトコル、またはそれらの組合せを含むこともできる。病原体成長状況データは、2つの連続する報告データから得ることができる。たとえば、病原体成長状況データは、傷の第1の往診、第2の往診などといった、連続する往診から得られた画像から得ることができる。病原体定量化データは、傷の蛍光ベース画像で捕捉された強度に基づいて実施することができる。共同コロニー形成データは、傷のANNモデルの結果から、傷の各領域で各病原体の確率から得ることができる。たとえば、2つの病原体の確率が結果中で同様である場合、病原体は、共同コロニー形成されていると判定される。すなわち、各病原体の確率の差異がしきい値以内である、すなわち、病原体の確率の差異が10%未満である場合、それらの病原体は共同コロニー形成されると判定される。スクリーン上に表示される結果は、たとえばユーザが操作し、共有し、およびクラウドサーバ上で将来の使用のために記憶することもできる。
図6(a)～図6(d)は、本主題の実装形態に従った、生物膜情報、病原体成長状況データ、傷の寸法および病原体負荷、ならびに組織酸素化の結果を図示する図である。図6(a)に図示されるように、画像602は、病原体緑膿菌の生物膜を有する、切断された脚上の傷の白色光画像である。画像604は、395nmの波長の光で照射したときの蛍光ベース画像である。画像606は、病原体が存在する生物膜領域608を検出するためのMLモデルの実装後に得られる、空間的にオーバーレイしたカラー画像である。加えて、病原体のグラムタイプがやはり識別される。
図6(b)に図示されるように、病原体成長状況データは、2つ(または)それ以上の連続する報告データから得られる。たとえば、画像610、612、614は、傷の第1の往診、第2の往診、および第3の往診などといった、連続する往診から得られた患者の足指上の傷の白色光画像である。画像616、618、620は、病原体成長状況データを検出するため、それぞれ画像610、612、614に対応するMLモデルによって生成された画像である。画像610～614から、後の往診期間の傷の感染レベルの変化および異なるタイプの病原体の空間分布の変化を明瞭に理解することができる。
図6(c)に図示されるように、画像622は、病原体を有する傷の白色光画像である。画像624は、395nmの波長の光で照射したときに捕捉された傷の蛍光ベース画像である。画像626は、MLモデルの実装後に得られた、空間的にオーバーレイしたカラー画像である。傷のMLモデル、長さ、幅、面積から、病原体のグラムタイプを得て、画像628に描かれるように、表示することができる。傷は、グラム陽性(メチシリン耐性黄色ブドウ球菌(MRSA)およびグラム陰性バクテリア(E-Coli))の両方に感染する可能性がある。得られた画像622～628は、傷の1日目に得られた画像に対応する。
さらに、傷の変化を追跡するため、622、624、626、および628と同様の画像は、画像630、632、634、636によって描かれるように、傷の7日目に得ることができる。画像626と634および画像628と636を比較することによって、傷の治療および病原体負荷変化を追跡することができる。
さらに、デバイス100は、傷の治療を理解するため使用可能な出力を提供することができる。傷の治療を判定するため、デバイス100は、ある期間の時間にわたって取られた傷の画像を比較することができる。たとえば、デバイス100は、たとえば1日目の第1の往診から得られた白色光画像および対応する蛍光ベース画像に基づいて、傷領域中に存在する問題のある細胞実体を検出および分類することができる。同様に、デバイス100は、たとえば2日目の第2の往診から得られた白色光画像および対応する蛍光ベース画像に基づいて、傷領域中に存在する問題のある細胞実体を検出および分類することができる。さらに、デバイス100は、第1の往診および第2の往診からの画像を比較することができ、傷が癒えたかどうかを判定することができる。さらに、デバイス100は、画像に基づいて、疾患の予後を判定することもできる。たとえば、第1の往診から得られた画像および第2の往診から得られた画像に基づいて、デバイス100は、将来の時間期間、すなわち、3日目、4日目などの傷の状態を判定するために、MLモデル、ディープラーニングモデル(たとえば、再帰型ニューラルネットワーク(RNN)モデル、長短期記憶(LSTM))などといった、人工知能モデルを使用することができ、それによって、感染/疾患が治るのにかかる時間を判定することができる。
さらに、デバイス100は、組織酸素化を理解するのに使用可能な出力を提供することができる。組織酸素化では、目標102は、NIRまたは可視波長を使用して励起することができ、その結果として目標102から得られた画像は、目標102中の様々な領域における酸素化を理解するために処理することができる。たとえば、プロセッサ112は、分析モデル114を使用することができ、第1の光源104による目標102の照射に応じて、目標によって放出される画像を分析することができる。さらに、プロセッサ112は、分析に基づいて、組織中の複数の領域において組織酸素化を検出することができる。組織酸素化は、全ヘモグロビン含有量、酸素ヘモグロビン量、デオキシヘモグロビン量、酸素飽和度、多量の血液(blood profusion)などまたはそれらの組合せを含むことができる。
一例では、図6(d)に描かれるように、画像640は、傷を有する第1の患者の白色光画像を表し、画像642は、傷を有する第2の患者の白色光画像を表す。さらに、画像644および646は、それぞれ、第1の患者および第2の患者の傷の各画素における酸素飽和度レベルの結果を表すことができる。理解されるように、分析モデル114は、画像644および646を得るために使用することができる。
デバイス100は、傷の固さを理解するために使用できる出力を提供することもできる。傷の固さは、目標102の白色光画像を分析することによって得ることができる。
一実装形態では、デバイス100は、手または足などといった、人体の部位上のカルスを検出するために使用することができる。このために、分析モデル114は、体の部位のいくつかがカルスを有し、いくつかは有さない、人体の部位のいくつかの参照白色光画像で訓練することができる。
一実装形態では、デバイス100は、目標102の画像を捕捉することができる3次元(3D)深度センサを含むことができ、画像中に捕捉された様々な実体の深度情報を提供することもできる。深度情報は、目標中の傷の深度を判定するために使用することができる。3D深度センサは、構造化光照射、飛行時間検知技法、立体視技法などを使用することによって、様々な実体の深度を判定することができる。
図7(a)は、本主題の実装形態に従った、傷のある人間の脚の白色光画像702および対応する3D深度画像704を図示する。図示されるように、3D深度画像704は、画像704中に捕捉された様々な実体の深度の情報を提供する。たとえば、同様の深度の実体が同様の色で表示される一方で、異なる深度の実体は異なる色で表示される。
図7(b)は、本主題の実装形態に従った、傷の3D画像に重ね合わせた人間の脚の蛍光画像706を図示する。画像606は、異なる深さにおける蛍光分布の正確な可視化を可能にすることができる。
図8(a)は、本主題の実装形態に従った、3D画像に図示された部分が傷であるか、または皮膚であるかを検出するための方法800を図示する。方法ブロックが記載される順番を限定と解釈することは含まれず、記載される方法ブロックのいくつかは、方法800または代わりの方法を実施するために、任意の順番で組み合わせることができる。加えて、個々のブロックのいくつかは、本明細書に記載される主題の範囲から逸脱することなく、方法800から取り除くことができる。
ブロック802において、赤緑青-深度(RGB-D)画像を画像センサから得ることができる。画像は、図示される部分が傷であるかまたは皮膚であるかを判定するべき部分の画像であってよい。たとえば、RGB-D画像を得るために、3D深度カメラを使用することができる。その後、ブロック804において、RGB-D画像上で、点群レジストレーションを実施することができる。点群レジストレーションは、2つの点群、すなわち、RGB-D画像に対応する2セットのデータ点を整合させる、拡大縮小、回転、および並進などといった、空間的変換を見いだすプロセスである。
ブロック806において、3D空間中の点を判定するために、点群レジストレーションに基づいて、三角投影を実施することができる。さらに、ブロック808において、三角投影に基づいて、3D深度投影を実施することができる。その後、ブロック810において、領域が皮膚であるかまたは傷であるかを判定するために、領域の3D深度のしきい値が傷の3D深度のしきい値より大きいかを判定することができる。たとえば、領域の3D深度のしきい値が傷の3D深度のしきい値より大きい場合、領域を傷と判定することができる。同様に、領域の3D深度のしきい値が傷の3D深度のしきい値より小さい場合、領域を皮膚と判定することができる。3D深度は、ブロック808中で実施される3D深度投影から得ることができる。一例では、様々な機械学習技法およびディープラーニング技法を使用して、傷領域を、脱落組織、骨、腱、肉芽組織などの様々なタイプに分類およびセグメント化することができる。傷および皮膚領域の判定は、図8(b)に描かれる。
図8(b)は、本主題の実装形態に従った、3D画像に図示された部分が傷であるか、または皮膚であるかの検出を図示する。領域820は、3D深度のしきい値が傷のしきい値より大きいと判定される部分である。したがって、領域820は傷であることが検出される。領域822は、3D深度のしきい値が傷のしきい値より小さいと判定される部分である。したがって、領域822は皮膚であることが判定される。
デバイス100は、下に説明されるように、スチール表面上に存在する病原体を検出および分類するために使用することができる。
図9は、本主題の実装形態に従った、スチール表面上の病原体の存在の検出を図示する。画像902は、病原体を有するスチール表面の白色光画像である。画像904は、395nmの波長の光で照射したときに捕捉されたスチール表面の蛍光ベース画像である。画像906は、MLモデルの実装後に得られた、空間的にオーバーレイしたカラー画像である。領域908は、病原体の存在する領域として識別される。加えて、病原体のグラムタイプがやはり識別される。
図10は、本主題の実装形態に従った、マスク上の病原体の存在の検出を図示する。画像1002は、病原体を有するN95マスクなどのマスクの白色光画像である。画像1004は、395nmの波長の光で照射したときに捕捉されたN95マスクの蛍光ベース画像である。画像1006は、MLモデルの実装後に得られた、空間的にオーバーレイしたカラー画像である。領域1008は、病原体の存在する領域として識別される。加えて、病原体のグラムタイプがやはり識別される。
図11および図12は、本主題の実装形態に従った、ヘッドキャップおよび外科用ナイフ上の病原体の存在の検出を図示する。画像1102、1202は、それぞれ、病原体を有するヘッドキャップおよび外科用ナイフの白色光画像である。画像1104、1204は、395nmの波長の光で照射したときにそれぞれ捕捉されたヘッドキャップおよび外科用ナイフの蛍光ベース画像である。画像1106、1206は、MLモデルの実装後に得られた、空間的にオーバーレイしたカラー画像である。領域1108、1208は、それぞれ、ヘッドキャップおよび外科用ナイフ中の、病原体の存在する領域として識別される。加えて、病原体のグラムタイプがやはり識別される。
一実装形態では、デバイス100は、下に記載されるように、傷の熱撮像のため、および傷の熱分布を判定するための熱センサを含むことができる。
図13は、本主題の実装形態に従った、傷の熱撮像の結果を図示する。画像1302は、傷を有する足の白色光画像である。画像1304は、熱センサから得られた傷の熱撮像である。画像1304中の各色または各陰影は、特定の温度を表す。画像1304から、特定の領域における血流を検出することができる。たとえば、画像1304から、特定の領域で温度がより高いことが検出される場合、その領域の血流がより多く、特定の領域で温度がより低い場合、その領域の血流がより少ない。さらに、一例では、傷のバイオバーデン(すなわち、傷上の病原体の数)をよりよく理解するために、熱撮像は、白色光画像、蛍光ベース画像などといった、他の画像と組み合わせて使用することができる。上の説明では、病原体の検出および分類に含まれる全部のステップがデバイス100中で実施されると説明されるが、いくつかの例では、いくつかのステップは、処理デバイスとも呼ばれる異なるデバイスで実施する場合がある。
図14は、本主題の実装形態に従った、処理デバイス1400に接続されたデバイス100を図示する。処理デバイス1400は、クラウド上などの離れた場所に設けられるサーバなどのコンピューティングデバイスであってよい。処理デバイス1400は、コンピュータ、サーバ、クラウドデバイスまたはそれらの任意の組合せを含むことができる。デバイス100は、通信ネットワーク1401にわたって処理デバイス1400に接続することができる。本実装形態によれば、蛍光ベース画像および白色光画像の処理に基づいて病原体の存在を検出するために使用される分析モデル1414を、処理デバイス1400上に実装することができる。分析モデル1414は、分析モデル114に対応してよい。処理デバイス1400は、分析モデル1414を実装するプロセッサ1402を含むことができる。したがって、デバイス100は、目標の蛍光ベース画像および白色光画像を捕捉することができ、それらを処理デバイス1400に送信することができる。病原体を検出および分類する際に、処理デバイス1400は、分析の結果をデバイス100に送信することができ、次いでデバイス100は、結果をディスプレイ122上に表示することができる(図14に図示せず)。
一実装形態では、デバイス100は、送信される白色光画像上で傷のセグメント化を実施することができ、次いで処理デバイス900が、傷上で病原体の検出および分類を実施することができる。傷のセグメント化を実施するために、デバイス100は、セグメント化モデル1404を実装することができる。セグメント化モデル1404は、傷のセグメント化を実施するため訓練されるANNモデルまたはMLモデルであってよい。
図15は、本主題の実装形態に従った、目標を検査するための方法を図示する。方法ブロックが記載される順番を限定と解釈することは含まれず、記載される方法ブロックのいくつかは、方法1500または代わりの方法を実施するために、任意の順番で組み合わせることができる。加えて、個々のブロックのいくつかは、本明細書に記載される主題の範囲から逸脱することなく、方法1500から取り除くことができる。目標は、目標102に対応してよい。
ブロック1502において、目標は、デバイスの光源を使用して照射することができる。目標上に光源によって放出される光は、照射されると目標中のマーカに蛍光を行わせる波長帯であってよい。デバイスは、光源、画像センサ、およびプロセッサを備える。画像センサは、光源による目標の照射に応答して目標によって放出される光を直接受け取ることができる。画像センサは、放出される光に基づいて形成される蛍光ベース画像を捕捉することができる。蛍光ベース画像は、目標から出る蛍光を含むことができる。デバイスは、デバイス100に対応してよい。光源は、第1の光源104に対応してよい。画像センサは、画像センサ108に対応してよく、プロセッサは、プロセッサ112に対応してよい。
ブロック1504において、蛍光ベース画像は、分析モデルを使用してプロセッサによって分析することができる。分析モデルは、目標中の問題のある細胞実体の存在を検出するために、複数の参照蛍光ベース画像を使用して訓練することができる。一例では、参照蛍光ベース画像に加えて、分析モデルは、複数の参照白色光画像を使用して訓練することができる。分析モデルは、分析モデル114に対応してよい。
ブロック1506において、目標中の問題のある細胞実体の存在は、分析に基づいてプロセッサが検出することができる。検出を実施するために、問題のある細胞実体から出る蛍光ベース画像中の蛍光と、問題のある細胞実体以外の領域から出る蛍光ベース画像中の蛍光との間で区別するように分析モデルを訓練することができる。
一例では、ターゲットは、食用製品、研究機器、衛生デバイス、衛生機器、生化学分析チップ、または微小流体チップであってよい。問題のある細胞実体が病原体であってよい。さらに、方法1500は、プロセッサが分析モデルを使用して蛍光ベース画像中の目標の場所を識別するステップを含むことができる。目標中の病原体の存在は、プロセッサが分析モデルを使用して検出することができる。目標中に存在する病原体は、プロセッサが分析モデルを使用して分類することができる。
本主題は、目標中の問題のある細胞実体の存在を検出するために、いくつかの参照蛍光ベース画像にわたって訓練される分析モデルを利用する。加えて、一例では、分析モデルは、傷領域、骨領域などといった、領域を最初に区別するために使用できるいくつかの参照白色光画像にわたって訓練することができる。その後、分析モデルは、目標中の問題のある細胞実体の存在を検出するために、いくつかの参照蛍光ベース画像にわたって訓練し、それによって、検出の精度を向上させることができる。一例では、分析モデルは、精度を改善するための連合学習などといった技法を使用する訓練用に、1つまたは複数のコンピュータまたはサーバまたはクラウドシステムまたはそれらの組合せ上に展開することもできる。分析モデルは、蛍光ベース画像中の背景光と励起光を無視することができ、蛍光ベース画像中の弱い蛍光情報を拾い上げることができる。したがって、本主題は、背景光および励起光をフィルタ処理するための放出フィルタの使用をなくす。したがって、本主題のデバイスは、簡単で費用効果的である。
こうして、本主題は、「光学的計算生体検査」技法を使用した、病原体の迅速で、フィルタのない、非侵襲的、自動的、およびインサイチュ(in-situ)での検出および分類を実現する。
本主題は、糖尿病の足部潰瘍、手術部位感染、やけど、皮膚、ならびに食道、胃、および結腸など体の内部における問題のある細胞実体の存在を検出するために使用することができる。本主題のデバイスは、皮膚科学、美容術、形成外科、感染管理、光力学治療監視、および抗菌感受性試験の分野で使用することができる。
本主題は、外因性蛍光マーカからの蛍光を使用して問題のある細胞実体を検出するために使用することができる。たとえば、外因性マーカは、デオキシリボ核酸(DNA)、リボ核酸(RNA)、タンパク質、生化学マーカなどといった、細胞実体と結合することができ、このことによって、目標を蛍光させることができる。
本主題は、具体的な実施形態を参照して記載されているが、この記載は、限定的な意味で解釈されることを意味していない。開示される実施形態の様々な変形形態ならびに本主題の代替実施形態は、本主題の記載を参照すれば、当業者には明らかとなるであろう。
100 デバイス
102 目標
104 第1の光源
106 矢印
108 画像センサ
110 矢印
112 プロセッサ
114 分析モデル
116 第2の光源
118 矢印
120 矢印
122 ディスプレイ
202 白色光画像
206 領域
204 画像
208 第3の画像
602 画像
604 画像
606 画像
608 生物膜領域
610 画像
612 画像
614 画像
616 画像
618 画像
620 画像
622 画像
624 画像
626 画像
628 画像
630 画像
632 画像
634 画像
636 画像
640 画像
642 画像
644 画像
646 画像
702 白色光画像
704 3D深度画像
706 蛍光画像
800 方法
820 領域
822 領域
900 処理デバイス
902 画像
904 画像
906 画像
908 領域
1002 画像
1004 画像
1006 画像
1008 領域
1102 画像
1104 画像
1106 画像
1108 領域
1202 画像
1204 画像
1206 画像
1208 画像
1302 画像
1304 画像
1400 処理デバイス
1401 通信ネットワーク
1402 プロセッサ
1404 セグメント化モデル
1414 分析モデル
1500 方法
102 目標
104 第1の光源
106 矢印
108 画像センサ
110 矢印
112 プロセッサ
114 分析モデル
116 第2の光源
118 矢印
120 矢印
122 ディスプレイ
202 白色光画像
206 領域
204 画像
208 第3の画像
602 画像
604 画像
606 画像
608 生物膜領域
610 画像
612 画像
614 画像
616 画像
618 画像
620 画像
622 画像
624 画像
626 画像
628 画像
630 画像
632 画像
634 画像
636 画像
640 画像
642 画像
644 画像
646 画像
702 白色光画像
704 3D深度画像
706 蛍光画像
800 方法
820 領域
822 領域
900 処理デバイス
902 画像
904 画像
906 画像
908 領域
1002 画像
1004 画像
1006 画像
1008 領域
1102 画像
1104 画像
1106 画像
1108 領域
1202 画像
1204 画像
1206 画像
1208 画像
1302 画像
1304 画像
1400 処理デバイス
1401 通信ネットワーク
1402 プロセッサ
1404 セグメント化モデル
1414 分析モデル
1500 方法
Claims (24)
- 目標を検査するためのデバイスであって、
前記目標を照射するための光を放出するための第1の光源であって、前記照射される光が、照射されると前記目標中のマーカに蛍光を行わせる波長帯にある、第1の光源と、
前記第1の光源による前記目標の前記照射に応答して前記目標によって放出される光を直接受け取り、放出される前記光に基づいて形成される蛍光ベース画像を捕捉するための画像センサであって、前記蛍光ベース画像が前記目標から出る蛍光を含む、画像センサと、
分析モデルを使用して前記蛍光ベース画像を分析し、前記分析モデルが、目標中の問題のある細胞実体の存在を検出するために、複数の参照蛍光ベース画像を使用して訓練され、
前記分析に基づいて、前記目標中の問題のある細胞実体の存在を検出し、前記検出を実施するために、前記問題のある細胞実体から出る前記蛍光ベース画像中の蛍光と、前記問題のある細胞実体以外の領域から出る蛍光ベース画像中の蛍光との間で区別するように前記分析モデルが訓練される
ためのプロセッサと
を備える、デバイス。 - 前記デバイスは、可搬式であり、手持ち式であるように設計される、請求項1に記載のデバイス。
- 前記デバイスは、スマートフォンである、請求項2に記載のデバイス。
- 前記目標が傷領域であり、前記問題のある細胞実体が病原体であり、前記分析モデルを使用して、前記プロセッサが、
前記蛍光ベース画像に基づいて前記傷領域の場所を識別し、
前記傷領域中の前記病原体の存在を検出し、
前記傷領域中に存在する前記病原体を分類する、請求項1から3のいずれか一項に記載のデバイス。 - 前記分析モデルが機械学習(ML)モデルを含み、前記MLモデルを使用して、前記プロセッサが、
前記蛍光ベース画像の画素のスペクトル強度を表す特徴を受け取り、
前記特徴に基づいて前記傷領域の前記場所を識別し、
前記特徴に基づいて、前記傷領域中の病原体を、グラム陽性病原体とグラム陰性病原体として分類する、請求項4に記載のデバイス。 - 前記分析モデルが人工ニューラルネットワーク(ANN)モデルを含み、前記ANNモデルを使用して、前記プロセッサが、
前記蛍光ベース画像を受け取り、
前記傷領域中の前記病原体の、科、属、種、および菌株のうちの少なくとも1つを判定する、請求項4に記載のデバイス。 - 前記目標が組織サンプルであり、前記プロセッサが、前記組織サンプル中の癌組織および壊死組織のうちの少なくとも1つの存在を検出する、請求項1から3のいずれか一項に記載のデバイス。
- 前記目標を白色光で照射する第2の光源を備え、前記画像センサが、
前記第2の光源による前記目標の前記照射に応答して前記目標によって放出される光を直接受け取り、
前記受け取った光に基づいて白色光画像を捕捉し、
前記プロセッサが、前記白色光画像の分析に基づいて、前記目標中の異常の存在を検出する、請求項1から3のいずれか一項に記載のデバイス。 - 前記目標が傷領域であり、前記プロセッサが、前記傷領域の感染の程度、前記問題のある細胞実体の空間分布、および傷の治療率のうちの少なくとも1つを判定する、請求項1から3のいずれか一項に記載のデバイス。
- 前記問題のある細胞実体の熱撮影のための熱センサを備える、請求項1から3のいずれか一項に記載のデバイス。
- 前記目標が傷領域であり、前記デバイスが、前記目標中の傷の深さを判定するための3次元(3D)深度センサを備える、請求項1から3のいずれか一項に記載のデバイス。
- 前記目標中の前記問題のある細胞実体の存在の前記検出の結果を表示するためのディスプレイユニットを備える、請求項1から3のいずれか一項に記載のデバイス。
- 前記目標が組織であり、前記第1の光源が前記目標を照射するために可視光および近赤外波長範囲のうちの1つで光を放出し、前記分析モデルを使用して、前記プロセッサが、
前記第1の光源による前記目標の前記照射に応じて、前記目標によって放出される画像を分析し、
前記分析に基づいて、組織中の複数の領域で酸素化を検出する、請求項1から3のいずれか一項に記載のデバイス。 - 目標を検査するためのシステムであって、
前記目標の蛍光ベース画像を受け取り、デバイスが前記システムに結合され、前記デバイスが、
前記目標を照射するための光を放出するための第1の光源であって、前記照射される光が、照射されると前記目標中のマーカに蛍光を行わせる波長帯にある、第1の光源と、
前記第1の光源による前記目標の前記照射に応答して前記目標によって放出される光を直接受け取り、放出される前記光に基づいて形成される前記蛍光ベース画像を捕捉するための画像センサであって、前記蛍光ベース画像が前記目標から出る蛍光を含む、画像センサとを備え、
分析モデルを使用して前記蛍光ベース画像を分析し、前記分析モデルが、目標の問題のある細胞実体の存在を検出するために、複数の参照蛍光ベース画像を使用して訓練され、
前記分析に基づいて、前記目標中の問題のある細胞実体の存在を検出し、前記検出を実施するために、前記問題のある細胞実体から出る前記蛍光ベース画像中の前記蛍光と、前記問題のある細胞実体以外の領域から出る前記蛍光ベース画像中の前記蛍光との間で区別するように前記分析モデルが訓練され、
前記デバイスに前記分析の結果を送信し、前記問題のある細胞実体が前記目標中に存在するかどうかを前記結果が示す、プロセッサを備える、システム。 - 前記デバイスを備える、請求項14に記載のシステム。
- 前記目標が傷領域であり、前記蛍光ベース画像を送信する以前に、前記デバイスが、
セグメント化モデルに基づいて、前記蛍光ベース画像中の前記傷領域の場所を識別し、前記セグメント化モデルが、傷領域を位置特定するために複数の参照蛍光ベース画像を使用して訓練され、前記分析モデルが前記位置特定された傷領域中の病原体を分類する、請求項14に記載のシステム。 - 前記デバイスが前記目標を白色光で照射する第2の光源を備え、前記画像センサが、
前記第2の光源による前記目標の前記照射に応答して前記目標によって放出される光を直接受け取り、
前記受け取った光に基づいて白色光画像を捕捉し、
前記プロセッサが、前記白色光画像の分析に基づいて、前記目標中の異常の存在を検出する、請求項14から16のいずれか一項に記載のシステム。 - 前記目標が組織であり、前記第1の光源が前記目標を照射するために可視光および近赤外波長範囲のうちの1つで光を放出し、前記分析モデルを使用して、前記プロセッサが、
前記第1の光源による前記目標の前記照射に応じて、前記目標によって放出される画像を分析し、
前記分析に基づいて、組織中の複数の領域で酸素化を検出する、請求項14に記載のシステム。 - 前記デバイスが前記問題のある細胞実体の熱撮影のための熱センサを備える、請求項14から16のいずれか一項に記載のシステム。
- 目標の蛍光ベース画像を分析するための分析モデルを訓練するためのデバイスであって、
プロセッサと、
前記プロセッサに結合されるメモリであって、
目標の複数の参照蛍光ベース画像を受け取り、前記目標のうちの少なくともいくつかが問題のある細胞実体を有し、
各参照蛍光ベース画像に対応する異常な結果を受け取り、前記参照蛍光ベース画像中に表示される前記目標が問題のある細胞実体を有するかどうかを前記異常な結果が示し、
前記複数の参照蛍光ベース画像およびそれらに対応する異常な結果に基づいて前記分析モデルを訓練し、前記訓練により、前記分析モデルが第1の蛍光ベース画像中に捕捉される目標中の問題のある細胞実体の存在を検出することを可能にする、
前記プロセッサによって実行可能な命令を含む、メモリと
を備える、デバイス。 - 参照蛍光ベース画像を受け取ることに応答して、前記命令が、
前記参照蛍光ベース画像に対応する空間マップおよびスペクトルマップを生成し、
前記空間マップおよび前記スペクトルマップを使用して前記分析モデルを訓練することが実行可能である、請求項20に記載のデバイス。 - 目標を検査するための方法であって、
デバイスの光源を使用して前記目標を照射するステップであって、前記目標上に前記光源によって放出される光が、照射されると前記目標中のマーカに蛍光を行わせる波長帯にあり、前記デバイスが、
前記光源、
前記光源による前記目標の前記照射に応答して前記目標によって放出される光を直接受け取り、放出される前記光に基づいて形成される蛍光ベース画像を捕捉するための画像センサであって、前記蛍光ベース画像が前記目標から出る蛍光を含む、画像センサ、および
プロセッサを備える、ステップと、
前記プロセッサによって、分析モデルを使用して前記蛍光ベース画像を分析するステップであって、前記分析モデルが、目標中の問題のある細胞実体の存在を検出するために、複数の参照蛍光ベース画像を使用して訓練される、ステップと、
前記分析に基づいて、前記プロセッサによって、前記目標中の問題のある細胞実体の存在を検出するステップであって、前記検出を実施するために、前記問題のある細胞実体から出る前記蛍光ベース画像中の前記蛍光と、前記問題のある細胞実体以外の領域から出る前記蛍光ベース画像中の蛍光との間で区別するように前記分析モデルが訓練される、ステップと
を含む、方法。 - 前記目標が、食用製品、研究機器、衛生デバイス、衛生機器、生化学分析チップ、および微小流体チップのうちの1つであり、前記問題のある細胞実体が病原体であり、前記方法が、
前記プロセッサによって、前記分析モデルを使用して、前記蛍光ベース画像中の前記目標の場所を識別するステップと、
前記プロセッサによって、前記分析モデルを使用して、前記目標中の前記病原体の存在を検出するステップと、
前記プロセッサによって、前記分析モデルを使用して、前記目標中に存在する前記病原体を分類するステップと
を含む、請求項22に記載の方法。 - 目標の蛍光ベース画像を分析するための分析モデルを訓練するための方法であって、各目標が細胞実体を有し、前記方法が、
目標の複数の参照蛍光ベース画像を受け取るステップであって、前記目標のうちの少なくともいくつかが問題のある細胞実体を有する、ステップと、
各参照蛍光ベース画像に対応する異常な結果を受け取るステップであって、前記参照蛍光ベース画像中に表示される前記目標が問題のある細胞実体を有するかどうかを前記異常な結果が示す、ステップと、
前記複数の参照蛍光ベース画像およびそれらに対応する異常な結果に基づいて前記分析モデルを訓練するステップであって、前記訓練により、前記分析モデルが第1の蛍光ベース画像中に捕捉される目標中の問題のある細胞実体の存在を検出することを可能にする、ステップと
を含む、方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IN202141005558 | 2021-02-09 | ||
| IN202141005558 | 2021-02-09 | ||
| PCT/IN2022/050107 WO2022172290A1 (en) | 2021-02-09 | 2022-02-08 | Fluorescence-based detection of problematic cellular entities |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024508046A true JP2024508046A (ja) | 2024-02-21 |
Family
ID=82838411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023572253A Pending JP2024508046A (ja) | 2021-02-09 | 2022-02-08 | 問題のある細胞実体の蛍光ベースの検出 |
Country Status (9)
| Country | Link |
|---|---|
| US (2) | US11830190B2 (ja) |
| EP (1) | EP4291875A1 (ja) |
| JP (1) | JP2024508046A (ja) |
| CN (1) | CN116964435A (ja) |
| AU (1) | AU2022219444A1 (ja) |
| BR (1) | BR112023015956A2 (ja) |
| CA (1) | CA3207696A1 (ja) |
| IL (1) | IL305007A (ja) |
| WO (1) | WO2022172290A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL305007A (en) * | 2021-02-09 | 2023-10-01 | Adiuvo Diagnostics Private Ltd | Fluorescence-based identification of problematic cellular entities |
| CN115393348B (zh) * | 2022-10-25 | 2023-03-24 | 绵阳富临医院有限公司 | 一种基于图像识别的烧伤检测方法、系统及存储介质 |
| WO2024095284A1 (en) * | 2022-11-01 | 2024-05-10 | Adiuvo Diagnostics Private Limited | Systems and methods for detection of cellular entities |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060008866A1 (en) | 2004-07-09 | 2006-01-12 | Emerge Interactive, Inc. | Apparatus and method for detecting human fecal contamination on hands and other objects using an illumination imaging device |
| US20090245603A1 (en) | 2007-01-05 | 2009-10-01 | Djuro Koruga | System and method for analysis of light-matter interaction based on spectral convolution |
| EP2291640B1 (en) * | 2008-05-20 | 2018-12-26 | University Health Network | Device and method for fluorescence-based imaging and monitoring |
| US20190187048A1 (en) * | 2016-08-19 | 2019-06-20 | Monash University | Spectroscopic systems and methods for the identification and quantification of pathogens |
| EP4306042A3 (en) | 2017-03-22 | 2024-03-27 | Adiuvo Diagnostics PVT Ltd | Device and method for detection and classification of pathogens |
| US11185280B2 (en) * | 2017-10-17 | 2021-11-30 | Kronikare Pte Ltd | System and method for facilitating analysis of a wound in a target subject |
| US11727560B2 (en) | 2018-02-02 | 2023-08-15 | Moleculight Inc. | Wound imaging and analysis |
| WO2020159913A1 (en) * | 2019-01-29 | 2020-08-06 | Rensselaer Polytechnic Institute | System for early detection of plant disease |
| WO2020210746A1 (en) * | 2019-04-12 | 2020-10-15 | Invenio Imaging, Inc. | Imaging system for detection of intraoperative contrast agents in tissue |
| WO2021150812A1 (en) * | 2020-01-23 | 2021-07-29 | Precision Healing, Inc. | Exudate analysis using optical signatures |
| EP4199812A1 (en) * | 2021-02-02 | 2023-06-28 | Colgate-Palmolive Company | System and devices for multispectral 3d imaging and diagnostics of tissues, and methods thereof |
| IL305007A (en) * | 2021-02-09 | 2023-10-01 | Adiuvo Diagnostics Private Ltd | Fluorescence-based identification of problematic cellular entities |
-
2022
- 2022-02-08 IL IL305007A patent/IL305007A/en unknown
- 2022-02-08 BR BR112023015956A patent/BR112023015956A2/pt unknown
- 2022-02-08 JP JP2023572253A patent/JP2024508046A/ja active Pending
- 2022-02-08 EP EP22752470.9A patent/EP4291875A1/en active Pending
- 2022-02-08 WO PCT/IN2022/050107 patent/WO2022172290A1/en active Application Filing
- 2022-02-08 CA CA3207696A patent/CA3207696A1/en active Pending
- 2022-02-08 AU AU2022219444A patent/AU2022219444A1/en active Pending
- 2022-02-08 CN CN202280019876.3A patent/CN116964435A/zh active Pending
- 2022-05-27 US US17/827,399 patent/US11830190B2/en active Active
-
2023
- 2023-10-16 US US18/487,438 patent/US20240046474A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN116964435A (zh) | 2023-10-27 |
| US20240046474A1 (en) | 2024-02-08 |
| BR112023015956A2 (pt) | 2023-10-24 |
| US11830190B2 (en) | 2023-11-28 |
| EP4291875A1 (en) | 2023-12-20 |
| CA3207696A1 (en) | 2022-08-18 |
| WO2022172290A1 (en) | 2022-08-18 |
| US20220292677A1 (en) | 2022-09-15 |
| AU2022219444A1 (en) | 2023-09-21 |
| IL305007A (en) | 2023-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7482732B2 (ja) | 診断目的のためのデータの収集および解析 | |
| US11830190B2 (en) | Fluorescence-based detection of problematic cellular entities | |
| US20230394660A1 (en) | Wound imaging and analysis | |
| ES2968298T3 (es) | Dispositivo y método para la detección y clasificación de patógenos | |
| JP2022064957A (ja) | 螢光に基づく画像化およびモニタリング用装置ならびにその方法 | |
| US20030026762A1 (en) | Bio-spectral imaging system and methods for diagnosing cell disease state | |
| WO2018187586A1 (en) | System and method for diagnosing soft tissue conditions | |
| Radhakrishnan et al. | Rapid handheld screening device to detect skin and soft tissue infections | |
| US20240027417A1 (en) | System and method for assessing biological tissue | |
| WO2024095284A1 (en) | Systems and methods for detection of cellular entities | |
| US20230218154A1 (en) | System and Method for Dynamic Optical Contrast Imaging | |
| WO2023064627A1 (en) | System and method for assessing biological tissue | |
| Fan et al. | Method for enhancing transmission image of breast obtained in visible and near-infrared bands | |
| WO2022147064A1 (en) | Multispectral sample analysis using fluorescence signatures |