JP2023535143A - 創傷の組織学的評価のためのスペクトルイメージングシステムおよびその方法 - Google Patents
創傷の組織学的評価のためのスペクトルイメージングシステムおよびその方法 Download PDFInfo
- Publication number
- JP2023535143A JP2023535143A JP2023502581A JP2023502581A JP2023535143A JP 2023535143 A JP2023535143 A JP 2023535143A JP 2023502581 A JP2023502581 A JP 2023502581A JP 2023502581 A JP2023502581 A JP 2023502581A JP 2023535143 A JP2023535143 A JP 2023535143A
- Authority
- JP
- Japan
- Prior art keywords
- burn
- image
- pixel
- imaging
- spectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 110
- 208000027418 Wounds and injury Diseases 0.000 title claims abstract description 94
- 206010052428 Wound Diseases 0.000 title claims abstract description 80
- 238000000701 chemical imaging Methods 0.000 title claims description 82
- 230000035876 healing Effects 0.000 claims abstract description 62
- 238000013135 deep learning Methods 0.000 claims abstract description 47
- 238000003384 imaging method Methods 0.000 claims description 200
- 210000001519 tissue Anatomy 0.000 claims description 89
- 210000003491 skin Anatomy 0.000 claims description 71
- 210000004207 dermis Anatomy 0.000 claims description 56
- 230000006378 damage Effects 0.000 claims description 38
- 230000017074 necrotic cell death Effects 0.000 claims description 31
- 102000008186 Collagen Human genes 0.000 claims description 19
- 108010035532 Collagen Proteins 0.000 claims description 19
- 229920001436 collagen Polymers 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 238000011156 evaluation Methods 0.000 claims description 15
- 238000001356 surgical procedure Methods 0.000 claims description 15
- 230000001338 necrotic effect Effects 0.000 claims description 12
- 230000004083 survival effect Effects 0.000 claims description 10
- 230000007850 degeneration Effects 0.000 claims description 9
- 210000000106 sweat gland Anatomy 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 210000004204 blood vessel Anatomy 0.000 claims description 6
- 210000003780 hair follicle Anatomy 0.000 claims description 6
- 210000001732 sebaceous gland Anatomy 0.000 claims description 6
- 230000003966 vascular damage Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 4
- 210000000040 apocrine gland Anatomy 0.000 claims description 3
- 230000001010 compromised effect Effects 0.000 claims description 3
- 230000001086 cytosolic effect Effects 0.000 claims description 3
- 239000000835 fiber Substances 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000008961 swelling Effects 0.000 claims description 3
- 230000005779 cell damage Effects 0.000 claims 1
- 208000037887 cell injury Diseases 0.000 claims 1
- 230000005494 condensation Effects 0.000 claims 1
- 238000009833 condensation Methods 0.000 claims 1
- 230000003595 spectral effect Effects 0.000 description 100
- 230000003287 optical effect Effects 0.000 description 77
- 238000001574 biopsy Methods 0.000 description 46
- 238000004458 analytical method Methods 0.000 description 38
- 238000012545 processing Methods 0.000 description 38
- 238000013461 design Methods 0.000 description 34
- 230000015654 memory Effects 0.000 description 32
- 238000005286 illumination Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 26
- 238000012360 testing method Methods 0.000 description 25
- 206010006802 Burns second degree Diseases 0.000 description 24
- 238000003860 storage Methods 0.000 description 22
- 238000003066 decision tree Methods 0.000 description 20
- 238000001228 spectrum Methods 0.000 description 19
- 238000012549 training Methods 0.000 description 19
- 230000003902 lesion Effects 0.000 description 18
- 208000014674 injury Diseases 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 13
- 210000004027 cell Anatomy 0.000 description 13
- 238000012937 correction Methods 0.000 description 13
- 238000013507 mapping Methods 0.000 description 13
- 206010006803 Burns third degree Diseases 0.000 description 12
- 230000008901 benefit Effects 0.000 description 12
- 238000010801 machine learning Methods 0.000 description 11
- 230000003936 working memory Effects 0.000 description 11
- 238000003491 array Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000035945 sensitivity Effects 0.000 description 9
- 239000000758 substrate Substances 0.000 description 9
- 206010006797 Burns first degree Diseases 0.000 description 8
- 238000000576 coating method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 210000002615 epidermis Anatomy 0.000 description 8
- 239000000463 material Substances 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 239000000523 sample Substances 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000010562 histological examination Methods 0.000 description 7
- WSFSSNUMVMOOMR-UHFFFAOYSA-N Formaldehyde Chemical compound O=C WSFSSNUMVMOOMR-UHFFFAOYSA-N 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 230000005670 electromagnetic radiation Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000012014 optical coherence tomography Methods 0.000 description 6
- 238000001429 visible spectrum Methods 0.000 description 6
- 230000004075 alteration Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 201000010099 disease Diseases 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 230000001575 pathological effect Effects 0.000 description 5
- 238000007388 punch biopsy Methods 0.000 description 5
- 238000012552 review Methods 0.000 description 5
- 206010056340 Diabetic ulcer Diseases 0.000 description 4
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 4
- 208000025865 Ulcer Diseases 0.000 description 4
- 230000001684 chronic effect Effects 0.000 description 4
- 239000011248 coating agent Substances 0.000 description 4
- 239000002872 contrast media Substances 0.000 description 4
- 238000002790 cross-validation Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 239000003814 drug Substances 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 230000002962 histologic effect Effects 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 108091008695 photoreceptors Proteins 0.000 description 4
- 230000001172 regenerating effect Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000004904 shortening Methods 0.000 description 4
- 239000010409 thin film Substances 0.000 description 4
- 238000002834 transmittance Methods 0.000 description 4
- 231100000397 ulcer Toxicity 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 3
- 238000002266 amputation Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 230000017531 blood circulation Effects 0.000 description 3
- 230000002301 combined effect Effects 0.000 description 3
- 206010012601 diabetes mellitus Diseases 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 210000002414 leg Anatomy 0.000 description 3
- 230000037311 normal skin Effects 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000002271 resection Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- MCSXGCZMEPXKIW-UHFFFAOYSA-N 3-hydroxy-4-[(4-methyl-2-nitrophenyl)diazenyl]-N-(3-nitrophenyl)naphthalene-2-carboxamide Chemical compound Cc1ccc(N=Nc2c(O)c(cc3ccccc23)C(=O)Nc2cccc(c2)[N+]([O-])=O)c(c1)[N+]([O-])=O MCSXGCZMEPXKIW-UHFFFAOYSA-N 0.000 description 2
- 208000008960 Diabetic foot Diseases 0.000 description 2
- 206010012689 Diabetic retinopathy Diseases 0.000 description 2
- 206010063560 Excessive granulation tissue Diseases 0.000 description 2
- 229910000530 Gallium indium arsenide Inorganic materials 0.000 description 2
- 206010020565 Hyperaemia Diseases 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 2
- 208000004221 Multiple Trauma Diseases 0.000 description 2
- 208000004210 Pressure Ulcer Diseases 0.000 description 2
- 206010072170 Skin wound Diseases 0.000 description 2
- 206010067584 Type 1 diabetes mellitus Diseases 0.000 description 2
- KXNLCSXBJCPWGL-UHFFFAOYSA-N [Ga].[As].[In] Chemical compound [Ga].[As].[In] KXNLCSXBJCPWGL-UHFFFAOYSA-N 0.000 description 2
- 238000003705 background correction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000009835 boiling Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 210000002808 connective tissue Anatomy 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 208000035250 cutaneous malignant susceptibility to 1 melanoma Diseases 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000001804 debridement Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 230000002500 effect on skin Effects 0.000 description 2
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 2
- 210000000981 epithelium Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 210000001126 granulation tissue Anatomy 0.000 description 2
- 230000023597 hemostasis Effects 0.000 description 2
- 230000004054 inflammatory process Effects 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 201000001441 melanoma Diseases 0.000 description 2
- 230000010412 perfusion Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000002980 postoperative effect Effects 0.000 description 2
- 230000035755 proliferation Effects 0.000 description 2
- 230000000541 pulsatile effect Effects 0.000 description 2
- 230000008929 regeneration Effects 0.000 description 2
- 238000011069 regeneration method Methods 0.000 description 2
- 238000007634 remodeling Methods 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000002265 sensory receptor cell Anatomy 0.000 description 2
- 108091008691 sensory receptors Proteins 0.000 description 2
- 102000027509 sensory receptors Human genes 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 210000000130 stem cell Anatomy 0.000 description 2
- 239000003826 tablet Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 208000001072 type 2 diabetes mellitus Diseases 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000035899 viability Effects 0.000 description 2
- 230000029663 wound healing Effects 0.000 description 2
- ZYECOAILUNWEAL-NUDFZHEQSA-N (4z)-4-[[2-methoxy-5-(phenylcarbamoyl)phenyl]hydrazinylidene]-n-(3-nitrophenyl)-3-oxonaphthalene-2-carboxamide Chemical compound COC1=CC=C(C(=O)NC=2C=CC=CC=2)C=C1N\N=C(C1=CC=CC=C1C=1)/C(=O)C=1C(=O)NC1=CC=CC([N+]([O-])=O)=C1 ZYECOAILUNWEAL-NUDFZHEQSA-N 0.000 description 1
- 206010004146 Basal cell carcinoma Diseases 0.000 description 1
- 206010051055 Deep vein thrombosis Diseases 0.000 description 1
- 208000032131 Diabetic Neuropathies Diseases 0.000 description 1
- 208000035874 Excoriation Diseases 0.000 description 1
- 102000018233 Fibroblast Growth Factor Human genes 0.000 description 1
- 108050007372 Fibroblast Growth Factor Proteins 0.000 description 1
- 208000032843 Hemorrhage Diseases 0.000 description 1
- 208000034693 Laceration Diseases 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000009344 Penetrating Wounds Diseases 0.000 description 1
- 208000018262 Peripheral vascular disease Diseases 0.000 description 1
- 208000012322 Raynaud phenomenon Diseases 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 206010038923 Retinopathy Diseases 0.000 description 1
- 206010039710 Scleroderma Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 208000000453 Skin Neoplasms Diseases 0.000 description 1
- 238000010162 Tukey test Methods 0.000 description 1
- 206010047249 Venous thrombosis Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 208000009621 actinic keratosis Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 206010064930 age-related macular degeneration Diseases 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000000540 analysis of variance Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 208000007502 anemia Diseases 0.000 description 1
- 239000003242 anti bacterial agent Substances 0.000 description 1
- 229940088710 antibiotic agent Drugs 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 208000006673 asthma Diseases 0.000 description 1
- 210000001142 back Anatomy 0.000 description 1
- 201000007917 background diabetic retinopathy Diseases 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 208000034158 bleeding Diseases 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000001736 capillary Anatomy 0.000 description 1
- 230000036996 cardiovascular health Effects 0.000 description 1
- 230000003833 cell viability Effects 0.000 description 1
- 210000003850 cellular structure Anatomy 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 208000037976 chronic inflammation Diseases 0.000 description 1
- 230000006020 chronic inflammation Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 210000002889 endothelial cell Anatomy 0.000 description 1
- 230000003511 endothelial effect Effects 0.000 description 1
- 210000001339 epidermal cell Anatomy 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 229920002457 flexible plastic Polymers 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000003325 follicular Effects 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000003102 growth factor Substances 0.000 description 1
- 230000002650 habitual effect Effects 0.000 description 1
- 230000009442 healing mechanism Effects 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 210000003494 hepatocyte Anatomy 0.000 description 1
- 230000003118 histopathologic effect Effects 0.000 description 1
- 210000004276 hyalin Anatomy 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 229940125721 immunosuppressive agent Drugs 0.000 description 1
- 239000003018 immunosuppressive agent Substances 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- WPYVAWXEWQSOGY-UHFFFAOYSA-N indium antimonide Chemical compound [Sb]#[In] WPYVAWXEWQSOGY-UHFFFAOYSA-N 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000001659 ion-beam spectroscopy Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000036564 melanin content Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 238000007431 microscopic evaluation Methods 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000001543 one-way ANOVA Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000002559 palpation Methods 0.000 description 1
- 239000012188 paraffin wax Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 208000030613 peripheral artery disease Diseases 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000013310 pig model Methods 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 239000004417 polycarbonate Substances 0.000 description 1
- 229920000515 polycarbonate Polymers 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 201000007914 proliferative diabetic retinopathy Diseases 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 108020003175 receptors Proteins 0.000 description 1
- 102000005962 receptors Human genes 0.000 description 1
- 238000002278 reconstructive surgery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 201000000849 skin cancer Diseases 0.000 description 1
- 201000002859 sleep apnea Diseases 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 206010041823 squamous cell carcinoma Diseases 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 150000003431 steroids Chemical class 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 229940124597 therapeutic agent Drugs 0.000 description 1
- 230000003685 thermal hair damage Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000002211 ultraviolet spectrum Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 238000007740 vapor deposition Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/445—Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4842—Monitoring progression or stage of a disease
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Radiology & Medical Imaging (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Computation (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Dermatology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Mathematical Physics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本開示は、熱傷などの創傷の状態を評価または予測するシステムおよびその方法に関する。このシステムは、少なくとも１つの光検出素子と、１つ以上のプロセッサを含んでいてもよく、この１つ以上のプロセッサは、組織領域から反射された光を示すシグナルを前記少なくとも１つの光検出素子から受信し；前記組織領域を表す、複数の画素を有する画像を作成し；１つ以上の深層学習アルゴリズムを用いて、前記画像の画素のサブセットの熱傷状態を判別するように構成されている。本発明のシステムは、画素ごとに分類された前記組織部位の画像を作成し、かつ／または前記創傷の治癒に関連する予測スコアを判定するようにさらに構成することができる。
Description
関連出願の相互参照
本出願は、2020年7月13日に出願された「創傷の組織学的評価のためのスペクトルイメージングシステムおよびその方法」という名称の米国仮特許出願第63/051,308号の利益を主張するものであり、この出願は引用によりその全体が本明細書に援用される。
本出願は、2020年7月13日に出願された「創傷の組織学的評価のためのスペクトルイメージングシステムおよびその方法」という名称の米国仮特許出願第63/051,308号の利益を主張するものであり、この出願は引用によりその全体が本明細書に援用される。
連邦政府の助成による研究開発に関する陳述
本開示に記載の発明の一部は、契約番号HHSO100201300022Cの下、米国保健福祉省の事前準備・対応担当次官補局内の米生物医学先端研究開発局（BARDA）により付与された米国政府の支援を受けてなされたものである。また、本開示に記載の発明の一部は、契約番号W81XWH-17-C-0170および／または契約番号W81XWH-18-C-0114の下、米国国防保健局（DHA）により付与された米国政府の支援を受けてなされたものである。米国政府は、本発明に関し一定の権利を保有する場合がある。
本開示に記載の発明の一部は、契約番号HHSO100201300022Cの下、米国保健福祉省の事前準備・対応担当次官補局内の米生物医学先端研究開発局（BARDA）により付与された米国政府の支援を受けてなされたものである。また、本開示に記載の発明の一部は、契約番号W81XWH-17-C-0170および／または契約番号W81XWH-18-C-0114の下、米国国防保健局（DHA）により付与された米国政府の支援を受けてなされたものである。米国政府は、本発明に関し一定の権利を保有する場合がある。
本明細書に開示されたシステムおよび方法は、スペクトルイメージングに関し、より具体的には、スペクトルイメージングに基づいて創傷を組織学的に評価するシステムおよびその方法に関する。
電磁スペクトルとは、電磁放射線（例えば光）の波長または周波数の帯域である。電磁スペクトルは、長い波長から短い波長の順に、電波、マイクロ波、赤外線光（IR）、可視光（すなわちヒトの眼の構造により検出可能な光）、紫外線光（UV）、Ｘ線、およびガンマ線を含む。また、スペクトルイメージングは、像平面の様々な位置においてスペクトル情報の一部または完全なスペクトルを収集する分光学および写真撮影術の一分野を指す。マルチスペクトルイメージングシステムは、複数のスペクトル帯域（通常、それぞれ異なるスペクトル領域にある十数個以下のスペクトル帯域）を撮影して、画素ごとにそのスペクトル帯域での測定値を収集することができ、１個のスペクトルチャネルあたり数十nmの帯域幅を参照することができる。一方、ハイパースペクトルイメージングシステムは、さらに多くのスペクトル帯域を測定することができ、例えば200個以上ものスペクトル帯域の測定が可能であり、いくつかの種類のハイパースペクトルイメージングシステムは、電磁スペクトルの一部に沿って狭帯域（例えば数nm以下のスペクトル帯域幅）を連続的にサンプリングすることができる。
本明細書で開示するマルチスペクトルイメージングシステムおよびマルチスペクトルイメージング技術は、いくつかの特徴を有するが、このうちのどれが欠けても所望の特性を達成することはできない。本明細書で開示するスペクトルイメージングの特定の特徴を簡潔に説明するが、以下の説明は、後述の請求項で示す本発明の範囲を限定するものではない。当業者であれば、本明細書で開示するスペクトルイメージングの特徴が、従来のシステムや方法と比べてどのような利点を有するのかを十分に理解できるであろう。
第１の態様において、
創傷の状態を評価または予測するシステムは、
熱傷を含む組織領域から反射された少なくとも第１の波長の光を収集するように構成された少なくとも１つの光検出素子；および
前記少なくとも１つの光検出素子と通信する１つ以上のプロセッサ
を含み、
前記１つ以上のプロセッサが、
前記組織領域から反射された第１の波長の光を示すシグナルを前記少なくとも１つの光検出素子から受信し；
前記シグナルに基づいて、前記組織領域を表す、複数の画素を有する画像を作成し；
前記複数の画素の少なくとも１つのサブセットにおいて、前記シグナルに基づいて第１の波長における各画素の反射強度値を測定し；
少なくとも１つの深層学習アルゴリズムを用いて、前記組織領域を表す画素のサブセットの各画素に対応する熱傷状態を判別し；
前記組織領域を表す画素のサブセットの各画素に対応する判別された熱傷状態と前記画像とに少なくとも部分的に基づいて、画素ごとに分類された画像を作成する
ように構成されている。
創傷の状態を評価または予測するシステムは、
熱傷を含む組織領域から反射された少なくとも第１の波長の光を収集するように構成された少なくとも１つの光検出素子；および
前記少なくとも１つの光検出素子と通信する１つ以上のプロセッサ
を含み、
前記１つ以上のプロセッサが、
前記組織領域から反射された第１の波長の光を示すシグナルを前記少なくとも１つの光検出素子から受信し；
前記シグナルに基づいて、前記組織領域を表す、複数の画素を有する画像を作成し；
前記複数の画素の少なくとも１つのサブセットにおいて、前記シグナルに基づいて第１の波長における各画素の反射強度値を測定し；
少なくとも１つの深層学習アルゴリズムを用いて、前記組織領域を表す画素のサブセットの各画素に対応する熱傷状態を判別し；
前記組織領域を表す画素のサブセットの各画素に対応する判別された熱傷状態と前記画像とに少なくとも部分的に基づいて、画素ごとに分類された画像を作成する
ように構成されている。
いくつかの実施形態において、前記画素ごとに分類された画像は、各画素に対応する判別された熱傷状態に応じて異なる視覚表示を有する画素を含む。
いくつかの実施形態において、前記１つ以上のプロセッサは、前記画素ごとに分類された画像を視覚的に表示するようにさらに構成されている。
いくつかの実施形態において、各画素に対応する熱傷状態は、治癒しない熱傷状態および治癒する熱傷状態から選択される。
いくつかの実施形態において、各画素に対応する熱傷状態は、熱傷深度に関連する状態である。いくつかの実施形態において、各画素に対応する熱傷状態は、Ｉ度熱傷状態、浅達性II度熱傷状態、深達性II度熱傷状態およびIII度熱傷状態から選択される。
いくつかの実施形態において、前記熱傷状態は、前記熱傷の少なくとも一部における皮膚付属器の壊死の程度に応じて判別される。いくつかの実施形態において、前記組織領域を表す画素のサブセットの各画素に対応する熱傷状態を判別する工程は、前記熱傷の少なくとも一部における皮膚付属器の壊死の割合を特定する工程を含む。いくつかの実施形態において、前記治癒しない熱傷状態は、50.0%を超える割合の前記皮膚付属器の壊死に相当する。いくつかの実施形態において、前記治癒しない熱傷状態は、0.0%を超える割合の前記皮膚付属器の壊死に相当する。
いくつかの実施形態において、前記少なくとも１つの深層学習アルゴリズムは、畳み込みニューラルネットワークを含む。いくつかの実施形態において、前記畳み込みニューラルネットワークはSegNetを含む。
いくつかの実施形態において、前記少なくとも１つの深層学習アルゴリズムは、複数の深層学習アルゴリズムのアンサンブルを含む。いくつかの実施形態において、前記少なくとも１つの深層学習アルゴリズムは、重み付き平均アンサンブルを含む。いくつかの実施形態において、前記少なくとも１つの深層学習アルゴリズムは、真陽性率（TPR）で重み付けしたアンサンブルを含む。
いくつかの実施形態において、前記少なくとも１つの深層学習アルゴリズムは、創傷のデータベースを用いて訓練されたものである。いくつかの実施形態において、前記創傷のデータベースは、熱傷のデータベースを含む。
いくつかの実施形態において、前記少なくとも１つの深層学習アルゴリズムは、複数の真値マスクの少なくとも一部に基づいて訓練されたものであり、該複数の真値マスクの少なくとも一部は、熱傷組織の生検検体における皮膚付属器の壊死の有無に少なくとも部分的に基づいて作成されたものである。
いくつかの実施形態において、前記１つ以上のプロセッサは、前記組織領域を表す画素のサブセットの各画素に対応する判別された熱傷状態の少なくとも一部に基づいて、前記画像の作成後の所定の期間内における熱傷の治癒に関連する予測スコアを判定するようにさらに構成されている。いくつかの実施形態において、前記予測スコアは、外科手術または皮膚移植を行わずに治癒する確率を示す。いくつかの実施形態において、前記所定の期間は21日間である。
第２の態様において、対象において、創傷、好ましくは熱傷が発生した後に、細胞の生存もしくは障害、コラーゲンの変性、皮膚付属器の障害もしくは壊死、および／または血管の障害を検出する方法は、
創傷、好ましくは熱傷を有する対象を選択する工程；
前記態様のいずれかに記載のマルチスペクトル画像システムを用いて、好ましくは熱傷である前記創傷の領域を撮像する工程；
創傷のデータベース、好ましくは熱傷のデータベースで訓練された深層学習アルゴリズムを用いて、前記工程で得られた画像データを評価する工程；
好ましくは熱傷である前記創傷の撮像領域において、前記創傷の細胞が生存可能か、もしくは障害を受けているかどうか、コラーゲンが変性しているかどうか、皮膚付属器が障害を受けているか、もしくは壊死しているかどうか、および／または血管が障害を受けているかどうかを表示する工程；ならびに
任意で実施される工程として、好ましくは熱傷である前記創傷が、外科手術または皮膚移植などの高度な治療を行わずに、所定の期間内に、好ましくは21～30日間で治癒する可能性を予測する予測スコアを提供する工程
を含む。
創傷、好ましくは熱傷を有する対象を選択する工程；
前記態様のいずれかに記載のマルチスペクトル画像システムを用いて、好ましくは熱傷である前記創傷の領域を撮像する工程；
創傷のデータベース、好ましくは熱傷のデータベースで訓練された深層学習アルゴリズムを用いて、前記工程で得られた画像データを評価する工程；
好ましくは熱傷である前記創傷の撮像領域において、前記創傷の細胞が生存可能か、もしくは障害を受けているかどうか、コラーゲンが変性しているかどうか、皮膚付属器が障害を受けているか、もしくは壊死しているかどうか、および／または血管が障害を受けているかどうかを表示する工程；ならびに
任意で実施される工程として、好ましくは熱傷である前記創傷が、外科手術または皮膚移植などの高度な治療を行わずに、所定の期間内に、好ましくは21～30日間で治癒する可能性を予測する予測スコアを提供する工程
を含む。
いくつかの実施形態において、前記評価される障害を受けた皮膚付属器は、毛包、脂腺、アポクリン腺および／またはエクリン汗腺を含む。
いくつかの実施形態において、前記対象における細胞の生存もしくは障害、コラーゲンの変性、皮膚付属器の障害もしくは壊死および／または血管の障害の評価は、皮膚の乳頭層領域で行われる。
いくつかの実施形態において、前記対象における細胞の生存もしくは障害、コラーゲンの変性、皮膚付属器の障害もしくは壊死および／または血管の障害の評価は、皮膚の真皮網状層で行われる。
いくつかの実施形態において、前記対象における細胞の生存もしくは障害、コラーゲンの変性、皮膚付属器の障害もしくは壊死および／または血管の障害の評価は、皮膚の真皮網状層よりも深い部位で行われる。
いくつかの実施形態において、ヒアリン化コラーゲンが検出されるか、１本１本のコラーゲン線維が識別不能である。
いくつかの実施形態において、前記細胞の障害は、細胞の膨張、細胞質の空胞化または核濃縮である。
いくつかの実施形態において、分析された前記皮膚付属器の50%以上が障害を受けているか、壊死していると特定された場合に、治癒しない熱傷であることを予測する予測スコアが提供され、任意で、皮膚移植または外科手術などの高度な治療を受けるように前記対象に指示を与えるか、前記対象に皮膚移植または外科手術を行う。
いくつかの実施形態において、前記深層学習アルゴリズムは、モメンタム最適化法と交差エントロピー誤差を用いた確率的勾配降下法により訓練されたものである。
いくつかの実施形態において、前記深層学習アルゴリズムは、SegNet、フィルタバンクを用いて正則化したSegNet、補助損失を用いたSegNet、U-Net、拡張型全結合ニューラルネットワーク（dFCN）、平均アンサンブル、真陽性率（TPR）で重み付けしたアンサンブル、および重み付き平均アンサンブルから選択される。
いくつかの実施形態において、前記深層学習アルゴリズムはSegNetである。
本明細書で概説するように、本開示は、各アパーチャの上方に配置された湾曲したマルチバンドパスフィルタを備えたマルチアパーチャシステムを使用したスペクトルイメージングに関する。また、本開示は、そのようなイメージングシステムから受信した画像情報を使用して、スペクトルデータキューブを生成するために、スペクトルアンミキシングおよび画像の位置合わせを実装するための技術に関する。本開示の技術は、後述するように、画像化される物体から反射された波長帯域に関する正確な情報を示す画像データを得る際に、スペクトルイメージングにおいて通常見られる様々な課題に対処するものである。いくつかの実施形態において、本明細書に記載のシステムおよび方法は、短時間で（例えば６秒以内に）広範囲な組織（例えば5.9×7.9インチ）の画像を取得することができ、イメージング造影剤の注射を必要とせずに、これを達成することができる。いくつかの態様において、例えば、本明細書に記載のマルチスペクトル画像システムは、例えば5.9×7.9インチといった広範囲な組織から６秒以内に画像を取得するように構成されており、かつ複数の熱傷状態、複数の創傷状態もしくは治癒可能性の識別；または画像化された組織のがん状態もしくは非がん状態、創傷の深さ、デブリードマンの際のマージン、糖尿病性潰瘍、非糖尿病性潰瘍もしくは慢性潰瘍の存在を含む臨床的特徴などの組織分析情報を、イメージング造影剤の非存在下で提供するように構成されている。同様に、本明細書に記載の方法のいくつかにおいて、本発明のマルチスペクトル画像システムは、例えば5.9×7.9インチといった広範囲な組織から６秒以内に画像を取得し、かつ複数の熱傷状態、複数の創傷状態もしくは治癒可能性の識別；または画像化された組織のがん状態または非がん状態、創傷の深さ、デブリードマンの際のマージン、糖尿病性潰瘍、非糖尿病性潰瘍もしくは慢性潰瘍の存在を含む臨床的特徴などの組織分析情報を、イメージング造影剤の非存在下で出力することができる。
既存の解決策における課題の１つとして、撮影した画像の色が歪んでしまい、画像データの品質が損なわれることがある。これは、特に、光学フィルタを使用して特定の波長の光を正確に検出し分析することに依存した用途において問題となりうる。より具体的には、色の濃淡は、イメージセンサ領域を通過する位置に応じた光の波長の変化であり、これは、カラーフィルタへの光の入射角が大きくなるほど、カラーフィルタを透過する光の波長が短くなることによって起こる。通常、このような効果は、干渉系フィルタにおいて観察され、干渉系フィルタは、透明な基材に様々な屈折率の薄層を複数重ねて製造される。したがって、長い波長（赤色光など）であるほど、光線入射角が大きくなることから、イメージセンサの端部において阻止されやすくなり、イメージセンサを通過する際に、同じ波長の入射光が空間的には不均一な色として検出される。画像補正をしない場合、色の濃淡は、撮影された画像の端部付近の色の変化として現れる。
本開示の技術は、レンズおよび／またはイメージセンサの構成と、これらの視野またはアパーチャサイズが限定されないため、上市されているその他のマルチスペクトルイメージングシステムと比べて有利である。当業者であれば熟知しているように、本明細書で開示するイメージングシステムのレンズ、イメージセンサ、アパーチャサイズ、またはその他の部品の変更は、該イメージングシステムへのその他の調整を含んでいてもよいことを理解できるであろう。また、本開示の技術は、波長を分割する機能を有する部品、またはイメージングシステム全体を利用して波長を分割する機能を有する部品（例えば光学フィルタなど）を、光エネルギーをデジタル出力に変換する部品（例えばイメージセンサなど）から分離可能であるという点で、その他のマルチスペクトルイメージングシステムと比べて改良されている。これによって、コストを削減し、簡略化し、かつ／または異なるマルチスペクトル波長用のイメージングシステムを再構成するための開発時間を短縮することができる。また、本開示の技術は、より小さくより軽量のフォームファクタにおいて、上市されているその他のマルチスペクトルイメージングシステムと同等の撮像特性を達成可能であるという点で、その他のマルチスペクトルイメージングシステムよりも堅牢であると考えられる。また、本開示の技術は、スナップショット、ビデオレートまたは高速ビデオレートでマルチスペクトル画像を取得できるという点でも、その他のマルチスペクトルイメージングシステムと比べて有利である。また、本開示の技術は、いくつかのスペクトル帯域を各アパーチャに多重化することができるため、イメージングデータセット中の特定の数のスペクトル帯域を取得するのに必要とされるアパーチャの数を減らすことができ、アパーチャの数の削減と改良された光収集によりコストが削減できることから（例えば、市販のセンサアレイでは、固定されたサイズおよび寸法に収められる程度のさらに大きなアパーチャが使用されうる）、マルチアパーチャ技術に基づいたマルチスペクトルイメージングシステムのさらに堅牢な実装を提供することができる。さらに、本開示の技術は、解像度または画質に関して妥協することなく、これらの利点のすべてを提供することができる。
図1Aは、イメージセンサ110に向かう光路に沿って配置されたフィルタ108の一例と、様々な光線入射角でフィルタ108に入射する光を示す。光線102A、光線104A、光線106Aは、フィルタ108を通過した後、レンズ112により屈折されてセンサ110上に入射する線として示す。レンズ112は、ミラーおよび／またはアパーチャなどの（ただしこれらに限定されない）別の画像形成光学系と置き換えてもよい。図1Aにおいて、各光線の光は広帯域であると見なされ、例えば、広い波長領域のスペクトル組成を有する光であり、フィルタ108により特定波長の光のみが選択的に透過される。３つの光線102A、104A、106Aは、互いに異なる入射角でフィルタ108に入射する。説明を目的として、光線102Aは、フィルタ108に対して実質的に垂直な入射として示され、光線104Aは、光線102Aよりも大きな入射角を有し、光線106Aは、光線104Aよりも大きい入射角を有する。フィルタを通過した各光線102B、104B、106Bは、入射角に依存したフィルタ108の透過特性により、特有のスペクトラムを示し、これらの特有のスペクトラムは、センサ110で検出される。この入射角度依存性という効果から、入射角が増加するほど波長が短くなるという、フィルタ108の帯域通過特性のシフトが起こる。さらに、入射角度依存性によって、フィルタ108の透過効率が低下することがあり、フィルタ108の帯域通過特性を示すスペクトル形状が変化することがある。このような複合効果は、入射角度依存性のスペクトル透過と呼ばれる。図1Bは、センサ110の位置に存在すると仮定した分光器で検出された図1Aの各光線のスペクトラムを示し、入射角が増加するほど、フィルタ108の帯域通過特性を示すスペクトルがシフトすることを説明している。曲線102C、曲線104Cおよび曲線106Cは、帯域通過特性の中心波長が短くなっていることを示し、したがって、この例では、光学系から照射された光の波長が短縮していることが示されている。また、この図に示すように、帯域通過特性のスペクトル形状および透過率のピークも入射角により変化する。特定のコンシューマー向けの用途では、このような入射角度依存性のスペクトル透過による目に見える効果を除去するため、画像処理を行うことができる。しかし、このような後加工技術では、どの波長の光が実際にフィルタ108に入射したのかという正確な情報を回復することはできない。したがって、得られる画像データは、特定の高精密な用途には使用できない可能性がある。
既存の特定のスペクトルイメージングシステムが直面している別の課題として、完全なスペクトル画像データセットの撮影に必要とされる時間が挙げられる。これについては、図2Aおよび図2Bに関連して検討する。スペクトルイメージセンサは、特定のシーンのスペクトル放射照度Ｉ（x,y,λ）を取得し、データキューブと一般に呼ばれる三次元（3D）データセットを収集する。図2Aは、スペクトル画像のデータキューブ120の一例を示す。この図に示すように、データキューブ120は、三次元の画像データを示し、このうち、２つの空間次元（xおよびy）は、イメージセンサの二次元（2D）表面に対応し、スペクトル次元（λ）は、特定の波長域に対応している。データキューブ120のサイズは、NxNyNλで求めることができ、NxおよびNyは、各空間次元（x,y）方向の標本点の数であり、Nλは、スペクトル軸λ方向の標本点の数である。データキューブは、現在利用可能な2D検出器アレイ（例えばイメージセンサ）よりも次元が高いため、典型的なスペクトルイメージングシステムでは、データキューブ120の時系列2Dスライス（すなわち平面）（本明細書において「走査型」イメージングシステムと呼ぶ）を撮影するか、あるいは、演算過程でデータキューブ120を分割して、このデータキューブ120に再統合可能な複数の二次元データを得ることにより、データキューブ120のすべての標本点を同時に測定する（本明細書において「スナップショット型」イメージングシステムと呼ぶ）。
図2Bは、特定の走査スペクトルイメージング技術が、どのようにしてデータキューブ120を生成するのかを示した一例を示す。具体的には、図2Bは、１回の検出器の積分時間に収集することができるデータキューブ120の部分132、134および136を示す。ポイントスキャン分光器は、例えば、１つの空間位置（x,y）においてスペクトル平面λの全体に延びる部分132を撮影することができる。ポイントスキャン分光器は、空間次元の各（x,y）位置に対して積分を複数回行うことによってデータキューブ120を構築することができる。フィルタホイールイメージングシステムは、例えば、空間次元ｘおよびｙの全体に延びるが、単一のスペクトル平面λのみに位置する部分134を撮影することができる。フィルタホイールイメージングシステムなどの波長走査イメージングシステムは、スペクトル平面λに対して積分を複数回行うことによってデータキューブ120を構築することができる。ラインスキャン分光器は、例えば、スペクトル次元λの全体と空間次元の一方（xまたはy）の全体に延びるが、もう一方の空間次元（yまたはx）の１つの点のみに位置する部分136を撮影することができる。ラインスキャン分光器は、この一方の空間次元（yまたはx）位置に対して積分を複数回行うことによってデータキューブ120を構築することができる。
対象物体とイメージングシステムの両方が静止している（または露光時間において比較的静止した状態の）用途では、前述した走査型イメージングシステムは、高解像度のデータキューブ120が得られるという利点がある。ラインスキャンイメージングシステムおよび波長走査型イメージングシステムでは、イメージセンサの全域を使用して各スペクトルまたは各空間画像が撮影されることにより、このような利点が得られる場合がある。しかし、最初の露光と次の露光の間にイメージングシステムおよび／または物体に動きがあると、得られる画像データにアーチファクトが発生する場合がある。例えば、データキューブ120において同じ（x,y）位置であっても、実際には、スペクトル次元λにおいて、画像化した物体上の別の物理的位置が示される場合がある。このようなアーチファクトによって、後続の分析において誤差が生じることがあり、かつ／または位置合わせを行う必要性が出てくることがある（例えば、特定の（x,y）位置が物体上の同じ物理的位置に対応するように、スペクトル次元λの位置調整を行う必要性が出てくる）。
これに対して、スナップショット型イメージングシステム140では、１つの積分時間または１回の露光でデータキューブ120の全体を撮影することができることから、前述のような動きが画質に与える影響を回避することができる。図2Cは、スナップショット型イメージングシステムの作製に使用可能なイメージセンサ142および光学フィルタアレイ144（カラーフィルタアレイ（CFA）など）の一例を示す。この一例でのカラーフィルタアレイ（CFA）144は、イメージセンサ142の表面にカラーフィルタユニット146の繰り返しパターンが配置されたものである。スペクトル情報を得るためのこの方法は、マルチスペクトルフィルタアレイ（MSFA）またはスペクトル分解検出器アレイ（SRDA）と呼ぶこともできる。この図に示した一例では、カラーフィルタユニット146は、５×５に配置された様々なカラーフィルタを含むことから、得られる画像データにおいて25個のスペクトルチャネルが生成される。CFAは、様々なカラーフィルタを使用することによって入射光を各カラーフィルタの帯域に分割し、分割した光をイメージセンサ上の各色の感光体へと導くことができる。このようにして実際には、所定の色148に対して、25個の感光体のうちの１個のみが、その色の波長の光を示すシグナルを検出する。したがって、このようなスナップショット型イメージングシステム140を使用した場合、１回の露光で25個のカラーチャネルが生成されうるが、各カラーチャネルの測定データ量は、イメージセンサ142の総出力よりも小さくなる。いくつかの実施形態において、CFAは、フィルタアレイ（MSFA）およびスペクトル分解検出器アレイ（SRDA）の一方または両方を含んでいてもよく、かつ／または従来のべイヤーフィルタ、CMYKフィルタもしくはその他の吸収系フィルタもしくは干渉系フィルタを含んでいてもよい。干渉系フィルタの一種として、薄膜フィルタアレイがグリッド状に配置され、各グリッドの素子が１つ以上のセンサ素子に対応しているものがある。別の種類の干渉系フィルタとして、ファブリ・ペローフィルタがある。ナノエッチングされたファブリ・ペロー干渉フィルタは、通常、半値全幅（FWHM）が約20～50nmの帯域通過特性を示すが、フィルタの通過帯域の中心波長から阻止帯域への移行部においてロールオフが小さいことから、いくつかの実施形態において使用することできるという点で有利である。さらに、このようなフィルタは、阻止帯域において低い光学濃度（OD）を示すことから、通過帯域外の光に対する感度を向上させることができる。このような複合効果を有することから、これらの特定のフィルタは、蒸着やイオンビームスパッタリングなどのコーティング蒸着法により多数の薄膜層で構成された同様のFWHMの高光学濃度干渉フィルタの高いロールオフにより阻止されてしまうスペクトル領域に対して感度を示す。色素系CMYKフィルタまたはRGB系（べイヤー）フィルタを使用する構成の実施形態では、スペクトルのロールオフが小さく、かつ個々のフィルタの通過帯域のFWHMが大きいことが好ましく、これにより、観察されるスペクトラム全体において各波長に対するスペクトル透過率を特有のものとすることができる。
したがって、スナップショット型イメージングシステムにより得られるデータキューブ120は、高精度なイメージング用途において問題となりうる以下の２つの特性の一方を有する。１つ目の問題点として、スナップショット型イメージングシステムにより得られるデータキューブ120は、検出器アレイの（x,y）の大きさよりもNxおよびNyの大きさが小さくなりうることから、同じイメージセンサを有する走査型イメージングシステムにより得られるデータキューブ120よりも解像度が低くなる。２つ目の問題点として、スナップショット型イメージングシステムにより得られるデータキューブ120では、特定の（x,y）位置に対する数値補間により、NxおよびNyの大きさが検出器アレイの（x,y）の大きさと同じになることがある。しかし、データキューブの生成において補間が行われた場合、データキューブの特定の数値は、センサ上の入射光の波長の実測値ではなく、周辺値に基づいた実測の推定値であることを意味する。
露光を１回のみ行うマルチスペクトルイメージングにおいて使用される別の既存の部材として、マルチスペクトルイメージング用ビームスプリッターがある。このようなイメージングシステムにおいて、ビームスプリッターキューブは、入射光を異なる色帯域へと分割し、各帯域は独立した複数のイメージセンサにより観測される。ビームスプリッターの設計を変更して、測定するスペクトル帯域を調整することができるが、イメージングシステムの性能を損なうことなく、４つを超えるビームに入射光を分割することは容易ではない。したがって、４個のスペクトルチャネルが、このアプローチでの実用限界であると見られる。これと密接に関連した方法では、かさ高いビームスプリッターキューブ／プリズムの代わりに、薄膜フィルタを使用して光を分割するが、連続した複数のフィルタによる累積的な透過率の減衰と空間的制限により、このアプローチでも、約６個のスペクトルチャネルに制限される。
いくつかの実施形態において、とりわけ前述の課題は、各アパーチャを通って入射する光を選択的に透過する湾曲したマルチバンドパスフィルタを備えた、本明細書で開示するマルチアパーチャスペクトルイメージングシステムと、これに関連する画像データ処理技術により対処することができる。この特定の構成によって、速いイメージング速度、高解像度画像、および検出波長の高い忠実度という設計目標のすべてを達成することができる。したがって、本明細書で開示する光学設計および関連する画像データ処理技術は、ポータブルスペクトルイメージングシステムにおいて使用することができ、かつ／または移動している対象のイメージングに使用することができるとともに、高精度用途（例えば、臨床組織分析、生体認証、一時的な臨床徴候）に適したデータキューブを得ることができる。このような高精度用途として、転移前の悪性黒色腫の進行度（0～3）の診断、皮膚組織における熱傷の重症度の分類、または糖尿病性足部潰瘍の重症度の組織診断を挙げることができる。したがって、いくつかの実施形態で説明するスナップショットスペクトルの取得とスモールフォームファクタによって、様々な種類の網膜症（例えば、非増殖性糖尿病性網膜症、増殖性糖尿病性網膜症および加齢黄斑変性）の診断、ならびに動きが多い小児患者のイメージングを含む、一時的事象を扱う臨床環境において本発明を使用することができる。したがって、本明細書で開示する平坦または湾曲したマルチバンドパスフィルタを備えたマルチアパーチャシステムの使用は、従来のスペクトルイメージングの実装と比べて大幅な技術的進歩となることを当業者であれば十分に理解できるであろう。より具体的には、本発明のマルチアパーチャシステムは、各アパーチャ間における算出された遠近差に基づいて、物体の弯曲、深さ、体積および／または面積の3D空間画像またはこれらに関する3D空間画像の収集を可能にするものであってもよい。しかし、本明細書で開示するマルチアパーチャを用いた方法は、特定のフィルタには限定されず、干渉フィルタリングまたは吸収フィルタリングに基づいた平坦なフィルタおよび／または薄型フィルタを含んでいてもよい。本明細書で開示する本発明は、適切なレンズまたはアパーチャに対する入射角が小さいか、許容域である場合に、イメージングシステムの像空間に平坦なフィルタを備えるように変更することができる。結像レンズの入射瞳および／もしくは射出瞳またはアパーチャ絞りにフィルタを配置してもよく、光工学分野の当業者であれば、このような構成を容易に採用できるであろう。
特定の例および実施形態に関連して、本開示の様々な態様について以下で述べる。これらの例および実施形態は説明を目的としたものであり、本開示を限定するものではない。本明細書で述べる例および実施形態は、説明を目的として、特定の計算およびアルゴリズムに焦点を当てているが、当業者であれば、これらの例が説明のみを目的としたものであり、本発明を限定するものではないことを十分に理解できるであろう。例えば、マルチスペクトルイメージングに関していくつかの例を挙げているが、本明細書で開示するマルチアパーチャイメージングシステムおよびこれに関連するフィルタは、その他の実装においてハイパースペクトルイメージングを実施できるように構成することができる。さらに、特定の例は、携帯型用途および／または移動している対象物体に対する用途において利点を達成するものとして提示されているが、本明細書で開示するイメージングシステムの設計およびこれに関連する処理技術により、固定されたイメージングシステムおよび／または比較的静止した状態の対象の分析に適した高精度なデータキューブを得ることができることは十分に理解できるであろう。
電磁スペクトル範囲およびイメージセンサの概要
本明細書において、電磁スペクトルの特定の色または特定の部分に言及し、以下、ISO21348「放射照度スペクトルの種類の定義」による定義に従って、これらの波長を説明する。以下で詳述するように、特定のイメージング用途において、特定の色の波長領域を一括して特定のフィルタに通過させることができる。
本明細書において、電磁スペクトルの特定の色または特定の部分に言及し、以下、ISO21348「放射照度スペクトルの種類の定義」による定義に従って、これらの波長を説明する。以下で詳述するように、特定のイメージング用途において、特定の色の波長領域を一括して特定のフィルタに通過させることができる。
760nm～380nmまたは約760nm～約380nmの波長の範囲の電磁放射線は、通常、「可視」スペクトラム、すなわち、ヒトの眼の色受容体により認識可能なスペクトラム部分であると考えられている。可視スペクトルにおいて、赤色光は、通常、700nmもしくは約700nmの波長を有するか、または760nm～610nmもしくは約760nm～約610nmの範囲にあると考えられている。橙色光は、通常、600nmもしくは約600nmの波長を有するか、または610nm～591nmもしくは約610nm～約591nmの範囲にあると考えられている。黄色光は、通常、580nmもしくは約580nmの波長を有するか、または591nm～570nmもしくは約591nm～約570nmの範囲にあると考えられている。緑色光は、通常、550nmもしくは約550nmの波長を有するか、または570nm～500nmもしくは約570nm～約500nmの範囲にあると考えられている。青色光は、通常、475nmもしくは約475nmの波長を有するか、または500nm～450nmもしくは約500nm～約450nmの範囲にあると考えられている。紫色（赤紫色）光は、通常、400nmもしくは約400nmの波長を有するか、または450nm～360nmもしくは約450nm～約360nmの範囲にあると考えられている。
可視スペクトル外の範囲に目を向けると、赤外線（IR）は、可視光よりも長い波長を有する電磁放射線を指し、通常、ヒトの眼には見えない。IRは、約760nmまたは760nmにある赤色の可視スペクトルの公称下限値から約1mmまたは1mmに及ぶ波長を有する。この範囲内において、近赤外線（NIR）は、赤色の範囲に隣接しているスペクトラムの一部を指し、約760nm～約1400nmまたは760nm～1400nmの波長範囲である。
紫外線（UV）光は、可視光よりも短い波長の電磁放射線の一部を指し、通常、ヒトの眼には見えない。UVは、約40nmまたは40nmにある紫色の可視スペクトルの公称値下限値から約400mmに及ぶ波長を有する。この範囲内において、近紫外線（NUV）は、紫色の範囲に隣接しているスペクトラムの一部を指し、約400nm～約300nmまたは400nm～300nmの波長範囲であり、中間紫外線（MUV）は、約300nm～約200nmまたは300nm～200nmの波長範囲であり、遠紫外線（FUV）は、約200nm～約122nmまたは200nm～122nmの波長範囲である。
本明細書に記載のイメージセンサは、特定の用途に適した特定の波長領域に応じて、上述の領域のうち、どの電磁放射線であっても検出できるように構成することができる。通常のシリコン電荷結合素子（CCD）または相補型金属酸化膜半導体（CMOS）センサのスペクトル感度は、可視スペクトルの全体に及ぶが、近赤外線（IR）スペクトラムの大半およびUVスペクトラムの一部にも及ぶ。いくつかの実装では、裏面入射型または表面入射型のCCDアレイまたはCMOSアレイを付加的または代替的に使用することができる。高いSN比および科学グレードの測定が必要とされる用途では、いくつかの実装において、科学用途の相補型金属酸化膜半導体（sCMOS）カメラまたは電子増幅CCDカメラ（EMCCD）を付加的または代替的に使用することができる。別の実装では、目的とする用途に応じて、特定の色の範囲（例えば、短波長赤外線（SWIR）、中波長赤外線（MWIR）、または長波長赤外線（LWIR））において動作することが知られているセンサと、これに対応する光学フィルタアレイを付加的または代替的に使用することができる。これらのセンサおよび光学フィルタアレイは、インジウム・ガリウム・ヒ素（InGaAs）やインジウム・アンチモン（InSb）などの検出器の材質に応じたカメラ、またはマイクロボロメータアレイに応じたカメラを付加的または代替的に備えていてもよい。
本明細書で開示するマルチスペクトルイメージング技術において使用されるイメージセンサは、カラーフィルタアレイ（CFA）などの光学フィルタアレイに併用して使用してもよい。いくつかの種類のCFAは、入射光を赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の可視領域に分割し、分割した可視光をイメージセンサ上のそれぞれ専用の赤色、緑色または青色のフォトダイオード感光体に導くことができる。CFAの一般的な例として、ベイヤーパターンがあり、これは、光検出器の長方形のグリッド上にRGBカラーフィルタを特定のパターンで配置したカラーフィルタアレイである。ベイヤーパターンは、緑色50％、赤色25％および青色25％で構成されており、赤色のカラーフィルタと緑色のカラーフィルタが繰り返された列と、青色のカラーフィルタと緑色のカラーフィルタが繰り返された列とが交互に並んでいる。また、いくつかの種類のCFA（例えばRGB-NIRセンサ用のCFA）も、NIR光を分割し、分割したNIR光をイメージセンサ上のそれぞれ専用のフォトダイオード感光体に導くことができる。
したがって、CFAのフィルタ部品の波長領域により、撮影された画像において各画像チャネルが示す波長領域が決まることがある。したがって、様々な実施形態において、画像の赤色のチャネルは、カラーフィルタの赤色の波長領域に対応してもよく、黄色光および橙色光の一部を含むことができ、約570nm～約760nmまたは570nm～760nmの範囲である。様々な実施形態において、画像の緑色のチャネルは、カラーフィルタの緑色の波長領域に対応してもよく、黄色光の一部を含むことができ、約570nm～約480nmまたは570nm～480nmの範囲である。様々な実施形態において、画像の青色のチャネルは、カラーフィルタの青色の波長領域に対応してもよく、紫色光の一部を含むことができ、約490nm～約400nmまたは490nm～400nmの範囲である。当業者であれば、CFAの色（例えば、赤色、緑色および青色）を定義する正確な開始波長と終了波長（または電磁スペクトルの一部）が、CFAの実装に応じて様々に異なることがあることを十分に理解できるであろう。
さらに、通常の可視光用CFAは、可視スペクトル外の光を透過する。したがって、多くのイメージセンサでは、赤外線波長を阻止するが、可視光を通過させる薄膜赤外線反射フィルタをセンサの前面に配置することによって赤外線に対する感度を制限している。しかし、本明細書で開示するイメージングシステムのいくつかでは、薄膜赤外線反射フィルタを省略して、赤外線光を通過させてもよい。したがって、赤色のチャネル、緑色のチャネルおよび／または青色のチャネルを使用して、赤外線の波長帯域を収集してもよい。いくつかの実装において、青色のチャネルを使用して、特定のNUV波長帯域を収集してもよい。積み重ねたスペクトル画像の各波長において、赤色のチャネル、緑色のチャネルおよび青色のチャネルは、各チャネルが特有の透過効率を有することに関連して異なるスペクトル応答を示すことから、公知の透過プロファイルを使用して、アンミキシングを行う前の各スペクトル帯域に、特有の重み付け応答を提供してもよい。例えば、この重み付け応答には、赤外線波長領域および紫外線波長領域における赤色のチャネル、青色のチャネルおよび緑色のチャネルの公知の透過応答が含まれていてもよく、これによって、これらの波長領域からの帯域の収集に各チャネルを使用することが可能となる。
以下でさらに詳述するように、イメージセンサに向かう光路に沿って、追加のカラーフィルタをCFAの前に配置することにより、イメージセンサ上に入射する光の特定の帯域を選択的に抽出することができる。本明細書で開示するカラーフィルタは、（薄膜の）ダイクロイックフィルタおよび／もしくは吸収フィルタの組み合わせ、または単独のダイクロイックフィルタ、および／もしくは単独の吸収フィルタである。本明細書で開示するカラーフィルタの一部は、（通過帯域の）特定の領域内の周波数を通すが、（阻止領域において）その領域外の周波数を遮断（減衰）するバンドパスフィルタであってもよい。本明細書で開示するカラーフィルタの一部は、不連続な複数の波長領域を通すマルチバンドパスフィルタであってもよい。これらの「周波数帯」は、CFAフィルタの広い色範囲と比べて、通過帯域が狭く、阻止領域における減衰量が大きく、かつスペクトルのロールオフが急峻であってもよい。なお、ロールオフは、フィルタの通過帯域から阻止領域への移行部におけるスペクトル応答の急峻さとして定義される。例えば、本明細書で開示するカラーフィルタは、約20nm～約40nmまたは20nm～40nmの通過帯域をカバーすることができる。カラーフィルタのこのような特定の構成によって、実際にセンサに入射する波長帯域が決まることがあり、これによって、本明細書で開示するイメージング技術の精度が向上する場合がある。本明細書に記載のカラーフィルタは、特定の用途に適した特定の波長帯域に応じて、上述の領域のうち、電磁放射線の特定の帯域を選択的に阻止または通過させるように構成することができる。
本明細書において、「画素」という用語は、二次元検出器アレイの素子により生成された出力を説明する場合に使用される。これに対して、二次元検出器アレイのフォトダイオード、すなわち、１つの感光素子は、光電効果を介して光子を電子に変換し、次いでこの電子を画素値の決定に使用可能なシグナルに変換することができるトランスデューサとして挙動する。データキューブの１つの要素は、「ボクセル」（例えば、体積のある要素）と呼ぶことができる。「スペクトルのベクトル」は、データキューブの特定の（x,y）位置におけるスペクトルデータ（例えば、物体空間の特定の点から受光した光のスペクトラム）を示すベクトルを指す。本明細書において、データキューブの１つの水平面（例えば、１つのスペクトル次元を表す画像）は、「画像チャネル」と呼ばれる。本明細書に記載の特定の実施形態では、スペクトルのビデオ情報を撮影してもよく、得られるデータ次元は、NxNyNλNtで示される「ハイパーキューブ」の形態であると想定することができる（ここで、Ntは、ビデオシーケンス中に撮影されたフレームの数である）。
湾曲したマルチバンドパスフィルタを備えるマルチアパーチャイメージングシステムの一例の概要
図3Aは、本開示による、湾曲したマルチバンドパスフィルタを備えるマルチアパーチャイメージングシステム200の一例の概略図を示す。ここに示した概略図は、第１のイメージセンサ領域225A（フォトダイオードPD1～PD3）および第２のイメージセンサ領域225B（フォトダイオードPD4～PD6）を含む。フォトダイオードPD1～PD6は、例えば、半導体基板（例えばCMOSイメージセンサ）に形成されたフォトダイオードであってもよい。通常、各フォトダイオードPD1～PD6は、何らかの材質、半導体、センサ素子または入射光を電流に変換できるその他の装置からなる単一ユニットであってもよい。この図では、マルチアパーチャイメージングシステムの構造およびその作動を説明することを目的として、マルチアパーチャイメージングシステム全体のごく一部のみを示しており、実装では、イメージセンサ領域は、何百個または何千個ものフォトダイオード（およびこれに対応するカラーフィルタ）を備えることができることは十分に理解できるであろう。第１のイメージセンサ領域225Aと第２のイメージセンサ領域225Bは、実装に応じて、別々のセンサとして実装してもよく、同じイメージセンサ上の別々の領域として実装してもよい。図3Aでは、２個のアパーチャとこれに対応する光路およびセンサ領域が示されているが、図3Aに示した光学設計原理は、実装に応じて、３個以上のアパーチャとこれに対応する光路およびセンサ領域を含む設計に拡大することができることは十分に理解できるであろう。
図3Aは、本開示による、湾曲したマルチバンドパスフィルタを備えるマルチアパーチャイメージングシステム200の一例の概略図を示す。ここに示した概略図は、第１のイメージセンサ領域225A（フォトダイオードPD1～PD3）および第２のイメージセンサ領域225B（フォトダイオードPD4～PD6）を含む。フォトダイオードPD1～PD6は、例えば、半導体基板（例えばCMOSイメージセンサ）に形成されたフォトダイオードであってもよい。通常、各フォトダイオードPD1～PD6は、何らかの材質、半導体、センサ素子または入射光を電流に変換できるその他の装置からなる単一ユニットであってもよい。この図では、マルチアパーチャイメージングシステムの構造およびその作動を説明することを目的として、マルチアパーチャイメージングシステム全体のごく一部のみを示しており、実装では、イメージセンサ領域は、何百個または何千個ものフォトダイオード（およびこれに対応するカラーフィルタ）を備えることができることは十分に理解できるであろう。第１のイメージセンサ領域225Aと第２のイメージセンサ領域225Bは、実装に応じて、別々のセンサとして実装してもよく、同じイメージセンサ上の別々の領域として実装してもよい。図3Aでは、２個のアパーチャとこれに対応する光路およびセンサ領域が示されているが、図3Aに示した光学設計原理は、実装に応じて、３個以上のアパーチャとこれに対応する光路およびセンサ領域を含む設計に拡大することができることは十分に理解できるであろう。
マルチアパーチャイメージングシステム200は、第１のセンサ領域225Aに向かう第１の光路を提供する第１の開口部210A、および第２のセンサ領域225Bに向かう第１の光路を提供する第２の開口部210Bを含む。これらのアパーチャは、画像に反映される光の明るさを増加さたり減少させたりするために調整可能であってもよく、あるいは、これらのアパーチャを調整することによって、特定の画像の露光時間を変更し、イメージセンサ領域に入射する光の明るさが変化しないようにしてもよい。これらのアパーチャは、光学設計分野の当業者が妥当であると判断可能であれば、このマルチアパーチャシステムの光軸に沿ったどの位置に配置してもよい。第１の光路に沿って配置した光学部品の光軸を破線230Aで示し、第２の光路に沿って配置した光学部品の光軸を破線230Bで示すが、これらの破線が、マルチアパーチャイメージングシステム200の物理構造を示すわけではないことは十分に理解できるであろう。光軸230Aと光軸230Bは距離Ｄにより隔てられており、この距離Ｄは、第１のセンサ領域225Aにより撮影される画像と第２のセンサ領域225Bにより撮影される画像の間の視差となりうる。「視差」は、立体写真画像の左側と右側（または上側と下側）において対応する２つの点の間の距離を指し、物体空間の同じ物理点が各画像の異なる位置に現われる。この視差を補正し、かつ利用した処理技術を以下でさらに詳細に述べる。
光軸230Aおよび光軸230Bは、それぞれに対応するアパーチャの中心Ｃを通過する。その他の光学部品も、これらの光軸を中心として配置することができる（例えば、光学部品の回転対称点をこの光軸に沿って配置することができる）。例えば、第１の光軸230Aを中心として、第１の湾曲マルチバンドパスフィルタ205Aおよび第１の結像レンズ215Aを配置することができ、第２の光軸230Bを中心として、第２の湾曲マルチバンドパスフィルタ205Bおよび第２の結像レンズ215Bを配置することができる。
本明細書において、光学素子の配置に関して述べる際に使用される「上」および「上方」という用語は、物体空間からイメージングシステム200に入った光が、別の構造に到達する（または入射する）前に通り抜ける特定の構造（例えばカラーフィルタまたはレンズ）の位置を指す。これを説明すると、第１の光路に沿って、湾曲マルチバンドパスフィルタ205Aが、アパーチャ210Aの上方に位置し、アパーチャ210Aが、結像レンズ215Aの上方に位置し、結像レンズ215Aが、CFA 220Aの上方に位置し、CFA 220Aが、第１のイメージセンサ領域225Aの上方に位置する。したがって、まず、物体空間（例えば、画像化の対象となる物理的空間）から入った光が、第１の湾曲マルチバンドパスフィルタ205Aを通過し、次にアパーチャ210Aを通過し、次に結像レンズ215Aを通過し、次にCFA 220Aを通過し、最後に、第１のイメージセンサ領域225Aに入射する。第２の光路（例えば、湾曲マルチバンドパスフィルタ205B、アパーチャ210B、結像レンズ215B、CFA 220B、第２のイメージセンサ領域225Bを含む光路）も同様の配置となる。別の実装では、アパーチャ210A，210Bおよび／または結像レンズ215A，215Bを、湾曲マルチバンドパスフィルタ205A，205Bの上方に配置することができる。さらに、別の実装では、物理的なアパーチャを使用しなくてもよく、光学部品のクリアアパーチャに依存して、センサ領域225A上およびセンサ領域225B上に結像される光の明るさを制御してもよい。したがって、レンズ215A，215Bは、アパーチャ210A，210Bと湾曲マルチバンドパスフィルタ205A，205Bの上方に配置してもよい。この実装では、光学設計分野の当業者が必要であると判断可能であれば、アパーチャ210A，210Bをレンズ215A，215Bの上方に配置してもよく、あるいはアパーチャ210A，210Bをレンズ215A，215Bの下方に配置してもよい。
第１のセンサ領域225Aの上方に配置した第１のCFA 220Aと、第２のセンサ領域225Bの上方に配置した第２のCFA 220Bは、特定の波長を選択的に通過させるフィルタとして機能することができ、入射してきた可視領域の光を、赤色領域、緑色領域および青色領域（それぞれＲ、ＧおよびＢの記号で示す）に分割することができる。選択された特定の波長のみを、第１のCFA 220Aおよび第２のCFA 220Bの各カラーフィルタに通過させることによって、光が「分割」される。分割された光は、イメージセンサ上のそれぞれ専用の赤色ダイオード、緑色ダイオードまたは青色ダイオードにより受光される。赤色フィルタ、青色フィルタおよび緑色フィルタが一般に使用されているが、別の実施形態では、撮影された画像データに必要とされるカラーチャネルに応じて様々なカラーフィルタを使用することができ、例えば、RGB-IR CFAと同様に、紫外線、赤外線または近赤外線を選択的に通過させるフィルタを使用することができる。
図3Aに示すように、単一のフォトダイオードPD1～PD6の上方にCFAの各フィルタが配置されている。図3Aでは、マイクロレンズ（MLで示す）の一例も示されており、これらのマイクロレンズは、各カラーフィルタ上に形成するか、それ以外の方法で各カラーフィルタ上に配置することができ、アクティブ検出器の領域上に入射光を集光することができる。別の実装では、単一のフィルタの下方に複数個のフォトダイオードを有していてもよい（例えば、２個、４個またはそれ以上の個数の互いに隣接したフォトダイオードの集合体であってもよい）。この図に示した一例において、フォトダイオードPD1とフォトダイオードPD4は、赤色フィルタの下方に位置することから、赤色のチャネルの画素情報を出力し、フォトダイオードPD2とフォトダイオードPD5は、緑色フィルタの下方に位置することから、緑色のチャネルの画素情報を出力し、フォトダイオードPD3とフォトダイオードPD6は、青色フィルタの下方に位置することから、青色のチャネルの画素情報を出力する。さらに、以下で詳述するように、所定のフォトダイオードによる特定の色のチャネル出力は、アクティブな光源および／またはマルチバンドパスフィルタ205A，205Bを通過した特定の周波数帯に基づいて、さらに狭い周波数帯とすることができ、これによって、所定のフォトダイオードから、様々な露光により様々な画像チャネル情報を出力できるようになる。
結像レンズ215A，215Bは、センサ領域225A，225B上で物体シーンの画像の焦点が合うように成形することができる。各結像レンズ215A，215Bは、図3Aに示すような単一の凸面レンズに限定されず、画像形成に必要とされる数の光学素子および表面で構成されていてもよく、市販または特注設計による様々な種類の結像レンズまたはレンズアセンブリを使用することができる。各光学素子またはレンズアセンブリは、止め輪またはベゼルを備えた光学機械式鏡筒を使用して、直列に収容または積み重なるように形成または互いに結合されていてもよい。いくつかの実施形態において、光学素子またはレンズアセンブリは、１つ以上の結合レンズ群を含んでいてもよく、結合レンズ群として、２つ以上の光学部品が接合されたものや、それ以外の方法で２つ以上の光学部品が結合されたものを挙げることができる。様々な実施形態において、本明細書に記載のマルチバンドパスフィルタは、マルチスペクトル画像システムのレンズアセンブリの前面に配置してもよく、マルチスペクトル画像システムの単レンズの前面に配置してもよく、マルチスペクトル画像システムのレンズアセンブリの後ろに配置してもよく、マルチスペクトル画像システムの単レンズの後ろに配置してもよく、マルチスペクトル画像システムのレンズアセンブリの内部に配置してもよく、マルチスペクトル画像システムの結合レンズ群の内部に配置してもよく、マルチスペクトル画像システムの単レンズの表面上に直接配置してもよく、マルチスペクトル画像システムのレンズアセンブリの素子の表面上に直接配置してもよい。さらに、アパーチャ210Aおよびアパーチャ210Bを取り除き、デジタル一眼レフ（DSLR）カメラまたはミラーレスカメラによる写真撮影で通常使用される種類のレンズをレンズ215A，215Bに使用してもよい。さらに、レンズ215A，215Bは、ＣマウントスレッドまたはＳマウントスレッドを装着に使用したマシンビジョンに使用される種類のレンズであってもよい。ピント調整は、例えば、手動フォーカス、コントラスト方式オートフォーカスまたはその他の適切なオートフォーカス技術に基づいて、センサ領域225A，225Bに対して結像レンズ215A，215Bを移動させることによって、あるいは結像レンズ215A，215Bに対してセンサ領域225A，225Bを移動させることによって行うことができる。
各マルチバンドパスフィルタ205A，205Bは、狭い周波数帯の複数の光を選択的に通過するように構成することができ、例えば、いくつかの実施形態では10～50nmの周波数帯の複数の光（別の実施形態では、これよりも広い周波数帯または狭い周波数帯の複数の光）を選択的に通過するように構成することができる。図3Aに示すように、マルチバンドパスフィルタ205A，205Bはいずれも周波数帯λc（「共通周波数帯」）を通過させることができる。３つ以上の光路を備えた実装では、各マルチバンドパスフィルタは、この共通周波数帯を通過させることができる。このような方法によって、各センサ領域は、同じ周波数帯（「共通チャネル」）の画像情報を撮影する。以下でさらに詳細に述べるように、この共通チャネルで得られたこの画像情報を使用して、各センサ領域により撮影された一組の画像の位置合わせを行うことができる。いくつかの実装では、１つの共通周波数帯と、これに対応する共通チャネルを有していてもよく、あるいは、複数の共通周波数帯と、これらに対応する共通チャネルを有していてもよい。
各マルチバンドパスフィルタ205A，205Bは、共通周波数帯λcに加えて、１つ以上の特有周波数帯を選択的に通過させるように構成することができる。このような方法によって、イメージングシステム200は、センサ領域205A，205Bにより一括して撮影される異なるスペクトルチャネルの数を、単一のセンサ領域により撮影可能なスペクトルチャネル数よりも多くすることができる。この態様は、特有周波数帯λu1を通過させるマルチバンドパスフィルタ205Aと、特有周波数帯λu2を通過させるマルチバンドパスフィルタ205Bとして、図3Aに示されており、ここでλu1およびλu2は、互いに異なる周波数帯を示す。この図では、２個の周波数帯の通過として示したが、本開示のマルチバンドパスフィルタは、それぞれ２個以上の周波数帯を一度に通過させることができる。例えば、図11Aおよび図11Bに関連して後述するように、いくつかの実装では、各マルチバンドパスフィルタは、４個の周波数帯を通過させることができる。様々な実施形態において、これよりも多くの周波数帯を通過させてもよい。例えば、４台のカメラを使用した実装では、８個の周波数帯を通過させるように構成されたマルチバンドパスフィルタを備えていてもよい。いくつかの実施形態において、周波数帯の数は、例えば、4個、5個、6個、7個、8個、9個、10個、12個、15個、16個またはそれ以上であってもよい。
マルチバンドパスフィルタ205A，205Bは、それぞれに対応するセンサ領域225A，225Bにおける入射角度依存性のスペクトル透過が低下するように選択された弯曲を有する。この結果、物体空間から狭帯域の照明を受光する場合、その波長に感度を有するセンサ領域225A，225Bの表面全体に配置された各フォトダイオード（例えば、センサ領域を覆い、その波長を通過させるカラーフィルタ）は、図1Aに関連して前述したような、センサの端部近傍に配置されたフォトダイオードにおいて見られる波長のシフトは発生させず、実質的に同じ波長の光を受光すると考えられる。このような構成により、平坦なフィルタを使用した場合よりも正確なスペクトル画像データを生成することができる。
図3Bは、図3Aに示したマルチアパーチャイメージングシステムの１つの光路を構成する光学部品の光学設計の一例を示す。より具体的には、図3Bは、マルチバンドパスフィルタ205A，205Bとして使用することができる特注の色消しダブレット240を示す。この特注の色消しダブレット240は、ハウジング250を通して光を通過させ、イメージセンサ225へと送る。ハウジング250は、前述したような、開口部210A，210Bおよび結像レンズ215A，215Bを備えていてもよい。
色消しダブレット240は、マルチバンドパスフィルタコーティング205A，205Bに必要とされる表面を組み込んで導入されることから、光学収差を補正するように構成される。この図に示した色消しダブレット240は、分散度と屈折率が異なるガラスまたはその他の光学材料から作製することが可能な２枚のレンズを含む。別の実装では、３枚以上のレンズを使用してもよい。これらの色消しダブレットレンズの設計は、湾曲した前面242上にマルチバンドパスフィルタコーティング205A，205Bが組み込まれ、フィルタコーティング205A，205Bを蒸着した湾曲単レンズの光学面を組み込むことにより光学収差を打ち消し、色消しダブレット240の湾曲した前面242と湾曲した裏面244の組み合わせ効果により屈折力または集光力を制限し、ハウジング250に収容されたこれらのレンズのみで、集光のための主要な素子を構成することができる。したがって、色消しダブレット240は、イメージングシステム200により撮影された画像データの精度の向上に寄与することができる。これらの個々のレンズは互いに隣接して装着することができ、例えば、個々のレンズを結合または接合することにより、一方のレンズの収差が他方のレンズの収差によって相殺されるように成形することができる。色消しダブレット240の湾曲した前面242または湾曲した後面244は、マルチバンドパスフィルタコーティング205A，205Bでコーティングすることができる。別のダブレット設計を本明細書に記載のシステムに実装してもよい。
本明細書に記載の光学設計のさらなる変形例を実装してもよい。例えば、いくつかの実施形態において、図3Bに示すダブレット240の代わりに、図3Aに示す凸レンズ（正レンズ）または凹レンズ（負レンズ）のような、単レンズまたはその他の光学単レンズが光路に含まれていてもよい。図3Cは、平坦なフィルタ252をレンズのハウジング250とセンサ225の間に配置した実装の一例を示す。複数帯域透過特性を備えた平坦なフィルタ252を組み込んで導入した図3Cの色消しダブレット240は、ハウジング250に収容された各レンズの屈折力に顕著に寄与することなく、光学収差を補正する。図3Dは、ハウジング250内に収容されたレンズアセンブリの前面にマルチバンドパスコーティング254を施すことにより、マルチバンドパスコーティングが実装された実装の別の一例を示す。このように、このマルチバンドパスコーティング254は、ハウジング250内に収容されたどの光学素子のどの曲面に施してもよい。
図4A～4Eは、図3Aおよび図3Bに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステム300の一実施形態を示す。図4Aは、より具体的には、内部の部品を見せるために半透明で示したハウジング305を備えるイメージングシステム300の透視図を示す。実際のハウジング305は、例えば、所望とする組み込み用コンピュータリソースの大きさに応じて、この図に示したハウジング305よりも大きくてもよく、小さくてもよい。図4Bは、イメージングシステム300の正面図を示す。図4Cは、図4BのC-C線に沿って切断した、イメージングシステム300の破断側面図を示す。図4Dは、処理基板335を示した、イメージングシステム300の底面図を示す。以下、図4A～4Dについて述べる。
イメージングシステム300のハウジング305は、別のハウジングに収容されていてもよい。例えば、携帯型の実装では、イメージングシステム300を安定に保持できるように成形された１本以上のハンドルを備えていてもよいハウジングの内部に該イメージングシステムが収容されていてもよい。携帯型の実装の一例は、図18A～18Cおよび図19A～19Bにより詳細に示している。ハウジング305の上面には、４つの開口部320A～320Dを備えている。各開口部320A～320Dの上方に互いに異なるマルチバンドパスフィルタ325A～325Dが配置されており、フィルタキャップ330A～330Bにより適所に収容されている。マルチバンドパスフィルタ325A～325Dは湾曲していてもよく、本明細書で述べるように、各マルチバンドパスフィルタは、共通周波数帯と少なくとも１つの特有周波数帯を通過させることによって、カラーフィルタアレイで覆われたイメージセンサで通常撮影されるスペクトルチャネルよりも多くのスペクトルチャネルにおいて高精度マルチスペクトルイメージングを実施することができる。前述したイメージセンサ、結像レンズおよびカラーフィルタは、カメラハウジング345A～345Dの内部に配置される。いくつかの実施形態において、例えば、図20A～20Bに示すように、前述したイメージセンサ、結像レンズおよびカラーフィルタは、単一のカメラハウジングに収容されていてもよい。このように、これらの図に示した実装では、別々の複数のセンサを使用する（例えば、カメラハウジング345A～345Dのそれぞれの内部に１個のセンサを収容する）が、別の実装では、開口部320A～320Dを介して露出した領域全体に配置された単一のイメージセンサを使用できることも十分に理解できるであろう。この実施形態では、支持材340を使用して、カメラハウジング345A～345Dが、前記イメージングシステムのハウジング305に固定されているが、様々な実装において、その他の適切な手段を使用して固定することもできる。
ハウジング305の上面は、任意で設けられる照明基板310を支持しており、この照明基板310は光学拡散素子315で覆われている。照明基板310は、以下の図4Eに関連してより詳細に説明する。拡散素子315は、ガラス、プラスチックまたはその他の光学材料で構成することができ、照明基板310から発せられた光を拡散させて、物体空間が空間的に実質的に均一な照明を受けられるようにする。対象物体に均一な照明を当てると、各波長において、物体の表面全体に実質的に均一な量の照明を当てることができるため、例えば画像撮影による組織の臨床分析などの特定のイメージング用途において有益な場合がある。いくつかの実施形態において、本明細書で開示するイメージングシステムは、任意で設けられる照明基板からの光の代わりに、またはこの照明基板からの光に加えて、環境光を利用してもよい。
使用中の照明基板310は熱を生じることから、イメージングシステム300は、放熱フィン355を多数備えたヒートシンク350を備える。放熱フィン355は、各カメラハウジング345A～345Dの間の空間内へと延伸することができ、ヒートシンク350の上部は、照明基板310からフィン355へと熱を逃がすことができる。ヒートシンク350は、適切な熱伝導性材料から作製することができる。ヒートシンク350は、その他の部品からの熱の放散を補助してもよく、これによって、イメージングシステムの実装のいくつかでは、ファンを設けなくてもよい。
ハウジング305内の多数の支持材365によって、カメラ345A～345Dと通信を行う処理基板335が固定されている。処理基板335は、イメージングシステム300の作動を制御することができる。図4A～4Dには示していないが、イメージングシステム300は、例えば該イメージングシステムを使用して作成されたデータの格納用メモリなどの、１つ以上のメモリ、および／またはコンピュータが実行可能な命令を出すシステム制御用モジュールを備えるように構成することもできる。処理基板335は、システム設計の目的に応じて様々に構成することができる。例えば、（例えば、コンピュータが実行可能な命令を出すモジュールにより）、照明基板310の特定のLEDの起動を制御するように処理基板を構成することができる。いくつかの実装では、高度に安定な同期整流降圧型LEDドライバを使用することができ、このドライバによって、ソフトウェアによるLEDのアナログ電流制御と、LEDの故障の検出が可能となる。いくつかの実装では、（例えば、コンピュータが実行可能な命令を出すモジュールにより）、処理基板335または別の処理基板に画像データ分析機能をさらに提供することができる。図4A～4Dには示していないが、イメージングシステム300は、処理基板335がセンサからデータを受信し、そのデータを処理できるように、センサと処理基板335の間にデータインターコネクトを備えていてもよく、処理基板が照明基板310の特定のLEDを起動させることができるように、照明基板310と処理基板335の間にデータインターコネクトを備えていてもよい。
図4Eは、イメージングシステム300に設けられていてもよい照明基板310の一例を示し、他の部品から照明基板310を分離して示している。照明基板310は、中央部から延びた４つのアームを備え、各アームに沿ってLEDが３列に配置されている。隣り合う列のLED間のスペースは、隣り合うLED同士が離れるように、横方向の中心が互いにずれるように配置されている。各LED列は、様々な色のLEDを有する行を多数含む。中央部の各角部に１個の緑色LEDが配置されるように、計４個の緑色LED 371が中央部に配置されている。最も内側の行（例えば、中心部に最も近い行）から説明すると、深紅色LED 372を２個含む行が各列に含まれている（合計８個の深紅色LED）。径方向外側に説明を続けると、各アームは、中心の列に、１個の琥珀色LED 374を含む行を有し、両側の列に、２個の短く点滅する青色LED 376を含む行を有し（合計８個の短く点滅する青色LEDを有し）、中心の列に、１個の琥珀色LED 374を含む行をもう１つ有し（合計８個の琥珀色LEDを有し）、両側の列に、１個の非PPG用NIR LED 373と１個の赤色LED 375を有する行を有し（合計４個の非PPG用NIR LEDと合計４個の赤色LEDを有し）、中心の列に、１個のPPG用NIR LED 377を有する（合計４個のPPG用NIR LEDを有する）。「PPG用」LEDとは、生体組織の拍動血流を表す光電容積脈波（PPG）情報を撮影するための連続した多数回の露光において起動されるLEDを指す。別の実施形態では、様々なその他の色および／または配置のLEDを照明基板において使用してもよいことを理解できるであろう。
図5は、図3Aおよび図3Bに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステム300の別の一実施形態を示す。イメージングシステム300の設計と同様に、イメージングシステム400は、４つの光路を含み、この図では、止め輪430A～430Dでハウジング405に固定されたマルチバンドパスフィルタレンズ群425A～425Dを有する開口部420A～420Dとして示している。イメージングシステム400は、対象物体上への空間的に均一な光の照射を補助するため、止め輪430A～430Dの間の、ハウジング405の正面部に固定された照明基板410と、照明基板410上に配置された拡散板415とをさらに含む。
イメージングシステム400の照明基板410は、十字形の４つの腕にLEDが配置されており、各腕には密集したLEDが２列に配置されている。このようにすれば、前述の照明基板310よりも照明基板410がコンパクトになり、より小さいフォームファクタ要件を有するイメージングシステムとの使用に適する場合がある。この一例としての構成において、各腕は、最外列に１個の緑色LEDと１個の青色LEDを有し、内側に向かって、黄色LEDを２行含み、橙色LEDを１行含み、１個の赤色LEDと１個の深紅色LEDを１行に含み、１個の琥珀色LEDと１個のNIR LEDを１行に含む。したがって、この実装では、より長い波長の光を発するLEDが照明基板410の中心部に位置し、より短い波長の光を発するLEDが照明基板410の端部に位置するように、各LEDが配置される。
図6A～6Cは、図3Aおよび図3Bに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステム500の別の一実施形態を示す。より具体的には、図6Aは、イメージングシステム500の透視図を示し、図6Bは、イメージングシステム500の正面図を示し、図6Cは、図6BのC-C線に沿って切断した、イメージングシステム500の破断側面図を示す。イメージングシステム500は、イメージングシステム300に関連して前述したものと同様の部品（例えば、ハウジング505、照明基板510、拡散板515、止め輪530A～530Dにより開口部の上方に固定されたマルチバンドパスフィルタ525A～525Dなど）を含むが、短いフォームファクタとなっている（例えば、一実施形態において、組み込み用コンピュータ部品の数が少なくなっているか、かつ／または組み込み用コンピュータ部品の寸法が小さくなっている）。イメージングシステム500は、カメラアライメントの位置を強固かつ堅牢に固定するための直接カメラ－フレームマウント540をさらに含む。
図7A～7Bは、マルチスペクトル・マルチアパーチャイメージングシステム600の別の一実施形態を示す。図7A～7Bは、マルチアパーチャイメージングシステム600の周辺光源610A～610Cの別の可能な配置を示す。この図に示すように、図3A～3Dに関連して説明した光学設計を備えたマルチバンドパスフィルタ625A～625Dを備えた４つのレンズアセンブリは、長方形または正方形に配置して、（イメージセンサを含む）４台のカメラ630A～630Dに受光させることができる。３つの長方形発光素子610A～610Cは、マルチバンドパスフィルタ625A～625Dを備えた各レンズアセンブリの外部かつ該レンズアセンブリ間に、互いに平行になるように配置することができる。これらの長方形発光素子は、広域スペクトルの発光パネルであってもよく、それぞれ異なる周波数帯の光を発するLEDが配置されたものであってもよい。
図8A～8Bは、マルチスペクトル・マルチアパーチャイメージングシステム700の別の一実施形態を示す。図8A～8Bは、マルチアパーチャイメージングシステム700の周辺光源710A～710Dの別の可能な配置を示す。この図に示すように、図3A～3Dに関連して説明した光学設計を採用したマルチバンドパスフィルタ725A～725Dを備えた４つのレンズアセンブリは、長方形または正方形に配置して、（イメージセンサを含む）４台のカメラ730A～730Dに受光させることができる。４台のカメラ730A～730Dは、互いにより接近した構成の一例として示されており、これによって、レンズ間の遠近差を最小限に抑えてもよい。４つの長方形発光素子710A～710Dは、マルチバンドパスフィルタ725A～725Dを備えたレンズアセンブリを取り囲んだ正方形に配置することができる。これらの長方形発光素子は、広域スペクトルの発光パネルであってもよく、それぞれ異なる周波数帯の光を発するLEDが配置されたものであってもよい。
図9A～9Cは、マルチスペクトル・マルチアパーチャイメージングシステム800の別の一実施形態を示す。イメージングシステム800は、レンズ集合体前面フレーム830に接続されたフレーム805を含み、レンズ集合体前面フレームは、開口部820とマイクロビデオレンズ825用の支持構造を含み、マイクロビデオレンズ825は、図3A～3Dに関して説明した光学設計を使用したマルチバンドパスフィルタを備えることができる。マイクロビデオレンズ825は、レンズ集合体後面フレーム840に装着された４台のカメラ845（結像レンズおよびイメージセンサ領域を含む）に受光させる。直線状に４列に配置されたLED 811は、レンズ集合体前面フレーム830の４つの辺に沿って配置されており、４つの辺のそれぞれには各LED用の拡散素子815が備えられている。図9Bおよび図9Cは、マルチアパーチャイメージングシステム800の可能な寸法の一例をインチ単位で示したものである。
図10Aは、図3A～3Dに関連して説明した光学設計を備えたマルチスペクトル・マルチアパーチャイメージングシステム900の別の一実施形態を示す。イメージングシステム900は、モバイル端末910のマルチアパーチャカメラ915に取り付け可能な１組のマルチバンドパスフィルタ905として実装することができる。例えば、スマートフォンなどの特定のモバイル端末910は、２つのイメージセンサ領域に通じる２つの開口部を有する立体イメージングシステムを装備することができる。本明細書で開示するマルチアパーチャスペクトルイメージング技術は、狭い周波数帯の複数の光をセンサ領域へと通過させる適切な１組のマルチバンドパスフィルタ905を提供することによって、このような装置に実装することができる。この１組のマルチバンドパスフィルタ905には、このような周波数帯の光を物体空間に照射する光源（LEDアレイと拡散板など）を装備してもよい。
イメージングシステム900は、マルチスペクトルデータキューブを生成する処理と、（例えば、臨床組織分類用アプリケーション、生体認証用アプリケーション、材料分析用アプリケーションまたはその他のアプリケーションにおける）マルチスペクトルデータキューブの処理とを行うようにモバイル端末を構成するモバイルアプリケーションをさらに含むことができる。あるいは、このモバイルアプリケーションは、ネットワークを介して、離れた場所にある処理システムにマルチスペクトルデータキューブを送信し、その後、分析結果を受信して表示するようにモバイル端末910を構成するものであってもよい。このような用途のユーザインタフェース910の一例を図10Bに示す。
図11A～11Bは、図3A～10Bに示したマルチスペクトル・マルチアパーチャイメージングシステムに４種のフィルタを実装した場合に、これらのフィルタを通過することができる１組の周波数帯の一例を示し、これらの１組の周波数帯は、例えば、べイヤーCFA（または別のRGB CFAまたはRGB-IR CFA）を備えたイメージセンサに入射する。
これらの透過曲線には、この例で使用したセンサによる量子効率の効果も含んでいる。これらの図に示すように、この４台１組のカメラ全体で、８個の特有チャネルすなわち８個の特有周波数帯が撮影される。各フィルタは、各カメラに対して２つの共通周波数帯（左端の２つのピーク）と、別の２つの周波数帯を通過させる。この実装では、第１のカメラおよび第３のカメラは、第１の共有NIR周波数帯の光（右端のピーク）を受光し、第２のカメラおよび第４のカメラは、第２の共有NIR周波数帯の光（右から２番目のピーク）を受光する。各カメラは、約550nm～約800nmまたは550nm～800nmの範囲の特有周波数帯をそれぞれ１つずつ受光する。したがって、これらのカメラは、コンパクトな構成を使用して、８個の特有のスペクトルチャネルを撮影することができる。図11Bのグラフ1010は、図11Aに示した４台のカメラの照明として使用してもよい、図4Eに示したLEDボードの分光放射照度を示す。
この実装では、臨床組織分類に適したスペクトルチャネルの生成に基づき、８個の周波数帯を選択したが、（イメージングシステム内に熱を伝える）LEDの数を制限しながら、シグナル／ノイズ比（SN比）およびフレームレートに関して最適化してもよい。組織（例えば、ヒト組織などの動物組織）は、緑色の波長や赤色の波長よりも青色の波長において高いコントラストを示すことから、この８個の周波数帯には、４枚のフィルタすべてを通過する青色光の共通周波数帯（グラフ1000の左端のピーク）を含めている。より具体的には、グラフ1000に示すように、ヒト組織は、約420nmを中心とする周波数帯で画像化した場合にコントラストが最も高くなる。この共通周波数帯に対応するチャネルは視差補正に使用されることから、コントラストを高くするほど、より正確な補正行うことができる。例えば、視差補正を行う際、画像処理プロセッサは、ローカル法またはグローバル法を使用して、ローカル画像パッチ間またはローカル画像間の類似性を示す性能指数が最大となるように、１組の視差を見出すことができる。あるいは、画像処理プロセッサは、同様の方法を使用して、相違性を示す性能指数を最小にすることができる。これらの性能指数は、エントロピー、相関性、絶対差または深層学習法に基づくものであってもよい。グローバル法による視差の計算は、反復して実行することができ、性能指数が安定になった時点で終了することができる。ローカル法は、画素ごとに視差を計算することができ、１つの画像中の固定されたパッチを性能指数の入力として使用し、試験中に、別の画像から切り出した多数のパッチに対してそれぞれ異なる視差の数値を求める。このような方法はいずれも、考慮される視差の範囲が拘束される場合がある。この拘束は、例えば、物体の深さおよび距離に関する知識に基づく場合がある。また、物体において予想される傾きの範囲に基づいて拘束される場合もある。計算された視差は、エピポーラ拘束などの射影幾何学により拘束される場合がある。低い解像度で計算された視差の出力を、次のレベルの解像度での視差の計算に対する初期値または拘束として使用して、様々な解像度で視差を計算することができる。例えば、１回目の計算において４画素の解像度で計算された視差を利用して、より高い解像度での次の視差の計算において±４画素の拘束を設定することができる。視差から計算されるあらゆるアルゴリズムは、コントラストが高いほど恩恵を受け、特に、そのコントラスト源がすべての視点と関連している場合に、高コントラストによる恩恵は顕著である。通常、共通周波数帯は、特定の用途において画像化されることが予想される材料の最も高いコントラストでの画像化に対応できるように選択することができる。
画像の撮影後の、隣接したチャネル間の色分解は完全ではない場合があることから、この実装では、青色の周波数帯に隣接した緑色の周波数帯として、グラフ1000に示したすべてのフィルタを通過する追加の共通周波数帯をさらに設ける。このような周波数帯を利用する理由として、青色カラーフィルタの画素は、スペクトル通過帯域が広いことから、緑色のスペクトラム領域に感度を示すことが挙げられる。これは、通常、スペクトルの重複として示され、隣接したRGB画素間での意図的なクロストークと見なしてもよい。このスペクトルの重複によって、カラーカメラのスペクトル感度をヒト網膜のスペクトル感度に近づけることができ、最終的に得られる色空間をヒトの視覚に質的に似たものとすることができる。したがって、各フィルタに共通する緑色のチャネルを設けることにより、受光した青色光に真に相当する、青色のフォトダイオードによって生成されたシグナルの一部を分離することが可能になる。この分離は、マルチバンドパスフィルタの透過率（Ｔの凡例で示した黒色の実線で示す）と、これに対応するCFAカラーフィルタの透過率（それぞれＱの凡例で示した、赤色の破線、緑色の破線および青色の破線で示す）を要因に入れたスペクトルアンミキシングアルゴリズムを使用して達成することができる。いくつかの実装では、赤色光を共通周波数帯として使用してもよく、この場合、第２の共通チャネルは必要とされない場合もあることは十分に理解できるであろう。
図12は、高解像度スペクトルイメージング能を備えたコンパクト型イメージングシステム1100の一例のハイレベルブロック図を示し、このイメージングシステム1100は、マルチアパーチャスペクトルカメラ1160と光源1165に連結されたプロセッサ1120を含む１組の部品を備える。ワーキングメモリ1105、記憶装置1110、電子ディスプレイ1125およびメモリ1130もプロセッサ1120と通信可能な状態である。本明細書で述べるように、このイメージングシステム1100は、マルチアパーチャスペクトルカメラ1160の開口部の上方にそれぞれに異なるマルチバンドパスフィルタを配置することによって、イメージセンサのCFAに異なるカラーフィルタを配置した場合よりも多くの画像チャネルを撮影可能であってもよい。
コンパクト型イメージングシステム1100は、携帯電話、デジタルカメラ、タブレット型コンピュータ、パーソナルデジタルアシスタントなどの装置であってもよい。コンパクト型イメージングシステム1100は、画像撮影用の内部カメラまたは外部カメラを使用したデスクトップパソコンやテレビ会議ステーションなどの固定型デバイスであってもよい。コンパクト型イメージングシステム1100は、画像撮影装置と、これとは別個に設けられた、画像撮影装置からの画像データを受信する処理装置の組み合わせであってもよい。ユーザは、このコンパクト型イメージングシステム1100上で複数のアプリケーションを利用可能であってもよい。これらのアプリケーションには、従来の写真用アプリケーション、静止画像および動画の撮影用アプリケーション、動的色補正用アプリケーション、明度・濃淡の補正用アプリケーションなどが含まれていてもよい。
この画像撮影システム1100は、画像撮影用のマルチアパーチャスペクトルカメラ1160を含む。マルチアパーチャスペクトルカメラ1160は、例えば、図3A～10Bに示す装置のいずれであってもよい。様々なスペクトルチャネルにおいて撮影された画像を、様々なセンサ領域から画像処理プロセッサ1120に送信できるように、マルチアパーチャスペクトルカメラ1160がプロセッサ1120に接続されていてもよい。また、以下で詳細に説明するように、単一または複数の光源1165をプロセッサで制御することによって、特定の露光中に特定の波長の光を発することができる。画像処理プロセッサ1120は、視差が補正された高品質なマルチスペクトルデータキューブを出力できるように、受信した撮影画像に対して様々な処理を行うように構成されていてもよい。
プロセッサ1120は、汎用処理ユニットまたはイメージング用途に特別に設計されたプロセッサであってもよい。図12に示すように、プロセッサ1120は、メモリ1130とワーキングメモリ1105に接続されている。この図に示した実施形態では、メモリ1130は、撮影制御モジュール1135、データキューブ作成モジュール1140、データキューブ分析モジュール1145およびオペレーティングシステム1150を格納している。これらのモジュールは、様々な画像処理および装置管理タスクを実行できるようにプロセッサを構成する命令を含む。プロセッサ1120は、ワーキングメモリ1105を使用して、メモリ1130の各モジュールに含まれるプロセッサ命令のワーキングセットを格納する。あるいは、プロセッサ1120は、ワーキングメモリ1105を使用して、画像撮影システム1100の作動中に作成された動的データを格納する。
前述したように、プロセッサ1120は、メモリ1130に格納された数個のモジュールによって構成されている。いくつかの実装において、撮影制御モジュール1135は、マルチアパーチャスペクトルカメラ1160の焦点位置を調整できるようにプロセッサ1120を構成する命令を含む。撮影制御モジュール1135は、例えば、様々なスペクトルチャネルで撮影されるマルチスペクトル画像や、同じスペクトルチャネル（例えばNIRチャネル）で撮影されるPPG画像などの画像をマルチアパーチャスペクトルカメラ1160で撮影できるようにプロセッサ1120を構成する命令をさらに含む。非接触PPGイメージングでは、通常、近赤外線（NIR）波長を照明として使用し、この波長において組織への光子の透過が増加することを利用している。したがって、撮影制御モジュール1135、マルチアパーチャスペクトルカメラ1160およびワーキングメモリ1105を備えたプロセッサ1120は、一連のスペクトル画像および／または連続した画像を撮影する手段の１つである。
データキューブ作成モジュール1140は、異なるセンサ領域にある各フォトダイオードから受信した強度シグナルに基づいてマルチスペクトルデータキューブを生成するようにプロセッサ1120を構成する命令を含む。例えば、データキューブ作成モジュール1140は、すべてのマルチバンドパスフィルタを通過した共通周波数帯に対応するスペクトルチャネルに基づいて、画像化された物体の同じ領域間の視差を推定することができ、この視差を使用して、撮影されたすべてのチャネルおけるすべてのスペクトル画像を互いに位置合わせすることができる（例えば、すべてのスペクトルチャネルにおいて、特定の物体上の同じ点が実質的に同じ画素位置（x,y）となるように位置合わせを行うことができる）。位置合わせした画像を統合してマルチスペクトルデータキューブを形成し、視差の情報を使用して、別々に画像化された物体の深さを測定してもよく、例えば、正常組織の深さと創傷部位の最も深い位置の深さとの差を測定してもよい。いくつかの実施形態において、データキューブ作成モジュール1140は、さらにスペクトルアンミキシングを行うことにより、例えば、フィルタの透過率およびセンサの量子効率を要因に入れたスペクトルアンミキシングアルゴリズムに基づいて、フォトダイオードの強度シグナルのどの部分が、フィルタを通過したどの周波数帯に対応するのかを特定してもよい。
データキューブ分析モジュール1145は、データキューブ作成モジュール1140によって生成されたマルチスペクトルデータキューブを用途に応じて分析するために、様々な技術を実装することができる。例えば、データキューブ分析モジュール1145の実装のいくつかでは、特定の状態に応じて各画素を分類するように訓練された機械学習モデルに、（深さ情報が含まれていてもよい）マルチスペクトルデータキューブを提供することができる。この特定の状態は、組織イメージングを行う際の臨床状態であってもよく、例えば、熱傷の状態（例えば、Ｉ度熱傷、II度熱傷、III度熱傷または正常組織という種類）、創傷の状態（例えば、止血、炎症、増殖、リモデリングまたは正常な皮膚という種類）、治癒可能性（例えば、特定の治療法を行った場合あるいは特に治療法を行わなかった場合に、組織が創傷状態から治癒する可能性を反映したスコア）、潅流状態、がん状態、または創傷に関連したその他の組織状態であってもよい。また、データキューブ分析モジュール1145は、生体認証および／または材料分析を目的としてマルチスペクトルデータキューブを分析することもできる。
オペレーティングシステムモジュール1150は、画像撮影システム1100のメモリおよび処理リソースを管理するようにプロセッサ1120を構成する。例えば、オペレーティングシステムモジュール1150は、電子ディスプレイ1125、記憶装置1110、マルチアパーチャスペクトルカメラ1160、光源1165などのハードウェアリソースを管理するデバイスドライバを含んでいてもよい。したがって、いくつかの実施形態において、前述の画像処理モジュールに含まれる命令は、これらのハードウェアリソースと直接的に相互作用しなくてもよく、その代わりに、オペレーティングシステムコンポーネント1150に含まれる標準サブルーチンまたはAPIを介して相互作用してもよい。次に、オペレーティングシステム1150内の命令は、これらのハードウェアコンポーネントと直接相互作用してもよい。
さらに、プロセッサ1120は、ディスプレイ1125を制御して、撮影された画像および／またはマルチスペクトルデータキューブの分析結果（例えば、分類された画像）をユーザに対して表示するように構成されていてもよい。ディスプレイ1125は、マルチアパーチャスペクトルカメラ1160を含むイメージング装置の外部に設けられてもよく、イメージング装置の一部であってもよい。また、ディスプレイ1125は、画像の撮影前にビューファインダーをユーザに提供するように構成されていてもよい。さらに、ディスプレイ1125は、LCDスクリーンまたはLEDスクリーンを含んでいてもよく、タッチ感応技術を実装していてもよい。
プロセッサ1120は、例えば、撮影された画像、マルチスペクトルデータキューブおよびデータキューブの分析結果を表すデータなどのデータを記憶装置モジュール1110に書き込んでもよい。この図において、記憶装置モジュール1110は、従来のディスク装置として示されているが、当業者であれば、記憶装置モジュール1110が、どのような種類の記憶媒体装置として構成されていてもよいことを理解できるであろう。例えば、記憶装置モジュール1110は、フロッピーディスクドライブ、ハードディスクドライブ、光ディスクドライブ、光磁気ディスクドライブなどのディスクドライブ、またはFLASHメモリ、RAM、ROMおよび／もしくはEEPROMなどのソリッドステートメモリを含んでいてもよい。記憶装置モジュール1110は、複数のメモリユニットをさらに含むことができ、メモリユニットのいずれか１つは、画像撮影装置1100の内部に配置されるように構成されていてもよく、画像撮影システム1100の外部に配置されていてもよい。例えば、記憶装置モジュール1110は、画像撮影システム1100内に格納されたシステムプログラム命令を含むROMメモリを含んでいてもよい。さらに、記憶装置モジュール1110は、カメラから取り外し可能な、撮影された画像を格納するように構成されたメモリカードまたは高速メモリを含んでいてもよい。
図12では、プロセッサ、イメージセンサおよびメモリを備えるように、別々の部品を含むシステムが示されているが、当業者であれば、これらの別々の部品を様々に組み合わせて特定の設計目標を達成できることを認識できるであろう。例えば、別の一実施形態において、コストの削減および性能の向上のために、メモリ部品をプロセッサ部品と組み合わせてもよい。
さらに、図12では、２つのメモリ部品として、いくつかのモジュールを含むメモリ部品1130と、ワーキングメモリを含む別個のメモリ1105が示されているが、当業者であれば、いくつかの実施形態において、別のメモリ構造を利用できることを認識できるであろう。例えば、メモリ1130に含まれる各モジュールを実装したプロセッサ命令の格納にROMまたはスタティックRAMメモリを利用した設計としてもよい。あるいは、画像撮影システム1100に一体化されたディスク記憶装置、または外部デバイスポートを介して接続されたディスク記憶装置からシステム起動する際に、プロセッサ命令を読み込んでもよい。次に、このプロセッサ命令をRAMにロードして、プロセッサによる命令の実行を促してもよい。例えば、ワーキングメモリ1105はRAMメモリであってもよく、プロセッサ1120により命令を実行する前に、ワーキングメモリ1105に命令をロードしてもよい。
画像処理技術の一例の概要
図13は、図3A～10Bおよび図12に示したマルチスペクトル・マルチアパーチャイメージングシステムを使用して、画像データを撮影するプロセス1200の一例を示したフローチャートである。図13は、本明細書に記載のマルチスペクトルデータキューブの生成に使用可能な４種の露光、すなわち、可視光露光1205、追加の可視光露光1210、非可視光露光1215および環境光露光1220の一例を示す。これら露光はどのような順序で撮影してもよく、これらの露光のうちのいくつかは、後述する特定のワークフローから省いてもよく、後述する特定のワークフローに追加してもよいことは十分に理解できるであろう。以下、図11Aおよび図11Bに示した周波数帯を参照しながらプロセス1200を説明するが、別の１組の周波数帯に基づいて生成した画像データを使用して同様のワークフローを実装することもできる。さらに、様々な実施形態において、公知の様々なフラットフィールド補正技術に従って、フラットフィールド補正をさらに実装することによって、画像収集および／または視差補正を向上させてもよい。
図13は、図3A～10Bおよび図12に示したマルチスペクトル・マルチアパーチャイメージングシステムを使用して、画像データを撮影するプロセス1200の一例を示したフローチャートである。図13は、本明細書に記載のマルチスペクトルデータキューブの生成に使用可能な４種の露光、すなわち、可視光露光1205、追加の可視光露光1210、非可視光露光1215および環境光露光1220の一例を示す。これら露光はどのような順序で撮影してもよく、これらの露光のうちのいくつかは、後述する特定のワークフローから省いてもよく、後述する特定のワークフローに追加してもよいことは十分に理解できるであろう。以下、図11Aおよび図11Bに示した周波数帯を参照しながらプロセス1200を説明するが、別の１組の周波数帯に基づいて生成した画像データを使用して同様のワークフローを実装することもできる。さらに、様々な実施形態において、公知の様々なフラットフィールド補正技術に従って、フラットフィールド補正をさらに実装することによって、画像収集および／または視差補正を向上させてもよい。
可視光露光1205を得るため、照明基板に制御信号を送ることにより、最初の５つのピーク（図11Aのグラフ1000の可視光に対応する左側の５つのピーク）に対応する複数のLEDを点灯させることができる。特定の複数のLEDにおいて同時に光の出力波形を安定化させる必要がある場合がある（例えば10ミリ秒間）。その後、撮影制御モジュール1135により、４台のカメラの露光を開始させ、例えば約30ミリ秒間にわたって、この露光を継続することができる。その後、撮影制御モジュール1135により露光を停止させ、（例えば、フォトダイオードからの生の強度シグナルをワーキングメモリ1105および／またはデータストア1110に転送することにより）センサ領域からデータを取得する。このデータは、本明細書に記載の、視差補正に使用される共通スペクトルチャネルを含んでいてもよい。
SN比を向上させるため、いくつかの実装では、可視光露光1205について述べたのと同じプロセスを使用して、追加の可視光露光1210を撮影することができる。同一またはほぼ同一の２つの露光を撮影してSN比を向上させることにより、画像データをより正確に分析することができる。しかし、単一の画像のSN比のみで許容可能な実装では、この２つ目の露光を省略してもよい。また、いくつかの実装では、共通スペクトルチャネルで２つの露光を撮影することにより、より正確な視差補正を行ってもよい。
いくつかの実装では、NIR光またはIR光に対応する非可視光露光1215をさらに撮影することができる。例えば、撮影制御モジュール1135は、図11Aに示した２つのNIRチャネルに対応する２種のNIR LEDを起動することができる。特定の複数のLEDにおいて同時に光の出力波形を安定化させる必要がある場合がある（例えば10ミリ秒間）。その後、撮影制御モジュール1135により、４台のカメラの露光を開始させ、例えば約30ミリ秒間にわたって、この露光を継続することができる。その後、撮影制御モジュール1135により露光を停止させ、（例えば、フォトダイオードからの生の強度シグナルをワーキングメモリ1105および／またはデータストア1110に転送することにより）センサ領域からデータを取得する。この露光では、露光1205および露光1210に対する物体の形状または位置に変化はないと見なしても問題はないことから、前もって算出した視差値を使用して各NIRチャネルの位置合わせを行うことができるため、すべてのセンサ領域を通過する共通周波数帯は設けなくてもよい。
いくつかの実装では、拍動血流による組織部位の変形を示すPPGデータを生成するために、多重露光を使用して連続撮影することができる。いくつかの実装では、このようなPPG用露光を非可視光波長で撮影してもよい。PPGデータとマルチスペクトルデータを組み合わせることによって、特定の医用イメージング分析の正確度を向上させてもよいが、PPGデータの撮影によって、画像撮影プロセスに要する時間が長くなる場合がある。いくつかの実装では、画像撮影プロセスに要する時間が長くなったことによって、その間に携帯型撮像装置および／または物体が移動し、誤差が生じることがある。したがって、特定の実装では、PPGデータの撮影を省略してもよい。
いくつかの実装では、環境光露光1220をさらに撮影することができる。この露光では、すべてのLEDを消灯し、周囲の照明（例えば、日光やその他の光源からの光）を利用して画像を撮影することができる。その後、撮影制御モジュール1135により、４台のカメラの露光を開始させ、所望の時間（例えば約30ミリ秒間）にわたって、この露光を継続することができる。その後、撮影制御モジュール1135により露光を停止させ、（例えば、フォトダイオードからの生の強度シグナルをワーキングメモリ1105および／またはデータストア1110に転送することにより）センサ領域からデータを取得する。可視光露光1205（または第２の露光1210によりSN比を補正した可視光露光1205）の数値から環境光露光1220の強度値を差し引き、さらに非可視光露光1215の数値からも環境光露光1220の強度値を差し引くことによって、マルチスペクトルデータキューブから環境光の影響を除去することができる。このような処理により、光源により発せられた光および物体／組織部位から反射した光を示す生成信号の一部を分離して、下流の分析の正確度を向上させることができる。いくつかの実装では、可視光露光1205，1210と非可視光露光1215のみを使用するだけで十分な分析の正確度が得られる場合、この工程を省略してもよい。
上に挙げた特定の露光時間は、一実装における一例であり、別の実装では、イメージセンサ、光源の強度および画像化される物体に応じて、露光時間は様々に異なりうることを十分に理解できるであろう。
図14は、例えば、図3A～10Bおよび図12に示したマルチスペクトル・マルチアパーチャイメージングシステムを使用し、かつ／または図13に示したプロセス1200を使用して撮影された画像データなどの画像データを処理するためのワークフロー1300の略ブロック図を示す。ワークフロー1300は、２つのRGBセンサ領域1301A，1301Bの出力を示しているが、ワークフロー1300のセンサ領域の数はさらに増やすことができ、異なるCFAカラーチャネルに対応するセンサ領域を設けることもできる。
２つのセンサ領域1301A，1301Bから出力されたRGBセンサ出力は、2Dセンサ出力モジュール1305A，1305Bにそれぞれ格納される。これらのセンサ領域の数値は、非線形マッピングモジュール1310A，1310Bに送信され、これらの非線形マッピングモジュール1310A，1310Bにおいて、共通チャネルを使用して撮影された画像間の視差を特定し、次に、この決定された視差をすべてのチャネルに対して適用してすべてのスペクトル画像を互いに位置合わせすることにより視差補正を行うことができる。
次に、これらの非線形マッピングモジュール1310A，1310Bの出力は、深さ計算モジュール1335に提供され、深さ計算モジュール1335は、画像データ中の特定の目的領域の深さを算出することができる。例えば、深さは、物体とイメージセンサの間の距離を表してもよい。いくつかの実装では、複数の深さの値を算出し、これらを比較することによって、イメージセンサ以外の何らかの対象に対する物体の深さを測定することができる。例えば、創床の最も深い深さを測定することができ、この創床を取り囲む正常組織の深さ（最も深い深さ、最も浅い深さまたは平均の深さ）も測定することができる。創床の深さから正常組織の深さを差し引くことによって、創傷の最も深い深さを測定することができる。この深さの比較は、創床中のその他の箇所（例えば、所定のサンプリング点のすべてまたはその一部）でも行うことができ、これによって、様々な点（図14においてz（x,y）として示す（ここでｚは深さの値である））において創傷の深さの3Dマップを構築することができる。視差が大きくなるほど、前述のような深さの計算用のアルゴリズムによる計算の負荷が高くなるが、いくつかの実施形態では、視差が大きいほど深さの計算が向上する場合がある。
次に、これらの非線形マッピングモジュール1310A，1310Bの出力は、線形方程式モジュール1320にも提供され、線形方程式モジュール1320は、検知された数値を、スペクトルアンミキシング用の１組の線形方程式として処理することができる。一実装では、少なくともセンサの量子効率およびフィルタの透過率値の関数としてムーア・ペンローズの擬似逆行式を使用することにより、実際のスペクトルの数値（例えば、各像点（x,y）に入射する特定の波長の光の強さ）を算出することができる。スペクトルアンミキシングは、臨床診断やその他の生物学的応用などの、高い正確度が要求される実装において使用することができる。スペクトルアンミキシングを適用することにより、光量子束およびSN比の推定値を提供することもできる。
ワークフロー1300は、視差を補正したスペクトルチャネル画像およびスペクトルアンミキシングに基づいて、例えば、この図に示したF（x,y,λ）という形式（ここでFは、特定波長または周波数帯λにおける特定の結像位置（x,y）における光の強さを示す）などでスペクトルデータキューブ1325を生成することができる。
図15は、例えば、図3A～10Bおよび図12に示したマルチスペクトル・マルチアパーチャイメージングシステムを使用し、かつ／または図13に示したプロセスを使用して撮影された画像データなどの画像データを処理するための視差および視差補正を図示する。第１の組の画像1410は、４種のセンサ領域で撮影した同じ物体上の同じ物理的位置の画像データを示す。この図に示すように、イメージセンサ領域のフォトダイオードグリッドの（x,y）座標フレームに基づくと、これらの生の画像において、物体位置は同じ位置にはない。第２の組の画像1420は、視差補正後に同じ物体位置にあることを示しており、これらの画像では、位置合わせした画像の座標フレームにおいて同じ（x,y）位置になっている。このような位置合わせは、互いに完全には重複していない画像の端部領域から特定のデータをトリミングすることを含んでいてもよいことは十分に理解できるであろう。
図16は、例えば、図3A～10Bおよび図12に示したマルチスペクトル・マルチアパーチャイメージングシステムを使用して、かつ／または図13に示したプロセスを使用して撮影した後、図14および図15に従って処理された画像データなどのマルチスペクトル画像データを画素単位で分類するためのワークフロー1500を図示する。
ブロック1510において、マルチスペクトル・マルチアパーチャイメージングシステム1513により、物体1511上の物理的な点1512を示す画像データを撮影することができる。この一例において、物体1511は、創傷を有する患者の組織を含む。創傷は、熱傷、糖尿病性潰瘍（例えば、糖尿病性足部潰瘍）、非糖尿病性潰瘍（例えば褥瘡または治癒の遅い創傷）、慢性潰瘍、術後切創、（切断術の前またはその後の）切断部位、がん性病変、または損傷を受けた組織を包含しうる。PPG情報が含まれている場合、本明細書で開示するイメージングシステムは、組織灌流；心血管の健康状態；潰瘍などの損傷；末梢動脈疾患；および呼吸器の健康状態を含む、組織の血流の変化および脈拍数の変化を伴う病態を評価する方法を提供する。
ブロック1520において、マルチスペクトル・マルチアパーチャイメージングシステム1513により撮影されたデータを処理して、多数の異なる波長1523を有するマルチスペクトルデータキューブ1525を生成することができ、このマルチスペクトルデータキューブ1525は、異なる時間に対応する同じ波長の多数の異なる画像（PPGデータ1522）を含んでいてもよい。例えば、画像処理プロセッサ1120は、データキューブ作成モジュール1140を介して、ワークフロー1300に従ってマルチスペクトルデータキューブ1525を生成するように構成することができる。いくつかの実装は、前述したように、空間次元の様々な点における深さの値と関連していてもよい。
ブロック1530において、マルチスペクトルデータキューブ1525は、機械学習モデル1532への入力データ1525として分析して、画像化された組織の分類マッピング1535を生成することができる。分類マッピングにより、画像データ中の各画素（各画素は、位置合わせ後の、画像化された物体1511上の特定の点を示す）を特定の組織分類または特定の治癒可能性スコアに割り当てることができる。分類された画像の出力において、視覚的に異なる色またはパターンを使用することにより、様々な分類または様々なスコアを示すことができる。したがって、物体1511の画像を数多く撮影したとしても、その出力は、画素単位で分類された複数の視覚表示を重ねた物体の単一の画像（例えば、通常のRGB画像）になりうる。
いくつかの実装では、機械学習モデル1532は人工ニューラルネットワークであってもよい。人工ニューラルネットワークは、生物学的神経回路網に着想を得たものであるが、コンピュータ装置による実装を目的として改良された計算実体であるという意味で人工物である。入力と出力の間の依存性を見出すことは容易ではないが、人工ニューラルネットワークを使用することにより、入力と出力の間の複雑な関係をモデル化したり、データ中において一定のパターンを見つけたりすることができる。ニューラルネットワークは、通常、入力層、１層以上の中間層（「隠れ層」）および出力層を含み、各層には数多くのノードが含まれる。ノードの数は各層によって異なっていてもよい。２層以上の隠れ層を含むニューラルネットワークは、「深層」であると見なされる。各層のノードは、次の層のノードのすべてまたはその一部と結合しており、これらの結合の重みは、通常、訓練プロセス中のデータから学習され、例えば、ニューラルネットワークのパラメータを調整して、ラベルを付けた訓練データ中の対応する入力から予想される出力を生成するバックプロパゲーション（誤差逆伝播法）を使用して行われる。したがって、人工ニューラルネットワークは、人工ニューラルネットワークを通して流れる情報に基づいて、訓練中にその構造（例えば結合構成および／または重み）を変更するように構成された適応システムであり、隠れ層の重みは、データ中の意味のあるパターンをコードするものであると見なすことができる。
全結合ニューラルネットワークとは、入力層の各ノードが次の層（第１の隠れ層）の各ノードに結合され、第１の隠れ層の各ノードが次の隠れ層の各ノードに結合され、このような結合が、最終的な隠れ層の各ノードが出力層の各ノードに結合されるまで継続するニューラルネットワークである。
畳み込みニューラルネットワーク（CNN）は、人工ニューラルネットワークの１種であり、前述した人工ニューラルネットワークと同様に、複数のノードから構成され、学習可能な重みを有する。前述の人工ニューラルネットワークとは異なる点として、CNNの各層は、各ビデオフレームの２×２アレイの画素値（例えば幅と高さ）と、シーケンス中のビデオフレームの数（例えば深さ）に対応した、幅と高さと深さからなる三次元に配置されたノードを有することができる。各層のノードは、幅と高さからなるその前の層の小領域（受容野と呼ぶ）に局所結合されていてもよい。隠れ層の重みは、受容野に適用される畳み込みフィルタの形態を取ることができる。いくつかの実施形態において、畳み込みフィルタは二次元であってもよく、したがって、入力ボリュームの各フレームまたは指定されたフレームサブセットに対して同じフィルタを使用して畳み込み（または画像の畳み込み変換）を繰り返すことができる。別の実施形態では、畳み込みフィルタは三次元であってもよく、したがって、入力ボリュームの複数のノードの深さ全体に及ぶものであってもよい。CNNの各畳み込み層の各ノードは重みを共有して、入力ボリュームの幅と高さの全体に対して（例えば全フレームに対して）所定の層の畳み込みフィルタを複製することにより、訓練可能な重みの総数を減らし、訓練データ外のデータセットに対するCNNの適用性を向上させることができる。特定の層の数値をプールして、次の層の計算の回数を減らしてもよく（例えば、特定の画素を示す数値を次の層へと伝達してもよく、その他の数値は破棄する）、さらに、CNNの深さが進むに従って、廃棄された数値にプールマスクを再導入し、元の大きさに対してデータポイントの数を返してもよい。一部が全結合されていてもよい多数の層を積み重ねて、CNN構造を形成することができる。
訓練中、人工ニューラルネットワークをその訓練データ中のペアデータに適用して、パラメータを変更し、入力が提供された場合に特定のペアの出力を予測することができる。例えば、訓練データは、マルチスペクトルデータキューブ（入力）と、例えば、特定の臨床状態に対応する創傷領域を臨床医が指定することなどによりラベル付けされた分類マッピング（予想される出力）とを含むことができ、このラベル付けされた分類マッピングには、最初に創傷のイメージングを行ってからしばらく経過した後に実際の治癒が確認されてから付与された治癒ラベル（１）または未治癒ラベル（０）が含まれていてもよい。機械学習モデル1532の別の実装では、その他の種類の予測を行うように訓練することもでき、例えば、特定の期間中に創傷が治癒して、創傷領域の割合が特定のパーセンテージまで減少する（例えば、30日以内に創傷領域が少なくとも50％減少する）可能性を予測したり、止血、炎症、増殖、リモデリング、正常な皮膚などに分類される創傷の状態を予測するように訓練することもできる。いくつかの実装では、分類の正解率をさらに向上させるため、患者の評価指標を入力データにさらに組み込んでもよく、あるいは、機械学習モデル1532に別の実例を訓練させるため、患者の評価指標に基づいて訓練データをセグメント化し、同じ評価指標を有する別の患者に使用してもよい。患者の評価指標には、患者の特性またはその患者の健康状態の特性を説明する文字情報または病歴またはそれらの態様が含まれていてもよく、患者の特性またはその患者の健康状態の特性としては、例えば、創傷、病変または潰瘍の面積；患者のBMI；患者の糖尿病の状態；患者における末梢血管疾患または慢性炎症の存在；患者が現在罹患しているその他の創傷の数または患者がこれまでに罹患した創傷の数；免疫抑制剤（例えば化学療法）または創傷治癒率に正もしくは負の影響を及ぼすその他の薬剤が患者に投与されているか否か、または最近投与されたか否か；HbA1c；慢性腎不全ステージIV；１型糖尿病または２型糖尿病のいずれであるか；慢性貧血；喘息；薬剤の使用；喫煙の有無；糖尿病性神経障害；深部静脈血栓症；過去の心筋梗塞症；一過性脳乏血発作；および睡眠時無呼吸；ならびにこれらの任意の組み合わせが挙げられる。これらの評価指標は、適切な処理によりベクトル表示に変換することができ、例えば、単語をベクトル表現化した埋め込み、患者が特定の評価指標を満たすか否か（例えば、１型糖尿病に罹患しているか否か）を示す２進値のベクトル、または患者における各評価指標の程度を示す数値などによって、ベクトル表示に変換することができる。
ブロック1540では、ユーザに対して分類マッピング1535を出力することができる。この一例では、分類マッピング1535において、第１の色1541を使用して、第１の状態に従って分類された画素が示され、第２の色1542を使用して、第２の状態に従って分類された画素が示される。分類とその結果得られた分類マッピング1535は、例えば、物体認識、背景色の識別および／または深さの値に基づいたバックグラウンド画素が除外されていてもよい。図16に示したように、マルチスペクトル・マルチアパーチャイメージングシステム1513のいくつかの実装では、組織部位上に分類マッピング1535を投影することができる。このような態様は、推奨される切除マージンおよび／または切除する深さの視覚表示が分類マッピングに含まれる場合に、特に有益となる場合がある。
このような方法およびシステムによって、熱傷の切除、切断レベル、病変除去および創傷のトリアージにおける判断などの、皮膚創傷の管理プロセスにおいて臨床医および外科医を補助してもよい。本明細書に記載の実施形態は、褥瘡性潰瘍、充血、四肢の悪化、レイノー現象、強皮症、慢性創傷、擦過創、裂創、出血、破裂損傷、穿刺創、穿通創、皮膚がん（基底細胞癌、扁平上皮癌、悪性黒色腫もしくは光線角化症）、または組織の特性および性質が正常状態とは異なる何らか種類の組織変化の重症度の特定および／または分類するために使用することができる。また、本明細書に記載の装置を使用して、正常組織のモニター；（例えば、デブリードマンを行う際のマージンを決定するための、より速く、より洗練されたアプローチが可能となるような）創傷治療法の補助および改善；ならびに（特に治療が適用された後の）創傷または疾患からの回復の進行の評価を行うことができる。本明細書に記載のいくつかの実施形態では、損傷を受けた組織に隣接した正常組織の識別、切除の際のマージンおよび／もしくは深さの決定、左室補助人工心臓などの人工装具を移植した後の回復過程のモニタリング、組織移植片または再生細胞移植片の生存能力の評価、または（特に再建術を行った後の）術後回復のモニタリングが可能な装置を提供する。さらに、本明細書に記載の実施形態を利用して、特に、ステロイド、肝細胞成長因子、線維芽細胞成長因子、抗生物質、再生細胞（幹細胞、内皮細胞および／または内皮前駆細胞を含む、単離または濃縮された細胞集団など）などの治療剤の投与後の、創傷の変化または創傷後の正常組織の発生を評価することができる。
分散コンピューティング環境の一例の概要
図17は、図3A～10Bおよび図12に示したマルチスペクトル・マルチアパーチャイメージングシステムのいずれであってもよいマルチスペクトル・マルチアパーチャイメージングシステム1605を含む、分散コンピューティングシステム1600の一例の略ブロック図を示す。この図に示すように、データキューブ分析サーバ1615は、恐らくはサーバクラスタまたはサーバファームとして配置される１つ以上のコンピュータを含んでいてもよい。これらのコンピュータを構成するメモリおよびプロセッサは、１つのコンピュータ内に配置されていてもよく、（互いに離れて設置されたコンピュータを含む）数多くのコンピュータに分散されていてもよい。
図17は、図3A～10Bおよび図12に示したマルチスペクトル・マルチアパーチャイメージングシステムのいずれであってもよいマルチスペクトル・マルチアパーチャイメージングシステム1605を含む、分散コンピューティングシステム1600の一例の略ブロック図を示す。この図に示すように、データキューブ分析サーバ1615は、恐らくはサーバクラスタまたはサーバファームとして配置される１つ以上のコンピュータを含んでいてもよい。これらのコンピュータを構成するメモリおよびプロセッサは、１つのコンピュータ内に配置されていてもよく、（互いに離れて設置されたコンピュータを含む）数多くのコンピュータに分散されていてもよい。
マルチスペクトル・マルチアパーチャイメージングシステム1605は、ネットワーク1610を介して、ユーザ装置1620およびデータキューブ分析サーバ1615と通信するためのネットワーキングハードウェア（例えば、無線のインターネット、衛星通信、ブルートゥースまたはその他の通信機）を含むことができる。例えば、いくつかの実装において、マルチスペクトル・マルチアパーチャイメージングシステム1605のプロセッサは、画像撮影を制御し、その後、生データをデータキューブ分析サーバ1615に送信するように構成されていてもよい。別の実装でのマルチスペクトル・マルチアパーチャイメージングシステム1605のプロセッサは、画像撮影を制御し、スペクトルアンミキシングおよび視差補正を行ってマルチスペクトルデータキューブを生成し、その後、マルチスペクトルデータキューブをデータキューブ分析サーバ1615に送信するように構成されていてもよい。いくつかの実装では、マルチスペクトル・マルチアパーチャイメージングシステム1605上においてすべての処理および分析を局所的に行うことができ、集計分析の実施および／または機械学習モデルの訓練もしくは再訓練での使用を目的として、マルチスペクトルデータキューブおよび得られた分析結果をデータキューブ分析サーバ1615に送信してもよい。したがって、データキューブ分析サーバ1615は、マルチスペクトル・マルチアパーチャイメージングシステム1605に最新の機械学習モデルを提供してもよい。マルチスペクトルデータキューブを分析した最終結果を得るための処理負荷は、マルチアパーチャイメージングシステム1605の処理能力に応じて、マルチアパーチャイメージングシステム1605とデータキューブ分析サーバ1615の間で様々な方法により分担してもよい。
ネットワーク1610は、イントラネット、インターネット、セルラーネットワーク、ローカルエリアネットワーク、同様のその他のネットワーク、これらの組み合わせなどの、適切なネットワークを含むことができる。ユーザ装置1620には、ネットワークを装備したあらゆるコンピュータ装置が含まれ、例えば、デスクトップコンピュータ、ノートパソコン、スマートフォン、タブレット、電子書籍リーダー、テレビゲーム機などが挙げられる。例えば、組織分類が必要となった際に、マルチアパーチャイメージングシステム1605およびデータキューブ分析サーバ1615により測定された結果（例えば、分類された画像）を、患者もしくは医師の指定のユーザ装置、患者の電子的な医療記録を格納する病院情報システム、および／または（例えば、米国疾病対策予防センターなどが保有する）集中型公衆衛生データベースに送信してもよい。
実装の結果の一例
背景：
負傷した戦闘員やその医療従事者にとって、熱傷による罹患および死亡は課題となっている。過去の戦闘死傷者における熱傷の受傷率は5～20％であり、これらの死傷者の約20％は、米国陸軍外科研究所（ISR）熱傷センターなどでの複雑な熱傷外科手術が必要であった。熱傷外科手術は専門的な訓練を必要とすることから、米国陸軍病院のスタッフではなく、ISRのスタッフにより熱傷外科手術が行われる。熱傷専門医の数が限られていることから、熱傷を負った兵士に医療を提供するための兵站業務が非常に複雑となる。したがって、術前および術中に熱傷の深さを検出する新規な客観的方法を利用することによって、戦闘継続中の熱傷患者に対する医療の提供への従事が可能な、（ISR以外の組織に所属する人員を含む）医療スタッフの数をより多く確保することができる。医療従事者の人員確保が増強されることによって、熱傷を負った戦闘員への医療的役割の進展に向けて、より複雑な熱傷ケアを拡充させることができる。
背景：
負傷した戦闘員やその医療従事者にとって、熱傷による罹患および死亡は課題となっている。過去の戦闘死傷者における熱傷の受傷率は5～20％であり、これらの死傷者の約20％は、米国陸軍外科研究所（ISR）熱傷センターなどでの複雑な熱傷外科手術が必要であった。熱傷外科手術は専門的な訓練を必要とすることから、米国陸軍病院のスタッフではなく、ISRのスタッフにより熱傷外科手術が行われる。熱傷専門医の数が限られていることから、熱傷を負った兵士に医療を提供するための兵站業務が非常に複雑となる。したがって、術前および術中に熱傷の深さを検出する新規な客観的方法を利用することによって、戦闘継続中の熱傷患者に対する医療の提供への従事が可能な、（ISR以外の組織に所属する人員を含む）医療スタッフの数をより多く確保することができる。医療従事者の人員確保が増強されることによって、熱傷を負った戦闘員への医療的役割の進展に向けて、より複雑な熱傷ケアを拡充させることができる。
このようなニーズへの対応を開始するため、術前における熱傷の治癒可能性の判定を補助することを目的として、マルチスペクトルイメージング（MSI）および人工知能（AI）アルゴリズムを使用した新規なカート用イメージング装置を開発した。この装置は、短時間で（例えば、６秒以内、５秒以内、４秒以内、３秒以内、２秒以内または１秒以内に）広範囲な組織（例えば、5.9×7.9平方インチ）の画像を取得することができ、イメージング造影剤の注射を必要としない。一般市民を対象としたこの研究では、この装置による熱傷の治癒可能性の判定の正解率は、熱傷の専門医師による臨床判断（例えば70～80％）よりも優れていることが示されている。
方法：
様々な重症度の熱傷を負った一般市民の患者において、熱傷受傷の72時間以内に画像化を実施し、熱傷受傷後の最長で７日間にわたりいくつかの時点でも画像化を実施した。各画像における正確な熱傷の重症度は、３週間にわたる治癒評価またはパンチ生検を使用して判定した。このイメージング装置での、Ｉ度熱傷、II度熱傷およびIII度熱傷における治癒する熱傷組織と治癒しない熱傷組織の同定と判別の正解率は、画素単位で分析した。
様々な重症度の熱傷を負った一般市民の患者において、熱傷受傷の72時間以内に画像化を実施し、熱傷受傷後の最長で７日間にわたりいくつかの時点でも画像化を実施した。各画像における正確な熱傷の重症度は、３週間にわたる治癒評価またはパンチ生検を使用して判定した。このイメージング装置での、Ｉ度熱傷、II度熱傷およびIII度熱傷における治癒する熱傷組織と治癒しない熱傷組織の同定と判別の正解率は、画素単位で分析した。
結果：
データは、38人の一般市民の患者から収集し、合計で58個の熱傷および393個の画像を取得した。AIアルゴリズムにより、治癒しない熱傷組織の予測において87.5％の感度と90.7％の特異度が達成された。
データは、38人の一般市民の患者から収集し、合計で58個の熱傷および393個の画像を取得した。AIアルゴリズムにより、治癒しない熱傷組織の予測において87.5％の感度と90.7％の特異度が達成された。
結論：
新規なイメージング装置およびそのAIアルゴリズムによる熱傷の治癒可能性の判定の正解率は、熱傷の専門医の臨床判断の正解率よりも優れていることが示された。将来的には、携帯を可能にするための本装置の再設計と術中の状況下での使用の評価に焦点を当てて検討を行う予定である。携帯を可能にするための設計変更としては、本装置のサイズを携帯型システムのサイズまで小さくすること、視野を広くすること、１回のスナップショットの取得時間を短くすること、およびブタモデルを使用して、術中の状況下での使用において本装置を評価することが挙げられる。これらの開発は、基本的な画像検査において同等の機能を示すベンチトップ型のマルチスペクトルイメージング（MSI）サブシステムを使用して実施中である。
新規なイメージング装置およびそのAIアルゴリズムによる熱傷の治癒可能性の判定の正解率は、熱傷の専門医の臨床判断の正解率よりも優れていることが示された。将来的には、携帯を可能にするための本装置の再設計と術中の状況下での使用の評価に焦点を当てて検討を行う予定である。携帯を可能にするための設計変更としては、本装置のサイズを携帯型システムのサイズまで小さくすること、視野を広くすること、１回のスナップショットの取得時間を短くすること、およびブタモデルを使用して、術中の状況下での使用において本装置を評価することが挙げられる。これらの開発は、基本的な画像検査において同等の機能を示すベンチトップ型のマルチスペクトルイメージング（MSI）サブシステムを使用して実施中である。
画像の位置合わせ用の追加の光源
様々な実施形態において、本明細書で開示した実施形態のいずれかと１個以上の追加の光源とを併用して、画像の位置合わせの正確度を向上させてもよい。図21は、プロジェクター2105を含むマルチアパーチャスペクトル撮像装置2100の実施形態の一例を示す。いくつかの実施形態において、プロジェクター2105またはその他の適切な光源は、例えば、図12に関して前述した複数の光源1165のうちの１個であってもよい。位置合わせ用のプロジェクター2105などの追加の光源を含む実施形態において、前記方法は、追加の露光をさらに含んでいてもよい。プロジェクター2105などの追加の光源は、撮像装置2100のすべてのカメラを通して個別にまたは累積的に可視化することが可能な、単一のスペクトル帯域、複数のスペクトル帯域または広帯域の、１つ以上の点、縞模様、グリッド、ランダムな斑点またはその他の適切な空間パターンを、撮像装置2100の視野内に投影することができる。例えば、プロジェクター2105は、前述の共通帯域を利用したアプローチに基づいて計算された画像の位置合わせの正確度の確認に使用することが可能な、共有チャネルもしくは共通チャネルの光、広帯域照明または累積的に可視可能な照明を投影してもよい。本明細書において、「累積的に可視可能な照明」は、選択された複数の波長であり、マルチスペクトルイメージングシステムの各イメージセンサによりそのパターンが変換される波長を指す。例えば、累積的に可視可能な照明は、複数の波長を含み、すべてのチャネルに共通の波長がこの複数の波長に含まれていなくても、この複数の波長のうちの少なくとも１つが各チャネルにより変換されてもよい。いくつかの実施形態において、プロジェクター2105により投影されるパターンの種類は、そのパターンが画像化されるアパーチャの数に基づいて選択してもよい。例えば、１個のアパーチャのみでしかパターンを見ることができない場合、このパターンは比較的高密度であることが好ましい場合があり（例えば、約1～10画素、約20画素、約50画素未満、約100画素未満などの、比較的狭い自己相関を有していてもよい）、一方、複数個のアパーチャによりパターンが画像化される場合は、より低密度のパターンまたは自己相関がそれほど狭くないパターンが有用である場合がある。いくつかの実施形態において、投影された空間パターンとともに撮影される追加の露光は、投影された空間パターンを含めずに露光が撮影される実施形態よりも位置合わせの正確度が向上することを意図として、視差の計算に含められる。いくつかの実施形態において、追加の光源は、すべてのカメラを通して個別にまたは累積的に可視化することが可能な、単一のスペクトル帯域、複数のスペクトル帯域または広帯域（例えば、共有チャネルもしくは共通チャネル、または広帯域照明など）の縞模様を撮像装置の視野内に投影し、これを利用することによって、縞模様の位相に基づいて画像の位置合わせを向上させることができる。いくつかの実施形態において、追加の光源は、すべてのカメラを通して個別にまたは累積的に可視化することが可能な、単一のスペクトル帯域、複数のスペクトル帯域または広帯域（例えば、共有チャネルもしくは共通チャネル、または広帯域照明など）のドット、グリッドおよび／または斑点からなる複数の特有の空間配置を撮像装置の視野内に投影し、これを利用することによって、画像の位置合わせを向上させることができる。いくつかの実施形態において、前記方法は、１個のアパーチャまたは複数個のアパーチャを備えた追加のセンサをさらに含み、この追加のセンサによって、視野内の単一または複数の物体の形状を検出することができる。例えば、この追加のセンサは、LIDAR技術、ライトフィールド技術または超音波技術を使用して、前述の共通帯域を利用したアプローチによる画像の位置合わせの正確度をさらに向上させてもよい。この追加センサは、ライトフィールド情報を検知可能な１個のアパーチャまたはマルチアパーチャセンサであってもよく、超音波やパルスレーザなどのその他のシグナルを検知可能であってもよい。
様々な実施形態において、本明細書で開示した実施形態のいずれかと１個以上の追加の光源とを併用して、画像の位置合わせの正確度を向上させてもよい。図21は、プロジェクター2105を含むマルチアパーチャスペクトル撮像装置2100の実施形態の一例を示す。いくつかの実施形態において、プロジェクター2105またはその他の適切な光源は、例えば、図12に関して前述した複数の光源1165のうちの１個であってもよい。位置合わせ用のプロジェクター2105などの追加の光源を含む実施形態において、前記方法は、追加の露光をさらに含んでいてもよい。プロジェクター2105などの追加の光源は、撮像装置2100のすべてのカメラを通して個別にまたは累積的に可視化することが可能な、単一のスペクトル帯域、複数のスペクトル帯域または広帯域の、１つ以上の点、縞模様、グリッド、ランダムな斑点またはその他の適切な空間パターンを、撮像装置2100の視野内に投影することができる。例えば、プロジェクター2105は、前述の共通帯域を利用したアプローチに基づいて計算された画像の位置合わせの正確度の確認に使用することが可能な、共有チャネルもしくは共通チャネルの光、広帯域照明または累積的に可視可能な照明を投影してもよい。本明細書において、「累積的に可視可能な照明」は、選択された複数の波長であり、マルチスペクトルイメージングシステムの各イメージセンサによりそのパターンが変換される波長を指す。例えば、累積的に可視可能な照明は、複数の波長を含み、すべてのチャネルに共通の波長がこの複数の波長に含まれていなくても、この複数の波長のうちの少なくとも１つが各チャネルにより変換されてもよい。いくつかの実施形態において、プロジェクター2105により投影されるパターンの種類は、そのパターンが画像化されるアパーチャの数に基づいて選択してもよい。例えば、１個のアパーチャのみでしかパターンを見ることができない場合、このパターンは比較的高密度であることが好ましい場合があり（例えば、約1～10画素、約20画素、約50画素未満、約100画素未満などの、比較的狭い自己相関を有していてもよい）、一方、複数個のアパーチャによりパターンが画像化される場合は、より低密度のパターンまたは自己相関がそれほど狭くないパターンが有用である場合がある。いくつかの実施形態において、投影された空間パターンとともに撮影される追加の露光は、投影された空間パターンを含めずに露光が撮影される実施形態よりも位置合わせの正確度が向上することを意図として、視差の計算に含められる。いくつかの実施形態において、追加の光源は、すべてのカメラを通して個別にまたは累積的に可視化することが可能な、単一のスペクトル帯域、複数のスペクトル帯域または広帯域（例えば、共有チャネルもしくは共通チャネル、または広帯域照明など）の縞模様を撮像装置の視野内に投影し、これを利用することによって、縞模様の位相に基づいて画像の位置合わせを向上させることができる。いくつかの実施形態において、追加の光源は、すべてのカメラを通して個別にまたは累積的に可視化することが可能な、単一のスペクトル帯域、複数のスペクトル帯域または広帯域（例えば、共有チャネルもしくは共通チャネル、または広帯域照明など）のドット、グリッドおよび／または斑点からなる複数の特有の空間配置を撮像装置の視野内に投影し、これを利用することによって、画像の位置合わせを向上させることができる。いくつかの実施形態において、前記方法は、１個のアパーチャまたは複数個のアパーチャを備えた追加のセンサをさらに含み、この追加のセンサによって、視野内の単一または複数の物体の形状を検出することができる。例えば、この追加のセンサは、LIDAR技術、ライトフィールド技術または超音波技術を使用して、前述の共通帯域を利用したアプローチによる画像の位置合わせの正確度をさらに向上させてもよい。この追加センサは、ライトフィールド情報を検知可能な１個のアパーチャまたはマルチアパーチャセンサであってもよく、超音波やパルスレーザなどのその他のシグナルを検知可能であってもよい。
熱傷などの創傷の組織学的評価用のスペクトルイメージングシステムおよびその方法
序論
近代医療では、組織の判別、疾患の有無および疾患の程度または重症度の評価に、組織の顕微鏡分析すなわち組織学的検査が一般に行われている。多くの場合、組織学的検査が組織分析のゴールドスタンダードとなる。しかし、日常的な医療ケアにおいて、組織の組織学的検査が常に行われるわけではない。組織学的検査は、時間がかかり、費用が高く、特殊な設備が必要とされ、スライドの解釈には、高度な専門知識を持つ病理医が必要とされる。したがって、組織学的検査に代わるツールが望まれている。
序論
近代医療では、組織の判別、疾患の有無および疾患の程度または重症度の評価に、組織の顕微鏡分析すなわち組織学的検査が一般に行われている。多くの場合、組織学的検査が組織分析のゴールドスタンダードとなる。しかし、日常的な医療ケアにおいて、組織の組織学的検査が常に行われるわけではない。組織学的検査は、時間がかかり、費用が高く、特殊な設備が必要とされ、スライドの解釈には、高度な専門知識を持つ病理医が必要とされる。したがって、組織学的検査に代わるツールが望まれている。
肉眼組織領域の細胞特性の定量に使用可能なツールの１つとして、マルチスペクトルイメージングがある。マルチスペクトルイメージングは、組織から反射された特定の波長の光を測定する。組織と光の相互作用は、光の吸収と散乱によって決まる。この光の吸収と散乱は、組織とその細胞構造の分子組成に左右される組織の特性である。この反射された光を分析することによって、細胞の特性を測定することができ、病理検査の必要性を完全になくすことができる。この技術は、地質調査において、スペクトルイメージングを用いて土壌組成を同定することにより特定の鉱物の有無などを調べるリモートセンシング分野とよく似ている。
組織の細胞特性は、通常は組織学的検査により測定されるが、本明細書では、熱傷の症例に対してマルチスペクトルイメージングを用いることによって組織の細胞特性を同定できることを示す。熱傷ケアでは、組織病理検査により熱傷の重症度が決定される。しかし、組織病理検査で採取される組織標本は、小さな熱傷面積しかカバーできず、この理由から、大きな熱傷面積の診断には向かないため、日々の熱傷ケアで組織病理検査が行われることはほとんどない。組織病理検査は、熱傷の重症度の鑑別において高い評価を得ているが、日常的なケアには有用ではない。したがって、組織標本の採取を必要とせずに、広い面積の組織の病理学的特徴を測定できる装置を開発することができれば、有益だと考えられる。
光干渉断層撮影（OCT）は、光学病理検査と呼ばれることも多く、前述の問題を解決できる可能性がある。OCT装置は、組織の表面付近の組織構造の詳細な解剖学的画像を得ることができる。OCTは、組織に光（通常、赤外線）を照射し、光が戻ってきた時間を測定することによって画像を作成する。OCTの結果は、組織内構造の位置が示された画像として得られる。例えば、表皮、真皮、皮膚付属器（汗腺など）を詳細に特定することができる。画像の解像度は1～10μmであり、撮影深度は1～2mmである。しかし、OCTは視野が狭く、詳細画像の解釈が必要であることから、熱傷ケアが必要な状況下でこの技術を利用することは難しい。
マルチスペクトルイメージング（MSI）は、１回の画像の撮影で大きな面積の組織を評価することができる。MSIは、組織からの反射光を複数の独立した測定として連続的に高速撮像し、熱傷の重症度の診断だけではなく、生存能力のある創床や充血などのその他の多数の組織の同定にも柔軟に使用することができる。MSIのその他の利点としては、拡大可能な広い視野、高速でのデータ収集、熱傷の生理機能の精密測定、および熱傷ケア分野での様々な診断への適応性が挙げられる。
熱傷には４段階の重症度があり、Ｉ度、浅達性II度、深達性II度およびIII度に分類される。浅達性II度と深達性II度の鑑別が最も重要であり、これは、皮膚の再生機構によって熱傷が自然に治癒するかどうか、あるいは熱傷が自然に治癒せずに、切除や移植手術を必要とするかどうかの違いである。
４段階の熱傷の重症度を正確に鑑別するための組織学的特徴に関しては、いまだに議論がなされている。例えば、皮膚は、皮膚付属器の細胞によって完全に再生できることが知られているが、効果的な再生を促すためには、生存能力のある皮膚付属器がどのぐらいの密度で存在していなければならないのかは完全には分かっていない。熱傷を専門とする熟練外科医師団によって、熱傷病変を分析するための２つの決定木が構築された。これらの決定木を図22Aと図22Bに示す。
図22Aと図22Bに示した決定木は、生検検体を用いて熱傷の重症度を評価する２つの方法を示している。皮膚付属器障害の測定は、組織切片中の皮膚付属器の数を計数し、それぞれの種類の皮膚付属器の生存率を別々に測定し、皮膚付属器全体に対する生存可能な皮膚付属器の割合を計算することによって行う。図22Aと図22Bにおいて、（0.0%～50.0%］という表記は、0.0%を含まず、かつ50.0%を含む0.0%～50.0%の範囲を示す。
これら２つの決定木は、熱傷深度の測定に、皮膚付属器がどのように関与するのかという点で異なる。１つ目の決定木（決定木Ａ）において、治癒する熱傷（すなわち、Ｉ度熱傷または浅達性II度熱傷）には、皮膚付属器の壊死が50.0%以下の生検検体が含まれる。一方、２つ目の決定木（決定木Ｂ）では、治癒する熱傷の皮膚付属器は壊死していない。したがって、決定木Ａにおいて、治癒しない熱傷では、皮膚付属器の50.0%以上が壊死しており、決定木Ｂでは、皮膚付属器の壊死が0.0%を超える割合に、熱傷は治癒しないと説明されている。
以下の分析は、MSIを用いることによって、熱傷における皮膚付属器障害の割合を同定できることを実証することを目的として行った。例えば、熱傷における皮膚付属器障害の割合は、本開示に記載のスペクトルイメージングシステムおよび／またはスペクトルイメージング方法を用いたスペクトルイメージングによって同定することができる。これを実施するため、前述の２つの決定木を単純化して、治癒する熱傷と治癒しない熱傷に分類するための二分決定グラフを作成した。次に、図22Aおよび図22Bの２つの決定木に示した基準を用いてアルゴリズムを訓練して、皮膚付属器の壊死の割合を決定した。この分析を図23に示す。
図23に示すように、本研究において２つの分類手法を構築し、マルチスペクトル画像に含まれるデータを用いて、皮膚における皮膚付属器の壊死の割合を定量できることを示した。このような情報は、通常、組織学的検査により得られる。分類問題Ａでは、MSIデータを用いて、皮膚付属器の50.0%以上が壊死していることを同定する。２つ目の分類問題Ｂでは、MSIデータを用いて、皮膚付属器の壊死の有無（>0.0%）を判定する。
熱傷分野では、正確な決定木の設定が極めて重要であるが、本研究は、MSIイメージングによって皮膚付属器の壊死を効果的に検出できることを実証することを目的としていた。
材料と方法
イメージング装置：
マルチスペクトル撮像装置として、スナップショット型マルチアパーチャマルチスペクトル撮像装置を使用した。以下の表１に示すように、このマルチスペクトル撮像装置は、正方形の取付フレームの四隅にそれぞれ配置された４台のカラーカメラで構成されており、この４台のカメラの間に、十字型の広域スペクトルLED照明パネルを取り付けたものであった。このスナップショット型撮像装置の特定の波長のフィルタおよび解像度のパラメータを表１に示す。
イメージング装置：
マルチスペクトル撮像装置として、スナップショット型マルチアパーチャマルチスペクトル撮像装置を使用した。以下の表１に示すように、このマルチスペクトル撮像装置は、正方形の取付フレームの四隅にそれぞれ配置された４台のカラーカメラで構成されており、この４台のカメラの間に、十字型の広域スペクトルLED照明パネルを取り付けたものであった。このスナップショット型撮像装置の特定の波長のフィルタおよび解像度のパラメータを表１に示す。
このスナップショット型撮像装置のキャリブレーションは、95%の標準反射板を用いてゲインと電流を設定することにより行った。マルチアパーチャ撮像の設計を採用していることから、キャリブレーションを行う際に、各アパーチャを通して撮影された各画像の対応する点のマッチングを行って、画像平行化用のパラメータを取得した。キャリブレーションは毎月行った。
研究デザイン：
施設内審査委員会による承認を受けた後、臨床試験への登録を行う前に、すべての対象者からインフォームドコンセントを得た。火炎熱傷、熱湯熱傷または接触熱傷を有し、18歳を超える年齢の成人の対象者を候補者とした。対象者は、最初に熱傷が発生してから72時間以内に登録される必要があった。ただし、熱傷が、腕、脚、胴体以外の部位に発生していた場合、対象者が気道損傷を有していた場合、熱傷が全体表面積（TBSA）の30%を超えていた場合は、候補者を試験から除外した。
施設内審査委員会による承認を受けた後、臨床試験への登録を行う前に、すべての対象者からインフォームドコンセントを得た。火炎熱傷、熱湯熱傷または接触熱傷を有し、18歳を超える年齢の成人の対象者を候補者とした。対象者は、最初に熱傷が発生してから72時間以内に登録される必要があった。ただし、熱傷が、腕、脚、胴体以外の部位に発生していた場合、対象者が気道損傷を有していた場合、熱傷が全体表面積（TBSA）の30%を超えていた場合は、候補者を試験から除外した。
イメージング操作：
登録時に、対象者ごとに最大で３箇所の熱傷部位を選択してイメージングを行った。これらの部位を「試験熱傷」と呼ぶ。熱傷が発生してから最初の10日間に、イメージングセッションにおいて、試験熱傷をそれぞれ最大で６回、別々の機会に連続的に撮像した。各試験熱傷の連続イメージングは、日常診療において包帯を交換する際に実施し、患者が退院するか、試験熱傷が外科的に切除されるまで継続した。各イメージングセッションにおいて、各試験熱傷につき２つのMSI画像を得た。
登録時に、対象者ごとに最大で３箇所の熱傷部位を選択してイメージングを行った。これらの部位を「試験熱傷」と呼ぶ。熱傷が発生してから最初の10日間に、イメージングセッションにおいて、試験熱傷をそれぞれ最大で６回、別々の機会に連続的に撮像した。各試験熱傷の連続イメージングは、日常診療において包帯を交換する際に実施し、患者が退院するか、試験熱傷が外科的に切除されるまで継続した。各イメージングセッションにおいて、各試験熱傷につき２つのMSI画像を得た。
生検検体の採取およびその評価：
生検検体は、外科手術の施術中に切除された試験熱傷領域のみから採取した。生検検体は、直径4.0mmのデルマパンチで採取した。生検検体を採取する位置を調整するため、5.0cmの均一な間隔で多数の穴を配置した事前にカットした薄いポリカーボネートシートを医師に提供した。
生検検体は、外科手術の施術中に切除された試験熱傷領域のみから採取した。生検検体は、直径4.0mmのデルマパンチで採取した。生検検体を採取する位置を調整するため、5.0cmの均一な間隔で多数の穴を配置した事前にカットした薄いポリカーボネートシートを医師に提供した。
生検検体は直ちにホルマリンに保存し、皮膚病理学を専門とする施設に送付して処理を委託した。各生検検体は、パラフィンで固定し、薄切し、スライドに載せ、ヘマトキシリン・エオシンで染色した。評価は、互いの判定結果が分からないように盲検化した３人の病理医により行い、多数決により結果をまとめた。
図22Aと図22Bに示した２つの方法を用いて、生検検体の熱傷の重症度を評価した。
方法Ａでは、生検検体において、生存不能な真皮乳頭層と生存不能な真皮網状層が認められた場合に、III度熱傷であると同定した。深達性II度熱傷は、生検検体において、生存不能な真皮乳頭層が認められ、真皮網状層に生存不能な上皮構造が認められ、かつ真皮網状層の皮膚付属器の生存率が50%未満であるという特徴から同定した。浅達性II度熱傷は、２つの方法で評価し、１）生存可能な真皮乳頭層が存在するか、または２）生存不能な真皮乳頭層が存在するが、生存可能な上皮構造が認められ、かつ真皮網状層の皮膚付属器の生存率が50%を超えるという特徴から同定した。無傷の表皮を有する生検検体は、Ｉ度熱傷であると同定した。
方法Ｂでは、生検検体において、生存不能な真皮乳頭層と生存不能な真皮網状層が認められるか、50.0%以上の皮膚付属器が壊死していた場合に、III度熱傷であると同定した。深達性II度熱傷は、生検検体において、生存不能な真皮乳頭層が認められ、真皮網状層に生存不能な上皮構造が認められ、かつ真皮網状層において0.0%を超え50%未満の割合の皮膚付属器が壊死しているという特徴から同定した。浅達性II度熱傷は、２つの方法で評価し、１）生存可能な真皮乳頭層が存在するか、または２）生存不能な真皮乳頭層が存在するが、生存可能な上皮構造が認められ、かつ真皮網状層において皮膚付属器の壊死が0.0%であるという特徴から同定した。無傷の表皮を有する生検検体は、Ｉ度熱傷であると同定した。
疑似カラー画像の作成：
本研究の多くの時点において、イメージング装置によって作成したマルチスペクトル画像に直接ラベル付けを行うように臨床医に依頼した。このラベル付けを行うため、以下の２つの方法、すなわち、１）標準的なデジタル写真の赤色の波長、青色の波長および緑色の波長に最も近い利用可能な複数の波長を用いて、カラー写真に視覚的に類似するように各チャネルの強度を調整する方法；または２）MSIデータに、
で表される線形変換を適用する方法のいずれかを用いて、「疑似カラー」画像と命名したカラー写真をMSIデータから作成した。試験部位の評価を担当した熱傷専門医らは、疑似カラー画像の明るさを調整することによって、自身らの解釈の質を向上させることに成功した。
本研究の多くの時点において、イメージング装置によって作成したマルチスペクトル画像に直接ラベル付けを行うように臨床医に依頼した。このラベル付けを行うため、以下の２つの方法、すなわち、１）標準的なデジタル写真の赤色の波長、青色の波長および緑色の波長に最も近い利用可能な複数の波長を用いて、カラー写真に視覚的に類似するように各チャネルの強度を調整する方法；または２）MSIデータに、
画像のラベル付け：
各アルゴリズムの訓練を行うため、熱傷の専門医師団によって試験熱傷の真の治癒状態すなわち真値を設定した。真値の設定を行ったこの医師団は、３人の熱傷専門医で構成されており、そのうちの少なくとも１人は患者のことをよく知っており、別の少なくとも１人は試験部位や患者のことをよく知らされていなかった。各疑似カラー画像を直接ラベル付けすることによって、生のMSIデータと同じ配置の試験熱傷画像のそれぞれについて、１つのコンセンサスなラベル付け画像が得られた。
各アルゴリズムの訓練を行うため、熱傷の専門医師団によって試験熱傷の真の治癒状態すなわち真値を設定した。真値の設定を行ったこの医師団は、３人の熱傷専門医で構成されており、そのうちの少なくとも１人は患者のことをよく知っており、別の少なくとも１人は試験部位や患者のことをよく知らされていなかった。各疑似カラー画像を直接ラベル付けすることによって、生のMSIデータと同じ配置の試験熱傷画像のそれぞれについて、１つのコンセンサスなラベル付け画像が得られた。
専門医師団は、１つのデータセットに対して、図22Aの決定木Ａに示す病変の特徴を使用して評価を行った。また、専門医師団は、２つ目のデータセットに対して、図22Bの決定木Ｂに示す病変の特徴を使用して評価を行った。
ラベル付けされた「真値」画像では、Ｉ度熱傷、浅達性II度熱傷、深達性II度熱傷およびIII度熱傷の各領域の位置が示されていた。これらのラベル付けされた画像を用いて、図24に示すような、各試験熱傷画像に治癒しない熱傷領域を示したアルゴリズム用マスクを作成し、後の訓練に使用することとした。
図24は、対象者の背側部の様々な重症度の熱傷が混在したイメージングと、このイメージングから作成した真値マスクを示す。緑色のガイドビームは、MSI画像の位置とその距離を示している。MSIデータから作成した試験熱傷の疑似カラー画像を示す。真値の設定を行った専門医師団により提供された真値の詳細を示す。治癒しない熱傷とそれ以外の２値分類での真偽判定を示し、治癒しない熱傷を白色の対象画素としてラベル付けした。
アルゴリズムの開発
アルゴリズムのアーキテクチャとその訓練：
画像のセグメンテーション用の深層学習アルゴリズムを開発して、画像内において、治癒しない熱傷組織を示す画素の同定を行った。このアルゴリズムの訓練では、MSI画像を入力データとして使用し、真値の設定を行った専門医師団によってラベル付けされたマスクを真値として使用した。このマスクには、「治癒しない熱傷」と「それ以外」（例えば、治癒する熱傷、生存可能な皮膚および背景）の２クラスのラベルしか含まれていなかった（図24）。２クラスのラベルしか含まないこのマスクは、真値の設定を行った専門医師団によってラベル付けされた多クラスのマスクから作成されたものであり、深達性II度熱傷とIII度熱傷にラベル付けされた熱傷を、治癒しない熱傷に集約し、その他のクラスのものを「それ以外」に集約することによって作成した。
アルゴリズムのアーキテクチャとその訓練：
画像のセグメンテーション用の深層学習アルゴリズムを開発して、画像内において、治癒しない熱傷組織を示す画素の同定を行った。このアルゴリズムの訓練では、MSI画像を入力データとして使用し、真値の設定を行った専門医師団によってラベル付けされたマスクを真値として使用した。このマスクには、「治癒しない熱傷」と「それ以外」（例えば、治癒する熱傷、生存可能な皮膚および背景）の２クラスのラベルしか含まれていなかった（図24）。２クラスのラベルしか含まないこのマスクは、真値の設定を行った専門医師団によってラベル付けされた多クラスのマスクから作成されたものであり、深達性II度熱傷とIII度熱傷にラベル付けされた熱傷を、治癒しない熱傷に集約し、その他のクラスのものを「それ以外」に集約することによって作成した。
モメンタム最適化法と交差エントロピー誤差を用いた確率的勾配降下法によりアルゴリズムを訓練した。各アルゴリズムに対して実験操作を行うことによって、学習率、モメンタム、エポック数、重み減衰およびバッチサイズからなるハイパーパラメータを決定した。
図25は、DeepView装置において出力を得る方法の一例を示す。
A.）DeepView装置のマルチスペクトルイメージングセンサによって撮像される組織領域を示す緑色のフォーカス・位置合わせ用ビームを示す。
B.）患者から得たマルチスペクトルデータを示す。この積み重ねた画像は、データキューブと呼ばれることが多い。
C.）マルチスペクトルデータの処理に使用した深層学習アルゴリズムを示す。
D.）治癒しない熱傷領域が紫色で強調表示された熱傷画像が医師に対して出力される。
A.）DeepView装置のマルチスペクトルイメージングセンサによって撮像される組織領域を示す緑色のフォーカス・位置合わせ用ビームを示す。
B.）患者から得たマルチスペクトルデータを示す。この積み重ねた画像は、データキューブと呼ばれることが多い。
C.）マルチスペクトルデータの処理に使用した深層学習アルゴリズムを示す。
D.）治癒しない熱傷領域が紫色で強調表示された熱傷画像が医師に対して出力される。
畳み込みニューラルネットワークの出力は、各画素が治癒しない熱傷にクラス分類される確率を示すマップで示され、この確率は、以下の方程式で表される。
この確率マップから、各画素が治癒しない熱傷に対して陽性または陰性に分類された２値画像を作成した（図25）。この２値分類は、確率マップの各画素の確率に閾値（τ）を適用することによって決定した（方程式１）。閾値（τ）の選択は、0.0～1.0の各閾値に対して受信者動作特性（ROC）曲線をプロットし、ROC曲線上で特異度がちょうど0.90を超える点を選択することによって行った。この閾値によって、少なくとも0.90の特異度で最も高い感度が得られるようにした。
画像処理（IP）アルゴリズムのアーキテクチャ：
本研究では、以下の深層学習アルゴリズムを使用した。
本研究では、以下の深層学習アルゴリズムを使用した。
SegNet：
SegNetは、セマンティックセグメンテーション用のエンコーダ・デコーダ型の完全畳み込みニューラルネットワークアーキテクチャである。このアーキテクチャの新規性は、入力された低解像度の特徴マップをデコーダでアップサンプリングできることにあり、対応するエンコーダの最大値プーリング工程で計算されたプーリングインデックスを用いて非線形アップサンプリングを行う。
SegNetは、セマンティックセグメンテーション用のエンコーダ・デコーダ型の完全畳み込みニューラルネットワークアーキテクチャである。このアーキテクチャの新規性は、入力された低解像度の特徴マップをデコーダでアップサンプリングできることにあり、対応するエンコーダの最大値プーリング工程で計算されたプーリングインデックスを用いて非線形アップサンプリングを行う。
フィルタバンクを用いて正則化したSegNet：
このアルゴリズムでは、前述のSegNetアルゴリズムと同じアーキテクチャを利用する。SegNetとの違いは、事前の計算により構築されたフィルタバンクを用いて、第１層の畳み込みカーネルの学習を抑制する（正則化する）ことにある。この方法では、より一般的な空間的構造と空間的特徴を学習するように、深層畳み込みニューラルネットワークのカーネルに影響を与えることができる。この方法の利点の１つとして、訓練中の過学習を防ぐことができる。
このアルゴリズムでは、前述のSegNetアルゴリズムと同じアーキテクチャを利用する。SegNetとの違いは、事前の計算により構築されたフィルタバンクを用いて、第１層の畳み込みカーネルの学習を抑制する（正則化する）ことにある。この方法では、より一般的な空間的構造と空間的特徴を学習するように、深層畳み込みニューラルネットワークのカーネルに影響を与えることができる。この方法の利点の１つとして、訓練中の過学習を防ぐことができる。
補助損失を用いたSegNet：
この方法では、画像に基づいた分類情報を考慮に入れた補助損失をSegNetアーキテクチャに組み込むことにより、ニューラルネットワークの最終的な予測値において画素ベースの特徴と画像ベースの特徴を得ることができる。
この方法では、画像に基づいた分類情報を考慮に入れた補助損失をSegNetアーキテクチャに組み込むことにより、ニューラルネットワークの最終的な予測値において画素ベースの特徴と画像ベースの特徴を得ることができる。
三次元SegNet：
このバージョンのSegNetでは、基礎となるSegNetとよく似たアーキテクチャを利用する。SegNetの違いとして、その他の畳み込みニューラルネットワークアーキテクチャで使用されている標準的な二次元の畳み込みカーネルの代わりに、三次元の畳み込みカーネルを利用する。三次元カーネルは、3×3×nの形状であり、nは特徴マップのチャネル数を示す。例えば、第１層において、畳み込みニューラルネットワークの入力として使用される8チャネルのMSI画像のカーネルは3×3×8である。
このバージョンのSegNetでは、基礎となるSegNetとよく似たアーキテクチャを利用する。SegNetの違いとして、その他の畳み込みニューラルネットワークアーキテクチャで使用されている標準的な二次元の畳み込みカーネルの代わりに、三次元の畳み込みカーネルを利用する。三次元カーネルは、3×3×nの形状であり、nは特徴マップのチャネル数を示す。例えば、第１層において、畳み込みニューラルネットワークの入力として使用される8チャネルのMSI画像のカーネルは3×3×8である。
SegNet（多クラス分類）：
このアプローチの畳み込みニューラルネットワークでは、出力層に交差エントロピー誤差とソフトマックス関数を用いること以外は、基礎となるSegNetと同じアーキテクチャを利用する。出力層に交差エントロピー誤差とソフトマックス関数を用いることによって、各画素を３つ以上のクラスのいずれかに割り当てることが可能となる。このアーキテクチャにおいて、真値の設定を行った専門医師団により描画された、Ｉ度熱傷、浅達性II度熱傷、深達性II度熱傷およびIII度熱傷、ならびに正常皮膚および背景を含む詳細なマスク画像を学習するようにアルゴリズムを訓練する。次に、深達性II度熱傷であると予測された画素と、III度熱傷であると予測された画素を、いずれも治癒しない熱傷に単純にマッピングすることによって、前述の多クラス出力を、治癒しない熱傷と治癒する熱傷からなる２値出力に変換する。
このアプローチの畳み込みニューラルネットワークでは、出力層に交差エントロピー誤差とソフトマックス関数を用いること以外は、基礎となるSegNetと同じアーキテクチャを利用する。出力層に交差エントロピー誤差とソフトマックス関数を用いることによって、各画素を３つ以上のクラスのいずれかに割り当てることが可能となる。このアーキテクチャにおいて、真値の設定を行った専門医師団により描画された、Ｉ度熱傷、浅達性II度熱傷、深達性II度熱傷およびIII度熱傷、ならびに正常皮膚および背景を含む詳細なマスク画像を学習するようにアルゴリズムを訓練する。次に、深達性II度熱傷であると予測された画素と、III度熱傷であると予測された画素を、いずれも治癒しない熱傷に単純にマッピングすることによって、前述の多クラス出力を、治癒しない熱傷と治癒する熱傷からなる２値出力に変換する。
アップサンプリングが困難な画像のSegNetによる判別：
このバージョンのSegNetでは、基礎となるSegNetのアーキテクチャを利用するが、判別が困難なことが判明している画像を訓練に多用する。判別が困難な画像を高い頻度で訓練に使用することによって、判別が困難な画像からの学習が増えるようにアルゴリズムに影響を与え、それによって、このような判別が困難な画像に対する性能を向上させることができる。
このバージョンのSegNetでは、基礎となるSegNetのアーキテクチャを利用するが、判別が困難なことが判明している画像を訓練に多用する。判別が困難な画像を高い頻度で訓練に使用することによって、判別が困難な画像からの学習が増えるようにアルゴリズムに影響を与え、それによって、このような判別が困難な画像に対する性能を向上させることができる。
U-Net：
U-Netは、非常に少ない数の訓練画像で学習可能な、エンコーダ・デコーダ型深層学習セマンティックセグメンテーション法である。U-Netのアルゴリズムでは、高解像度での特徴を維持し、位置の特定を向上させるため、スキップ接続という概念が使用される。
U-Netは、非常に少ない数の訓練画像で学習可能な、エンコーダ・デコーダ型深層学習セマンティックセグメンテーション法である。U-Netのアルゴリズムでは、高解像度での特徴を維持し、位置の特定を向上させるため、スキップ接続という概念が使用される。
拡張型全結合ニューラルネットワーク（dFCN）：
dFCNは、拡張畳み込みに基づくセマンティックセグメンテーション用の完全畳み込み深層学習ネットワークである。この方法では、拡張畳み込みによって、各畳み込みカーネルの受容野を拡大させるとともに、入力解像度の低下を防ぐことができる。dFCNは、通常のエンコーダ・デコーダからなる「砂時計型」の構造を構成することなく、画素レベルでラベル付けを行うことができる。
dFCNは、拡張畳み込みに基づくセマンティックセグメンテーション用の完全畳み込み深層学習ネットワークである。この方法では、拡張畳み込みによって、各畳み込みカーネルの受容野を拡大させるとともに、入力解像度の低下を防ぐことができる。dFCNは、通常のエンコーダ・デコーダからなる「砂時計型」の構造を構成することなく、画素レベルでラベル付けを行うことができる。
平均アンサンブル：
平均アンサンブルにおいて最終的に得られる各画素の予測確率は、前述の８つの深層学習アルゴリズムによって予測された各画素の確率の平均値である。
平均アンサンブルにおいて最終的に得られる各画素の予測確率は、前述の８つの深層学習アルゴリズムによって予測された各画素の確率の平均値である。
重み付き平均アンサンブル：
重み付き平均アンサンブルは、平均アンサンブルの改良版であり、各深層学習モデルの予測確率に重みを掛け、その結果の平均値を求めることによって、最終的な予測確率を得る。深層学習モデルの補正された感度を重みとして使用する。
重み付き平均アンサンブルは、平均アンサンブルの改良版であり、各深層学習モデルの予測確率に重みを掛け、その結果の平均値を求めることによって、最終的な予測確率を得る。深層学習モデルの補正された感度を重みとして使用する。
アルゴリズムのスコア評価：
各アルゴリズムの評価において、画像の画素を分析の基準単位と考えた。本研究での標本数は限られていたため、各アルゴリズムの試験結果は、leave-one-out cross-validation（LOOCV）法（一個抜き交差検証）を用いて推定した。各分割（フォールド）の交差検証において、対象者および熱傷から得たデータをアルゴリズムに学習させる前の段階の対象者のデータを１つだけ抜き出してテストデータとして使用した。
各アルゴリズムの評価において、画像の画素を分析の基準単位と考えた。本研究での標本数は限られていたため、各アルゴリズムの試験結果は、leave-one-out cross-validation（LOOCV）法（一個抜き交差検証）を用いて推定した。各分割（フォールド）の交差検証において、対象者および熱傷から得たデータをアルゴリズムに学習させる前の段階の対象者のデータを１つだけ抜き出してテストデータとして使用した。
治癒しない熱傷がテスト画像内にわずかでも認められる場合、アルゴリズムによって分類されたテスト画像内のすべての画素を、このテスト画像内の治癒しない熱傷の真の位置を示す真値マスクと比較した。真の陽性（TP）は、アルゴリズムの出力画像内において、治癒しない熱傷として分類された画素であり、かつ専門医師団によって作成された真値においても治癒しない熱傷であるとラベル付けされた画素であると定義した。これと同様にして、アルゴリズムの出力画像内のその他の画素を、偽陽性（FP）の画素、真の陰性（TN）の画素または偽陰性（FN）の画素として定義した。１つずつ抜き出したすべてのテスト画像について、結果をまとめ、以下の表２に示す５つの精度指標でアルゴリズムをスコア評価した。すべての画素を陰性（または治癒しない熱傷に該当しない）として分類したベースラインスコアに対して各アルゴリズムを比較した。
結果－分類問題Ａ
図22Aの決定木Ａに示した病変の特徴に従ってラベル付けした画像データから得られた結果を以下に述べる。
図22Aの決定木Ａに示した病変の特徴に従ってラベル付けした画像データから得られた結果を以下に述べる。
臨床試験データ：
図22Aの決定木Ａに示した病変の特徴に従った分類方法を用いてラベル付けしたデータには、38人の対象者と計58個の試験熱傷が含まれていた。
図22Aの決定木Ａに示した病変の特徴に従った分類方法を用いてラベル付けしたデータには、38人の対象者と計58個の試験熱傷が含まれていた。
専門医師団により作成された最終的な真値に基づくと、58個の熱傷のうち28個は、少なくともその一部に治癒しない熱傷領域が含まれることが示された。上掲の表３に示すように、これらの治癒しない熱傷領域は、すべての試験熱傷画像の全画素数の20.2%を占めている。
対象者うち、最も大きなサブグループは、非ヒスパニック系の白人男性であった。熱傷の部位は、腕、胴体（腹部および胸部）ならびに脚にほぼ均等に分布していた。このことから分かるように、本試験に登録された熱傷の大半は、熱湯熱傷（5.3%）や接触熱傷（13.2%）による熱傷ではなく、火炎熱傷（81.6%）によるものであった。
すべての対象者の平均年齢は47.4歳（標準偏差17.2歳）であった。本試験の除外基準によれば、対象者は、全体表面積（TBSA）に対する熱傷の割合が30%未満でなければならず、全体表面積（TBSA）に対する熱傷の割合の報告された平均値は、14.0%（標準偏差7.1%）であった。
真値に基づく各熱傷深度の評価から、上掲の表３に示すように、熱傷深度をデータセットに示した。本試験において最もよく見られた熱傷は、浅達性II度（23個の熱傷）であり、これに続いて、Ｉ度熱傷（16個の熱傷）、深達性II度熱傷（12個の熱傷）、III度熱傷（7個の熱傷）の順で多く見られた。Ｉ度熱傷の患者が熱傷センターに診察に訪れることはほとんどなく、その治療には、多数回のフォローアップの通院を必ずしも必要とせず、データ収集の機会もほとんどなかったことから、Ｉ度熱傷の画素の収集は困難であった。
分類器の比較：
個々の深層学習（DL）アルゴリズム（拡張型FCN、SegNetまたはuNet）と、深層学習アルゴリズムのアンサンブル（多数決アンサンブルまたは重み付きアンサンブル）の２種類の分類器を比較した。正解率の精度指標（表２）は交差検証を用いて求め、その結果を以下の表４に示した。
個々の深層学習（DL）アルゴリズム（拡張型FCN、SegNetまたはuNet）と、深層学習アルゴリズムのアンサンブル（多数決アンサンブルまたは重み付きアンサンブル）の２種類の分類器を比較した。正解率の精度指標（表２）は交差検証を用いて求め、その結果を以下の表４に示した。
すべてのアルゴリズムの正解率の精度指標は、すべての画素を陰性（または治癒しない熱傷に該当しない）として分類したベースラインと比較する必要がある。ベースラインにおいて、背景、生存可能な皮膚および治癒する熱傷（すなわちＩ度熱傷および浅達性II度熱傷）を示す画素はいずれも正しく分類され、治癒しない熱傷（深達性II度熱傷およびIII度熱傷）を示す画素はいずれも正しく分類されない。このデータから、ベースラインの正解率の精度指標は、AUC 0.5、正解率79.8%、TPR0%およびTNR100%である。
深層学習アルゴリズムは、ベースラインと比べて劇的な向上を示している。一方で、これらの深層学習アルゴリズムのうち、最も性能が高いアルゴリズム群はアンサンブルモデルである。TPRで重み付けしたアンサンブルのAUCは0.955であり、正解率は90.0%（95%信頼区間［CI］：89.0～91.0%）であったが、これに対して、最も性能の高い深層学習アルゴリズムであるSegNetのAUCは0.929であり、正解率は88.5%（95%CI：87.3%～89.7%）であった。この利得は、特にTPRにおいてはっきりと示され、SegNetのTPRが79.6%であったのに対して、TPRで重み付けしたアンサンブルのTPRは87.5%であった。
いずれもMSIデータで訓練したアルゴリズムである拡張型完全畳み込みネットワークとSegNetとuNetのアーキテクチャからなるTPR重み付きアンサンブルモデルは、その他のアルゴリズムよりも優れた性能を示し、そのAUCは0.955であり、正解率は90.0%（95%CI：89.0～91.0%）であった。その他の重み付きアンサンブルアルゴリズムも同程度の性能を示し、これらのアンサンブルを構成する個々の深層学習アルゴリズムよりも優れた性能を示した（これは、特にTPRの点で顕著であり、TPRから、これらのアンサンブルアルゴリズムが治癒しない熱傷組織を正しく同定できることが示された）。
アルゴリズム群（深層学習アルゴリズムおよびアンサンブルモデル）に対して、熱傷をブロック化した２水準の一元配置分散分析を行った。以下の表５に示すように、この分散分析には、３種類の深層学習アルゴリズム（拡張型FCN、SegNetおよびuNet）と５種類のアンサンブルモデル（多数決アンサンブル；正解率、AUC、TNRまたはTPRで重み付けしたアンサンブル）を含めた。
表５から分かるように、少なくとも１つの熱傷において、その他の熱傷とは有意に異なる正解率が示され（p値<2e-16）、少なくとも１つのアルゴリズム群において、その他のアルゴリズムとは有意に異なる平均正解率が得られた（p値=2.85e-08）。
TukeyのHonest Significant Difference Test（表６）では、アンサンブルモデルが深層学習アルゴリズムよりも有意に高い平均正解率を有することがp値から示された。平均すると、アンサンブルモデルは深層学習分類器よりも正解率が1.53%高かった。
個々のアルゴリズムと、これらを組み合わせたアンサンブルとによる視覚的な例を図26に示す。アンサンブルモデルによる予測で高いTPRと高いTNRが実証されたように、強調表示で示した非治癒熱傷であると予測された領域は、真の非治癒画素を示す白色の領域のほぼ全体を覆っており、この非治癒熱傷と予測された領域によって覆われた灰色の領域（その他のクラスを示す領域）はごくわずかであった。アンサンブルに組み込まれた個々のアルゴリズムは、アンサンブルとは異なる種類の予測と誤差を示し、これらのアルゴリズムを組み合わせてアンサンブルとすることによって、正確な予測が得られ、個々のアルゴリズムに固有の誤差を回避することができる。
図26は、様々な機械学習アルゴリズムからのサンプル出力を示す。左の図は、真値マスクに重ねた各深層学習アルゴリズムによる予測を示す。灰色の領域は、真値マスクにおける背景領域、生存可能な皮膚領域および治癒する熱傷領域を示す。白色の領域は、真値マスクにおける治癒しない熱傷領域を示す。青色の領域は、各アルゴリズムによって予測された治癒しない熱傷領域を示す。右上の図は、概念実証試験の熱傷のカラー画像を示す（対象者006、56歳の女性）。右下の図は、TPRで重み付けしたアンサンブルの出力を示す。
熱傷の重症度の正解率：
TPR重み付きアンサンブルアルゴリズムのAUCは0.955であった。受信者動作特性（ROC）曲線を以下の表７に示す。
TPR重み付きアンサンブルアルゴリズムのAUCは0.955であった。受信者動作特性（ROC）曲線を以下の表７に示す。
様々なクラスの熱傷（Ｉ度熱傷、浅達性II度熱傷、深達性II度熱傷およびIII度熱傷）の正解率を表７に示す。TPR重み付きアンサンブルの全体的な正解率（90%）と個々の種類の組織の正解率の関係は、各クラスの正解率の重み付き平均であり、ここで、重みはそのクラスに属する画素の割合である。この重み付き平均には、背景、生存可能な皮膚、すべての熱傷の重症度などの、本試験において定義されたすべてのクラスの組織が含まれることには注意されたい。
結果－分類問題Ｂ
図22Bの決定木Ｂに示した病変の特徴に従ってラベル付けした画像データから得られた結果を以下に述べる。
図22Bの決定木Ｂに示した病変の特徴に従ってラベル付けした画像データから得られた結果を以下に述べる。
臨床試験データ：
20人の男性と5人の女性を含む計25人の対象者が臨床試験に登録され、その平均年齢は45.72歳（±SD17.77歳）であった。平均全体表面積に対する熱傷の割合は14.24%（±SD12.22%）であった。人種は、11人の黒人、14人の白人および1人のヒスパニック系で構成されていた。肌の色は、メラニン含有量の増加に応じて６つに分類する指標であるフィッツパトリックのスケールを用いて自己申告してもらった。フィッツパトリックスコアにより評価してもらったところ、12人の対象者が分類IIとして特定され、4人の対象者が分類IIIおよび分類IVとして特定され、9人の対象者が分類Vおよび分類VIとして特定され、0人の対象者が分類Iとして特定された。2人の対象者より２型糖尿病が報告され、14人は喫煙の習慣があった。
20人の男性と5人の女性を含む計25人の対象者が臨床試験に登録され、その平均年齢は45.72歳（±SD17.77歳）であった。平均全体表面積に対する熱傷の割合は14.24%（±SD12.22%）であった。人種は、11人の黒人、14人の白人および1人のヒスパニック系で構成されていた。肌の色は、メラニン含有量の増加に応じて６つに分類する指標であるフィッツパトリックのスケールを用いて自己申告してもらった。フィッツパトリックスコアにより評価してもらったところ、12人の対象者が分類IIとして特定され、4人の対象者が分類IIIおよび分類IVとして特定され、9人の対象者が分類Vおよび分類VIとして特定され、0人の対象者が分類Iとして特定された。2人の対象者より２型糖尿病が報告され、14人は喫煙の習慣があった。
DV-FW装置とDV-SS装置を用いて、これらの25人の対象者から、56個の試験熱傷を撮像した。そのうちの48個の熱傷は火炎熱傷であり、残りの熱傷は接触熱傷と熱湯熱傷で半々だった。イメージング用に選択した試験熱傷の大半（73%）は、身体の前面に発生した熱傷であった。22個の熱傷は、脚と大腿から撮像され、18個の熱傷は腕と前腕から撮像され、16個の熱傷は胴体から撮像された。
これらの56個の試験熱傷のうち、44個は外科的に切除された。これらの44個の熱傷のフォローアップ計画として、手術室において切除する直前に切除部位から一連のパンチ生検を得た。これは、44個の熱傷すべてに対して行った。残りの12個の試験熱傷領域は、保存的創傷ケアで処置し、フォローアップとして21日目に治癒の評価を行った。
分類器の比較：
個々の深層学習（DL）アルゴリズム（拡張型FCN、SegNet、補助損失を用いたSegNet、フィルタバンクを用いて正則化したSegNetまたはuNet）と、深層学習アルゴリズムのアンサンブル（多数決アンサンブルまたは重み付きアンサンブル）の２種類の分類器を比較した。上掲の表２に示したように、正解率の精度指標は交差検証を用いて求め、この結果を以下の表８に示した。これらの正解率の精度指標を図27Aと図27Bにも示す。
個々の深層学習（DL）アルゴリズム（拡張型FCN、SegNet、補助損失を用いたSegNet、フィルタバンクを用いて正則化したSegNetまたはuNet）と、深層学習アルゴリズムのアンサンブル（多数決アンサンブルまたは重み付きアンサンブル）の２種類の分類器を比較した。上掲の表２に示したように、正解率の精度指標は交差検証を用いて求め、この結果を以下の表８に示した。これらの正解率の精度指標を図27Aと図27Bにも示す。
図27Aは、分類問題Ｂを解決するために作成したアルゴリズムの正解率の精度指標を示した棒グラフである。図27Bは、分類問題Ｂを解決するために作成したアルゴリズムのAUCを示した棒グラフである。
スペクトルイメージングを用いた熱傷深度の分析の一例
序論
熱傷ケアは、様々な重症度の創傷が混在し、同様に患者も様々に異なることから、疾患や損傷が混沌とした状態となり、治癒にも影響を及ぼすため、対応が難しい高度に専門的な医学分野である。熱傷の専門医であっても、熱傷深度評価（BDA）の正解率はわずか77%であるため、患者の約４分の１は不必要な外科手術を受けることになったり、逆に治療が遅れたりすることがある。臨床医による熱傷深度評価を補助するため、組織学的基準で較正した機械学習アルゴリズムを用いた新しい技術が研究されている。残念ながら、熱傷ケアにおいて組織学的評価はほとんど行われておらず、組織学的評価が視覚的評価と一致しないことがある。現在進行中の本研究は、最も大きな熱傷生検ライブラリーを調査し、これを評価することによって、組織学的分析に基づいた熱傷深度分類のための熱傷生検アルゴリズム（BBA）を提示することを目標としている。
序論
熱傷ケアは、様々な重症度の創傷が混在し、同様に患者も様々に異なることから、疾患や損傷が混沌とした状態となり、治癒にも影響を及ぼすため、対応が難しい高度に専門的な医学分野である。熱傷の専門医であっても、熱傷深度評価（BDA）の正解率はわずか77%であるため、患者の約４分の１は不必要な外科手術を受けることになったり、逆に治療が遅れたりすることがある。臨床医による熱傷深度評価を補助するため、組織学的基準で較正した機械学習アルゴリズムを用いた新しい技術が研究されている。残念ながら、熱傷ケアにおいて組織学的評価はほとんど行われておらず、組織学的評価が視覚的評価と一致しないことがある。現在進行中の本研究は、最も大きな熱傷生検ライブラリーを調査し、これを評価することによって、組織学的分析に基づいた熱傷深度分類のための熱傷生検アルゴリズム（BBA）を提示することを目標としている。
方法
本研究は、施設内審査委員会の承認を受けて実施されたものであり、複数の創傷を有する患者を対象とした多施設共同前向き研究であった。熱傷専門医によって治癒する見込みがないと評価され、切除と自家移植が必要であった熱傷患者を試験に登録し、25cm2ごとに直径4mmの生検検体を採取した。熱傷の生検検体は切除の直前に採取し、施設内審査委員会の承認を受けた皮膚病理医によりヘマトキシリン・エオシン染色を行った後、組織学的評価を行って、表皮、真皮乳頭層および皮膚付属器壊死の有無を調べた。熱傷生検アルゴリズムを用いることによって、組織学的所見をＩ度熱傷、浅達性II度熱傷、深達性II度熱傷またはIII度熱傷に分類した。この熱傷生検アルゴリズムによる分類を、３人の熱傷専門外科医による熱傷の視覚的評価と比較した。熱傷生検アルゴリズムの決定木は以下のように構成されていた。III度熱傷は、生検検体において、生存不能な真皮乳頭層と生存不能な真皮網状層が存在すること、または皮膚付属器の50.0%以上が壊死していることから同定した。深達性II度熱傷は、生検検体において、生存不能な真皮乳頭層が認められ、真皮網状層に生存不能な上皮構造が認められ、かつ真皮網状層の皮膚付属器の壊死が0.0%を超え50%未満であるという特徴から同定した。浅達性II度熱傷は、２つの方法で評価し、１）生存可能な真皮乳頭層が存在するか、または２）生存不能な真皮乳頭層が存在するが、生存可能な上皮構造が認められ、かつ真皮網状層の皮膚付属器の壊死が0.0%であるという特徴から同定した。無傷の表皮を有する生検検体は、Ｉ度熱傷であると同定した。
本研究は、施設内審査委員会の承認を受けて実施されたものであり、複数の創傷を有する患者を対象とした多施設共同前向き研究であった。熱傷専門医によって治癒する見込みがないと評価され、切除と自家移植が必要であった熱傷患者を試験に登録し、25cm2ごとに直径4mmの生検検体を採取した。熱傷の生検検体は切除の直前に採取し、施設内審査委員会の承認を受けた皮膚病理医によりヘマトキシリン・エオシン染色を行った後、組織学的評価を行って、表皮、真皮乳頭層および皮膚付属器壊死の有無を調べた。熱傷生検アルゴリズムを用いることによって、組織学的所見をＩ度熱傷、浅達性II度熱傷、深達性II度熱傷またはIII度熱傷に分類した。この熱傷生検アルゴリズムによる分類を、３人の熱傷専門外科医による熱傷の視覚的評価と比較した。熱傷生検アルゴリズムの決定木は以下のように構成されていた。III度熱傷は、生検検体において、生存不能な真皮乳頭層と生存不能な真皮網状層が存在すること、または皮膚付属器の50.0%以上が壊死していることから同定した。深達性II度熱傷は、生検検体において、生存不能な真皮乳頭層が認められ、真皮網状層に生存不能な上皮構造が認められ、かつ真皮網状層の皮膚付属器の壊死が0.0%を超え50%未満であるという特徴から同定した。浅達性II度熱傷は、２つの方法で評価し、１）生存可能な真皮乳頭層が存在するか、または２）生存不能な真皮乳頭層が存在するが、生存可能な上皮構造が認められ、かつ真皮網状層の皮膚付属器の壊死が0.0%であるという特徴から同定した。無傷の表皮を有する生検検体は、Ｉ度熱傷であると同定した。
結果
本研究の投稿までに、65人の患者が登録され、117個の創傷が評価され、487個の生検検体が採取された。前述の熱傷生検アルゴリズムを用いて、熱傷領域の100%を４種類に分類した。登録時と外科手術による切除の前に静止写真を撮影した。分類した４種類のうち、最初の２種類は、自然に治癒する可能性があり、切除を必要とせず、Ｉ度熱傷または浅達性II度熱傷にラベル付けした。残りの２種類は、21日以内に自然に治癒する見込みがないと評価され、深達性II度熱傷またはIII度熱傷にラベル付けした。
本研究の投稿までに、65人の患者が登録され、117個の創傷が評価され、487個の生検検体が採取された。前述の熱傷生検アルゴリズムを用いて、熱傷領域の100%を４種類に分類した。登録時と外科手術による切除の前に静止写真を撮影した。分類した４種類のうち、最初の２種類は、自然に治癒する可能性があり、切除を必要とせず、Ｉ度熱傷または浅達性II度熱傷にラベル付けした。残りの２種類は、21日以内に自然に治癒する見込みがないと評価され、深達性II度熱傷またはIII度熱傷にラベル付けした。
結論
本研究から、客観的な組織学的基準を用いた熱傷生検アルゴリズムを用いることによって、熱傷深度を分類できることが示された。この研究の根幹には、再生能に関する臨床的関心があるが、これについては、進行中の本研究のさらなるデータ分析から回答が得られることが望まれる。本研究は、現代医療に携わる熱傷専門医による熱傷の生検を最も大きな規模で分析したものであり、熱傷深度評価のための組織学的パラメータを初めて定義したものである。
本研究から、客観的な組織学的基準を用いた熱傷生検アルゴリズムを用いることによって、熱傷深度を分類できることが示された。この研究の根幹には、再生能に関する臨床的関心があるが、これについては、進行中の本研究のさらなるデータ分析から回答が得られることが望まれる。本研究は、現代医療に携わる熱傷専門医による熱傷の生検を最も大きな規模で分析したものであり、熱傷深度評価のための組織学的パラメータを初めて定義したものである。
熱傷などの創傷の組織学的評価のためのアルゴリズムの訓練の一例
序論
熱傷の臨床評価：
熱傷に対する臨床評価は最も広く行われており、熱傷深度の評価方法として最も安価な方法である。熱傷の臨床評価方法は、創傷の見た目、毛細血管再充満時間、触診に対する熱傷部位の感覚などの、創傷の外観的特徴の主観的な評価に依存している[1-4]。このような熱傷の外観的特徴は観察が容易であることから、最小限のコストで、迅速かつ容易に熱傷の臨床的評価を行うことができる。しかし、残念ながら、熱傷深度評価に用いられている臨床的特徴は、熟練の熱傷外科医であっても、症例の約70%でしか正確な判別が行えていない。
序論
熱傷の臨床評価：
熱傷に対する臨床評価は最も広く行われており、熱傷深度の評価方法として最も安価な方法である。熱傷の臨床評価方法は、創傷の見た目、毛細血管再充満時間、触診に対する熱傷部位の感覚などの、創傷の外観的特徴の主観的な評価に依存している[1-4]。このような熱傷の外観的特徴は観察が容易であることから、最小限のコストで、迅速かつ容易に熱傷の臨床的評価を行うことができる。しかし、残念ながら、熱傷深度評価に用いられている臨床的特徴は、熟練の熱傷外科医であっても、症例の約70%でしか正確な判別が行えていない。
熱傷深度の組織学的評価：
熱傷組織のパンチ生検と、その組織学的分析とによる熱傷深度の評価は、「ゴールドスタンダード」と見なされることが多く、別の診断方法と比較する際の基準となる。熱傷深度は、健康な組織と壊死組織の境界が認められる解剖学的深度として説明される。熱傷深度の評価は、施設内審査委員会の承認を受けた病理医により、ヘマトキシリン・エオシン（H&E）染色した熱傷組織の（パラフィン包埋）薄切片を検査することによって行った。病理医は、この簡単な技術を用いることによって、熱傷による細胞の生存率の変化、コラーゲンの変性、皮膚付属器障害の評価および患者の血管の評価を行うことができる。
熱傷組織のパンチ生検と、その組織学的分析とによる熱傷深度の評価は、「ゴールドスタンダード」と見なされることが多く、別の診断方法と比較する際の基準となる。熱傷深度は、健康な組織と壊死組織の境界が認められる解剖学的深度として説明される。熱傷深度の評価は、施設内審査委員会の承認を受けた病理医により、ヘマトキシリン・エオシン（H&E）染色した熱傷組織の（パラフィン包埋）薄切片を検査することによって行った。病理医は、この簡単な技術を用いることによって、熱傷による細胞の生存率の変化、コラーゲンの変性、皮膚付属器障害の評価および患者の血管の評価を行うことができる。
創傷の深度に応じて異なる治癒機構：
上皮再形成の完了に要する時間は、創傷の特徴（例えば、その位置、深さまたは大きさ、感染症の有無）や、患者の年齢などの様々な要因に応じて決まる。
上皮再形成の完了に要する時間は、創傷の特徴（例えば、その位置、深さまたは大きさ、感染症の有無）や、患者の年齢などの様々な要因に応じて決まる。
皮膚創傷の深さは様々に異なる場合があることから、１つ以上の皮膚層に影響を及ぼすことがある。病変の特性を説明する場合、創傷は、通常、部分層創傷または全層創傷に分類される。部分層創傷は表皮の創傷であり、真皮の一部に及ぶ場合がある。部分層創傷は、受傷する真皮の量に応じて、さらに「浅達性」部分層創傷または「深達性」部分層創傷に分類することができる。部分層創傷では、通常、上皮に由来する皮膚付属器、例えば、毛包、脂腺、アポクリン腺および／またはエクリン汗腺などは、部分的に無傷のまま残る。部分層創傷は、浅達性でも深達性でも、主に上皮再形成によって治癒する。表皮層の修復は、創傷の外縁からの表皮細胞の再生と、表皮の皮膚付属器（例えば、毛包、汗腺および脂腺）からの表皮細胞の再生とによって行われる。したがって、創傷が21日間という期間で治癒するには、生存可能な皮膚付属器が存在していることが極めて重要である。これに対して、全層創傷では真皮全体が破壊され、これよりも広範囲の組織が破壊されることがある。全層創傷は、上皮再形成のみでは治癒せず、いわゆる肉芽組織の形成を必要とし、創傷でできた空洞に肉芽組織が充填された後、創傷が上皮で覆われる。
図28は、皮膚の解剖学的構造を示し、真皮乳頭層、真皮網状層、上皮構造および皮膚付属器が含まれている。皮膚付属器の例として、立毛筋、脂腺、汗腺、皮膚感覚受容器および毛包が挙げられる。上皮構造の例として、動脈、静脈および毛細血管が挙げられる。
真皮は２つの領域に分類され、その上部を真皮乳頭層と呼ぶ。真皮乳頭層の大部分は結合組織で構成されており、表皮と真皮の結合を強くするという役割のみを担っている。熱損傷が皮膚の乳頭層領域にまでしか到達していない場合、受傷した皮膚は再生可能であることから、熱傷は浅達性であると考えられる。
真皮乳頭層のすぐ下には真皮網状層がある。真皮網状層は、結合組織を含むとともに、上皮構造と皮膚付属器も含み、皮膚付属器には、毛包、脂腺、汗腺、皮膚感覚受容器、血管などが含まれる。真皮網状層に熱損傷が発生した場合、生存可能な皮膚付属器が存在すれば、21日以内に創傷が修復することから、皮膚付属器の生存率を同定することが極めて重要である。したがって、受傷した真皮網状層に生存可能な皮膚付属器が認められる場合、浅達性II度熱傷であると見なされる。真皮網状層よりも深い部位での障害は、全層に及ぶIII度熱傷と見なされる。
H&E染色：
真皮網状層および／または真皮乳頭層への障害は、H&E染色を用いて容易に判別することができる。真皮の障害は、ヒアリン化コラーゲン（マゼンタの退色）が認められることと、１本１本のコラーゲン線維が識別不能であることから同定することができる。病理医であれば、高倍率視野の顕微鏡下で、正常なコラーゲンと障害を受けたコラーゲンを容易に識別することができる。皮膚付属器障害は、毛包上皮が細胞障害と一致する特徴（例えば、細胞の膨張、細胞質の空胞化、核濃縮など）を示すことから容易に検出することができる。
真皮網状層および／または真皮乳頭層への障害は、H&E染色を用いて容易に判別することができる。真皮の障害は、ヒアリン化コラーゲン（マゼンタの退色）が認められることと、１本１本のコラーゲン線維が識別不能であることから同定することができる。病理医であれば、高倍率視野の顕微鏡下で、正常なコラーゲンと障害を受けたコラーゲンを容易に識別することができる。皮膚付属器障害は、毛包上皮が細胞障害と一致する特徴（例えば、細胞の膨張、細胞質の空胞化、核濃縮など）を示すことから容易に検出することができる。
組織病理検査法
検体の取り扱い：
熱傷部位の生検位置を明確に示すため、パンチ生検の前後で、生検検体（直径4～6mm）を採取した熱傷部位を自動焦点・自動露出デジタルカメラで撮影した。本研究の概念実証臨床プロトコルに従って、直ちに検体にラベルを貼付し、ホルマリンに保存して、テキサス州ダラスのCockerell Dermatopathology Laboratoriesに送付した。
検体の取り扱い：
熱傷部位の生検位置を明確に示すため、パンチ生検の前後で、生検検体（直径4～6mm）を採取した熱傷部位を自動焦点・自動露出デジタルカメラで撮影した。本研究の概念実証臨床プロトコルに従って、直ちに検体にラベルを貼付し、ホルマリンに保存して、テキサス州ダラスのCockerell Dermatopathology Laboratoriesに送付した。
病理解釈：
Cockerell Dermatopathology Laboratoriesにおいて、対象者と熱傷に関する情報を盲検化して、施設内審査委員会の承認を受けた３人の病理医により検体を処理し、検査を行った。検体の損傷の深さは、熱傷の特定の病理学的特徴に基づいて、３人の病理医によりそれぞれ独立して同定した。病理医による独立した分析の後、それぞれの病理医から得られた知見をまとめて、各検体の病理所見に対して単一の結論を得た。得られた知見を病理報告書に記録した。
Cockerell Dermatopathology Laboratoriesにおいて、対象者と熱傷に関する情報を盲検化して、施設内審査委員会の承認を受けた３人の病理医により検体を処理し、検査を行った。検体の損傷の深さは、熱傷の特定の病理学的特徴に基づいて、３人の病理医によりそれぞれ独立して同定した。病理医による独立した分析の後、それぞれの病理医から得られた知見をまとめて、各検体の病理所見に対して単一の結論を得た。得られた知見を病理報告書に記録した。
熱傷深度の組織学的評価では、病理医により、皮膚検体において熱損傷に関連する特定の構造を調査することが必要であった。図29は、このような特定の構造と、熱傷の重症度の判別におけるこれらの構造の重要性とを説明する論理フローを示す。簡潔に述べると、真皮乳頭層の障害を検査し、真皮乳頭層に障害が認められなかった場合、浅達性II度熱傷であると見なした。真皮乳頭層に障害が認められた場合、病理医よりさらに深い部位を検査して、真皮網状層の評価を行った。真皮網状層に障害が認められなかった場合は、浅達性II度熱傷の診断を維持した。真皮網状層の全層に障害が認められた場合、III度熱傷と見なした。真皮網状層に部分的な障害があった場合、病理医により、その真皮網状層の個々の上皮構造および皮膚付属器を精査することが必要であった。真皮全体の半分に、壊死した上皮構造または壊死した皮膚付属器が認められた場合、深達性II度熱傷と見なした。上皮構造および皮膚付属器に壊死が認められなかった場合は、浅達性II度熱傷の診断を維持した。
図30A～30Cは、スペクトルイメージングに基づいた創傷の組織学的評価用のアルゴリズムを開発する方法の一例を示す。工程3010において、切除を行う前に、撮像装置の視野内の生検位置が医師により決定される。切除する領域はいずれも試験熱傷部位内に設定してもよい。
工程3020において、生検用ガイド器具を設計し、これを提供することができる。図30A～30Cに示した一例において、この生検用ガイド器具は、選択した複数の生検位置が5.0cm以内の間隔になるように多数の穴が一定間隔で配置された滅菌可能な軟質プラスチック製の薄いガイド器具であってもよい。
工程3030において、生検用ガイド器具と外科用皮膚ペンを用いて生検位置に印を付ける。
工程3040において、印を付けた生検位置から生検検体（例えば、直径4.0mmのパンチ生検）を採取する。採取した生検検体は、例えばホルマリンなどに保存してもよい。
工程3050において、採取した生検検体はそれぞれ別々に検査することができる。例えば、患者と熱傷の情報を盲検化した２人、３人またはそれ以上の人数の病理医によって、生検検体の検査を行ってもよい。生検検体はH&E染色した後に、前述の標準的な評価基準を用いて評価してもよい。
工程3060において、前述のスペクトルイメージング装置を用いて作成した生検部位の画像に、生検位置を重ね合わせてもよい。
工程3070において、真値の設定を行った専門医師団によって、病理医らによる独立した検査結果を評価し、各生検検体の病理結果を結論付けてもよい。
工程3080において、例えば、熱傷深度の状態または治癒に関する状態（例えば、治癒する熱傷または治癒しない熱傷）などの評価基準に応じて、１つ以上の真値マスクを設定してもよい。工程3080は、そのような真値マスクの２つの例を示す。中央の画像は、詳細な真値マスクであり、左の画像に示した元の熱傷のカラー画像領域の熱傷深度の状態を示している。右の画像は、２値分類での真値マスクであり、左の画像に示した元の熱傷のカラー画像領域の治癒状態を示している。
工程3090において、１つ以上の機械学習アルゴリズムを訓練し、構築した１つの真値マスクまたは複数の真値マスクに基づいて試験を行う。
用語
本明細書に記載の方法およびタスクはすべてコンピュータシステムにより実行されてもよく、完全に自動化されていてもよい。場合によっては、このコンピュータシステムは、ネットワーク上で通信し相互運用して、本明細書で述べる機能を実行する別々の複数のコンピュータまたはコンピュータ装置（例えば、物理サーバ、ワークステーション、ストレージアレイ、クラウドコンピューティングリソースなど）を含む。このようなコンピュータ装置は、いずれも、通常、メモリまたはその他の非一時的なコンピュータ可読記憶媒体もしくは非一時的なコンピュータ可読記憶装置（例えば、ソリッドステート記憶装置、ディスクドライブなど）に格納されたプログラム命令またはプログラムモジュールを実行するプロセッサ（または複数のプロセッサ）を含む。本明細書で開示した様々な機能は、そのようなプログラム命令で具体化してもよく、コンピュータシステムの特定用途向け回路（例えば、ASICやFPGA）の形態で実装してもよい。コンピュータシステムが複数のコンピュータ装置を含む場合、これらの装置は、同じ場所に配置してもよいし、別の場所に配置してもよい。本明細書で開示した方法およびタスクによる結果は、ソリッドステートメモリチップや磁気ディスクなどの物理的記憶装置を様々な形態に変換することによって、永続的に保存してもよい。いくつかの実施形態において、コンピュータシステムは、複数の別個の企業体またはその他のユーザにより処理リソースが共有されるクラウドベースのコンピューティングシステムであってもよい。
本明細書に記載の方法およびタスクはすべてコンピュータシステムにより実行されてもよく、完全に自動化されていてもよい。場合によっては、このコンピュータシステムは、ネットワーク上で通信し相互運用して、本明細書で述べる機能を実行する別々の複数のコンピュータまたはコンピュータ装置（例えば、物理サーバ、ワークステーション、ストレージアレイ、クラウドコンピューティングリソースなど）を含む。このようなコンピュータ装置は、いずれも、通常、メモリまたはその他の非一時的なコンピュータ可読記憶媒体もしくは非一時的なコンピュータ可読記憶装置（例えば、ソリッドステート記憶装置、ディスクドライブなど）に格納されたプログラム命令またはプログラムモジュールを実行するプロセッサ（または複数のプロセッサ）を含む。本明細書で開示した様々な機能は、そのようなプログラム命令で具体化してもよく、コンピュータシステムの特定用途向け回路（例えば、ASICやFPGA）の形態で実装してもよい。コンピュータシステムが複数のコンピュータ装置を含む場合、これらの装置は、同じ場所に配置してもよいし、別の場所に配置してもよい。本明細書で開示した方法およびタスクによる結果は、ソリッドステートメモリチップや磁気ディスクなどの物理的記憶装置を様々な形態に変換することによって、永続的に保存してもよい。いくつかの実施形態において、コンピュータシステムは、複数の別個の企業体またはその他のユーザにより処理リソースが共有されるクラウドベースのコンピューティングシステムであってもよい。
本明細書で開示したプロセスは、ユーザまたはシステムアドミニストレータによって要求が開始された際に、所定のスケジュールや動的に決定したスケジュールなどのイベントに応答して開始してもよく、その他のいくつかのイベントに応答して開始してもよい。前記プロセスが開始されたら、１つ以上の非一時的なコンピュータ可読媒体（例えば、ハードドライブ、フラッシュメモリ、取り外し可能な媒体など）に格納された実行可能プログラム命令群を、サーバまたはその他のコンピュータ装置のメモリ（例えばRAM）にロードしてもよい。次に、実行可能命令は、コンピュータ装置が備えるハードウェアベースのコンピュータプロセッサにより実行してもよい。いくつかの実施形態において、本明細書で開示したプロセスまたはその一部は、直列または並列に、複数のコンピュータ装置および／または複数のプロセッサ上に実装してもよい。
実施形態に応じて、本明細書に記載のプロセスまたはアルゴリズムのいずれかによる特定の行為、イベントまたは機能は、異なる順序で行うことができ、互いに付加することができ、互いに合体することができ、すべてを省略することができる（例えば、本明細書に記載の作動およびイベントのすべてが、本明細書に記載のアルゴリズムの実行に必要とは限らない）。さらに、特定の実施形態において、複数の作動またはイベントは、例えば、マルチスレッド処理、割り込み処理、もしくは複数のプロセッサもしくは複数のプロセッサコアを使用して、またはその他の並列構造上で、順次ではなく同時に行うことができる。
本明細書で開示した実施形態に関連して記載した、例示的な様々な論理ブロック、モジュール、ルーチン、およびアルゴリズムの工程は、電子機器（例えばASICまたはFPGA装置）、コンピュータハードウェア上で作動するコンピュータソフトウェア、またはこれらの組み合わせとして実装することができる。さらに、本明細書で開示した実施形態に関連して記載した、例示的な様々な論理ブロックおよびモジュールは、プロセッサ装置、デジタルシグナルプロセッサ（「DSP」）、特定用途向け集積回路（「ASIC」）、フィールドプログラマブルゲートアレイ（「FPGA」）もしくはその他のプログラマブルロジックデバイス、ディスクリートゲートロジックもしくはトランスファーロジック、ディスクリートハードウェアコンポーネント、または本明細書に記載の機能を実行するように設計された、これらの部品の組み合わせなどの機器により実装することができる。プロセッサ装置はマイクロプロセッサであってもよいが、別の態様において、プロセッサ装置は、制御装置、マイクロコントローラまたは状態機械、これらの組み合わせなどであってもよい。プロセッサ装置は、コンピュータ実行可能命令を処理するように構成された電気回路を含んでいてもよい。別の一実施形態において、プロセッサ装置は、FPGAを含むか、またはコンピュータ実行可能命令を処理することなく論理演算を行うその他のプログラマブルデバイスを含む。また、プロセッサ装置は、コンピュータ装置の組み合わせとして実装することができ、例えば、DSPとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、DSPコアと１個以上のマイクロプロセッサの組み合わせ、またはこのようなその他の構成として実装することができる。本明細書では、主にデジタル技術に関して説明をしてきたが、プロセッサ装置は、主にアナログ部品を含んでいてもよい。例えば、本明細書に記載のレンダリング技術のすべてまたはそのうちの一部は、アナログ回路を使用して、またはアナログ回路とデジタル回路を併用して実装してもよい。コンピューティング環境は、何らかの種類のコンピュータシステムを含むことができ、このコンピュータシステムとして、いくつか例を挙げれば、マイクロプロセッサに基づくコンピュータシステム、メインフレームコンピュータ、デジタルシグナルプロセッサ、携帯型コンピュータ装置、デバイスコントローラ、電気器具内のコンピュータエンジンなどがあるが、これらに限定されない。
本明細書で開示した実施形態に関して述べた方法、プロセス、ルーチンまたはアルゴリズムの構成要素は、ハードウェアで直接具現化することができ、プロセッサ装置により実行されるソフトウェアモジュールで直接具現化することもでき、またはこれらのハードウェアとソフトウェアモジュールの組み合わせで直接具現化することもできる。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM、またはその他の形態の非一時的なコンピュータ可読記憶媒体に含まれていてもよい。典型的な記憶媒体は、プロセッサ装置がこのような記憶媒体から情報を読み取ったり、このような記憶媒体に情報を書き込んだりできるように、プロセッサ装置に接続することができる。この態様において、記憶媒体はプロセッサ装置にとって不可欠でありうる。このプロセッサ装置および記憶媒体は、ASICに含まれていてもよい。このASICは、ユーザ端末に含まれていてもよい。この態様において、このプロセッサ装置および記憶媒体は、ユーザ端末のディスクリート部品として存在していてもよい。
本明細書で使用されている、「できる」、「場合がある」、「可能性がある」、「してもよい」、「例えば」などの、条件を示す用語は、別段の記載がない限り、あるいはこれらの用語が使用されている文脈上で別の意味に解釈されない限り、通常、特定の実施形態が特定の特徴、構成要素または工程を含み、別の実施形態には、これらの特徴、構成要素または工程が含まれないことを意味する。したがって、条件を示すこのような用語は、通常、特定の実施形態において特定の特徴、構成要素または工程が含まれるのか、あるいは実施されるのかにかかわらず、その他の入力やプロンプティングの存在下または非存在下において、１つ以上の実施形態が、これらの特徴、構成要素または工程を何らかの形で必要とすることや、１つ以上の実施形態が、決定のロジックを必然的に含むことを含意しない。また、「含む」、「備える」、「有する」などの用語は同義語であり、オープンエンド形式で包括的な意味で使用され、追加の構成要素、特徴、行為、作動などを除外するものではない。さらに、「または」という用語も、（排他的な意味ではなく）包括的な意味で使用され、例えば、「または」という用語が、構成要素を列記するために使用された場合、列記された構成要素のうちの１つ、その一部またはすべてを意味する。
別段の記載がない限り、「Ｘ、ＹまたはＺの少なくとも１つ」などの選言的な用語は、本明細書中において、通常、特定の項目や用語などが、Ｘ、ＹもしくはＺ、またはこれらの任意の組み合わせ（例えば、Ｘ、ＹまたはＺ）であってもよいことを示すために使用されると理解される。したがって、このような選言的な用語は、通常、特定の実施形態において、Ｘの少なくとも１つと、Ｙの少なくとも１つと、Ｚの少なくとも１つのそれぞれの存在が必要であることを意味することを意図せず、そのように意図されるべきではない。
前述の詳細な説明において、様々な実施形態として適用される新規な特徴を示し、説明し、指摘してきたが、前述の装置またはアルゴリズムの形態およびその細部は、本開示の範囲から逸脱することなく、様々に省略、置換および変更することができることを理解できるであろう。本明細書に示した特徴のいくつかは、その他の特徴とは別々に使用または実施できることから、本明細書に記載の特定の実施形態は、本明細書に示された特徴および利点のすべてを提供するわけではない形態として具体化することができることは容易に理解できるであろう。請求項の記載と等価の意味および範囲内のあらゆる変更は、これらの請求項の範囲内に包含される。
Claims (32)
- 創傷の状態を評価または予測するシステムであって、
熱傷を含む組織領域から反射された少なくとも第１の波長の光を収集するように構成された少なくとも１つの光検出素子；および
前記少なくとも１つの光検出素子と通信する１つ以上のプロセッサ
を含み、
前記１つ以上のプロセッサが、
前記組織領域から反射された第１の波長の光を示すシグナルを前記少なくとも１つの光検出素子から受信し；
前記シグナルに基づいて、前記組織領域を表す、複数の画素を有する画像を作成し；
前記複数の画素の少なくとも１つのサブセットにおいて、前記シグナルに基づいて第１の波長における各画素の反射強度値を測定し；
少なくとも１つの深層学習アルゴリズムを用いて、前記組織領域を表す画素のサブセットの各画素に対応する熱傷状態を判別し；
前記組織領域を表す画素のサブセットの各画素に対応する判別された熱傷状態と前記画像とに少なくとも部分的に基づいて、画素ごとに分類された画像を作成する
ように構成されている、システム。 - 前記画素ごとに分類された画像が、各画素に対応する判別された熱傷状態に応じて異なる視覚表示を有する画素を含む、請求項１に記載のシステム。
- 前記１つ以上のプロセッサが、前記画素ごとに分類された画像を視覚的に表示するようにさらに構成されている、請求項１または２に記載のシステム。
- 各画素に対応する熱傷状態が、治癒しない熱傷状態および治癒する熱傷状態から選択される、請求項１～３のいずれか１項に記載のシステム。
- 各画素に対応する熱傷状態が、熱傷深度に関連する状態である、請求項１～４のいずれか１項に記載のシステム。
- 各画素に対応する熱傷状態が、Ｉ度熱傷状態、浅達性II度熱傷状態、深達性II度熱傷状態およびIII度熱傷状態から選択される、請求項５に記載のシステム。
- 前記熱傷状態が、前記熱傷の少なくとも一部における皮膚付属器の壊死の程度に応じて判別される、請求項１～６のいずれか１項に記載のシステム。
- 前記組織領域を表す画素のサブセットの各画素に対応する熱傷状態を判別する工程が、前記熱傷の少なくとも一部における皮膚付属器の壊死の割合を特定する工程を含む、請求項７に記載のシステム。
- 前記治癒しない熱傷状態が、50.0%を超える割合の前記皮膚付属器の壊死に相当する、請求項８に記載のシステム。
- 前記治癒しない熱傷状態が、0.0%を超える割合の前記皮膚付属器の壊死に相当する、請求項８または９に記載のシステム。
- 前記少なくとも１つの深層学習アルゴリズムが、畳み込みニューラルネットワークを含む、請求項１～１０のいずれか１項に記載のシステム。
- 前記畳み込みニューラルネットワークがSegNetを含む、請求項１１に記載のシステム。
- 前記少なくとも１つの深層学習アルゴリズムが、複数の深層学習アルゴリズムのアンサンブルを含む、請求項１～１２のいずれか１項に記載のシステム。
- 前記少なくとも１つの深層学習アルゴリズムが、重み付き平均アンサンブルを含む、請求項１３に記載のシステム。
- 前記少なくとも１つの深層学習アルゴリズムが、真陽性率（TPR）で重み付けしたアンサンブルを含む、請求項１３または１４に記載のシステム。
- 前記少なくとも１つの深層学習アルゴリズムが、創傷のデータベースを用いて訓練されたものである、請求項１～１５のいずれか１項に記載のシステム。
- 前記創傷のデータベースが、熱傷のデータベースを含む、請求項１６に記載のシステム。
- 前記少なくとも１つの深層学習アルゴリズムが、複数の真値マスクの少なくとも一部に基づいて訓練されたものであり、該複数の真値マスクの少なくとも一部が、熱傷組織の生検検体における皮膚付属器の壊死の有無に少なくとも部分的に基づいて作成されたものである、請求項１～１７のいずれか１項に記載のシステム。
- 前記１つ以上のプロセッサが、前記組織領域を表す画素のサブセットの各画素に対応する判別された熱傷状態の少なくとも一部に基づいて、前記画像の作成後の所定の期間内における熱傷の治癒に関連する予測スコアを判定するようにさらに構成されている、請求項１～１８のいずれか１項に記載のシステム。
- 前記予測スコアが、外科手術または皮膚移植を行わずに治癒する確率を示す、請求項１９に記載のシステム。
- 前記所定の期間が21日間である、請求項１９または２０に記載のシステム。
- 対象において、創傷、好ましくは熱傷が発生した後に、細胞の生存もしくは障害、コラーゲンの変性、皮膚付属器の障害もしくは壊死、および／または血管の障害を検出する方法であって、
創傷、好ましくは熱傷を有する対象を選択する工程；
請求項１～２１のいずれか１項に記載のマルチスペクトル画像システムを用いて、好ましくは熱傷である前記創傷の領域を撮像する工程；
創傷のデータベース、好ましくは熱傷のデータベースで訓練された深層学習アルゴリズムを用いて、前記工程で得られた画像データを評価する工程；
好ましくは熱傷である前記創傷の撮像領域において、前記創傷の細胞が生存可能か、もしくは障害を受けているかどうか、コラーゲンが変性しているかどうか、皮膚付属器が障害を受けているか、もしくは壊死しているかどうか、および／または血管が障害を受けているかどうかを表示する工程；ならびに
任意で実施される工程として、好ましくは熱傷である前記創傷が、外科手術または皮膚移植などの高度な治療を行わずに、所定の期間内に、好ましくは21～30日間で治癒する可能性を予測する予測スコアを提供する工程
を含む方法。 - 前記評価される障害を受けた皮膚付属器が、毛包、脂腺、アポクリン腺および／またはエクリン汗腺を含む、請求項２２に記載の方法。
- 前記対象における細胞の生存もしくは障害、コラーゲンの変性、皮膚付属器の障害もしくは壊死および／または血管の障害の評価が、皮膚の乳頭層領域で行われる、請求項２２または２３に記載の方法。
- 前記対象における細胞の生存もしくは障害、コラーゲンの変性、皮膚付属器の障害もしくは壊死および／または血管の障害の評価が、皮膚の真皮網状層で行われる、請求項２２～２４に記載の方法。
- 前記対象における細胞の生存もしくは障害、コラーゲンの変性、皮膚付属器の障害もしくは壊死および／または血管の障害の評価が、皮膚の真皮網状層よりも深い部位で行われる、請求項２２～２５に記載の方法。
- ヒアリン化コラーゲンが検出されるか、１本１本のコラーゲン線維が識別不能である、請求項２２～２６のいずれか１項に記載の方法。
- 前記細胞の障害が、細胞の膨張、細胞質の空胞化または核濃縮である、請求項２２～２７のいずれか１項に記載の方法。
- 分析された前記皮膚付属器の50%以上が障害を受けているか、壊死していると特定された場合に、治癒しない熱傷であることを予測する予測スコアが提供され、任意で、皮膚移植または外科手術などの高度な治療を受けるように前記対象に指示を与えるか、前記対象に皮膚移植または外科手術を行う、請求項２２～２８のいずれか１項に記載の方法。
- 前記深層学習アルゴリズムが、モメンタム最適化法と交差エントロピー誤差を用いた確率的勾配降下法により訓練されたものである、請求項２２～２９のいずれか１項に記載の方法。
- 前記深層学習アルゴリズムが、SegNet、フィルタバンクを用いて正則化したSegNet、補助損失を用いたSegNet、U-Net、拡張型全結合ニューラルネットワーク（dFCN）、平均アンサンブル、真陽性率（TPR）で重み付けしたアンサンブル、および重み付き平均アンサンブルから選択される、請求項２２～３０のいずれか１項に記載の方法。
- 前記深層学習アルゴリズムがSegNetである、請求項２２～３１のいずれか１項に記載の方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063051308P | 2020-07-13 | 2020-07-13 | |
| US63/051,308 | 2020-07-13 | ||
| PCT/US2021/041134 WO2022015597A1 (en) | 2020-07-13 | 2021-07-09 | Spectral imaging systems and methods for histological assessment of wounds |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023535143A true JP2023535143A (ja) | 2023-08-16 |
Family
ID=79554978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023502581A Pending JP2023535143A (ja) | 2020-07-13 | 2021-07-09 | 創傷の組織学的評価のためのスペクトルイメージングシステムおよびその方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20230148951A1 (ja) |
| EP (1) | EP4178426A1 (ja) |
| JP (1) | JP2023535143A (ja) |
| CN (1) | CN116157065A (ja) |
| WO (1) | WO2022015597A1 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3589191A4 (en) | 2017-03-02 | 2020-11-11 | Spectral MD Inc. | AUTOMATIC LEARNING SYSTEMS AND TECHNIQUES FOR MULTISPECTRAL ANALYSIS OF AMPUTATION SITES |
| WO2020123722A1 (en) | 2018-12-14 | 2020-06-18 | Spectral Md, Inc. | System and method for high precision multi-aperture spectral imaging |
| JP7261883B2 (ja) | 2018-12-14 | 2023-04-20 | スペクトラル エムディー，インコーポレイテッド | 創傷の評価、治癒予測および治療のための機械学習システム |
| US11813073B2 (en) * | 2020-12-23 | 2023-11-14 | Industrial Technology Research Institute | Wound multiple sensing method and wound multiple sensing system |
| US20220343497A1 (en) * | 2021-03-04 | 2022-10-27 | Sivananthan Laboratories, Inc. | Burn severity identification and analysis through three-dimensional surface reconstruction from visible and infrared imagery |
| KR102659164B1 (ko) * | 2021-10-22 | 2024-04-19 | 삼성전자주식회사 | 초분광 이미지 센서 및 그의 동작 방법 |
| WO2024050144A2 (en) * | 2022-09-02 | 2024-03-07 | The George Washington University | Hyper-excitation hyperspectral imaging system |
| CN115168161B (zh) * | 2022-09-07 | 2022-12-20 | 广州七喜电子科技有限公司 | 一种主机cpu散热状态检测显示方法及系统 |
| CN116705325B (zh) * | 2023-06-26 | 2024-01-19 | 国家康复辅具研究中心 | 一种伤口感染风险评估方法及其系统 |
| CN117877691B (zh) * | 2024-03-13 | 2024-05-07 | 四川省医学科学院·四川省人民医院 | 一种基于图像识别的智能化伤口信息采集系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9717417B2 (en) * | 2014-10-29 | 2017-08-01 | Spectral Md, Inc. | Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification |
| WO2017181200A1 (en) * | 2016-04-15 | 2017-10-19 | The Regents Of The University Of California | Assessment of wound status and tissue viability via analysis of spatially resolved thz reflectometry maps |
| EP3697300A4 (en) * | 2017-10-17 | 2020-10-14 | Kronikare Pte Ltd | SYSTEM AND METHOD FOR FACILITATING ANALYSIS OF A WOUND IN A TARGET SUBJECT |
-
2021
- 2021-07-09 WO PCT/US2021/041134 patent/WO2022015597A1/en unknown
- 2021-07-09 CN CN202180062249.3A patent/CN116157065A/zh active Pending
- 2021-07-09 JP JP2023502581A patent/JP2023535143A/ja active Pending
- 2021-07-09 EP EP21842496.8A patent/EP4178426A1/en active Pending
-
2023
- 2023-01-10 US US18/152,654 patent/US20230148951A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN116157065A (zh) | 2023-05-23 |
| US20230148951A1 (en) | 2023-05-18 |
| EP4178426A1 (en) | 2023-05-17 |
| WO2022015597A1 (en) | 2022-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7261883B2 (ja) | 創傷の評価、治癒予測および治療のための機械学習システム | |
| JP7186298B2 (ja) | 高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法 | |
| JP2023535143A (ja) | 創傷の組織学的評価のためのスペクトルイメージングシステムおよびその方法 | |
| US11182888B2 (en) | System and method for high precision multi-aperture spectral imaging | |
| US11599998B2 (en) | Machine learning systems and methods for assessment, healing prediction, and treatment of wounds | |
| US20230181042A1 (en) | Machine learning systems and methods for assessment, healing prediction, and treatment of wounds | |
| US11346714B2 (en) | Methods and apparatus for imaging discrete wavelength bands using a mobile device | |
| CN104997519B (zh) | 基于眼底相机的双波长视网膜血管血氧测量系统 | |
| US11686618B2 (en) | Hyperspectral imaging method and device | |
| WO2023141216A2 (en) | System and method for topological characterization of tissue |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230329 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230313 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240105 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240227 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240523 |