WO2024040576A1 - 目标检测方法、深度学习的训练方法、电子设备以及介质 - Google Patents
目标检测方法、深度学习的训练方法、电子设备以及介质 Download PDFInfo
- Publication number
- WO2024040576A1 WO2024040576A1 PCT/CN2022/115134 CN2022115134W WO2024040576A1 WO 2024040576 A1 WO2024040576 A1 WO 2024040576A1 CN 2022115134 W CN2022115134 W CN 2022115134W WO 2024040576 A1 WO2024040576 A1 WO 2024040576A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- target
- sample
- image
- mutation
- medical image
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 246
- 238000000034 method Methods 0.000 title claims abstract description 105
- 238000012549 training Methods 0.000 title claims abstract description 42
- 238000013135 deep learning Methods 0.000 title abstract description 7
- 238000003709 image segmentation Methods 0.000 claims abstract description 140
- 230000004927 fusion Effects 0.000 claims abstract description 87
- 230000035772 mutation Effects 0.000 claims description 275
- 238000012545 processing Methods 0.000 claims description 121
- 206010028980 Neoplasm Diseases 0.000 claims description 67
- 238000013136 deep learning model Methods 0.000 claims description 56
- 230000006870 function Effects 0.000 claims description 52
- 230000008569 process Effects 0.000 claims description 31
- 210000000349 chromosome Anatomy 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 25
- 238000012217 deletion Methods 0.000 claims description 19
- 230000037430 deletion Effects 0.000 claims description 19
- 108700039691 Genetic Promoter Regions Proteins 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 12
- 230000011987 methylation Effects 0.000 claims description 11
- 238000007069 methylation reaction Methods 0.000 claims description 11
- 108010017842 Telomerase Proteins 0.000 claims description 9
- 210000004556 brain Anatomy 0.000 claims description 8
- 102000012011 Isocitrate Dehydrogenase Human genes 0.000 claims description 5
- 108010075869 Isocitrate Dehydrogenase Proteins 0.000 claims description 5
- 108060004795 Methyltransferase Proteins 0.000 claims description 4
- 102000016397 Methyltransferase Human genes 0.000 claims description 4
- 102100032938 Telomerase reverse transcriptase Human genes 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 30
- 230000000875 corresponding effect Effects 0.000 description 29
- 102100037845 Isocitrate dehydrogenase [NADP], mitochondrial Human genes 0.000 description 24
- 102100025825 Methylated-DNA-protein-cysteine methyltransferase Human genes 0.000 description 22
- 238000002595 magnetic resonance imaging Methods 0.000 description 22
- 108040008770 methylated-DNA-[protein]-cysteine S-methyltransferase activity proteins Proteins 0.000 description 22
- 210000001519 tissue Anatomy 0.000 description 18
- 238000013473 artificial intelligence Methods 0.000 description 16
- 238000012360 testing method Methods 0.000 description 12
- 230000002708 enhancing effect Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 206010064571 Gene mutation Diseases 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000010606 normalization Methods 0.000 description 7
- 108090000623 proteins and genes Proteins 0.000 description 7
- 208000032612 Glial tumor Diseases 0.000 description 6
- 206010018338 Glioma Diseases 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 6
- 239000002872 contrast media Substances 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 238000012163 sequencing technique Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000002068 genetic effect Effects 0.000 description 4
- 208000037841 lung tumor Diseases 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000012014 optical coherence tomography Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 102000001301 EGF receptor Human genes 0.000 description 3
- 108060006698 EGF receptor Proteins 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 3
- 201000007983 brain glioma Diseases 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000001338 necrotic effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004393 prognosis Methods 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 108020004414 DNA Proteins 0.000 description 2
- 230000033616 DNA repair Effects 0.000 description 2
- 102100030708 GTPase KRas Human genes 0.000 description 2
- 101000584612 Homo sapiens GTPase KRas Proteins 0.000 description 2
- 101150020771 IDH gene Proteins 0.000 description 2
- 206010030113 Oedema Diseases 0.000 description 2
- 201000010133 Oligodendroglioma Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 201000002439 alpha thalassemia-intellectual disability syndrome type 1 Diseases 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- UYTPUPDQBNUYGX-UHFFFAOYSA-N guanine Chemical compound O=C1NC(N)=NC2=C1N=CN2 UYTPUPDQBNUYGX-UHFFFAOYSA-N 0.000 description 2
- 208000029824 high grade glioma Diseases 0.000 description 2
- 238000002075 inversion recovery Methods 0.000 description 2
- 208000030173 low grade glioma Diseases 0.000 description 2
- 230000005415 magnetization Effects 0.000 description 2
- 201000011614 malignant glioma Diseases 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 229930027945 nicotinamide-adenine dinucleotide Natural products 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- HWXBTNAVRSUOJR-GSVOUGTGSA-N (R)-2-hydroxyglutaric acid Chemical compound OC(=O)[C@H](O)CCC(O)=O HWXBTNAVRSUOJR-GSVOUGTGSA-N 0.000 description 1
- KPGXRSRHYNQIFN-UHFFFAOYSA-N 2-oxoglutaric acid Chemical compound OC(=O)CCC(=O)C(O)=O KPGXRSRHYNQIFN-UHFFFAOYSA-N 0.000 description 1
- BXJHWYVXLGLDMZ-UHFFFAOYSA-N 6-O-methylguanine Chemical compound COC1=NC(N)=NC2=C1NC=N2 BXJHWYVXLGLDMZ-UHFFFAOYSA-N 0.000 description 1
- 206010003571 Astrocytoma Diseases 0.000 description 1
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 201000009047 Chordoma Diseases 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 108091029430 CpG site Proteins 0.000 description 1
- 208000009798 Craniopharyngioma Diseases 0.000 description 1
- -1 D-2-HG) Chemical compound 0.000 description 1
- 102000053602 DNA Human genes 0.000 description 1
- 208000001154 Dermoid Cyst Diseases 0.000 description 1
- 102000016680 Dioxygenases Human genes 0.000 description 1
- 108010028143 Dioxygenases Proteins 0.000 description 1
- 208000010305 Epidermal Cyst Diseases 0.000 description 1
- 102100039788 GTPase NRas Human genes 0.000 description 1
- 229910052688 Gadolinium Inorganic materials 0.000 description 1
- 108010033040 Histones Proteins 0.000 description 1
- 101000744505 Homo sapiens GTPase NRas Proteins 0.000 description 1
- 101000984753 Homo sapiens Serine/threonine-protein kinase B-raf Proteins 0.000 description 1
- 206010069755 K-ras gene mutation Diseases 0.000 description 1
- WHUUTDBJXJRKMK-VKHMYHEASA-N L-glutamic acid Chemical compound OC(=O)[C@@H](N)CCC(O)=O WHUUTDBJXJRKMK-VKHMYHEASA-N 0.000 description 1
- 208000000172 Medulloblastoma Diseases 0.000 description 1
- XJLXINKUBYWONI-NNYOXOHSSA-N NADP zwitterion Chemical compound NC(=O)C1=CC=C[N+]([C@H]2[C@@H]([C@H](O)[C@@H](COP([O-])(=O)OP(O)(=O)OC[C@@H]3[C@H]([C@@H](OP(O)(O)=O)[C@@H](O3)N3C4=NC=NC(N)=C4N=C3)O)O2)O)=C1 XJLXINKUBYWONI-NNYOXOHSSA-N 0.000 description 1
- ACFIXJIJDZMPPO-NNYOXOHSSA-N NADPH Chemical compound C1=CCC(C(=O)N)=CN1[C@H]1[C@H](O)[C@H](O)[C@@H](COP(O)(=O)OP(O)(=O)OC[C@@H]2[C@H]([C@@H](OP(O)(O)=O)[C@@H](O2)N2C3=NC=NC(N)=C3N=C2)O)O1 ACFIXJIJDZMPPO-NNYOXOHSSA-N 0.000 description 1
- 230000005913 Notch signaling pathway Effects 0.000 description 1
- 208000007913 Pituitary Neoplasms Diseases 0.000 description 1
- 108010081734 Ribonucleoproteins Proteins 0.000 description 1
- 102000004389 Ribonucleoproteins Human genes 0.000 description 1
- 102100027103 Serine/threonine-protein kinase B-raf Human genes 0.000 description 1
- 206010054094 Tumour necrosis Diseases 0.000 description 1
- 208000014070 Vestibular schwannoma Diseases 0.000 description 1
- OXCLXKZDSKJEDC-UHFFFAOYSA-N [O].O=C1NC(N)=NC2=C1NC=N2 Chemical compound [O].O=C1NC(N)=NC2=C1NC=N2 OXCLXKZDSKJEDC-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 208000004064 acoustic neuroma Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 125000000217 alkyl group Chemical group 0.000 description 1
- 229940100198 alkylating agent Drugs 0.000 description 1
- 239000002168 alkylating agent Substances 0.000 description 1
- HWXBTNAVRSUOJR-UHFFFAOYSA-N alpha-hydroxyglutaric acid Natural products OC(=O)C(O)CCC(O)=O HWXBTNAVRSUOJR-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000007321 biological mechanism Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000036770 blood supply Effects 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000036755 cellular response Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 208000017338 epidermoid cysts Diseases 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- UIWYJDYFSGRHKR-UHFFFAOYSA-N gadolinium atom Chemical compound [Gd] UIWYJDYFSGRHKR-UHFFFAOYSA-N 0.000 description 1
- 210000000232 gallbladder Anatomy 0.000 description 1
- 238000011331 genomic analysis Methods 0.000 description 1
- 208000005017 glioblastoma Diseases 0.000 description 1
- 230000004153 glucose metabolism Effects 0.000 description 1
- 229930195712 glutamate Natural products 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004705 lumbosacral region Anatomy 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 206010027191 meningioma Diseases 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000003147 molecular marker Substances 0.000 description 1
- 231100000219 mutagenic Toxicity 0.000 description 1
- 230000003505 mutagenic effect Effects 0.000 description 1
- 238000007481 next generation sequencing Methods 0.000 description 1
- BOPGDPNILDQYTO-NNYOXOHSSA-N nicotinamide-adenine dinucleotide Chemical compound C1=CCC(C(=O)N)=CN1[C@H]1[C@H](O)[C@H](O)[C@@H](COP(O)(=O)OP(O)(=O)OC[C@@H]2[C@H]([C@@H](O)[C@@H](O2)N2C3=NC=NC(N)=C3N=C2)O)O1 BOPGDPNILDQYTO-NNYOXOHSSA-N 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005895 oxidative decarboxylation reaction Methods 0.000 description 1
- 230000001590 oxidative effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 208000010916 pituitary tumor Diseases 0.000 description 1
- 238000010837 poor prognosis Methods 0.000 description 1
- 210000000664 rectum Anatomy 0.000 description 1
- 230000022532 regulation of transcription, DNA-dependent Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 238000010839 reverse transcription Methods 0.000 description 1
- 208000011581 secondary neoplasm Diseases 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 210000001685 thyroid gland Anatomy 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
- 230000005758 transcription activity Effects 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种目标检测方法、深度学习的训练方法、电子设备以及介质。该方法包括：根据目标部位的目标医学图像，得到目标图像分割结果，其中，目标医学图像包括至少一个模态的医学图像；根据目标医学图像分割结果和目标医学图像中的预定模态的医学图像，得到目标融合数据；根据目标融合数据，得到目标多突变检测结果。
Description
本公开涉及人工智能技术领域，更具体地，涉及一种目标检测方法、深度学习的训练方法、电子设备以及介质。
随着人工智能技术的发展，人工智能技术在各个领域得到了广泛的应用。例如，在医学领域，可以利用人工智能技术进行目标检测，得到多突变检测结果。
发明内容
有鉴于此，本公开提供了一种目标检测方法、深度学习的训练方法、电子设备以及介质。
本公开的一个方面提供了一种目标检测方法，包括：根据目标部位的目标医学图像，得到目标图像分割结果，其中，上述目标医学图像包括至少一个模态的医学图像；根据上述目标医学图像分割结果和上述目标医学图像中的预定模态的医学图像，得到目标融合数据；以及，根据上述目标融合数据，得到目标多突变检测结果。
本公开的另一个方面提供了一种深度学习模型的训练方法，包括：根据样本部位的样本医学图像，得到样本图像分割结果，其中，上述样本医学图像包括至少一个模态的医学图像；根据上述样本图像分割结果和上述样本多模态医学图像中的预定模态的医学图像，得到样本融合数据；根据上述样本融合数据，得到样本多突变检测结果；以及，利用上述样本图像分割结果、上述样本医学图像的样本图像分割标签、上述样本多突变检测结果和上述样本医学图像的样本多突变标签训练上述深度学习模型。
本公开的另一个方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如本公开所述的方法。
本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，上述指令在被执行时用于实现如本公开所述的方法。
本公开的另一方面提供了一种计算机程序产品，上述计算机程序产品包括计算机可执行指令，上述指令在被执行时用于实现如本公开所述的方法。
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本公开实施例的可以应用目标检测方法、深度学习模型的训练方法及装置的示例性系统架构；
图2示意性示出了根据本公开实施例的目标检测方法的流程图；
图3A示意性示出了根据本公开实施例的目标检测方法的示例示意图；
图3B示意性示出了根据本公开另一实施例的目标检测方法的示例示意图；
图3C示意性示出了根据本公开另一实施例的目标检测方法的示例示意图；
图3D示意性示出了根据本公开另一实施例的目标检测方法的示例示意图；
图3E示意性示出了根据本公开另一实施例的目标检测方法的示例示意图；
图3F示意性示出了根据本公开另一实施例的目标检测方法的示例示意图；
图4A示意性示出了根据本公开实施例的目标多模态MRI图像的示例示意图；
图4B示意性示出了根据本公开实施例的目标检测方法的示例示意图；
图4C示意性示出了根据本公开另一实施例的目标检测方法的示例示意图；
图4D示意性示出了根据本公开另一实施例的目标检测方法的示例示意图；
图5示意性示出了根据本公开实施例的深度学习模型的训练方法的流程图；
图6示意性示出了根据本公开的实施例的目标检测装置的框图；
图7示意性示出了根据本公开实施例的深度学习模型的训练装置的框图；以及
图8示意性示出了根据本公开实施例的适于实现目标检测方法和深度学习模型的训练方法的电子设备的框图。
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施 例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
随着高通量阵列和新一代测序技术的发展，基因组分析得到了广泛应用。影像基因组学是结合了医学图像技术和基因组学技术的跨学科技术。影像基因组学可以通过研究病变图像特征与基因组和分子特征中的至少之一之间的关系，一方面可以推测病症的生物学机制，促进对整体表型的深入理解，另一方面可以来确定用于预测基因组的宏观层面的图像生物标记物，从而实现对复杂病症的非侵入式诊断、预后评价和疗效评估，对对象理解基因对于病症的影响提供了更为全面的评价方式。
例如，基于影像基因组学来确定基因突变。基因突变检测对病症的疾病分级、分子分型、用药指导、预后效果评估等中的至少之一具有较为重要的临床意义。然而，基因检测需要通过立体定向活检和切除手术中的之一来提取组织样本，再通过基因测序中心对其进行测序才能确定基因特征，上述是一种有创检测方法，对对象具有一定损伤。此外，如果目标部位的可及性较差，则获取组织样本的挑战较大，由此，导致测序耗时较长和检测成本较高。例如，测序耗时可以是1～2周。检测成本可以是7000～10000元。
为此，本公开实施例提供了一种基于影像基因组学的无创目标检测方案。例如，根据目标部位的目标医学图像，得到目标图像分割结果。目标医学图像可以包括至少一个模态的医学图像。根据目标医学图像分割结果和目标医学图像中的预定模态的医学图像，得到目标融合数据。根据目标融合数据，得到目标多突变检测结果。
根据本公开的实施例，根据目标图像分割结果可以较为准确体现发生突变的组织位置，在此基础上，根据目标图像分割结果和目标医学图像中的预定模态的医学图像，得到目标融合数据，再根据目标融合数据，得到目标多突变检测结果，实现了图像分割和多突变检测的联合，由此，提高了突变检测的全面性和准确性。此外，由于是无创检测方法，因此，无需获取目标部位的组织样本，由此，不受组织样本的获取耗时和测序难度的影响，进而降低了检测耗时和检测成本。
图1示意性示出了根据本公开实施例的可以应用目标检测方法、深度学习模型的训练方法及装置的示例性系统架构。
需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用目标检测方法、深度学习模型的训练方法及装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本公开实施例提供的目标检测方法、深度学习模型的训练方法及装置。
如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如，购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等。
服务器105可以是提供各种服务的各种类型的服务器。例如，服务器105可以 是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(Virtual Private Server，虚拟专用服务器)中，存在的管理难度大，业务扩展性弱的缺陷。服务器105也可以为分布式系统的服务器，或者是结合了区块链的服务器。
需要说明的是，本公开实施例所提供的目标检测方法一般可以由终端设备101、102、或103执行。相应地，本公开实施例所提供的目标检测装置也可以设置于终端设备101、102、或103中。
备选地，本公开实施例所提供的目标检测方法一般也可以由服务器105执行。相应地，本公开实施例所提供的目标检测装置一般可以设置于服务器105中。本公开实施例所提供的目标检测方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的目标检测装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
需要说明的是，本公开实施例所提供的深度学习模型的训练方法一般可以由服务器105执行。相应地，本公开实施例所提供的深度学习模型的训练装置一般可以设置于服务器105中。本公开实施例所提供的深度学习模型的模型的训练方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的深度学习模型的训练装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
备选地，本公开实施例所提供的深度学习模型的训练方法一般也可以由终端设备101、102、或103执行。相应地，本公开实施例所提供的深度学习模型的训练装置也可以设置于终端设备101、102、或103中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
应注意，以下方法中各个操作的序号仅作为该操作的表示以便描述，而不应被看作表示该各个操作的执行顺序。除非明确指出，否则该方法不需要完全按照所示顺序来执行。
图2示意性示出了根据本公开实施例的目标检测方法的流程图。
如图2所示，该方法200包括操作S210～S230。
在操作S210，根据目标部位的目标医学图像，得到目标图像分割结果。
在操作S220，根据目标医学图像分割结果和目标医学图像中的预定模态的医学图像，得到目标融合数据。
在操作S230，根据目标融合数据，得到目标多突变检测结果。
根据本公开的实施例，目标医学图像可以包括至少一个模态的医学图像。
根据本公开的实施例，医学图像可以是医学领域中的重要数据，在辅助医生进行诊断和病理研究等方面有着较为重要的作用。可以利用医学图像进行突变检测。医学图像可以包括以下至少之一：MRI(Magnetic Resonance Imaging，磁共振成像)图像、CT(Computerized Tomography，计算机断层扫描)图像、ECT(Emission Computed Tomography，发射型计算机层析成像)图像、PET(Positron Emission Computed Tomography，正电子发射计算机断层显像)图像、超声图像、OCT(Optical Coherence Tomography，光学相干层析成像)图像和X射线摄影。医学图像可以是三维医学图像。目标医学图像可以包括以下至少之一：目标MRI图像、目标CT图像、目标ECT图像、目标PET图像、目标超声图像、目标OCT图像和目标X射线摄影。
根据本公开的实施例，医学图像可以包括单模态医学图像和多模态医学图像中的至少之一。多模态可以指同一医学图像的不同形式，也可以指至少两个不同类型的医学图像。例如，MRI图像可以是多模态MRI图像。多模态MRI图像可以包括以下至少两个：T1模态图像(即T1加权图像)、T2模态图像(即T2加权图像)、T1CE模态图像(即对比度增强的T1加权图像)和FLAIR(FLuid Attenuated Inversion Recovery，流体衰减反转恢复)模态图像。预定模态可以指至少一个模态中的至少部分模态。例如，在医学图像是单模态医学图像的情况下，预定模态的医学图像可以指单模态医学图像自身。在医学图像是多模态医学图像的情况下，预定模态可以包括多个模态中的一个或至少两个。例如，在多模态医学图像是多模态MRT图像的情况下，预定模态可以包括以下至少之一：T1模态、T2模态、T1CE模态和FLAIR模态。
根据本公开的实施例，目标部位可以指需要进行多突变检测的目标对象的部位。部位可以包括以下至少之一：脑部、眼部、耳部、鼻部、口腔、咽喉、面部、甲状 腺、气管、肺部、心脏、食管、呼吸道、支气管、肝脏、胆部、胰腺、胃部、肠部、盆腔、直肠、颈椎、胸椎、腰椎、骶椎、足部、髋关节、腕关节、指关节和膝关节等。需要说明的是，上述仅是示例性说明，还可以包括其他部位。可以根据目标部位的结构特征来确定进行多突变检测的医学图像。例如，在目标部位是脑部的情况下，可以利用多模态医学图像来进行多突变检测。在目标部位是肺部的情况下，可以利用单模态医学图像来进行多突变检测。
根据本公开的实施例，目标部位可能存在病变。例如，目标部位存在肿瘤。肿瘤区域可以包括以下至少之一：水肿区域、增强肿瘤区域、非增强肿瘤区域和坏死区域。此外，肿瘤区域可以包括以下至少之一：全肿瘤区域、肿瘤核心区域和肿瘤核心增强区域。全肿瘤区域可以包括水肿区域、增强肿瘤区域、非增强肿瘤区域和坏死区域。肿瘤核心区域可以包括增强肿瘤区域、非增强肿瘤区域和坏死区域。肿瘤核心增强区域可以包括增强肿瘤区域。
根据本公开的实施例，肿瘤可以包括以下之一：原发性肿瘤和继发性肿瘤。原发性肿瘤可以包括以下之一：良性肿瘤和恶性肿瘤。病变可以与基因突变相关。
例如，在目标部位是目标对象的脑部的情况下，脑部肿瘤可以包括以下之一：听神经瘤、垂体瘤、脑膜瘤、来源于胚胎残余组织的肿瘤和神经胶质瘤(即脑胶质瘤)。来源于胚胎残余组织的肿瘤可以包括以下至少之一：颅咽管瘤、表皮样囊肿和脊索瘤等。脑胶质瘤可以包括以下至少之一：胶质母细胞瘤、星形细胞瘤、少枝胶质细胞瘤和髓母细胞瘤等。针对肿瘤的恶性级别，脑胶质瘤可以包括以下至少之一：低级别脑胶质瘤和高级别脑胶质瘤。低级别脑胶质瘤是良性肿瘤，预后效果较好。高级别脑胶质瘤是恶性肿瘤，预后效果较差。脑胶质瘤的基因特征检测可以是脑胶质瘤精准诊疗的基础。
根据本公开的实施例，与脑胶质瘤对应的多突变基因可以包括以下至少两个：异柠檬酸脱氢酶(Isocitrate：NAD+Oxidoreductase(Decarboxylating)，IDH)突变、染色体1p/19q联合缺失突变、端粒酶逆转录酶(Telomerase Reverse Tranase，TERT)突变、O
6-甲基鸟嘌呤-DNA甲基转移酶(O
6-Methylguanine Deoxyribose Nucleic Acid Methyltranferase，MGMT)启动子区甲基化突变和表皮生长因子变体(Epidermal Growth Factor Receptor Variant，EGFRv)扩增、α-地中海贫血伴智力低下综合征(X-linked Alpha Thalassemia Mental Retardation Syndrome，ATRX)缺失和Notch信号 通路等。
例如，在目标部位是目标对象的肺部的情况下，肺部肿瘤可以包括以下至少之一：小细胞肺肿瘤和非小细胞肺肿瘤等。与非小细胞肺肿瘤对应的多突变基因可以包括以下至少两个：EGFR(Epidermal Growth Factor Receptor，表皮生长因子受体)突变和KRAS(V-Ki-ras2 Kirsten Ratsarcoma Viral Oncogene Homolog)突变等。
例如，在目标部位是目标对象的结直肠的情况下，与结直肠肿瘤对应的多突变基因可以包括以下至少两个：KRAS突变、NRAS突变和BRAF突变等。
根据本公开的实施例，可以利用图像分割方法处理目标部位的目标医学图像，得到目标图像分割结果。例如，图像分割方法可以包括以下至少之一：传统图像分割方法和基于深度学习的图像分割方法。传统图像分割方法可以包括以下至少之一：基于基于模糊聚类的图像分割方法、基于阈值的图像分割方法、基于区域生长的图像分割方法和基于形变的图像分割方法等。基于深度学习的图像分割方法可以包括以下至少之一：基于编码器-解码器的深度学习模型和基于全卷积神经网络的深度学习模型。基于编码器-解码器的深度学习模型可以包括以下至少之一：基于Transformer(即转换器)的深度学习模型和基于卷积神经网络的深度学习模型。编码器-解码器可以包括以下之一：对称编码器-解码器和非对称编码器-解码器。基于Transformer的深度学习模型和基于全卷积神经网络的深度学习模型的模型架构可以包括以下之一：U型模型架构和V型模型架构。例如，深度学习模型可以包括以下至少之一：U-Net、D-LinkNet和MDU-Net(即Multi-scale Densely Connected U-Net)。
根据本公开的实施例，利用深度学习的图像分割方法处理目标医学图像，得到目标图像分割结果，可以包括：可以利用图像分割模型处理目标医学图像，得到目标图像分割结果。图像分割模型可以是利用第一样本医学图像训练第一深度学习模型得到的。第一深度学习模型的模型结构可以根据实际业务需求进行配置，在此不作限定。
根据本公开的实施例，可以将目标医学图像分割结果和目标医学图像中的预定模态的医学图像进行融合，得到目标融合数据。可以对目标融合数据进行处理，得到目标多突变检测结果。
根据本公开的实施例，根据目标图像分割结果可以较为准确体现发生突变的组织位置，在此基础上，根据目标图像分割结果和目标医学图像中的预定模态的医学 图像，得到目标融合数据，再根据目标融合数据，得到目标多突变检测结果，实现了图像分割和多突变检测的联合，由此，提高了突变检测的全面性和准确性。此外，由于是无创检测方法，因此，无需获取目标部位的组织样本，由此，不受组织样本的获取耗时和测序难度的影响，进而降低了检测耗时和检测成本。
根据本公开的实施例，目标部位可以包括脑部。目标多突变检测结果可以包括以下至少两个：目标IDH突变检测结果、目标染色体1p/19q联合缺失突变检测结果、目标TERT突变检测结果和目标MGMT启动子区甲基化突变检测结果。
根据本公开的实施例，IDH是存在于糖代谢中的较为重要的蛋白质，它催化异柠檬氧化脱羧成α-酮戊二酸(即α-KG)。在上述过程中产生还原型烟酰胺腺嘌呤二核苷酸磷酸(Nicotinamide Adenine Dinucleotide Phosphate，NADPH)和NADH中的之一。α-KG是控制组蛋白修饰的多种双加氧酶的底物，它在调节谷氨酸生成和细胞对氧化和能量应激的反应中起着重要作用。IDH突变可以导致D-2羟基戊二酸(即D-2-HG)的异常产生和积累，导致细胞能量学和甲基化组改变。目标IDH突变检测结果可以包括以下至少一：目标IDH突变型检测结果和目标IDH野生型检测结果。
根据本公开的实施例，染色体1p/19q联合性缺失可以指1号染色体短臂和19号染色体长臂同时缺失。染色体1p/19q联合缺失与少突胶质瘤高度相关，是其分子标志物。染色体1p/19q联合性缺失与IDH基因突变相关，即如果存在染色体1p/19q，则存在IDH基因突变。目标染色体1p/19q联合缺失突变检测结果可以包括以下之一：目标染色体1p/19q联合缺失检测结果和目标染色体1p/19q未联合缺失检测结果。
根据本公开的实施例，端粒酶是具有逆转录活性的核糖核蛋白聚合酶。端粒酶的活性可以取决于具有催化活性的TERT的转录调节。端粒酶的活性与TERT的表达呈正相关。TERT启动子突变可以导致端粒酶激活，使得细胞永生化。目标TERT突变检测结果可以包括以下之一：目标TERT突变型检测结果和目标TERT野生型检测结果。
根据本公开的实施例，MGMT可以是一种DNA修复蛋白，可以用于移除DNA上鸟嘌呤氧6位点致突变的烷基加合物，使受损的鸟嘌呤恢复，从而能够保护细胞免疫受烷化剂的损伤。正常组织的CpG位点处于非甲基化状态，MGMT启动子区甲基化将引起MGMT表达缺失，导致细胞的MGMT的含量降低和DNA修复受阻。MGMT启动子区甲基化可以是脑胶质瘤发生和发展的机制之一。目标MGMT启动 子区甲基化突变检测结果可以包括以下之一：目标MGMT启动子区甲基化检测结果和目标MGMT启动子区未甲基化检测结果。
根据本公开的实施例，已有临床研究证明，多突变基因的状态将影响对象的生存时长。例如，目标IDH突变型比目标IDH野生型的预后效果好。染色体1p/19q联合性缺失的生存期较长。
根据本公开的实施例，基于丰富的目标多模态医学图像实现了脑胶质瘤的目标IDH突变、目标染色体1p/19q联合缺失、目标TERT突变和MGMT启动子区甲基化的较为高精度的多突变检测。
根据本公开的实施例，上述目标检测方法还可以包括如下操作。
对原始医学图像进行预处理，得到目标医学图像。
根据本公开的实施例，预处理可以包括以下至少之一：图像裁剪、重采样和数据标准化。数据标准化可以包括零均值标准化。
根据本公开的实施例，原始医学图像可以包括至少一个模态的医学图像。可以对原始医学图像进行图像裁剪，得到包括目标部位的目标组织的目标医学图像。例如，可以根据原始医学图像包括的至少一个模态的医学图像，确定与至少一个模态各自对应的第一边界框，得到至少一个第一边界框。确定至少一个第一边界框的并集区域，得到第一目标边界框。利用第一目标边界框对原始医学图像包括的至少一个模态的医学图像进行图像裁剪，得到目标医学图像。例如，可以将原始医学图像中第一目标边界框所在的区域的像素值设置为第一预定像素值。将原始医学图像中第一目标边界框以外的区域的像素值设置为第二预定像素值。第一预定像素值和第二预定像素值可以根据实际业务需求进行配置，在此不作限定。例如，第一预定像素值可以是1。第二预定像素值可以是0。此外，可以对原始医学图像进行数据标准化，得到目标医学图像。
根据本公开的实施例，可以对原始医学图像进行重采样，得到目标医学图像。在目标医学图像包括多个的情况下，多个目标医学图像各自的体素(Volume Pixel，体积元素)所表征的实际物理空间一致。
根据本公开的实施例，原始医学图像可以包括至少一个模态的医学图像。可以对原始医学图像进行图像裁剪，得到第一中间医学图像。可以对第一中间医学图像进行数据标准化，得到目标医学图像。
根据本公开的实施例，可以对原始医学图像进行图像裁剪，得到第二中间医学图像。可以对第二中间医学图像进行重采样，得到第三中间医学图像。可以对第三中间医学图像进行数据标准化，得到目标医学图像。
根据本公开的实施例，由于可以对目标医学图像进行处理得到目标图像分割结果，目标医学图像是对原始医学图像进行预处理得到的，预处理可以包括以下至少之一：图像裁剪、重采样和数据标准化，因此，能够提高图像分割结果的准确性。此外，经图像裁剪之后，可以实现在有效保证图像分割结果和多突变检测结果的准确性的基础上，减少图像尺寸，提高计算效率。
根据本公开的实施例，操作S210可以包括如下操作。
根据目标部位的目标医学图像，得到至少一个尺度的目标图像特征数据。根据至少一个尺度的目标图像特征数据，得到目标图像分割结果。
根据本公开的实施例，可以对目标医学图像进行特征提取，得到至少一个尺度的目标图像特征数据。例如，第一深度学习模型可以包括下采样模块和上采样模块。可以利用第一深度学习模型的下采样模块处理目标医学图像，得到至少一个尺度的目标图像特征数据。下采样模块可以包括以下之一：第一卷积神经网络和基于Transformer的编码器。Transformer可以包括视觉Transformer。视觉Transformer可以包括以下至少之一：Vision Transformer和Swin Transformer。第一卷积神经网络可以包括以下至少之一：ResNet(Residual Neural Network，残差神经网络)、VGGNet(Visual Geometry Group Network，视觉几何群网络)、WideResNet(Wide Residual Network，宽残差网络)和DenseNet(Dense Neural Network，稠密神经网络)。
根据本公开的实施例，下采样模块可以包括至少一个级联的下采样单元。在下采样模块包括基于Transformer的编码器的情况下，下采样单元可以包括第一卷积子单元和池化子单元。第一卷积子单元可以包括至少一个第一卷积层。池化子单元可以包括至少一个池化层。医学图像依次经由至少一个级联的下采样单元，每通过一个下采样单元得到的与图像特征数据对应的特征图的尺寸减小。下采样单元可以用于实现对与该特征提取单元对应的尺度的图像特征数据进行下采样。
根据本公开的实施例，可以对至少一个尺度的目标图像特征数据进行处理，得到目标图像分割结果。例如，可以利用上采样模块处理至少一个尺度的目标图像特征数据，得到目标图像分割结果。上采样模块可以包括至少一个级联的上采样单元。 上采样单元可以包括第二卷积子单元和上采样子单元。第二卷积子单元可以包括至少一个第二卷积层。上采样子单元可以包括以下至少之一：至少一个上采样层、至少一个转置卷积层、至少一个解池化层和至少一个线性插值层。
根据本公开的实施例，由于目标图像分割结果是根据至少一个尺度的目标图像特征数据得到的，因此，能够提高图像特征数据的丰富性，进而提高图像分割结果的准确性。此外，在目标图像是三维图像的情况下，由于三维图像图像能够提供更为准确的结构关系，因此，对目标图像进行三维图像分割能够充分利用三维图像的三维特征，提高图像分割结果的准确性。
根据本公开的实施例，至少一个尺度可以包括J个尺度。
根据本公开的实施例，根据至少一个尺度的目标图像特征数据，得到目标图像分割结果，可以包括如下操作。
在1≤j＜J的情况下，根据第j尺度的目标图像特征数据和上采样图像特征数据，得到第j尺度的融合图像特征数据。根据第1尺度的融合图像特征数据，得到目标图像分割结果。
根据本公开的实施例，J可以是大于或等于1的整数。j可以是大于或等于1且小于或等于J的整数。J的数值可以根据实际业务需求进行配置，在此不作限定。j∈{1，2，......，J-1，J}。
根据本公开的实施例，第j尺度的上采样图像特征数据可以是根据第j+1尺度的目标图像特征数据和上采样图像特征数据得到的。第j尺度的目标图像特征数据可以是根据第j-1尺度的目标图像特征数据得到的。
根据本公开的实施例，在j＝J的情况下，可以根据第j尺度的目标图像特征数据，得到第J尺度的融合图像特征数据。
根据本公开的实施例，在1＜j≤J的情况下，根据第j-1尺度的目标图像特征数据进行特征提取，得到第j尺度的第一中间图像特征数据。根据第j尺度的第一中间图像特征数据进行池化操作，得到第j尺度的目标图像特征数据。在j＝1的情况下，对目标医学图像进行特征提取，得到第1尺度的第一中间图像特征数据。根据第1尺度的第一中间图像特征数据进行池化操作，得到第1尺度的目标图像特征数据。
根据本公开的实施例，在1＜j≤J的情况下，根据第j尺度的融合图像特征数据进行特征提取，得到第j尺度的第二中间图像特征数据。对第j尺度的第二中间图像特征数据进行上采样操作，得到第j尺度的上采样图像特征数据。
根据本公开的实施例，在j＝1的情况下，对第1尺度的融合图像特征数据进行特征提取，得到第1尺度的第二中间图像特征数据。将第1尺度的第二中间图像特征数据确定为目标图像分割结果。
根据本公开的实施例，可以利用U-Net处理目标医学图像，得到目标图像分割结果。备选地，可以利用D-LinkNet处理目标医学图像，得到目标图像分割结果。
根据本公开的实施例，第j尺度的融合图像特征数据是根据第j尺度的目标图像特征数据和上采样图像特征数据得到的，第j尺度的上采样图像特征数据可以使得包括深层抽象特征的低分辨率图像在保持深层抽象特征的基础上改变为高分辨率图像，在此基础上，将第j尺度的上采样图像特征数据与目标图像特征数据进行融合，根据第1尺度的融合图像特征数据得到目标图像分割结果，能够提高图像分割结果的准确性。
根据本公开的实施例，至少一个尺度可以包括K个尺度。
根据本公开的实施例，根据至少一个尺度的目标图像特征数据，得到目标图像分割结果，可以包括如下操作。
在1≤k＜K的情况下，根据第k尺度的目标图像特征数据、第k-1尺度的目标图像特征数据、第k+1尺度的目标图像特征数据和第k尺度的上采样图像特征数据，得到第k尺度的融合图像特征数据。根据第1尺度的融合图像特征数据，得到所述目标图像分割结果。
根据本公开的实施例，K可以是大于或等于1的整数。k可以是大于或等于1且小于或等于K的整数。K的数值可以根据实际业务需求进行配置，在此不作限定。k∈{1，2，......，K-1，K}。
根据本公开的实施例，第k尺度的上采样图像特征数据可以是根据第k+1尺度的目标图像特征数据、第k尺度的目标图像特征数据和第k+2尺度的目标图像特征数据和第k+1尺度的上采样图像特征数据得到的。第k尺度的目标图像特征数据可以是根据第k-1尺度的目标图像特征数据得到的。
根据本公开的实施例，第k尺度的目标图像特征数据可以是对第k-1尺度的目标特征数据进行特征提取得到的。
根据本公开的实施例，可以利用MDU-Net处理目标医学图像，得到目标图像分割结果。MDU-Net是以UNet作为网络骨架，融合了相邻的上下尺度的目标图像特征数据，加强了特征在当前尺度的传播。
根据本公开的实施例，目标医学图像可以包括目标多模态医学图像。目标多模态医学图像可以包括多个模态的医学图像。
根据本公开的实施例，操作S220可以包括如下操作。
根据目标图像分割结果和目标多模态医学图像中的第一预定模态的医学图像，得到第一目标肿瘤区域特征数据。根据第一目标肿瘤区域特征数据和目标多模态医学图像中的第二预定模态的医学图像，得到目标融合数据。
根据本公开的实施例，第一预定模态的医学图像可以指能够较为清楚地显示肿瘤的形态、大小和位置的图像。第二预定模态的医学图像可以指能够较为清楚地显示解剖特征的图像。
根据本公开的实施例，可以确定目标图像分割结果和第一预定模态的医学图像的交集区域，得到第一目标肿瘤区域特征数据。可以将第一目标肿瘤区域特征数据和第二预定模态的医学图像进行融合，得到目标融合数据。
根据本公开的实施例，由于各个模态的医学图像彼此之间存在交叉和互补，因此，利用目标多模态医学图像进行图像分割和目标检测，能够提高图像分割结果和目标检测结果的准确性。此外，通过将目标图像分割结果和第一预定模态的医学图像的交集区域作为第一目标肿瘤区域特征数据，能够降低第一目标肿瘤区域特征数据的冗余性。
根据本公开的实施例，目标多模态医学图像可以包括目标多模态磁共振图像。第一预定模态的医学图像可以包括T2模态图像。第二预定模态的医学图像可以包括T1模态图像。
根据本公开的实施例，MRI可以对对象的软组织进行较高分辨率和较高对比度的成像，还可以进行较大视野和多方位的观测，能够有效区分肿瘤区域和正常区域。在MRI中，可以通过配置参数来获得各个对比度的序列成像，各个序列成像具有各自的特性，可以突出各自对应的区域。序列成像可以称为模态图像。由于各个组 织的大小、形态和密度等差异性较大，因此，如果利用单一模态的MRI图像难以区分各个组织，由此，可以利用多模态MRI图像可以为相应任务提供互补的和更加精准的信息。
根据本公开的实施例，多模态MRI图像可以包括以下至少两个：TI模态图像、T2模态图像、T1CE模态图像和FLAIR模态图像。T1模态图像可以是利用T1造影剂进行造影得到的图像。T1可以指组织中水分子的弛豫时间成纵向。T1造影剂可以通过增强图像信号来恢复扫描层面的正向图像，可以通过加入不同金属元素以增强图像清晰度。T1模态图像是一种正向MRI图像，具有不同纵向弛豫时刻的组织的图像有较为明显的差别。可以通过T1模态图像得到各个断层的解剖结构。
根据本公开的实施例，T2模态图像可以是利用T2造影剂进行造影得到的图像。T2可以指组织中水分子的弛豫时间成横向。由于肿瘤区域受造影剂影响较小，正常区域受造影剂影响较大，因此，可以通过T2模态图像确定肿瘤区域。
根据本公开的实施例，T1CE模态图像可以是在T1造影剂中添加金属钆来得到的图像。T1CE模态图像中亮的区域供血丰富，而肿瘤区域是血流较快的区域。可以通过T1CE模态图像来确定肿瘤坏死区和增强区的结构。
根据本公开的实施例，FLAIR模态图像可以是通过在自旋波前施加角度相反的反转脉冲，使磁化矢量的方向发生反转，并通过停止反转脉冲重新恢复磁化矢量得到的图像。由于FLAIR模态图像中肿瘤区域的深度值与正常区域的深度值具有较为明显的差异，因此，可以将FLAIR模态图像作为肿瘤区域定位和轮廓确定的依据。
根据本公开的实施例，目标医学图像可以包括目标单模态医学图像。目标单模态医学图像可以包括一个模态的医学图像。
根据本公开的实施例，操作S220可以包括如下操作。
根据目标图像分割结果和目标单模态医学图像，得到第二目标肿瘤区域特征数据。将第二目标肿瘤区域特征数据确定为目标融合数据。
根据本公开的实施例，单模态医学图像可以包括CT图像。可以确定目标图像分割结果和目标单模态医学图像的交集区域，得到第二目标肿瘤区域特征数据。
根据本公开的实施例，操作S230可以包括如下操作。
基于多个第一突变处理策略中的每个第一突变处理策略处理目标融合数据，得到多个第一突变处理策略各自的目标突变检测结果。根据多个第一突变处理策略各自的目标突变检测结果，得到目标多突变检测结果。
根据本公开的实施例，第一突变处理策略可以指用于获得突变检测结果的策略。每个第一突变处理策略可以用于处理与该第一突变处理策略对应的基因突变。第一突变处理策略与基因突变之间可以是一一对应的。
根据本公开的实施例，针对多个第一突变处理策略中的每个第一突变处理策略，可以利用该第一突变处理策略处理目标融合数据，得到与该第一突变处理策略对应的目标突变检测结果。例如，可以利用与该第一突变处理策略对应的第一人工智能模型来处理目标融合数据，得到与该第一突变处理策略对应的目标检测结果。第一人工智能模型可以包括以下至少之一：第一机器学习模型和第二深度学习模型。第一人工智能模型可以是利用第二样本医学图像和第二样本医学图像的样本突变检测结果训练得到的。
根据本公开的实施例，操作S230可以包括如下操作。
基于第一单一突变处理策略处理目标融合数据，得到目标多突变检测结果。
根据本公开的实施例，可以利用同一突变处理策略来获得各个基因突变的目标突变检测结果。例如，可以利用与第一单一突变处理策略对应的第二人工智能模型来处理目标融合数据，得到目标多突变检测结果。第二人工智能模型可以包括以下至少之一：第二机器学习模型和第三深度学习模型。第二人工智能模型可以是利用第三样本医学图像和第三样本医学图像的样本多突变检测结果训练得到的。
根据本公开的实施例，操作S230可以包括如下操作。
基于第二单一突变处理策略处理目标融合数据，得到中间特征数据。基于多个第二突变处理策略中的每个第二突变处理策略处理中间特征数据，得到多个第二突变处理策略各自的目标突变检测结果。根据多个第二突变处理策略各自的目标突变检测结果，得到目标多突变检测结果。
根据本公开的实施例，可以利用第二单一突变处理策略处理目标融合数据，得到中间特征数据。针对多个第二突变处理策略中的每个第二突变处理策略，可以利用该第二突变处理策略处理中间特征数据，得到与该第二突变处理策略对应的目标突变检测结果。例如，可以利用与第二单一突变处理策略对应的第三人工智能模型 来处理目标融合数据，得到中间特征数据。针对多个第二突变处理策略中的每个第二突变处理策略，可以利用与该第二突变处理策略对应的第四人工智能模型来处理中间特征数据，得到与该第二突变处理策略对应的目标检测结果。第三人工智能模型可以包括以下至少之一：第三机器学习模型和第四深度学习模型。第三人工智能模型可以是利用第四样本医学图像和第四样本医学图像的样本多突变检测结果训练得到的。第四人工智能模型可以包括以下至少之一：第四机器学习模型和第五深度学习模型。第四人工智能模型可以是利用第五样本医学图像和第五样本医学图像的样本突变检测结果训练得到的。
下面参考图3A～图3F，结合具体实施例对根据本公开实施例所述的目标检测方法做进一步说明。
图3A示意性示出了根据本公开实施例的目标检测方法的示例示意图。
如图3A所示，在300A中，根据目标部位的目标多模态医学图像301，得到至少一个尺度的目标图像特征数据302。根据至少一个尺度的目标图像特征数据302，得到目标图像分割结果303。目标多模态医学图像301可以包括第一预定模态的医学图像301_1和第二预定模态的医学图像301_2。
根据目标图像分割结果303和第一预定模态的医学图像301_1，得到第一目标肿瘤区域特征数据304。根据第一目标肿瘤区域特征数据304和第二预定模态的医学图像301_2，得到目标融合数据305。
基于多个第一突变处理策略306中的每个第一突变处理策略处理目标融合数据305，得到多个第一突变处理策略306各自的目标突变检测结果。根据多个第一突变处理策略306各自的目标突变检测结果，得到目标多突变检测结果307。
图3B示意性示出了根据本公开另一实施例的目标检测方法的示例示意图。
如图3B所示，在300B中，根据目标部位的目标多模态医学图像308，得到至少一个尺度的目标图像特征数据309。根据至少一个尺度的目标图像特征数据309，得到目标图像分割结果310。目标多模态医学图像308可以包括第一预定模态的医学图像308_1和第二预定模态的医学图像308_2。
根据目标图像分割结果310和第一预定模态的医学图像308_1，得到第一目标肿瘤区域特征数据311。根据第一目标肿瘤区域特征数据311和第二预定模态的医学图像308_2，得到目标融合数据312。
基于第一单一突变处理策略313处理目标融合数据312，得到目标多突变检测结果314。
图3C示意性示出了根据本公开另一实施例的目标检测方法的示例示意图。
如图3C所示，在300C中，根据目标部位的目标多模态医学图像315，得到至少一个尺度的目标图像特征数据316。根据至少一个尺度的目标图像特征数据316，得到目标图像分割结果317。目标多模态医学图像315可以包括第一预定模态的医学图像315_1和第二预定模态的医学图像315_2。
根据目标图像分割结果316和第一预定模态的医学图像315_1，得到第一目标肿瘤区域特征数据318。根据第一目标肿瘤区域特征数据318和第二预定模态的医学图像315_2，得到目标融合数据319。
基于第二单一突变处理策略320处理目标融合数据319，得到中间特征数据320。
基于多个第二突变处理策略321中的每个第二突变处理策略处理中间特征数据320，得到多个第二突变处理策略321各自的目标突变检测结果。根据多个第二突变处理策略321各自的目标突变检测结果，得到目标多突变检测结果322。
图3D示意性示出了根据本公开另一实施例的目标检测方法的示例示意图。
如图3D所示，在300D中，根据目标部位的目标单模态医学图像323，得到至少一个尺度的目标图像特征数据324。根据至少一个尺度的目标图像特征数据3324，得到目标图像分割结果325。
根据目标图像分割结果325，得到第二目标肿瘤区域特征数据326。将第二目标肿瘤区域特征数据326确定为目标融合数据327。
基于多个第一突变处理策略328中的每个第一突变处理策略处理目标融合数据327，得到多个第一突变处理策略328各自的目标突变检测结果。根据多个第一突变处理策略328各自的目标突变检测结果，得到目标多突变检测结果329。
图3E示意性示出了根据本公开另一实施例的目标检测方法的示例示意图。
如图3E所示，在300E中，根据目标部位的目标单模态医学图像330，得到至少一个尺度的目标图像特征数据331。根据至少一个尺度的目标图像特征数据331，得到目标图像分割结果332。
根据目标图像分割结果332，得到第二目标肿瘤区域特征数据333。将第二目标肿瘤区域特征数据333确定为目标融合数据334。
基于第一单一突变处理策略335处理目标融合数据334，得到目标多突变检测结果336。
图3F示意性示出了根据本公开另一实施例的目标检测方法的示例示意图。
如图3F所示，在300F中，根据目标部位的目标单模态医学图像337，得到至少一个尺度的目标图像特征数据338。根据至少一个尺度的目标图像特征数据338，得到目标图像分割结果339。
根据目标图像分割结果339，得到第二目标肿瘤区域特征数据340。将第二目标肿瘤区域特征数据340确定为目标融合数据341。
基于第二单一突变处理策略342处理目标融合数据341，得到中间特征数据343。
基于多个第二突变处理策略344中的每个第二突变处理策略处理中间特征数据343，得到多个第二突变处理策略344各自的目标突变检测结果。根据多个第二突变处理策略344各自的目标突变检测结果，得到目标多突变检测结果345。
下面以目标医学图像为目标多模态MRI图像，目标部位为脑部，目标多突变检测结果包括目标IDH突变检测结果、目标染色体1p/19q联合缺失突变检测结果、目标TERT突变检测结果和目标MGMT启动子区甲基化突变检测结果为例，参考图4A～4D，结合具体实施例对根据本公开实施例所述的目标检测方法做进一步说明。
图4A示意性示出了根据本公开实施例的目标多模态MRI图像的示例示意图。
如图4A所示，在400A中，目标多模态MRI图像401可以包括目标T1模态图像401_1、目标T2模态图像401_2、目标T1CE模态图像401_3和目标FLAIR模态图像401_4。
图4B示意性示出了根据本公开实施例的目标检测方法的示例示意图。
如图4B所示，在400B中，根据目标部位的目标多模态MRI图像402，得到至少一个尺度的目标图像特征数据403。根据至少一个尺度的目标图像特征数据403，得到目标图像分割结果404。目标多模态MRI图像402可以包括T2模态医学图像402_1和T1模态的医学图像402_2。
根据目标图像分割结果404和T2模态图像402_1，得到第一目标肿瘤区域特征数据405。根据第一目标肿瘤区域特征数据405和T1模态图像402_2，得到目标融合数据406。
基于第一IDH突变处理策略407处理目标融合数据406，得到目标IDH突变检测结果411。基于第一染色体1p/19q突变处理策略408处理目标融合数据406，得到目标染色体1p/19q突变检测结果412。基于第一TERT突变处理策略409处理目标融合数据406，得到目标TERT突变检测结果413。基于第一MGMT突变处理策略410处理目标融合数据406，得到目标MGMT突变检测结果414。
根据目标IDH突变检测结果411、目标染色体1p/19q突变检测结果412、目标TERT突变检测结果413和目标MGMT突变检测结果414，得到目标多突变检测结果415。
图4C示意性示出了根据本公开另一实施例的目标检测方法的示例示意图。
如图4C所示，在400C中，根据目标部位的目标多模态MRI图像416，得到至少一个尺度的目标图像特征数据417。根据至少一个尺度的目标图像特征数据417，得到目标图像分割结果418。目标多模态MRI图像416可以包括T2模态医学图像416_1和T1模态的医学图像416_2。
根据目标图像分割结果418和T2模态图像416_1，得到第一目标肿瘤区域特征数据419。根据第一目标肿瘤区域特征数据419和T1模态图像416_2，得到目标融合数据420。
基于第一单一突变处理策略421处理目标融合数据420，得到目标IDH突变检测结果422、目标染色体1p/19q突变检测结果423、目标TERT突变检测结果424和目标MGMT突变检测结果425。
根据目标IDH突变检测结果422、目标染色体1p/19q突变检测结果423、目标TERT突变检测结果424和目标MGMT突变检测结果425，得到目标多突变检测结果426。
需要说明的是，如果IDH野生型突变和IDH突变型突变分别用0和1表征、染色体1p/19q未缺失和染色体1p/19q联合缺失分别用0和1表征、TERT野生型突变和TERT突变型突变分别用0和1表征、MGMT启动子区未甲基化和MGMT启动子区甲基化分别用0和1表征，则目标多突变检测结果可以包括以下之一：0000、0001、0010、0011、1000、1001、1010、1011、1100、1101、1110和1111。
图4D示意性示出了根据本公开另一实施例的目标检测方法的示例示意图。
如图4D所示，在400D中，根据目标部位的目标多模态MRI图像427，得到至少一个尺度的目标图像特征数据428。根据至少一个尺度的目标图像特征数据428，得到目标图像分割结果429。目标多模态MRI图像427可以包括T2模态医学图像427_1和T1模态的医学图像427_2。
根据目标图像分割结果428和T2模态图像427_1，得到第一目标肿瘤区域特征数据430。根据第一目标肿瘤区域特征数据430和T1模态图像427_2，得到目标融合数据431。
基于第二单一突变处理策略432处理目标融合数据431，得到中间特征数据433。
基于第二IDH突变处理策略434处理中间特征数据433，得到目标IDH突变检测结果438。基于第二染色体1p/19q突变处理策略435处理中间特征数据433，得到目标染色体1p/19q突变检测结果439。基于第二TERT突变处理策略436处理中间特征数据433，得到目标TERT突变检测结果440。基于第二MGMT突变处理策略437处理中间特征数据433，得到目标MGMT突变检测结果441。
根据目标IDH突变检测结果438、目标染色体1p/19q突变检测结果439、目标TERT突变检测结果440和目标MGMT突变检测结果441，得到目标多突变检测结果442。
图5示意性示出了根据本公开实施例的深度学习模型的训练方法的流程图。
如图5所示，该方法500包括操作设S510～S540。
在操作S510，根据样本部位的样本医学图像，得到样本图像分割结果。
在操作S520，根据样本图像分割结果和样本医学图像中的预定模态的医学图像，得到样本融合数据。
在操作S530，根据样本融合数据，得到样本多突变检测结果。
在操作S540，利用样本图像分割结果、样本医学图像的样本图像分割标签、样本多突变检测结果和样本医学图像的样本多突变标签训练深度学习模型。
根据本公开的实施例，样本图像分割标签可以指样本医学图像的真实分割结果。样本多突变标签可以指样本医学图像的真实多突变结果。
根据本公开的实施例，可以基于损失函数，根据样本图像分割结果、样本医学图像的样本图像分割标签、样本多突变检测结果和样本医学图像的样本多突变标签， 得到输出值。根据输出值调整深度学习模型的模型参数，得到用于实现多突变检测的目标检测模型。
根据本公开的实施例，针对样本部位、样本医学图像、样本图像分割结果、样本融合数据和样本多突变检测结果的说明，可以参见上文针对目标部位、目标医学图像、目标图像分割结果、目标融合数据和目标多突变检测结果的相关内容，在此不再赘述。
根据本公开的实施例，通过利用样本图像分割结果、样本医学图像的样本图像分割标签、样本多突变检测结果和样本医学图像的样本多突变标签训练深度学习模型，实现了图像分割与多突变检测的联合训练。并且，由于对多个基因突变进行检测，能够利用突变之间的相互影响，因此，提高了深度学习模型的预测精度。
根据本公开的实施例，样本医学图像可以包括至少一个模态的医学图像。
根据本公开的实施例，操作S540可以包括如下操作。
基于第一损失函数，根据样本图像分割结果和样本医学图像的样本图像分割标签，得到第一输出值。基于第二损失函数，根据样本多突变检测结果和样本医学图像的样本多突变标签，得到第二输出值。根据输出值调整深度学习模型的模型参数。
根据本公开的实施例，输出值可以是根据第一输出值和第二输出值确定的。
根据本公开的实施例，第一损失函数可以指用于实现图像分割的损失函数。第一损失函数的形式可以根据实际业务需求进行配置，在此不作限定。例如，第一损失函数可以包括相似度损失函数。相似度损失函数可以包括DICE损失函数。
根据本公开的实施例，第二损失函数可以指用于实现突变检测的损失函数。第二损失函数的形式可以根据实际业务需求进行配置，在此不作限定。例如，第二损失函数可以包括交叉熵损失函数。
根据本公开的实施例，可以将样本图像分割结果和样本医学图像的样本图像分割标签输入第一损失函数，得到第一输出值。可以将样本多突变检测结果和样本医学图像的样本多突变标签输入第二损失函数，得到第二输出值。每个突变类别可以具有与该类别的基因突变对应的第二损失函数。备选地，各个突变类别具有同一第二损失函数。
根据本公开的实施例，第一损失函数可以根据如下公式(1)确定。
根据本公开的实施例，L
1可以表征第一损失函数。p
ni可以表征样本医学图像的第i个样本医学图像块的第n个分割类别的样本图像分割结果。g
ni可以表征样本医学图像的第i个样本医学图像块的第n个分割类别的样本图像分割标签。N可以表征分割类别的数目。I可以表征每个样本医学图像包括的样本医学图像块的数目。N可以是大于或等于1的整数。I可以是大于或等于1的整数。n∈{1，2，......，N-1，N}。i∈{1，2，......，I-1，I}。
根据本公开的实施例，第二损失函数可以根据如下公式(2)和(3)确定。
L
2m＝-[y
mlog y′
m+(1-y
m)log(1-y′
m)] (3)
根据本公开的实施例，L
2可以表征第二损失函数。L
2m可以表征与第m个突变类别对应的第二损失函数。y′
m可以表征样本医学图像的第m个突变类别的样本突变检测结果。y
m可以表征样本医学图像的第m个突变类别的样本突变标签。M可以表征突变类别的数目。M可以是大于或等于1的整数。m∈{1，2，......，M-1，M}。
根据本公开的实施例，第二损失函数可以根据如下公式(4)确定。
根据本公开的实施例，L
2可以表征第二损失函数。w
m可以表征与样本医学图像对应的第m个突变类别的权重。y′
m可以表征样本医学图像的第m个突变类别的 样本多突变检测结果。y
m可以表征样本医学图像的第m个突变类别的样本多突变标签。M可以表征突变类别的数目。m∈{1，2，......，M-1，M}。
根据本公开的实施例，损失函数可以根据如下公式(5)确定。
L＝αL
1+(1-α)L
2 (5)
根据本公开的实施例，L可以表征损失函数。α可以表征第一预定参数。α可以根据实际业务需求进行配置，在此不作限定。
根据本公开的实施例，操作S530可以包括如下操作。
基于多个第一突变处理策略中的每个第一突变处理策略处理样本融合数据，得到多个第一突变处理策略各自的样本突变检测结果。根据多个第一突变处理策略各自的样本突变检测结果，得到样本多突变检测结果。
根据本公开的实施例，输出值可以是根据第一输出值、第二输出值和第三输出值确定的。
根据本公开的实施例，上述深度学习模型的训练方法还可以包括如下操作。
基于第三损失函数，根据与预定突变处理策略对应的样本突变检测结果和样本突变标签，得到第三输出值。
根据本公开的实施例，预定突变处理策略可以指具有矛盾关系的突变处理策略。例如，针对样本IDH突变检测结果和样本染色体1p/19q联合缺失检测结果，由于如果IDH突变，则存在染色体1p/19q联合缺失，因此，样本多突变检测结果不包括样本IDH突变型检测结果和样本染色体1p/19q未缺失。
根据本公开的实施例，可以将与预定突变处理策略对应的样本突变检测结果和样本突变标签输入第三损失函数，得到第三输出值。
根据本公开的实施例，第三损失函数可以根据如下公式(6)确定。
L
3＝β(L
2s×L
2q) (6)
根据本公开的实施例，L
3可以表征第三损失函数。β可以表征第二预定参数。β可以根据实际业务需求进行配置，在此不作限定。例如，β＝10。L
2s可以表征 与第s个突变类别对应的第二损失函数。L
2q可以表征与第q个突变类别对应的第二损失函数。s≠q。L
2s和L
2q可以根据公式(3)确定。
根据本公开的实施例，损失函数可以根据如下公式(7)确定。
L＝αL
1+(1-α)L
2+L
3 (7)
根据本公开的实施例，L可以表征损失函数。
根据本公开的实施例，通过增加与预定突变处理策略对应的样本突变检测结果对深度学习模型的模型参数的影响，提高了深度学习模型的预测精度。
根据本公开的实施例，操作S530可以包括如下操作。
基于第一单一突变处理策略处理样本融合数据，得到样本多突变检测结果。
根据本公开的实施例，操作S530可以包括如下操作。
基于第二单一突变处理策略处理样本融合数据，得到中间样本特征数据。基于多个第二突变处理策略中的每个第二突变处理策略处理中间样本特征数据，得到多个第二突变处理策略各自的样本突变检测结果。根据多个第二突变处理策略各自的样本突变检测结果，得到样本多突变检测结果。
根据本公开的实施例，操作S510可以包括如下操作。
根据样本部位的样本医学图像，得到至少一个尺度的样本图像特征数据。根据至少一个尺度的样本图像特征数据，得到样本图像分割结果。
根据本公开的实施例，至少一个尺度可以包括J个尺度。
根据本公开的实施例，根据至少一个尺度的样本图像特征数据，得到样本图像分割结果，可以包括如下操作。
在1≤j＜J的情况下，根据第j尺度的样本图像特征数据和上采样图像特征数据，得到第j尺度的融合图像特征数据。
根据第1尺度的融合图像特征数据，得到所述样本图像分割结果。
根据本公开的实施例，J是大于或等于1的整数。第j尺度的上采样图像特征数据可以是根据第j+1尺度的样本图像特征数据和上采样图像特征数据得到的。第j尺度的样本图像特征数据可以是根据第j-1尺度的样本图像特征数据得到的。J可以是大于或等于1且小于或等J的整数。
根据本公开的实施例，所述至少一个尺度可以包括K个尺度。
根据本公开的实施例，所述根据所述至少一个尺度的样本图像特征数据，得到所述样本图像分割结果，可以包括如下操作。
在1≤k＜K的情况下，根据第k尺度的样本图像特征数据、第k-1尺度的样本图像特征数据、第k+1尺度的样本图像特征数据和第k尺度的上采样图像特征数据，得到第k尺度的融合图像特征数据。
根据第1尺度的融合图像特征数据，得到所述样本图像分割结果。
根据本公开的实施例，K可以是大于或等于1的整数。所述第k尺度的上采样图像特征数据可以是根据第k+1尺度的样本图像特征数据、第k尺度的样本图像特征数据和第k+2尺度的样本图像特征数据和第k+1尺度的上采样图像特征数据得到的。第k尺度的样本图像特征数据可以是根据第k-1尺度的样本图像特征数据得到的，k是大于或等于1且小于或等于K的整数。
根据本公开的实施例，上述深度学习模型的训练方法还可以包括如下操作。
对原始样本医学图像进行预处理，得到样本医学图像。
根据本公开的实施例，预处理可以包括以下至少之一：图像裁剪、重采样和数据标准化。数据标准化可以包括零均值标准化。原始样本医学图像可以包括至少一个模态的医学图像。可以对原始样本医学图像进行图像裁剪，得到包括样本部位的样本组织的样本医学图像。例如，可以根据原始样本医学图像包括的至少一个模态的医学图像，确定与至少一个模态各自对应的第二边界框，得到至少一个第二边界框。确定至少一个第二边界框的并集区域，得到第二目标边界框。利用第二目标边界框对原始样本医学图像包括的至少一个模态的医学图像进行图像裁剪，得到样本医学图像。例如，可以将原始样本医学图像中第二目标边界框所在的区域的像素值设置为第一预定像素值。将原始样本医学图像中第二目标边界框以外的区域的像素值设置为第二预定像素值。此外，可以对原始样本医学图像进行数据标准化，得到样本医学图像。
根据本公开的实施例，可以对原始样本医学图像进行重采样，得到样本医学图像。在样本医学图像包括多个的情况下，多个样本医学图像各自的体素所表征的实际物理空间一致。
根据本公开的实施例，原始样本医学图像可以包括至少一个模态的医学图像。可以对原始样本医学图像进行图像裁剪，得到第一中间样本医学图像。可以对第一 中间样本医学图像进行数据标准化，得到样本医学图像。
根据本公开的实施例，可以对原始样本医学图像进行图像裁剪，得到第二中间样本医学图像。可以对第二中间样本医学图像进行重采样，得到第三中间样本医学图像。可以对第三中间样本医学图像进行数据标准化，得到样本医学图像。
根据本公开的实施例，样本部位可以包括脑部。样本多突变检测结果可以包括以下至少两个：样本异柠檬酸脱氢酶突变检测结果、样本染色体1p/19q联合缺失突变检测结果、样本端粒酶逆转录酶突变检测结果和样本O
6-甲基鸟嘌呤-DNA甲基转移酶启动子区甲基化突变检测结果。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
以上仅是示例性实施例，但不限于此，还可以包括本领域已知的其他目标检测方法和深度学习模型的训练方法，只要能够提高目标多突变检测结果和目标图像分割结果的准确性即可。
图6示意性示出了根据本公开的实施例的目标检测装置的框图。
如图6所示，目标检测装置600可以包括第一获得模块610、第二获得模块620和第三获得模块630。
第一获得模块610，被配置为根据目标部位的目标医学图像，得到目标图像分割结果。目标医学图像包括至少一个模态的医学图像。
第二获得模块620，被配置为根据目标医学图像分割结果和目标医学图像中的预定模态的医学图像，得到目标融合数据。
第三获得模块630，被配置为根据目标融合数据，得到目标多突变检测结果。
根据本公开的实施例，目标医学图像包括目标多模态医学图像。目标多模态医学图像包括多个模态的医学图像。
根据本公开的实施例，第二获得模块620可以包括第一获得子模块和第二获得子模块。
第一获得子模块，被配置为根据目标图像分割结果和目标多模态医学图像中的第一预定模态的医学图像，得到第一目标肿瘤区域特征数据。
第二获得子模块，被配置为根据第一目标肿瘤区域特征数据和目标多模态医学图像中的第二预定模态的医学图像，得到目标融合数据。
根据本公开的实施例，目标多模态医学图像包括目标多模态磁共振图像。第一预定模态的医学图像包括T2模态图像。第二预定模态的医学图像包括T1模态图像。
根据本公开的实施例，目标医学图像包括目标单模态医学图像。目标单模态医学图像包括一个模态的医学图像。
根据本公开的实施例，第二获得模块620可以包括第三获得子模块和第四获得子模块。
第三获得子模块，被配置为根据目标图像分割结果和目标单模态医学图像，得到第二目标肿瘤区域特征数据。
第四获得子模块，被配置为将第二目标肿瘤区域特征数据确定为目标融合数据。
根据本公开的实施例，第三获得模块630可以包括第五获得子模块和第六获得子模块。
第五获得子模块，被配置为基于多个第一突变处理策略中的每个第一突变处理策略处理目标融合数据，得到多个第一突变处理策略各自的目标突变检测结果。
第六获得子模块，被配置为根据多个第一突变处理策略各自的目标突变检测结果，得到目标多突变检测结果。
根据本公开的实施例，第三获得模块630可以包括第七获得子模块。
第七获得子模块，被配置为基于第一单一突变处理策略处理目标融合数据，得到目标多突变检测结果。
根据本公开的实施例，第三获得模块630可以包括第七获得子模块、第八获得子模块和第九获得子模块。
第七获得子模块，基于第二单一突变处理策略处理目标融合数据，得到中间特征数据。
第八获得子模块，用于基于多个第二突变处理策略中的每个第二突变处理策略处理中间特征数据，得到多个第二突变处理策略各自的目标突变检测结果。
第九获得子模块，用于根据多个第二突变处理策略各自的目标突变检测结果，得到目标多突变检测结果。
根据本公开的实施例，第一获得模块610可以包括第十获得子模块和第十一获得子模块。
第十获得子模块，被配置为根据目标部位的目标医学图像，得到至少一个尺度的目标图像特征数据。
第十一获得子模块，被配置为根据至少一个尺度的目标图像特征数据，得到目标图像分割结果。
根据本公开的实施例，至少一个尺度包括J个尺度。J是大于或等于1的整数。
根据本公开的实施例，第十一获得子模块可以包括第一获得单元和第二获得单元。
第一获得单元，被配置为在1≤j＜J的情况下，根据第j尺度的目标图像特征数据和上采样图像特征数据，得到第j尺度的融合图像特征数据。第j尺度的上采样图像特征数据是根据第j+1尺度的目标图像特征数据和上采样图像特征数据得到的。第j尺度的目标图像特征数据是根据第j-1尺度的目标图像特征数据得到的。j是大于或等于1且小于或等J的整数。
第二获得单元，被配置为根据第1尺度的融合图像特征数据，得到目标图像分割结果。
根据本公开的实施例，至少一个尺度包括K个尺度。K是大于或等于1的整数。
根据本公开的实施例，第十一获得子模块可以包括第三获得单元和第四获得单元。
第三获得单元，被配置为在1≤k＜K的情况下，根据第k尺度的目标图像特征数据、第k-1尺度的目标图像特征数据、第k+1尺度的目标图像特征数据和第k尺度的上采样图像特征数据，得到第k尺度的融合图像特征数据。第k尺度的上采样图像特征数据是根据第k+1尺度的目标图像特征数据、第k尺度的目标图像特征数据和第k+2尺度的目标图像特征数据和第k+1尺度的上采样图像特征数据得到的。第k尺度的目标图像特征数据是根据第k-1尺度的目标图像特征数据得到的。k是大于或等于1且小于或等于K的整数。
第七获得单元，被配置为根据第1尺度的融合图像特征数据，得到目标图像分割结果。
根据本公开的实施例，上述目标检测装置600还可以包括第四获得模块。
第四获得模块，被配置为对原始医学图像进行预处理，得到目标医学图像。
根据本公开的实施例，目标部位包括脑部。目标多突变检测结果包括以下至少两个：目标异柠檬酸脱氢酶突变检测结果、目标染色体1p/19q联合缺失突变检测结果、目标端粒酶逆转录酶突变检测结果和目标O
6-甲基鸟嘌呤-DNA甲基转移酶启动子区甲基化突变检测结果。
图7示意性示出了根据本公开实施例的深度学习模型的训练装置的框图。
如图7所示，深度学习模型的训练装置700可以包括第五获得模块710、第六获得模块720、第七获得模块730和训练模块740。
第四获得模块710，被配置为根据样本部位的样本医学图像，得到样本图像分割结果。样本医学图像包括至少一个模态的医学图像。
第五获得模块720，被配置为根据样本图像分割结果和样本多模态医学图像中的预定模态的医学图像，得到样本融合数据。
第六获得模块730，被配置为根据样本融合数据，得到样本多突变检测结果。
训练模块740，被配置为利用样本图像分割结果、样本医学图像的样本图像分割标签、样本多突变检测结果和样本医学图像的样本多突变标签训练深度学习模型。
根据本公开的实施例，训练模块740可以包括第十二获得子模块、第十三获得子模块和调整子模块。
第十二获得子模块，被配置为基于第一损失函数，根据样本图像分割结果和样本医学图像的样本图像分割标签，得到第一输出值。
第十三获得子模块，被配置为基于第二损失函数，根据样本多突变检测结果和样本医学图像的样本多突变标签，得到第二输出值。
调整子模块，被配置为根据输出值调整深度学习模型的模型参数。输出值是根据第一输出值和第二输出值确定的。
根据本公开的实施例，第六获得模块730可以包括第十四获得子模块和第十五获得子模块。
第十四获得子模块，被配置为基于多个第一突变处理策略中的每个第一突变处理策略处理样本融合数据，得到多个第一突变处理策略各自的样本突变检测结果。
第十五获得子模块，被配置为根据多个第一突变处理策略各自的样本突变检测结果，得到样本多突变检测结果。
根据本公开的实施例，输出值是根据第一输出值、第二输出值和第三输出值确定的。
根据本公开的实施例，上述深度学习模型的训练装置700还可以包括第八获得模块。
第八获得模块，被配置为基于第三损失函数，根据与预定突变处理策略对应的样本突变检测结果和样本突变标签，得到第三输出值。
根据本公开的实施例，第六获得模块730可以包括第十六获得子模块。
第十六获得子模块，被配置为基于第一单一突变处理策略处理样本融合数据，得到样本多突变检测结果。
根据本公开的实施例，第六获得模块730可以包括第十七获得子模块、第十八获得子模块和第十九获得子模块。
第十七获得子模块，基于第二单一突变处理策略处理样本融合数据，得到中间样本特征数据。
第十八获得子模块，用于基于多个第二突变处理策略中的每个第二突变处理策略处理中间样本特征数据，得到多个第二突变处理策略各自的样本突变检测结果。
第十九获得子模块，用于根据多个第二突变处理策略各自的样本突变检测结果，得到样本多突变检测结果。
根据本公开的实施例，第四获得模块710可以包括第二十获得子模块和第二十一获得子模块。
第二十获得子模块，被配置为根据样本部位的样本医学图像，得到至少一个尺度的样本图像特征数据。
第二十一获得子模块，被配置为根据至少一个尺度的样本图像特征数据，得到样本图像分割结果。
根据本公开的实施例的模块、子模块、单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理 方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，第一获得模块610、第二获得模块620和第三获得模块630或第四获得模块710、第五获得模块720、第六获得模块730和训练模块740中的任意多个可以合并在一个模块/子模块/单元中实现，或者其中的任意一个模块/子模块/单元可以被拆分成多个模块/子模块/单元。或者，这些模块/子模块/单元中的一个或多个模块/子模块/单元的至少部分功能可以与其他模块/子模块/单元的至少部分功能相结合，并在一个模块/子模块/单元中实现。根据本公开的实施例，第一获得模块610、第二获得模块620和第三获得模块630或第四获得模块710、第五获得模块720、第六获得模块730和训练模块740中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一获得模块610、第二获得模块620和第三获得模块630或第四获得模块710、第五获得模块720、第六获得模块730和训练模块740中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
需要说明的是，本公开的实施例中目标检测装置和深度学习模型的训练装置部分与本公开的实施例中目标检测方法和深度学习模型的训练方法部分是相对应的，目标检测装置和深度学习模型的训练装置部分的描述具体参考目标检测方法和深度学习模型的训练方法部分，在此不再赘述。
图8示意性示出了根据本公开实施例的适于实现目标检测方法和深度学习模型的训练方法的电子设备的框图。图8示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，根据本公开实施例的电子设备800包括处理器801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。处理器801例如可以包括 通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 803中，存储有电子设备800操作所需的各种程序和数据。处理器801、ROM 802以及RAM 803通过总线804彼此相连。处理器801通过执行ROM 802和/或RAM 803中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 802和RAM 803以外的一个或多个存储器中。处理器801也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，电子设备800还可以包括输入/输出(I/O)接口805，输入/输出(I/O)接口805也连接至总线804。系统800还可以包括连接至I/O接口805的以下部件中的一项或多项：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者 多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 802和/或RAM 803和/或ROM 802和RAM 803以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行本公开实施例所提供的方法的程序代码，当计算机程序产品在电子设备上运行时，该程序代码用于使电子设备实现本公开实施例所提供的目标检测方法和深度学习模型的训练方法。
在该计算机程序被处理器801执行时，执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分809被下载和安装，和/或从可拆卸介质811被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供 商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。
Claims (20)
- 一种目标检测方法，包括：根据目标部位的目标医学图像，得到目标图像分割结果，其中，所述目标医学图像包括至少一个模态的医学图像；根据所述目标医学图像分割结果和所述目标医学图像中的预定模态的医学图像，得到目标融合数据；以及根据所述目标融合数据，得到目标多突变检测结果。
- 根据权利要求1所述的方法，其中，所述目标医学图像包括目标多模态医学图像，所述目标多模态医学图像包括多个模态的医学图像；其中，所述根据所述目标医学图像分割结果和所述目标医学图像中的预定模态的医学图像，得到目标融合数据，包括：根据所述目标图像分割结果和所述目标多模态医学图像中的第一预定模态的医学图像，得到第一目标肿瘤区域特征数据；以及根据所述第一目标肿瘤区域特征数据和所述目标多模态医学图像中的第二预定模态的医学图像，得到所述目标融合数据。
- 根据权利要求1所述的方法，其中，所述目标医学图像包括目标单模态医学图像，所述目标单模态医学图像包括一个模态的医学图像；其中，所述根据所述图像分割结果和所述目标医学图像中的预定模态的医学图像，得到目标融合数据，包括：根据所述目标图像分割结果和所述目标单模态医学图像，得到第二目标肿瘤区域特征数据；以及将所述第二目标肿瘤区域特征数据确定为所述目标融合数据。
- 根据权利要求1～3中任一项所述的方法，其中，所述根据所述目标融合数据，得到目标多突变检测结果，包括：基于多个第一突变处理策略中的每个第一突变处理策略处理所述目标融合数据，得到所述多个第一突变处理策略各自的目标突变检测结果；以及根据所述多个第一突变处理策略各自的目标突变检测结果，得到所述目标多突变检测结果。
- 根据权利要求1～3中任一项所述的方法，其中，所述根据所述目标融合数据，得到目标多突变检测结果，包括：基于第一单一突变处理策略处理所述目标融合数据，得到所述目标多突变检测结果。
- 根据权利要求1～3中任一项所述的方法，其中，所述根据所述目标融合数据，得到目标多突变检测结果，包括：基于第二单一突变处理策略处理所述目标融合数据，得到中间特征数据；基于多个第二突变处理策略中的每个第二突变处理策略处理所述中间特征数据，得到所述多个第二突变处理策略各自的目标突变检测结果；以及根据所述多个第二突变处理策略各自的目标突变检测结果，得到所述目标多突变检测结果。
- 根据权利要求1～3中任一项所述的方法，其中，所述根据目标部位的目标医学图像，得到目标图像分割结果，包括：根据所述目标部位的目标医学图像，得到至少一个尺度的目标图像特征数据；以及根据所述至少一个尺度的目标图像特征数据，得到所述目标图像分割结果。
- 根据权利要求7所述的方法，其中，所述至少一个尺度包括J个尺度，J是大于或等于1的整数；其中，所述根据所述至少一个尺度的目标图像特征数据，得到所述目标图像分割结果，包括：在1≤j＜J的情况下，根据第j尺度的目标图像特征数据和上采样图像特征数据，得到第j尺度的融合图像特征数据，其中，所述第j尺度的上采样图像特征数据是根据第j+1尺度的目标图像特征数据和上采样图像特征数据得到的，所述第j尺度的目标图像特征数据是根据第j-1尺度的目标图像特征数据得到的，j是大于或等于1且小于或等J的整数；以及根据第1尺度的融合图像特征数据，得到所述目标图像分割结果。
- 根据权利要求7所述的方法，其中，所述至少一个尺度包括K个尺度，K是大于或等于1的整数；其中，所述根据所述至少一个尺度的目标图像特征数据，得到所述目标图像分割结果，包括：在1≤k＜K的情况下，根据第k尺度的目标图像特征数据、第k-1尺度的目标图像特征数据、第k+1尺度的目标图像特征数据和第k尺度的上采样图像特征数据，得到第k尺度的融合图像特征数据，其中，所述第k尺度的上采样图像特征数据是根据第k+1尺度的目标图像特征数据、第k尺度的目标图像特征数据和第k+2尺度的目标图像特征数据和第k+1尺度的上采样图像特征数据得到的，所述第k尺度的目标图像特征数据是根据第k-1尺度的目标图像特征数据得到的，k是大于或等于1且小于或等于K的整数；以及根据第1尺度的融合图像特征数据，得到所述目标图像分割结果。
- 根据权利要求1～4中任一项所述的方法，其中，所述目标部位包括脑部，所述目标多突变检测结果包括以下至少两个：目标异柠檬酸脱氢酶突变检测结果、目标染色体1p/19q联合缺失突变检测结果、目标端粒酶逆转录酶突变检测结果和目标O 6-甲基鸟嘌呤-DNA甲基转移酶启动子区甲基化突变检测结果。
- 一种深度学习模型的训练方法，包括：根据样本部位的样本医学图像，得到样本图像分割结果，其中，所述样本医学图像包括至少一个模态的医学图像；根据所述样本图像分割结果和所述样本多模态医学图像中的预定模态的医学图像，得到样本融合数据；根据所述样本融合数据，得到样本多突变检测结果；以及利用所述样本图像分割结果、所述样本医学图像的样本图像分割标签、所述样本多突变检测结果和所述样本医学图像的样本多突变标签训练所述深度学习模型。
- 根据权利要求11所述的方法，其中，所述利用所述样本图像分割结果、所述样本医学图像的样本图像分割标签、所述样本多突变检测结果和所述样本医学图像的样本多突变标签训练所述深度学习模型，包括：基于第一损失函数，根据所述样本图像分割结果和所述样本医学图像的样本图像分割标签，得到第一输出值；基于第二损失函数，根据所述样本多突变检测结果和所述样本医学图像的样本多突变标签，得到第二输出值；以及根据输出值调整所述深度学习模型的模型参数，其中，所述输出值是根据所述第一输出值和所述第二输出值确定的。
- 根据权利要求12所述的方法，其中，所述根据所述样本融合数据，得到样本多突变检测结果，包括：基于多个第一突变处理策略中的每个第一突变处理策略处理所述样本融合数据，得到所述多个第一突变处理策略各自的样本突变检测结果；以及根据所述多个第一突变处理策略各自的样本突变检测结果，得到所述样本多突变检测结果。
- 根据权利要求13所述的方法，其中，所述输出值是根据所述第一输出值、所述第二输出值和第三输出值确定的；其中，所述方法还包括：基于第三损失函数，根据与预定突变处理策略对应的样本突变检测结果和样本突变标签，得到所述第三输出值。
- 根据权利要求11或12所述的方法，其中，所述根据所述样本融合数据，得到样本多突变检测结果，包括：基于第一单一突变处理策略处理所述样本融合数据，得到所述样本多突变检测结果。
- 根据权利要求11或12所述的方法，其中，所述根据所述样本融合数据，得到样本多突变检测结果，包括：基于第二单一突变处理策略处理所述样本融合数据，得到中间样本特征数据；基于多个第二突变处理策略中的每个第二突变处理策略处理所述中间样本特征数据，得到所述多个第二突变处理策略各自的样本突变检测结果；以及根据所述多个第二突变处理策略各自的样本突变检测结果，得到所述样本多突变检测结果。
- 根据权利要求11或12所述的方法，其中，所述根据样本部位的样本医学图像，得到样本图像分割结果，包括：根据所述样本部位的样本医学图像，得到至少一个尺度的样本图像特征数据；以及根据所述至少一个尺度的样本图像特征数据，得到所述样本图像分割结果。
- 一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1～17中任一项所述的方法。
- 一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求1～17中任一项所述的方法。
- 一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1～17中任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202280002851.2A CN117957563A (zh) | 2022-08-26 | 2022-08-26 | 目标检测方法、深度学习的训练方法、电子设备以及介质 |
| PCT/CN2022/115134 WO2024040576A1 (zh) | 2022-08-26 | 2022-08-26 | 目标检测方法、深度学习的训练方法、电子设备以及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2022/115134 WO2024040576A1 (zh) | 2022-08-26 | 2022-08-26 | 目标检测方法、深度学习的训练方法、电子设备以及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2024040576A1 true WO2024040576A1 (zh) | 2024-02-29 |
Family
ID=90012172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2022/115134 WO2024040576A1 (zh) | 2022-08-26 | 2022-08-26 | 目标检测方法、深度学习的训练方法、电子设备以及介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN117957563A (zh) |
| WO (1) | WO2024040576A1 (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140270446A1 (en) * | 2013-03-15 | 2014-09-18 | Siemens Medical Solutions Usa, Inc. | Method and Apparatus for Registration of Multimodal Imaging Data Using Constraints |
| CN108986067A (zh) * | 2018-05-25 | 2018-12-11 | 上海交通大学 | 基于跨模态的肺结节检测方法 |
| CN111242959A (zh) * | 2020-01-15 | 2020-06-05 | 中国科学院苏州生物医学工程技术研究所 | 基于卷积神经网络的多模态医学图像的目标区域提取方法 |
| CN113362325A (zh) * | 2021-07-26 | 2021-09-07 | 佛山原子医疗设备有限公司 | 一种核医学多模态病灶图像检测方法及系统 |
| US20220022818A1 (en) * | 2020-07-21 | 2022-01-27 | Siemens Healthcare Gmbh | Assessment of abnormality patterns associated with covid-19 from x-ray images |
-
2022
- 2022-08-26 WO PCT/CN2022/115134 patent/WO2024040576A1/zh unknown
- 2022-08-26 CN CN202280002851.2A patent/CN117957563A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140270446A1 (en) * | 2013-03-15 | 2014-09-18 | Siemens Medical Solutions Usa, Inc. | Method and Apparatus for Registration of Multimodal Imaging Data Using Constraints |
| CN108986067A (zh) * | 2018-05-25 | 2018-12-11 | 上海交通大学 | 基于跨模态的肺结节检测方法 |
| CN111242959A (zh) * | 2020-01-15 | 2020-06-05 | 中国科学院苏州生物医学工程技术研究所 | 基于卷积神经网络的多模态医学图像的目标区域提取方法 |
| US20220022818A1 (en) * | 2020-07-21 | 2022-01-27 | Siemens Healthcare Gmbh | Assessment of abnormality patterns associated with covid-19 from x-ray images |
| CN113362325A (zh) * | 2021-07-26 | 2021-09-07 | 佛山原子医疗设备有限公司 | 一种核医学多模态病灶图像检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117957563A (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Aleatoric uncertainty estimation with test-time augmentation for medical image segmentation with convolutional neural networks | |
| Cuocolo et al. | Deep learning whole‐gland and zonal prostate segmentation on a public MRI dataset | |
| Liu et al. | Deep learning framework based on integration of S-Mask R-CNN and Inception-v3 for ultrasound image-aided diagnosis of prostate cancer | |
| Jafari et al. | Automatic biplane left ventricular ejection fraction estimation with mobile point-of-care ultrasound using multi-task learning and adversarial training | |
| Qin et al. | Magnetic resonance imaging (MRI) radiomics of papillary thyroid cancer (PTC): A comparison of predictive performance of multiple classifiers modeling to identify cervical lymph node metastases before surgery | |
| Liu et al. | Deep convolutional neural network-aided detection of portal hypertension in patients with cirrhosis | |
| Zhou et al. | SSMD: semi-supervised medical image detection with adaptive consistency and heterogeneous perturbation | |
| Liu et al. | Automated cardiac segmentation of cross-modal medical images using unsupervised multi-domain adaptation and spatial neural attention structure | |
| Wang et al. | SOSPCNN: Structurally optimized stochastic pooling convolutional neural network for tetralogy of fallot recognition | |
| Bhattacharya et al. | A review of artificial intelligence in prostate cancer detection on imaging | |
| CN115830017B (zh) | 基于图文多模态融合的肿瘤检测系统、方法、设备及介质 | |
| Qi et al. | Automatic lacunae localization in placental ultrasound images via layer aggregation | |
| Ayyad et al. | A new framework for precise identification of prostatic adenocarcinoma | |
| Li et al. | OrbitNet—A fully automated orbit multi-organ segmentation model based on transformer in CT images | |
| Beers et al. | Sequential neural networks for biologically informed glioma segmentation | |
| Upendra et al. | Joint deep learning framework for image registration and segmentation of late gadolinium enhanced MRI and cine cardiac MRI | |
| WO2024040576A1 (zh) | 目标检测方法、深度学习的训练方法、电子设备以及介质 | |
| Eun et al. | Development of an artificial intelligence-based support technology for urethral and ureteral stricture surgery | |
| Yao et al. | Graph matching and deep neural networks based whole heart and great vessel segmentation in congenital heart disease | |
| Ying et al. | Weakly supervised segmentation of uterus by scribble labeling on endometrial cancer MR images | |
| Soda et al. | Knowledge discovery and computer-based decision support in biomedicine | |
| Kang et al. | Deep Learning Based on ResNet-18 for Classification of Prostate Imaging-Reporting and Data System Category 3 Lesions | |
| Liu et al. | Mutually communicated model based on multi‐parametric MRI for automated segmentation and classification of prostate cancer | |
| Zhang et al. | Semi-supervised aortic dissections segmentation: A time-dependent weighted feedback fusion framework | |
| Cao et al. | Thinking Like Sonographers: A Deep CNN Model for Diagnosing Gout from Musculoskeletal Ultrasound |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22956122 Country of ref document: EP Kind code of ref document: A1 |