RU2814790C1 - Способ выявления онкозаболеваний в органах малого таза и система для реализации способа - Google Patents
Способ выявления онкозаболеваний в органах малого таза и система для реализации способа Download PDFInfo
- Publication number
- RU2814790C1 RU2814790C1 RU2023131663A RU2023131663A RU2814790C1 RU 2814790 C1 RU2814790 C1 RU 2814790C1 RU 2023131663 A RU2023131663 A RU 2023131663A RU 2023131663 A RU2023131663 A RU 2023131663A RU 2814790 C1 RU2814790 C1 RU 2814790C1
- Authority
- RU
- Russia
- Prior art keywords
- images
- mri
- image
- series
- processing
- Prior art date
Links
- 210000000056 organ Anatomy 0.000 title claims abstract description 139
- 238000000034 method Methods 0.000 title claims abstract description 89
- 230000000771 oncological effect Effects 0.000 title description 5
- 201000010099 disease Diseases 0.000 title description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title description 2
- 238000012545 processing Methods 0.000 claims abstract description 130
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 58
- 230000011218 segmentation Effects 0.000 claims abstract description 53
- 201000011510 cancer Diseases 0.000 claims abstract description 42
- 238000001514 detection method Methods 0.000 claims abstract description 36
- 230000007170 pathology Effects 0.000 claims abstract description 35
- 238000010801 machine learning Methods 0.000 claims abstract description 33
- 231100000915 pathological change Toxicity 0.000 claims abstract description 33
- 230000036285 pathological change Effects 0.000 claims abstract description 33
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 29
- 238000013145 classification model Methods 0.000 claims abstract description 27
- 238000003860 storage Methods 0.000 claims abstract description 25
- 210000003484 anatomy Anatomy 0.000 claims abstract description 23
- 230000005540 biological transmission Effects 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 8
- 230000001360 synchronised effect Effects 0.000 claims abstract description 4
- 238000010191 image analysis Methods 0.000 claims abstract description 3
- 210000002307 prostate Anatomy 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 32
- 230000003902 lesion Effects 0.000 claims description 32
- 238000013528 artificial neural network Methods 0.000 claims description 27
- 230000001575 pathological effect Effects 0.000 claims description 16
- 230000002093 peripheral effect Effects 0.000 claims description 16
- 230000008520 organization Effects 0.000 claims description 13
- 238000012546 transfer Methods 0.000 claims description 13
- 208000000236 Prostatic Neoplasms Diseases 0.000 claims description 12
- 230000003416 augmentation Effects 0.000 claims description 12
- 206010060862 Prostate cancer Diseases 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 10
- 210000000664 rectum Anatomy 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 239000002131 composite material Substances 0.000 claims description 6
- 238000009792 diffusion process Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 210000004291 uterus Anatomy 0.000 claims description 6
- 238000012800 visualization Methods 0.000 claims description 6
- 230000006378 damage Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000007704 transition Effects 0.000 claims description 5
- 208000015634 Rectal Neoplasms Diseases 0.000 claims description 4
- 208000002495 Uterine Neoplasms Diseases 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims description 4
- 206010038038 rectal cancer Diseases 0.000 claims description 4
- 201000001275 rectum cancer Diseases 0.000 claims description 4
- 210000001519 tissue Anatomy 0.000 claims description 4
- 238000000844 transformation Methods 0.000 claims description 4
- 206010046766 uterine cancer Diseases 0.000 claims description 4
- 210000002255 anal canal Anatomy 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 210000003195 fascia Anatomy 0.000 claims description 3
- 238000010422 painting Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 210000005070 sphincter Anatomy 0.000 claims description 3
- 210000003679 cervix uteri Anatomy 0.000 claims description 2
- 230000003190 augmentative effect Effects 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 18
- 239000003814 drug Substances 0.000 abstract description 5
- 206010061336 Pelvic neoplasm Diseases 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 98
- 230000008569 process Effects 0.000 description 18
- 238000005259 measurement Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 240000007087 Apium graveolens Species 0.000 description 13
- 235000015849 Apium graveolens Dulce Group Nutrition 0.000 description 13
- 235000010591 Appio Nutrition 0.000 description 13
- 238000003745 diagnosis Methods 0.000 description 11
- 238000011282 treatment Methods 0.000 description 11
- 238000013475 authorization Methods 0.000 description 10
- 238000011160 research Methods 0.000 description 10
- 238000011161 development Methods 0.000 description 9
- 230000018109 developmental process Effects 0.000 description 9
- 238000005755 formation reaction Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 239000000243 solution Substances 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 230000004807 localization Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 238000002405 diagnostic procedure Methods 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 4
- 210000004907 gland Anatomy 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 230000001052 transient effect Effects 0.000 description 4
- 210000003708 urethra Anatomy 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000001574 biopsy Methods 0.000 description 3
- 238000013399 early diagnosis Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 210000003932 urinary bladder Anatomy 0.000 description 3
- 206010005003 Bladder cancer Diseases 0.000 description 2
- 102000007066 Prostate-Specific Antigen Human genes 0.000 description 2
- 108010072866 Prostate-Specific Antigen Proteins 0.000 description 2
- 208000007097 Urinary Bladder Neoplasms Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 208000035269 cancer or benign tumor Diseases 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000011477 surgical intervention Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 201000005112 urinary bladder cancer Diseases 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 206010061424 Anal cancer Diseases 0.000 description 1
- 208000007860 Anus Neoplasms Diseases 0.000 description 1
- 206010060999 Benign neoplasm Diseases 0.000 description 1
- 206010008342 Cervix carcinoma Diseases 0.000 description 1
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 206010033128 Ovarian cancer Diseases 0.000 description 1
- 206010061535 Ovarian neoplasm Diseases 0.000 description 1
- 206010036940 Prostatic adenoma Diseases 0.000 description 1
- 208000023915 Ureteral Neoplasms Diseases 0.000 description 1
- 206010046392 Ureteric cancer Diseases 0.000 description 1
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000003872 anastomosis Effects 0.000 description 1
- 201000011165 anus cancer Diseases 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 201000010881 cervical cancer Diseases 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013497 data interchange Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000004977 neurovascular bundle Anatomy 0.000 description 1
- 208000002154 non-small cell lung carcinoma Diseases 0.000 description 1
- 210000001672 ovary Anatomy 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 201000001514 prostate carcinoma Diseases 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000013517 stratification Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000000626 ureter Anatomy 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Abstract
Изобретение относится к обработке и исследованию медицинских изображений, включая МРТ органов малого таза. Технический результат заключается в повышении точности выявления онкозаболеваний малого таза. Способ содержит получение МРТ-изображений органов малого таза в формате набора DICOM файлов, первый этап обработки МРТ-изображений, которую осуществляют на локальном устройстве медицинского учреждения с последующим направлением на второй этап обработки МРТ-изображений, который осуществляют на устройстве для определения патологии - удаленном сервере, с использованием алгоритмов искусственного интеллекта и моделей машинного обучения, по результатам которого делают вывод о наличии или отсутствии поражения органов малого таза, после чего результаты обработки возвращают на локальное устройство медицинского учреждения. На первом этапе обработки МРТ-изображений: а) отбирают серии изображений в аксиальной или косой аксиальной проекции, включая серию Т2-взвешенных изображений, б) осуществляют анонимизацию отобранных серий посредством удаления персональных данных с каждого изображения каждой серии с последующим присвоением каждому изображению временного уникального идентификатора (ID), в) осуществляют анатомическую синхронизацию изображений из отобранных серий посредством пространственного объединения каждого изображения из Т2-взвешенной серии с соответствующим или ближайшим к нему изображением из других серий с использованием метаданных DICOM файлов и/или анатомических ориентиров, г) формированием очереди полученных на шагах б) и в) изображений с последующей передачей всех изображений в виде одного пакета на удаленный сервер, на втором этапе обработки МРТ-изображений: д) принимают сформированные пакеты из очереди и сохраняют их в блок объектного хранилища в папке под полученным уникальным ID с одновременной передачей ссылок из блока кэширующей очереди, из которой изображения, полученные на этапе в), передают на параллельную асинхронную обработку моделями машинного обучения, е) при этом обработку полученных из очереди изображений осуществляют в следующей последовательности: сначала обрабатывают синхронизированные изображения моделью машинного обучения, выполненной с возможностью предварительной классификации целевого органа малого таза, затем параллельно обрабатывают, по меньшей мере, одной моделью бинарной классификации, обученной на выявление наличия злокачественного новообразования целевого органа малого таза, также двумя моделями сегментации и одной моделью детекции с обеспечением комплексного анализа изображений и графического представления области с патологическими изменениями; вывод о наличии или отсутствии злокачественного новообразования целевого органа малого таза делают при совпадении результатов обработки изображений моделью бинарной классификации и моделями сегментации и детекции; полученные результаты второго этапа обработки изображений представляют собой множество масок в виде набора изображений сегментов анатомических областей и областей с патологическими изменениями, содержащих координаты и сохраненную размерность исходного изображения из сервера медицинского учреждения. 2 н. и 27 з.п. ф-лы, 12 ил.
Description
Область техники, к которой относится изобретение
Изобретение относится к медицине, а именно к обработке и исследованию медицинских изображений, включая МРТ органов малого таза, и может быть использовано для поддержки принятия врачебных решений при диагностике онкологических патологий в органах, входящих в зону сканирования. Изобретение позволяет на ранних этапах с высокой точностью выявлять такие заболевания, как рак предстательной железы, рак мочевого пузыря, рак мочеточников, и др., и своевременно оказывать необходимую медицинскую помощь пациенту.
Уровень техники
Онкопатология органов малого таза, таких как предстательная железа, яичники, матка и мочевой пузырь, является серьезной медицинской проблемой, и ранняя диагностика играет ключевую роль в успешном лечении. Лучевая диагностика онкопатологии органов малого таза с помощью МРТ предполагает интерпретацию изображений с выявлением локализации злокачественных новообразований и подготовку текстового протокола с описанием и заключением врачом-рентгенологом в ручном режиме согласно общепринятым диагностическим протоколам, например PI-RADS. Кроме этого, для правильной дальнейшей маршрутизации пациента, а также для корректной подготовки к инвазивным вмешательствам, включая гистологическую верификацию, необходимо точное и быстрое выявление локализации патологических изменений с составлением стандартизированного отчета.
Перспективным в выявлении и анализе злокачественных новообразований органов малого таза является совмещение МРТ с технологиями искусственного интеллекта (ИИ). Разработка способа и системы поддержки принятия врачебных решений для диагностики рака органов малого таза с использованием искусственного интеллекта имеет высокую актуальность и множество преимуществ, включая повышение точности диагностики, сокращение ошибок, вызванных человеческим фактором, ускорение процесса диагностики с подбором персонифицированного лечения, и т.д.
Однако использование ИИ в медицине связано с необходимостью обеспечения надежности работы системы, гарантий безопасности и конфиденциальности передаваемых данных о пациентах, возможности встраивания в существующие системы для использования в качестве инструмента поддержки принятия врачебных решений.
Из уровня техники известны различные системы поддержки принятия врачебных решений для диагностики онкопатологий, включая онкопатологию органов малого таза, на основе анализа МРТ изображений с использованием искусственного интеллекта. Известные решения отличаются методами анализа изображений, исходных и обрабатываемых данных, при этом патологические изменения могут иметь различные формы и проявления, требующие разработки новых подходов к их выявлению и анализу или усовершенствование существующих с целью повышения точности диагностики. Кроме того, использование ИИ связано с необходимостью обработки и передачи на разные устройства персональных данных о пациенте, включая медицинскую историю, возраст, морфологические, генетические данные, при этом существующие технические и программные средства защиты персональных данных в таких системах являются сложными или не обеспечивающими должной защиты и анонимизации конкретных данных о пациенте, включая данные, размещенные на МРТ изображениях. Несмотря на наличие отдельных компьютерно-реализуемых систем поддержки принятия врачебных решений, необходима разработка новых технологий и методов анализа данных, направленных на появление более точных и эффективных решений. При этом одной из задач разработчиков является увеличение практической ценности таких систем посредством возможности их использования для поддержки принятия решений на разных уровнях медицинской практики: от общих до узкоспециализированных врачей. Таким образом, разработка и внедрение в медицинскую практику новых способов и систем анализа медицинских изображений создает условия для ранней диагностики онкопатологий органов малого таза и предоставления пациенту своевременной врачебной помощи.
Предлагаемые существующие решения имеют ряд недостатков, которые не позволяют рассматривать их в виде оптимальных диагностических систем.
Известны способ и система для диагностики рака предстательной железы с использованием 5 независимых алгоритмов “nnU-Net (PI-CAI: Baseline nnU-Net (supervised))” [Saha A, Twilt JJ, Bosma JS, et al.. Artificial Intelligence and Radiologists at Prostate Cancer Detection in MRI: The PI-CAI Challenge (study Protocol). Zenodo; 2022], которые позволяют прогнозировать вероятность клинически значимого рака предстательной железы с построением карты на основе бипараметрической МРТ. Алгоритм объединяет модели, обученные с использованием набора данных PI-CAI. Карта обнаружения патологии имеет то же пространственное разрешение и физические размеры, что и входное аксиальное Т2-взвешенное изображение. Однако известное решение работает только с бипараметрическими МРТ протоколами пациентов, которые ранее не получали лечение (например, лучевую терапию, резекцию, абляцию и т.д.). Способ разработан в условиях низкой разнородности данных, что не позволяет его широко использовать в клинической практике.
Известны способ и система для диагностики онкозаболеваний c использованием радиомики [Alshomrani F, Alsaedi BSO, Wei C, Szewczyk-Bieda M, Gandy S, Wilson J, Huang Z, Nabi G. Radiomics Approach to the Detection of Prostate Cancer Using Multiparametric MRI: A Validation Study Using Prostate-Cancer-Tissue-Mimicking Phantoms. Applied Sciences. 2023; 13(1):576. https://doi.org/10.3390/app13010576] [Lambin P et al. Radiomics: extracting more information from medical images using advanced feature analysis. Eur J Cancer. 2012;48(4):441-446], которые позволяют извлечь большое количество количественных характеристик из медицинских изображений с помощью специальных алгоритмов анализа. Такие признаки при использовании их в построении моделей машинного обучения помогают в выявлении опухолевых структур и некоторых характеристик, которые невозможно оценить невооруженным глазом. Однако известное решение имеет ряд ограничений для широкого использования в клинической практике, которые связаны с высокой зависимостью от методов сегментации медицинских изображений и от настроек диагностических устройств, низкой воспроизводимостью результатов при использовании в различных медицинских организациях. Кроме того, описательные характеристики изображений (радиомика) сами по себе существенно уступают в качестве выявления и локализации поражений [Zhao B et al. Reproducibility of radiomics for deciphering tumor phenotypewith imaging. Sci Rep. 2016;6:2342] [Lin L et al. Assessing agreement between radiomic features computed for multiple CT imaging Settings. PLoS One. 2016;11(12):e0166550] [Velazquez ER et al. Volumetric CT-based segmentation of NSCLC using 3D-Slicer. Sci Rep. 2013;3(12):3529; Qiu Q et al.].
Известны способ и устройство для диагностики рака предстательной железы “QP-Prostate” (Quibim), основанные на автоматическом анализе МРТ-изображений предстательной железы путем расчета карт измеряемого коэффициента диффузии, объема железы, автоматической зональной сегментации с выводом структурированного отчета PI-RADS. [Sunoqrot MRS, Saha A, Hosseinzadeh M, Elschot M, Huisman H. Artificial intelligence for prostate MRI: open datasets, available applications, and grand challenges. Eur Radiol Exp. 2022 Aug 1;6(1):35. doi: 10.1186/s41747-022-00288-8. PMID: 35909214; PMCID: PMC9339427.] Однако известное решение не позволяет анализировать МРТ-исследования, выполненные не по бипараметрическому или мультипараметрическому протоколам, и не позволяет автоматически сегментировать объемные образования, имеющие признаки злокачественных новообразований, что негативно сказывается на точности диагностики онкозаболевания.
Наиболее близким к заявляемому изобретению является способ и устройство обработки медицинских изображений, используемые в системе поддержки принятия врачебных решений (СППВР) [RU 2789260 С1]. Известное решение включает этап формирования медицинского изображения на основе диагностического исследования органа и/или полости обследуемого пациента, передачу медицинского изображения на устройство передачи данных. Устройство передачи данных расположено в медицинской организации и выполнено с возможностью передачи подлежащих обработке данных в центральную медицинскую информационную систему (ЦМИС), причем подлежащие обработке данные представляют собой пакет, содержащий, по меньшей мере, два медицинских изображения. ЦМИС выполнена с возможностью приема данных, изменения размера и наполнения упомянутого пакета с последующей его передачей на устройство для определения патологии, а также с возможностью извлечения медицинского изображения из принятого пакета и выявления патологии с формированием отчета, с последующей его передачей в ЦМИС. Определение патологии выполняется с использованием нейронной сети, предварительно обученной для данного типа диагностического исследования. Изобретение обеспечивает повышение доступности и качества оказания медицинских услуг, снижение требований к персоналу медицинских организаций, выполняющих диагностические исследования, и к устройствам, включенным в систему.
Однако изобретение по патенту RU 2789260 имеет целый ряд ограничений, а именно: предоставляет только результат определения патологии, не позволяет провести проверку наличия целевого органа и/или состояния после хирургического вмешательства и/или наличия артефактов медицинского изображения, что отрицательно сказывается на точности диагностики новообразований; не определяет наличие доброкачественных изменений, а также не позволяет производить расчет линейных и/или объемных показателей, которые необходимы для более точной постановки диагноза и планирования операций; не позволяет выполнить анатомическую сегментацию (с визуализацией области локализации новообразования и его комплексной оценки с учетом прилегающих к новообразованию органов и тканей); не позволяет обрабатывать изображения произвольной формы, что необходимо для комплексного анализа и постановки на его основе точного диагноза. Перечисленные недостатки замедляют процесс интерпретации исследования, а также не позволяют оценить более точно качественные и количественные характеристики области с патологическими изменениями, и/или органа, и/или анатомических зон органа, которые необходимы для выбора наиболее эффективной для конкретного пациента тактики лечения.
Таким образом, существующие способы и устройства диагностики онкопатологии органов малого таза с помощью автоматизированного анализа изображений, полученных в результате МРТ исследований, имеют такие недостатки как: отсутствие возможности работы одновременно с различными МРТ протоколами, встраивания (интегрирования) в рабочие станции определенных поставщиков диагностических устройств, входных данных, использования функционала облачной обработки с анонимизацией исследований; отсутствие возможности анатомической сегментации и сегментации участков с патологическими изменениями, автоматических линейных и/или объемных измерений, включая измерения анатомических частей органа, области поражений. Заявленное решение направлено на устранение перечисленных недостатков, на повышение точности диагностики с детализацией и визуализацией выявляемых очагов поражения биологических структур органов малого таза при обеспечении более широкого охвата результатов МРТ исследований. Заявленное решение позволяет формировать результат диагностики в простом и понятном виде, что делает разработанный на его основе продукт дружественным и доступным для использования врачами разного уровня подготовки.
Технической проблемой является разработка системы поддержки принятия врачебных решений (СППВР), обеспечивающей быструю и качественную обработку результатов радиологического исследования с получением данных о наличии или отсутствии новообразования в органах малого таза, характеризующихся высокой точностью и достоверностью, дополненных анатомическими масками с логическими разделениями, что исключает субъективность оценки специалистов лучевой диагностики.
Раскрытие изобретения
Техническим результатом является обеспечение высокой точности диагностики новообразований органов малого таза с детализацией и визуализацией выявляемых очагов поражения и/или пораженных органов при обеспечении анонимности в процессе обработки и анализа результатов МРТ исследований на удаленных устройствах, включая облачные серверы, и более широкого охвата результатов МРТ исследований.
Технический результат достигается способом выявления поражения органов малого таза, включающим получение МРТ-изображений органов малого таза в формате набора DICOM файлов, первый этап обработки МРТ-изображений, которую осуществляют на локальном устройстве медицинского учреждения с последующим направлением на второй этап обработки МРТ-изображений, который осуществляют на устройстве для определения патологии - удаленном сервере, с использованием алгоритмов искусственного интеллекта и моделей машинного обучения, по результатам которого делают вывод о наличии или отсутствии поражения органов малого таза, после чего результаты обработки возвращают на локальное устройство медицинского учреждения, при этом
на первом этапе обработки МРТ-изображений:
а) отбирают серии изображений в аксиальной или косой аксиальной проекции, включая серию Т2-взвешенных изображений,
б) осуществляют анонимизацию отобранных серий посредством удаления персональных данных с каждого изображения каждой серии с последующим присвоением каждому изображению временного уникального идентификатора (ID), и формированием очереди для передачи на удаленный сервер всех изображений в виде одного пакета,
в) осуществляют анатомическую синхронизацию изображений из отобранных серий посредством пространственного объединения каждого изображения из Т2-взвешенной серии с соответствующим или ближайшим к нему изображением из других серий с использованием метаданных DICOM файлов и/или анатомических ориентиров,
г) формированием очереди полученных на шагах б) и в) изображений с последующей передачей всех изображений в виде одного пакета на удаленный сервер,
на втором этапе обработки МРТ-изображений:
д) принимают сформированные пакеты из очереди и сохраняют их в блок объектного хранилища в папке под полученным уникальным ID с одновременной передачей ссылок из блока кэширующей очереди, из которой изображения, полученные на этапе в), передают на параллельную асинхронную обработку моделями машинного обучения,
е) при этом обработку полученных из очереди изображений осуществляют в следующей последовательности: сначала обрабатывают синхронизированные изображения моделью машинного обучения, выполненной с возможностью предварительной классификации целевого органа малого таза и получением результата классификации в виде вероятности наличия или отсутствия на конкретном изображении целевого органа малого таза,
и в случае отсутствия целевого органа на всей серии изображений делают вывод о хирургической экстирпации органа или вероятности неверно выбранной области сканирования на серии изображений;
в случае выявления наличия целевого органа малого таза, данные изображения параллельно обрабатывают, по меньшей мере, одной моделью бинарной классификации, обученной на выявление наличия злокачественного новообразования целевого органа малого таза, а также двумя моделями сегментации и одной моделью детекции с обеспечением комплексного анализа изображений и графического представления области с патологическими изменениями, при этом первая из упомянутых двух моделей сегментации выполнена с возможностью формирования графического контура целевого органа малого таза и определения его объема; вторая модель сегментации выполнена с возможностью сегментации анатомических зон и/или слоёв и/или областей целевого органа малого таза; модель детекции выполнена с возможностью определения области патологических изменений и сегментации выявленной области с цветовым выделением полученных сегментов,
вывод о наличии или отсутствии злокачественного новообразования целевого органа малого таза делают при совпадении результатов обработки изображений моделью бинарной классификации и моделями сегментации и детекции: в случае отсутствия совпадения по исследуемому изображению осуществляют обработку моделями сегментации и детекции соседних изображений, и в случае выявления, по меньшей мере, на одном изображении патологического очага, делают вывод о наличии злокачественного новообразования органа малого таза;
полученные результаты второго этапа обработки изображений представляют собой множество масок в виде набора изображений сегментов анатомических областей и областей с патологическими изменениями, содержащих координаты и сохраненную размерность исходного изображения из сервера медицинского учреждения,
ж) результаты второго этапа обработки изображений возвращают на локальное устройство медицинского учреждения, которые сопоставляются по уникальному ID, при этом на локальном устройстве медицинского учреждения после направления изображений на второй этап обработки формируют запрос о состоянии обработки (Long pooling) изображений, который с заданной периодичностью направляют на удаленный сервер, с получением ответа о результатах обработки.
Данный способ обеспечивает одностороннюю связь инициации запросов, что не требует дополнительных VPN соединений с медицинской организацией.
Возможны различные частные варианты осуществления способа.
В частности, при отборе серий диффузионно-взвешенных изображений, полученных при исследовании пациента на различных МРТ аппаратах или при формировании обучающей выборки, осуществляют аугментацию изображений, необходимую для искусственного расширения выборки изображений, так как исходные диффузионно-взвешенные серии бывают с различным b-фактором, и в рамках аугментации чередуется серия с разным значением b-фактора (топ-2). Это в свою очередь позволяет повысить точность диагностики за счет возможности учета большего количества изображений, полученных с различных МРТ аппаратов. Аугментацию проводят с использованием преобразований, включая вертикальный и горизонтальный поворот изображений получаемых серий, и/или случайные изменения яркости и контраста, и/или сдвиги изображений серий, и/или множественные случайные закрашивания областей прямоугольной формы с формированием черных контрастных линий, моделирующих артефакты, в случае их присутствия на отдельных МРТ-изображениях; данные преобразования производят с использованием python библиотеки albumentations.
При анатомической синхронизации в качестве метаданных используют, по меньшей мере, один из перечисленных параметров: координаты положения пациента в процессе проведения МРТ-исследования; разрешение в строках (межпиксельное расстояние по высоте) и/или разрешение в колонках (межпиксельное расстояние по ширине); UID среза, характеризующего идентификацию отсчета местоположения изображения, используемого для указания местоположения объекта на изображении.
При анатомической синхронизации в качестве ориентиров используют анатомические структуры или области с патологическими изменениями, контрастная визуализация которых не зависит от импульсных последовательностей, используемых для получения серий изображений, описанных выше. В качестве ориентиров при анатомической синхронизации можем быть использована предстательная железа, и/или матка, и/или мочевой пузырь, и/или анатомические области, включая периферическую и/или транзиторную зону предстательной железы, и/или области с патологическими изменениями.
Анатомическую синхронизацию осуществляют на локальном устройстве медицинской организации после получения результатов МРТ исследования из PACS-системы - системы хранения медицинских изображений, и отбора из них серий изображений в аксиальной (или косой аксиальной) проекции.
Пространственное объединение изображений на этапе в) осуществляют посредством установления соответствия изображений на одном уровне пациента из разных серий между собой.
Анонимизацию полученных изображений проводят посредством удаления или замены персональных данных, или формирования случайного значения для персональных данных, включая ФИО, дата рождения, идентификатор пациента, дата исследования, название и/или адрес медицинской организации, ФИО сотрудника медицинской организации. Анонимизацию полученных изображений проводят с использованием программных средств чтения и изменения метаданных, содержащихся в DICOM.
На первом этапе для обработки МРТ-изображений отбирают серию Т2-взвешенных изображений и, по меньшей мере, одну серию из перечисленных: диффузионно-взвешенные изображения, изображения с картами измеряемого коэффициента диффузии (ИКД), изображения с динамическим контрастным усилением, Т1-взвешенные изображения.
На втором этапе модель бинарной классификации обучают на данных МРТ с подтвержденным биопсией поражением органов малого таза, включая злокачественное новообразование, при этом результат в виде ноля определяют при отсутствии поражения органов малого таза, 1 - при наличии поражения органов малого таза, а в качестве функции потерь используют бинарную кросс-энтропию. Модель бинарной классификации обучают на данных МРТ, где целевая область с патологическими изменениями предварительно верифицирована врачами-рентгенологами и графически размечена (сегментирована), при этом в качестве функции потерь используют композитную функцию из бинарной кросс-энтропии и Dice с последующим подсчетом объема органа и патологически измененной области путем вычисления совокупности масок.
Для приема сформированных пакетов из очереди на втором этапе обработки МРТ-изображений используют блок RESTfull API.
Вторая модель сегментации выполнена с возможностью выделения периферической и транзиторной зон для предстательной железы, и/или слоев стенки прямой кишки, и/или мезоректальной клетчатки и мезоректальной фасции для прямой кишки, и/или слоев стенки тела матки, и/или слоев стенки шейки матки, и/или сфинктеров анального канала.
Вторая модель сегментации включает несколько масок, где анатомические области целевого органа малого таза предварительно графически размечены врачами-рентгенологами, при этом в качестве функции потерь используют композитную функцию из бинарной кросс-энтропии и Dice.
На втором этапе обработки МРТ-изображений модель детекции выполнена с возможностью сегментации выявленной области нейронной сетью, при этом цветовое выделение реализовано с возможностью изменения уровня прозрачности или полного выключения отображения маски.
По результатам второго этапа обработки изображений выделяют изображения с вероятной патологией.
Дополнительно, по результатам обработки изображений, на сервере медицинского учреждения определяют симметричность органа по полученной маске. При этом для определения симметричности предстательной железы выявляют центр массы, через который проводят горизонтальную и вертикальные линии, делящие оконтуренную область предстательной железы на 4 части: верхнюю, нижнюю - относительно горизонтальной линии и боковые - относительно вертикальной линии. После этого одну из частей зеркально отображают на другую часть с последующим определением коэффициента Жаккара в отношении горизонтальных и вертикальных частей, который затем усредняют.
Дополнительно, по результатам второго этапа обработки изображений, определяют количественное значение объема сегментов органа, а также объема областей с патологическими изменениями.
Дополнительно, по результатам обработки МРТ-изображений, полученный вывод верифицируют посредством сравнения изображения исследуемой патологической области с предобработанным изображением, полученным из блока хранения векторных бинарных моделей классификации, обученных на выявление по результатам патоморфологической верификации, наличия поражения органов малого таза, включая злокачественное новообразование целевого органа малого таза. При этом предобработку осуществляют посредством отрезания финальных полносвязанных слоев - головы нейросетевой модели, с последующей обработкой всех изображений, сохраненных в упомянутом блоке. При выявлении из данного блока изображений, схожих с исследуемым изображением, делают вывод о наличии поражения органов малого таза, включая злокачественное новообразование, причем схожесть измеряют косинусным или L1 или L2 расстояниями между эмбеддингами - векторными представлениями, полученными после обработки серий нейронной сетью.
В качестве ответа о результатах обработки изображений на этапе ж) используют сообщения со статусом «изображения еще обрабатываются», или «обработка изображений завершена» или «произошла ошибка» с текстовым описанием типа ошибки.
Модели предварительной классификации целевого органа малого таза, модель бинарной классификации, модели сегментации и детекции формируют для каждого органа малого таза с целью определения новообразований органов малого таза, включая рак предстательной железы, рак прямой кишки, рак матки.
Технический результат достигается компьютерно-реализуемой системой для выявления поражения органов малого таза, включающей объединенные в сеть локальное устройство медицинского учреждения (или сервер медицинского учреждения) и устройство для определения патологии (удаленный сервер), выполненные с возможностью осуществления описанного выше способа, при этом локальное устройство медицинского учреждения (или сервер медицинского учреждения) представляет собой аппаратную часть, устанавливаемую в медицинское учреждение, реализованную с возможностью выполнения первого этапа обработки МРТ-изображений, а устройство для определения патологии представляет собой серверную часть, размещенную в облаке, реализованную с возможностью выполнения второго этапа обработки МРТ-изображений, включая распознавание, классификацию, сегментацию, детекцию, с использованием моделей машинного обучения в виде нейронных сетей.
Локальное устройство содержит, по меньшей мере, один блок памяти с контейнерами, содержащими компоненты программной части, реализующими шаги первого этапа обработки изображений. Блок памяти содержит контейнер с БД, обеспечивающей хранение транзакционных записей по отправленным на удаленный сервер анонимизированным исследованиям; контейнер с кэширующим слоем, обеспечивающим очередь обработки, и воркеры, обеспечивающие возможность масштабируемой асинхронной обработки; контейнер с компонентами, обеспечивающими анонимизацию МРТ-изображений и отправку в облачный удаленный сервер, а также контейнер с WEB приложением для передачи на рабочее место медицинского работника, и контейнер с компонентами, обеспечивающими мониторинг работы остальных компонентов системы.
Устройство для определения патологии реализовано в виде масштабируемого блока с обеспечением возможности асинхронной обработки МРТ-изображений. Устройство для определения патологии содержит блок с обученными нейросетевыми моделями и блок, представляющий собой объектное хранилище для сохранения анонимизированных МРТ-изображений, который содержит подблоки, предназначенные для хранения упомянутых данных отдельных медицинских организаций.
Технический результат достигается посредством использования комплексного подхода, включающего: разделение процесса обработки исходного МРТ-изображения на два этапа, с использованием оригинальных приемов обработки данных на каждом из этапов; облачный анализ различных протоколов МРТ исследований с использованием компьютерного зрения и применением анонимизации, включая использование на втором этапе определенных моделей обработки и анализа изображений (включая анатомическую сегментацию, детекцию и локализацию патологических изменений) в такой последовательности, которая обеспечивает получение результирующей информации о наличии или отсутствии патологии на качественно ином уровне, включая визуализацию очага поражения (при его наличии) с использованием различных масок, обеспечивая возможность более детального исследования очага поражения врачами-рентгенологами с описанием патологического очага и составлением структурированного отчета. Изобретение основано на использовании модели машинного обучения как для классификации рака, позволяющей выделять срезы МРТ-изображений, наиболее вероятно содержащих патологические изменения, так и сегментации органа для получения более точной и наглядной информации о локализации очага патологии. Данная информация может быть использована для таргетной биопсии и сокращения количества вколов. Кроме того, передача данных из устройства, расположенного в медицинском учреждении (сервера медицинского учреждения), на удаленный сервер (облако) реализована в последовательности, обеспечивающей ускорение процесса получения результата компьютерной диагностики в целом.
Заявленное изобретение обеспечивает: возможность передачи дополнительных данных о пациенте, таких как возраст, уровень простатического специфического антигена (ПСА) и др. в анонимизированном виде в процессе непосредственной работы системы для качественного улучшения точности классификации рака; повышенную конфиденциальность исследования, так как по сети передается только деперсонализированное изображение; снижение требований к квалификации медицинского персонала и уменьшение влияния человеческого фактора (внимательность, утомляемость, ответственность); повышение объективности результатов работы системы как результат отображения сегментации непосредственно на снимках (изображениях) в виде анатомических масок.
Эти и другие преимущества настоящего изобретения станут понятны при прочтении подробного описания со ссылкой на сопроводительные чертежи.
Краткое описание чертежей
На фигуре 1 показана блок-схема реализации изобретения, демонстрирующая архитектуру технического решения и взаимосвязь компонентов системы. Изобретение может найти воплощение в программном продукте, который может быть установлен на локальном устройстве 3 в организации с возможностью доступа к облачным сервисам (удаленному серверу 7), при этом программный продукт должен содержать интерфейс (средство просмотра 4). Средства 5 и 6 в виде PACS (система передачи и архивации DICOM-изображений) и МИС (медицинская информационная система) также могут быть подключены к локальному устройству. Врач 1 взаимодействует с интерфейсом 4 программного продукта через браузер 2. Работу интерфейса обеспечивает связь с локальным устройством 3. Локальное устройство обращается на удаленный сервер 7 для обработки данных с помощью блока, содержащего модели машинного обучения 8. На фигуре также представлена структура взаимодействия локальной и серверной частей.
На фигурах 2-5 показан пример реализации изобретения с выведенными на экран компьютера промежуточными результатами диагностики.
В частности, на фигуре 2 показана возможность реализации средства просмотра 4, а именно, представлено окно основного просмотрщика, главного интерфейса взаимодействия пользователя с программным продуктом. Окно содержит следующие элементы: левая панель 10 (панель исследования) с отображением миниатюры серий изображений (в аксиальной или косой аксиальной проекции, включая серию Т2-взвешенных изображений и/или серию диффузионно-взвешенных изображений и/или серию изображений с картами измеряемого коэффициента диффузии (ИКД) и/или серию изображений с динамическим контрастным усилением и/или серию Т1-взвешенных изображений) с подробной информацией о сериях; окно просмотра 11, в котором воспроизводится изображение выбранной серии с кратким описанием ее характеристик (при их наличии), которое может быть создано как в ручном, так и автоматическом режимах, включая результаты измерения отдельных анатомических объектов; правая панель 12 (сегментация, измерения и схема), содержащая три вкладки с отображением сегментации органов, информации об аннотациях и схемы органов; панель инструментов 9.
На фигуре 3 показан пример отображения результата сегментации органа предстательной железы 13. В окне просмотра отображен сегмент органа, красным цветом показана область поражения. С правой стороны отображена шкала вероятности 14, показывающая соответствующим цветом процент вероятности поражения на каждом из изображений серии. В правом боковом меню 15 представлена возможность переключения отображения каждой области и выбора прозрачности наложения маски.
На фигуре 4 показан пример отображения здорового органа в окне основного просмотрщика 16.
На фигуре 5 показан пример генерации артефактов на МРТ-изображениях (например, неоднородность магнитного поля, что вызывает пространственные искажения или потерю сигнала на изображениях), а именно область 17 является следствием потери сигнала на изображении серии с динамическим контрастным усилением вследствие артефакта магнитной восприимчивости, область 18 - потери сигнала на изображении диффузионно-взвешенной серии вследствие артефакта магнитной восприимчивости.
На фигуре 6 показано окно авторизации, где пользователю необходимо ввести свой логин и пароль: 19 - поля ввода данных авторизации, 20 - кнопка входа. Возможна также реализация функции «запомнить данные авторизации» и функции восстановления пароля и гостевого доступа.
На фигуре 7 показан пример окна списка исследований, которое открывается после авторизации пользователя. Список исследований получает данные из PACS клиники, после чего отображает их в виде списка 22 с возможностью сортировки и фильтрации исследований с помощью средства 21 для удобства пользователя. Каждая строка с наименованием исследования имеет выпадающее меню, открывающееся по нажатию, с информацией о содержащихся в нем сериях, их модальности и количеству экземпляров. Исследование открывается при нажатии на кнопку «Основной просмотрщик».
На фигуре 8 показано изображение Т2-взвешенной серии предстательной железы с патологическим очагом, направленное на диагностику с помощью заявленного изобретения.
На фигуре 9 показан пример отображения органа с патологическим очагом - область 23. При нажатии на кнопку «ИИ» поля «Анализ» на панели инструментов исследование загружается на сервер в анонимизированном виде. После завершения обработки исследования, пользователю выводится изображение с сегментацией органа на каждом из экземпляров исследования, а также цветовая шкала, обозначающая вероятность рака на каждом из этих экземпляров.
На фигуре 10 показан процесс работы с измерениями, доступны инструменты длины, двунаправленного измерения, эллипс и круг (область 25 - пример отображения измерений). Измерения можно переименовывать для удобства и экспортировать для последующего использования (поле 26 - вкладка работы с измерениями). Созданные изменения являются временными по умолчанию и становятся постоянными, при выборе пользователем опции отслеживания серии - поле 24.
На фигуре 11 показан пример отображения результатов исследования предстательной железы. На изображении экрана, помимо изображения органа и патологического очага с использованием масок, представлена интерактивная схема 27, на которой врач может размечать области поражения с последующим отображением их в отчете. В нижней части изображения экрана показан рассчитанный объем простаты, уровень Pi-RADS и кнопка создания PDF отчета.
На фигуре 12 показан пример выполнения окна редактирования отчета, которое открывается после нажатия на кнопку «PDF отчет». Созданный отчет возможно редактировать с помощью правой панели 28, выбирая для каждой секции подходящий вариант или заполняя форму самостоятельно. Все изменения сразу же отображаются в правой панели с отчетом 29. После завершения отчет можно сохранить на компьютер или распечатать с помощью встроенных в браузер инструментов.
Осуществление изобретения
В настоящем описании использованы следующие термины, определения и сокращения, характеризующие устройства, системы, технологии, протоколы, языки программирования и форматы, архитектуры, фреймворки и библиотеки, и др.
Термины, определения и сокращения, используемые при разработке медицинских информационных систем:
МРТ - магнитно-резонансная томография;
PI-RADS - (Prostate Imaging Reporting and Data System) - это система классификации и отчетности в области медицинской диагностики, которая используется для оценки результатов магнитно-резонансной томографии (МРТ) предстательной железы;
DICOM (Digital Imaging and Communications in Medicine) - стандартный протокол и формат для обмена, хранения и передачи медицинских изображений и связанных с ними информаций, таких как рентгеновские снимки, МРТ (магнитно-резонансная томография), КТ (компьютерная томография) и другие виды медицинских изображений. (https://www.dicomstandard.org/);
DICOM SR - расширение стандарта DICOM (Digital Imaging and Communications in Medicine), предназначенное для структурированной и нормализованной передачи структурированных медицинских отчетов в цифровой форме;
PACS (Picture Archiving and Communication System) - интегрированная система для хранения, передачи и просмотра медицинских изображений, таких как рентгеновские снимки, МРТ, КТ и ультразвуковые изображения, в цифровой форме.
Термины, определения и сокращения, характеризующие технологии, которые могут быть использованы при разработке программно-реализуемого продукта на основе заявленного изобретения:
ИИ (AI) - искусственный интеллект;
Нейросеть (или нейронная сеть) - вычислительная модель, вдохновленная структурой и функцией нейронов в человеческом мозге. Нейросеть состоит из соединенных и взаимодействующих искусственных нейронов, образующих слои;
UID - уникальный идентификатор, используемый в качестве ключа обработки МРТ исследования;
VPN - (Virtual Private Network) - технология, которая обеспечивает безопасное и приватное соединение между устройством пользователя и интернетом путем создания зашифрованного туннеля через общую сеть, как правило, через публичный интернет;
API (Application Programming Interface) - набор определенных правил и протоколов, которые позволяют разным программам и компонентам программного обеспечения взаимодействовать друг с другом;
UI (User Interface) - интерфейс, через который пользователь взаимодействует с компьютерной программой, устройством или приложением. UI может включать в себя элементы, такие как кнопки, поля ввода, меню, окна, иконки и другие компоненты, которые облегчают взаимодействие пользователя с системой;
Метаданные - данные о данных (м.б. информация о другой информации, или данные, относящиеся к дополнительной информации о содержимом или объекте. Метаданные раскрывают сведения о признаках и свойствах, характеризующих какие-либо сущности, позволяющие автоматически искать и управлять ими в больших информационных потоках);
Маска - наложенное на исходное изображение однородное цветовое представление, выделяющее какой-либо объект или его часть;
Ре́ндеринг - программная визуализация.
Термины, определения и сокращения, характеризующие языки и форматы программирования, использованные при создании программно-реализуемого продукта на основе заявленного изобретения:
Python - высокоуровневый, интерпретируемый язык программирования с динамической типизацией;
JavaScript (JS) - высокоуровневый язык программирования, используемый для создания интерактивных веб-сайтов;
JSON (JavaScript Object Notation) - легкий и текстовый формат обмена данными, который широко используется в веб-разработке и обмене информацией между приложениями. JSON представляет собой способ представления структурированных данных в виде текста, который легко читать и создавать как человеку, так и компьютеру;
Visibility - свойство стиля, отвечающее за видимость элемента объекта, в качестве которого в рамках настоящего документа используются объекты-маски;
Opacity CSS - свойство стиля, отвечающее за прозрачность объекта, в качестве которого в рамках настоящего документа используются объекты-маски.
Термины, определения и сокращения, характеризующие архитектуру, использованную при создании программно-реализуемого продукта на основе заявленного изобретения:
Docker (докер) - открытая платформа для разработки, доставки и запуска приложений в контейнерах;
Контейнеры - легковесные и отдельные окружения, которые могут включать в себя приложение и все его зависимости, что обеспечивает изолированное и надежное выполнение приложений на разных вычислительных средах;
Оркестратор Kubernetes - открытое программное обеспечение для управления контейнеризированными приложениями - автоматизации их развёртывания, масштабирования и координации в условиях кластера;
PostgreSQL - открытая реляционная система управления базами данных (СУБД), которая используется для хранения и управления данными в приложениях и веб-сайтах. PostgreSQL известен своей надежностью, производительностью и расширяемостью, предоставляет множество продвинутых функций для работы с данными и выполнения запросов;
REDIS (Remote Dictionary Server) - высокопроизводительная, открытая, ключ-значение (key-value) база данных и кэширующее хранилище данных. Она отличается скоростью доступа к данным и поддерживает различные типы данных, включая строки, списки, множества, хэши, счетчики и другие. Redis предназначен для решения задач, требующих быстрого доступа к данным, таких как кэширование, сессионное хранение и реализация очередей сообщений.
Термины, определения и сокращения, характеризующие фреймворки и библиотеки, которые могут быть использованы при создании программно-реализуемого продукта на основе заявленного изобретения:
Фреймворк (англоязычный аналог framework «остов, каркас, рама; структура») - программная платформа, определяющая структуру программной системы; программное обеспечение, облегчающее разработку и объединение разных компонентов большого программного проекта;
FastAPI - это современный и высокопроизводительный фреймворк для создания веб-приложений и API на языке программирования Python;
RESTful API - (Representational State Transfer Application Programming Interface) - архитектурный стиль и набор ограничений для создания веб-сервисов, которые обеспечивают взаимодействие между клиентами и серверами посредством передачи данных в виде ресурсов;
Tailwind CSS - современный и популярный CSS-фреймворк, который предоставляет набор готовых CSS-классов для быстрой и простой разработки пользовательских интерфейсов веб-сайтов и веб-приложений;
Pytorch - бесплатный и открытый фреймворк машинного обучения и глубокого обучения, разработанный и поддерживаемый Facebook's AI Research lab (FAIR). Он предоставляет гибкие инструменты для создания и обучения нейронных сетей, а также обширное сообщество пользователей и исследователей в области искусственного интеллекта (ИИ);
Библиотека - коллекция программных функций, процедур и ресурсов, предназначенных для решения конкретных задач или обеспечения определенной функциональности в рамках программирования. Библиотеки часто разрабатываются и предоставляются другими разработчиками, чтобы облегчить создание программ и приложений;
Cornerstone3D - легковесная библиотека JavaScript для визуализации медицинских изображений в современных веб-браузерах;
React.js (или React) - библиотека JavaScript, которая используется для создания пользовательских интерфейсов (UI) в веб-приложениях;
Celery - открытая библиотека для распределенной обработки задач в Python, которая позволяет выполнять долгие и ресурсоемкие операции в фоновом режиме, чтобы не блокировать основной поток выполнения приложения;
Celery worker - компонент в системе Celery, который выполняет фоновые задачи в асинхронном режиме;
Flower - веб-интерфейс и мониторинговый инструмент для Celery, который предоставляет удобный способ визуального мониторинга и управления фоновыми задачами, выполняемыми в системе Celery;
Torchvision - пакет библиотеки PyTorch, который предоставляет набор утилит и инструментов для работы с компьютерным зрением и обработки изображений. TorchVision расширяет функциональность PyTorch, делая его более удобным и мощным для разработки и обучения моделей машинного обучения, связанных с обработкой изображений и видео;
PIL (Python Imaging Library) - библиотека Python для работы с изображениями. Она предоставляет различные функции и инструменты для открытия, создания, редактирования и сохранения изображений в различных форматах;
OpenCV (Open Source Computer Vision Library) - библиотека с открытым исходным кодом, разработанная для обработки изображений и компьютерного зрения. OpenCV предоставляет множество инструментов и функций для работы с изображениями и видео, а также для выполнения различных задач в области компьютерного зрения и обработки изображений;
Numpy (Numerical Python) - библиотека для языка программирования Python, предназначенная для работы с числовыми массивами и выполнения математических операций над ними. NumPy предоставляет множество функций и инструментов для эффективной работы с массивами данных, включая многомерные массивы, линейную алгебру, статистические операции и многое другое;
Аlbumentations - библиотека для аугментации изображений в задачах машинного обучения и компьютерного зрения. Она предоставляет разнообразные методы и инструменты для изменения и улучшения наборов данных изображений. Albumentations позволяет создавать разнообразные трансформации, такие как повороты, сдвиги, изменение контраста, наложение шума и другие, чтобы расширить и разнообразить обучающие данные.
Работа с данными при разработке программно-реализуемого продукта на основе заявленного изобретения может быть реализована с использованием следующих средств и методов:
PixelData - фактические данные, представляющие цвета или интенсивность пикселей на изображении. Термин PixelData обычно используется в контексте обработки изображений и медицинских изображений (например, в медицинской радиологии и обработке медицинских изображений).
MinMaxScaler - метод масштабирования данных, который используется в машинном обучении и статистике для нормализации числовых признаков. Этот метод преобразует каждое значение признака так, чтобы оно находилось в заданном диапазоне (обычно от 0 до 1);
ONNX (Open Neural Network Exchange) - открытый формат обмена нейронными сетями, разработанный для облегчения обмена моделями и данными между различными библиотеками и фреймворками машинного обучения и глубокого обучения;
Dice - Индекс Дайса (Dice index) или F1-score;
Модель - модель машинного обучения, в данном контексте - нейронная сеть с необходимыми шагами предобработки и постобработки.
Способ выявления онкозаболеваний в органах малого таза может быть реализован в виде компьютерно-реализуемая системы, предназначенной для поддержки принятия врачебного решения.
Система, по меньшей мере, включает локальное устройство медицинского учреждения (или сервер медицинского учреждения) и устройство для определения патологии, которое в своем большинстве представляет собой удаленный сервер, снабженный средствами, с помощью которых реализуются основные процессы обработки и анализа изображений результатов МРТ исследований с использованием алгоритмов искусственного интеллекта и моделей машинного обучения. Результаты обработки и анализа изображений с удаленного сервера возвращаются на локальный сервер медицинской организации, с которым могут быть связаны рабочие места (периферические устройства, например, компьютеры) медицинского персонала.
Локальное устройство медицинского учреждения выполнено с возможностью получения серии изображений органов малого таза (толстая кишка, мочеточники, лимфатические узлы, нервные сплетения или запущенные инвазивные процессы) обследуемого пациента в формате набора DICOM файлов с МРТ аппарата. Локальное устройство, как правило, расположено в медицинском учреждении. На локальном устройстве осуществляют первый этап обработки МРТ изображений и формируют очередь для передачи предобработанных изображений в виде набора данных на удаленный сервер. При этом предобработка включает анонимизацию изображений посредством удаления связанных с ними персональных данных.
Удаленный сервер используется для анализа полученного набора данных с помощью нейронных сетей, которые ранее были обучены для конкретного типа диагностического исследования и определённого набора патологий.
Система может содержать дополнительный компонент, представляющий собой средство просмотра, которое находится на стороне медицинской организации (на локальном устройстве (сервере) медицинского учреждения или на рабочих компьютерах медицинского персонала), имеет возможность приёма результата определения патологии от удаленного сервера и выгрузки данных в DICOM SR (Structured Report).
Заявленная система может быть дополнительно снабжена средствами интеграции с уже имеющимися в медицинском учреждении системами, например, такими как PACS (система архивации и передачи изображений) для получения МРТ изображений пациентов с хранилища медицинского учреждения, и МИС (медицинская информационная система).
Способ выявления онкозаболеваний в органах малого таза содержит два этапа обработки МРТ изображений.
Первый этап обработки МРТ изображений, реализуемый на локальном устройстве медицинского учреждения, включает следующие шаги.
А) Подлежащие обработке данные содержат, по меньшей мере, одну объемную серию изображений. Подлежащие обработке данные могут дополнительно содержать уникальный идентификатор, соответствующий каждому из изображений упомянутой объемной серии.
На первом шаге отбирают серии изображений в аксиальной или косой аксиальной проекции, включая серию Т2-взвешенных изображений и/или серию диффузионно-взвешенных изображений и/или серию изображений с картами измеряемого коэффициента диффузии (ИКД) и/или серию изображений с динамическим контрастным усилением и/или серию Т1-взвешенных изображений. Отбор происходит автоматически по метаданным или в ручном режиме.
Исследование пациента может проводиться на различных МРТ аппаратах. Для анализа таких изображений, а также возможности их использования при формировании обучающей выборки, дополнительно проводят аугментацию (или модификацию) изображений. В частности, исходные диффузионно-взвешенные серии бывают с различным b-фактором, и в рамках аугментации чередуется серия с разным значением b-фактора (топ-2). Таким образом, аугментация изображений позволяет искусственно расширить выборку изображений. Это, в свою очередь, позволяет повысить точность диагностики за счет возможности учета большего количества изображений, полученных с различных МРТ аппаратов. Аугментация может быть реализована с использованием средств и методов, известных из уровня техники. Например, аугментация может быть проведена с использованием преобразований, включая вертикальный и горизонтальный поворот изображений получаемых серий, и/или случайные изменения яркости и контраста, и/или сдвиги изображений серий, и/или множественные случайные закрашивания областей прямоугольной формы с формированием черных контрастных линий, моделирующих артефакты, в случае их присутствия на отдельных МРТ-изображениях. Данные преобразования могут быть выполнены с использованием python библиотеки albumentations (https://albumentations.ai/docs).
Б) На следующем шаге отобранные изображения обрабатывают посредством удаления персональных данных с каждого изображения каждой серии и присвоением каждому изображению временного уникального идентификатора (ID). Таким образом, осуществляют анонимизацию отобранных серий. Персональные данные включают ФИО, дату рождения, идентификатор пациента, дату исследования, название и/или адрес медицинской организации, ФИО сотрудника медицинской организации, и др. При этом удаление персональных данных может быть реализовано с помощью замены на случайное значение, замены на зашифрованное значение, доступное к восстановлению при наличии ключа доступа, замены на случайное значение в рамках выделенного порога (для сохранения возможности анализа) или фактическое зануление значения. Например, при деперсонализации изображений каждый из тэгов, который содержится в DICOM файле, проходит обработку и, в зависимости от типа и характера данных, может быть проведено шифрование данных (способ анонимизации) с возможностью преобразования одинаковых наименований сходным образом, и последующего переиспользования всех метаданных для дальнейшего анализа и расширения возможностей моделей машинного обучения в формате мультимодельных данных (текст плюс изображения или только изображения).
Анонимизация полученных изображений может быть реализована с помощью программных средств чтения и изменения метаданных, содержащихся в DICOM.
В) На первом этапе также осуществляют анатомическую синхронизацию изображений из отобранных серий посредством пространственного объединения каждого изображения из Т2-взвешенной серии с соответствующим или ближайшим к нему изображением из других серий с использованием метаданных DICOM файлов и/или анатомических ориентиров. Пространственное объединение (или регистрацию) изображений осуществляют посредством установления соответствия изображений на одном уровне пациента из разных серий между собой. Регистрацию изображений выполняют с помощью преобразования разных наборов пиксельных данных в одну систему координат. При этом используют модели трансформации изображений, которые позволяют искажать целевое изображение для его выравнивания с эталонным изображением. За эталонные изображения принимают изображения, которые относятся к сериям для “анатомической” визуализации, например, T2-взвешенные изображения. Трансформация изображений описывается следующими параметрами - вектором направления, координатами первого изображения серии, координатами положения пациента в процессе проведения МРТ-исследования; разрешением в строках (межпиксельное расстояние по высоте) и/или разрешением в колонках (межпиксельное расстояние по ширине); идентификатором среза (UID), используемым для указания местоположения объекта на изображении. [https://www.comp.nus.edu.sg/~cs4243/lecture/register.pdf], [https://inria.hal.science/hal-00858737/document]. Анатомическую синхронизацию осуществляют на сервере клиники (локальном устройстве медицинского учреждения) после получения результатов МРТ исследования из системы хранения медицинских изображений (PACS-системы) и отбора из них, по меньшей мере, серий изображений в аксиальной (или косой аксиальной) проекции.
При анатомической синхронизации в качестве ориентиров могут быть использованы анатомические структуры или области с патологическими изменениями, контрастная визуализация которых не зависит от импульсных последовательностей, используемых для получения серий изображений, описанных выше. Например, в качестве ориентиров при анатомической синхронизации используют предстательную железу, и/или матку, и/или мочевой пузырь, и/или анатомические области, включая периферическую и/или транзиторную зону предстательной железы, и/или области с патологическими изменениями. При таком подходе могут быть использованы методы регистрации изображений на основе интенсивностей пикселей (с помощью сравнения образцов интенсивности на изображениях с учетом показателей корреляции), а также методы, основанные на поиске соответствия признаков на изображениях, например, между такими как контуры, линии, точки [http://www.wiley.com/WileyCDA/WileyTitle/productCd-0471649546.html].
Г) Далее из полученных анонимных изображений формируют очередь для передачи на удаленный сервер всех изображений в виде одного пакета. Формирование очереди может быть реализовано посредством подписки на события или кэширующих компонент или с использованием любых других средств и методов, известных из уровня техники.
Второй этап обработки МРТ-изображений проводят на удаленном сервере с использованием алгоритмов искусственного интеллекта и моделей машинного обучения, по результатам которого делают вывод о наличии или отсутствии поражения органов малого таза.
Второй этап обработки пакета МРТ-изображений включает следующие шаги.
Д) На данном шаге на удаленном сервере принимают сформированные пакеты из очереди, например, с помощью блока RESTful API, которые затем сохраняют в блок объектного хранилища, который представляет собой кэширующую очередь (описание метода для загрузки - https://cloud.yandex.ru/docs/storage/s3/api-ref/object/upload) под полученным уникальным ID. Одновременно с сохранением пакетов МРТ-изображений осуществляют передачу ссылок из блока объектного хранилища (кэширующей очереди), из которой изображения передают на параллельную асинхронную обработку моделями машинного обучения. Кэширующая очередь представляет собой хранилище данных (чаще всего in-memory), которое отличается высокой скоростью доступа и поддержкой широкого спектра структур данных, таких как строки, списки, множества и др. Примером реализации очереди является Celery. Передачу ссылок из блока кэширующей очереди в блок обработки моделями машинного обучения осуществляют стандартными сервисами блока объектного хранилища, например, с помощью RESTful API, для последующей параллельной асинхронной обработки изображений.
Е) На данном шаге осуществляют обработку полученных из очереди изображений. При этом обработку проводят с использованием нескольких приемов/стадий.
На первой стадии синхронизированные изображения обрабатывают моделью машинного обучения, выполненной с возможностью предварительной классификации целевого органа малого таза и получением результата классификации в виде вероятности наличия или отсутствия на конкретном изображении целевого органа малого таза, включая предстательную железу, прямую кишку, матку. В случае отсутствия целевого органа на всей серии изображений делают вывод о хирургической экстирпации органа или вероятности неверно выбранной области сканирования на серии изображений. Это повысить качество общего результата за счет обработки подобных и других исключений. Реализация данной стадии обеспечивает корректность отработки полярных случаев, которые редко встречаются, но могут существенно влиять на результат диагностики.
На второй стадии при выявлении на изображениях целевого органа малого таза, данные изображения обрабатывают, по меньшей мере, четырьмя моделями машинного обучения, которые в совокупности обеспечивают комплексный подход, связанный с повышением точности анализируемых изображений и графическим представлением области с патологическими изменениями. Обработка моделями машинного обучения на данной стадии предпочтительно проходит параллельно.
Одна из упомянутых моделей машинного обучения представляет собой модель бинарной классификации, обученной на выявление наличия злокачественного новообразования целевого органа малого таза, включая рак предстательной железы, прямой кишки, матки, по результатам патоморфологической верификации. Патоморфологическая верификация новообразований, предварительно выявленных на МРТ-изображениях, проводится врачами по результатам биопсии. Такая верификация проводится до анонимизации на этапе разметки данных. Таким образом, радиологическое исследование может быть усилено и подтверждено результатами патоморфологического исследования в рамках медицинского протокола исследования. Обычно оно проводится при PI-RADS>=3 и позволяет с большей долей уверенности диагностировать патологию.
Модель бинарной классификации обучают на данных МРТ с подтвержденным биопсией поражением органов малого таза, включая злокачественное новообразование, при этом результат в виде ноля определяют при отсутствии поражения органов малого таза, 1 - при наличии поражения органов малого таза, с использованием функции потерь. Модель бинарной классификации обучают на данных МРТ, где целевая область с патологическими изменениями предварительно верифицирована врачами-рентгенологами и графически размечена (сегментирована), при этом в качестве функции потерь может использоваться, например композитная функция из бинарной кросс-энтропии (https://pytorch.org/docs/stable/generated/torch.nn.BCELoss.html) и Dice (https://torchmetrics.readthedocs.io/en/stable/classification/dice.html) с последующим подсчетом объема органа и патологически измененной области путем вычисления совокупности масок. Объем определяется умножением межпиксельного расстояния на количество пикселей, полученных в бинарных масках.
Две из упомянутых четырех моделей представляют собой модели сегментации. При этом одна модель сегментации выполнена с возможностью формирования графического контура целевого органа малого таза и определения его объема. Вторая модель сегментации выполнена с возможностью сегментации анатомических зон и/или слоёв и/или областей целевого органа малого таза, включая выделение периферической и транзиторной зон для предстательной железы, и/или слоев стенки прямой кишки, и/или мезоректальной клетчатки и мезоректальной фасции для прямой кишки, и/или слоев стенки тела матки, и/или слоев стенки шейки матки, и/или сфинктеров анального канала. Вторая модель сегментации может включать несколько масок, где анатомические области целевого органа малого таза предварительно графически размечаются врачами-рентгенологами, при этом в качестве функции потерь используют композитную функцию из бинарной кросс-энтропии и Dice. Вторая модель сегментации обеспечивает более детальную сегментацию целевой области в границах выделенного объема, полученного с помощью первой модели сегментации. Данные модели сегментации могут быть реализованы с использованием архитектур нейронной сети типа енкодер-декодер, например unet, unet++, fpnnet, vitunet и других [https://arxiv.org/abs/1807.10165].
Четвертая модель является моделью детекции. Модель детекции выполнена с возможностью определения области патологических изменений и сегментации выявленной области с графическим (предпочтительно цветовым) выделением полученных сегментов. Результатом обработки исходных изображений данной моделью является маска в виде выделенного цветом сегмента патологического очага, используемая для последующего наглядного и интуитивно понятного отображения на экране локального устройства (сервере) медицинского учреждения или рабочего компьютера медицинского персонала результата проведенной диагностики. Сегментация осуществляется нейронной сетью. Функция цветового выделения областей с патологическими изменениями может быть реализована с возможностью изменения уровня прозрачности или полного выключения отображения маски. Для изменения прозрачности объекта может быть использовано свойство opacity CSS класса. Благодаря этому появляется возможность варьирования степенью прозрачности. Для варианта полного отключения маски может быть использовано свойство visibility, которое отвечает за полное скрытие отображения объекта.
Модели предварительной классификации целевого органа малого таза, модель бинарной классификации, модели сегментации и детекции формируют для каждого органа малого таза.
Вывод о наличии или отсутствии злокачественного новообразования целевого органа малого таза делают при совпадении результатов обработки изображений моделью бинарной классификации и моделями сегментации и детекции: в случае отсутствия совпадения по исследуемому изображению осуществляют обработку моделями сегментации и детекции соседних МРТ- изображений, и в случае выявления, по меньшей мере, на одном изображении патологического очага, делают вывод о его наличии в целевом органе малого таза. При этом модели могут быть обучены на дифференциальную диагностику доброкачественных и злокачественных новообразований органов малого таза, например, рака предстательной железы, прямой кишки, матки.
Таким образом, результаты второго этапа обработки изображений представляют собой множество масок в виде набора изображений сегментов анатомических областей и областей с патологическими изменениями, содержащих координаты и сохраненную размерность исходного изображения из сервера медицинского учреждения. По результатам второго этапа обработки изображений выделяют изображения с вероятной патологией.
Ж) Полученные результаты второго этапа обработки изображений (на шаге Е) возвращают на сервер медицинского учреждения, которые сопоставляют по уникальному ID.
На сервере медицинского учреждения после направления изображений на второй этап обработки формируют запрос о состоянии обработки (Long pooling) изображений, который с заданной периодичностью направляют на удаленный сервер, с получением ответа о результатах обработки. Данный способ обеспечивает одностороннюю связь инициации запросов, что не требует дополнительных VPN соединений с медицинским учреждением. В качестве ответа о результатах обработки изображений используют сообщения со статусом «изображения еще обрабатываются», или «обработка изображений завершена» или «произошла ошибка» с текстовым описанием типа ошибки.
После получения с удаленного сервера результатов обработки МРТ-изображений на сервере медицинского учреждения дополнительно может быть реализован функционал, связанный с определением симметричности органа по полученной маске. Например, для определения симметричности предстательной железы выявляют центр массы, через который проводят горизонтальную и вертикальные линии, делящие оконтуренную область предстательной железы на 4 части: верхнюю, нижнюю - относительно горизонтальной линии, и боковые - относительно вертикальной линии. После этого одну из частей зеркально отображают на другую часть с последующим определением коэффициента Жаккара в отношении горизонтальных и вертикальных частей, который затем усредняют. Данный функционал является шагом постобработки МРТ изображений, упрощающий процесс интерпретации врачом полученного результата проведенной диагностики, снижает общую когнитивную нагрузку на врача и ускоряет формирование заключения.
Кроме того, дополнительно по результатам второго этапа обработки изображений можно определять количественное значение объема сегментов органа, а также объема областей с патологическими изменениями. Данный функционал позволяет при проведении диагностики объективизировать количественную оценку органа и патологического очага, необходимую при интерпретации МРТ-исследования врачом-рентгенологом, а также для дальнейшего лечения пациента, при этом результат оценки может отображаться в итоговом структурированном отчете.
Дополнительно по результатам обработки МРТ-изображений полученный вывод может быть верифицирован посредством сравнения изображения исследуемой патологической области с предобработанным изображением, полученным из блока хранения векторных бинарных моделей классификации, обученных на выявление наличия поражения органов малого таза, включая злокачественное новообразование целевого органа малого таза по результатам патоморфологической верификации. В одном из вариантов реализации изобретения предобработка может быть реализована посредством «отрезания» (удаления) финальных полносвязаных слоев - «головы» нейросетевой модели, с последующей обработкой всех изображений, сохраненных в упомянутом блоке. У большинства нейронные сетей (выделяют «общую часть», «шею» и «голову»). «Голова» обеспечивает финальную итоговую классификацию/детекцию, а «общая часть» и «шея» работают как экстракторы признаков, хорошо характеризующие обрабатываемую часть. Благодаря этому подходу - в рамках работы с нейронной сетью, можно выбрать только необходимые слои с уже обученными слоями (зафиксированными коэффициентами) и использовать их в качестве экстрактора признаков (дескриптора содержимого) (https://www.researchgate.net/figure/A-detection-model-contains-a-backbone-neck-head-module-The-backbone-module-exploits_fig1_356638292%0A). «Отрезание» «головы» нейросетевой модели, предполагает копирование частей нейронной сети, которое может быть реализовано с использованием функции переноса модели с обученными весами в другую модель или удаления части слоев. Пример такой операции реализован в фреймворке PyTorch - model.clone().detach()? (https://pytorch.org).
При выявлении из данного блока изображений, схожих с исследуемым изображением, делают вывод о наличии поражения органов малого таза, включая злокачественное новообразование, при этом схожесть измеряют косинусным или L1 (рассчитывается суммированием абсолютных разностей между координатами) или L2 (расстояние между двумя точками в пространстве, которое можно определить с помощью теоремы Пифагора) расстояниями между эмбеддингами - векторными представлениями, полученными после обработки серий изображений нейронной сетью.
Компьютерно-реализуемая система с возможной реализацией в виде программно-аппаратного комплекса (далее продукт) включает объединенные в сеть с помощью проводной и/или беспроводной связи следующие устройства, как указано выше: рабочие места медицинского персонала, локальное устройство медицинского учреждения (или сервер медицинского учреждения) и устройство для определения патологии (удаленный сервер).
Рабочие места медицинского персонала, например, врачей лучевой диагностики, представляют собой периферические устройства, например, компьютеры, с установленными на них современными браузерами, например, такими как Яндекс Браузер, Google Chrome или Firefox , подключенные в единую сеть медицинского учреждения.
Периферические устройства снабжены средством просмотра, которое является интерфейсом взаимодействия конечного пользователя (компонентом программной части) - врача лучевой диагностики, с локальным сервером медицинского учреждения. Средство просмотра реализовано в виде Web-приложения, загружаемого с локального сервера для анализа результатов исследований в DICOM формате с функциями формирования и редактирования итогового заключения, и всеми стандартными функциями для просмотра МРТ исследований. Средство просмотра может поставляться в форме готового Docker-образа (https://docs.docker.com/) c возможностью публикации в оркестраторе Kubernetes (https://kubernetes.io/docs/home/) .
Локальное устройство медицинского учреждения (или сервер медицинского учреждения) представляет собой аппаратную часть, устанавливаемую в клинику для реализации авторизации, анонимизации исследований для отправки на удаленный сервер, а также формирования локальной отчетности и интеграции с PACS-системой и МИС.
Локальное устройство включает, по меньшей мере, один блок памяти с контейнерами, содержащими компоненты программной части, в т.ч. реализующими шаги первого этапа обработки изображений (основная функциональность). Блок памяти содержит контейнер с БД PostgreSQL (https://www.postgresql.org/docs/), обеспечивающей хранение транзакционных записей по отправленным на удаленный сервер анонимизированным исследованиям; контейнер с кэширующим слоем Redis (https://redis.io/docs/about/), обеспечивающим очередь обработки, и Celery worker (https://docs.celeryq.dev/en/stable/), обеспечивающий возможность масштабируемой асинхронной обработки; контейнер с компонентами основной функциональности, включающими FastAPI, обеспечивающий анонимизацию МРТ-изображений и отправку в облачный удаленный сервер, а также два контейнера - с WEB приложением для передачи на рабочее место медицинского работника, и контейнер для компонента (сервиса наблюдаемости Flower (опциональный компонент, https://flower.readthedocs.io/en/latest/)), обеспечивающего мониторинг работы остальных компонентов системы.
Устройство для определения патологии (удаленный сервер) - серверная часть в облаке, например, Яндекс - облаке, реализующая логику второго этапа обработки МРТ-изображений, включая распознавание, классификацию, сегментацию, детекцию, с использованием моделей машинного обучения (нейронных сетей).
Удаленный сервер предпочтительно реализован в форме масштабируемого блока для обеспечения возможности асинхронной обработки любого количества МРТ-снимков за счет формирования очередей. На удаленном сервере сформировано объектное хранилище для сохранения всех анонимизированных МРТ-изображений, которые могут быть использованы для валидации и дообучения моделей, при этом блок объектного хранилища содержит подблоки, предназначенные для хранения данных конкретных медицинских учреждений, выполненные с возможностью доступа к ним медицинского персонала.
Удаленный сервер включает в себя компоненты, аналогичные размещенным на локальном сервере: FastAPI для приема запросов и возврата итоговых результатов, БД PostgreSQL для обеспечения функций учета и сохранения метаданных по конкретным клиникам, Redis как бэкенд функций очередей, Celery воркеров - для выполнения задач, связанных с распознаванием патологии.
Объектное хранилище удаленного сервера также содержит блок с обученными нейросетевыми моделями, включая модель классификации целевого органа (есть / нет), модель бинарной классификации рака (рак на МРТ-изображении есть / нет), модель сегментации транзиторной и периферической зоны (маски), модель детекции поражения с возможностью определения дорокачественности образования (маска области поражения), модель классификации по PI-RADS (классификация PI-RADS 1 - 5).
Оркестратор Kubernetes устанавливают на удаленном сервере для управления и масштабирования всеми компонентами, включая программные модули, с помощью которых реализуется программный код, необходимый для обмена данных между компонентами системы.
Далее представлено описание осуществления заявленного способа и работы компьютерно-реализуемой системы на примере анализа МРТ изображений предстательной железы.
Для обеспечения работоспособности заявленный системы проводят сбор данных (МРТ-изображений), разметку, стратификацию и обучение моделей.
Для разметки МРТ-изображений может быть использован отдельный компонент - разметчик. Для быстрой разметки органов и ускорения подготовки данных может быть использовано расширение для Slicer-3D. Данный инструмент выполняет технические функции для выделения сегментов поражения и ускорения разметки «сырых» исследований. Таким образом, использование данного инструмента упрощает процесс разметки для врача лучевой диагностики с получением итогового результата разметки по введенным ключевым точкам с возможностью редактирования полученного изображения. Это обеспечивает существенное сокращение временных затрат и возможность размечать гораздо большее количество исследований в единицу времени (до х5).
Для обучения моделей используют нейросетевые модели, основанные на сверточных архитектурах с механизмом «внимания» для повышения качества. В качестве фреймворка обучения могут быть использованы Pytorch (https://pytorch.org/docs/stable/index.html), а также библиотеки torchvision (https://pytorch.org/vision/stable/index.html), PIL (https://pillow.readthedocs.io/en/stable/), OpenCV (https://docs.opencv.org/4.8.0/), numpy (https://numpy.org/doc/stable/user/index.html#user), albumentations для аугментаций и расширения выборки. Для валидации результата весь набор данных делят на 3 части - обучение, тестовая часть и отложенная выборка, в пропорции 75:15:10. Обучение осуществляют итерационно для обеспечения максимально высокого качества. Далее, модели конвертируют в ONNX формат для ускорения инференса (применения моделей машинного обучения).
Сформированные модели машинного обучения размещают на удаленном сервере.
Для работы в системе необходимо пройти авторизацию под учетными данными врача.
Согласно изобретению на вход в средство просмотра поступают данные в DICOM формате. Данные могут быть загружены как путем выбора папки или файлов МРТ-исследований пациента с периферийных устройств (рабочих компьютером медицинского персонала), так и из подключенного хранилища (например, PACS- системы). В результате обработки системой при запуске ИИ врач получает на выходе обогащенное областью поражения (при наличии) исследование T2-взвешенного изображения, а также выделение транзиторной и периферической зоны. Данные передаются на локальное устройство при вызове методов ИИ, передача данных происходит в форме вызова REST сервиса, опубликованного в локальном устройстве по HTTPS-интерфейсу. Реализация может быть выполнена с использованием python фреймворка FastAPI (https://fastapi.tiangolo.com/) или др.
Средство просмотра может поставляться в форме готового Docker-образа (https://docs.docker.com/) c возможностью публикации в оркестраторе Kubernetes (https://kubernetes.io/docs/home/). Средство просмотра предназначено для максимально быстрой загрузки крупных рентгенологических исследований. Использует js-библиотеку Cornerstone3D (https://www.cornerstonejs.org/docs/getting-started/overview) для рендеринга и аннотирования (краткого описания) медицинских изображений. Функциональность распознавания патологий по различным органам реализуется за счет подключаемых отдельных модулей для создания режимов рабочего процесса на основе задач, которые могут повторно использовать основные функции, к которым относится работа с сериями МРТ-изображений (для выбора актуальной серии), панели измерений для уточнения физических размеров выделяемых областей, увеличение или уменьшение масштаба, изменения яркости и контраста исследований, а также сохранение изображения в png формат. Данные функции являются общими и релевантными для всех типов нозологий. Дополнительно в панели измерений для конкретных органов формируется схематическое представление для визуализации на схеме области поражения. Если врач лучевой диагностики не использует ИИ или не согласен с результатом отработки модели, то путем выбора на схеме области поражения возможно изменение фактического состояния области поражения. Данная область прокрашивается ярким (например, красным) цветом и может быть сохранена в pdf в виде отчета с возможностью его выгрузки.
Современный пользовательский интерфейс (UI) может быть разработан с учетом расширяемости. Расширяемость реализуется за счет специальных компонент - модулей, которые подключаются как представления для конкретных органов в панель измерений. Компоненты пользовательского интерфейса доступны в библиотеке компонентов многократного использования, созданной с помощью React.js (https://react.dev/) и Tailwind CSS (https://tailwindcss.com/docs/). Данные компоненты обеспечивают возможность визуализации МРТ-исследований в web-браузере (тонкий клиент) без необходимости установки дополнительного программного обеспечения на рабочие станции и расширения функциональности в части детекции областей поражений. Кроме того, модульность подхода обеспечивает гибкое управление подключаемых расширения для конкретных нозологий.
Взаимодействие между компонентами программной части системы - программным обеспечением, размещенным в блоке памяти локального устройства (в форме 5 Docker-образов, включающих: БД PostgreSQL (https://www.postgresql.org/docs/), Redis (https://redis.io/docs/about/), Celery worker (https://docs.celeryq.dev/en/stable/), FastAPI, Flower (опциональный компонент, https://flower.readthedocs.io/en/latest/) производится следующим образом.
Средство просмотра получает данные, используя сервис FastAPI. Информация о вызове сохраняется в БД PostgreSQL для дальнейшего формирования отчета. Исследования ставятся в очередь с использованием Celery, где бэкендом выступает база ключ-значение (Redis). Асинхронные обработчики Celery необходимы для передачи сообщения на удаленный сервер, а также выполнения функций анонимизации и фильтрации исследований. Анонимизация обеспечивает замену всех персональных данных пациентов на случайные последовательности. Таким образом, нет необходимости в сертификации удаленного сервера как провайдера персональных данных. Flower - опциональный компонент для мониторинга и контроля очереди.
Локальное устройство обеспечивает интеграцию с PACS-системой для возможности просмотра любых архивных исследований и дополнительной обработки их сервисом ИИ.
На удаленный сервер поступают анонимизированные данные в DICOM формате и сохраняются в объектное хранилище (пояснения к этим данным). В результате обработки Удаленный сервер представляет на выходе JSON данные, которые включают послайсовую вероятность рака, а также маски для поражений и маски для сегментов предстательной железы. Входные данные DICOM содержат информацию PixelData с результатами, полученными из МРТ-аппарата. Для передачи данных в нейронную сеть они нормализуются в диапазоне 0-255 стандартным MinMaxScaler-ом, дополняются до 3-х каналов и передаются на вход нейросетевым моделям, сохраненным в onnx формате.
Возможность асинхронной масштабируемой работы обработчиков обеспечивается за счет использования очередей сообщений и горизонтального масштабирования Celery.
Примеры реализации изобретения
Разработанные способ выявления онкозаболеваний в органах малого таза и система для реализации способа были реализованы в виде продукта, который содержал перечисленные выше компоненты. Данный продукт был использован для выявления злокачественных образований в органах малого таза у группы из 60 пациентов, который продемонстрировал высокую точность диагностики. Были определены и локализованы следующие патологические изменения: рак предстательной железы, рак прямой кишки и анального канала, рак тела матки, рак шейки матки, рак мочевого пузыря, рак яичников. Подгруппа для каждой патологии состояла из исследований 10 пациентов. Количество в каждой подгруппе пациентов с патологией 7, без патологии 3.
В частности, при создании системы, содержащей модуль выявления злокачественных образований предстательной железы, были использованы следующие исходные БД и программное обеспечение: БД PostgreSQL, Redis, Celery worker, FastAPI, Flower, средства аугментации, включая зеркалирование по горизонтали и вертикали (random flip lr, random flip ud), вращение относительно центра (random rotation), изменение яркости (random brightness), изменение контраста (random contrast), сдвиг(random shift), исключение каналов ADC и DWI (random drop channel).
Перечисленные средства позволили провести обработку МРТ изображений с различных МРТ аппаратов, таких как GE, Siemens, Toshiba, что обеспечило более широкий охват результатов МРТ исследований.
Анатомическая синхронизация изображений на сервере клиники из отобранных серий была реализована с помощью пространственного объединения каждого изображения из Т2-взвешенной серии с соответствующим или ближайшим к нему изображением из других серий с использованием метаданных DICOM файлов и/или анатомических ориентиров. Синхронизация изображений описывалась вектором направления, координатами первого изображения серии, координатами положения пациента в процессе проведения МРТ-исследования; разрешением в строках (межпиксельное расстояние по высоте) и/или разрешением в колонках (межпиксельное расстояние по ширине); UID среза, характеризующим идентификацию отсчета местоположения изображения, используемого для указания местоположения объекта на изображении. В качестве анатомических ориентиров для анатомической синхронизации были использованы анатомические структуры и области с патологическими изменениями, контрастная визуализация которых не зависит от импульсных последовательностей, используемых для получения серий изображений, описанных выше.
Для обработки изображений предстательной железы на втором этапе были сформированы модели машинного обучения: для предварительной классификации целевого органа малого таза, модель бинарной классификации, модели сегментации и детекции. Сформированные маски были представлены в виде набора изображений сегментов анатомических областей и областей с патологическими изменениями, содержащих координаты и сохраненную размерность исходного изображения из сервера медицинского учреждения.
Результаты работы компьютерно-реализуемой системы представлены на фигурах 6 - 11. На указанных фигурах последовательно отображены этапы работы врача лучевой диагностики в системе по определению патологии предстательной железы у конкретного пациента, включая авторизацию, выбор исследования, анализ МРТ изображений, проведение измерений патологического очага, работу со схемой отображения патологического очага, создание отчета. В систему были загружены изображения серий T2, DWI, ADC, DCE.
Этап 1. Авторизация. На фигуре 6 показано окно авторизации, где перед началом работы системы пользователю необходимо ввести свой логин и пароль. В системе также реализованы функции сохранения данных авторизации, восстановления пароля и гостевого доступа.
Этап 2. Выбор МРТ исследования. На фигуре 7 показано окно списка исследований, которое открывается после авторизации пользователя. Список исследований получает данные из PACS клиники, после чего отображает их в виде списка с возможностью сортировки и фильтрации исследований для удобства пользователя. Каждое исследование имеет выпадающее меню, открывающееся при нажатии, с информацией о содержащихся в нем сериях, их модальности и количеству экземпляров. Исследование открывается при нажатии на кнопку “Основной просмотрщик” для конкретного пациента.
Этап 3. Анализ МРТ-исследования пациента А. При нажатии на кнопку «ИИ Анализ» на панели инструментов исследование загружается на удаленный сервер в анонимизированном виде, где происходит обработка пакета МРТ изображений пациента с использованием нейросетевых описанных выше моделей. После завершения обработки исследования, пользователю выводятся результаты сегментации органа на каждом из экземпляров исследования в виде масок, а также цветовая шкала, обозначающая вероятность рака на каждом из этих экземпляров. Локализация опухолевого очага, полученная на выходе модели, соответствует фактическому представлению, полученному от врачей-рентгенологов. Получены отображение опухолевого очага в соответствии с сегментарной дифференцировкой, контур предстательной железы, в целом контуры периферической и транзиторной зон на четырех сериях изображений: Т2-взвешенных изображений, диффузионно-взвешенных изображений, серии изображений с картами измеряемого коэффициента диффузии (ИКД) и серии изображений с динамическим контрастным усилением. Полученные маски сопоставляются с графической схемой железы, центрация схемы происходит по сопоставлению с простатическим отделом уретры, что позволяет выделить левую и правую половины исследуемого органа. Сопоставление масок с графической схемой железы в данном случае реализовано следующим образом: проведена условная вертикальная линия через орган, пересекающая уретру; выделены передний и задний сегменты транзиторной зоны и проведена через них условная горизонтальная линия; полученная толщина периферической зоны на схеме соответствует реальной толщине периферической зоны, полученные пропорции сегментов органа, выведенного на монитор, соответствуют фактическим. Наложение графической схемы на реальный орган позволяет получить наглядное сегментарное картирование с возможностью детализации анатомических структур. Возможно также использование отдельно подстроенной под орган схемы для отражения в тексте протокола. Определение нейроваскулярных пучков с обеих сторон, дорзального венозного комплекса и фибромускулярной стромы позволяет объективизировать экстракапсулярное распространение опухоли за пределы органа, дает больше информации для клиницистов хирургов при оптимальной индивидуализации хирургического вмешательства, в первую очередь в отношении нервосбережения, а также для сохранения копулятивной функции пациента, снижения интраоперационных рисков, и улучшения качества жизни в послеоперационном периоде. Вовлечение в опухолевый процесс фибромускулярной стромы и вен дорзального венозного комплекса позволяет клиницистам хирургам прогнозировать объем хирургического вмешательства, и соответственно, объем кровопотери. Определение мембранозного отдела уретры позволяет объективно определять длину резидульного фрагмента уретры и оптимально планировать технические аспекты наложения везикроуретрального анастомоза. Определение вовлеченности ректопростатических углов повышает эффективность проведения радикального, с онкологической точки зрения, вмешательства, без риска перфорации полого органа (прямой кишки), потенциально приводящего к формированию гнойно-септических осложнений, и в ряде случаев позволяет клиницистам хирургам заранее привлекать хирургов колопроктологов для операции на смежном органе (прямой кишке). На фигуре 8 показан пример отображения поражения органа.
Этап 4. Измерение анатомических областей или области поражения. На фигуре 9 показан процесс работы с измерениями и доступные инструменты длины, в виде линейки, эллипса и круга. На данном этапе пользователь может сделать необходимые для дальнейшей работы измерения. По завершении обработки нейросетью формируются контуры железы и опухоли в форматах, доступных для большинства планирующих систем fusion биопсии. Для корректного определения формы предстательной железы используется следующая эвристика: получаемая нейронной сетью бинарная маска накладывается на теоретическую маску релевантного размера. После этого производится расчет меры Жаккара. При получении значения более 0.95 делают вывод о нормальной форме органа. Измерения и результирующие контуры можно переименовывать для удобства и экспортировать для последующего использования (в форматах для 3D печати и 3D PDF). По завершении обработки нейросетью формируются заполненные данные объема всего органа, отдельно - объема транзиторной зоны (в см3), что важно для клиницистов терапевтического профиля урологии для лечения аденомы предстательной железы и оценки эффективности терапии в динамике. Наибольшая длина пораженного участка (очага) представлена в мм для объективного разграничения PI-RADS 4 и PI-RADS 5. Глубина распространения поражения за пределы органа, длина мембранозного отдела уретры, размеры дорзального венозного комплекса также представлены в мм. Объемы органов и его сегментов представлены в см3 с указанием диаметра венозных сосудов, входящих в их структуру (опционально). Таким образом, заявленная система позволяет производить все возможные измерения анатомических структур в рамках диагностики исследуемого органа.
Этап 5. Работа со схемой предстательной железы (в соответствии с протоколом). На фигуре 10 показана вкладка, содержащая схему предстательной железы. На интерактивной схеме врач может размечать области поражения, которые будут отображены в отчете. В нижней части вкладки показан рассчитанный моделью объем простаты, уровень PI-RADS и кнопка создания PDF отчета. Формирование, по итогам обработки нейросетью, объемной модели, представленной в виде полупрозрачного объема самого органа с или без выделения транзиторной и периферической зон, а также, в обязательном порядке, полупрозрачного объема опухоли, включенной в объем предстательной железы, с распространением или без распространения за пределы органа, в случае наличия очага высокой вероятности клинически значимого рака, позволяет клиницистам урологам спланировать объем локорегионарного лечения (радиочастотной или криоаблации), а также объективно контролировать эффективность лечения в динамике с предоставлением наглядных данных. Модель доступна в виде отдельной дополнительной DICOM серии исследования, а также, в виде скриншотов, доступна для добавления в структурированный протокол DICOM SR.
Этап 6. Создание отчета по результатам проведенной диагностики. На фигуре 11 показано окно редактирования отчета, которое открывается после нажатия на кнопку PDF отчет. Созданный отчет возможно редактировать с помощью правой панели, выбирая для каждой секции подходящий вариант или заполняя форму самостоятельно. Все изменения сразу же отображаются в правой панели с отчетом. После завершения работы отчет можно сохранить на компьютер или распечатать.
Разработанные способ и система продемонстрировали высокую точность диагностики новообразований органов малого таза, возможность детализации и визуализации выявленных очагов поражения, обеспечения анонимности в процессе обработки и анализа результатов МРТ исследований на удаленных устройствах, включая облачные серверы, и возможность более широкого охвата результатов МРТ исследований, выполненных на разных МРТ аппаратах.
Заявленное изобретение позволяет:
1. Повысить точность диагностики: использование заявленного способа с ИИ позволяет анализировать большие объемы данных МРТ-изображений, что позволяет выявлять даже небольшие изменения и аномалии, которые врач может упустить. Это способствует более точной и ранней диагностике онкологических патологий.
2. Сократить ошибки, вызванные человеческим фактором: Даже опытные врачи могут допустить ошибки при интерпретации МРТ-снимков. Заявленное изобретение с использованием ИИ служит важным инструментом для проверки и уточнения диагноза, что может снизить вероятность ложноположительных и ложноотрицательных результатов.
3. Увеличить доступность медицинской помощи: заявленный способ, реализующий распределение задач между ИИ и врачами, позволяет более эффективно использовать ресурсы здравоохранения. Это особенно актуально в странах и/или регионах, где недостаточно квалифицированных врачей.
4. Ускорить процесс диагностики: Анализ данных МРТ с помощью заявленного способа с использованием ИИ значительно ускоряет процесс диагностики, что особенно важно при подозрении на рак, где быстрая интервенция и лечение могут спасать жизни.
5. Предоставить пациенту персонализированное лечение: заявленный способ с использованием ИИ может помочь в персонализации лечения, анализируя данные пациента и предлагая наилучшие стратегии лечения на основе множества факторов, таких как стадия рака, возраст, общее состояние и многие другие.
6. Непрерывно совершенствовать систему: Системы ИИ могут постоянно обучаться на большом объеме данных, что позволяет им улучшать свою эффективность и точность с течением времени.
Claims (43)
1. Способ выявления поражения органов малого таза, включающий получение МРТ-изображений органов малого таза в формате набора DICOM файлов,
первый этап обработки МРТ-изображений, которую осуществляют на локальном устройстве медицинского учреждения с последующим направлением на второй этап обработки МРТ-изображений, который осуществляют на устройстве для определения патологии - удаленном сервере, с использованием алгоритмов искусственного интеллекта и моделей машинного обучения, по результатам которого делают вывод о наличии или отсутствии поражения органов малого таза, после чего результаты обработки возвращают на локальное устройство медицинского учреждения, при этом
на первом этапе обработки МРТ-изображений:
а) отбирают серии изображений в аксиальной или косой аксиальной проекции, включая серию Т2-взвешенных изображений,
б) осуществляют анонимизацию отобранных серий посредством удаления персональных данных с каждого изображения каждой серии с последующим присвоением каждому изображению временного уникального идентификатора (ID),
в) осуществляют анатомическую синхронизацию изображений из отобранных серий посредством пространственного объединения каждого изображения из Т2-взвешенной серии с соответствующим или ближайшим к нему изображением из других серий с использованием метаданных DICOM файлов и/или анатомических ориентиров,
г) формированием очереди полученных на шагах б) и в) изображений с последующей передачей всех изображений в виде одного пакета на удаленный сервер,
на втором этапе обработки МРТ-изображений:
д) принимают сформированные пакеты из очереди и сохраняют их в блок объектного хранилища в папке под полученным уникальным ID с одновременной передачей ссылок из блока кэширующей очереди, из которой изображения, полученные на этапе в), передают на параллельную асинхронную обработку моделями машинного обучения,
е) при этом обработку полученных из очереди изображений осуществляют в следующей последовательности: сначала обрабатывают синхронизированные изображения моделью машинного обучения, выполненной с возможностью предварительной классификации целевого органа малого таза и получением результата классификации в виде вероятности наличия или отсутствия на конкретном изображении целевого органа малого таза,
и в случае отсутствия целевого органа на всей серии изображений делают вывод о хирургической экстирпации органа или вероятности неверно выбранной области сканирования на серии изображений;
в случае выявления наличия целевого органа малого таза, данные изображения параллельно обрабатывают, по меньшей мере, одной моделью бинарной классификации, обученной на выявление наличия злокачественного новообразования целевого органа малого таза, также двумя моделями сегментации и одной моделью детекции с обеспечением комплексного анализа изображений и графического представления области с патологическими изменениями, при этом первая из упомянутых двух моделей сегментации выполнена с возможностью формирования графического контура целевого органа малого таза и определения его объема; вторая модель сегментации выполнена с возможностью сегментации анатомических зон и/или слоёв и/или областей целевого органа малого таза; модель детекции выполнена с возможностью определения области патологических изменений и сегментации выявленной области с цветовым выделением полученных сегментов,
вывод о наличии или отсутствии злокачественного новообразования целевого органа малого таза делают при совпадении результатов обработки изображений моделью бинарной классификации и моделями сегментации и детекции, в случае отсутствия совпадения по исследуемому изображению осуществляют обработку моделями сегментации и детекции соседних изображений, и в случае выявления, по меньшей мере, на одном изображении патологического очага, делают вывод о наличии злокачественного новообразования органа малого таза;
полученные результаты второго этапа обработки изображений представляют собой множество масок в виде набора изображений сегментов анатомических областей и областей с патологическими изменениями, содержащих координаты и сохраненную размерность исходного изображения из сервера медицинского учреждения,
ж) результаты второго этапа обработки изображений возвращают на локальное устройство медицинского учреждения, которые сопоставляются по уникальному ID, при этом на локальном устройстве медицинского учреждения после направления изображений на второй этап обработки формируют запрос о состоянии обработки (Long pooling) изображений, который с заданной периодичностью направляют на удаленный сервер, с получением ответа о результатах обработки.
2. Способ по п.1, характеризующийся тем, что при отборе серий диффузионно-взвешенных изображений, полученных при исследовании пациента на различных МРТ аппаратах или при формировании обучающей выборки, осуществляют аугментацию изображений.
3. Способ по п.2, характеризующийся тем, что аугментацию проводят с использованием преобразований, включая вертикальный и горизонтальный поворот изображений получаемых серий, и/или случайные изменения яркости и контраста, и/или сдвиги изображений серий, и/или множественные случайные закрашивания областей прямоугольной формы с формированием черных контрастных линий, моделирующих артефакты, в случае их присутствия на отдельных МРТ-изображениях; данные преобразования производят с использованием python библиотеки albumentations.
4. Способ по п.1, характеризующийся тем, что при анатомической синхронизации в качестве метаданных используют по меньшей мере один из перечисленных параметров: координаты положения пациента в процессе проведения МРТ-исследования; разрешение в строках и/или разрешение в колонках; UID среза, характеризующий идентификацию отсчета местоположения изображения, используемого для указания местоположения объекта на изображении.
5. Способ по п.1, характеризующийся тем, что при анатомической синхронизации в качестве ориентиров используют анатомические структуры или области с патологическими изменениями, контрастная визуализация которых не зависит от импульсных последовательностей, используемых для получения серий изображений, описанных выше.
6. Способ по п.5, характеризующийся тем, что в качестве ориентиров при анатомической синхронизации используют предстательную железу, и/или матку, и/или мочевой пузырь, и/или анатомические области, включая периферическую и/или транзиторную зону предстательной железы, и/или области с патологическими изменениями.
7. Способ по п.1, характеризующийся тем, что анатомическую синхронизацию осуществляют на локальном устройстве медицинской организации после получения результатов МРТ исследования из PACS-системы и отбора из них серий изображений в аксиальной или косой аксиальной проекции.
8. Способ по п.1, характеризующийся тем, что пространственное объединение изображений на этапе в) осуществляют посредством установления соответствия изображений на одном уровне из разных серий между собой.
9. Способ по п.1, характеризующийся тем, что анонимизацию полученных изображений проводят посредством удаления или замены персональных данных, или формирования случайного значения для персональных данных, включая: ФИО, дата рождения, идентификатор пациента, дата исследования, название и/или адрес медицинской организации, ФИО сотрудника медицинской организации.
10. Способ по п.9, характеризующийся тем, что анонимизацию полученных изображений проводят с использованием программных средств чтения и изменения метаданных, содержащихся в DICOM.
11. Способ по п.1, характеризующийся тем, что модель бинарной классификации обучают на данных МРТ с подтвержденным биопсией поражением органов малого таза, включая злокачественное новообразование, при этом результат в виде «0» определяют при отсутствии поражения органов малого таза, «1» - при наличии поражения органов малого таза, а в качестве функции потерь используют бинарную кросс-энтропию.
12. Способ по п.1, характеризующийся тем, что модель бинарной классификации обучают на данных МРТ, где целевая область с патологическими изменениями предварительно верифицирована врачами-рентгенологами и графически размечена, при этом в качестве функции потерь используют композитную функцию из бинарной кросс-энтропии и Dice с последующим подсчетом объема органа и патологически измененной области путем вычисления совокупности масок.
13. Способ по п.1, характеризующийся тем, что на первом этапе обработки МРТ-изображений отбирают серию Т2-взвешенных изображений и, по меньшей мере, одну серию из перечисленных: диффузионно-взвешенные изображения, изображения с картами измеряемого коэффициента диффузии (ИКД), изображения с динамическим контрастным усилением, Т1-взвешенные изображения.
14. Способ по п.1, характеризующийся тем, что на втором этапе обработки МРТ-изображений для приема сформированных пакетов из очереди используют блок RESTfull API.
15. Способ по п.1, характеризующийся тем, что на втором этапе обработки МРТ-изображений вторая модель сегментации выполнена с возможностью выделения периферической и транзиторной зон для предстательной железы, и/или слоев стенки прямой кишки, и/или мезоректальной клетчатки и мезоректальной фасции для прямой кишки, и/или слоев стенки тела матки, и/или слоев стенки шейки матки, и/или сфинктеров анального канала.
16. Способ по п.1, характеризующийся тем, что вторая модель сегментации включает несколько масок, где анатомические области целевого органа малого таза предварительно графически размечены врачами-рентгенологами, при этом в качестве функции потерь используют композитную функцию из бинарной кросс-энтропии и Dice.
17. Способ по п.1, характеризующийся тем, что на втором этапе обработки МРТ-изображений модель детекции выполнена с возможностью сегментации выявленной области нейронной сетью, при этом цветовое выделение реализовано с возможностью изменения уровня прозрачности или полного выключения отображения маски.
18. Способ по п.1, характеризующийся тем, что по результатам второго этапа обработки изображений выделяют изображения с вероятной патологией.
19. Способ по п.1, характеризующийся тем, что дополнительно по результатам обработки изображений на сервере медицинского учреждения определяют симметричность органа по полученной маске, при этом для определения симметричности предстательной железы выявляют центр массы, через который проводят горизонтальную и вертикальные линии, делящие оконтуренную область предстательной железы на 4 части - верхнюю, нижнюю - относительно горизонтальной линии, и боковые - относительно вертикальной линии, после чего одну из частей зеркально отображают на другую часть с последующим определением в отношении горизонтальных и вертикальных частей коэффициента Жаккара, который затем усредняют.
20. Способ по п.1, характеризующийся тем, что дополнительно, по результатам второго этапа обработки изображений, определяют количественное значение объема сегментов органа, а также объема областей с патологическими изменениями.
21. Способ по п.1, характеризующийся тем, что дополнительно, по результатам обработки МРТ-изображений, полученный вывод верифицируют посредством сравнения изображения исследуемой патологической области с предобработанным изображением, полученным из блока хранения векторных бинарных моделей классификации, обученных по результатам патоморфологической верификации на выявление наличия поражения органов малого таза, включая злокачественное новообразование целевого органа малого таза, при этом предобработку осуществляют посредством отрезания финальных полносвязаных слоев – «головы» нейросетевой модели, с последующей обработкой всех изображений, сохраненных в упомянутом блоке, и при выявлении из данного блока изображений, схожих с исследуемым изображением, делают вывод о наличии поражения органов малого таза, включая злокачественное новообразование, при этом схожесть измеряют косинусным или L1 или L2 расстояниями между эмбеддингами - векторными представлениями, полученными после обработки серий нейронной сетью.
22. Способ по п.1, характеризующийся тем, что в качестве ответа о результатах обработки изображений на этапе ж) используют сообщения со статусом «изображения еще обрабатываются», или «обработка изображений завершена» или «произошла ошибка» с текстовым описанием типа ошибки.
23. Способ по п.1, характеризующийся тем, что модели предварительной классификации целевого органа малого таза, модель бинарной классификации, модели сегментации и детекции формируют для каждого органа малого таза.
24. Способ по п.1, характеризующийся тем, что определяют новообразования органов малого таза, такие как рак предстательной железы, рак прямой кишки, рак матки.
25. Компьютерно-реализуемая система для выявления поражения органов малого таза, характеризующаяся тем, что включает объединенные в сеть локальное устройство медицинского учреждения и устройство для определения патологии, выполненные с возможностью осуществления способа по п.1, при этом локальное устройство медицинского учреждения представляет собой аппаратную часть, устанавливаемую в медицинское учреждение, реализованную с возможностью выполнения первого этапа обработки МРТ-изображений способа по п.1, а устройство для определения патологии представляет собой серверную часть, размещенную в облаке, реализованную с возможностью выполнения второго этапа обработки МРТ-изображений способа по п.1, включая распознавание, классификацию, сегментацию, детекцию, с использованием моделей машинного обучения в виде нейронных сетей.
26. Система по п.25, характеризующаяся тем, что локальное устройство содержит, по меньшей мере, один блок памяти с контейнерами, содержащими компоненты программной части, реализующими шаги первого этапа обработки изображений способа по п.1.
27. Система по п.26, характеризующаяся тем, что блок памяти содержит контейнер с базой данных (БД), обеспечивающей хранение транзакционных записей по отправленным на удаленный сервер анонимизированным исследованиям; контейнер с кэширующим слоем, обеспечивающим очередь обработки, и воркеры, обеспечивающие возможность масштабируемой асинхронной обработки; контейнер с компонентами, обеспечивающими анонимизацию МРТ-изображений и отправку в облачный удаленный сервер, а также контейнер с WEB приложением для передачи на рабочее место медицинского работника, и контейнер с компонентами, обеспечивающими мониторинг работы остальных компонентов системы.
28. Система по п.25, характеризующаяся тем, что устройство для определения патологии реализовано в виде масштабируемого блока с обеспечением возможности асинхронной обработки МРТ-изображений.
29. Система по п.25, характеризующаяся тем, что устройство для определения патологии содержит блок с обученными нейросетевыми моделями и блок, представляющий собой объектное хранилище для сохранения анонимизированных МРТ-изображений, который содержит подблоки, предназначенные для хранения упомянутых данных отдельных медицинских организаций.
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2814790C1 true RU2814790C1 (ru) | 2024-03-04 |
Family
ID=
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050251013A1 (en) * | 2004-03-23 | 2005-11-10 | Sriram Krishnan | Systems and methods providing automated decision support for medical imaging |
| RU2551186C1 (ru) * | 2013-11-19 | 2015-05-20 | Государственное бюджетное образовательное учреждение высшего профессионального образования Первый Московский государственный медицинский университет И.М. Сеченова Министерства здравоохранения Российской Федерации (ГБОУ ВПО Первый МГМУ им. И.М. Сеченова Минздрава России) | Способ динамической магнитно-резонансной диагностики пролапса тазовых органов |
| WO2019103912A2 (en) * | 2017-11-22 | 2019-05-31 | Arterys Inc. | Content based image retrieval for lesion analysis |
| RU2694476C1 (ru) * | 2018-11-22 | 2019-07-15 | федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский политехнический университет Петра Великого" (ФГАОУ ВО "СПбПУ") | Способ диагностики рака легкого на основе интеллектуального анализа формы, внутренней и внешней структур новообразований |
| US20200303060A1 (en) * | 2019-03-18 | 2020-09-24 | Nvidia Corporation | Diagnostics using one or more neural networks |
| RU2741260C1 (ru) * | 2020-07-23 | 2021-01-22 | АЙварикс Корп. | Способ и система автоматизированной диагностики сосудистых патологий на основании изображения |
| RU2757707C2 (ru) * | 2019-09-06 | 2021-10-20 | федеральное государственное автономное образовательное учреждение высшего образования "Южный федеральный университет" | Способ компьютерной диагностики деформаций суставов конечностей человека на цифровых медицинских рентгенографических изображениях |
| RU2789260C1 (ru) * | 2021-12-20 | 2023-01-31 | Автономная некоммерческая организация высшего образования "Университет Иннополис" | Система поддержки принятия врачебных решений на основе анализа медицинских изображений |
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050251013A1 (en) * | 2004-03-23 | 2005-11-10 | Sriram Krishnan | Systems and methods providing automated decision support for medical imaging |
| RU2551186C1 (ru) * | 2013-11-19 | 2015-05-20 | Государственное бюджетное образовательное учреждение высшего профессионального образования Первый Московский государственный медицинский университет И.М. Сеченова Министерства здравоохранения Российской Федерации (ГБОУ ВПО Первый МГМУ им. И.М. Сеченова Минздрава России) | Способ динамической магнитно-резонансной диагностики пролапса тазовых органов |
| WO2019103912A2 (en) * | 2017-11-22 | 2019-05-31 | Arterys Inc. | Content based image retrieval for lesion analysis |
| RU2694476C1 (ru) * | 2018-11-22 | 2019-07-15 | федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский политехнический университет Петра Великого" (ФГАОУ ВО "СПбПУ") | Способ диагностики рака легкого на основе интеллектуального анализа формы, внутренней и внешней структур новообразований |
| US20200303060A1 (en) * | 2019-03-18 | 2020-09-24 | Nvidia Corporation | Diagnostics using one or more neural networks |
| RU2757707C2 (ru) * | 2019-09-06 | 2021-10-20 | федеральное государственное автономное образовательное учреждение высшего образования "Южный федеральный университет" | Способ компьютерной диагностики деформаций суставов конечностей человека на цифровых медицинских рентгенографических изображениях |
| RU2741260C1 (ru) * | 2020-07-23 | 2021-01-22 | АЙварикс Корп. | Способ и система автоматизированной диагностики сосудистых патологий на основании изображения |
| RU2789260C1 (ru) * | 2021-12-20 | 2023-01-31 | Автономная некоммерческая организация высшего образования "Университет Иннополис" | Система поддержки принятия врачебных решений на основе анализа медицинских изображений |
| RU2795658C1 (ru) * | 2022-10-04 | 2023-05-05 | Автономная некоммерческая организация высшего образования "Университет Иннополис" | Устройство и способ для диагностики тазобедренных суставов |
| RU2801420C1 (ru) * | 2022-10-04 | 2023-08-08 | Автономная некоммерческая организация высшего образования "Университет Иннополис" | Система и способ диагностики тазобедренных суставов |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Brunye et al. | Eye movements as an index of pathologist visual expertise: a pilot study | |
| RU2543563C2 (ru) | Системы и способы поддержки клинических решений | |
| CN109583440A (zh) | 结合影像识别与报告编辑的医学影像辅助诊断方法及系统 | |
| US20140314292A1 (en) | Method and system for integrated radiological and pathological information for diagnosis, therapy selection, and monitoring | |
| Park et al. | Methods for clinical evaluation of artificial intelligence algorithms for medical diagnosis | |
| CN103222876B (zh) | 医用图像处理装置、图像诊断装置、计算机系统以及医用图像处理方法 | |
| Wang et al. | IILS: Intelligent imaging layout system for automatic imaging report standardization and intra-interdisciplinary clinical workflow optimization | |
| Yung et al. | The validity of suspected blood indicator software in capsule endoscopy: a systematic review and meta-analysis | |
| TW202032577A (zh) | 醫學圖像分割方法、裝置、系統及圖像分割方法 | |
| RU2699416C2 (ru) | Идентификация аннотаций к описанию изображения | |
| Lavdas et al. | Machine learning in whole-body MRI: experiences and challenges from an applied study using multicentre data | |
| JP2013511762A (ja) | プロトコルガイドイメージング手順 | |
| US20190279408A1 (en) | Medical image processing apparatus, medical image processing method, and medical image processing program | |
| Brugnara et al. | Automated volumetric assessment with artificial neural networks might enable a more accurate assessment of disease burden in patients with multiple sclerosis | |
| JP7102509B2 (ja) | 医療文書作成支援装置、医療文書作成支援方法、及び医療文書作成支援プログラム | |
| JP7170000B2 (ja) | 学習システム、方法及びプログラム | |
| US20190005354A1 (en) | Learning data generation support apparatus, operation method of learning data generation support apparatus, and learning data generation support program | |
| Rawat et al. | Digital Clinical Diagnostic System for Lung Cancer Detection | |
| Sha et al. | MRI-based radiomics for the diagnosis of triple-negative breast cancer: a meta-analysis | |
| Yao et al. | AI-Assisted Ultrasound for the Early Diagnosis of Antibody-Negative Autoimmune Thyroiditis | |
| EP3362925B1 (en) | Systems and methods for generating correct radiological recommendations | |
| JP7007469B2 (ja) | 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム | |
| RU2814790C1 (ru) | Способ выявления онкозаболеваний в органах малого таза и система для реализации способа | |
| Mörth et al. | Radex: Integrated visual exploration of multiparametric studies for radiomic tumor profiling | |
| US11734915B2 (en) | Automated and assisted identification of stroke using feature-based brain imaging |