RU2757256C1 - Способ и система диагностирования патологических изменений в биоптате предстательной железы - Google Patents

Abstract

Группа изобретений относится к медицинской области техники и может быть использована как ассистент врача для проведения диагностики на основе технологии искусственного интеллекта. Предложен способ проведения диагностики патологий на основе технологии искусственного интеллекта, выполняемый по меньшей мере одним вычислительным устройством и в котором получают по меньшей мере одно изображение биоптата, содержащее патологию; осуществляют анализ полученного изображения биоптата в низком разрешении для получения миниатюры; осуществляют на миниатюре поиск областей, содержащих ткань, а также кластеризацию областей в более крупные объекты; считывают патчи в большом разрешении; пропускают полученные на предыдущем шаги патчи через сегментирующую искусственную нейронную сеть (ИНС) для получения многоканальной маски с классами патологий; осуществляют векторизацию маски с классами патологий для представления в виде полигонов; группируют полигоны по биоптатам, из которых они извлечены для получения предварительного диагноза по каждому из биоптатов; определяют для каждого биоптата суммарную площадь поражения, длину поражения, тип патологии и сумму Глисона. Группа изобретений обеспечивает повышение точности и скорости постановки врачом диагноза посредством оцифрованных гистологических стекол. 2 н. и 8 з.п. ф-лы, 5 ил.

Description

ОБЛАСТЬ ТЕХНИКИ

[001] Настоящее техническое решение в общем относится к медицинской области техники, а в частности к способам и системам проведения диагностики патологий на основе технологии искусственного интеллекта, и может быть использовано как ассистент врача для проведения диагностики на основе технологии искусственного интеллекта.

УРОВЕНЬ ТЕХНИКИ

[002] В настоящее время из уровня техники известны компании, как разработавшие аналоги, так и в процессе разработки таковых.

[003] Например, из уровня техники известна заявка US20200364587A1 «Systems and methods for processing images to classify the processed images for digital pathology» (дата публикации: 2020-11-19, правообладатель: PAIGE AI INC). В данном решении раскрыты системы и способы для получения целевого изображения, соответствующего целевому образцу, целевой образец включает образец ткани пациента, применения модели машинного обучения к целевому изображению для определения по меньшей мере одной характеристики целевого образца и/или по меньшей мере одной характеристики целевого изображения. Модель машинного обучения была сгенерирована путем обработки множества обучающих изображений для прогнозирования по меньшей мере одной характеристики, обучающие изображения содержат изображения тканей человека и/или изображения, которые генерируются алгоритмически, и вывод по меньшей мере одной характеристики целевого образца и/или по меньшей мере одной характеристики целевого изображения.

[004] Также из уровня техники известен патент US10614285B2 «Computing technologies for image operations" (дата публикации: 2020-04-07, правообладатель: PROSCIA INC). Способ включает: получение через процессор изображения с тканью; количественную оценку изображения через процессор на основе: сегментации через процессор изображения на множество сегментов; идентификации через процессор множества гистологических элементов в сегментах; формировании через процессор сетевого графа, содержащего множество узлов, в котором гистологические элементы соответствуют узлам; измерении с помощью процессора характеристики сетевого графа; выполнении через процессор преобразования изображения на основе признака; определении с помощью процессора непараметрического признака изображения на основе преобразования; сохранении через процессор непараметрических характеристик в базе данных.

[005] Однако существующие коммерческие системы не позволяют обеспечить точность осуществления цифровой диагностики.

СУЩНОСТЬ ТЕХНИЧЕСКОГО РЕШЕНИЯ

[006] Техническим результатом, достигаемым при решении вышеуказанной технической задачи, является повышение точности и скорости постановки врачом диагноза посредством оцифрованных гистологических стекол.

[007] Дополнительным техническим результатом является уменьшение ошибок, связанных с человеческим фактором, путем автоматической разметки слайда, мгновенного определения патологических областей ткани на изображениях и типа патологии, а также постановки диагноза.

[008] Указанный технический результат достигается за счет осуществления способа диагностирования патологических изменений в биоптате предстательной железы, выполняемого по меньшей мере одним вычислительным устройством, в котором получают по меньшей мере одно изображение биоптата, содержащее патологию; осуществляют поиск областей, содержащих ткань (в качестве оптимизации поиск может происходить на слайде более низкого разрешения), а также кластеризацию областей в более крупные объекты; считывают патчи в большом разрешении; пропускают полученные на предыдущем шаги патчи через сегментирующую искусственную нейронную сеть (ИНС) для получения многоканальной маски с классами патологий; осуществляют векторизацию маски с классами патологий для представления в виде полигонов; группируют полигоны по биоптатам, из которых они извлечены для получения предварительного диагноза по каждому из биоптатов; определяют для каждого биоптата суммарную площадь поражения, длину поражения, тип патологии и сумму Глисона.

[009] В некоторых вариантах реализации технического решения патчи считываются с перекрытием для уменьшения артефактов предсказания в связи с краевыми эффектами.

[0010] В некоторых вариантах реализации технического решения многоканальная маска имеет количество каналов, равное количеству детектируемых патологий.

[0011] В некоторых вариантах реализации технического решения осуществляют векторизацию посредством представления в виде координат для каждого класса.

[0012] В некоторых вариантах реализации технического решения при осуществлении векторизации для каждого класса происходит поиск контуров патологий.

[0013] В некоторых вариантах реализации технического решения поиск осуществляется средствами библиотеки OpenCV.

[0014] В некоторых вариантах реализации технического решения объединяют полигоны, полученные из соседних патчей, для устранения стыков между ними на итоговой визуализации.

[0015] В некоторых вариантах реализации технического решения ИНС модифицируется в энкодер.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0016] Признаки и преимущества настоящего технического решения станут очевидными из приведенного ниже подробного описания и прилагаемых чертежей, на которых:

[0017] На Фиг. 1 показан пример реализации способа диагностирования патологических изменений в биоптате предстательной железы.

[0018] На Фиг. 2 показан вариант реализации графического интерфейса пользователя, отражающего слайды с возможностью редактирования разметки полученного изображения с патологий.

[0019] На Фиг. 3 показан вариант реализации графического интерфейса пользователя, отражающего слайды с поставленным диагнозом по патологиям в левой части интерфейса.

[0020] На Фиг. 4 показан пример реализации системы проведения диагностики патологий на основе технологии искусственного интеллекта в виде блок-схемы.

[0021] На Фиг. 5 показан пример реализации таблицы с метриками Каппа Коэна (Cohen's Kappa).

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

[0022] Ниже будут подробно рассмотрены термины и их определения, используемые в описании технического решения.

[0023] В данном изобретении под системой подразумевается компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, четко определенную последовательность операций (действий, инструкций), централизованные и распределенные базы данных, смарт-контракты.

[0024] Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы), смарт-контракт, виртуальная машина Ethereum (EVM) или подобное. Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных. В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические приводы.

[0025] Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.

[0026] Биопсия - представляет собой диагностический метод исследования, заключающийся в иссечении тканей определенного органа или взятие взвеси клеток, проводящийся в живом организме, с целью последующего микроскопического изучения, осуществляемого после обработки препарата специальными красителями.

[0027] Слайды - это оцифрованные стекла (биоматериал пациента), по которому происходит определение патологии и постановка диагноза.

[0028] Биоптат - это материал, полученный путем биопсии. В большинстве случаев биопсия - это прямой метод исследования, позволяющий точно поставить диагноз той или иной болезни. Особенно важную информацию метод биопсии имеет для распознавания опухолей.

[0029] Гистологическое исследование - представляет собой исследование определенного интересующего участка ткани под микроскопом. Данные участки ткани обезвоживаются при помощи специфически приготовленных растворов. Ткани становятся жирорастворимыми, а затем перемещаются в заранее подготовленные формочки и пропитываются парафином, приобретая вид твердых кубиков. После чего, при помощи специального ножа с ультратонким лезвием, делаются небольшие срезы толщиной не более 3 микрометров.

[0030] В конкретном варианте реализации в качестве примера изображений с патологией в описании будут описываться слайды (где используется гистологическое исследование), т.е. оцифрованные стекла, однако любому специалисту в уровне техники очевидно, что могут использоваться любые известные типы изображений с патологией (например, МРТ, рентген и т.д.).

[0031] В конкретном варианте реализации при исследовании участков тканей или органов, расположенных у поверхности кожи, применяют пункционную биопсию с использованием специфических тонких игл, которые вводятся непосредственно в исследуемый участок. Столбик ткани, находящийся в просвете иглы, направляется в лабораторию на исследование, где применяют данное техническое решение при исследовании биоптата.

[0032] Данное техническое решение может быть реализовано в качестве вычислительной системы с микросервисной архитектурой, состоящей из трех основных частей.

[0033] Первой компонентной является искусственная нейронная сеть (далее - ИНС), которая генерирует разметку слайда и диагноз и, например, представляет собой модифицированную Resnet-34. В некоторых вариантах реализации в качестве такой сети могут использоваться Unet, LinkNet. Аналогично, в качестве искусственной нейронной сверточной сети могут использоваться ResNet-50, ResNet-101, HRNetV2-W18, HRNetV2-W32, HRNetV2-W48.

[0034] В конкретном примере реализации ИНС обнаруживает следующие патологии, не ограничиваясь:

a. Атрофия;

b. Аденокарцинома;

i. Глисон 3

ii. Глисон 4

iii. Глисон 5

c. Пенистоклеточный рак;

d. Протоковый рак;

e. ПИН (Простатическая интраэпителиальная неоплазия);

f. Хроническое воспаление.

[0035] Второй компонентной является модуль для просмотра изображения с патологией, например, слайдов (с разметкой и без) и диагноза, выполнен с возможностью редактирования разметки полученного изображения с патологий, например, слайда и диагноза, ручной разметки слайда и постановки диагноза (без участия ИНС), как показано на Фиг. 2. Изображение в некоторых вариантах реализации могут получать от клиента на сервер, из базы данных изображений с патологиями или из любой другой внешней системы, Для того, чтобы техническое решение могло выдать результат в виде определения патологии на слайде и сформировать заключение, оно предварительно обучается. Один из этапов этого обучения - подготовка врачами набора данных (набора слайдов, т.е. оцифрованных стекол), что является так называемой ручной разметкой. В эту подготовку может входить разметка этих слайдов врачами в отдельной программе или внутри технического решения по областям (зонам поражения ткани/ биоматериала пациента). По завершению процесса обучения искусственной нейронной сети техническое решение может автоматически размечать загруженные в него слайды. Врач может корректировать автоматическую разметку системы в случае, если не согласен с ней, а также, отправлять свой вариант и вариант системы для получения третьего мнения другому врачу. Выполненная автоматическая разметка представляет собой выделенную область на слайде с патологией (меткой). В некоторых вариантах реализации возможность изменения метки и добавления описания к области.

[001] Еще одной компонентой системы является графический интерфейс пользователя (англ. «GUI») с личным кабинетом (далее - ПК) и базой данных (далее - БД), которая может храниться на сервере. Для работы с веб-интерфейсом необходима регистрация. ЛК позволяет создавать «рабочие области» (далее - РО) (некий аналог врачебного учреждения или лаборатории). РО нужны для изоляции работы врачей в различных мед. учреждениях, в частности для защиты персональных данных. Существует возможность добавления пользователей в рабочую область с различными уровнями доступа к информации, например:

- владелец (полный доступ ко всем слайдам РО)

- врач (имеет доступ только к своим слайдам)

- супервизор (имеет доступ к своим слайдам и слайдам, назначенным на кейсы всех врачей РО)

- администратор (любой из показанных выше пользователей может быть администратором, может менять уровни доступа пользователей).

[002] Внутри рабочей области находятся «локализации» (в конкретном варианте реализации - простата). Зайдя в локализацию, находят два блока («Кейсы» (можно трактовать как пациент) и «Слайды» (загруженные слайды и не добавленные в Кейс). Имеется возможность просмотреть слайды как из кейса, так и из блока «Слайды». Каждый кейс может содержать один и более слайдов (обычно принадлежащих одному пациенту). Для автоматической обработки (разметки и постановки диагноза) нажимается соответствующая кнопка. На обработку с помощью ИНС отправляется весь кейс. При желании можно разметить слайд и поставить диагноз в ручном режиме, для чего открывается каждый слайд отдельно.

[003] Данное техническое решение представляет собой одну или несколько взаимодействующих между собой искусственных нейронных сетей. Каждая нейронная сеть работает на определенном масштабе слайда и нацелена на нахождение своих признаков. Такой подход имеет место быть в связи с тем, что некоторые признаки проявляются только на макроуровне, в то время как остальные возможно распознать только на клеточном уровне. В конкретном примере реализации слайд обрабатывается одной или несколькими ИНС с различными уровнями детализации, и по завершению анализа и сбора всех найденных признаков модель машинного обучения принимает решение о принадлежности каждой области к определенному классу патологий.

[004] Предварительно на первом шаге собирается модель на ранее обученных весах. Под сборкой модели подразумевается загрузка весов в известную архитектуру ИНС. В данном техническом решении это веса ранее обученной модели машинного обучения. В данной реализации анализируемый слайд считывается в низком разрешении для получения миниатюры. На миниатюре происходит поиск областей, содержащих ткань, а также кластеризация областей в более крупные объекты, поскольку на одном слайде может находиться серия срезов парафинового блока с одним или несколькими биоптатами (столбиками). Слайд считывается в оттенках серого и к нему применяется медианный фильтр, а затем отсечение экстремальных значений по порогу. Таким образом, происходит отброс «пиков» на изображении. Отбрасывание «плато» может происходить при помощи преобразования Лапласа. В результате этих действий получают бинарную маску для слайда, в которой 0 - фоновое значение, 1 - значение для тканей. Таким образом, отбираются области для более детального анализа с помощью ИНС.

[005] Из выбранных областей происходит считывание патчей в большом разрешении. Патчем называется изображение фиксированного размера (чаще квадратной формы), вырезанное из слайда. Патчи считываются с перекрытием для уменьшения артефактов предсказания в связи с краевыми эффектами. Эти патчи пропускаются через сегментирующую ИНС для получения многоканальной маски. Обычное изображение имеет 3 канала: Red, Green, Blue или коротко RGB. Многоканальная маска будет иметь количество каналов, равное количеству классов, то есть количеству детектируемых патологий. В качества примера ИНС могут использоваться модели, известные из уровня техники, например, из источников информации [2], [3]. Сегментирующая ИНС - это ИНС, которая присваивает метку каждому пикселю изображения. Пиксели с одинаковыми метками имеют общие визуальные характеристики. Полученная таким образом маска с классами векторизуется для более компактного представления в виде полигонов. Количество классов берется из количества детектируемых патологий и здоровой ткани. По одному на каждую патологию плюс еще по одному на каждую градацию Глисона. В конкретном примере реализации получается 9 классов + 1 = 10. Многоканальная маска - это растровое представление. Один из минусов такого представления - это скорость дальнейшей обработки. Процесс векторизации - это представление в виде координат для каждого класса. Для каждого из каналов, то есть для каждого класса происходит поиск контуров, а значит и координат. Поиск может осуществляться средствами библиотеки OpenCV. Полигоны, полученные из соседних патчей, объединяются для устранения стыков между ними на итоговой визуализации. Полигоны группируются по биоптатам (столбикам), из которых они извлечены для получения предварительного диагноза по каждому из биоптатов (столбиков), как показано на Фиг. 3, причем как на стороне сервера, так и на стороне клиента. Например, врач по каким-то причинам изменяет контур биоптата (столбика), соответственно ему на стороне клиента (в веб-браузере) пересчитывают принадлежность полигонов новым границам столбика и формируют новое заключение по биоптату (столбику).

[006] Для каждого биоптата (столбика) рассчитываются такие характеристики как суммарная площадь поражения, длина поражения, самый распространенный и самый агрессивный типы рака (при их наличии) и так называемая сумма Глисона. Сумма Глисона - это один из признаков определения степени патологии для постановки заключения. Сумма баллов по Глисону определяется сложением баллов (по 5-балльной шкале) двух самых характерных участков биоптата опухоли. Сумма баллов по Глисону может варьироваться от 2 до 10, где 2 обозначает наименее агрессивную опухоль, а 10 - наиболее агрессивную. Сумма Глисона иногда называется шкалой Глисона. Для постановки диагноза по одному пациенту, врачу необходимо от 10 до 12 таких образцов ткани пациента. Они также называются столбиками. Шкала Глисона (сумма Глисона) используется для гистологической оценки дифференцировки рака простаты (малые значения шкалы соответствуют высокодифференцированным формам, а высокие низкодифференцированным). Высокие значения по шкале Глисона связывают с плохим прогнозом исхода заболевания. Осуществляется биопсия простаты, затем два наиболее характерных участка биоптата оцениваются по пятибалльной шкале. Один балл означает наиболее высокую степень дифференцировки, а 5 - низкую. Полученная в результате сложения этих оценок «сумма Глисона» варьирует от 2 (1+1) до 10 (5+5) баллов. Низкодифференцированные опухоли (то есть имеющие высокую оценку по шкале Глисона) как правило более агрессивны (быстрее распространяются и метастазируют), однако лучше поддаются химиотерапии и лучевой терапии, чем высокодифференцированные. Совместно с другими методами оценки, шкала Глисона помогает классифицировать карциному простаты, оценивать прогноз и подбирать оптимальную терапию.

[007] Вся полученная информация (полигоны и предварительный диагноз, который может быть составлен на стороне клиента) выводятся в файл и/или в базу данных (БД) для дальнейшей визуализации через графический интерфейс пользователя.

[008] В конкретном примере реализации за основу взята модель ResNet-34 из официального репозитория PyTorch. [1] Модель собирается без изменений для того, чтобы подгрузить веса набора данных ImageNet. Затем данная ИНС с предобученными на ImageNet слоями модифицируется в так называемый энкодер следующими действиями.

[009] Убираются два последних слоя avgpool и fc, так как они не используются для сегментации. AvgPool2d - проходит скользящим окном и берет среднее значение, и тем самым уменьшает размер данных. Fc - полносвязный слой, который отвечает за классификацию, который в решаемой задаче не нужен.

[0010] Далее вырезается слой maxpool в начале для сохранения большего объема контекстной информации. MaxPool2d проходит скользящим окном и берет максимальное значение, и тем самым уменьшает размер данных. Данный пункт был подобран опытным путем в примере реализации и позволил увеличить точность на используемом наборе данных.

[0011] Энкодер преобразует входящие изображения в вектор фиксированной длины. Энкодер представляет собой набор слоев Conv2d, ReLU, BatchNorm, AvgPool2d, MaxPool. В разных моделях используются разные комбинации с разными параметрами этих слоев.

[0012] Финальная модель машинного обучения представляет собой модификацию U-Net - SkipNet [2], [3], у которого в качестве энкодера используется модификация модели ResNet-34. На выходе слой Conv2d, который преобразует входящие в него признаки в n_classes. Количество классов берется из количества детектируемых патологий плюс здоровая ткань. По одному на каждую патологию и еще по одному на каждую градацию Глисона. Итого 9 классов + 1 = 10. В конкретном примере реализации n_classes=количеству детектируемых классов + 1 (за пустой фон). Финальное количество параметров в модели в конкретном примере реализации ~ 21.5М.

[0013] Имеющиеся слайды разделяются на тренировочный, валидационный и тестовый наборы данных. Для получения более сбалансированной выборки при обучении использовалось распределение, при котором порции данных выбирались с равной вероятностью для каждого класса.

[0014] Из слайда читаются фрагменты размером 256×256 с пикселем 1 мкм, после чего подаются в ИНС. Выбор такого подхода обусловлен максимизацией информации с изображений, порционно попадающих в модель. Так же, для уменьшения переобучения, обучение происходило на случайно выбранных областях, а не на цельных слайдах.

[0015] Для обеспечения большей вариативности данных были применены такие аугментации, как:

• Отражения картинок по вертикали, горизонтали. Вероятность применения 100%

• Уменьшение качества изображения через сжатие кодеком jpeg. Вероятность применения 50%.

• Эластичное искажение картинки с параметрами scale=1, sigma=50. Для аугментаций изменяющих размер/форму выбранного патча использовалась линейная интерполяция и отзеркаливание граничных областей. Вероятность применения 50%.

• Добавление перепадов по яркости. Вероятность применения 50%.

• Перемешивание каналов. Вероятность применения 50%.

• Изменение оттенка и насыщенности. Вероятность применения 50%.

• Добавление мультипликативного шума с параметрами low=0.5, high=1.5. Вероятность применения 50%.

[0016] В качестве оптимизатора используется Rectified Adam [4] с параметром weight_decay=1е-2. Функция потерь - мера того, насколько хорошо ИНС предсказывает ожидаемый результат. В процессе обучения минимизируют эту функцию и обновляют параметры ИНС для повышения точности. Rectified Adam -это алгоритм минимизации функции потерь. В процессе обучения Rectified Adam незначительно меняет параметры ИНС, чтобы она работала точнее. weight_decay - метод регуляризации, который добавляет небольшой штраф к функции потери по формуле

loss=loss+weight_decay*L2_norm_weights

loss - функция потерь

weight_decay - параметр, который мы задаем из вне.

[0017] L2_norm_weights - L2 норма весов модели. Данный метод используется для того, чтобы понизить эффект переобучения модели.

[0018] Для изменения скорости обучения использовался планировщик OneCycleLR из официального репозитория pytorch со следующими параметрами:

• Оптимизатор=Rectified Adam (weight_decay=1е-2).

• Верхние границы скорости обучения в цикле для каждой группы параметров = 7е-4. Значение подобрано опытным путем.

• Общее количество шагов в цикле = длине тренировочного датасета.

• Количество эпох = 1023.

• Процент цикла (в количестве шагов), потраченный на увеличение скорости обучения = 0.3.

• Стратегия "отжига" = cos.

• Импульс цикла = True.

• Базовый момент = 0.85.

• Максимальный момент = 0.95.

• Коэффициент деления = 25.

• Последний коэффициент деления = 1е4.

[0019] В качестве функции потерь использовалась CrossEntropyLoss, поведение которой было скорректировано таким образом, чтобы неразмеченные области слайда не давали вклад в обучение.

[0020] В процессе обучения основные метрики, по которым отслеживались результаты были Accuracy[5] и Cohen's kappa [6]. По метрике Accuracy отслеживается, как хорошо ИНС предсказывает тот или иной класс, а по Cohen's kappa отслеживается согласованность предсказания метки и контура ИНС с меткой и контуром врача.

[0021] Сохранение результатов обучения происходит по показателю метрики Cohen's kappa. Сохраняются три лучших результата, которая выдает ИНС. Сохраняются веса модели, которые выдали максимальные показатели по метрике Cohen's kappa. На этих трех сохраненных моделях происходит повторная валидация, но уже на валидационном и тестовых наборах данных, то есть на тех слайдах, на которых не училась ИНС. В итоге мы считаем следующую матрицу ошибок.

[0022] Cohen's kappa=0,813

[0023] Cohen's kappa - метрика, которая указывает согласованность мнений двух экспертов, в нашем случае это метки, которые отметили врачи и метки, которые предсказала ИНС. Ее корректнее использовать для несбалансированных наборов данных, таких как в данном решении, так как она более устойчива к несбалансированности классов, чем метрика Accuracy.

[0024] Объяснение таблицы с метриками показано ниже и на Фиг. 5.

[0025] В левой колонке указано в скобках общее количество контуров для каждого из исследуемых классов. Сверху указаны классы, которые предсказывает ИНС.

Далее в примерах рассматривается левая верхняя ячейка.

[0026] В каждой ячейке имеется 5 значений (перечисляются сверху вниз):

• Доля контуров класса-строки, которые были классифицированы как класс-столбец. Для каждого контура берутся только те классы, которые занимают больше 10% от его площади, и среди них берется доминирующий. Сумма таких значений по строкам всегда меньше или равна 1;

• Абсолютное количество таких контуров;

• Абсолютное количество контуров, которые перешагнули порог по классифицированным пикселям в 10% от площади контура (без учета доминирующий это класс или нет);

• Абсолютное количество контуров, у которых хотя бы один пиксель классифицирован как принадлежащий к данному классу;

• Доля таких пикселей по отношению к суммарной площади контуров данного класса.

[0027] Метки расположены так, что на диагонали находятся верные попадания, а в остальных ячейках промахи.

[0028] Созданное техническое решение может быть практически реализовано с помощью вычислительного устройства. Пользователь (врач) может открыть решение по ссылке на своем ПК, далее регистрируется в ПК решения, далее может загрузить оцифрованные слайды (гистологические снимки) из любой папки ПК и получить результат от решения в виде сформированного заключения с постановкой диагноза.

[0029] Сведения, подтверждающие возможность реализации назначения и достижение технического результата - проведенное внутреннее тестирование продукта с помощью команды врачей.

[0030] Ссылаясь на Фиг. 4, данное техническое решение может быть реализовано в виде вычислительной системы 400 осуществления проведения диагностики патологий на основе технологии искусственного интеллекта, которая содержит один или более из следующих компонентов:

• компонент 401 обработки, содержащий по меньшей мере один процессор 402,

• память 403,

• компонент 405 мультимедиа,

• компонент 406 аудио,

• интерфейс 407 ввода / вывода (I / О),

• сенсорный компонент 408,

• компонент 409 передачи данных.

[0031] Компонент 401 обработки в основном управляет всеми операциями системы 400, например, осуществляет обработку данных о пользователе или его запросе на поиск патологии, а также управляет дисплеем, телефонным звонком, передачей данных, работой камеры и операцией записи мобильного устройства связи. Компонент 401 обработки может включать в себя один или более процессоров 402, реализующих инструкции для завершения всех или части шагов из указанных выше способов. Кроме того, компонент 401 обработки может включать в себя один или более модулей для удобного процесса взаимодействия между другими модулями 401 обработки и другими модулями. Например, компонент 401 обработки может включать в себя мультимедийный модуль для удобного облегченного взаимодействия между компонентом 405 мультимедиа и компонентом 401 обработки.

[0032] Память 403 выполнена с возможностью хранения различных типов данных для поддержки работы системы 400, например, базу данных с профилями пользователей. Примеры таких данных включают в себя инструкции из любого приложения или способа, контактные данные, данные адресной книги, сообщения, изображения, видео, и т.д., и все они работают на системе 400. Память 403 может быть реализована в виде любого типа энергозависимого запоминающего устройства, энергонезависимого запоминающего устройства или их комбинации, например, статического оперативного запоминающего устройства (СОЗУ), Электрически-Стираемого Программируемого постоянного запоминающего устройства (ЭСППЗУ), Стираемого Программируемого постоянного запоминающего устройства (СППЗУ), Программируемого постоянного запоминающего устройства (ППЗУ), постоянного запоминающего устройства (ПЗУ), магнитной памяти, флэш-памяти, магнитного диска или оптического диска и другого, не ограничиваясь.

[0033] Компонент 405 мультимедиа включает в себя экран, обеспечивающий выходной интерфейс между системой 400, которая может быть установлена на мобильном устройстве связи пользователя и пользователем. В некоторых вариантах реализации, экран может быть жидкокристаллическим дисплеем (ЖКД) или сенсорной панелью (СП). Если экран включает в себя сенсорную панель, экран может быть реализован в виде сенсорного экрана для приема входного сигнала от пользователя. Сенсорная панель включает один или более сенсорных датчиков в смысле жестов, прикосновения и скольжения по сенсорной панели. Сенсорный датчик может не только чувствовать границу прикосновения субъекта или жест перелистывания, но и определять длительность времени и давления, связанных с режимом работы на прикосновение и скольжение. В некоторых вариантах осуществления компонент 405 мультимедиа включает одну фронтальную камеру и/или одну заднюю камеру. Когда система 400 находится в режиме работы, например, режиме съемки или режиме видео, фронтальная камера и/или задняя камера могут получать данные мультимедиа извне. Каждая фронтальная камера и задняя камера может быть одной фиксированной оптической системой объектива или может иметь фокусное расстояние или оптический зум.

[0034] Компонент 406 аудио выполнен с возможностью выходного и/или входного аудио сигнала. Например, компонент 406 аудио включает один микрофон (MIC), который выполнен с возможностью получать внешний аудио сигнал, когда система 400 находится в режиме работы, например, режиме вызова, режима записи и режима распознавания речи. Полученный аудио сигнал может быть далее сохранен в памяти 403 или направлен по компоненту 409 передачи данных. В некоторых вариантах осуществления компонент 406 аудио также включает в себя один динамик, выполненный с возможностью вывода аудио сигнала.

[0035] Интерфейс 407 ввода / вывода (I/О) обеспечивает интерфейс между компонентом 401 обработки и любым периферийным интерфейсным модулем. Вышеуказанным периферийным интерфейсным модулем может быть клавиатура, руль, кнопка, и т.д. Эти кнопки могут включать, но не ограничиваясь, кнопку запуска, кнопку регулировки громкости, начальную кнопку и кнопку блокировки.

[0036] Сенсорный компонент 408 содержит один или более сенсоров и выполнен с возможностью обеспечения различных аспектов оценки состояния системы 400. Например, сенсорный компонент 408 может обнаружить состояния вкл/выкл системы 400, относительное расположение компонентов, например, дисплея и кнопочной панели, одного компонента системы 400, наличие или отсутствие контакта между субъектом и системой 400, а также ориентацию или ускорение/замедление и изменение температуры системы 400. Сенсорный компонент 408 содержит бесконтактный датчик, выполненный с возможностью обнаружения присутствия объекта, находящегося поблизости, когда нет физического контакта. Сенсорный компонент 408 содержит оптический датчик (например, КМОП или ПЗС-датчик изображения) выполненный с возможностью использования в визуализации приложения. В некоторых вариантах сенсорный компонент 408 содержит датчик ускорения, датчик гироскопа, магнитный датчик, датчик давления или датчик температуры.

[0037] Компонент 409 передачи данных выполнен с возможностью облегчения проводной или беспроводной связи между системой 400 и другими устройствами. Система 400 может получить доступ к беспроводной сети на основе стандарта связи, таких как Wi-Fi, 2G, 3G, 5G, или их комбинации. В одном примерном варианте компонент 409 передачи данных получает широковещательный сигнал или трансляцию, связанную с ними информацию из внешней широковещательной системы управления через широковещательный канал. В одном варианте осуществления компонент 409 передачи данных содержит модуль коммуникации ближнего поля (NFC), чтобы облегчить ближнюю связь. Например, модуль NFC может быть основан на технологии радиочастотной идентификации (RFID), технологии ассоциации передачи данных в инфракрасном диапазоне (IrDA), сверхширокополосных (UWB) технологии, Bluetooth (ВТ) технологии и других технологиях.

[0038] В примерном варианте осуществления система 400 может быть реализована посредством одной или более Специализированных Интегральных Схем (СИС), Цифрового Сигнального Процессора (ЦСП), Устройств Цифровой Обработки Сигнала (УЦОС), Программируемым Логическим Устройством (ПЛУ), логической микросхемой, программируемой в условиях эксплуатации (ППВМ), контроллера, микроконтроллера, микропроцессора или других электронных компонентов, и может быть сконфигурирован для реализации способа 500 осуществления проведения диагностики патологий на основе технологии искусственного интеллекта.

[0039] В примерном варианте осуществления энергонезависимый машиночитаемый носитель содержит память 403, которая включает инструкции, где инструкции выполняются процессором 401 системы 400 для реализации описанных выше способов осуществления проведения диагностики патологий на основе технологии искусственного интеллекта. Например, энергонезависимым машиночитаемым носителем может быть ПЗУ, оперативное запоминающее устройство (ОЗУ), компакт-диск, магнитная лента, дискеты, оптические устройства хранения данных и тому подобное.

[0040] Вычислительная система 400 может включать в себя интерфейс дисплея, который передает графику, текст и другие данные из коммуникационной инфраструктуры (или из буфера кадра, не показан) для отображения на компоненте 405 мультимедиа. Вычислительная система 400 дополнительно включает в себя устройства ввода или периферийные устройства. Периферийные устройства могут включать в себя одно или несколько устройств для взаимодействия с мобильным устройством связи пользователя, такие как клавиатура, микрофон, носимое устройство, камера, один или более звуковых динамиков и другие датчики. Периферийные устройства могут быть внешними или внутренними по отношению к мобильному устройству связи пользователя. Сенсорный экран может отображать, как правило, графику и текст, а также предоставляет пользовательский интерфейс (например, но не ограничиваясь ими, графический пользовательский интерфейс (GUI)), через который субъект может взаимодействовать с мобильным устройством связи пользователя, например, получать доступ и взаимодействовать с приложениями, запущенными на устройстве.

[0041] Элементы заявляемого технического решения находятся в функциональной взаимосвязи, а их совместное использование приводит к созданию нового и уникального технического решения. Таким образом, все блоки функционально связаны.

[0042] Все блоки, используемые в системе, могут быть реализованы с помощью электронных компонент, используемых для создания цифровых интегральных схем, что очевидно для специалиста в данном уровне техники. Не ограничиваюсь, могут использоваться микросхемы, логика работы которых определяется при изготовлении, или программируемые логические интегральные схемы (ПЛИС), логика работы которых задается посредством программирования. Для программирования используются программаторы и отладочные среды, позволяющие задать желаемую структуру цифрового устройства в виде принципиальной электрической схемы или программы на специальных языках описания аппаратуры: Verilog, VHDL, AHDL и др. Альтернативой ПЛИС могут быть программируемые логические контроллеры (ПЛК), базовые матричные кристаллы (БМК), требующие заводского производственного процесса для программирования; ASIC - специализированные заказные большие интегральные схемы (БИС), которые при мелкосерийном и единичном производстве существенно дороже.

[0043] Обычно, сама микросхема ПЛИС состоит из следующих компонент:

• конфигурируемых логических блоков, реализующих требуемую логическую функцию;

• программируемых электронных связей между конфигурируемыми логическими блоками;

• программируемых блоков ввода/вывода, обеспечивающих связь внешнего вывода микросхемы с внутренней логикой.

[0044] Также блоки могут быть реализованы с помощью постоянных запоминающих устройств.

[0045] Таким образом, реализация всех используемых блоков достигается стандартными средствами, базирующимися на классических принципах реализации основ вычислительной техники.

[0046] Как будет понятно специалисту в данной области техники, аспекты настоящего технического решения могут быть выполнены в виде системы, способа или компьютерного программного продукта. Соответственно, различные аспекты настоящего технического решения могут быть реализованы исключительно как аппаратное обеспечение, как программное обеспечение (включая прикладное программное обеспечение и так далее) или как вариант осуществления, сочетающий в себе программные и аппаратные аспекты, которые в общем случае могут упоминаться как «модуль», «система» или «архитектура». Кроме того, аспекты настоящего технического решения могут принимать форму компьютерного программного продукта, реализованного на одном или нескольких машиночитаемых носителях, имеющих машиночитаемый программный код, который на них реализован.

[0047] Также может быть использована любая комбинация одного или нескольких машиночитаемых носителей. Машиночитаемый носитель хранилища может представлять собой, без ограничений, электронную, магнитную, оптическую, электромагнитную, инфракрасную или полупроводниковую систему, аппарат, устройство или любую подходящую их комбинацию. Конкретнее, примеры (неисчерпывающий список) машиночитаемого носителя хранилища включают в себя: электрическое соединение с помощью одного или нескольких проводов, портативную компьютерную дискету; жесткий диск, оперативную память (ОЗУ), постоянную память (ПЗУ), стираемую программируемую постоянную память (EPROM или Flash-память), оптоволоконное соединение, постоянную память на компакт-диске (CD-ROM), оптическое устройство хранения, магнитное устройство хранения или любую комбинацию вышеперечисленного. В контексте настоящего описания, машиночитаемый носитель хранилища может представлять собой любой гибкий носитель данных, который может содержать или хранить программу для использования самой системой, устройством, аппаратом или в соединении с ними.

[0048] Программный код, встроенный в машиночитаемый носитель, может быть передан с помощью любого носителя, включая, без ограничений, беспроводную, проводную, оптоволоконную, инфракрасную и любую другую подходящую сеть или комбинацию вышеперечисленного.

[0049] Компьютерный программный код для выполнения операций для шагов настоящего технического решения может быть написан на любом языке программирования или комбинаций языков программирования, включая объектно-ориентированный язык программирования, например Python, R, Java, Smalltalk, С++ и так далее, и обычные процедурные языки программирования, например язык программирования «С» или аналогичные языки программирования. Программный код может выполняться на компьютере пользователя полностью, частично, или же как отдельный пакет программного обеспечения, частично на компьютере пользователя и частично на удаленном компьютере, или же полностью на удаленном компьютере. В последнем случае, удаленный компьютер может быть соединен с компьютером пользователя через сеть любого типа, включая локальную сеть (LAN), глобальную сеть (WAN) или соединение с внешним компьютером (например, через Интернет с помощью Интернет-провайдеров).

[0050] Аспекты настоящего технического решения были описаны подробно со ссылкой на блок-схемы, принципиальные схемы и/или диаграммы способов, устройств (систем) и компьютерных программных продуктов в соответствии с вариантами осуществления настоящего технического решения. Следует иметь в виду, что каждый блок из блок-схемы и/или диаграмм, а также комбинации блоков из блок-схемы и/или диаграмм, могут быть реализованы компьютерными программными инструкциями. Эти компьютерные программные инструкции могут быть предоставлены процессору компьютера общего назначения, компьютера специального назначения или другому устройству обработки данных для создания процедуры, таким образом, чтобы инструкции, выполняемые процессором компьютера или другим программируемым устройством обработки данных, создавали средства для реализации функций/действий, указанных в блоке или блоках блок-схемы и/или диаграммы.

[0051] Эти компьютерные программные инструкции также могут храниться на машиночитаемом носителе, который может управлять компьютером, отличным от программируемого устройства обработки данных или отличным от устройств, которые функционируют конкретным образом, таким образом, что инструкции, хранящиеся на машиночитаемом носителе, создают устройство, включающее инструкции, которые осуществляют функции/действия, указанные в блоке блок-схемы и/или диаграммы.

ИСПОЛЬЗУЕМЫЕ ИСТОЧНИКИ ИНФОРМАЦИИ

1. URL:https://pytorch.orq/docs/stable/torchvision/models.html?highlight=resnet#torchvision.models.resnet34, дата обращения: 25.12.2021.

2. Ronneberger О., Fischer P., Brox Т. U-net: Convolutional networks for biomedical image segmentation // International Conference on Medical image computing and computer-assisted intervention. - Springer, Cham, 2015. - C. 234-241.

3. Wang X. et al. Skipnet: Learning dynamic routing in convolutional networks // Proceedings of the European Conference on Computer Vision (ECCV). - 2018. - C. 409-424.

4. Liu L. et al. On the variance of the adaptive learning rate and beyond // arXiv preprint arXiv:1908.03265. - 2019.

5. URL: https://en.wikipedia.org/wiki/Accuracy_and_precision, дата обращения: 25.12.2021.

6. URL: https://en.wikipedia.org/wiki/Cohen%27s_kappa, дата обращения: 25.12.2021.

Claims (17)

1. Способ диагностирования патологических изменений в биоптате предстательной железы, выполняемый по меньшей мере одним вычислительным устройством и включающий следующие шаги:

• получают по меньшей мере одно изображение биоптата;

• осуществляют поиск областей, содержащих ткань, а также кластеризацию областей в более крупные объекты;

• считывают патчи в большом разрешении;

• пропускают полученные на предыдущем шаги патчи через сегментирующую искусственную нейронную сеть (ИНС) для получения многоканальной маски с классами патологий;

• осуществляют векторизацию маски с классами патологий для представления в виде полигонов;

• группируют полигоны по биоптатам, из которых они извлечены для получения предварительного диагноза по каждому из биоптатов;

• определяют для каждого биоптата суммарную площадь поражения, длину поражения, тип патологии и сумму Глисона.

2. Способ по п. 1, характеризующийся тем, что патчи считываются с перекрытием для уменьшения артефактов предсказания в связи с краевыми эффектами.

3. Способ по п. 1, характеризующийся тем, что многоканальная маска имеет количество каналов, равное количеству детектируемых патологий.

4. Способ по п. 1, характеризующийся тем, что поиск областей, содержащих ткань, осуществляется на слайде более низкого разрешения.

5. Способ по п. 1, характеризующийся тем, что осуществляют векторизацию посредством представления в виде координат для каждого класса.

6. Способ по п. 1, характеризующийся тем, что при осуществлении векторизации для каждого класса происходит поиск контуров патологических изменений.

7. Способ по п. 6, характеризующийся тем, что поиск осуществляется средствами библиотеки OpenCV.

8. Способ по п. 1, характеризующийся тем, что объединяют полигоны, полученные из соседних патчей, для устранения стыков между ними на итоговой визуализации.

9. Способ по п. 1, характеризующийся тем, что ИНС модифицируется в энкодер.

10. Система диагностирования патологических изменений в биоптате предстательной железы, имеющая микросервисную архитектуру и содержащая по меньшей мере, модуль для просмотра изображения с патологией, выполненный с возможностью редактирования разметки полученного изображения с патологией, соединенный с, по меньшей мере, одним процессором и, по меньшей мере, одним запоминающим устройством, причем упомянутое запоминающее устройство содержит машиночитаемые команды, которые при их исполнении, по меньшей мере, одним процессором реализуют этапы способа по пп. 1-9.

Images