RU2814031C1

RU2814031C1 - Способ дифференциальной диагностики болезни Крона толстой кишки и язвенного колита на основе морфологического анализа с помощью искусственного интеллекта

Info

Publication number: RU2814031C1
Application number: RU2023109902A
Authority: RU
Inventors: Игорь Геннадьевич Бакулин; Ирина Алексеевна Расмагина; Наталья Максимовна Шелякина; Глеб Алексеевич Машевский
Filing date: 2023-04-19
Publication date: 2024-02-21

Abstract

Изобретение относится к медицине, а именно к гастроэнтерологии, и может быть использовано для дифференциальной диагностики болезни Крона (БК) толстой кишки и язвенного колита (ЯК). Выполняют видеоколоноскопию с мультифокальной щипковой биопсией из каждого отдела толстой кишки. Из полученного биопсийного материала изготавливают гистологические препараты. Осуществляют исследование полученных гистологических препаратов методом световой микроскопии и оцифровывают их. После чего полученные цифровые изображения гистологических препаратов анализируют с помощью сверточной нейронной сети VGG16 с получением одного из следующих результатов: «норма», «болезнь Крона» или «язвенный колит». Способ обеспечивает возможность эффективной диагностики БК и ЯК за счет анализа морфологических изображений искусственной нейронной сетью. 3 ил., 4 табл., 7 пр.

Description

Изобретение относится к разделам «Клиническая медицина» (в частности, к «Гастроэнтерологии»), «Патологическая анатомия» и «Компьютерные и информационные науки» (в частности, к «Искусственному интеллекту») и посвящено диагностике и дифференциальной диагностике воспалительных заболеваний кишечника.

Воспалительные заболевания кишечника (ВЗК) - это хронические заболевания, имеющие неясную этиологию, в патогенезе которых в качестве триггеров принимает участие большое количество различных факторов (в первую очередь, генетическая предрасположенность, факторы окружающей среды - например, вирусы), разнообразную клиническую картину и отличающиеся хроническим и рецидивирующим течением. К основным формам ВЗК относят болезнь Крона (БК) и язвенный колит (ЯК) [1]. Своевременная диагностика ВЗК является серьезной проблемой для современной гастроэнтерологии, ввиду до конца неясных этиологии и патогенеза, а также вследствие отсутствия патогномоничных клинико-лабораторных, эндоскопических и морфологических признаков. Помимо этого, в России отмечается также рост тяжелых форм ВЗК с риском летальности, что может быть связано как с трудностями, так и с поздней диагностикой [2, 3, 4]. Таким образом, существует необходимость в разработке новых методов диагностики ВЗК, отличающихся большей точностью и универсальностью, что могло бы обеспечить эффективную дифференциальную диагностику и раннюю верификацию диагноза [4, 5, 6].

На сегодняшний день известны различные способы диагностики БК и ЯК. Например, известен способ дифференциальной диагностики ЯК и БК у детей [7], включающий лабораторное исследование биологической жидкости больного методом инфракрасной спектроскопии и определение высоты пиков полос поглощения, отличающийся тем, что в качестве биологической жидкости исследуют слюну больного, вычисляют значение отношения высоты пика с максимумом при 1070 см-1к высоте пика с максимумом 1025 см-1и при значении отношения в пределах от 1,1 до 1,9 диагностируют неспецифический ЯК, а при значении отношения от 2,0 до 4,6 диагностируют БК.

Также известен способ ультразвуковой дифференциальной диагностики стриктур кишечной стенки ободочной и/или тонкой кишок при БК [8], включающий предварительное выявление сегментов измененных кишечных стенок ободочной и/или тонкой кишок в виде формирования стриктур при помощи чрескожного ультразвукового исследования кишечника пациента с использованием конвексного датчика с частотой исследования 3,5 МГц на всем протяжении ободочной и/или тонкой кишок, по результатам выполненного ультразвукового исследования в В-режиме и допплерографии в энергетическом режиме при использовании линейного датчика с частотой исследования 5-10 МГц определяют локализацию стриктур, толщину стенки кишки, ее распределение слоев в стенке кишки, выполняют с использованием компрессионной ультразвуковой эластографии исследование каждого выявленного изменения в ободочной и/или тонкой кишок с использованием линейного датчика с частотой исследования 7,5 МГц в режиме реального времени, по результатам компрессионной ультразвуковой эластографии выполняют дифференциальную диагностику воспалительных и фиброзных стриктур в ободочной и/или тонкой кишок с одновременной аналитической оценкой эластограммы пациента по цветовому сочетанию и количественному показателю коэффициента жесткости исследуемых тканей с картированием их оттенками зеленого, желтого и красного цветов, а более жестких тканей оттенками синего цвета, коэффициент жесткости определяют как соотношение жесткости измененного сегмента ободочной и/или тонкой кишок к жесткости прилегающей клетчатки их брыжейки соответственно или передней брюшной стенки, при обнаружении утолщения стенки ободочной и/или тонкой кишок за счет всех слоев или отсутствия дифференцировки слоев при одновременном мозаичном типе цветового картирования с равномерным распределением участков синего и зеленого цветов, наличии единичных локусов желтого и красного цветов и определенном коэффициенте жесткости менее 3,45 у.ед. диагностируют воспалительную стриктуру в ободочной и/или тонкой кишок, а при преобладании синего цвета при мозаичном типе цветового картирования в измененном сегменте ободочной и/или тонкой кишок с переходом на брыжейку и при коэффициенте жесткости более 3,45 у.ед. диагностируют фиброзную стриктуру сегментов ободочной и/или тонкой кишок.

Вышеприведенные технические решения не позволяют эффективно проводит дифференциальную диагностику БК и ЯК с помощью искусственного интеллекта.

Наиболее близким к заявляемому изобретению является способ диагностики БК или ЯК [9]. В ходе данного способа получают эндоскопическое изображение толстой кишки пациента. Изображение подвергают фильтрации с использованием фильтра нелокального среднего, улучшают контраст методом адаптивной контрастно-ограниченной эквализации гистограммы. Обработанное изображение последовательно анализируют с помощью двух свёрточных нейронных сетей. С помощью первой нейронной сети определяют наличие или отсутствие воспалительного заболевания кишечника. Затем при наличии заболевания с помощью второй нейронной сети диагностируют БК или ЯК.

Вышеуказанный способ обеспечивает возможность эффективной дифференциальной диагностики болезни Крона и язвенного колита за счет анализа предварительно обработанных эндоскопических изображений. Однако такая методика не может быть применена для анализа морфологических изображений, который может выявлять патологические изменения на микроскопическом уровне, а также выявлять специфические признаки ВЗК (например, гранулемы при БК).

Технической проблемой является необходимость разработки способа дифференциальной диагностики БК и ЯК на основе морфологического анализа с использованием искусственного интеллекта.

Технический результат состоит в обеспечении возможности эффективной диагностики БК и ЯК на основе анализа морфологических изображений искусственной нейронной сетью.

Технический результат достигается тем, что в способе дифференциальной диагностики БК толстой кишки и ЯК на основе морфологического анализа с помощью искусственного интеллекта, в ходе которого получают гистологическое изображение толстой кишки пациента, которое анализируют с помощью свёрточной нейронной сети, согласно изобретению изображение получают путем проведения видеоколоноскопии, в ходе которой проводят мультифокальную щипковую биопсию из каждого отдела толстой кишки, после чего подготавливают гистологический материал и осуществляют его микроскопическое исследование с получением изображений в цифровом виде, которые подвергают обработке и анализируют с помощью свёрточной нейронной сети с получением одного из следующих результатов: «норма», «болезнь Крона» или «язвенный колит».

Заявляемое изобретение поясняется чертежами, где на фиг. 1 представлена архитектура сверточной нейронной сети VGG16, на фиг. 2 - график функции активации ReLU, на фиг. 3 - архитектура модели принятия решения о наличии и виде ВЗК.

При этом на фиг. 1 и 3 приведены следующие позиции:

1 - анализируемое изображение размером 224 х 224 х 3; 2 - сверточный слой размером 224 х 224, ядром 3 х 3, количеством фильтров 64 и функцией активации ReLU; 3 - сверточный слой размером 224 х 224, ядром 3 х 3, количеством фильтров 64 и функцией активации ReLU; 4 - слой субдискретизации с ядром 2 х 2; 5 - сверточный слой размером 112 х 112, ядром 3 х 3, количеством фильтров 128 и функцией активации ReLU; 6 - сверточный слой размером 112 х 112, ядром 3 х 3, количеством фильтров 128 и функцией активации ReLU; 7 - слой субдискретизации с ядром 2 х 2; 8 - сверточный слой размером 56 х 56, ядром 3 х 3, количеством фильтров 256 и функцией активации ReLU; 9 - сверточный слой размером 56 х 56, ядром 3 х 3, количеством фильтров 256 и функцией активации ReLU; 10 - сверточный слой размером 56 х 56, ядром 3 х 3, количеством фильтров 256 и функцией активации ReLU; 11 - слой субдискретизации с ядром 2 х 2; 12 - сверточный слой размером 28 х 28, ядром 3 х 3, количеством фильтров 512 и функцией активации ReLU; 13 - сверточный слой размером 28 х 28, ядром 3 х 3, количеством фильтров 512 и функцией активации ReLU; 14 - сверточный слой размером 28 х 28, ядром 3 х 3, количеством фильтров 512 и функцией активации ReLU; 15 - слой субдискретизации с ядром 2 х 2; 16 - сверточный слой размером 14 х 14, ядром 3 х 3, количеством фильтров 512 и функцией активации ReLU; 17 - сверточный слой размером 14 х 14, ядром 3 х 3, количеством фильтров 512 и функцией активации ReLU; 18 - сверточный слой размером 14 х 14, ядром 3 х 3, количеством фильтров 512 и функцией активации ReLU; 19 - слой субдискретизации с ядром 2 х 2; 20 - полносвязный слой с 4096 нейронами и функцией активации ReLU; 21 - полносвязный слой с 4096 нейронами и функцией активации ReLU; 22 - полносвязный слой с 4096 нейронами и функцией активации ReLU; 23 - полносвязный слой с 1000 нейронов и функцией активации softmax;

24 - анализируемое изображение размером 224 х 224 х 3; 25 - сверточный слой размером 224 х 224, ядром 3 х 3, количеством фильтров 64 и функцией активации ReLU; 26 - сверточный слой размером 224 х 224, ядром 3 х 3, количеством фильтров 64 и функцией активации ReLU; 27 - слой субдискретизации с ядром 2 х 2; 28 - сверточный слой размером 112 х 112, ядром 3 х 3, количеством фильтров 128 и функцией активации ReLU; 29 - сверточный слой размером 112 х 112, ядром 3 х 3, количеством фильтров 128 и функцией активации ReLU; 30 - слой субдискретизации с ядром 2 х 2; 31 - сверточный слой размером 56 х 56, ядром 3 х 3, количеством фильтров 256 и функцией активации ReLU; 32 - сверточный слой размером 56 х 56, ядром 3 х 3, количеством фильтров 256 и функцией активации ReLU; 33 - сверточный слой размером 56 х 56, ядром 3 х 3, количеством фильтров 256 и функцией активации ReLU; 34 - слой субдискретизации с ядром 2 х 2; 35 - сверточный слой размером 28 х 28, ядром 3 х 3, количеством фильтров 512 и функцией активации ReLU; 36 - сверточный слой размером 28 х 28, ядром 3 х 3, количеством фильтров 512 и функцией активации ReLU; 37 - сверточный слой размером 28 х 28, ядром 3 х 3, количеством фильтров 512 и функцией активации ReLU; 38 - слой субдискретизации с ядром 2 х 2; 39 - сверточный слой размером 14 х 14, ядром 3 х 3, количеством фильтров 512 и функцией активации ReLU; 40 - сверточный слой размером 14 х 14, ядром 3 х 3, количеством фильтров 512 и функцией активации ReLU; 41 - сверточный слой размером 14 х 14, ядром 3 х 3, количеством фильтров 512 и функцией активации ReLU; 42 - слой субдискретизации с ядром 2 х 2; 43 - слой субдискретизации с функцией глобальное среднее; 44 - полносвязный слой с 128 нейронами и функцией активации ReLU; 45 - слой прореживания с коэффициентом 0,5; 46 - полносвязный слой с 3 нейронами и функцией активации softmax.

Для получения оптимальной модели диагностики было проведено исследование на массиве, состоящем из 398 гистологических изображений различных отделов толстой кишки (прямая, сигмовидная, нисходящая ободочная, поперечно-ободочная, восходящая ободочная, слепая) на увеличении х100 с разрешением 1280 х 960 пикселей. Изображения в массиве соответствуют гистологическим картинам при отсутствии (класс «норма») и наличии ВЗК (класс «болезнь Крона» и класс «язвенный колит»). Класс «болезнь Крона» состоит из 111 изображений, «норма» - из 121 изображений, «язвенный колит» - из 166 изображений. Изображения были предоставлены сотрудниками кафедры пропедевтики внутренних болезней, гастроэнтерологии и диетологии им. С.М. Рысса Северо-Западного Государственного медицинского университета имени И.И. Мечникова.

Каждое изображение в массиве было разделено на пересекающиеся фрагменты размером 224 х 224 пикселей. Неинформативные фрагменты, содержащие более 70% фона, были удалены. Таким образом, получился массив из 8620 изображений (2360 изображений класса «болезнь Крона», 2320 изображений класса «норма», 3950 изображений класса «язвенный колит»). При обучении массив был разделен на обучающую и контрольную выборки в соотношении 80 %:10 %:10 %.

Ввиду того, что массив изображений имеет объем, недостаточный для эффективного обучения модели с нуля, было принято решение использовать предварительно обученную нейронную сеть. Таким образом, модель для диагностики ВЗК была основана на сверточной нейронной сети VGG16 [10] и реализована с помощью открытых библиотек Keras и TensorFlow на языке программирования Python.

Результаты. Использованная нами сверточная нейронная сеть VGG16, имеющая 15 слоев, была первоначально обучена на миллионах изображений из базы данных ImageNet. В процессе нашего исследования в первую очередь было необходимо адаптировать сеть под решение задачи трехклассовой классификации на новом массиве изображений. Для этого полносвязный слой предварительно обученной сети VGG16, т.н. «верхняя модель», был заменен небольшой моделью, состоящей из слоя субдискретизации, двух полносвязных слоев и слоя прореживания.

Количество нейронов в полносвязных слоях было подобрано экспериментальным путем. Первый полносвязный слой имеет функцию активации ReLU и 128 нейронов. Второй полносвязный слой имеет 3 выходных нейрона и функцию активации softmax.

На первом этапе была обучена только «верхняя модель»: собственные слои VGG16 не участвовали в обучении, т.е. их весовые коэффициенты не изменялись. На втором этапе модель уже полностью была обучена с использованием весовых коэффициентов, полученных на первом этапе. Иными словами, была проведена «точная настройка» сети.

Обучение «верхней модели» проводилось на протяжении 155 эпох с использованием оптимизатора Adam с шагом обучения 0,001. Для точной настройки был использован оптимизатор SGD с шагом обучения 0,0001, а обучение проводилось на протяжении 105 эпох.

Чтобы избежать переобучения модели на небольшом массиве изображений, была произведена аугментация данных, т.е. создание дополнительных обучающих данных из имеющихся изображений. При аугментации были случайным образом проведены следующие операции: сдвиг изображения по горизонтали и вертикали на 20 %, поворот изображения на 30 градусов, а также случайный сдвиг, увеличение и отражение изображений по вертикали. Результаты обучения представлены в таблице 1.

Таблица 1 - Результаты обучения модели
Этапы обучения	Точность	Функция потерь
Обучение верхней модели	89,59%	0,2577
Точная настройка	93,84 %	0,1562

Далее была проведена апробация модели на массиве изображений, не участвующих в обучении. Тестирующий массив состоит из 860 изображений, 234 из которых относятся к классу «болезнь Крона», 231 - к классу «норма», 395 - к классу «язвенный колит». Результаты представлены в таблице 2.

Таблица 2 - Результаты апробации на тестовом массиве
Этапы обучения	Точность
Обучение верхней модели	84,12%
Точная настройка	94,42%

Также для оценки эффективности разработанной модели были вычислены значения чувствительности и специфичности и F-мера для каждого класса. Результаты представлены в таблице 3.

Таблица 3 - Оценка чувствительности и специфичности модели
Класс	Специфичность	Чувствительность	F-мера
Болезнь Крона	0,95	0,91	0,93
Норма	0,93	0,96	0,94
Язвенный колит	0,95	0,96	0,95

Нейронную сеть для использования в заявляемом способе получали следующим образом (Основная модель).

Описание VGG-16

Ввиду того, что массив изображений имеет объем, недостаточный для эффективного обучения модели с нуля, было принято решение использовать предварительно обученную нейронную сеть. Таким образом, модель для диагностики ВЗК была основана на сверточной нейронной сети VGG16 и реализована с помощью открытых библиотек Keras и TensorFlow на языке программирования Python. VGG16 - это модель сверточной нейронной сети, обученная на миллионах изображений из базы данных ImageNet. Архитектура представлена на фиг. 1. Как можно видеть на фиг. 1, модель состоит из 23 слоев, но только 16 из них имеют весовые коэффициенты (13 сверточных слоев и 3 полносвязных). При обучении на вход первого сверточного слоя подаются цветные изображения с разрешением 224 х 224 пикселей и далее проходят через 5 блоков, состоящих из сверточных слоев с размером окна 3 х 3 и фильтрами размером 64, 128, 256, 512 и 512. В конце каждого блока присутствует слой субдискретизации. После сверточных и слоев субдискретизации располагается т.н. «верхняя модель», состоящая из трех полносвязных слоев, два из которых имеют по 4096 нейронов. Последний полносвязный слой имеет 1000 нейронов, т.к. модель изначально была обучена для решения задачи классификации изображений по 1000 категориям из датасета ImageNet. Сверточные и полносвязные слои имеют функцию активации ReLu. Выходной полносвязный слой имеет функцию активации softmax.

Описание слоев сети

Сверточные нейронные сети состоят из следующих слоев:

1. Сверточный слой (Convolution layer).

Сверточный слой является основным в СНС и включает в себя фильтр для каждого канала и ядро свертки (матрица весов). Во время обучения ядро свертки двигают по обрабатываемому слою, формируя после каждого сдвига сигнал активации для нейрона следующего слоя с аналогичной позицией. Ядро свертки предназначено для кодирования определенного признака на изображении. В результате получается карта признаков, которая отображает наличие определенных признаков и их координаты в обрабатываемом слое.

2. Слой субдискретизации (Pooling layer).

Слой субдискретизации («операция подвыборки») отвечает за уменьшение размерности сформированных карт признаков. При выполнении операции подвыборки пренебрегают информацией о координатах искомого признака. Обычно из нескольких соседних нейронов карты признаков выбирается максимальный и принимается за один нейрон уменьшенной карты признаков.

3. Полносвязный слой (Fully-connected layer, Dense).

Полносвязный слой является одномерным, и в нем каждый нейрон связан с каждым нейроном предыдущего слоя. Полносвязный слой предназначен для преобразования сигналов, полученных на сверточных уровнях, к одномерному виду и для выделения одномерных признаков.

Нейроны сверточных и полносвязных слоев имеют функцию активации. Функция активации определяет выходное значение нейрона в зависимости от результата взвешенной суммы входов и порового значения

В архитектурах СНС в последнее время наиболее часто встречается функция активации ReLU (rectified linear unit, линейный выпрямитель), график которой представлен на фиг. 2. Фукнция ReLU вычисляется по формуле

Таким образом, ReLU возвращает значение z, если z > 0, в противном случае - 0.

Функция softmax является обобщением логистической функции для многомерного случая.

Функция softmax вычисляется по формуле:

.

Функция softmax принимает на входе вектор действительных чисел z, применяет к каждому из элементов вектора z_jэкспоненциальную функцию и нормализует результат через деление на сумму экспоненциальных значений каждого из элементов.

Функция активации softmax применяется в выходном слое СНС в случае многоклассовой классификации. На выходе получается распределение вероятностей для K классов, значение каждой вероятности принимает значение в диапазоне от 0 до 1. Сумма вероятностей равна 1. Для определения принадлежности объекта к классу выбирается наибольшее значение вероятности.

Описание массивов

Исходный массив состоит из 8620 изображений трех классов: «болезнь Крона», «норма» и «язвенный колит». Массив был разделен случайным образом на обучающую, контрольную и тестовую выборки в соотношении 80 %/10 %/10 %. Таким образом, обучающая выборка состоит из 6900 изображений, 1882 из которых относятся к классу «болезнь Крона», 1850 - к классу «норма», 3160 - к классу «язвенный колит». Контрольная выборка состоит из 860 изображений, 234 из которых относятся к классу «болезнь Крона», 231 - к классу «норма», 395 - к классу «язвенный колит». Тестовая выборка так же, как и контрольная, состоит из 860 изображений, 234 из которых относятся к классу «болезнь Крона», 231 - к классу «норма», 395 - к классу «язвенный колит».

Очевидно, что количество изображений различных классов в массиве неодинаково. При обучении моделей допускается, что все классы имеют одинаковый вес при вычислении функции потерь. Но в случае, когда в массиве присутствуют несбалансированные классы, необходимо воспользоваться, т.н. балансировкой весов.

Балансировка весов позволяет сбалансировать данные в массиве, соответственно получить более адекватные результаты при вычислении функции потерь во время обучения модели. При балансировке весов допускается, что класс, представленный меньшим количеством экземпляров, имеет больший вес. Иными словами, класс с большим весом оказывает более существенное влияние на функцию потерь, чем класс с меньшим весом.

Веса классов вычисляются по следующей формуле:

,

где - вес класса j, N - количество экземпляров всех классов, k - количество классов, - количество экземпляров класса j.

Таким образом, были вычислены веса классов для обучающего массива изображений:

w_БК= 1,22507123

w_норма= 1,24098124

w_ЯК= 0,72573840

Архитектура моделей принятия решений

Архитектура модели принятия решения о наличии и виде ВЗК представлена на фиг. 3.

Модель состоит из 23 слоев, 15 из которых имеют весовые коэффициенты (13 сверточных слоев и 2 полносвязных).

При обучении на вход первого сверточного слоя подаются цветные изображения размером 224 х 224 пикселей. Первая стопка состоит из двух сверточных слоев, имеющих линейные размеры 224 х 224, 64 фильтров и ядро 3 х 3, т.е. после прохождения изображения через первый сверточный слой формируется 64 карты признаков размером 224 х 224, которые затем попадают на второй сверточный слой. После первых двух сверточных слоев следует слой субдискретизации с ядром 2 х 2, который уменьшает линейные размеры карт признаков в два раза. Следующие два сверточных слоя уже имеют размеры 112 х 112, 128 фильтров и ядро 3 х 3, после которых также следует слой субдискретизации с ядром 2х2. Далее три блока, состоящих из стопки из трех сверточных слоев с размерами 56 х 56, 28 х 28, 14 х 14 с ядром 3 х 3 и количеством фильтров 256, 512 и 512 соответственно, а также слоев субдискретизации с ядром 2 х 2 после каждой стопки. Все сверточные слои имеют функцию активации ReLU. По результатам такой обработки на выходе получают 512 карт признаков (фильтров) размером 7 х 7.

Далее следует т.н. верхняя модель, состоящая из слоя субдискретизации, полносвязного слой с 128 нейронами и функцией активации ReLU, слоя прореживания и выходного полносвязного слой с 3 нейронами и функцией активации softmax. Количество нейронов в полносвязных слоях было подобрано экспериментальным путем. Слой субдискретизации в данном случае возвращает среднее значение для всех карт признаков, образованных в сверточных слоях, что позволяет уменьшить количество признаков. Между полносвязными слоями добавлен слой прореживания с коэффициентом 0,5. Слой прореживания (dropout) предназначен для обнуления случайно выбранных признаков при обучении, коэффициент 0,5 означает, что при обучении будет обнулено 50 % случайно выбранных признаков.

На выходе данная модель формулирует вероятность принадлежности изображения к классам 0 («болезнь Крона»), 1 («норма») или 2 («язвенный колит»).

При обучении моделей принятия решения о наличии и виде ВЗК была произведена аугментация изображений со следующими параметрами: поворот на 30 градусов, отражение по вертикали, смещение изображения на 20 % по вертикали и горизонтали, растягивание на 10 градусов, уменьшение и увеличение на 20 %. Все операции были произведены случайным образом и только на обучающих выборках. Также для всех изображений было произведено их центрирование к нулю и перевод в цветовое пространство BGR.

Обучение первой модели производилось в два этапа: на первом этапе была обучена только верхняя модель сети, т.е. собственные слои сети VGG16 не участвовали в обучении и их весовые коэффициенты не изменялись. На втором этапе в обучении участвовали все слои, при этом использовались весовые коэффициенты, полученные на первом этапе (точная настройка).

Обучение «верхней модели» проводилось на протяжении 155 эпох с использованием оптимизатора Adam (адаптивная оценка момента) с шагом обучения 0,001. Для точной настройки был использован оптимизатор SGD (стохастический градиентный спуск) с шагом обучения 0,0001, а обучение проводилось на протяжении 105 эпох.

Результаты обучения модели принятия решения о наличии и виде ВЗК для обучения верхней модели и точной настройки представлены в таблице 4. Значения точности и функции потерь вычислялись для контрольной выборки.

Таблица 4 - Результаты обучения модели принятия решения о наличии ВЗК
Этапы обучения	Метрики
Этапы обучения	Точность при валидации	Функция потерь
Обучение верхней модели	93,84 %	0,1562
Точная настройка	93,62 %	0,1747

Также в рамках заявляемого способа могут быть использованы альтернативные варианты моделей:

Модель (Альтернативная модель 1) для диагностики ВЗК была основана на сверточной нейронной сети VGG16 и реализована с помощью открытых библиотек Keras и TensorFlow на языке программирования Python. VGG16 - это модель сверточной нейронной сети, обученная на миллионах изображений из базы данных ImageNet. Модель состоит из 23 слоев, но только 15 из них имеют весовые коэффициенты (13 сверточных слоев и 2 полносвязных). При обучении на вход первого сверточного слоя подаются цветные изображения с разрешением 224х224 пикселей и далее проходят через 5 блоков, состоящих из сверточных слоев с размером окна 3х3 и фильтрами размером 64, 128, 256, 512 и 512. В конце каждого блока присутствует слой субдискретизации. После сверточных и слоев субдискретизации располагается т.н. «верхняя модель», состоящая из двух полносвязных слоев, которые имеют по 256 и 3 нейронов соответственно. Между полносвязными слоями слоями добавлен слой прореживания с коэффициентом 0,5. Сверточные и полносвязные слои имеют функцию активации ReLu. Выходной полносвязный слой имеет функцию активации softmax.

Модель (Альтернативная модель 2) для диагностики ВЗК была основана на сверточной нейронной сети VGG16 и реализована с помощью открытых библиотек Keras и TensorFlow на языке программирования Python. VGG16 - это модель сверточной нейронной сети, обученная на миллионах изображений из базы данных ImageNet. Модель состоит из 23 слоев, но только 16 из них имеют весовые коэффициенты (13 сверточных слоев и 3 полносвязных). При обучении на вход первого сверточного слоя подаются цветные изображения с разрешением 224х224 пикселей и далее проходят через 5 блоков, состоящих из сверточных слоев с размером окна 3х3 и фильтрами размером 64, 128, 256, 512 и 512. В конце каждого блока присутствует слой субдискретизации. После сверточных и слоев субдискретизации располагается т.н. «верхняя модель», состоящая из трех полносвязных слоев, два из которых имеют по 128 и 32 нейронов соответственно. Между полносвязными слоями слоями добавлен слой прореживания с коэффициентом 0,3. Последний полносвязный слой имеет 3 нейрона. Сверточные и полносвязные слои имеют функцию активации ReLu. Выходной полносвязный слой имеет функцию активации softmax.

Заявляемый способ осуществляют следующим образом.

Пациенту с подозрением на наличие ВЗК осуществляют видеоколоноскопию эндоскопами высокого разрешения (предпочтительно с помощью эндоскопа Olympus CF H185L, Pentax EC-3890LZi), в ходе которой проводится мультифокальная щипковая биопсия из каждого отдела толстой кишки из участков максимальных изменений (эрозии, изъязвления, наложения фибрина, расстройства кровообращения) и/или из неизмененных участков слизистой в случае отсутствия воспаления в данном отделе, в том числе обязательно из прямой кишки (независимо от степени ее поражения), с помещением их в маркированные контейнеры с 10% раствором нейтрального формалина и заполнением формализованного направления на гистологическое исследование (форма 014/у). После 3-х часовой и более фиксации осуществляется стандартизованная спиртовая проводка и парафиновая заливка биоптатов. Для световой микроскопии из парафиновых блоков выполняется микротомия и окраска множественных серийных срезов (в среднем 3-5 из 1 блока) толщиной 3-4 мкм рутинными (гематоксилин и эозин). Микроскопическое исследование гистологических препаратов осуществляется подготовленным патологом, после чего биоптаты, окрашенные гематоксилином и эозином архивируются, в т.ч. с помощью компьютерного видеокомплекса (IBM PC + микроскоп Leica DM 1000, Германия или микроскоп Leica Aperio Versa, Германия) и пакета программ ImageScope-M (Россия) или Zeiss ZEN (Германия), или сохраняются в базе данных с помощью специального сканирующего оборудования (например, Philips IntelliSite Pathology Solution (PIPS): модель Ultra Fast Scanner (UFS) или PANNORAMIC (3DHISTECH): модели PANNORAMIC Desk, PANNORAMIC Scan и PANNORAMIC Midi или Hamamatsu Nanozoomer (Hamamatsu City, Shizuoka Pref., Japan): NanoZoomer (модели S60, S360)). Оцифровка микропрепаратов осуществляется на малом увеличении (х100) и сохраняется в формате JPEG в базе данных. При наличии артефактов в гистологических препаратах и/или недостаточном количестве биопсийного материала, препараты не архивируются и, соответственно, заявляемый способ не применяется, а пациента направляют на альтернативные способы диагностики.

Предварительная обработка изображений производится в автоматическом режиме. Каждое изображение в массиве было разделяются на пересекающиеся фрагменты размером 224 х 224 пикселей. Неинформативные фрагменты, содержащие более 70% фона, были удаляются. Затем полученное изображение анализируется с помощью вышеописанной свёрточной нейронной сети и получают ответ о наличии и виде ВЗК: норма, ЯК или БК.

В одном из вариантов реализации изобретения предварительная обработка изображений может производиться следующим образом.

Дополнительно может быть произведена предварительная обработка изображений.

Сначала производится цветокоррекция Рейнхарда. Этот подход заключается в сопоставлении цветового распределения пере-/недоокрашенного изображения с хорошо окрашенным целевым изображением. Изображение конвертируется в цветовое пространство LAB, каждый LAB-канал центрируется, его дисперсия нормируется до интервала [0,1]. Затем среднее значение и дисперсия каждого канала сопоставляются с соответствующими значениями среднего и дисперсии целевого изображения [10].

Далее производится улучшение контраста изображения методом контрастно-ограниченной эквализации гистограммы [11]. Данный метод применяется только к L-каналу изображения. Изображение разбивается на фрагменты, для которых формируются гистограммы и перераспределяются значения яркости в соответствии с заранее заданным ограничением. Алгоритм имеет два основных параметра: размер блока и порог ограничения гистограммы. При обработке гистологических изображение может быть использован размер блока (8,8) и порог 0,005. После улучшения контраста изображение конвертируется обратно в пространство RGB.

После обработки каждое изображение в массиве разделяется на пересекающиеся фрагменты размером 224 х 224 пикселей. Неинформативные фрагменты, содержащие более 70% фона, удаляются. Затем полученное изображение анализируется с помощью вышеописанной свёрточной нейронной сети и получают ответ о наличии и виде ВЗК: норма, ЯК или БК.

Заявляемое изобретение поясняется примерами.

Пример 1.

Пациент А, в возрасте 25 лет поступил с подозрением на наличие ВЗК. Пациенту после исключения кишечных инфекций была произведена видеоколоноскопия с помощью эндоскопа Pentax EC-3890LZi с мультифокальной щипковой биопсией биопсия из каждого отдела толстой кишки из участков максимальных изменений. В рамках исследования были выявлены эрозии, изъязвления, контактная кровоточивость слизистой в каждом отделе толстой кишки с максимальными изменениями в прямой и сигмовидной кишке. Полученные образцы были помещены в маркированные контейнеры с 10% раствором нейтрального формалина и заполнением формализованного направления на гистологическое исследование (форма 014/у). После 3-часовой и более фиксации была осуществлена стандартизованная спиртовая проводка и парафиновая заливка биоптатов. Для световой микроскопии из парафиновых блоков выполняли микротомию и окраску множественных серийных срезов (в среднем 3-5 из 1 блока) толщиной 3-4 мкм рутинными (гематоксилин и эозин).

Микроскопическое исследование гистологических препаратов осуществляли подготовленным патологом, после чего биоптаты, окрашенные гематоксилином и эозином архивировали в т.ч. с помощью компьютерного видеокомплекса (IBM PC + микроскоп Leica DM 1000, Германия) и пакета программ ImageScope-M (Россия). Оцифровку микропрепаратов осуществляли на малом увеличении (х100) и сохраняли в формате JPEG в базе данных. Артефакты в гистологических препаратах отсутствовали и количество биопсийного материала было достаточно.

Далее полученные изображения были обработаны, отредактированы и проанализированы с помощью сверточной нейронной сети согласно заявляемому способу. При этом использовали Основную модель. В результате анализа были получены сведения о наличии у пациента ЯК. Правильность постановления диагноза была подтверждена посредством комплексного анализа клинико-лабораторных данных и результатов эндоскопического исследования, а также после исключения инфекционного генеза.

Пример 2.

Пациент Б, в возрасте 35 лет поступил с подозрением на наличие ВЗК. Пациенту была произведена видеоколоноскопия с помощью эндоскопа Pentax EC-3890LZic мультифокальной щипковой биопсией из каждого отдела толстой кишки из участков максимальных изменений и из неизмененной слизистой в отделах без воспалительного процесса. В рамках исследования были выявлены эрозии, изъязвления с наложением фибрина в сигмовидной, поперечно-ободочной и слепой кишках. Полученные образцы были помещены в маркированные контейнеры с 10% раствором нейтрального формалина и заполнением формализованного направления на гистологическое исследование (форма 014/у). После 3-часовой и более фиксации была осуществлена стандартизованная спиртовая проводка и парафиновая заливка биоптатов. Для световой микроскопии из парафиновых блоков выполняли микротомию и окраску множественных серийных срезов (в среднем 3-5 из 1 блока) толщиной 3-4 мкм рутинными окрасками (гематоксилин и эозин).

Микроскопическое исследование гистологических препаратов осуществляли подготовленным патологом, после чего биоптаты, окрашенные гематоксилином и эозином, сохранили в базе данных с помощью специального сканирующего оборудования (Philips IntelliSite Pathology Solution (PIPS): модель Ultra Fast Scanner (UFS). Оцифровку микропрепаратов осуществляли на малом увеличении (х100) и сохраняли в формате JPEG в базе данных. Артефакты в гистологических препаратах отсутствовали и количество биопсийного материала было достаточно.

Далее полученные изображения были обработаны, отредактированы и проанализированы с помощью сверточной нейронной сети согласно заявляемому способу. При этом использовали Основную модель. В результате анализа были получены сведения о наличии у пациента БК. Правильность постановления диагноза была подтверждена посредством комплексного анализа клинико-лабораторных данных и результатов эндоскопического исследования, а также после исключения инфекционного генеза.

Пример 3.

Пациент В, в возрасте 41 года поступил с подозрением на наличие ВЗК. Пациенту была произведена видеоколоноскопия с помощью эндоскопа Olympus CF H185L с мультифокальной щипковой биопсией из каждого отдела толстой кишки из участков максимальных изменений и неизмененных участков при отсутствии воспалительного процесса. В рамках исследования была выявлена единичная эрозия в прямой кишке на фоне неизмененной слизистой, в сигмовидной и нисходящей ободочной кишке отмечались очаги гиперемии, в остальных отделах слизистая интактна. Полученные образцы были помещены в маркированные контейнеры с 10% раствором нейтрального формалина и заполнением формализованного направления на гистологическое исследование (форма 014/у). После 3-часовой и более фиксации была осуществлена стандартизованная спиртовая проводка и парафиновая заливка биоптатов. Для световой микроскопии из парафиновых блоков выполняли микротомию и окраску множественных серийных срезов (в среднем 3-5 из 1 блока) толщиной 3-4 мкм рутинными (гематоксилин и эозин).

Далее полученные изображения были обработаны, отредактированы и проанализированы с помощью сверточной нейронной сети согласно заявляемому способу. При этом использовали Основную модель. В результате анализа были получены сведения об отсутствии патологии у пациента. Правильность постановления диагноза была подтверждена посредством комплексного анализа клинико-лабораторных данных и результатов эндоскопического исследования, а также после исключения инфекционного генеза.

Пример 4.

Пациент Г, в возрасте 30 лет поступил с подозрением на наличие ВЗК. Пациенту была произведена видеоколоноскопия с помощью эндоскопа Olympus CF H185L с мультифокальной щипковой биопсией из каждого отдела толстой кишки из участков максимальных изменений. В рамках исследования были выявлены гиперемия, множественные эрозии и контактная кровоточивость ректосигмоидного отдела толстой кишки. Полученные образцы были помещены в маркированные контейнеры с 10% раствором нейтрального формалина и заполнением формализованного направления на гистологическое исследование (форма 014/у). После 3-х часовой и более фиксации была осуществлена стандартизованная спиртовая проводка и парафиновая заливка биоптатов. Для световой микроскопии из парафиновых блоков выполняли микротомию и окраску множественных серийных срезов (в среднем 3-5 из 1 блока) толщиной 3-4 мкм рутинными окрасками (гематоксилин и эозин).

Микроскопическое исследование гистологических препаратов осуществляли подготовленным патологом, после чего биоптаты, окрашенные гематоксилином и эозином архивировали и сохранили в базе данных с помощью специального сканирующего оборудования. Оцифровку микропрепаратов осуществляли на малом увеличении (х100) и сохраняли в формате JPEG в базе данных. Артефакты в гистологических препаратах отсутствовали и количество биопсийного материала было достаточно.

Пример 5.

Пациент Д, в возрасте 39 лет поступил с подозрением на наличие ВЗК. Пациенту была произведена видеоколоноскопия с помощью эндоскопа Olympus CF H185L с мультифокальной щипковой биопсией биопсия из каждого отдела толстой кишки из участков максимальных изменений. В рамках исследования были выявлены язвенные дефекты в прямой кишке и множественные эрозии на фоне гиперемии слизистой в остальных отделах толстой кишки. Полученные образцы были помещены в маркированные контейнеры с 10% раствором нейтрального формалина и заполнением формализованного направления на гистологическое исследование (форма 014/у). После 3-часовой и более фиксации была осуществлена стандартизованная спиртовая проводка и парафиновая заливка биоптатов. Для световой микроскопии из парафиновых блоков выполняли микротомию и окраску множественных серийных срезов (в среднем 3-5 из 1 блока) толщиной 3-4 мкм рутинными окрасками (гематоксилин и эозин).

Пример 6.

Пациент Е, в возрасте 33 лет поступил с подозрением на наличие ВЗК. Пациенту была произведена видеоколоноскопия с помощью эндоскопа Olympus CF H185L с мультифокальной щипковой биопсией из каждого отдела толстой кишки из участков максимальных изменений и из неизмененной слизистой при отсутствии воспалительного процесса. В рамках исследования были выявлены линейные язвенные дефекты с наложением фибрина на фоне гиперемированной слизистой в 1 слепой кишке. Слизистая остальных отделов была интактна. Полученные образцы были помещены в маркированные контейнеры с 10% раствором нейтрального формалина и заполнением формализованного направления на гистологическое исследование (форма 014/у). После 3-часовой и более фиксации была осуществлена стандартизованная спиртовая проводка и парафиновая заливка биоптатов. Для световой микроскопии из парафиновых блоков выполняли микротомию и окраску множественных серийных срезов (в среднем 3-5 из 1 блока) толщиной 3-4 мкм рутинными окрасками (гематоксилин и эозин).

Далее полученные изображения были обработаны, отредактированы и проанализированы с помощью сверточной нейронной сети согласно заявляемому способу. При этом использовали Альтернативную модель 1. В результате анализа были получены сведения о наличии у пациента БК. Правильность постановления диагноза была подтверждена посредством комплексного анализа клинико-лабораторных данных и результатов эндоскопического исследования, а также после исключения инфекционного генеза.

Пример 7

Пациент Ж, в возрасте 34 лет поступил с подозрением на наличие ВЗК. Пациенту была произведена видеоколоноскопия с помощью эндоскопа Pentax EC-3890LZi с мультифокальной щипковой биопсией из каждого отдела толстой кишки из участков максимальных изменений. В рамках исследования были выявлены эрозии и гиперемия с контактной кровоточивостью во всех отделах толстой кишки с максимальной выраженностью в дистальных отделах. Полученные образцы были помещены в маркированные контейнеры с 10% раствором нейтрального формалина и заполнением формализованного направления на гистологическое исследование (форма 014/у). После 3-часовой и более фиксации была осуществлена стандартизованная спиртовая проводка и парафиновая заливка биоптатов. Для световой микроскопии из парафиновых блоков выполняли микротомию и окраску множественных серийных срезов (в среднем 3-5 из 1 блока) толщиной 3-4 мкм рутинными окрасками (гематоксилин и эозин).

Далее полученные изображения были обработаны, отредактированы и проанализированы с помощью сверточной нейронной сети согласно заявляемому способу. При этом использовали Альтернативную модель 2. В результате анализа были получены сведения о наличии у пациента ЯК. Правильность постановления диагноза была подтверждена посредством комплексного анализа клинико-лабораторных данных и результатов эндоскопического исследования, а также после исключения инфекционного генеза.

Источники информации

1. Скалинская М.И., Сказываева Е.В., Бакулин И.Г., Машевский Г.А., Шелякина Н.М., Журавлева М.С., Расмагина И.А., Иванова К.Н., Формозова М.А. Проблема недифференцированных воспалительных заболеваний кишечника: от мировых воззрений до собственного опыта применения искусственных нейронных сетей //Профилактическая и клиническая медицина. - 2019. - №. 2. - С. 74-81.

2. Воспалительные заболевания кишечника. Карманное руководство / И.Г. Бакулин, Е.Б. Авалуева, Е.В. Сказываева, М.И. Скалинская, С.И. Ситкин. И.А. Оганезова, Л.И. Назаренко, Т.Н. Жигалова, Н.В. Бакулина, М.С. Журавлева // М. ООО «ГРУППА РЕМЕДИУМ». - 2018. - 80 с.

3. Патоморфоз воспалительных заболеваний кишечника / И.В. Маев, Ю.А. Шелыгин, М.И. Скалинская [и др.] // Вестник Российской академии медицинских наук. - 2020. - Т. 75, № 1. - С. 27-35. - DOI 10.15690/vramn1219. - EDN FWJIAO.

4. Опыт внедрения Федерального регистра пациентов с воспалительными заболеваниями кишечника в Санкт-Петербурге / И.Г. Бакулин, Т.Н. Жигалова, Э.Л. Латария [и др.] // Фарматека. - 2017. - № S5. - С. 56-59. - EDN ZXAAYR.

5. Эпидемиология хронических воспалительных заболеваний кишечника. Вчера, сегодня, завтра / О.В. Князев, Т.В. Шкурко, Н.А. Фадеева [и др.] // Экспериментальная и клиническая гастроэнтерология. - 2017. - № 3(139). - С. 4-12. - EDN ZRPJFX.

6. Бакулин, И.Г. Северо-Западный регистр пациентов с воспалительными заболеваниями кишечника: достижения и уроки / И.Г. Бакулин, М.И. Скалинская, Е.В. Сказываева // Колопроктология. - 2022. - Т. 21, № 1(79). - С. 37-49. - DOI 10.33878/2073-7556-2022-21-1-37-49. - EDN ITCUJP.

7. Способ дифференциальной диагностики неспецифического язвенного колита и болезни крона у детей: патент 2558067, Российская Федерация, заявка RU2014128388, заявл. 10.07.2014, опубл. 27.07.2015.

8. Способ ультразвуковой дифференциальной диагностики стриктур кишечной стенки ободочной и/или тонкой кишок при болезни Крона: патент 2690615, Российская Федерация, RU2018114280, заявл. 2018.04.18, опубл. 04.06.2019.

9. Способ дифференциальной диагностики болезни Крона или язвенного колита: патент 2777611, Российская Федерация, заявка RU2021125698, заявл. 31.08.2021, опубл. 08.08.2022.

10. Erik Reinhard et al., "Color transfer between images", IEEE Computer graphics and applications, vol. 21, no. 5, pp. 34-41, Jan 2001.

11. K. Zuiderveld: Contrast Limited Adaptive Histogram Equalization. In: P. Heckbert: Graphics Gems IV, Academic Press 1994.

Claims

Способ дифференциальной диагностики болезни Крона толстой кишки и язвенного колита, заключающийся в том, что выполняют видеоколоноскопию с мультифокальной щипковой биопсией из каждого отдела толстой кишки, из полученного биопсийного материала изготавливают гистологические препараты, осуществляют исследование полученных гистологических препаратов методом световой микроскопии и оцифровывают их, после чего полученные цифровые изображения гистологических препаратов анализируют с помощью сверточной нейронной сети VGG16 с получением одного из следующих результатов: «норма», «болезнь Крона» или «язвенный колит».