RU2804992C1 - Способ сканирования мазков биологического препарата с тремя типами локализации - Google Patents

Abstract

Изобретение относится к области медицины, а именно к способам оцифровки биологических препаратов с использованием микроскопических систем и нейронных сетей, и может использоваться для получения информации о локализации и классификации нескольких мазков, расположенных на одном предметном стекле микроскопа. Предложен способ сканирования мазков биологического препарата с тремя типами локализации, который включает формирование цифрового изображения предметного стекла с мазками с получением изображения макропрепарата последовательным фотографированием при увеличении 2,5х и сшиванием полученных изображений, формирование изображения микропрепарата путем сжимания и сшивания, ввод изображения микропрепарата в предварительно обученную первую нейронную сеть с получением набора масок мазков, которые делят на поля зрения и на угловые секторы, выбирают лучшие поля зрения в каждом секторе и осуществляют оцифровку лучшего поля зрения в каждом секторе каждой локализации на большом увеличении 100х, при помощи скалярного произведения рассчитывают угол α между осью X и вектором

Description

Изобретение относится к области медицины, а именно к способам оцифровки биологических препаратов с использованием микроскопических систем и нейронных сетей и может использоваться для получения информации о локализации и классификации нескольких мазков, расположенных на одном предметном стекле микроскопа.

В российской практике подготовки проб мазков для определения состава микрофлоры мочеполовых органов женщины существует метод нанесения трех мазков, соответствующих разным локализациям ((U - уретральная зона, V - вагинальная зона и C - цервикальная зона), на одно предметное стекло.

Для анализа подобных мазков средствами автоматизированной цифровой микроскопии их необходимо оцифровывать (сканировать). При этом получаемый цифровой препарат должен содержать информацию как о местоположении мазков на предметном стекле, так и их локализацию, то есть область забора биологического материала, к которой принадлежит каждый мазок.

Из уровня техники известен способ определения местонахождения биологического препарата на предметном стекле (US8743195B2, опубл. 03.06.2014), согласно которому определение местоположения осуществляется посредством фотографирования предметного стекла с помощью макрокамеры для создания цифрового макроизображения с последующим применением порогового алгоритма к данному макроизображению для определения маски образца на стекле.

Недостатком данного способа является ограничения в работе с предметными стеклами, на которых размещены сразу несколько мазков биологических препаратов, так как пороговый алгоритм объединяет все мазки в один или захватывает артефакты и/или дополнительные пометки на предметном стекле, а также может неправильно определить количество и границы мазков, так как присутствуют пятна, грязь, локальные затемнения фона.

Из уровня техники также известен способ проверки местоположения области интереса в образце (US2006104499, опубл. 18.05.2006), включающий следующие шаги:

a) определение положения контрольной метки;

b) определение области интереса в образце;

c) определение местоположения области интереса относительно контрольной метки;

d) повторное обнаружение контрольной метки, при том, что местоположения области интереса считается проверенным, если ошибка между координатами, полученными в рамках этапа d) и a) находится в допустимом пределе.

Недостатком данного способа является необходимость нанесение на предметные стекла дополнительных отметок для того, чтобы найти расположение препарата на предметном стекле. При наличии сразу нескольких мазков поиск мазков становится сложным, так как нанесенные мазки могут перекрывать метки. Кроме этого, дополнительные метки на стекле могут затруднять анализ препарата посредством цифровой микроскопии, использующей нейронные сети.

Известен также способ оцифровки биологического препарата костного мозга с использованием нейронных сетей (RU 2793054, опубл. 28.03.2023).

Недостатком такого способа является ограничение в количестве мазков (один), что не позволяет распознать область забора биологического материала к которой принадлежит каждый мазок, если на предметном стекле размещены три мазка разной локализации.

Анализ уровня техники показал отсутствие близких технических решений, позволяющих решить техническую задачу получения информации о локализации и классификации нескольких мазков, расположенных на одном предметном стекле микроскопа.

Технический результат заключается в создании способа сканирования мазков биологического препарата с тремя разными типами локализации, позволяющего определять местоположения мазков разных локализаций.

Технический результат достигается тем, что способ сканирования мазков биологического препарата с тремя типами локализации включает формирование цифрового изображения предметного стекла с мазками с получением макропрепарата последовательным фотографированием при увеличении 2,5х и сшиванием полученных изображений, формирование микропрепарата путем сжимания и сшивания, ввод микропрепарата в предварительно обученную первую нейронную сеть с получением набора масок мазков, которые делят на поля зрения и на угловые секторы, выбирают лучшие поля зрения в каждом секторе и осуществляют оцифровку лучшего поля зрения в каждом секторе каждой локализации на большом увеличении 100х, при помощи скалярного произведения рассчитывают угол α между осью X и вектором из начала координат к центру поля зрения по следующей формуле:

,

где

α - угол между вектором из начала координат к центру поля зрения и осью X, rad;

- вектор из начала координат к центру поля зрения, мкм;

проекция вектора r на ось X, мкм;

проекция вектора r на ось Y, мкм;

sgn - функция взятия знака;

mod - остаток от деления угла в диапазоне от π до 3π на инвариант 2π,

делят угол α на размер угла сектора β, по величине угла α определяют принадлежность к угловому сектору, далее в каждом секторе находят центр поля зрения и с помощью второй нейронной сети вычисляют общую оценку качества поля Q по формуле:

Q = Wp *Qp + Wn * Qn,

где:

Wp - весовой коэффициент оценки качества поля по удаленности от центра масс сектора;

Qp - нормированная оценка качества поля по удаленности от центра масс сектора;

Wn - весовой коэффициент оценки качества поля второй нейронной сетью;

Qn - нормированная оценка качества поля второй нейронной сетью, при этом

Wn + Wp = 1, далее поля зрения с наивысшими оценками Q помечают как предпочтительные, координаты которых сохраняют в памяти компьютера и определяют местоположения мазков трех разных локализаций.

Сохраненные координаты полей зрения далее могут использоваться для оцифровки на большом увеличении, например, 100х, для последующего анализа врачом лабораторной диагностики или для ввода в нейронную сеть для поиска и анализа объектов интереса.

Использование нейронных сетей позволяет получить разделенные маски мазков, а деление на секторы мазков позволяет выбрать поля зрения в разных зонах масок и определять местоположения мазков разных локализаций.

Используемые нейронные сети отличаются архитектурой. Первая нейронная сеть - это комбинация нейронной сети, построенной на архитектуре Unet, которая формирует маски мазков, и предварительно обученной сверточной нейронной сети (CNN), которая выступает в роли дискриминатора и определяет степень схожести результата работы Unet сети с обучающей выборкой. Первая нейронная сеть является генеративно-состязательной.

Вторая нейронная сеть построена на архитектуре VGG16 и является предварительно обученной глубокой сверточной сетью. В отличие от первой нейронной сети данная сеть обучалась на выборке изображений цифровых препаратов мазков мочеполовой системы женщины, которые оценивались вручную врачами лабораторной диагностики. Результатом работы второй нейронной сети является оценка качества полей зрения в угловом секторе.

Заявляемый порядок операций при сканировании позволяет избавиться от необходимости нанесения дополнительных меток на само предметное стекло, а также исключить захват грязи, дефектов окраски и других артефактов.

Изобретение проиллюстрировано следующими фигурами.

На фиг. 1 представлено изображение предметного стекла с нанесенными тремя мазками биологического препарата разной локализации, на фиг. 2 - изображение масок трех мазков, полученных от первой нейронной сети.

На фиг. 3 показано предметное стекло с масками мазков, разделенными на поля зрения с присвоенными от нейронной сети значениями и центрами полей зрения.

Фиг. 4 - сегментированный мазок одной локализации, где показаны вектор , углы σ и β для определения принадлежности поля зрения к угловому сектору.

Фиг. 5 - пример сегментированного мазка одной локализации с наилучшими полями зрения в угловом секторе.

На фиг. 6 отражены координаты (местоположение) каждой из масок мазков локализаций U, V, C.

На фиг. 7 изображены найденные маски мазков с их локализацией.

На фиг. 1-5 представлены:

1 - мазки трех типов локации;

2 - маски трех мазков, полученных от первой нейронной сети;

3 - наилучшее поле зрения мазка;

4 - поле зрения;

5 - угловой сектор;

6 - центр поля зрения;

7 - вектор из начала координат к центру поля зрения.

Осуществление заявленного способа показано на конкретном примере.

На автоматизированный предметный стол микроскопа клали предметное стекло с нанесенными тремя мазками 1, которые были взяты из мочеполовых органов женщины и соответствовали трем локализациям - уретральной U, вагинальной V и цервикальной C (фиг. 1).

Сначала осуществляли формирование макропрепарата последовательным фотографированием предметного стекла на увеличении 2,5х и последующим сшиванием полученных изображений. Сшивание осуществляли с помощью инструментов, доступных в пакете открытого программного обеспечения OpenCV. Параллельно с этим процессом из фотографий, полученных на увеличении 2,5х, формировали микропрепарат. Каждый кадр был сжат с помощью библиотеки PresentationCore.dll, входящей в состав фреймворка .NET Framework, версии 4.0. Результатом сжатия явилось изображение в 10 раз меньше, чем сформированная «миниатюра» на увеличении 2,5х. Затем из сжатых кадров сформировали микропрепарат для отправки в первую нейронную сеть.

Результатом работы первой нейронной сети был набор масок мазков, которые были поделены на поля зрения 4 (фиг. 3). Поле зрения 4 представляло собой область мазка, которую камера «видела» при оптическом увеличении в 10х.

Полученные маски разделили на 5 угловых секторов 5, а поля зрения 4 распределили по принадлежности к секторам 5. Принадлежность к секторам 5 определяли с помощью скалярного произведения:

).

За центр координат приняли центр 6 наилучшего поля зрения 3 маски мазка локализации (фиг. 4). Затем для каждого поля зрения 4 рассчитали угол вектора из начала координат (точка А) к центру 6 поля зрения 3. При делении маски мазка на 5 секторов угол β составил 72 градуса. Полученный угол разделили на величину угла β сектора 5 в градусах, затем к целочисленному результату деления прибавили единицу и получили номер сектора, к которому принадлежит поле зрения.

Затем в каждом секторе 5 нашли центр 6, то есть вычислили координаты вектора по оси X и Y к каждому полю зрения в пределах одного сектора 5, суммировали их и делили на количество полей зрения 3 в секторе 5. Полученная усредненная координата по оси X и Y дала точку, в которой находится центр 6 поля зрения (Фиг. 4). Далее для каждого поля зрения 3 вычисляли оценку качества поля Q с помощью второй нейронной сети. Углы векторов полей зрения, их оценка и соответствующие им сектора приведены в Таблице на фиг. 5. Поля с наивысшими оценками Q пометили как предпочтительные области интереса (фиг. 6).

Далее были определены местоположения (координаты по осям Х и Y) мазков трех разных локализаций, что представлено в таблице 1, отражающей координаты каждой из масок мазков локализаций U, V, C по осям Х и Y, а также показано на фиг. 7.

Таблица 1
Локализация мазка	Координаты маски по оси X, мкм	Координаты маски по оси Y, мкм
V (Вагинальная зона)	25729,2	1080,0
	24970,1	2056,0
	23929,1	2619,9
	23278,4	3574,2
	22519,3	4398,4
	22237,4	6263,6
	22128,9	7348,1
	21955,4	9126,6
	21847,0	10211,0
	21955,4	11468,9
	22519,3	12444,9
	23256,7	13247,4
	24211,0	14093,3
	25512,4	14592,1
	27030,6	14960,8
	28548,8	15307,8
	29524,8	14787,3
	30826,1	14592,1
	31758,7	13984,8
	32908,2	13529,4
	33754,1	12726,9
	34122,8	11577,4
	34881,9	10688,1
	35272,3	9516,9
	35359,0	8432,5
	35359,0	7087,8
	34708,4	6198,6
	34318,0	5114,1
	34036,0	3877,9
	33754,1	2793,5
	32995,0	1622,3
	26206,4	1080,0
U (Уретральная зона)	47689,1	1893,4
	46561,2	2522,3
	45520,2	3064,6
	45433,4	4214,1
	44847,8	5385,3
	44761,1	6469,7
	44479,1	7705,9
	44587,6	8855,4
	44674,3	10395,3
	45151,5	11479,8
	45910,6	12347,3
	47038,4	13518,5
	48144,5	13778,8
	49185,6	14407,7
	51180,9	14581,3
	52113,5	13800,5
	53067,8	12998,0
	53631,8	11740,0
	53718,5	5211,7
	52699,1	4214,1
	51853,3	3520,0
	50638,7	2630,8
	49662,7	2088,6
	48448,2	2088,6
С (Цервикальная зона)	8888,0	3314,0
	9061,5	4485,2
	7933,7	4658,7
	6805,9	5200,9
	5851,6	5916,6
	5764,8	7239,6
	5569,6	12965,5
	6307,0	13767,9
	7456,5	13681,2
	8866,3	12965,5
	9733,8	12249,7
	10948,4	12163,0
	11816,0	12987,1
	13312,5	12791,9
	14266,8	12076,2
	14266,8	10991,8
	14266,8	9495,3
	14266,8	8237,3
	13594,4	7348,1
	12097,9	7174,6
	11338,8	6372,1
	10384,5	5743,1
	9538,6	5027,4
	9256,7	3856,2

Claims (15)

1. Способ сканирования мазков биологического препарата с тремя типами локализации, включающий формирование цифрового изображения предметного стекла с мазками с получением изображения макропрепарата последовательным фотографированием при увеличении 2,5х и сшиванием полученных изображений, формирование изображения микропрепарата путем сжимания и сшивания, ввод изображения микропрепарата в предварительно обученную первую нейронную сеть с получением набора масок мазков, которые делят на поля зрения и на угловые секторы, выбирают поля зрения в каждом секторе и осуществляют оцифровку выбранного поля зрения в каждом секторе каждой локализации на большом увеличении 100х, при помощи скалярного произведения рассчитывают угол α между осью X и вектором из начала координат к центру поля зрения по следующей формуле:
2. ,
3. где α – угол между вектором из начала координат к центру поля зрения и осью X, rad;
4. – вектор из начала координат к центру поля зрения, мкм;
5. проекция вектора r на ось X, мкм;
6. проекция вектора r на ось Y, мкм;
7. sgn – функция взятия знака;
8. mod – остаток от деления угла в диапазоне от π до 3π на инвариант 2π,
9. делят угол α на размер угла сектора β, по величине угла α определяют принадлежность к угловому сектору, далее в каждом секторе находят центр поля зрения и с помощью второй нейронной сети вычисляют общую оценку качества поля Q по формуле:
10. Q=Wp*Qp+Wn*Qn,
11. где Wp - весовой коэффициент оценки качества поля по удаленности от центра масс сектора;
12. Qp - нормированная оценка качества поля по удаленности от центра масс сектора;
13. Wn - весовой коэффициент оценки качества поля второй нейронной сетью;
14. Qn - нормированная оценка качества поля второй нейронной сетью,
15. при этом Wn+Wp=1, далее поля зрения с наивысшими оценками Q помечают как предпочтительные, координаты которых сохраняют в памяти компьютера и определяют местоположения мазков трех разных локализаций.