RU2683758C1 - Автоматизированная система анализа ангиографических изображений глазного дна человека - Google Patents
Автоматизированная система анализа ангиографических изображений глазного дна человека Download PDFInfo
- Publication number
- RU2683758C1 RU2683758C1 RU2018123368A RU2018123368A RU2683758C1 RU 2683758 C1 RU2683758 C1 RU 2683758C1 RU 2018123368 A RU2018123368 A RU 2018123368A RU 2018123368 A RU2018123368 A RU 2018123368A RU 2683758 C1 RU2683758 C1 RU 2683758C1
- Authority
- RU
- Russia
- Prior art keywords
- vessels
- image
- module
- output
- images
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 29
- 208000028867 ischemia Diseases 0.000 claims abstract description 54
- 230000002792 vascular Effects 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 30
- 230000000302 ischemic effect Effects 0.000 claims abstract description 24
- 230000003562 morphometric effect Effects 0.000 claims abstract description 22
- 238000013425 morphometry Methods 0.000 claims abstract description 22
- 238000005259 measurement Methods 0.000 claims abstract description 3
- 210000004204 blood vessel Anatomy 0.000 claims description 20
- 238000010191 image analysis Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 8
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 230000001965 increasing effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 239000003814 drug Substances 0.000 abstract description 4
- 238000002955 isolation Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 2
- 238000011160 research Methods 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract 1
- 238000000034 method Methods 0.000 description 30
- 210000001525 retina Anatomy 0.000 description 11
- 208000009857 Microaneurysm Diseases 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 210000001508 eye Anatomy 0.000 description 5
- 238000012014 optical coherence tomography Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 4
- 230000002207 retinal effect Effects 0.000 description 4
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 210000001210 retinal vessel Anatomy 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 208000010412 Glaucoma Diseases 0.000 description 2
- 206010064145 Retinal aneurysm Diseases 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 206010012601 diabetes mellitus Diseases 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000013399 early diagnosis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 210000000873 fovea centralis Anatomy 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000012067 mathematical method Methods 0.000 description 2
- 210000004088 microvessel Anatomy 0.000 description 2
- 210000001640 nerve ending Anatomy 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 201000001320 Atherosclerosis Diseases 0.000 description 1
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 208000032843 Hemorrhage Diseases 0.000 description 1
- 206010029113 Neovascularisation Diseases 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 206010062108 Retinal vascular thrombosis Diseases 0.000 description 1
- 208000007536 Thrombosis Diseases 0.000 description 1
- 206010053648 Vascular occlusion Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000023445 activated T cell autonomous cell death Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000003161 choroid Anatomy 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 210000000871 endothelium corneal Anatomy 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000002911 mydriatic effect Effects 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 208000019553 vascular disease Diseases 0.000 description 1
- 208000021331 vascular occlusion disease Diseases 0.000 description 1
- 230000006439 vascular pathology Effects 0.000 description 1
- 230000008728 vascular permeability Effects 0.000 description 1
- 210000005166 vasculature Anatomy 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/18—Arrangement of plural eye-testing or -examining apparatus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Evolutionary Computation (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Processing (AREA)
- Eye Examination Apparatus (AREA)
Abstract
Изобретение относится к распознаванию и анализу изображений в медицине и может быть использовано при обработке биомедицинских изображений и при автоматизации научных исследований. Автоматизированная система анализа ангиографических изображений глазного дна содержит блок ввода исходных цифровых ангиографических изображений, средства анализа и выделения функциональных и структурных показателей глазного дна и базу данных, связанные между собой с возможностью обмена информацией и управления с процессором. В систему введен блок предварительной обработки исходных изображений. Средства анализа и выделения функциональных и структурных показателей глазного дна содержат блок анализа изображений сосудов, выполненный с возможностью удаления шумовых объектов по площади и по удлиненности и построения остова области выделенных сосудов для последующего измерения их ширины, а также блок выделения сосудов, первый выход которого связан с блоком определения морфометрических характеристик сосудов, а второй выход - с блоком выделения зон ишемии сосудов, выход блока выделения зон ишемии сосудов связан с входом блока определения параметров зоны ишемии сосудов, выход которого и выход блока определения морфометрических характеристик сосудов связаны с базой данных. Использование изобретения позволяет расширить класс выделяемых зон ишемии, обеспечить возможности выделения на изображении сосудов и определения их морфометрические характеристики. 4 з.п. ф-лы, 8 ил.
Description
Изобретение относится к распознаванию и анализу изображений в медицине и может быть использовано при обработке биомедицинских изображений и при автоматизации научных исследований.
Известно, что изображения глазного дна позволяют судить о состоянии ретинального и хориоидального сосудистых русел: их архитектонике, плотности сосудистого русла, проходимости сосудов, их окклюзии и наличии бессосудистых (ишемических) зон, динамике площади ишемических участков в зависимости от проводимого лечения.
Автоматизированные средства обработки и анализа биомедицинских изображений позволяют снизить временные и материальные затраты на морфологические исследования, и используются в том числе при анализе изображений глазного дна. В публикации CN 106599804 (A) HARBIN INSTITUTE TECHNOLOGY, 26.04.2017, описан метод автоматического детектирования фовеальной ямки сетчатки (fovea centralis) на основе построения модели изображения по множеству признаков. Метод включает следующие этапы: 1) выделение глобальных признаков изображения; 2) выделение локальных признаков изображения; 3) выделение глубинных признаков изображения; и 4) построение мультимодельного представления изображения фовеальной ямки сетчатки (fovea centralis) на основе слияния выделенных признаков. Благодаря эффективному объединению глобальных, локальных и глубинных признаков, извлеченных из изображений, удается провести точное обнаружение сетчатки. Метод устойчив к шуму, вызванному неоднородностью освещения и незначительными поражениями глазного дна, а также к аномальному распределению кровеносных сосудов. Обнаружение фовеальной ямки сетчатки с помощью предложенного метода проводится с большой точностью, обеспечивая надежную информацию для идентификации личности по изображению сетчатки. Предложенный метод не предназначен для обнаружения сосудов для прогнозирования степени зрительных нарушений при тромбозах ретинальных сосудов, возникающих при диабете или атеросклерозе, и зон ишемии, по динамике размеров которых можно судить об эффективности проводимого офтальмологами лечения.
В другом изобретении (CN 106228566 (A), HARBIN INSTITUTE TECHNOLOGY, 14.12.2016) описан метод автоматического обнаружения и распознавания микроаневризмы сетчатки на основе анализа градиентного отклика. Метод включает следующие этапы: 1) обнаружение области, где возможно находится «микроаневризма»: а) удаление кровеносных сосудов, б) определение местонахождения области, в) выделение области с объектом-кандидатом на «микроаневризму»; 2) выделение объекта-кандидата на «микроаневризму»; 3) распознавание объекта («микроаневризма»/«фон»). Метод автоматического обнаружения и распознавания микроаневризмы сетчатки глаза основан на анализе векторов градиентов различных тусклых объектов на сетчатке глаза и применении к этим векторам неравномерного классификатора. Данный метод не предназначен для выделения сосудов и зон ишемии.
Упомянутые выше публикации, а также ряд других (например, CN 102393956 (A), CHINESE ACAD INST AUTOMATION, 28.03.2012) касались распознавания состояния глазного дна на изображениях, полученных с помощью немидриатической фундус-камеры. Вместе с тем, ангиографическая картина глазного дна позволяет судить о состоянии проницаемости сосудистой стенки (vascular permeability), повышенной у новообразованных сосудов (например, при диабете). Наличие участков «протекания» (leakege) флуоресцеина дает такую возможность.
Для оценки ангиографической картины глазного дна необходимо знать плотность сосудистого русла (число капиллярных петель на единицу площади), средний диаметр сосудов, которые дают представление о степени васкуляризации сетчатой оболочки глаза в норме и сосудистой патологии органа зрения. При тромбозах ретинальных сосудов образуются зоны ишемии (неперфузии сосудов или кровоизлияний), по площади и топографии которых возможно прогнозировать степень зрительных нарушений, а по динамике размеров этих зон - об эффективности проводимого лечения.
Описаны различные способы анализа глазного дна с использованием флуоресцентных изображений. Так, в патенте US 9757023 (В2), UNIV MICHIGAN REGENTS, 12.09.2017 описаны способы и системы для автоматического обнаружения оптического диска в автофлюоресцентных изображениях сетчатки. Монохроматическое изображение сетчатки получают с помощью стимулированной аутофлуоресценции. Изображение обрабатывается с использованием математических фильтров и машинного обучения для определения сегментов кровеносных сосудов и для определения пикселей как возможно принадлежащих оптическому диску. Эти пиксели оптического диска группируются в кластеры, а наилучший подходящий круг (или его часть, лежащая внутри изображения) вставляется в каждый кластер. Круг может быть увеличен, чтобы улучшить контраст изображения по окружности круга. Выделяются сегменты кровеносных сосудов, которые пересекают круг, и снимаются показатели от таких пересекающихся сегментов кровеносных сосудов. Эти показатели оцениваются методами машинного обучения для определения вероятности того, что каждый кластер содержит оптический диск, а контуры оптического диска дополнительно определяются путем анализа возможных пикселей оптического диска. Хотя в данной работе используются автофлуоресцентные изображения, которые схожи с ангиографическими изображениями, в данной работе не ставилась задача выделения сосудов и обнаружения зон ишемии.
В контексте раннего выявления и мониторинга глазных заболеваний, таких как глаукома и диабетическая ретинопатия, используется автоматизированная сегментация кровеносных сосудов сетчатки посредством оптической когерентной томографии (ОКТ), что достаточно трудно за счет слабой видимости структуры сосуда в изображении ствола (US 8831304 (B2), UNIV CARNEGIE MELLON, 09.09.2014). Для решения этой проблемы используется трехмерная (3D) информация. Автоматизированная методика сегментации кровеносных сосудов основана на 3D спектральном анализе ОКТ и обеспечивает отображение точной картины сосудов для клинического анализа, регистрацию изображения сетчатки, раннюю диагностику и мониторинг прогрессирования глаукомы и других заболеваний сетчатки. В методе используется алгоритм машинного обучения для автоматического определения кровеносного сосуда в 3D-изображении ОКТ. Метод не предназначен для сегментации слоя сетчатки.
В изобретении (US 2016071266 (A1), CLEVELAND CLINIC, 10.03.2016) описана система автоматического анализа ангиографических изображений. Она включает систему визуализации, сконфигурированную для захвата первого и второго изображений области интереса; компонент регистрации, сконфигурированный для регистрации первого изображения на втором изображении; компонент разности, сконфигурированный для генерирования разностного изображения, получаемого из первого и второго изображений; и компонент распознавания образов, сконфигурированный для назначения клинического параметра интересующей области на разностном изображении и, по меньшей мере, на одном из первом или втором изображениях. Компонент распознавания образов для выявления окклюзии сосудов работает на каждой подобласти изображения индивидуально в соответствии с по меньшей мере одним сохраненным набором правил для назначения клинического параметра субрегиона. Компонент распознавания образов сконфигурирован для идентификации одного из следующих заболеваний: ишемии, неоваскуляризации, микроаневризмы и утечки сосудов.
Описана система, реализующая автоматический метод сегментации (US 2017164825 (A1); UNIV CALIFORNIA [US], UNIV WENZHOU MEDICAL [CN], 15.06.2017). Система представляет трехмерный метод сегментации с доплеровской дисперсией на основе интенсивности (ДЦОИ) ОКТ с разверткой. Автоматический трехмерный метод сегментации используется для получения семи поверхностей внутриретинальных слоев. Микрососудистая сеть сетчатки, которая получается методом ДДОИ, может быть разделена на шесть слоев. Микрососудистая сеть из шести отдельных слоев визуализируется, а морфологические и контрастные изображения могут быть улучшены с использованием метода сегментации. Этот метод потенциально подходит для ранней диагностики и точного контроля при сосудистых заболеваниях сетчатки. Каждое томографическое изображение строится по восьми повторным сканированиям в одном и том же положении, что позволяет за счет увеличения времени съемки улучшить чувствительность ангиографического метода. Для сокращения влияния движения глаз при съемке используется алгоритм регистрации подпикселя. Графический процессор использовался для ускорения обработки данных для обеспечения предварительного просмотра полученных данных в режиме реального времени.
Наиболее близкой к патентуемой системе является система, описанная в заявке «METHODS AND SYSTEMS FOR COMBINED MORPHOLOGICAL AND ANGIOGRAPHIC ANALYSES OF RETINAL FEATURES)) (US 2016242638 (A1), ZEISS CARL MEDITEC INC., 25.08.2016) - прототип. Описаны методы и системы офтальмологической визуализации, которые повышают чувствительность автоматизированных диагнозов с использованием комбинации функциональной и структурной информации, полученной из различных форм офтальмологических изображений. Примерный способ анализа данных изображения глаза пациента включает обработку первого набора данных изображений для получения одного или нескольких функциональных показателей; обработка второго набора данных изображений для получения одной или нескольких структурных метрик; сравнение одного или нескольких структурных показателей с одним или несколькими функциональными метриками; и обработки результатов указанного сравнения для получения вероятности заболевания или нормальности глаза.
Недостатки этой системы автоматизации состоят в том, что: 1) данная система предназначена только для выделения бессосудистой зоны центральной ямки глаза, то есть она выделяет зоны ишемии только определенного типа, а не все, как наша система; 2) системе для анализа нужно большое количество ангиографических изображений, в то время как нашей системе достаточно небольшого количества; 3) система не позволяет выделить сосуды на изображении; 4) система не позволяет посчитать морфометрические характеристики для сосудов, такие как диаметр сосудов, длина сосудов, площадь сосудов и т.п.; 5) система не предоставляет интерфейс работы с изображением.
Настоящее изобретение направлено на проблему автоматизации выделения сосудистого русла и зон ишемии на ангиографических изображениях глазного дна человека.
Патентуемая автоматизированная система анализа ангиографических изображений глазного дна включает блок ввода исходных цифровых ангиографических изображений, средства анализа и выделения функциональных и структурных показателей глазного дна и базу данных, связанные с возможностью обмена информацией и управления с процессором.
Отличие состоит в следующем. Дополнительно введен блок предварительной обработки исходных изображений, связанный с выходом блока исходных изображений, выполненный с возможностью преобразования цветного исходного изображения в одноканальное в оттенках серого с последующей нормализацией и логарифмической коррекцией, фильтрацией шума на изображении, повышения контраста и бинаризации изображения.
Средства анализа и выделения функциональных и структурных показателей глазного дна содержат блок анализа изображений сосудов, выполненный с возможностью удаления шумовых объектов последовательно по площади и по удлиненности и построения остова области выделенных сосудов для последующего измерения их ширины, а также блок выделения сосудов, первый выход которого связан с блоком определения морфометрических характеристик сосудов, а второй выход - с блоком выделения зон ишемии сосудов.
Блок определения морфометрических характеристик сосудов выполнен с возможностью определения плотности расположения сосудов, среднего диаметра и среднеквадратичного отклонения диаметров и общей длины сосудов.
Блок выделения зон ишемии сосудов выполнен с возможностью построения гистограмм яркостей изображения и последующего их анализа, наложения изображений сосудов на область зоны ишемии и расширения зоны ишемии до пересечения с сосудами путем дилатации с получением области, пересекающейся с сосудами в выделенной зоне ишемии и последующим заполнением зон ишемии сосудами с помощью операций морфологического закрытия и реконструкции, при этом выход блока выделения зон ишемии сосудов связан с входом блока определения параметров зоны ишемии сосудов, выход которого и выход блока определения морфометрических характеристик сосудов связаны с базой данных.
Система может характеризоваться тем, что блок предварительной обработки исходных изображений включает последовательно соединенные модуль яркостной и цветовой коррекции изображения, модуль нормализации изображения, модуль логарифмической коррекции изображения, модуль фильтрации шума на изображении, модуль повышения контраста изображения и модуль бинаризации изображения, выход которого является выходом блока.
Система может характеризоваться и тем, что блок анализа изображений сосудов включает модуль удаления шумовых объектов по площади, связанный по выходу с модулем удаления шумовых объектов по удлиненности, первый выход которого связан с входом модуля построения остова области, выход которого и второй выход модуля удаления шумовых объектов по удлиненности объединены и являются выходом блока.
Система может характеризоваться также тем, что блок определения морфометрических характеристик сосудов включает параллельно соединенные модуль подсчета плотности расположения сосудов, модуль подсчета диаметров сосудов, их среднего значения и среднеквадратичного отклонения, модуль подсчета длины сосудистого русла, выходы которых объединены и являются выходом блока.
Система может характеризоваться также и тем, что блок выделения зон ишемии включает последовательно соединенные модуль построения гистограммы яркостей изображения, модуль анализа гистограммы яркостей изображения, модуль наложения изображений сосудов на область зоны ишемии, модуль расширения зоны ишемии до пересечения с сосудами, модуль нахождения сосудов в зоне ишемии, модуль заполнения зон ишемии сосудами, модуль выделения области зоны ишемии, выход которого является выходом блока.
Технический результат состоит в расширении классов выделяемых зон ишемии, обеспечении возможности выделения на изображении сосудов и определения их морфометрических характеристик при снижении необходимого для анализа количества ангиографических изображений.
Патентуемая система основана на совместном использовании обработки изображений, математической морфологии и анализе специфики ангиографических изображений, в основе которых лежат результаты, полученные при разработке методов автоматизации анализа различных биомедицинских изображений (см., например, I.B. Gurevich, V.V. Yashina, A.A. Fedorov, A.M. Nedzved, and A.M. Ospanov. Development, Investigation, and Software Implementation of a New Mathematical Method for Automated Identification of the Lipid Layer State by the Images of Eyelid Intermarginal Space // Pattern Recognition and Image Analysis: Advances in Mathematical Theory and Applications. Pleiades Publishing, Ltd., 2017. - Vol. 27, No. 3 - pp. 538-549; LB. Gurevich, V.V. Yashina, A.A. Fedorov, A.M. Nedzved, and A.T. Tleubaev. Development, Investigation, and Software Implementation of a New Mathematical Method for Automatizing Analysis of Corneal Endothelium Images // Pattern Recognition and Image Analysis: Advances in Mathematical Theory and Applications. Pleiades Publishing, Ltd., 2017. - Vol. 27, No. 3. - pp. 550-559).
Существо изобретения поясняется на чертежах, где:
фиг. 1 - блок-схема автоматизированной системы;
фиг. 2 - блок предварительной обработки исходного изображения;
фиг. 3 - блок анализа изображений сосудов;
фиг. 4 - блок определения морфометрических характеристик сосудов;
фиг. 5 - блок выделения зон ишемии;
фиг. 6 - вид исходного изображения;
фиг. 7 - результат обработки изображения: выделенные сосуды;
фиг. 8 - результат обработки изображения: выделенная зона ишемии.
Патентуемая автоматизированная система анализа ангиографических изображений глазного дна (фиг. 1) включает блок 1 предварительной обработки исходных изображений, блок 2 анализа изображений сосудов; блок 3 выделения сосудов; блок 4 определения морфометрических характеристик сосудов; блок 5 выделения зон ишемии сосудов; блок 6 определения параметров зоны ишемии сосудов; блок 7 БД, в которой производится документирование результатов анализа. Таким образом, система предусматривает три этапа извлечения информации из изображений: предобработка изображения, анализ изображений (выделение сосудов и зон ишемии) и подсчет морфометрических характеристик сосудов и зон ишемии.
Исходными изображениями являются цветные снимки сосудистого русла глазного дна человека с ярко освещенной частью в центре и затемнениями по краям (фиг. 6). Изображения визуально отображают оттенки серого. Сосуды представляют собой разветвленную сеть кровеносных каналов, выходящих из центра диска зрительного нерва (темная область округлой формы). Проникая в глазное яблоко, флуоресцеин вначале контрастирует, окрашивая в белый цвет хориоидальные сосуды (с более быстрым кровотоком), а далее - ретинальные сосуды: последовательно артериальные сосуды, капилляры и вены. Зоны ишемии представляют собой темные области, в которых отсутствует кровоток, соответственно флуоресцеиновый раствор не попадает в ткани данной зоны, тем самым эти области остаются затемненными.
Основными задачами автоматизированной системы являются выделение на ангиографических изображениях глазного дна человека всех звеньев сосудистого русла для подсчета его плотности и среднего диаметра сосудов, а также выделение зон ишемии и подсчета требуемых морфометрических характеристик.
Результатами работы должны быть: 1) бинарные изображения с выделенными сосудами для визуального анализа офтальмологами; 2) морфометрические характеристики, связанные с выделенными сосудами: плотность расположения сосудов, средний диаметр и среднеквадратичное отклонение диаметров сосудов, общая длина сосудов; 3) бинарные изображения выделенной зоны ишемии и объем данной области в кв. мкм.
Методы, используемые для идентификации сосудов на двумерных изображениях, базируются на локальных признаках изображения, учитывающих специфические свойства васкулярных сегментов. Метод, основанный на обработке пикселов, использует двухшаговый подход и приведен ниже. Первым шагом является процедура улучшения качества изображения (обычно оператор свертки), направленная на начальный набор пикселов для дальнейшего подтверждения в качестве сосудов на втором этапе.
На фиг. 2 показана структурная схема блока 1 предварительной цифровой обработки исходного изображения, которая предназначена для повышения качества изображений для улучшения его визуального восприятия врачом, для обработки изображений для их хранения, представления и передачи в системах машинного зрения или преобразование изображений таким образом, чтобы повысить эффективность их дальнейшего анализа и распознавания.
Блок 1 содержит следующие модули:
Модуль А.1 «Яркостная и цветовая коррекция изображений». Исходное изображение (фиг. 6) дано в монохроматическом виде, но с тремя каналами цветов. Поэтому это изображение переводится в одноканальное изображение в оттенках серого с помощью уравнения (1).
где R, G, В - красный, зеленый и синий каналы изображения, соответственно.
Модуль А.2 «Нормализация изображения». Для дальнейшего удобства работы с изображением оно нормализуется на отрезок [0,1].
Модуль А.З «Логарифмическая коррекция изображения». Камера освещает только округлую область, поэтому края изображения низко контрастные и требуют освещения. Для осветления затемненных областей применяется логарифмическая коррекция: каждый пиксель изображения обрабатывается по формуле (2):
где: Output - пиксели выходного изображения, gain - фактор масштабирования (scaling factor), Input - пиксели входного изображения.
Модуль А.4 «Фильтрация шума на изображении». С целью снижения зашумленности исходного изображения применяется фильтр Гаусса. Фильтр Гаусса также хорошо способствует выделению границ, т.к. уменьшает чувствительность детектора границ к шуму.
Модуль А.5 «Повышение контраста изображения». Мелкие сосуды представляют собой тонкие структуры и являются низко контрастными, поэтому их выделение является трудоемкой задачей. Для улучшения их отделимости от фона и лучшего и более точного выделения, на изображениях делается свертка ядрами для поиска краев, соответствующих четырем ориентациям (горизонтальной, вертикальной, 45° и 135°). После свертки данными ядрами для изображения находились края и суммировались с обработанным на предыдущем шаге изображением.
Модуль А.6 «Бинаризация изображения». К полученному неоднородному по освещенности изображению применяется адаптивная бинаризация Саувола.
На фиг. 3 показана структурная схема блока 2 анализа изображений для выделения сосудов. Изображения приводятся к виду, удобному для распознавания, т.е. проводится построение формального описания - модели изображения. Для выделения сосудов необходимо провести анализ с учетом специфики ангиографических изображений: появление мелких не связанных компонентов за счет неровности освещенности препарата и появление сгустков нервных окончаний, не являющихся сосудами.
Блок 2 содержит следующие модули:
Модуль Б.1 «Удаление шумовых объектов по площади». Вместе с сосудами также выделяются и шумы (мелкие компоненты) из-за неоднородности освещенности. Эти компоненты удаляются из изображения по площади.
Модуль Б.2 «Удаление шумовых объектов по удлиненности». В получившемся после очистки на предыдущем шаге изображении все еще остаются компоненты, которые не являются сосудами. Эти компоненты могут быть как и относительно большими шумовыми элементами, так и сгустками нервных окончаний. Все эти элементы удаляются по порогу удлиненности области (3).
Поскольку эти объекты менее вытянуты и более похожи на круг, то подбор такого порога проводится без риска потери сосудов. Результат обработки изображения с выделенными сосудами показан на фиг. 7.
Модуль Б.3 «Построение остова области». Строится скелет для выделенных сосудов для дальнейшего измерения их ширины.
На фиг. 4 показана структура блока 4 определения морфометрических характеристик сосудов: плотность расположения сосудов, средний диаметр сосудов, среднеквадратичное отклонение диаметров сосудов, общую длину сосудов.
Блок 4 определения морфометрических характеристик включает следующие элементы.
Модуль С.1 «Подсчет плотности расположения сосудов». Вычисляется как отношение выделенных пикселей в модуле В.2, относящихся к сосудистому руслу, к общей площади исходного изображения. Эта величина характеризует плотность расположения сосудов.
Модуль С.2 «Подсчет диаметра сосудов». По построенному остову можно посчитать ширину сосудов для каждой точки скелета. Для этого для каждого пикселя необходимо провести следующие операции: а) построить круг радиуса R (начальное приближение 1); б) если в круг попадает пиксель края сосуда, то считать, что ширина сосуда равняется диаметру круга (пикселы переводятся в мкм); в) если в круге отсутствует пиксель края, то увеличивать радиус на 1 и повторять с шага (а). По известным диаметрам сосудов в каждой точке скелета вычисляются статистические характеристики: средний диаметр и среднеквадратичное отклонение.
Модуль С.3 «Подсчет длины сосудистого русла». При известном масштабе исходного изображения длина построенного остова в пикселах переводится в длину сосудистого русла в мкм.
Структурная схема блока 5 выделения зон ишемии представлена на фиг. 5 и также включает три этапа извлечения информации: обработка и анализ изображений и подсчет морфометрических характеристик выделенной зоны.
Предварительная обработка ангиографических изображений проводится в блоке 1 (фиг. 2) аналогично модулям А.1-А.4 как и при определении морфометрических характеристик сосудов, однако дополняется модулем А.0.
Модуль А.0 «Выделение области интереса». Для поиска зон ишемии рассматривается область картинки, с обрезанными краями в 17% (высчитано эмпирически). Такое урезание картинки связано с тем, что при получении ангиографических изображений глазного дна, края изображения из-за округленности глазного яблока освещаются слабо и мешают определению зон ишемии.
Блок 5 выделения зон ишемии содержит следующие модули.
Модуль В.1 «Построение гистограмм яркостей изображения». Изображение на предыдущих шагах нормализовано на отрезок [0, 1]. Отрезок разделен на 256 бинов, и построены гистограммы для этих подотрезков.
Модуль В.2 «Анализ гистограмм яркостей изображения». Теоретически, учитывая, что зоны ишемии самые темные области на изображении, то на гистограмме первый локальный максимум будет отделять эти области от остальных освещенных областей. Валидность данного деления была проверена на выборке из нескольких изображений. Экспериментальным путем было доказано, что данный экстремум действительно будет порогом для нахождения зон ишемии. В результате такой обработки исходного изображения область зоны ишемии была определена. Однако необходимо учесть специальный случай наложения сосудов на область ишемии на изображениях, находящиеся в реальности на разных плоскостях, но попадающих на одно изображение. Следующие шаги направлены на получение результата, учитывающего данную особенность.
Модуль В.3 "Наложение сосудов на область зоны ишемии". Зоны ишемии находятся в другой плоскости относительно сосудов, поэтому необходимо учитывать (добавлять) зоны ишемии, пересекающиеся с сосудами. Выполняется заливка области ишемии, пересекающейся с сосудами.
Модуль В.4 "Расширение зоны ишемии до пересечения с сосудами". Для заполнения данных участков применяется операция дилатации, обеспечивающая расширение зоны ишемии до пересечения с сосудами.
Модуль В.5 "Нахождение сосудов в зоне ишемии". После расширения зоны ишемии получаем область, пересекающуюся с сосудами. Найдем пересечения расширенной зоны с сосудами и добавим в исходное изображение с выделенной зоной ишемии.
Модуль В.6 "Заполнение зон ишемии сосудами". Получим заполненные зонами вен участки зон ишемии.
Модуль В.7 "Выделенная область зоны ишемии". Применив к этому изображению операции морфологических закрытия и реконструкции, заполним области так, чтобы не осталось зон пересечения с сосудами. В итоге получаем окончательный результат обработки изображения с выделенной зоной ишемии - белые бесформенные пятна на черном фоне, соответствующие зоне ишемии (фиг. 8). Эмпирическим путем был найден баланс между интенсивностью морфологических операций и правильностью выделения зоны ишемии. При известном масштабе исходного изображения число пикселей, входящих в зону ишемии, переводится в площадь зоны ишемии в мкм2.
Проведенные вычислительные эксперименты показали, что разработанные методы выделения сосудистого русла и зон ишемии на ангиографических изображениях глазного дна человека дают результаты, позволяющие выявить и оценить ход лечения диагностируемых заболеваний.
Обсуждение и интерпретация результатов проводились совместно с экспертами-офтальмологами. Установлено, что точность метода, по меньшей мере, не уступает по точности результатам визуальной обработки экспертами-офтальмологами, однако осуществляется примерно в 1000 раз быстрее:
а) обработка одного изображения в автоматическом режиме занимает не более секунды, в зависимости от размеров обрабатываемого изображения, а обработка экспертом-офтальмологом занимает не менее одного часа;
б) возможность автоматической обработки позволит уменьшить число образцов, необходимых для принятия диагностического решения и выбора тактики лечения.
Достижение технического результата - возможность автоматического анализа ангиографических изображений глазного дна с выделением зон ишемии проведена на 20 ангиографических изображениях. Вычислительные эксперименты на полученных данных показали, что результаты являются гораздо более полными, чем достигаются врачом-офтальмологом при визуальной обработке. Автоматизация позволяет сократить время обработки изображения на 3 порядка.
Программная реализация выполнена на ЯП Python версии 3 с использованием библиотеки scikit-image. Интерфейс написан на ЯП Python версии 3 с использованием библиотеки Qt. Реализованная программа является кроссплатформенной и запускается на любом компьютере с поддержкой ЯП Python 3.
Claims (10)
1. Автоматизированная система анализа ангиографических изображений глазного дна, включающая блок ввода исходных цифровых ангиографических изображений, средства анализа и выделения функциональных и структурных показателей глазного дна и базу данных, связанные с возможностью обмена информацией и управления с процессором,
отличающаяся тем, что
дополнительно введен блок предварительной обработки исходных изображений, связанный с выходом блока исходных изображений, выполненный с возможностью преобразования цветного исходного изображения в одноканальное в оттенках серого с последующей нормализацией и логарифмической коррекцией, фильтрацией шума на изображении, повышения контраста и бинаризации изображения;
средства анализа и выделения функциональных и структурных показателей глазного дна содержат блок анализа изображений сосудов, выполненный с возможностью удаления шумовых объектов последовательно по площади и по удлиненности и построения остова области выделенных сосудов для последующего измерения их ширины, а также блок выделения сосудов, первый выход которого связан с блоком определения морфометрических характеристик сосудов, а второй выход - с блоком выделения зон ишемии сосудов, при этом
блок определения морфометрических характеристик сосудов выполнен с возможностью определения плотности расположения сосудов, среднего диаметра и среднеквадратичного отклонения диаметров и общей длины сосудов, а
блок выделения зон ишемии сосудов выполнен с возможностью построения гистограмм яркостей изображения и последующего их анализа, наложения изображений сосудов на область зоны ишемии и расширения зоны ишемии до пересечения с сосудами путем дилатации с получением области, пересекающейся с сосудами в выделенной зоне ишемии и последующим заполнением зон ишемии сосудами с помощью операций морфологического закрытия и реконструкции, при этом выход блока выделения зон ишемии сосудов связан с входом блока определения параметров зоны ишемии сосудов, выход которого и выход блока определения морфометрических характеристик сосудов связаны с базой данных.
2. Система по п. 1, отличающаяся тем, что блок предварительной обработки исходных изображений включает последовательно соединенные модуль яркостной и цветовой коррекции изображения, модуль нормализации изображения, модуль логарифмической коррекции изображения, модуль фильтрации шума на изображении, модуль повышения контраста изображения и модуль бинаризации изображения, выход которого является выходом блока.
3. Система по п. 1, отличающаяся тем, что блок анализа изображений сосудов включает модуль удаления шумовых объектов по площади, связанный по выходу с модулем удаления шумовых объектов по удлиненности, первый выход которого связан с входом модуля построения остова области, выход которого и второй выход модуля удаления шумовых объектов по удлиненности объединены и являются выходом блока.
4. Система по п. 1, отличающаяся тем, что блок определения морфометрических характеристик сосудов включает параллельно соединенные модуль подсчета плотности расположения сосудов, модуль подсчета диаметров сосудов, их среднего значения и среднеквадратичного отклонения, модуль подсчета длины сосудистого русла, выходы которых объединены и являются выходом блока.
5. Система по п. 1, отличающаяся тем, что блок выделения зон ишемии включает последовательно соединенные модуль построения гистограммы яркостей изображения, модуль анализа гистограммы яркостей изображения, модуль наложения изображений сосудов на область зоны ишемии, модуль расширения зоны ишемии до пересечения с сосудами, модуль нахождения сосудов в зоне ишемии, модуль заполнения зон ишемии сосудами, модуль выделения области зоны ишемии, выход которого является выходом блока.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018123368A RU2683758C1 (ru) | 2018-06-27 | 2018-06-27 | Автоматизированная система анализа ангиографических изображений глазного дна человека |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018123368A RU2683758C1 (ru) | 2018-06-27 | 2018-06-27 | Автоматизированная система анализа ангиографических изображений глазного дна человека |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2683758C1 true RU2683758C1 (ru) | 2019-04-01 |
Family
ID=66089993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2018123368A RU2683758C1 (ru) | 2018-06-27 | 2018-06-27 | Автоматизированная система анализа ангиографических изображений глазного дна человека |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2683758C1 (ru) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU196414U1 (ru) * | 2019-12-23 | 2020-02-28 | Федеральное государственное учреждение "Федеральный исследовательский центр "Информатика и управление" Российской Академии Наук" | Анализатор ангиографических изображений глазного дна человека |
| CN112700420A (zh) * | 2020-12-31 | 2021-04-23 | 中南大学 | 一种眼底图像补全、分类方法及系统 |
| RU2793528C1 (ru) * | 2022-06-07 | 2023-04-04 | Общество с ограниченной ответственностью "Лаборатория Ретвэйв" | Ретинальная камера для проведения исследований состояния сетчатки и глазного дна |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2476932C1 (ru) * | 2012-03-30 | 2013-02-27 | Федеральное государственное бюджетное учреждение науки Вычислительный центр им. А.А. Дородницына Российской академии наук | Автоматизированная система анализа биомедицинских микроизображений для обнаружения и характеризации информативных объектов заданных классов на неоднородном фоне |
| US20160121638A1 (en) * | 2013-06-10 | 2016-05-05 | Structural Graphics, Llc | Magic window viewer, a die for cutting viewer parts, and a preprinted sheet from which to cut viewer parts |
| US20170079955A1 (en) * | 2014-05-15 | 2017-03-23 | Shelley Romayne Boyd | Compositions and methods for treating and diagnosing ocular disorders |
| CN106599804A (zh) * | 2016-11-30 | 2017-04-26 | 哈尔滨工业大学 | 基于多特征模型的视网膜中央凹检测方法 |
-
2018
- 2018-06-27 RU RU2018123368A patent/RU2683758C1/ru active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2476932C1 (ru) * | 2012-03-30 | 2013-02-27 | Федеральное государственное бюджетное учреждение науки Вычислительный центр им. А.А. Дородницына Российской академии наук | Автоматизированная система анализа биомедицинских микроизображений для обнаружения и характеризации информативных объектов заданных классов на неоднородном фоне |
| US20160121638A1 (en) * | 2013-06-10 | 2016-05-05 | Structural Graphics, Llc | Magic window viewer, a die for cutting viewer parts, and a preprinted sheet from which to cut viewer parts |
| US20170079955A1 (en) * | 2014-05-15 | 2017-03-23 | Shelley Romayne Boyd | Compositions and methods for treating and diagnosing ocular disorders |
| CN106599804A (zh) * | 2016-11-30 | 2017-04-26 | 哈尔滨工业大学 | 基于多特征模型的视网膜中央凹检测方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU196414U1 (ru) * | 2019-12-23 | 2020-02-28 | Федеральное государственное учреждение "Федеральный исследовательский центр "Информатика и управление" Российской Академии Наук" | Анализатор ангиографических изображений глазного дна человека |
| CN112700420A (zh) * | 2020-12-31 | 2021-04-23 | 中南大学 | 一种眼底图像补全、分类方法及系统 |
| RU2793528C1 (ru) * | 2022-06-07 | 2023-04-04 | Общество с ограниченной ответственностью "Лаборатория Ретвэйв" | Ретинальная камера для проведения исследований состояния сетчатки и глазного дна |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109784337B (zh) | 一种黄斑区识别方法、装置及计算机可读存储介质 | |
| Akram et al. | Automated detection of dark and bright lesions in retinal images for early detection of diabetic retinopathy | |
| Besenczi et al. | A review on automatic analysis techniques for color fundus photographs | |
| US7583827B2 (en) | Assessment of lesions in an image | |
| Akram et al. | Multilayered thresholding-based blood vessel segmentation for screening of diabetic retinopathy | |
| Haleem et al. | Automatic extraction of retinal features from colour retinal images for glaucoma diagnosis: a review | |
| SujithKumar et al. | Automatic detection of diabetic retinopathy in non-dilated RGB retinal fundus images | |
| Raman et al. | Proposed retinal abnormality detection and classification approach: Computer aided detection for diabetic retinopathy by machine learning approaches | |
| EP3192051B1 (en) | Automated analysis of angiographic images | |
| WO2018116321A2 (en) | Retinal fundus image processing method | |
| WO2015013632A1 (en) | Automated measurement of changes in retinal, retinal pigment epithelial, or choroidal disease | |
| WO2010131944A2 (en) | Apparatus for monitoring and grading diabetic retinopathy | |
| JP2021534948A (ja) | 眼底画像定量分析の前置処理方法および記憶装置 | |
| RU2683758C1 (ru) | Автоматизированная система анализа ангиографических изображений глазного дна человека | |
| Onkaew et al. | Automatic extraction of retinal vessels based on gradient orientation analysis | |
| Agarwal et al. | Automatic imaging method for optic disc segmentation using morphological techniques and active contour fitting | |
| Kayte et al. | Automated Screening of Diabetic Retinopathy Using Image Processing | |
| Zhou et al. | Computer aided diagnosis for diabetic retinopathy based on fundus image | |
| Noronha et al. | A review of fundus image analysis for the automated detection of diabetic retinopathy | |
| Malathi et al. | An Efficient Method to Detect Diabetic Retinopathy Using Gaussian-Bilateral and Haar Filters with Threshold Based Image Segmentation | |
| Joshi et al. | Fundus image analysis for detection of fovea: A review | |
| Khatter et al. | Retinal vessel segmentation using Robinson compass mask and fuzzy c-means | |
| WO2003030075A1 (en) | Detection of optic nerve head in a fundus image | |
| RU196414U1 (ru) | Анализатор ангиографических изображений глазного дна человека | |
| WO2004082453A2 (en) | Assessment of lesions in an image |