RU2654199C1 - Сегментация тканей человека на компьютерном изображении - Google Patents
Сегментация тканей человека на компьютерном изображении Download PDFInfo
- Publication number
- RU2654199C1 RU2654199C1 RU2017125733A RU2017125733A RU2654199C1 RU 2654199 C1 RU2654199 C1 RU 2654199C1 RU 2017125733 A RU2017125733 A RU 2017125733A RU 2017125733 A RU2017125733 A RU 2017125733A RU 2654199 C1 RU2654199 C1 RU 2654199C1
- Authority
- RU
- Russia
- Prior art keywords
- segmentation
- medical images
- cnn
- map
- roi
- Prior art date
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 80
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 35
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 21
- 238000005070 sampling Methods 0.000 claims abstract description 6
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 19
- 230000007170 pathology Effects 0.000 claims description 18
- 238000002591 computed tomography Methods 0.000 claims description 8
- 238000012805 post-processing Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000002604 ultrasonography Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000002600 positron emission tomography Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 238000012800 visualization Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 20
- 210000000056 organ Anatomy 0.000 abstract description 18
- 239000003814 drug Substances 0.000 abstract 1
- 230000000694 effects Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 210000004556 brain Anatomy 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 208000003174 Brain Neoplasms Diseases 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 210000003484 anatomy Anatomy 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 206010030113 Oedema Diseases 0.000 description 2
- 239000002872 contrast media Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 210000001638 cerebellum Anatomy 0.000 description 1
- ZIBSSYPUGNXJFJ-UHFFFAOYSA-N coronene-1-carbaldehyde Chemical compound C1=C2C(C=O)=CC3=CC=C(C=C4)C5=C3C2=C2C3=C5C4=CC=C3C=CC2=C1 ZIBSSYPUGNXJFJ-UHFFFAOYSA-N 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
Изобретение относится к обработке медицинских изображений. Техническим результатом является повышение быстродействия и качества сегментации тканей/органов человека и/или обнаружения опухолей на медицинских изображениях. Согласно способу сегментации медицинских изображений входные объемные медицинские изображения приводятся к единому шагу сэмплирования и одному масштабу. Подготовленное таким образом изображение обрабатывают с помощью первой сверточной нейронной сети (CNN) для получения карты вероятностей обнаружения тканей и выделения на ее основании интересующей области. Далее вторая CNN обрабатывает набор данных в пределах выделенной интересующей области (ROI) на медицинских изображениях для получения карты вероятности многоклассовой сегментации. Затем посредством локального классификатора обрабатывают полученную карту вероятности многоклассовой сегментации в пределах ROI и получают предварительную карту многоклассовой сегментации. В дальнейшем эта предварительная карта сегментации подвергается постобработке для получения окончательной карты сегментации. 3 н. и 6 з.п. ф-лы, 4 ил.
Description
Область техники
Настоящее изобретение относится к обработке медицинских изображений и, в частности, к сегментации медицинских изображений тканей/органов человека, а также к обнаружению патологий/опухолей на медицинских изображениях с помощью сверточных нейронных сетей (Convolutional neural network, CNN).
Уровень техники
В настоящее время для исследования внутренних органов и обнаружения опухолей/патологий человека широко используются медицинские изображения, полученные с помощью различных технологий визуализации, таких как компьютерная томография (КТ), магнитно-резонансная томография (МРТ), ультразвуковое исследование (УЗИ), позитронно-эмиссионная томография (ПЭТ) и т.д.
Важной задачей при таких исследованиях является корректная интерпретация полученных медицинских изображений, т.к. в противном случае это может привести к постановке неверного диагноза.
В настоящее время существует множество автоматических и полуавтоматических алгоритмов обнаружения патологий и сегментации медицинских изображений тканей для их последующего анализа клиническим персоналом. При этом при сегментации можно использовать общие медицинские знания из медицинского атласа (анатомическая модель).
Документ CN101576997 A (20.07.2011) раскрывает способ сегментирования органов брюшной полости, основанный на двухэтапном увеличении области на основании модели, который относится к области обработки медицинских изображений. Данное решение подразумевает использование априорных знаний об анатомическом положении интересующего органа и распределении значений яркости. Однако упомянутое решение показывает слабую сегментацию в случае нечетких границ или сходства яркости (интенсивности) близких областей.
Документ US 8379957 B2 (19.02.2013) раскрывает систему и способ сегментации анатомических структур в объемных МРТ изображениях с использованием разрезов графов. В этом способе формируется шаблон объемного МРТ изображения головного мозга. Шаблон идентифицирует начальные точки анатомических структур головного мозга, таких как головной мозг, мозжечок и ствол мозга в объемном МРТ изображении головного мозга. Любая или все анатомические структуры головного мозга могут быть сегментированы с использованием сегментирования на основе разрезов графа, инициализированного на основе начальных точек, идентифицированных шаблоном. При этом данный подход подразумевает использование шаблонов анатомических структур. Однако данное решение обладает низкой производительностью вследствие вычислительной сложности.
Документ CN104851101 A (19.08.2015) раскрывает способ автоматической сегментации опухоли головного мозга посредством сверточной нейронной сети, основанный на глубоком обучении. Упомянутый способ включает в себя этапы: извлечение участка полутонового МРТ изображения опухоли головного мозга; предварительное обучение без учителя нейронной сети на выделенных участках МРТ изображений для получения начального приближения параметров сети; тонкая настройка параметров сети на размеченных данных; затем инициализация новой нейронной сети на основании полученных окончательных параметров старой сети и, наконец, предварительная классификация МРТ изображений новой нейронной сетью. Когда классификация завершена, первоначальная сегментация осуществляется по значению уровня градации серого областей опухоли, окончательный результат сегментации достигается с привлечением пост-обработки. Однако в данном подходе не применяются дополнительные локальные классификаторы, использующие мультимодальную корреляцию признаков тканей.
Документ US 20120093381 A1 (19.04.2012) раскрывает способ сегментации опухоли головного мозга в многопараметрических трехмерных МРТ изображениях (магнитно-резонансных изображениях). Способ содержит: предварительную обработку входного многопараметрического трехмерного МРТ изображения; классификацию каждого воксела в предварительно обработанном многопараметрическом трехмерном МРТ изображении; определение вероятности того, что воксел является частью опухоли головного мозга и получение исходной информации метки для сегментации изображения на основе вероятности классификации; построение представления на основе графа для предварительно обработанного изображения, подлежащего сегментированию; и генерирование сегментированного изображения опухоли головного мозга с использованием исходной информации метки и представления на основе графа. Данный подход использует попарное сходство интенсивностей вокселов и классификацию вокселов на основании графа. Однако сегментация в соответствии с данным решением имеет низкое качество вследствие недостатка статистической информации.
Таким образом, основные проблемы при сегментации медицинских изображений органов/тканей заключаются в следующем:
- Огромная размерность данных. При сегментации тканей на медицинских изображениях вычислительному устройству приходится обрабатывать большой объем данных (например, объемные 512×512×256 данные одной модальности или мультимодальные объемные данные МРТ 512×512×256×4), что приводит к длительной обработке изображения и предъявляет повышенные требования к вычислительной мощности применяемого оборудования.
- Низкое разрешение, произвольное расположение/форма патологий, нечеткие границы между тканями, высокая степень сходства между тканями, что приводит к низкой точности сегментации.
Таким образом, техническая задача настоящего изобретения заключается в повышении быстродействия и качества обработки медицинских изображений для сегментации тканей/органов человека и/или обнаружения патологий/опухолей.
Краткое раскрытие сущности
Настоящее изобретение раскрывает способ и систему для сегментации медицинских изображений, содержащую запоминающее устройство для хранения исходного набора медицинских изображений и результирующего набора данных сегментированных изображений, препроцессор, каскад сверточных нейронных сетей, по меньшей мере, один локальный классификатор и постпроцессор.
Упомянутая система сегментации работает следующим образом.
Входные объемные медицинские изображения приводятся к единому шагу сэмплирования (дискретизации) и одному масштабу, обычно с помощью операции интерполяции. Подготовленные таким образом изображения обрабатывают с помощью первой CNN путем сегментации по срезам вдоль одной из осей для получения карты вероятностей обнаружения тканей или патологий/опухолей и выделения на ее основании интересующей области (Region of Interest, ROI).
Далее вторая CNN выполняет объемную сегментацию в пределах выделенной ROI на медицинских изображениях. В результате такой обработки получают карту вероятностей многоклассовой сегментации.
Затем посредством локального классификатора обрабатывают полученную карту вероятностей многоклассовой сегментации в пределах ROI и получают предварительную карту многоклассовой сегментации. В дальнейшем эта предварительная карта сегментации подвергается постобработке для получения окончательной карты сегментации.
Целью многоклассовой сегментации является отображение объемного медицинского изображения в объемную карту, где каждая цифра обозначает определенную ткань (для задачи сегментации тканей) или патологию (для задачи обнаружения патологий/опухолей). Например, МРТ изображению может быть поставлено в соответствие объемная карта в градации серого, где различным оттенкам серого соответствует эдема или опухоль (см. фиг. 3).
Ключевые аспекты настоящего изобретения заключаются в следующем:
1. Для осуществления первичной обработки изображения используется сверточная нейронная сеть (CNN), возвращающая карту вероятностей для осуществления предварительной сегментации.
2. Каскад из двух сверточных нейронных сетей позволяет повысить скорость и точность сегментации:
- первая CNN получает предварительную карту вероятностей обнаружения тканей или патологий и на ее основе выделяет интересующую область (ROI) меньшего размера;
- вторая CNN уточняет карту вероятностей многоклассовой сегментации в пределах ROI.
3. Совокупность каскада сверточных нейронных сетей и локального классификатора позволяет повысить точность сегментации и получить в результате сплошную гладкую карту сегментации (с использованием дополнительной информации в зависимости от поставленной задачи).
Таким образом, настоящее изобретение позволяет повысить скорость и качество сегментации тканей/органов человека и/или обнаружения патологий/опухолей на медицинских изображениях.
Краткое описание чертежей
В дальнейшем изобретение поясняется описанием предпочтительных вариантов воплощения изобретения со ссылками на сопроводительные чертежи, на которых:
Фиг.1 изображает блок-схему алгоритма осуществления способа сегментации изображений согласно настоящему изобретению.
Фиг.2 изображает плоскости тела человека: 1 - корональную, 2 - сагиттальную и 3 - аксиальную.
Фиг.3 изображает сравнение среза предварительной и окончательной карт многоклассовой сегментации.
Фиг. 4 изображает пример многоклассовой сегментации некоторых органов головного мозга в корональном срезе.
Описание предпочтительных вариантов осуществления изобретения
Далее будет описан способ сегментации медицинских изображений со ссылкой на фиг.1.
На этапе 101 посредством препроцессора осуществляется предварительная обработка набора объемных необработанных медицинских изображений исследуемой области, полученных посредством системы визуализации. Такая система визуализации может представлять собой систему на основе одной из следующих методик и/или их комбинаций: компьютерная томография (КТ), магнитно-резонансная томография (МРТ), ультразвуковое исследование (УЗИ), позитронно-эмиссионная томография (ПЭТ) и другие подходящие методики визуализации. Например, в качестве входного сигнала могут быть несколько объемных МРТ изображений различного протокола съемки (с контрастирующим веществом, без контрастирующего вещества) или комбинация МРТ и КТ изображений. Упомянутая предварительная обработка заключается в приведении входных объемных медицинских изображений к единому шагу сэмплирования и одному масштабу (количеству пикселей для аксиальной, корональной и сагиттальной плоскостей, изображенных на фиг.2) с помощью операции интерполяции (например, линейной, билинейной, бикубической). Это обязательная операция гарантирует единообразие обработки с помощью сверточных нейронных сетей.
На этапе 102 в первую CNN каскада сверточных нейронных сетей подают подготовленные объемные медицинские изображения, полученные в результате выполнения этапа 101, и упомянутая первая CNN осуществляет их сегментацию вдоль одной (например, аксиальной) оси на основании параметров CNN, заданных заранее. Параметры CNN включают в себя и однозначно ее определяют: количество слоев сети, размеры ядер свертки, размеры ядер пулинга (pooling) для каждого слоя, параметры параметрического усеченного линейного преобразования (PReLU parameters) и весовые коэффициенты CNN. Выбор параметров CNN относится к итеративной процедуре обучения сверточных нейронных сетей методом обратного распространения ошибки на основе множества размеченных данных (соответствия объемных медицинских изображения и объемной карты локализации тканей и/или опухолей), и в данной заявке не рассматривается. Сегментация с помощью первой CNN заключается в том, что CNN ставит соответствие (на основании своих параметров) карты вероятностей распределения каждого из выбранного класса тканей или опухолей двухмерным изображениям (срезам) и/или их комбинации. Таким образом, объемная сегментация производится по частям, по срезам, а именно: проводится набор отдельных независимых сегментаций по срезам по одной из осей объема. Такая обработка двухмерных изображений вдоль одной из осей вычислительно существенно проще и быстрее обработки вдоль всех осей или сразу в объеме. В результате такой сегментации получают первоначальную карту вероятностей обнаружения заданной ткани или опухоли в заданном объеме.
С помощью порогового отсечения на медицинских изображениях выделяют интересующую область (ROI). Пороговое значение для отсечения определяется на размеченном наборе данных (соответствия объемных медицинских изображения и объемной карты локализации тканей и/или опухолей) таким образом, чтобы все находящееся снаружи определяемой области интереса однозначно принадлежало только одному классу. Порог может быть выбран эмпирически применительно к данному типу медицинского изображения (например, правило трех сигма) или автоматически как оптимизация межклассового расстояния (например, алгоритм Оцу (Otsu's method)). При этом размер ROI, которая обрабатывается далее, существенно меньше размера исходного изображения, что позволяет снизить вычислительную сложность последующей обработки.
На этапе 103 набор данных в пределах выделенной ROI на медицинских изображениях, полученной на этапе 102, подается во вторую CNN. Вторая CNN на основании параметров второй CNN, заданных заранее, осуществляет объемную сегментацию выделенной ROI на медицинских изображениях для получения карты вероятностей многоклассовой сегментации. Существенным отличием сегментации с помощью второй CNN является обработка двухмерных изображений (срезов аксиальной, корональной и сагиттальной плоскостей) вдоль всех осей или сразу в объеме, что является вычислительно сложной и долгой операцией. Однако в данном случае эта операция выполняется только для ограниченного объема ROI, что позволяет значительно снизить сложность и объем вычислений. В результате выполнения объемной сегментации с помощью второй CNN существенно уточняется карта вероятностей распределения каждого из выбранного класса тканей или опухолей. Это позволяет значительно уточнить обнаружение заданной ткани или опухоли на объемных медицинских изображениях. Затем полученная карта вероятностей многоклассовой сегментации передается в локальный классификатор.
Видно, что две используемые CNN различаются по задаче, специфике входного сигнала, а соответственно, и используемым параметрам.
На этапе 104 производится уточнение сегментации участка ROI подготовленного объемного медицинского изображения с использованием дополнительного специализированного локального классификатора, специфика и параметры которого подобраны специально для решения конкретной задачи. Под локальным классификатором в настоящей заявке подразумевается общепринятый подход к обработке данных в некоторой окрестности по решающему правилу и его аппаратная реализация. Параметры локальных классификаторов подбираются в результате итеративных процедур обучения методом максимального правдоподобия на основе набора размеченных данных (соответствия объемных медицинских изображения и объемной карты локализации тканей и/или опухолей). Вопрос подбора конкретных параметров локального классификатора лежит за пределами настоящего изобретения.
Таким образом, CNN выполняют основную работу по сегментации или нахождению патологий тканей. Однако результат работы CNN визуально часто неудовлетворителен: плохо определены границы классов, они размыты или «рваные» (см. Фиг 3). Для того чтобы получить визуально сплошной, более гладкий, качественный, удобный для восприятия результат, применяется дополнительный, менее мощный, но более специализированный алгоритм - локальный классификатор, цель которого за очень небольшое время уточнить границы, восстановить гладкость формы тканей.
Отличительной особенностью локальных классификаторов является область видимости: здесь CNN работает над полным изображением (или его ROI), а локальный классификатор принимает решение по некоторой очень небольшой локальной окрестности (например, 10×10×10 пикселей), обрабатывая таким образом последовательно весь объем ROI. Важно, что ROI может занимать больше половины всего объема исходного медицинского изображения, поэтому CNN работает над существенно большим объемом данных одновременно.
Локальный классификатор принимает решение по отнесению тканей к тому или иному органу в задаче сегментации тканей либо к нормальной ткани или типам патологии в задаче обнаружения патологий в зависимости от параметров, полученных в результате обучения на размеченных данных.
Для задач сегментации тканей удобно привлекать априорные медицинские знания. Для этого в качестве локального классификатора могут быть реализованы статистические методы как условные случайные поля (Conditional random field) или методы построения атласа взаимного расположения тканей и органов.
Для задач нахождения опухолей невозможно использовать априорные медицинские знания, например, о взаимном расположении органов и тканей в теле человека. Для этого используются избыточные данные об одном объекте, полученные несколькими разными способами. Например, может использоваться комбинация КТ и МРТ изображений, МРТ изображения различных протоколов (параметров МРТ) съемки и т.д. Здесь в качестве локальных классификаторов могут быть реализованы алгоритмы машинного обучения с привлечением ансамбля регрессий или решающих лесов [L. Breiman, «Random Forests», Machine Learning 45, 5-32 (2001)].
Карта вероятностей многоклассовой сегментации, полученная на выходе второй CNN, и карта, полученная на выходе локального классификатора, объединяются посредством взвешенного усреднения. Весовые коэффициенты могут быть выбраны эмпирически применительно к данному типу медицинского изображения или автоматически (например, с точки зрения максимизации качества сегментации на размеченных объемных изображениях).
В результате получают предварительную карту многоклассовой сегментации, которая обычно достаточно грубая (см. фиг. 3А).
На этапе 105 посредством постпроцессора осуществляют постобработку предварительной карты сегментации для ее сглаживания, устранения мелких ложных объектов, повышения визуального восприятия (см. фиг. 3В), т.е. для повышения качества результирующего изображения.
Постобработка включает в себя фильтрацию мелких объектов с помощью мажоритарной логики (все объекты объемом меньше некоторого заданного принудительно удаляются), сглаживание границ (например, с помощью низкочастотного Гауссового фильтра), подчеркивание смазанных границ (например, с помощью высокочастотного фильтра Собеля, Превитта) и т.д.
Параметры постобработки задаются в зависимости от задачи, выбираются эмпирически или автоматически с целью максимизации качества на размеченных медицинских изображениях.
Для получения окончательной карты сегментации тканей опционально может использоваться анатомическая модель взаимных расположений органов, для которых производится сегментация. Это необходимо для устранения ошибок сегментации. Например, мелкий объект размером в несколько вокселей легко может быть потерян, однако анатомическая модель привлекает знание взаимного расположения тканей и органов.
На Фиг. 4 показан пример многоклассовой сегментации некоторых органов головного мозга. Мелкие объекты легко могут быть потеряны, но знание о их взаимном расположении у человека помогут их принудительно восстановить.
Это дает возможность восстановить расположение недостающего органа/ткани в окончательной карте сегментации. На фиг.1 опциональность использования анатомической модели показана посредством выколотой (незакрашенной) точки на входе.
Стоит отметить, что при обнаружении опухолей анатомические данные не используются для уточнения изображения, т.к. патологии могут возникнуть в любом месте.
В результате выполнения описанного выше способа получают сплошную гладкую карту многоклассовой сегментации (см. фиг. 3 для визуального представления).
На фиг. 3 изображено сравнение среза предварительной (А) и окончательной (В) карт многоклассовой сегментации, причем градациями серого показаны: (белый) опухоль, (серый) эдема и (черный) здоровые ткани.
Система сегментации медицинских изображений согласно настоящему изобретению содержит запоминающее устройство для хранения исходного набора медицинских изображений и результирующего набора данных сегментированных изображений, препроцессор, каскад сверточных нейронных сетей, состоящий из двух последовательных сверточных нейронных сетей, по меньшей мере, один локальный классификатор и постпроцессор, предназначенные для осуществления вышеописанной обработки медицинских изображений для сегментации тканей/органов и/или обнаружения патологий/опухолей.
Согласно одному из аспектов изобретения предложен компьютерно-читаемый носитель информации, содержащий компьютерную программу для осуществления вышеупомянутого способа сегментации медицинских изображений при исполнении упомянутой программы процессором или компьютером.
Использование CNN в настоящем изобретении при осуществлении первичной обработки изображения позволяет получить карту вероятностей обнаружения тканей или патологий для осуществления предварительной сегментации. Грубая предварительная сегментация может быть уточнена посредством локальных классификаторов и/или постобработки. Каскад из двух CNN позволяет осуществлять поиск интересующей области посредством обработки по срезам и быструю объемную обработку в пределах ROI, что значительно повышает быстродействие и производительность алгоритма. Объединение CNN и по меньшей мере одного локального классификатора в настоящем изобретении позволяет осуществлять быстрый старт локального классификатора с использованием результатов, полученных каскадом CNN, и обеспечивает их гибкую настройку и совместимость. Такое комбинирование CNN и локального классификатора согласно настоящему изобретению позволяет получить сплошную карту сегментации с высокой точностью и хорошей визуализацией для клинического персонала.
Обе CNN обучаются методом обратного распространения ошибки на наборе заранее размеченных экспертом данных. В рамках предложенного изобретения возможно дообучение (тонкая настройка) с целью улучшения качества работы обеих CNN и локальных классификаторов в процессе работы при условии того, что эксперт выделит неточные участки результата сегментации изображения. Однако дообучение CNN занимает существенное количество времени.
Таким образом, настоящее изобретение позволяет осуществлять быструю сегментацию медицинских изображений с высокой степенью точности.
Настоящая заявка находит конкретное применение при сегментации тканей и обнаружении патологий на медицинских изображениях. Однако следует понимать, что описанный подход может также найти применение в других типах систем обработки изображений, в системах сегментации изображения и/или в медицинских применениях.
Например, данный подход может использоваться для сегментации и последующей обработки изображений, полученных с помощью фото- или видеокамеры. Также настоящее изобретение может использоваться в сложных системах идентификации личности человека посредством формирования гибридных изображений, т.е. изображений, полученных путем комбинирования цветного изображения в видимой части спектра и инфракрасного изображения. Кроме того, настоящее изобретение может применяться для формирования трехмерного изображения органов человека при 3D-печати частей органов для имплантации.
Варианты осуществления настоящего изобретения не ограничиваются описанными здесь вариантами осуществления, специалисту в области техники на основе информации, изложенной в описании, и знаний уровня техники станут очевидны и другие варианты осуществления изобретения, не выходящие за пределы сущности и объема данного изобретения.
Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.
Специалисту в области техники должно быть понятно, что сущность изобретения не ограничена конкретной программной или аппаратной реализацией, и поэтому для осуществления изобретения могут быть использованы любые программные и аппаратные средства, известные в уровне техники. Так, аппаратные средства могут быть реализованы в одной или нескольких специализированных интегральных схемах, цифровых сигнальных процессорах, устройствах цифровой обработки сигналов, программируемых логических устройствах, программируемых пользователем вентильных матрицах, процессорах, контроллерах, микроконтроллерах, микропроцессорах, электронных устройствах, других электронных модулях, выполненных с возможностью осуществлять описанные в данном документе функции, компьютер либо комбинации вышеозначенного.
Очевидно, что, когда речь идет о хранении данных, программ и т.п., подразумевается наличие компьютерно-читаемого носителя данных. Примеры компьютерно-читаемых носителей данных включают в себя постоянное запоминающее устройство, оперативное запоминающее устройство, регистр, кэш-память, полупроводниковые запоминающие устройства, магнитные носители, такие как внутренние жесткие диски и съемные диски, магнитооптические носители и оптические носители, такие как диски CD-ROM и цифровые универсальные диски (DVD), а также любые другие известные в уровне техники носители данных.
Несмотря на то что примерные варианты осуществления были описаны и показаны на сопроводительных чертежах, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать более широкое изобретение, и что данное изобретение не должно ограничиваться конкретными показанными и описанными компоновками и конструкциями, поскольку различные другие модификации могут быть очевидны специалистам в соответствующей области.
Признаки, упомянутые в различных зависимых пунктах формулы, а также варианты осуществления, раскрытые в различных частях описания, могут быть скомбинированы с достижением полезных эффектов, даже если возможность такого комбинирования не раскрыта явно.
Claims (17)
1. Способ сегментации медицинских изображений, содержащий этапы, на которых:
- осуществляют предварительную обработку набора объемных медицинских изображений исследуемой области, полученных посредством системы визуализации, посредством приведения их к единому шагу сэмплирования и одному масштабу;
- подают предварительно обработанные объемные медицинские изображения исследуемой области в первую сверточную нейронную сеть (CNN);
- посредством первой CNN обрабатывают полученные медицинские изображения исследуемой области путем сегментации по срезам вдоль одной из осей для получения карты вероятностей обнаружения тканей или патологий/опухолей, на основании которой на медицинских изображениях исследуемой области выделяют интересующую область (ROI);
- подают набор данных в пределах выделенной ROI на медицинских изображениях во вторую CNN;
- посредством второй CNN выполняют объемную сегментацию выделенной ROI для получения карты вероятностей многоклассовой сегментации, которую подают в локальный классификатор;
- посредством локального классификатора обрабатывают полученную карту вероятностей многоклассовой сегментации в пределах ROI;
- получают предварительную карту многоклассовой сегментации посредством объединения карт сегментации, полученных на выходах второй CNN и локального классификатора;
- для получения окончательной карты сегментации осуществляют постобработку предварительной карты многоклассовой сегментации путем повышения качества изображения.
2. Способ по п. 1, в котором при предварительной обработке осуществляют приведение входных объемных медицинских изображений к единому шагу сэмплирования и одному масштабу посредством интерполяции.
3. Способ по п. 1, в котором при постобработке для сегментации тканей дополнительно используют анатомическую модель для удаления ошибок сегментации.
4. Способ по п. 1, в котором карты, полученные на выходах второй CNN и локального классификатора, объединяют посредством взвешенного усреднения для получения предварительной карты многоклассовой сегментации.
5. Способ по п. 1, в котором постобработка включает в себя, по меньшей мере, одно из следующего: фильтрация мелких объектов, сглаживание границ, подчеркивание смазанных границ.
6. Способ по п. 1, причем система визуализации представляет собой систему на основании, по меньшей мере, одной из следующих технологий визуализации: компьютерная томография (КТ), магнитно-резонансная томография (МРТ), ультразвуковое исследование (УЗИ), позитронно-эмиссионная томография (ПЭТ) или их комбинации.
7. Способ по п. 1, в котором ROI на медицинских изображениях исследуемой области выделяют посредством порогового отсечения.
8. Система сегментации медицинских изображений, выполненная с возможностью осуществления способа сегментации медицинских изображений по любому из пп. 1-7, причем система содержит запоминающее устройство, выполненное с возможностью хранения исходного набора медицинских изображений и результирующего набора данных сегментированных изображений, препроцессор, каскад CNN, состоящий из двух последовательных сверточных нейронных сетей, по меньшей мере, один локальный классификатор и постпроцессор.
9. Компьютерно-читаемый носитель информации, содержащий компьютерную программу для осуществления способа сегментации медицинских изображений по любому из пп. 1-7 при исполнении упомянутой программы процессором или компьютером.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2017125733A RU2654199C1 (ru) | 2017-07-18 | 2017-07-18 | Сегментация тканей человека на компьютерном изображении |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2017125733A RU2654199C1 (ru) | 2017-07-18 | 2017-07-18 | Сегментация тканей человека на компьютерном изображении |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2654199C1 true RU2654199C1 (ru) | 2018-05-16 |
Family
ID=62152810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2017125733A RU2654199C1 (ru) | 2017-07-18 | 2017-07-18 | Сегментация тканей человека на компьютерном изображении |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2654199C1 (ru) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476794A (zh) * | 2019-01-24 | 2020-07-31 | 武汉兰丁医学高科技有限公司 | 一种基于unet的宫颈病理组织分割方法 |
| CN111826262A (zh) * | 2019-04-18 | 2020-10-27 | 深圳先进技术研究院 | 生物3d打印系统与方法 |
| CN112001925A (zh) * | 2020-06-24 | 2020-11-27 | 上海联影医疗科技股份有限公司 | 图像的分割方法、放射治疗系统、计算机设备和存储介质 |
| EP3771405A1 (en) * | 2019-08-02 | 2021-02-03 | Smart Soft Ltd. | Method and system for automated dynamic medical image acquisition |
| CN113763314A (zh) * | 2020-06-03 | 2021-12-07 | 通用电气精准医疗有限责任公司 | 使用深度降低卷积神经网络进行图像分割和分类的系统和方法 |
| RU2765619C1 (ru) * | 2018-07-24 | 2022-02-01 | Дайсис Медикал Лимитед | Компьютерная классификация биологической ткани |
| CN114073536A (zh) * | 2020-08-12 | 2022-02-22 | 通用电气精准医疗有限责任公司 | 灌注成像系统及方法 |
| RU2775808C2 (ru) * | 2018-08-22 | 2022-07-11 | Флорент Текнолоджиз, ЭлЭлСи | Нейронные сетевые системы и компьютерно-реализуемые способы идентификации и/или оценки одного или более пищевых изделий в визуальной входной информации |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070160277A1 (en) * | 2006-01-12 | 2007-07-12 | Siemens Corporate Research, Inc. | System and Method For Segmentation of Anatomical Structures In MRI Volumes Using Graph Cuts |
| US20120093381A1 (en) * | 2010-06-25 | 2012-04-19 | Institute Of Automation, Chinese Academy Of Sciences | Method and system for brain tumor segmentation in multi-parameter 3d mr images via robust statistic information propagation |
| RU2527211C2 (ru) * | 2009-06-08 | 2014-08-27 | Конинклейке Филипс Электроникс Н.В. | Реконструкция времяпролетной позитронно-эмиссионной томографии с помощью содержания изображения, формируемого поэтапно на основе времяпролетной информации |
| RU2529381C2 (ru) * | 2008-08-15 | 2014-09-27 | Конинклейке Филипс Электроникс Н.В. | Формирование модели усовершенствованного изображения |
-
2017
- 2017-07-18 RU RU2017125733A patent/RU2654199C1/ru active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070160277A1 (en) * | 2006-01-12 | 2007-07-12 | Siemens Corporate Research, Inc. | System and Method For Segmentation of Anatomical Structures In MRI Volumes Using Graph Cuts |
| RU2529381C2 (ru) * | 2008-08-15 | 2014-09-27 | Конинклейке Филипс Электроникс Н.В. | Формирование модели усовершенствованного изображения |
| RU2527211C2 (ru) * | 2009-06-08 | 2014-08-27 | Конинклейке Филипс Электроникс Н.В. | Реконструкция времяпролетной позитронно-эмиссионной томографии с помощью содержания изображения, формируемого поэтапно на основе времяпролетной информации |
| US20120093381A1 (en) * | 2010-06-25 | 2012-04-19 | Institute Of Automation, Chinese Academy Of Sciences | Method and system for brain tumor segmentation in multi-parameter 3d mr images via robust statistic information propagation |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11562820B2 (en) | 2018-07-24 | 2023-01-24 | Dysis Medical Limited | Computer classification of biological tissue |
| US12002573B2 (en) | 2018-07-24 | 2024-06-04 | Dysis Medical Limited | Computer classification of biological tissue |
| RU2765619C1 (ru) * | 2018-07-24 | 2022-02-01 | Дайсис Медикал Лимитед | Компьютерная классификация биологической ткани |
| RU2775808C2 (ru) * | 2018-08-22 | 2022-07-11 | Флорент Текнолоджиз, ЭлЭлСи | Нейронные сетевые системы и компьютерно-реализуемые способы идентификации и/или оценки одного или более пищевых изделий в визуальной входной информации |
| RU2775808C9 (ru) * | 2018-08-22 | 2022-09-27 | Флорент Текнолоджиз, ЭлЭлСи | Нейронные сетевые системы и компьютерно-реализуемые способы идентификации и/или оценки одного или более пищевых изделий в визуальной входной информации |
| CN111476794A (zh) * | 2019-01-24 | 2020-07-31 | 武汉兰丁医学高科技有限公司 | 一种基于unet的宫颈病理组织分割方法 |
| CN111476794B (zh) * | 2019-01-24 | 2023-10-20 | 武汉兰丁智能医学股份有限公司 | 一种基于unet的宫颈病理组织分割方法 |
| CN111826262A (zh) * | 2019-04-18 | 2020-10-27 | 深圳先进技术研究院 | 生物3d打印系统与方法 |
| CN111826262B (zh) * | 2019-04-18 | 2023-06-20 | 深圳先进技术研究院 | 生物3d打印系统与方法 |
| EP3771405A1 (en) * | 2019-08-02 | 2021-02-03 | Smart Soft Ltd. | Method and system for automated dynamic medical image acquisition |
| CN113763314A (zh) * | 2020-06-03 | 2021-12-07 | 通用电气精准医疗有限责任公司 | 使用深度降低卷积神经网络进行图像分割和分类的系统和方法 |
| CN112001925B (zh) * | 2020-06-24 | 2023-02-28 | 上海联影医疗科技股份有限公司 | 图像的分割方法、放射治疗系统、计算机设备和存储介质 |
| CN112001925A (zh) * | 2020-06-24 | 2020-11-27 | 上海联影医疗科技股份有限公司 | 图像的分割方法、放射治疗系统、计算机设备和存储介质 |
| CN114073536A (zh) * | 2020-08-12 | 2022-02-22 | 通用电气精准医疗有限责任公司 | 灌注成像系统及方法 |
| RU2797717C1 (ru) * | 2022-06-29 | 2023-06-08 | Автономная некоммерческая организация высшего образования "Университет Иннополис" | Способ контроля и измерений образцов с помощью оптических средств |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2654199C1 (ru) | Сегментация тканей человека на компьютерном изображении | |
| Khalifa et al. | 3D Kidney Segmentation from Abdominal Images Using Spatial‐Appearance Models | |
| Ghose et al. | A survey of prostate segmentation methodologies in ultrasound, magnetic resonance and computed tomography images | |
| CN106340021B (zh) | 血管提取方法 | |
| Huang et al. | Learning-based vertebra detection and iterative normalized-cut segmentation for spinal MRI | |
| Kuang et al. | Segmenting hemorrhagic and ischemic infarct simultaneously from follow-up non-contrast CT images in patients with acute ischemic stroke | |
| CN105809175B (zh) | 一种基于支持向量机算法的脑水肿分割方法及系统 | |
| Shimizu et al. | Ensemble segmentation using AdaBoost with application to liver lesion extraction from a CT volume | |
| KR20230059799A (ko) | 병변 검출을 위해 공동 훈련을 이용하는 연결형 머신 러닝 모델 | |
| Alzahrani et al. | Biomedical image segmentation: a survey | |
| Song et al. | Kidney segmentation in CT sequences using SKFCM and improved GrowCut algorithm | |
| Pedoia et al. | Glial brain tumor detection by using symmetry analysis | |
| Skeika et al. | Convolutional neural network to detect and measure fetal skull circumference in ultrasound imaging | |
| US20220237801A1 (en) | System, method, and computer-accessible medium for generating multi-class models from single-class datasets | |
| Wu et al. | Automatical segmentation of pelvic organs after hysterectomy by using dilated convolution u-net++ | |
| Jiang et al. | Segmentation of prostate ultrasound images: the state of the art and the future directions of segmentation algorithms | |
| Jalab et al. | Fractional Renyi entropy image enhancement for deep segmentation of kidney MRI | |
| Carmo et al. | Extended 2D consensus hippocampus segmentation | |
| Delmoral et al. | Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study | |
| Mithuna et al. | A quantitative approach for determining lung cancer using CT scan images | |
| CN112862786B (zh) | Cta影像数据处理方法、装置及存储介质 | |
| CN112862785B (zh) | Cta影像数据识别方法、装置及存储介质 | |
| Fallahi et al. | Uterine fibroid segmentation on multiplan MRI using FCM, MPFCM and morphological operations | |
| Thiruvenkadam et al. | Fully automatic brain tumor extraction and tissue segmentation from multimodal MRI brain images | |
| Carmo et al. | Extended 2d volumetric consensus hippocampus segmentation |