RU2803978C2 - Процесс автоматической сегментации трехмерного медицинского изображения с помощью нескольких нейронных сетей посредством структурированной свертки в соответствии с геометрией трехмерного медицинского изображения - Google Patents
Процесс автоматической сегментации трехмерного медицинского изображения с помощью нескольких нейронных сетей посредством структурированной свертки в соответствии с геометрией трехмерного медицинского изображения Download PDFInfo
- Publication number
- RU2803978C2 RU2803978C2 RU2020126037A RU2020126037A RU2803978C2 RU 2803978 C2 RU2803978 C2 RU 2803978C2 RU 2020126037 A RU2020126037 A RU 2020126037A RU 2020126037 A RU2020126037 A RU 2020126037A RU 2803978 C2 RU2803978 C2 RU 2803978C2
- Authority
- RU
- Russia
- Prior art keywords
- dimensional
- image
- cnn
- cnns
- different
- Prior art date
Links
Abstract
Настоящее техническое решение относится к области вычислительной техники. Технический результат заключается в повышении точности сегментации трехмерного медицинского изображения. Технический результат достигается за счёт автоматической сегментации элементов, таких как анатомические и патологические структуры или аппараты, которые видны на трехмерном медицинском изображении объекта, состоящего из вокселей. Упомянутый способ отличается тем, что он заключается в предоставлении общего программного средства или устройства, объединяющего N разных сверточных нейронных сетей или CNN при количестве сетей N≥2, и имеющего структурированную геометрию или архитектуру, адаптированную под и сопоставимую с таковой объема изображения, и в анализе вокселей, формирующих упомянутый объем трехмерного изображения в N отличающихся осях или плоскостях реконструкции, причем каждая CNN выделена для анализа вокселей, принадлежащих одной оси или плоскости. 6 н. и 10 з.п. ф-лы, 8 ил.
Description
Настоящее изобретение относится к области обработки данных, более конкретно к обработке и анализу изображений, в частности к сегментации медицинских изображений, и касается процесса автоматической сегментации трехмерного медицинского изображения с помощью одной или нескольких нейронных сетей посредством структурированной свертки в соответствии с геометрией или структурой трехмерного медицинского изображения.
Трехмерное изображение, полученное с помощью медицинского устройства формирования изображений, такое как изображение со сканера, магнитно-резонансного томографа, ультразвукового устройства, компьютерного томографа или изображения специального типа, состоит из набора вокселей, которые являются основными единицами трехмерного изображения. Воксель – это трехмерное расширение пикселя, который является базовой единицей двумерного изображения. Каждый воксель ассоциирован с уровнем или плотностью серого, что можно рассматривать как результат двумерной функции F(x, y) или трехмерной функции F(x, y, z), где x, y и z обозначают пространственные координаты (см. фиг. 1).
На трехмерных изображениях воксели можно видеть в двумерной проекции согласно различным осям или плоскостям. Три основные оси или плоскости на медицинских изображениях – это осевая, сагиттальная и фронтальная (фиг. 2). Однако можно создать неограниченное количество осей или плоскостей под различными углами.
Как правило, двумерное или трехмерное медицинское изображение содержит набор анатомических и патологических структур (органов, костей, тканей ...) или искусственных элементов (стентов, имплантатов, аппаратов ...), которые клиницисты должны выделять для оценки ситуации и определения и планирования своей терапевтической стратегии. В этом отношении, на изображении должны быть идентифицированы органы и патологии, что означает маркировку (например, окрашивание) каждого пикселя двумерного изображения или каждого вокселя трехмерного изображения. Этот процесс называется сегментацией.
На фиг. 3 в качестве примера показаны этапы сегментации трехмерного медицинского изображения на примере поперечного среза
Существует много известных способов осуществления сегментации, в частности, автоматических способов, использующих алгоритмы, в частности, алгоритмы искусственного интеллекта.
В этом контексте в известном уровне техники используются многочисленные варианты нейронных сетей, все из которых основаны на стандартных неспецифических архитектурах, что в целом приводит к пустой трате неадекватных ресурсов и недостаточной эффективности и точности.
Основной задачей настоящего изобретения является предложение нового способа и новой системы, способных преодолеть вышеупомянутые ограничения.
Поэтому настоящее изобретение относится к способу автоматической сегментации элементов, таких как анатомические и патологические структуры или аппараты, которые видны на трехмерном медицинском изображении объекта, состоящем из вокселей, при этом упомянутый способ отличается тем, что он предусматривает предоставление общего программного средства или устройства, объединяющего N разных сверточных нейронных сетей или CNN с количеством сетей N≥2, и имеющего структурированную геометрию или архитектуру, адаптированную под и сопоставимую с таковой объема изображения,
и анализ вокселей, формирующих упомянутый объем трехмерного изображения, в соответствии с N отличающимися осями или плоскостями реконструкции, причем каждая CNN выделяется для анализа вокселей, принадлежащих одной оси или плоскости.
Изобретение будет более понятно из приведенного ниже описания, которое относится к нескольким предпочтительным вариантам осуществления, приведенным в качестве неограничивающих примеров и рассмотренным со ссылкой на прилагаемые к описанию чертежи, на которых показано:
на фиг. 4 – схематическое и символическое представление уникального общего алгоритма CNN, объединяющего отличающиеся оси или плоскости анализа трехмерного изображения, в первом варианте осуществления изобретения, причем для каждой оси или плоскости выделяется конкретная CNN;
на фиг. 5 – схематическое и символическое представление другого варианта осуществления изобретения, демонстрирующее однопоточную или последовательную конфигурацию CNN;
на фиг. 6 – схематическое и символическое представление другого варианта осуществления изобретения, демонстрирующее параллельную конфигурацию CNN, и,
на фиг. 7 и 8 – схематические и символические представления других вариантов осуществления изобретения с параллельными конфигурациями CNN.
На прилагаемых фиг. 4-8 проиллюстрирован способ автоматической сегментации элементов, таких как анатомические и патологические структуры или аппараты, которые видны на трехмерном медицинском изображении объекта, состоящем из вокселей.
Согласно изобретению, упомянутый способ предусматривает предоставление общего программного средства или устройства, объединяющего N разных сверточных нейронных сетей или CNN с количеством сетей N≥2 и имеющего структурированную геометрию или архитектуру, адаптированную под и сопоставимую с таковой объема изображения, и анализ вокселей, формирующих упомянутый объем трехмерного изображения в соответствии с N отличающимися осями или плоскостями реконструкции, причем каждая CNN выделяется для анализа вокселей, принадлежащих одной оси или плоскости.
Таким образом, изобретение обеспечивает структурированную организацию и скоординированную совместную работу множества CNN, учитывающую саму геометрию, структурирование и содержание медицинского изображения.
Такая конкретная составная вычислительная система (возможно, сгруппированная в единую структуру), которая объединяет N разных CNN (при количестве сетей N≥2, предпочтительно N≥3) в соответствии с N отличающимися осями или плоскостями реконструкции объема трехмерного изображения, позволяет распространить использование известных CNN, рассчитанных на анализ и сегментацию двумерных изображений, на анализ и сегментацию трехмерных изображений.
Как правило, известный алгоритм CNN, который может использоваться в предлагаемых в настоящем изобретении способе и системе, представляет собой "U-Net" (см., например: "U-Net: сверточные сети для биомедицинской сегментации изображения" ("U-Net: Convolutional Networks for Biomedical Image Segmentation", О. Ronneberger et al; MICCAI 2015, Part III, LNCS 3951, рp. 234-241, Springer IPS")).
"U-Net" может быть реализована в сочетании с другими известными архитектурами, такими как "ResNef" или "DenseNet".
Преимущественно, предлагаемый в настоящем изобретении способ может предусматривать, как также показано на фиг. 4-8, для каждой из N плоскостей реконструкции трехмерного изображения, анализ и сегментирование двумерного изображения, сформированного вокселями данной плоскости, с помощью выделенной CNNi. из N предоставленных CNN, причем упомянутые CNN структурированы аналогично объему трехмерного изображения, и объединение промежуточных или конечных результатов упомянутых N анализов, выполненных упомянутыми разными CNN.
Сегментируя объем трехмерного изображения для целей анализа, и объединяя (комбинируя) результаты этих парциальных анализов в единую сегментацию трехмерного изображения, изобретение позволяет реализовать сложные процедуры сегментации с задействованием ограниченных ресурсов и быстро получать точные и в некотором роде перекрестные результаты.
Комбинация или слияние результатов N анализов и сегментаций может осуществляться:
- путем объединения для каждого вокселя промежуточных активаций N сетей (см. фиг. 4 – так называемое "комбинирование признаков"). Полученная в результате объединенная информация затем принимается в качестве входных данных общей CNN, которая обеспечивает окончательную сегментацию изображения;
- путем объединения выходной информации из N разных CNN (см. фиг. 7 и 8 – позднее слияние или объединение), например, путем (взвешенного) суммирования классификаторов, умножения или другой адаптированной операции объединения расчетных данных, известной специалисту в данной области техники.
Согласно первому варианту осуществления изобретения, показанному на фиг. 4, способ может заключаться в предоставлении единой нейронной сети, объединяющей в своей структуре N разных CNN, преимущественно работающих параллельно, которые автоматически сегментируют анатомические и патологические структуры или аппараты, которые можно видеть на трехмерном медицинском изображении, в которой каждая CNN анализирует все воксели, формирующие объем упомянутого трехмерного изображения в отличающейся плоскости или оси реконструкции, и в которой результаты различных двумерных анализов и сегментаций объединяются посредством свертки в последних структурах упомянутого нейронной сети со структурированной геометрией.
В таком случае сама внутренняя структура сформированной единой мета-CNN объединяет анализ трехмерных изображений по осям, а также объединение информации, полученной в результате различных двумерных анализов и сегментаций.
Конечно, такая множественная параллельная двумерная обработка с объединением результатов этих обработок может также осуществляться при параллельным расположении N независимых CNN, не интегрированных в единую структуру (фиг. 6).
Согласно второму альтернативному варианту осуществления изобретения, показанному на фиг. 5, способ также может заключаться в выполнении N последовательных операций или этапов обработки изображения, при этом каждый этап выполняется CNN, которая автоматически сегментирует анатомические и патологические структуры или аппараты, которые могут быть видны на трехмерном медицинском изображении, причем каждая CNNi из упомянутых CNN анализирует все воксели, формирующие объем трехмерного изображения в конкретной плоскости реконструкции для каждой из N разных CNN, и использует результаты, предоставленные предшествующей сетью CNNi-1 в последовательности, если она имеется.
В этом случае двумерная схема последовательной обработки CNN интегрируется в общую архитектуру алгоритмического каркаса или в структурированную геометрию компоновки CNN, при этом окончательное объединение информации последовательности, таким образом, по существу, интегрируется в структуру упомянутого каркаса или компоновки.
В отношении предпочтительного варианта осуществления изобретения, показанного на фиг. 6-8, способ сегментации в основном состоит из комбинировании двух последовательных рабочих этапов, причем первый этап заключается в выполнении N сегментаций, при этом каждая сегментация выполняется в одной из N отличающихся осей или плоскостей реконструкции, а второй этап заключается в объединении результатов этих N сегментаций в одну сегментацию анатомических и патологических структур или аппаратов, которые можно видеть на трехмерном медицинском изображении.
Преимущественно, первый рабочий этап выполняется N разными CNN, работающими параллельно или последовательно, причем каждая из этих CNN автоматически сегментирует, независимо от других, анатомические и патологические структуры или аппараты, которые можно видеть на трехмерном медицинском изображении, при этом каждая CNN анализирует все воксели, формирующие объем трехмерного изображения в отличающейся плоскости реконструкции для каждой из N разных CNN.
Согласно первому альтернативному варианту осуществления изобретения, показанному на фиг. 7, второй рабочий этап, который посвящен объединению результатов N сегментаций первого этапа в единую сегментацию анатомических и патологических структур или приборов, которые можно видеть на трехмерном медицинском изображении, выполняется путем присвоения каждому вокселю объема изображения метки, соответствующей комбинации N меток, присвоенных этому же вокселю в процессе N сегментаций первого этапа.
Согласно второму варианту осуществления изобретения, показанному на фиг. 8, второй рабочий этап, посвященный объединению результатов N сегментаций первого этапа в единую сегментацию анатомических и патологических структур или аппаратов, которые можно видеть на трехмерном медицинском изображении, выполняется путем присвоения каждому вокселю объема изображения метки, соответствующей комбинации N меток, присвоенных этому же вокселю и соседнему с ним вокселю (ям) во время N сегментаций первого этапа.
В объеме трехмерного изображения воксели, соседние с данным вокселем, могут относиться к трем различным группам вокселей, а именно (как показано на фиг. 8):
- к группе из 6 вокселей, которые находятся в контакте грань к грани с соответствующим вокселем;
- к группе из 18 вокселей, которые находятся в контакте грань к грани или ребро к ребру с соответствующим вокселем;
- к группе из 26 вокселей, которые включают в себя вышеупомянутую группу из 18 вокселей и 8 дополнительных вокселей, которые находятся в единственном точечном контакте с вершинами соответствующих вокселей.
Как показано на фиг. 4-8, N плоскостей реконструкции (используемых при реализации предлагаемого в настоящем изобретении способа) предпочтительно включают в себя сагиттальную плоскость 2 и фронтальную или корональную плоскость 3, а также по меньшей мере еще одну плоскость, перпендикулярную поперечной или осевой плоскости 1, включающей в себя линию пересечения сагиттальной и корональной плоскостей и имеющей угловое смещение вокруг упомянутой линии в направлении этих плоскостей.
В дополнение к вышеизложенному или в качестве альтернативы ему, N плоскостей реконструкции также могут включать в себя:
- плоскости, которые параллельны сагиттальной плоскости 2 или корональной плоскости 3, и/или,
- несколько взаимно параллельных осевых плоскостей 1.
Настоящее изобретение также относится, как символически показано на фиг. 4-8, к системе выполнения описанного выше способа автоматической сегментации.
Упомянутая система отличается тем, что содержит по меньшей мере одно компьютерное устройство, размещенное в структурированной компоновке и позволяющее согласованно работать в последовательной или параллельной организации N разным сверточным нейронным сетям (CNNi) с количеством сетей N≥2, причем каждая CNN адаптирована под и сконфигурирована для автоматического и независимого от других CNN выполнения сегментации анатомических и патологических структур или аппаратов, которые можно видеть на обрабатываемом трехмерном медицинском изображении, путем анализа вокселей, образующих упомянутый объем трехмерного изображения, в N отличающихся осях или плоскостях реконструкции, причем каждая CNN выделяется для анализа вокселей, принадлежащих одной оси или плоскости реконструкции.
В предпочтительном варианте осуществления, упомянутая система также содержит средство объединения и, возможно, отображения результатов анализов и сегментаций, выполненных упомянутыми N разными CNN.
Согласно первой альтернативе, N разных CNN могут располагаться в последовательной архитектуре таким образом, что каждая CNNi из упомянутых N разных CNN анализирует все воксели, формирующие объем трехмерного изображения в конкретной плоскости реконструкции для каждой из N разных CNN, и использует результаты, предоставленные предшествующей сетью CNNi-1, если она имеется (фиг. 5).
В соответствии со вторым альтернативным вариантом осуществления, N разных CNN могут располагаться в параллельной архитектуре, возможно, в едином алгоритмическом каркасе, при этом результаты упомянутых N разных CNN объединяются на заключительном этапе (фиг. 4, 6 и 8).
Конечно, изобретение не ограничивается по меньшей мере одним упомянутым вариантом осуществления, описанным и проиллюстрированным прилагаемыми чертежами. Возможны модификации, особенно с точки зрения состава различных элементов или замены на технические эквиваленты, не выходящие за рамки объема защиты изобретения.
Claims (51)
1. Способ автоматической сегментации элементов, таких как анатомические и патологические структуры или аппараты, которые видны на состоящем из вокселей трехмерном медицинском изображении субъекта, полученном с помощью компьютерного томографа, магнитно-резонансного томографа или ультразвукового устройства,
при этом способ содержит следующие этапы:
предоставление глобального программного средства или устройства, объединяющего N различных сверточных нейронных сетей из множества сверточных нейронных сетей (CNN), при количестве сетей N≥3,
анализ вокселей, формирующих упомянутый объем трехмерного изображения в соответствии с N отличающимися плоскостями реконструкции, причем указанное глобальное программное обеспечение показывает структурированную геометрию или архитектуры своих CNN, которые адаптированы и сопоставимы с объемом трехмерного изображения, и каждая из этих CNN выделяется для анализа вокселей, принадлежащих одной соответствующей плоскости реконструкции среди указанных N плоскостей реконструкции, и
дополнительно содержит комбинацию двух последовательных рабочих этапов:
выполнение N процедур сегментаций, причем каждая сегментация выполняется в одной из N отличающихся плоскостей реконструкции путем анализа и сегментирования двумерных медицинских изображений, сформированных всеми вокселями трехмерного изображения, принадлежащими соответственно одной из N плоскостей реконструкции и формирующих пиксели двумерных медицинских изображений, с помощью соответствующих выделенных CNNᵢ из N имеющихся CNN, чтобы достичь для всех N двумерных медицинских изображений сегментации анатомических и патологических структур или аппаратов, которые можно соответственно увидеть в каждом из указанных N двумерных медицинских изображений, и
объединение конечных результатов упомянутых N взаимно независимых двумерных сегментаций в единую трехмерную сегментацию анатомических и патологических структур или аппаратов, которые можно видеть на трехмерном медицинском изображении.
2. Способ автоматической сегментации по п. 1, отличающийся тем, что он заключается в предоставлении единой нейронной сети, объединяющей в своей структуре N различных CNN, работающих параллельно, которые автоматически сегментируют анатомические и патологические структуры или аппараты, которые можно видеть на трехмерном медицинском изображении, тем, что каждая CNN анализирует все воксели, формирующие объем упомянутого трехмерного изображения в отличающейся плоскости реконструкции, и тем, что результаты различных двумерных анализов и сегментаций объединяются посредством свертки в последних структурах упомянутой нейронной сети со структурированной геометрией.
3. Способ автоматической сегментации по п. 1, отличающийся тем, что он заключается в выполнения N последовательных рабочих этапов или этапов обработки изображения, при этом каждый этап выполняется посредством CNN, которая автоматически сегментирует анатомические и патологические структуры или аппараты, которые можно видеть на трехмерном медицинском изображении, причем каждая CNNi из упомянутых CNN анализирует все воксели, формирующие объем трехмерного изображения в конкретной плоскости реконструкции для каждой из N различных CNN, и с использованием результатов, предоставленных предшествующей сетью CNNi-1 последовательности, если она имеется.
4. Способ автоматической сегментации по п. 1, отличающийся тем, что первый рабочий этап выполняют N различных CNN, работающих параллельно или последовательно, причем каждая из этих CNN автоматически сегментирует, независимо от других сетей, анатомические и патологические структуры или аппараты, которые можно видеть на трехмерном медицинском изображении, при этом каждая CNN анализирует все воксели, формирующие объем трехмерного изображения в отличающейся плоскости реконструкции для каждой из N различных CNN.
5. Способ автоматической сегментации по п. 1 или 4, отличающийся тем, что на втором рабочем этапе, который посвящен объединению результатов N сегментаций первого этапа в единую сегментацию анатомических и патологических структур или аппаратов, которые можно видеть на трехмерном медицинском изображении, каждому вокселю объема изображения присваивают метку, соответствующую комбинации из N меток, присвоенных этому же вокселю в процессе N сегментаций первого этапа.
6. Способ автоматической сегментации по п. 1 или 4, отличающийся тем, что второй рабочий этап, посвященный объединению результатов N сегментаций первого этапа в единую сегментацию анатомических и патологических структур или аппаратов, которые можно видеть на медицинском трехмерном изображении, выполняют путем присвоения каждому вокселю объема изображения метки, соответствующей комбинации из N меток, присвоенных этому же вокселю и соседнему с ним вокселю(ям) в ходе N сегментаций первого этапа.
7. Способ автоматической сегментации по любому из пп. 1-6, отличающийся тем, что N плоскостей включают в себя сагиттальную плоскость и фронтальную или корональную плоскость, а также по меньшей мере еще одну плоскость, перпендикулярную поперечной или осевой плоскости, содержащую линию пересечения сагиттальной и корональной плоскостей и смещенную по углу вокруг упомянутый линии в направлении этих плоскостей.
8. Способ автоматической сегментации по любому из пп. 1-6, отличающийся тем, что используемые N плоскостей реконструкции представляют собой плоскости, которые параллельны сагиттальной плоскости или корональной плоскости.
9. Способ автоматической сегментации по любому из пп. 1-6, отличающийся тем, что используемые N плоскостей реконструкции включают в себя несколько взаимно параллельных осевых плоскостей.
10. Система для выполнения способа автоматической сегментации по любому из пп. 1-9, отличающаяся тем, что она содержит по меньшей мере одно компьютерное устройство, обеспечивающее скоординированную работу в последовательной или параллельной организации N различных сверточных нейронных сетей (CNNi) с количеством сетей N≥3, причем каждая CNNi адаптирована под и сконфигурирована для автоматического и независимого от других CNN выполнения сегментации анатомических и патологических структур или аппаратов, которые можно видеть на обрабатываемом трехмерном медицинском изображении, путем анализа вокселей, формирующих упомянутый объем трехмерного изображения в N отличающихся плоскостях реконструкции, а именно, путем выполнения N сегментаций, причем каждая сегментация выполняется в одной из N отличающихся плоскостей реконструкции путем анализа и сегментирования двумерных медицинских изображений, сформированных всеми вокселями, принадлежащими каждой из упомянутых заданных плоскостей и формирующими пиксели упомянутых двумерных медицинских изображений, с помощью соответствующих выделенных CNNᵢ из имеющихся CNN, причем каждая CNNᵢ, таким образом, выделена для анализа вокселей, принадлежащих одной плоскости, и при этом упомянутая система также содержит средство объединения и, возможно, отображения результатов анализов и двумерных сегментаций, выполненных упомянутыми N различных CNNi.
11. Система по п. 10, отличающаяся тем, что N различных CNN расположены в последовательной архитектуре таким образом, что каждая CNNi из упомянутых N различных CNN анализирует все воксели, формирующие объем трехмерного изображения в конкретной плоскости реконструкции для каждой из N различных CNN, и использует результаты, предоставленные предшествующей сетью CNNi-1, если она имеется.
12. Система по п. 10, отличающаяся тем, что N различных CNN расположены в параллельной архитектуре, возможно, в едином алгоритмической каркасе, причем результаты упомянутых N различных CNN объединяются на заключительном этапе.
13. Способ автоматической сегментации элементов, таких как анатомические и патологические структуры или аппараты, которые видны на состоящем из вокселей трехмерном медицинском изображении субъекта, полученном с помощью компьютерного томографа, магнитно-резонансного томографа или ультразвукового устройства,
при этом способ содержит следующие этапы:
предоставление глобального программного средства или устройства, объединяющего N различных сверточных нейронных сетей (CNN), при количестве сетей N≥3,
анализ вокселей, формирующих упомянутый объем трехмерного изображения в соответствии с N отличающимися плоскостями реконструкции, причем указанное глобальное программное обеспечение показывает структурированную геометрию или архитектуру своих CNN, которые адаптированы и сопоставимы с объемом трехмерного изображения, и каждая из этих CNN выделяется для анализа вокселей, принадлежащих одной соответствующей плоскости реконструкции среди указанных N плоскостей реконструкции, и
дополнительно содержит комбинацию двух последовательных рабочих этапов:
выполнение N процедур сегментаций, причем каждая сегментация выполняется в одной из N отличающихся плоскостей реконструкции путем анализа и сегментирования двумерных медицинских изображений, сформированных всеми вокселями трехмерного изображения, принадлежащими соответственно одной из N плоскостей реконструкции и формирующих пиксели двумерных медицинских изображений, с помощью соответствующих выделенных CNNᵢ из N имеющихся CNN, чтобы достичь для всех N двумерных медицинских изображений сегментации анатомических и патологических структур или аппаратов, которые можно соответственно увидеть в каждом из указанных N двумерных медицинских изображений, и
объединение конечных результатов упомянутых N взаимно независимых двумерных сегментаций в единую трехмерную сегментацию анатомических и патологических структур или аппаратов, которые можно видеть на трехмерном медицинском изображении, в котором
указанный способ включает предоставление единой нейронной сети, объединяющей в своей структуре N различных CNN с N>3, работающих параллельно, которые автоматически сегментируют анатомические и патологические структуры или аппараты, которые можно увидеть на трехмерном медицинском изображении, при этом каждая CNN анализирует все воксели, формирующие объем упомянутого трехмерного изображения в отличающейся плоскости реконструкции, и результаты различных двумерных анализов и сегментаций объединяются посредством свертки в последних структурах упомянутой нейронной сети со структурированной геометрией, и
в котором второй рабочий этап, заключающийся в объединении результатов N взаимно независимых двумерных сегментаций первого этапа в единую трехмерную сегментацию анатомических и патологических структур или аппаратов, которые можно видеть на трехмерном медицинском изображении, выполняется путем присвоения каждому вокселю объема изображения метки, соответствующей комбинации из N меток, присвоенных этому же вокселю и соседнему с ним вокселю(ям) в ходе N сегментаций первого этапа.
14. Способ автоматической сегментации элементов, таких как анатомические и патологические структуры или аппараты, которые видны на состоящем из вокселей трехмерном медицинском изображении субъекта, при этом способ содержит следующие этапы:
предоставление глобального программного средства или устройства, объединяющего N различных сверточных нейронных сетей или множества сверточных нейронных сетей (CNN), при количестве сетей N≥3, и имеющего структурированную геометрию или архитектуру, адаптированную под и сопоставимую с таковой объема изображения,
анализ вокселей, формирующих упомянутый объем трехмерного изображения в соответствии с N отличающимися осями или плоскостями реконструкции, причем каждая CNN выделяется для анализа вокселей, принадлежащих одной оси или плоскости реконструкции,
в котором для каждой из указанных N плоскостей реконструкции трехмерного изображения он дополнительно состоит в анализе и сегментирования двумерных изображений, сформированных вокселями данной плоскости, с помощью выделенных CNNᵢ из N имеющихся CNN, при N≥3, при этом указанные CNN структурированы аналогично объему трехмерного изображения и объединяют промежуточные или конечные результаты указанных N анализов, выполненных указанными различными CNN, и
в котором указанный способ дополнительно включает выполнение N последовательных рабочих этапов или этапов обработки изображения, при этом каждый этап выполняется посредством CNN, которая автоматически сегментирует анатомические и патологические структуры или аппараты, которые можно видеть на трехмерном медицинском изображении, причем каждая CNNi из упомянутых CNN анализирует все воксели, формирующие объем трехмерного изображения в конкретной плоскости реконструкции для каждой из N различных CNN, и с использованием результатов, предоставленных предшествующей сетью CNNi-1 последовательности, если она имеется.
15. Способ автоматической сегментации элементов, таких как анатомические и патологические структуры или аппараты, которые видны на состоящем из вокселей трехмерном медицинском изображении, полученном с помощью компьютерного томографа, магнитно-резонансного томографа или ультразвукового устройства, при этом способ заключается
в предоставление глобального программного средства или устройства, объединяющего N различных сверточных нейронных сетей или сверточных нейронных сетей (CNN), при количестве сетей N≥2,
в анализе вокселей, формирующих упомянутый объем трехмерного изображения в соответствии с N отличающимися плоскостями реконструкции, при этом
способ состоит из комбинации двух последовательных рабочих этапов:
первого этапа, заключающегося в выполнении N сегментаций, причем каждая сегментация выполняется в одной из N отличающихся плоскостей реконструкции путем анализа и сегментирования двумерных медицинских изображений, сформированных всеми вокселями, принадлежащими каждой из заданных плоскостей и формирующих пиксели двумерных медицинских изображений, с помощью соответствующих выделенных CNNᵢ из N имеющихся CNN, и
второго этапа, заключающегося в объединении конечных результатов упомянутых N взаимно независимых двумерных сегментаций в единую трехмерную сегментацию анатомических и патологических структур или аппаратов, которые можно видеть на трехмерном медицинском изображении, отличающийся
тем, что N≥3, предпочтительно N>3,
тем, что указанное трехмерное медицинское изображение представляет собой изображение субъекта, на котором виден набор различных анатомических и патологических структур или аппаратов,
тем, что каждая CNN выделяется для анализа вокселей, принадлежащих одной из N плоскостей, так что указанное глобальное программное средство или устройство, которое объединяет указанные N различных CNN, имеет структурированную геометрию или архитектуру, адаптированную под и сопоставимую с таковой объема изображения,
тем, что заключается в использовании единой нейронной сети, объединяющей в своей структуре N различных CNN, работающих параллельно, которые автоматически сегментируют анатомические и патологические структуры или аппараты, которые можно видеть на трехмерном медицинском изображении, тем, что результаты различных двумерных анализов и сегментаций объединяются посредством свертки в последних структурах упомянутой нейронной сети со структурированной геометрией, и
тем, что второй рабочий этап, посвященный объединению результатов N сегментаций первого этапа в единую сегментацию анатомических и патологических структур или аппаратов, которые можно видеть на медицинском трехмерном изображении, выполняют путем присвоения каждому вокселю объема изображения метки, соответствующей комбинации из N меток, присвоенных этому же вокселю и соседнему с ним вокселю(ям) в ходе N сегментаций первого этапа.
16. Способ автоматической сегментации элементов, таких как анатомические и патологические структуры или аппараты, которые видны на состоящем из вокселей трехмерном медицинском изображении, полученном с помощью компьютерного томографа, магнитно-резонансного томографа или ультразвукового устройства, при этом способ заключается
в предоставление глобального программного средства или устройства, объединяющего N различных сверточных нейронных сетей или сверточных нейронных сетей (CNN), при количестве сетей N≥2,
в анализе вокселей, формирующих упомянутый объем трехмерного изображения в соответствии с N отличающимися плоскостями реконструкции, при этом
способ отличается
тем, что N≥3, предпочтительно N>3,
тем, что указанное трехмерное медицинское изображение представляет собой изображение субъекта, на котором виден набор различных анатомических и патологических структур или аппаратов,
тем, что каждая CNN выделяется для анализа вокселей, принадлежащих одной из N плоскостей, так что указанное глобальное программное средство или устройство, которое объединяет указанные N различных CNN, имеет структурированную геометрию или архитектуру, адаптированную под и сопоставимую с таковой объема изображения,
тем, что заключается в выполнении N последовательных рабочих этапов или этапов обработки изображения, при этом каждый этап выполняется посредством CNN, которая автоматически сегментирует анатомические и патологические структуры или аппараты, которые можно видеть на трехмерном медицинском изображении, причем каждая CNNi из упомянутых CNN анализирует все воксели, формирующие объем трехмерного изображения в конкретной плоскости реконструкции для каждой из N различных CNN, и с использованием результатов, предоставленных предшествующей сетью CNNi-1 последовательности, если она имеется.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862615529P | 2018-01-10 | 2018-01-10 | |
| US62/615,529 | 2018-01-10 | ||
| PCT/EP2019/050542 WO2019137997A1 (en) | 2018-01-10 | 2019-01-10 | Automatic segmentation process of a 3d medical image by several neural networks through structured convolution according to the geometry of the 3d medical image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2020126037A RU2020126037A (ru) | 2022-02-10 |
| RU2803978C2 true RU2803978C2 (ru) | 2023-09-25 |
Family
ID=
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8331637B2 (en) * | 2006-03-03 | 2012-12-11 | Medic Vision-Brain Technologies Ltd. | System and method of automatic prioritization and analysis of medical images |
| RU2530220C1 (ru) * | 2013-03-18 | 2014-10-10 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Система и способ для автоматической регистрации анатомических точек в объемных медицинских изображениях |
| US9098912B2 (en) * | 2012-01-24 | 2015-08-04 | General Electric Company | Method, system and computer readable medium for automatic segmentation of a medical image |
| US20160110632A1 (en) * | 2014-10-20 | 2016-04-21 | Siemens Aktiengesellschaft | Voxel-level machine learning with or without cloud-based support in medical imaging |
| US9730643B2 (en) * | 2013-10-17 | 2017-08-15 | Siemens Healthcare Gmbh | Method and system for anatomical object detection using marginal space deep neural networks |
| EP3246875A2 (en) * | 2016-05-18 | 2017-11-22 | Siemens Healthcare GmbH | Method and system for image registration using an intelligent artificial agent |
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8331637B2 (en) * | 2006-03-03 | 2012-12-11 | Medic Vision-Brain Technologies Ltd. | System and method of automatic prioritization and analysis of medical images |
| US9098912B2 (en) * | 2012-01-24 | 2015-08-04 | General Electric Company | Method, system and computer readable medium for automatic segmentation of a medical image |
| RU2530220C1 (ru) * | 2013-03-18 | 2014-10-10 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Система и способ для автоматической регистрации анатомических точек в объемных медицинских изображениях |
| US9730643B2 (en) * | 2013-10-17 | 2017-08-15 | Siemens Healthcare Gmbh | Method and system for anatomical object detection using marginal space deep neural networks |
| US20160110632A1 (en) * | 2014-10-20 | 2016-04-21 | Siemens Aktiengesellschaft | Voxel-level machine learning with or without cloud-based support in medical imaging |
| EP3246875A2 (en) * | 2016-05-18 | 2017-11-22 | Siemens Healthcare GmbH | Method and system for image registration using an intelligent artificial agent |
Non-Patent Citations (1)
| Title |
|---|
| Kensaku Mori et al. "Medical Image Computing and Computer-Assisted Intervention - MICCAI 2013", опубл. 31.12.2013 на 754 страницах [найдено 29.08.2022], размещено в Интернет по адресу URL:https://link.springer.com/content/pdf/10.1007/978-3-642-40763-5.pdf. * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11551362B2 (en) | Automatic segmentation process of a 3D medical image by several neural networks through structured convolution according to the geometry of the 3D medical image | |
| Folmsbee et al. | Active deep learning: Improved training efficiency of convolutional neural networks for tissue classification in oral cavity cancer | |
| US7529396B2 (en) | Method, computer program product, and apparatus for designating region of interest | |
| US10127710B2 (en) | Processor and method for accelerating ray casting | |
| Meirovitch et al. | A multi-pass approach to large-scale connectomics | |
| CN105074775A (zh) | 医学图像的配准 | |
| CN112541893B (zh) | 一种三维断层扫描图像中树状结构分叉关键点的检测方法 | |
| Falcao et al. | Segmentation of 3D objects using live wire | |
| US11288812B2 (en) | Automatic segmentation process of a 3D medical image by one or several neural networks through structured convolution according to the anatomic geometry of the 3D medical image | |
| Huang et al. | Combining anatomical constraints and deep learning for 3-D CBCT dental image multi-label segmentation | |
| RU2803978C2 (ru) | Процесс автоматической сегментации трехмерного медицинского изображения с помощью нескольких нейронных сетей посредством структурированной свертки в соответствии с геометрией трехмерного медицинского изображения | |
| CN114340496A (zh) | 基于vrds ai医学影像的心脏冠脉的分析方法和相关装置 | |
| JPWO2019137997A5 (ru) | ||
| Dhar et al. | Automatic tracing of mandibular canal pathways using deep learning | |
| RU2783364C1 (ru) | Устройство создания многомерных виртуальных изображений органов дыхания человека и способ создания объёмных изображений с применением устройства | |
| Ravi et al. | Pathological medical image segmentation: A quick review based on parametric techniques | |
| RU2780548C2 (ru) | Процесс автоматической сегментации трехмерного медицинского изображения с помощью одной или нескольких нейронных сетей посредством структурированной свертки в соответствии с анатомической геометрией трехмерного медицинского изображения | |
| US20120313941A1 (en) | System and method for digital volume processing | |
| Pana et al. | 3D Brain Tumor Volume Reconstruction and Quantification using MRI Multi-modalities Brain Images | |
| US11455733B2 (en) | System and method to improve model-based organ segmentation with image post-processing | |
| Khan et al. | Cell Nuclei Segmentation With Dynamic Token-Based Attention Network | |
| Szilágyi et al. | Identification of the root canal from dental Micro-CT records | |
| Khachane et al. | Fuzzy Rule based Multimodal Medical Image Edge Detection | |
| CN115187505A (zh) | 使用神经网络算法处理多个2-d投影图像 | |
| Undrill | 102 Transputer Applications M. Jane et al., Eds. IOS Press, 1992 |