RU2653274C2 - Связанная сегментация в стандартных и контрастных ультразвуковых 3d-изображениях - Google Patents

Связанная сегментация в стандартных и контрастных ультразвуковых 3d-изображениях Download PDF

Info

Publication number
RU2653274C2
RU2653274C2 RU2015111244A RU2015111244A RU2653274C2 RU 2653274 C2 RU2653274 C2 RU 2653274C2 RU 2015111244 A RU2015111244 A RU 2015111244A RU 2015111244 A RU2015111244 A RU 2015111244A RU 2653274 C2 RU2653274 C2 RU 2653274C2
Authority
RU
Russia
Prior art keywords
data
dimensional
dimensional ultrasound
ultrasound image
image
Prior art date
Application number
RU2015111244A
Other languages
English (en)
Other versions
RU2015111244A (ru
Inventor
Рафаэль Мануа Мишель ПРЕВО
Роберто Хосе АРДОН
Бенуа Жан-Доминик Бертран Морис МОРИ
Original Assignee
Конинклейке Филипс Н.В.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Конинклейке Филипс Н.В. filed Critical Конинклейке Филипс Н.В.
Publication of RU2015111244A publication Critical patent/RU2015111244A/ru
Application granted granted Critical
Publication of RU2653274C2 publication Critical patent/RU2653274C2/ru

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • G06T3/02
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20116Active contour; Active surface; Snakes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20161Level set
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30056Liver; Hepatic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30084Kidney; Renal

Abstract

Изобретение относится к средствам формирования трехмерных ультразвуковых изображений. Техническим результатом является повышение точности сегментации, используя объединенную совместную информацию. Система содержит массив преобразователей для обеспечения ультразвукового приемного сигнала, формирователь пучка для управления массивом преобразователей, чтобы сканировать объем, и для приема ультразвукового приемного сигнала и обеспечения сигнала изображения, контроллер для управления формирователем пучка, сигнальный процессор для приема сигнала изображения и обеспечения данных трехмерного изображения и данных контрастного трехмерного изображения и процессор изображений для приема данных изображения и обеспечения данных отображения, при этом процессор изображений сконфигурирован с возможностью принимать данные трехмерного ультразвукового изображения и данные контрастного трехмерного ультразвукового изображения и выполнять сегментацию объекта одновременно из данных трехмерного ультразвукового изображения и данных контрастного трехмерного ультразвукового изображения. 3 н. и 9 з.п. ф-лы, 12 ил.

Description

Область техники, к которой относится изобретение
Настоящее изобретение относится к формированию трехмерных ультразвуковых изображений. В частности, настоящее изобретение относится к обработке изображений и сегментации объектов в отсканированном объеме.
Уровень техники
В формировании трехмерных ультразвуковых изображений, или формировании изображений объема, получение трехмерного изображения выполняется посредством выполнения множества двумерных сканирований, которые являются срезами через объем интереса. Поэтому, получается множество двумерных изображений, которые располагаются одно рядом с другим. Посредством надлежащей обработки изображений, трехмерное изображение объема интереса может строиться из множества двумерных изображений. Трехмерная информация, полученная из множества двумерных изображений, отображается в надлежащей форме на устройстве отображения для пользователя ультразвуковой системы.
Дополнительно, в клинических применениях часто используется так называемое формирование живых трехмерных изображений, или формирование изображений 4D. В формировании живых трехмерных изображений, может получаться представление объема в реальном времени, что обеспечивает возможность пользователю просматривать движущиеся части анатомического местоположения, например, бьющееся сердце или другие. В клиническом применении формирования живых трехмерных изображений имеется иногда необходимость формировать изображения относительно малой области сердца, такой как одиночный клапан, или перегородочный дефект, и имеется иногда необходимость формировать изображения большой области сердца, такой как весь желудочек.
В отличие от стандартного или нормального ультразвукового обследования (US), контрастное ультразвуковое обследование (CEUS) обеспечивает возможность трехмерной визуализации потока крови в реальном времени. Эта недавно появившаяся методика приобретает все больший интерес, так как она является безвредной для пациента - так как может использоваться не осуществляющий излучение и нетоксичный агент контрастности - при обеспечении разной и полезной информации. Органы с кровеносными сосудами, такие как почки или печень, являются полностью выделенными, в то время как их окружения создают малый сигнал.
Сегментация изображений является общей задачей для рентгенологов. Извлеченная поверхность может использоваться либо, чтобы определять количественную оценку объема органа либо опухоли, или в качестве ориентира, чтобы выполнять основывающееся на признаках совмещение изображений. Однако часто является трудоемким вручную сегментировать орган в 3D-изображении. В то время как для изображений 2D инструменты количественного анализа и визуализации являются относительно доступными, анализ 3D-объемов часто делается вручную посредством трудоемких процедур, невозможных для реализации в клинической практике. Однако такие способы не обеспечивают удовлетворяющих результатов. Поэтому необходимо обеспечение точной сегментации, но это труднодостижимо, особенно в ультразвуковых изображениях, которые повреждены множествам шумов и различных артефактов.
Документ US 2009/0326363 A1 раскрывает способ для совмещения медицинских изображений. Способ совмещает ранее полученный объем на ультразвуковой объем в течение процедуры ультразвукового обследования, чтобы производить многомодальное изображение. Многомодальное изображение может использоваться, чтобы направлять медицинскую процедуру. Многомодальное изображение включает в себя информацию магнитно-резонансной томографии (MRI) и/или формирования изображений магнитно-резонансной спектроскопии (MRSI), представленную в структуре изображения трансректальной ультразвуковой эхографии (TRUS) в течение процедуры TRUS.
Имеется необходимость в улучшенных автоматических или, по меньшей мере, выполняемых с помощью вычислительной машины инструментах сегментации.
Раскрытие изобретения
Целью настоящего изобретения является обеспечить улучшенную ультразвуковую систему и способ. Является дополнительной целью настоящего изобретения обеспечить компьютерную программу для осуществления такого способа.
В первом аспекте настоящего изобретения представлена система формирования ультразвуковых изображений, которая предназначена для обследования объекта в объеме. Система формирования ультразвуковых изображений содержит процессор изображений, сконфигурированный с возможностью принимать данные изображения и обеспечивать данные отображения, при этом процессор изображений сконфигурирован с возможностью принимать данные трехмерного ультразвукового изображения и данные контрастного трехмерного ультразвукового изображения, и выполнять сегментацию объекта одновременно из данных трехмерного ультразвукового изображения и данных контрастного трехмерного ультразвукового изображения.
В дополнительном аспекте настоящего изобретения представлен способ для сегментации объекта из трехмерного ультразвукового изображения. Способ содержит этапы обеспечения данных трехмерного ультразвукового изображения и данных контрастного трехмерного ультразвукового изображения, и сегментации объекта одновременно из данных трехмерного ультразвукового изображения и данных контрастного трехмерного ультразвукового изображения.
В дополнительном аспекте настоящего изобретения представлена компьютерная программа, содержащая средство программного кода для предписания компьютеру выполнять этапы такого способа, когда упомянутая компьютерная программа выполняется на компьютере.
Базовая идея изобретения состоит в том, чтобы использовать два набора данных изображения, которые оба получаются посредством формирования ультразвуковых изображений, - данные нормального трехмерного ультразвукового изображения и данные контрастного трехмерного ультразвукового изображения, - и осуществлять поиск одновременно в обоих наборах данных, чтобы сегментировать объект.
Было обнаружено, что автоматическая сегментация в ультразвуковых изображениях, в общем, является самой настоящей проблемой из-за ограниченного поля обзора, затенений и затухания, неоднозначной информации изображения вследствие шума и других различных артефактов, специфичных для US или CEUS. Более того, изображения US и CEUS оба имеют разные преимущества и недостатки. Например, опухоли являются обычно менее отличимыми от нормальных тканей в US, чем в CEUS; тогда как соседние органы или кровеносные сосуды могут препятствовать сегментации в изображениях CEUS. Использование только одного ультразвукового изображения, поэтому, не является достаточно надежным, и необходима другая информация.
В отличие от других модальностей, таких как компьютерная томография (CT), является теоретически возможным одновременное получение как нормальных, так и контрастных трехмерных изображений. Упомянутые два изображения являются, таким образом, естественно выровненными. Однако является возможным получать как нормальные, так и контрастные трехмерные изображения последовательно. Затем, необходимо совмещение изображений. Совмещение изображений US на изображениях CEUS - или наоборот - имеет в себе клинический интерес, так как оно обеспечивает возможность слияния двух разных типов информации. Предложенное изобретение обеспечивает сегментацию объекта из трехмерного US и трехмерного CEUS изображения. Упомянутые два объема не должны быть выровненными, так как преобразование совмещения может оцениваться в течение сегментации.
Следовательно, предлагается использовать одновременно два разных изображения, что улучшает существующие результаты сегментации. Сегментация использует дополняющую информацию в том, что изображение US обеспечивает анатомическую информацию, тогда как изображение CEUS показывает развитие кровеносной сети. Если некоторые части границы целевого органа являются неясными или даже отсутствуют в одном из упомянутых двух изображений, дополнительно является возможным экстраполировать сегментацию с помощью информации из другого изображения.
Предпочтительные варианты осуществления изобретения определены в зависимых пунктах формулы изобретения. Следует понимать, что заявленный способ имеет аналогичные и/или идентичные предпочтительные варианты осуществления, что и заявленное устройство и как определено в зависимых пунктах формулы изобретения.
В одном варианте осуществления процессор изображений дополнительно сконфигурирован с возможностью обеспечивать данные отображения с использованием, по меньшей мере, одних из данных сегментированного трехмерного ультразвукового изображения и данных сегментированного контрастного трехмерного ультразвукового изображения, и при этом система ультразвукового излучения дополнительно содержит устройство отображения, сконфигурированное с возможностью принимать данные отображения и обеспечивать изображение.
Данные сегментированного трехмерного ультразвукового изображения и данные сегментированного контрастного трехмерного ультразвукового изображения получаются посредством ранее выполненной сегментации объекта. Посредством этого, сегментированный объект может быть представлен пользователю на устройстве отображения системы формирования ультразвуковых изображений. В частности, сегментированный объект может обеспечиваться одновременно как нормальное ультразвуковое изображение и контрастное ультразвуковое изображение.
В дополнительном варианте осуществления процессор изображений сконфигурирован с возможностью выполнять сегментацию посредством минимизации члена энергии, так что деформированная начальная геометрическая форма, по существу, соответствует границе объекта. Начальная геометрическая форма деформируется, так что она соответствует границе объекта настолько хорошо, насколько возможно, когда упомянутый член энергии находится на его минимуме. В конкретном приложении, например, посредством применения оператора Лапласа, и как объяснено более подробно ниже, максимизируется поток градиента изображения через поверхность деформированной начальной геометрической формы.
Было обнаружено, что основывающийся на модели способ, использующий ранее определенную начальную геометрическую форму, которая преобразуется в течение процесса сегментации, обеспечивает устойчивый сходящийся способ, чтобы находить и сегментировать объект в обоих данных формирования нормальных ультразвуковых изображений и данных формирования контрастных ультразвуковых изображений.
Сегментация содержит деформирование начальной модели, например, начальной модели, которая грубо представляет собой форму целевого объекта. В качестве примера, в случае, когда целевой объект является почкой, начальная форма может быть эллипсоидом. Эта форма представляется посредством неявной функции, т.е. функции φ, определенной во всем пространстве, которая является положительной внутри формы и отрицательной снаружи. Форма тогда является набором нулевого уровня такой функции. Вся неявная функция деформируется посредством пространственного преобразования ψ. В частности, набор нулевого уровня изменяется и изменяется соответствующий объект. Это преобразование разлагается на два преобразования разных типов
Figure 00000001
:
-
Figure 00000002
является глобальным преобразованием, которое может параллельно перемещать, вращать или изменять масштаб начальной формы. Оно, по существу, корректирует начальный эллипсоид, если необходимо.
-
Figure 00000003
является локальной деформацией, которая фактически деформирует объект, так что он более точно соответствует объекту для сегментации в изображении.
Цель способа тогда состоит в том, чтобы найти наилучшие
Figure 00000003
и
Figure 00000002
, с использованием информации изображения I. Это делается посредством минимизации следующей энергии:
Figure 00000004
.
В первом члене, также называемом точность данных, H является функцией Хевисайда (H(x)=1, если x>0, и 0, если x<0), что означает, что интеграл фактически берется только внутри деформируемого объекта. r(x) является основывающейся на изображении функцией, которая возвращает в каждой точке отрицательное (соответственно положительное) значение, если воксел вероятно находится вне (соответственно внутри) объекта интереса. Для неоднозначных областей, r(x) устанавливается на нуль. Второй член, является так называемой регуляризацией. Второй член является нормой между
Figure 00000003
и тождественной функцией. Амплитуда деформации штрафуется, так как форма объекта не должна отклоняться слишком сильно от эллипсоида. Следует отметить, что этот второй член является независимым от положения и ориентации объекта, который был целью разложения преобразования. Минимизация такой энергии выполняется с использованием градиентного спуска на обоих
Figure 00000003
и
Figure 00000002
в одно и то же время.
В нашей заявке, мы хотим сегментировать два разных изображения I1 и I2 с в точности одним и тем же объектом, что является справедливым предположением, когда имеют дело с множеством органов, в частности, почками, или если оба изображения US и CEUS были получены в одно и то же время.
Если упомянутые два изображения уже были идеально совмещены, то ранее описанное уравнение может легко расширяться посредством добавления другого члена точности данных:
Figure 00000005
Однако совмещенное получение может иметь место, только если оба изображения US и CEUS получены одновременно. Если это не имеет место, например, из-за ограничений аппаратного обеспечения, упомянутые два изображения не являются выровненными. Это учитывается другим преобразованием. В общем, это преобразование может быть нежестким и любого типа. Однако в конкретном случае обследования жесткого органа, такого как почка, или если - по любой другой причине - может делаться предположение поиска того же объекта, это преобразование (обозначенное
Figure 00000006
) может быть жестким, т.е. оно обеспечивает возможность глобального изменения положения и ориентации, но только с одним и тем же размером. Преобразование
Figure 00000006
также может устанавливаться на любое аффинное преобразование, например, чтобы учитывать изменения объема, без потери вычислительной эффективности. Энергия тогда будет
Figure 00000007
По существу, это корректирует информацию изображения, приходящую от второго члена, посредством преобразования
Figure 00000006
.
Третий член строится как ограничение на локальную деформацию. Он накладывает штраф, если локальная деформация служит причиной, что форма объекта отклоняется слишком сильно от начальной геометрической формы. Следовательно, так как мы осуществляем поиск минимума, в случае, когда первый и второй член ведут к одним и тем же результатам, решение, преобразовывающее начальную геометрическую форму менее, чем другие решения, будет рассматриваться наилучшим. Параметр "λ" может устанавливаться, чтобы определять релевантность этого ограничения.
Для приложений US и CEUS, почка имеет разный контраст в упомянутых двух изображениях. Она более темная, чем фон в изображении US и более яркая в изображении CEUS. Чтобы учитывать это, перед соответствующим членом в энергии должен добавляться знак минус. Например, если данные изображения US должны совмещаться на данных изображения CEUS, ко второму члену должен добавляться знак минус. Оптимизация также выполняется посредством градиентного спуска, но одновременно над
Figure 00000003
,
Figure 00000002
и
Figure 00000006
. В конце, сегментация как набор нулевого уровня функции
Figure 00000008
является более точной, так как она использует информацию упомянутых двух изображений.
Дополнительно, оценка преобразования
Figure 00000006
, которое позволяет совмещать упомянутые два изображения, достигается, например, для целей визуализации.
В дополнительном варианте осуществления член энергии содержит первый член, представляющий данные трехмерного ультразвукового изображения, и второй член, представляющий данные контрастного трехмерного ультразвукового изображения, при этом деформированная начальная геометрическая форма является одной и той же в обоих первом и втором члене, и при этом один из первого и второго членов содержит совмещающее преобразование, совмещающее данные трехмерного ультразвукового изображения и данные контрастного трехмерного ультразвукового изображения.
Как описано ранее, данные (нормального) трехмерного ультразвукового изображения (изображение US) могут совмещаться на данных контрастного трехмерного ультразвукового изображения (изображении CEUS). Однако совмещение также может выполняться наоборот, т.е. данные контрастного трехмерного ультразвукового изображения совмещаются на данных трехмерного ультразвукового изображения.
Посредством этого, при сегментации объекта из данных трехмерного ультразвукового изображения и данных контрастного трехмерного ультразвукового изображения, в то же время может быть найдено совмещающее преобразование. Нет необходимости совмещать данные трехмерного ультразвукового изображения и данные контрастного трехмерного ультразвукового изображения перед сегментацией. Скорее, совмещение упомянутых двух наборов данных изображений выполняется одновременно с сегментацией. Геометрическое преобразование, которое их выравнивает, является, поэтому, доступным как сторонний результат. Это обеспечивает возможность совмещать данные трехмерного ультразвукового изображения и данные контрастного трехмерного ультразвукового изображения и обеспечивать совмещенные изображения пользователю системы формирования ультразвуковых изображений одновременно.
В дополнительном варианте осуществления деформация начальной геометрической формы выполняется посредством применения глобального преобразования и нежесткого локального преобразования над начальной геометрической формой, при этом глобальное преобразование параллельно перемещает, вращает и масштабирует начальную геометрическую форму, и при этом нежесткое локальное преобразование применяет поле смещения, в частности, имеющее встроенную гладкость, в отношении начальной геометрической формы, и при этом член энергии дополнительно содержит третий член, ограничивающий нежесткое локальное преобразование.
Эта конструкция члена энергии обеспечивает преимущество в том, что деформирование начальной геометрической формы, которая грубо соответствует объекту, подлежащему сегментации, может не деформироваться слишком сильно в течение преобразования. Это достигается посредством разделения деформации начальной геометрической формы на глобальное преобразование, параллельно перемещающее и вращающее и масштабирующее начальную геометрическую форму, и отдельное локальное преобразование, которое деформирует начальную геометрическую форму. Посредством этого, способ может дополнительно применять третий член, накладывающий штраф на локальное преобразование, отклоняющее форму объекта слишком сильно от начальной геометрической формы. Посредством этого, сегментации, которые являются близкими к начальной геометрической форме, в алгоритме имеют предпочтение.
В дополнительном варианте осуществления процессор изображений дополнительно сконфигурирован с возможностью инициализировать сегментацию посредством обнаружения объекта в данных контрастного трехмерного ультразвукового изображения посредством оценки центра, размера и ориентации базовой геометрической формы и обеспечивать начальную геометрическую форму посредством оцененных центра, размера и ориентации базовой геометрической формы.
Посредством этого, может быть найдена начальная геометрическая форма, которая обеспечивает более хорошее начало для сегментации, чем базовая геометрическая форма. Например, в случае, когда отсканированный объект является почкой, базовая геометрическая форма может быть эллипсоидом. Начальная геометрическая форма может тогда находиться как эллипсоид, уже ориентированный и центрированный и подогнанный по размеру, чтобы грубо соответствовать фактическому положению почки в данных изображения.
В дополнительном варианте осуществления процессор изображений дополнительно сконфигурирован с возможностью инициализировать совмещение данных трехмерного ультразвукового изображения и данных контрастного трехмерного ультразвукового изображения посредством обнаружения начальной геометрической формы в данных трехмерного ультразвукового изображения только посредством выполнения параллельного перемещения и вращения начальной геометрической формы, обеспеченной посредством инициализации сегментации в данных контрастного трехмерного ультразвукового изображения.
Оценка эллипсоида в данных нормального трехмерного ультразвукового (US) изображения является более трудной. Однако посредством использования начальной геометрической формы, уже найденной в данных контрастного (CEUS) изображения в течение обработки инициализации сегментации, только для параллельного перемещения и вращения может осуществляться поиск в данных нормального трехмерного ультразвукового изображения. Как только это выполняется, совмещение между данными нормального трехмерного ультразвукового изображения и данными контрастного трехмерного ультразвукового изображения может получаться как инициализация для совмещения.
В дополнительном варианте осуществления процессор изображений дополнительно сконфигурирован так, что совмещающее преобразование является аффинным.
В общем, совмещающее преобразование, примененное в одном из первого и второго членов члена энергии, может быть общим преобразованием или нежестким преобразованием. Преобразование совмещения может быть любым типом глобального линейного преобразования. В частности, оно может быть аффинным преобразованием. Аффинное преобразование является преобразованием, которое сохраняет прямые линии и отношения расстояний между точками, лежащими на прямой линии. Аффинное преобразование эквивалентно линейному преобразованию, за которым следует параллельное перемещение. В зависимости от отсканированного объекта оно также может быть преобразованием подобия или аффинным. В случае, когда объект является, например, почкой, может предполагаться, что его форма остается одной и той же, даже если данные нормального трехмерного ультразвукового изображения и данные контрастного трехмерного ультразвукового изображения получаются последовательно и не в одно и то же время. Это так из-за того, что ультразвуковая диагностика не деформирует почку в течение сканирования и почка окружена достаточно жесткой тканью. Подобные граничные условия могут применяться к сканированию поджелудочной железы и селезенки. В таких случаях, может применяться жесткое преобразование, чтобы упрощать и ускорять обработку сегментации и совмещения.
В дополнительном варианте осуществления система формирования ультразвуковых изображений выполнена с возможностью для обследования почки пациента, при этом процессор изображений дополнительно сконфигурирован так, что сегментация инициализируется посредством оценки базовой геометрической формы, при этом базовая геометрическая форма является эллипсоидом, и при этом совмещающее преобразование является жестким.
Было обнаружено, что предложенная система ультразвукового излучения и способы являются, в частности, предпочтительными в сканировании почки. Это не только из-за того, что жесткое преобразование может применяться как совмещающее преобразование, но также так как геометрическая форма почки может оцениваться как эллипсоид. Дополнительно, так как через почку протекает кровь, формирование контрастных трехмерных ультразвуковых изображений является особенно подходящим для сканирования почки.
Однако необходимо отметить, что предложенные системы и способы также могут применяться к осмотру любого другого органа пациента или объекта внутри пациента. Другие подходящие базовые геометрические формы также могут быть найдены для селезенки, поджелудочной железы, печени или сердца пациента.
В дополнительном варианте осуществления система формирования ультразвуковых изображений дополнительно содержит массив преобразователей, сконфигурированный с возможностью обеспечения ультразвукового приемного сигнала, формирователь пучка, сконфигурированный с возможностью управлять массивом преобразователей, чтобы сканировать объем, и дополнительно сконфигурированный с возможностью принимать ультразвуковой приемный сигнал и обеспечивать сигнал изображения, контроллер для управления формирователем пучка, и сигнальный процессор, сконфигурированный с возможностью принимать сигнал изображения и обеспечивать данные трехмерного изображения и данные контрастного трехмерного изображения.
Посредством этого, обеспечивается полностью функционирующая система формирования ультразвуковых изображений, способная получать как данные нормального трехмерного изображения и обеспечивать их в процессор изображений, и также захватывать данные контрастного трехмерного изображения и обеспечивать их в процессор изображений. Это обеспечивает возможность пользователю сканировать тело пациента и просматривать сегментированный объект одновременно как нормальное ультразвуковое изображение, так и контрастное ультразвуковое изображение.
В дополнительном варианте осуществления обеспечивается способ для обеспечения трехмерного ультразвукового изображения объекта в объеме, при этом способ содержит этапы ввода данных трехмерного ультразвукового изображения объема и данных контрастного трехмерного ультразвукового изображения объема, обработки данных трехмерного ультразвукового изображения и данных контрастного трехмерного ультразвукового изображения согласно способу для сегментации объекта из трехмерного ультразвукового изображения и согласно одному аспекту изобретения, и чтобы обеспечивать данные сегментированного трехмерного ультразвукового изображения и данные сегментированного контрастного трехмерного ультразвукового изображения, обработки, по меньшей мере, одних из данных сегментированного трехмерного ультразвукового изображения и данных сегментированного контрастного трехмерного ультразвукового изображения, чтобы обеспечивать данные отображения, и отображения трехмерного ультразвукового изображения с использованием данных отображения.
Посредством этого, пользователю может обеспечиваться трехмерное ультразвуковое изображение, показывающее сегментированный объект. Ультразвуковое изображение может быть нормальным трехмерным ультразвуковым изображением или контрастным трехмерным ультразвуковым изображением или даже обоими. Дополнительно, если обеспечиваются оба изображения, они также могут совмещаться.
В дополнительном варианте осуществления этап ввода данных трехмерного ультразвукового изображения объема и данных контрастного трехмерного ультразвукового изображения объема содержит этапы ультразвукового сканирования объема с помощью массива преобразователей, обеспечивающего ультразвуковой сигнал, контрастного ультразвукового сканирования объема с помощью массива преобразователей, обеспечивающего контрастный ультразвуковой сигнал, и обработки ультразвукового сигнала, чтобы обеспечивать данные трехмерного ультразвукового изображения, и обработки контрастного ультразвукового сигнала, чтобы обеспечивать трехмерные данные контрастного ультразвукового изображения.
Посредством этого, объект может сканироваться пользователем и пользователь может затем просматривать этот сегментированный объект на устройстве отображения. Этап ультразвукового сканирования объема с помощью массива преобразователей, обеспечивающего ультразвуковой сигнал, в последующем упоминается как "этап S1", этап контрастного ультразвукового сканирования объема с помощью массива преобразователей, обеспечивающего контрастный ультразвуковой сигнал, в последующем упоминается как "этап S2". В частности, необходимо отметить, что этапы S1 и S2 не должны применяться в конкретном порядке. Они также могут выполняться в другом порядке, т.е. сначала выполняется контрастное ультразвуковое сканирование и затем выполняется нормальное ультразвуковое сканирование, или они могут выполняться одновременно.
Следовательно, в дополнительном варианте осуществления этап ультразвукового сканирования объема с помощью массива преобразователей, обеспечивающего ультразвуковой сигнал, и этап контрастного ультразвукового сканирования объема с помощью массива преобразователей, обеспечивающего контрастный ультразвуковой сигнал, могут выполняться последовательно или одновременно.
Это может обеспечивать возможность одновременного сканирования объекта нормальным и контрастным образом, если преобразователь обеспечивает такое сканирование. Однако также может иметь место, что нормальное сканирование и контрастное сканирование выполняются в некотором порядке в зависимости от доступных систем и состояния пациента.
Краткое описание чертежей
Эти и другие аспекты изобретения будут видны из и описаны со ссылкой на вариант (варианты) осуществления, описанные ниже. На следующих чертежах
Фиг. 1 показывает схематическое представление системы формирования ультразвуковых изображений при использовании, чтобы сканировать объем тела пациента;
Фиг. 2 показывает схематическую блок-схему одного варианта осуществления системы формирования ультразвуковых изображений;
Фиг. 3 показывает иллюстрацию объема, отсканированного посредством головки зонда;
Фиг. 4 показывает диаграмму последовательности операций одного варианта осуществления способа для обеспечения трехмерного ультразвукового изображения объекта;
Фиг. 5a показывает диаграмму последовательности операций одного варианта осуществления способа для сегментации объекта из трехмерного ультразвукового изображения;
Фиг. 5b показывает диаграмму последовательности операций одного подробного варианта осуществления этапа сегментации из способа из фиг. 5a;
Фиг. 6a по 6c показывают примеры, чтобы объяснять преобразования, выполняемые над начальной геометрической формой в течение сегментации;
Фиг. 7 показывает пример сегментации почки в срезе нормального трехмерного ультразвукового изображения, при этом сегментация выполняется на основе только нормального трехмерного ультразвукового изображения;
Фиг. 8 показывает пример сегментации почки в срезе нормального трехмерного ультразвукового изображения и контрастного трехмерного ультразвукового изображения, при этом сегментация выполняется одновременно в обоих изображениях; и
Фиг. 9 показывает изображения из фиг. 8, совмещенные на основе результатов сегментации.
Осуществление изобретения
Фиг. 1 показывает схематическую иллюстрацию ультразвуковой системы 10 согласно одному варианту осуществления, в частности, системы формирования медицинских ультразвуковых трехмерных изображений. Система 10 формирования ультразвуковых изображений применяется, чтобы обследовать объем анатомического местоположения, в частности, анатомического местоположения в пациенте 12. Ультразвуковая система 10 содержит ультразвуковой зонд 14, имеющий, по меньшей мере, один массив преобразователей, имеющий множество элементов преобразователя для передачи и/или приема ультразвуковых волн. В одном примере, элементы преобразователя, каждый, может передавать ультразвуковые волны в форме, по меньшей мере, одного передаваемого импульса конкретной продолжительности импульса, в частности, множество последовательных передаваемых импульсов. Элементы преобразователя могут, например, быть расположены в одномерном ряду, например, для обеспечения двумерного изображения, который может перемещаться или поворачиваться вокруг оси механически. Дополнительно, элементы преобразователя могут быть расположены в двумерном массиве, в частности, для обеспечения многоплоскостного или трехмерного изображения.
В общем, множество двумерных изображений, каждое вдоль конкретной акустической линии или линии сканирования, в частности, приемной линии сканирования, может получаться тремя разными способами. Во-первых, пользователь может достигать множества изображений посредством ручного сканирования. В этом случае, ультразвуковой зонд может содержать распознающие положение устройства, которые могут отслеживать местоположение и ориентацию линий сканирования или плоскостей сканирования. Однако это в текущее время не предполагается. Во-вторых, преобразователь может автоматически механически сканироваться внутри ультразвукового зонда. Это может иметь место, если используется одномерный массив преобразователей. В-третьих, и предпочтительно, фазовый двумерный массив преобразователей располагается внутри ультразвукового зонда и ультразвуковые пучки электронным образом сканируются. Ультразвуковой зонд может удерживаться вручную пользователем системы, например, медицинским персоналом или доктором. Ультразвуковой зонд 14 применяется к телу пациента 12, так что обеспечивается изображение анатомического местоположения в пациенте 12.
Дополнительно, ультразвуковая система 10 имеет блок 16 управления, который управляет обеспечением трехмерного изображения посредством ультразвуковой системы 10. Как будет объяснено с дополнительными деталями ниже, блок 16 управления управляет не только получением данных посредством массива преобразователей ультразвукового зонда 14, но также обработкой сигналов и изображений, которые формируют трехмерные изображения из эха ультразвуковых пучков, принятых массивом преобразователей ультразвукового зонда 14.
Ультразвуковая система 10 дополнительно содержит устройство 18 отображения для отображения трехмерных изображений пользователю. Дополнительно, обеспечивается устройство 20 ввода, которое может содержать клавиши или клавиатуру 22 и дополнительные устройства ввода, например, шаровой указатель 24. Устройство 20 ввода может быть соединено с устройством 18 отображения или напрямую с блоком 16 управления.
Фиг. 2 показывает схематическую блок-схему ультразвуковой системы 10. Как уже описано выше, ультразвуковая система 10 содержит ультразвуковой зонд (PR) 14, блок управления (CU) 16, устройство отображения (DI) 18 и устройство ввода (ID) 20. Как дополнительно описано выше, зонд (PR) 14 содержит фазовый двумерный массив 26 преобразователей. В общем, блок управления (CU) 16 может содержать центральное обрабатывающее устройство, которое может включать в себя аналоговые и/или цифровые электронные схемы, процессор, микропроцессор или подобное, чтобы координировать все получение и предоставление изображений. Дополнительно, блок 16 управления содержит, здесь называемое, центральное обрабатывающее устройство 28. Однако необходимо понимать, что центральное обрабатывающее устройство 28 не должно быть отдельной сущностью или блоком внутри ультразвуковой системы 10. Оно может быть частью блока 16 управления и, в общем, быть аппаратно или программно реализованным. Текущее различие делается только для иллюстративных целей. Центральное обрабатывающее устройство (CPU) 28 как часть блока 16 управления может управлять формирователем пучка и, посредством этого, тем, какие изображения объема 40 берутся и как эти изображения берутся. Формирователь пучка (BF) 30 генерирует напряжения, которые возбуждают массив преобразователей (TR) 26, определяет частоты повторения частей, он может сканировать, фокусировать и аподизировать переданный пучок и приемный или принимаемый пучок (пучки) и может дополнительно усиливать фильтр и оцифровывать поток напряжений эхо, возвращенный массивом 26 преобразователей. Дополнительно, центральное обрабатывающее устройство 28 блока 16 управления может определять общие стратегии сканирования. Такие общие стратегии могут включать в себя требуемую частоту получения объема, боковую протяженность объема, протяженность возвышения объема, максимальную и минимальную плотности линий, времена линий сканирования и плотность линий, как уже описано выше. Формирователь 30 пучка дополнительно принимает ультразвуковые сигналы от массива 26 преобразователей и передает их как сигналы изображения.
Дополнительно, ультразвуковая система 10 содержит сигнальный процессор (SP) 34, который принимает сигналы изображения. Сигнальный процессор 34, в общем, обеспечивается для аналогово-цифрового преобразования, цифровой фильтрации, например, фильтрации полосы пропускания, также как детектирования и сжатия, например, уменьшения динамического диапазона, принятых ультразвуковых эхо или сигналов изображения. Сигнальный процессор передает данные изображения.
Дополнительно, ультразвуковая система 10 содержит процессор изображений (IP) 36, который преобразует данные изображения, принятые от сигнального процессора 34, в данные отображения, в конечном счете, показываемые на устройстве 18 отображения. В частности, процессор 36 изображений принимает данные изображения, предварительно обрабатывает данные изображения и может сохранять их в памяти изображений. Эти данные изображения затем дополнительно подвергаются последующей обработке, чтобы обеспечивать изображения, наиболее удобные для пользователя, посредством устройства 18 отображения. В текущем случае, в частности, процессор 36 изображений может формировать трехмерные изображения из множества двумерных изображений в каждом срезе.
Пользовательский интерфейс, в общем, изображен с помощью ссылочной позиции 38 и содержит устройство 18 отображения и устройство 20 ввода. Он также может содержать дополнительные устройства ввода, например, мышь или дополнительные кнопки, которые даже могут обеспечиваться на самом ультразвуковом зонде 14.
Конкретным примером для трехмерной ультразвуковой системы, которая может применять текущее изобретение, является ультразвуковая система CX40 CompactXtreme, продаваемая заявителем, в частности, вместе с преобразователем X6-1 или X7-2t TEE заявителя или другим преобразователем, использующим технологию xMATRIX заявителя. В общем, матричные системы преобразователей, как имеющиеся на системах Филипс iE33, или технологии механических 3D/4D преобразователей, как имеются, например, на системах Филипс iU22 и HD15, могут применять текущее изобретение.
Фиг. 3 показывает пример объема 40 по отношению к ультразвуковому зонду 14. Иллюстративный объем 40, изображенный в этом примере, имеет тип сектора, вследствие того, что массив преобразователей ультразвукового зонда 14 расположен как фазовый двумерный электронным образом сканируемый массив. Следовательно, размер объема 40 может быть выражен посредством угла 42 возвышения и бокового угла 44. Глубина 46 объема 40 может быть выражена посредством так называемого времени линий в секундах на линию. То есть время сканирования, затрачиваемое, чтобы сканировать конкретную линию сканирования.
Объем 40 может разделяться на множество срезов 48, 50 или двумерных изображений. Для иллюстративных целей изображены только два среза 48, 50. Фактически, множество срезов 48, 50, имеющих разные углы 52 возвышения, распределены по объему 40. Конечно, срезы 48, 50 также могут быть ориентированы в вертикальном направлении и распределены по объему 40 в боковом направлении. Во время получения изображения, двумерный массив преобразователей ультразвукового зонда 14 управляется посредством формирователя пучка таким образом, что объем 40 сканируется вдоль множества этих линий сканирования внутри каждого из срезов 48, 50 последовательно. В обработке приема с множеством линий, одиночный передаваемый пучок может высвечивать множество, например, четыре, приемных линий сканирования, вдоль которых сигналы получаются параллельно. Если это так, такие наборы приемных линий затем электронным образом сканируются по объему 40 последовательно.
Фиг. 4 показывает один вариант осуществления способа, чтобы обеспечивать трехмерное ультразвуковое изображение объекта в объеме 40. После того, как способ начался, может выполняться первый этап S0 ввода данных трехмерного ультразвукового изображения объема 40 и данных контрастного трехмерного ультразвукового изображения объема 40. В частности, этот этап S0 может содержать три этапа S1, S2 и S3. На этапе S1, осуществляется (нормальное) ультразвуковое сканирование объема с помощью массива преобразователей, обеспечивающего ультразвуковой сигнал. На этапе S2, выполняется контрастное ультразвуковое сканирование объема, в частности, в котором ранее обеспечен агент контрастности, с помощью массива преобразователей, обеспечивающего контрастный ультразвуковой сигнал. Этапы S1 и S2 также могут выполняться одновременно или этап S2 может выполняться до этапа S1.
На этапе S3 ультразвуковой сигнал и контрастный ультразвуковой сигнал обрабатывается, чтобы обеспечивать данные трехмерного ультразвукового изображения и данные контрастного трехмерного ультразвукового изображения.
Эти данные трехмерного ультразвукового изображения и данные контрастного трехмерного ультразвукового изображения обеспечиваются, например, в процессор 36 изображений системы формирования ультразвуковых изображений. Затем, на этапе S4, выполняется способ 112 для сегментации объекта из трехмерного ультразвукового изображения, который сегментирует объект одновременно из данных трехмерного ультразвукового изображения и данных контрастного трехмерного ультразвукового изображения. Этот способ будет описываться более подробно ниже.
Далее, по меньшей мере, одни из данных сегментированного трехмерного ультразвукового изображения и данных сегментированного контрастного трехмерного ультразвукового изображения обрабатываются на этапе S5, чтобы обеспечивать данные отображения.
На этапе S6 данные отображения затем используются, чтобы обеспечивать трехмерное ультразвуковое изображение. Трехмерное ультразвуковое изображение может содержать нормальное ультразвуковое изображение и/или контрастное трехмерное ультразвуковое изображение. Если отображаются оба изображения, они также могут совмещаться.
Фиг. 5a показывает этапы, выполняемые в способе 112 для сегментации объекта.
После начала, на этапе S7 обеспечиваются данные трехмерного ультразвукового изображения и данные контрастного трехмерного ультразвукового изображения. На этапе S8 объект одновременно сегментируется из данных трехмерного ультразвукового изображения и данных контрастного трехмерного ультразвукового изображения.
В нашей заявке, мы хотим сегментировать два разных изображения I1 и I2 с в точности одним и тем же объектом, что может быть справедливым предположением, когда имеют дело с множеством органов, в частности, почками, или если оба изображения US и CEUS были получены в одно и то же время.
Если упомянутые два изображения уже были идеально совмещены, то ранее описанное уравнение может легко расширяться посредством добавления другого члена точности данных:
Figure 00000005
Однако совмещенное получение может иметь место, только если оба изображения US и CEUS получены одновременно. Является очень маловероятным, что изображения US и CEUS совмещены, если получаются последовательно. Следовательно, это учитывается с помощью другого преобразования. В общем, это преобразование может быть нежестким и иметь любой тип. Однако, в частности, в случае обследования жесткого органа, как, например, обследование почки, или если может делаться предположение поиска одного и того же объекта, это преобразование (обозначенное
Figure 00000006
) может быть жестким, т.е. оно обеспечивает возможность глобального изменения положения и ориентации, но только при одном и том же размере. Преобразование
Figure 00000006
также может устанавливаться на любое аффинное преобразование, например, чтобы учитывать изменения объема, без потери вычислительной эффективности. Энергия тогда становится
Figure 00000007
По существу, это корректирует информацию изображения, приходящую от второго члена, посредством жесткого преобразования
Figure 00000006
.
Третий член строится как ограничение на локальную деформацию. Он накладывает штраф, если локальная деформация служит причиной, что форма объекта отклоняется слишком сильно от начальной геометрической формы. Следовательно, так как мы осуществляем поиск минимума, в случае, когда первый и второй член ведут к одним и тем же результатам, решение, преобразовывающее начальную геометрическую форму менее, чем другие решения, будет рассматриваться как наилучшее. Параметр "λ" может устанавливаться, чтобы определять релевантность этого ограничения.
Для приложений US и CEUS, например, в случае объекта, который является почкой, объект имеет разный контраст в упомянутых двух изображениях. Она является более темной, чем фон в изображении US и более яркой в изображении CEUS. Чтобы учитывать это, должен добавляться знак минус перед соответствующим членом в энергии. Например, если данные изображения US должны совмещаться на данных изображения CEUS, ко второму члену должен добавляться знак минус. Оптимизация также выполняется посредством градиентного спуска, но одновременно над
Figure 00000003
,
Figure 00000002
и
Figure 00000006
. В конце, сегментация как набор нулевого уровня функции
Figure 00000008
является более точной, так как она использует информацию упомянутых двух изображений. Дополнительно, оценка преобразования
Figure 00000006
, которое позволяет совмещать упомянутые два изображения, достигается, например, для целей визуализации.
Фиг. 5b показывает один вариант осуществления того, как должен выполняться этап S8, выполняющий сегментацию. В этом варианте осуществления также совмещение данных трехмерного ультразвукового изображения и данных контрастного трехмерного ультразвукового изображения может получаться одновременно.
Фактическая сегментация получается посредством деформирования начальной геометрической формы с помощью двух преобразований, одного глобального, которое учитывает вращение, параллельное перемещение и масштабирование, и одного локального, которое фактически модифицирует начальную геометрическую форму. Упомянутые два преобразования находятся посредством минимизации конкурентной энергии области, так что деформированная форма соответствует границе целевого объекта в данных изображения. В этом варианте осуществления два основывающихся на изображении члена используются в члене энергии, так что учитываются оба US и CEUS. Так как упомянутые два набора данных изображения не необходимо совмещены, один из упомянутых двух основывающихся на изображении членов должен корректироваться посредством преобразования. Если, например, должна сканироваться почка, может делаться предположение, что почка не деформируется в течение получения данных нормального ультразвукового изображения и данных контрастного ультразвукового изображения, так что может применяться только жесткое преобразование, которое осуществляет параллельное перемещение и вращение. Затем, может оптимизироваться энергия по отношению к глобальному преобразованию, локальному преобразованию и жесткому преобразованию между изображением US и CEUS.
Сначала, сегментация может инициализироваться посредством нахождения начальной геометрической формы 64. Эта инициализация сегментации может выполняться следующим образом. Изображения CEUS органов, в частности, почки, демонстрируют кортикальное выделение, непосредственно за которым следует мозговое выделение. Тогда является доступной более хорошая визуализация ткани почки, так как она является высоко гиперэхогенной, тогда как ее жировое окружение не вырабатывает никакого сигнала. Так как форма почки может грубо аппроксимироваться посредством эллипсоида, проблема обнаружения почки в изображениях CEUS может изначально сводиться к нахождению наименьшего эллипсоида, окружающего большую часть гиперэхогенных вокселов. Были предложены способы, такие как преобразования Хофа, чтобы обнаруживать эллипсы в изображениях. Однако их расширение на три измерения, хотя является возможным, является обычно вычислительно дорогостоящим главным образом из-за количества параметров, подлежащих оценке (девять параметров для трехмерного эллипсоида). С другой стороны, статистические подходы, такие как устойчивые оценки на основе эллипсоидов минимального объема (MVE), более хорошо подходят, но требуют предварительного знания о пропорции внешних точек (здесь шума и артефактов), которое может изменяться от одного изображения к другому, и является, таким образом, не доступным.
Уже представленный способ может использоваться, чтобы устойчиво оценивать центр
Figure 00000009
и размер/ориентацию эллипсоида, кодированные посредством 3×3 положительно-определенной матрицы M. Устойчивое исключение внешних точек делается посредством оценки весовой функции w (определенной над областью изображения Ω в [0, 1]), которая обеспечивает количественную оценку уверенности для любой точки x, что она является внутренней точкой. Пусть
Figure 00000010
Figure 00000011
является полутоновым объемом, ищется c, M и w как минимизаторы следующей энергии обнаружения:
Figure 00000012
.
Эллипсоид неявно представляется посредством φ (которая является положительной внутри), таким образом, первый член Ed обеспечивает то, что эллипсоид включает в себя настолько много ярких вокселов, насколько возможно. Роль w состоит в том, чтобы отбрасывать влияние внешних точек. Второй член накладывает штраф на объем эллипсоида Vol(M) по отношению к объему области |Ω|. Он взвешен посредством параметра компромиссного соотношения μ>0 и нормализован посредством
Figure 00000013
.
Ed имеет статистическое значение: когда w фиксировано, его минимизаторы
Figure 00000014
являются соответственно центром масс и пропорциональны обратной ковариационной матрицы всех вокселов, взвешенных посредством Iw. Кроме того, Ed является линейным по отношению к w, которое является по определению ограниченным в [0; 1]. Поэтому, в каждом вокселе x минимизатор w*(x) равен 0 или 1, в зависимости только от знака
Figure 00000015
тогда является индикатором текущей оценки эллипсоида, которая была расширена пропорционально μ.
Выбор μ является первостепенным. Для идеального случая (белый эллипсоид на черном фоне), способ обеспечивает точное решение, если
Figure 00000016
(в 2D) или
Figure 00000017
(в 3D). На практике, должны выбираться значения, близкие к этим значениям.
Минимизация Ed выполняется с помощью альтернативной итеративной схемы, которая последовательно обновляет переменные c, M и w, как подытожено в таблице (1). По мере того, как энергия Ed уменьшается на каждом этапе, энергия сходится к локальному минимуму. На практике, требуется малое количество итераций для сходимости и время вычисления меньше, чем секунда на стандартном компьютере.
Способ для осуществления описанной выше формулы и уже известный специалисту в данной области техники может быть прочитан, как показано в следующей таблице:
Figure 00000018
Следовательно, вышеописанный способ, известный специалисту в данной области техники, может использоваться, чтобы инициализировать сегментацию. После нахождения этой начальной геометрической формы, однако, было обнаружено, что также совмещение 76 может инициализироваться. Это может выполняться посредством поиска начальной геометрической формы 64 также в данных нормального трехмерного ультразвукового изображения только посредством параллельного перемещения и вращения начальной геометрической формы. Посредством этого, может обеспечиваться начальное геометрическое преобразование между данными нормального трехмерного ультразвукового изображения и данными контрастного трехмерного ультразвукового изображения. Это геометрическое преобразование оценивается посредством исчерпывающего поиска (на параллельных перемещениях и вращениях) в нормальном трехмерном ультразвуковом изображении ранее оцененного эллипсоида. Затем, после обеспечения инициализаций для блока 64 и 76 и после обеспечения данных 62 трехмерного ультразвукового изображения и данных 60 контрастного трехмерного ультразвукового изображения, может осуществляться фактическая сегментация. Сегментация работает следующим образом.
Ранее обнаруженный эллипсоид теперь деформируется согласно ранее описанной схеме, чтобы сегментировать почку более точно. В конкретном приложении, основывающийся на изображении член устанавливается на
Figure 00000019
, где Δ-оператор обозначает оператор Лапласиана. Математически, минимизация Лапласиана изображения внутри объекта означает, что нормальные векторы поверхности объекта должны соответствовать градиенту изображения; то есть, можно сказать, что способ сегментации ищет края перехода с яркого на темное (или с темного на яркое, в зависимости от умножающего знака). Нежесткая локальная деформация
Figure 00000003
выражается с использованием поля смещения u, так что
Figure 00000020
.
Figure 00000021
является гауссовским ядром, которое обеспечивает встроенную гладкость. Обозначая изображения US или данные изображения US I1 и изображение CEUS или данные изображения CEUS I2, конечная энергия читается
Figure 00000022
Эта энергия минимизируется, по отношению к параметрам
Figure 00000002
, параметрам
Figure 00000006
и каждой компоненте векторного поля u, посредством градиентного спуска.
На фиг. 5b, глобальное преобразование данных 70 ультразвукового изображения и глобальное преобразование данных 68 контрастного ультразвукового изображения показаны как выполняющиеся при преобразовании обоих данных изображения в опорную систему. Данные нормального трехмерного ультразвукового изображения в блоке 74 и данные контрастного ультразвукового изображения преобразуются в блоке 72. Однако конечно, может иметь место, что в качестве опорной системы может использоваться координатная система либо данных нормального трехмерного ультразвукового изображения либо данных контрастного ультразвукового изображения, так что только одни из данных нормального трехмерного ультразвукового изображения и данных контрастного трехмерного ультразвукового изображения должны действительно преобразовываться. Одновременно, локальная деформация 78 выполняется, как объяснено выше. Это ведет к деформированной модели 66 начальной геометрической формы 64, как объяснено выше. Посредством применения этой деформированной модели начальной геометрической формы, например, в случае почки, эллипсоида, объект может сегментироваться из данных нормального трехмерного ультразвукового изображения и данных контрастного трехмерного ультразвукового изображения в блоке 80. В качестве стороннего результата, так как данные нормального трехмерного ультразвукового изображения и данные контрастного трехмерного ультразвукового изображения должны глобально и локально деформироваться в одной и той же опорной системе, преобразование, совмещающее данные нормального трехмерного ультразвукового изображения и данные трехмерного ультразвукового изображения, находится в блоке 76.
Снова, для иллюстративных целей, фиг. 6a показывает иллюстративную функцию ϕ 84 в изображении 82.
На фиг. 6b, показано, что обеспечивается начальная геометрическая форма 64, найденная в обработке инициализации, описанной выше, из базовой геометрической формы 84. Ищется преобразование ψ, которое ведет к деформированной модели 86, которая сегментирует объект из данных нормального трехмерного ультразвукового изображения и данных контрастного трехмерного ультразвукового изображения.
На фиг. 6c, снова, показано подробно то, как преобразование из начальной геометрической формы 64 в деформированную модель 86 разделяется между локальной деформацией 78 и глобальной деформацией 68, 70. Как объяснено выше, обеспечивается функция 90 локального преобразования, которая локально деформирует начальную геометрическую форму в деформированную форму 92. Затем, обеспечивается функция 94 глобального преобразования, чтобы параллельно перемещать, вращать и масштабировать деформированную модель 92. Соответствующие результаты показаны на фиг. 7 по 9.
Фиг. 7 показывает результаты сегментации предшествующего уровня техники только на контрастном трехмерном ультразвуковом изображении. Результат такой обработки сегментации является некорректным, так как может иметься утечка, например, крови, в соседней структуре. При использовании только такого контрастного изображения, решение возникающих проблем является очень трудным, так как присутствует неоднозначная информация изображения.
Изображение 96 показывает, что объект 97, в показанных примерах на фиг. 7-9 для почки, в сегментации показывается посредством линии 98, что является, однако, некорректным.
Как показывает фиг. 8, эта неоднозначность может решаться посредством использования способа сегментации и системы формирования ультразвуковых изображений, предложенных выше. Фиг. 8 показывает сегментацию почки одновременно в обоих нормальном ультразвуковом изображении 100, и контрастном ультразвуковом изображении 99. Предложенный способ в системах формирования ультразвуковых изображений будет находить одну и ту же форму в обоих изображениях. Сегментация будет корректной в обоих изображениях. Могут происходить незначительные отклонения между сегментированными объектами 101 и 102, если показаны разные размеры в упомянутых двух изображениях 99, 100.
Дополнительно, так как в стороннем результате обнаружено преобразование совмещения, фиг. 9 показывает, что два совмещенных изображения, совмещенное контрастное ультразвуковое изображение 104 и совмещенное нормальное ультразвуковое изображение 105 могут быть показаны одновременно, как изображено на фиг. 9.
В то время как изобретение было проиллюстрировано и подробно описано на чертежах и в предшествующем описании, такая иллюстрация и описание должны рассматриваться как иллюстративные или примерные и не ограничительные; изобретение не ограничено раскрытыми вариантами осуществления. Другие изменения с раскрытыми вариантами осуществления могут пониматься и осуществляться специалистами в данной области техники при применении на практике заявленного изобретения, из изучения чертежей, раскрытия, и прилагаемой формулы изобретения.
В формуле изобретения, признак "содержащий" не исключает другие элементы или этапы, и использование формы единственного числа не исключает множественность. Одиночный элемент или другой блок может исполнять функции нескольких элементов, перечисленных в формуле изобретения. Тот факт, что некоторые меры перечисляются во взаимно разных зависимых пунктах формулы изобретения, не указывает, что комбинация этих мер не может использоваться для преимущества.
Компьютерная программа может сохраняться/распространяться на подходящем носителе, таком как оптический запоминающий носитель или твердотельный носитель, предоставляемом вместе с или как часть другого аппаратного обеспечения, но также может распространяться в других формах, как, например, посредством сети Интернет или других проводных или беспроводных телекоммуникационных систем.
Любые ссылочные позиции в формуле изобретения не должны толковаться как ограничивающие объем.

Claims (26)

1. Система (10) формирования ультразвуковых изображений для обследования объекта (97) в объеме (40), при этом система формирования ультразвуковых изображений содержит:
массив (26) преобразователей, сконфигурированный с возможностью обеспечивать ультразвуковой приемный сигнал,
формирователь (30) пучка, сконфигурированный с возможностью управлять массивом преобразователей, чтобы сканировать объем (40), и дополнительно сконфигурированный с возможностью принимать ультразвуковой приемный сигнал и обеспечивать сигнал изображения,
контроллер (28) для управления формирователем (30) пучка,
сигнальный процессор (34), сконфигурированный с возможностью принимать сигнал изображения и обеспечивать данные трехмерного изображения и данные контрастного трехмерного изображения, и
процессор (36) изображений, сконфигурированный с возможностью принимать данные изображения и обеспечивать данные отображения,
при этом процессор изображений сконфигурирован с возможностью принимать данные (62) трехмерного ультразвукового изображения и данные (60) контрастного трехмерного ультразвукового изображения и выполнять сегментацию (80) объекта (97) одновременно из данных (62) трехмерного ультразвукового изображения и данных (60) контрастного трехмерного ультразвукового изображения.
2. Система формирования ультразвуковых изображений по п. 1, в которой процессор (36) изображений дополнительно сконфигурирован с возможностью обеспечивать данные отображения с использованием, по меньшей мере, одних из данных сегментированного трехмерного ультразвукового изображения и данных сегментированного контрастного трехмерного ультразвукового изображения, при этом система (10) формирования ультразвуковых изображений дополнительно содержит устройство (18) отображения, сконфигурированное с возможностью принимать данные отображения и обеспечивать изображение.
3. Система формирования ультразвуковых изображений по п. 1, в которой процессор (36) изображений сконфигурирован с возможностью выполнять сегментацию (80) посредством минимизации члена энергии, так что деформированная начальная геометрическая форма (64), по существу, соответствует границе объекта.
4. Система формирования ультразвуковых изображений по п. 3, в которой член энергии содержит первый член, представляющий собой данные (62) трехмерного ультразвукового изображения, и второй член, представляющий собой данные (60) контрастного трехмерного ультразвукового изображения, при этом деформированная начальная геометрическая форма (64) является одной и той же в обоих первом и втором членах и при этом один из первого и второго членов содержит совмещающее преобразование (76), совмещающее данные (62) трехмерного ультразвукового изображения и данные (60) контрастного трехмерного ультразвукового изображения.
5. Система формирования ультразвуковых изображений по п. 4, в которой деформация начальной геометрической формы (64) выполняется посредством применения глобального преобразования (94) и нежесткого локального преобразования (90) над начальной геометрической формой (64), при этом глобальное преобразование (94) параллельно перемещает, вращает и масштабирует начальную геометрическую форму (64), и при этом нежесткое локальное преобразование (90) применяет поле смещения, имеющее встроенную гладкость, в отношении начальной геометрической формы (64), и при этом член энергии дополнительно содержит третий член, ограничивающий нежесткое локальное преобразование (90).
6. Система формирования ультразвуковых изображений по п. 1, в которой процессор (36) изображений дополнительно сконфигурирован с возможностью инициализировать сегментацию (80) посредством обнаружения объекта (97) в данных (60) контрастного трехмерного ультразвукового изображения посредством оценки центра, размера и ориентации базовой геометрической формы, и обеспечивать начальную геометрическую форму (64) посредством оцененного центра, размера и ориентации базовой геометрической формы.
7. Система формирования ультразвуковых изображений по п. 6, в которой процессор (36) изображений дополнительно сконфигурирован с возможностью инициализировать совмещение данных (62) трехмерного ультразвукового изображения и данных (60) контрастного трехмерного ультразвукового изображения посредством обнаружения начальной геометрической формы (64) в данных (60) трехмерного ультразвукового изображения только посредством выполнения параллельного перемещения и вращения начальной геометрической формы (64), обеспеченной посредством инициализации сегментации (80) в данных (62) контрастного трехмерного ультразвукового изображения.
8. Система формирования ультразвуковых изображений по п. 4, в которой процессор (36) изображений дополнительно сконфигурирован так, что совмещающее преобразование является аффинным.
9. Система формирования ультразвуковых изображений по п. 4, при этом система (10) формирования ультразвуковых изображений выполнена с возможностью обследования почки пациента (12), при этом процессор изображений (36) дополнительно сконфигурирован так, что сегментация (80) инициализируется посредством оценки базовой геометрической формы, при этом базовая геометрическая форма является эллипсоидом и при этом совмещающее преобразование является жестким.
10. Способ (110) обеспечения трехмерного ультразвукового изображения объекта (97) в объеме (40), при этом способ содержит следующие этапы:
ввод (S0) данных (62) трехмерного ультразвукового изображения объема (40) и данных (60) контрастного трехмерного ультразвукового изображения объема, причем этап ввода (S0) включает в себя следующие этапы: ультразвуковое сканирование (S1) объема (40) с помощью массива (26) преобразователей, обеспечивающего ультразвуковой сигнал; контрастное ультразвуковое сканирование (S2) объема с помощью массива (26) преобразователей, обеспечивающего контрастный ультразвуковой сигнал; и обработку (S3) ультразвукового сигнала, чтобы обеспечивать данные трехмерного ультразвукового изображения, и обработку контрастного ультразвукового сигнала, чтобы обеспечивать трехмерные данные контрастного ультразвукового изображения;
обработку (S4) данных (62) трехмерного ультразвукового изображения и данных (60) контрастного трехмерного ультразвукового изображения, чтобы обеспечивать данные сегментированного трехмерного ультразвукового изображения и данные сегментированного контрастного трехмерного ультразвукового изображения, причем этап обработки (S4) включает в себя следующие этапы: обеспечение данных (62) трехмерного ультразвукового изображения и данных (60) контрастного трехмерного ультразвукового изображения; и сегментацию объекта одновременно из данных (62) трехмерного ультразвукового изображения и данных (60) контрастного трехмерного ультразвукового изображения;
обработку (S5), по меньшей мере, одних из данных сегментированного трехмерного ультразвукового изображения и данных (60) сегментированного контрастного трехмерного ультразвукового изображения, чтобы обеспечивать данные отображения;
отображение (S6) трехмерного ультразвукового изображения с использованием данных отображения.
11. Способ по п. 10, в котором этап ультразвукового сканирования (S1) объема (40) с помощью массива (26) преобразователей, обеспечивающего ультразвуковой сигнал, и этап контрастного ультразвукового сканирования (S2) объема с помощью массива (26) преобразователей, обеспечивающего контрастный ультразвуковой сигнал, выполняются последовательно или одновременно.
12. Носитель данных, содержащий компьютерную программу, содержащую средство программного кода для предписания компьютеру выполнять следующие этапы, когда упомянутая компьютерная программа выполняется на компьютере:
обработку (S3) принимаемого ультразвукового сигнала для обеспечения данных трехмерного ультразвукового изображения,
обработку принимаемого контрастного ультразвукового сигнала для обеспечения данных контрастного трехмерного ультразвукового изображения,
обработку (S4) данных (62) трехмерного ультразвукового изображения и данных (60) контрастного трехмерного ультразвукового изображения, чтобы обеспечивать данные сегментированного трехмерного ультразвукового изображения и данные сегментированного контрастного трехмерного ультразвукового изображения, причем этап обработки (S4) включает в себя следующие этапы: обеспечение данных (62) трехмерного ультразвукового изображения и данных (60) контрастного трехмерного ультразвукового изображения; и сегментацию объекта одновременно из данных (62) трехмерного ультразвукового изображения и данных (60) контрастного трехмерного ультразвукового изображения;
обработку (S5), по меньшей мере, одних из данных сегментированного трехмерного ультразвукового изображения и данных (60) сегментированного контрастного трехмерного ультразвукового изображения, чтобы обеспечивать данные отображения.
RU2015111244A 2012-08-30 2013-08-16 Связанная сегментация в стандартных и контрастных ультразвуковых 3d-изображениях RU2653274C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12306033.7 2012-08-30
EP12306033 2012-08-30
PCT/IB2013/056676 WO2014033584A1 (en) 2012-08-30 2013-08-16 Coupled segmentation in 3d conventional ultrasound and contrast-enhanced ultrasound images

Publications (2)

Publication Number Publication Date
RU2015111244A RU2015111244A (ru) 2016-10-20
RU2653274C2 true RU2653274C2 (ru) 2018-05-07

Family

ID=46970164

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2015111244A RU2653274C2 (ru) 2012-08-30 2013-08-16 Связанная сегментация в стандартных и контрастных ультразвуковых 3d-изображениях

Country Status (6)

Country Link
US (2) US9934579B2 (ru)
EP (1) EP2891133B1 (ru)
JP (1) JP6267707B2 (ru)
CN (1) CN104584074B (ru)
RU (1) RU2653274C2 (ru)
WO (1) WO2014033584A1 (ru)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934579B2 (en) * 2012-08-30 2018-04-03 Koninklijke Philips N.V. Coupled segmentation in 3D conventional ultrasound and contrast-enhanced ultrasound images
JP6537981B2 (ja) * 2013-02-28 2019-07-03 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 複数の三次元ビューからの大きな対象のセグメンテーション
US20170169609A1 (en) * 2014-02-19 2017-06-15 Koninklijke Philips N.V. Motion adaptive visualization in medical 4d imaging
CN106456128B (zh) 2014-06-12 2020-10-23 皇家飞利浦有限公司 医学图像处理设备和方法
US10535149B2 (en) 2014-06-25 2020-01-14 Koninklijke Philips N.V. Imaging device for registration of different imaging modalities
US10977787B2 (en) * 2014-12-09 2021-04-13 Koninklijke Philips N.V. Feedback for multi-modality auto-registration
US11166700B2 (en) * 2015-03-25 2021-11-09 Koninklijke Philips N.V. Optimal ultrasound-based organ segmentation
CN107835661B (zh) * 2015-08-05 2021-03-23 深圳迈瑞生物医疗电子股份有限公司 超声图像处理系统和方法及其装置、超声诊断装置
KR102522539B1 (ko) * 2015-08-17 2023-04-18 삼성전자주식회사 의료영상 표시장치 및 의료영상 처리방법
US10417778B2 (en) 2016-01-29 2019-09-17 Canon Medical Systems Corporation Ultrasonic diagnostic apparatus and medical image processing apparatus
CN106056589B (zh) * 2016-05-24 2018-12-07 西安交通大学 一种呼吸运动补偿的超声造影灌注参量成像方法
KR101915254B1 (ko) * 2016-11-17 2018-11-05 삼성메디슨 주식회사 초음파 영상 장치 및 제어방법
CN106991722A (zh) * 2017-03-01 2017-07-28 浙江大学 一种基于斜椭球域影响凸包的几何网格模型变形方法
EP3412214A1 (en) * 2017-06-08 2018-12-12 Koninklijke Philips N.V. Ultrasound imaging method
CN108198235B (zh) * 2017-12-25 2022-03-04 中国科学院深圳先进技术研究院 一种三维超声重建方法、装置、设备及存储介质
US10885630B2 (en) * 2018-03-01 2021-01-05 Intuitive Surgical Operations, Inc Systems and methods for segmentation of anatomical structures for image-guided surgery
RU2681700C1 (ru) * 2018-04-19 2019-03-12 Общество С Ограниченной Ответственностью "Биомедицинские Технологии" Способ трехмерной визуализации в реальном времени
EP3692925A1 (en) * 2019-02-11 2020-08-12 Koninklijke Philips N.V. Methods and systems for valve regurgitation assessment
US11308627B1 (en) 2021-09-17 2022-04-19 King Abdulaziz University Method for 3D ultrasound reconstruction of supraspinatus (SSP) tendon
CN113962991B (zh) * 2021-12-21 2022-03-15 武汉大学 医学图像的处理方法、装置、计算机设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090326363A1 (en) * 2008-05-02 2009-12-31 Eigen, Llc Fused image modalities guidance
RU2436514C2 (ru) * 2006-06-23 2011-12-20 Конинклейке Филипс Электроникс Н.В. Способ и устройство для формирования трехмерного ультразвукового изображения

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6544179B1 (en) 2001-12-14 2003-04-08 Koninklijke Philips Electronics, Nv Ultrasound imaging system and method having automatically selected transmit focal positions
US7650025B2 (en) 2005-08-01 2010-01-19 Siemens Medical Solutions Usa, Inc. System and method for body extraction in medical image volumes
JP5378997B2 (ja) * 2006-07-14 2013-12-25 コーニンクレッカ フィリップス エヌ ヴェ 超音波画像システムの画像を整理し、記録し、表示するためのシステム及び方法
CN101568942A (zh) * 2006-12-29 2009-10-28 皇家飞利浦电子股份有限公司 图像引导介入过程中改进的用于补偿手术中发生的运动的图像配准和方法
EP2358269B1 (en) * 2007-03-08 2019-04-10 Sync-RX, Ltd. Image processing and tool actuation for medical procedures
US20120082354A1 (en) 2009-06-24 2012-04-05 Koninklijke Philips Electronics N.V. Establishing a contour of a structure based on image information
US8724878B2 (en) * 2012-01-12 2014-05-13 General Electric Company Ultrasound image segmentation
WO2013179224A1 (en) * 2012-05-31 2013-12-05 Koninklijke Philips N.V. Ultrasound imaging system and method for image guidance procedure
US9934579B2 (en) * 2012-08-30 2018-04-03 Koninklijke Philips N.V. Coupled segmentation in 3D conventional ultrasound and contrast-enhanced ultrasound images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2436514C2 (ru) * 2006-06-23 2011-12-20 Конинклейке Филипс Электроникс Н.В. Способ и устройство для формирования трехмерного ультразвукового изображения
US20090326363A1 (en) * 2008-05-02 2009-12-31 Eigen, Llc Fused image modalities guidance

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Prevost R. et al. "Kidney detection and real-time segmentation in 3D contrast-enhanced ultrasound images", BIOMEDICAL IMAGING, 2012 IEEE. Yezzi A. et al. "A variational framework for integrating segmentation and registration through active contours", MEDICAL IMAGE ANALYSIS, 2003. *

Also Published As

Publication number Publication date
US10242450B2 (en) 2019-03-26
JP2015528343A (ja) 2015-09-28
CN104584074B (zh) 2020-09-22
US20150213613A1 (en) 2015-07-30
BR112015004061A2 (pt) 2017-07-04
WO2014033584A1 (en) 2014-03-06
RU2015111244A (ru) 2016-10-20
EP2891133A1 (en) 2015-07-08
EP2891133B1 (en) 2019-10-09
US20180211391A1 (en) 2018-07-26
JP6267707B2 (ja) 2018-01-24
US9934579B2 (en) 2018-04-03
CN104584074A (zh) 2015-04-29

Similar Documents

Publication Publication Date Title
RU2653274C2 (ru) Связанная сегментация в стандартных и контрастных ультразвуковых 3d-изображениях
RU2663649C2 (ru) Сегментация крупных объектов из нескольких трехмерных видов
JP6745861B2 (ja) リアルタイム超音波イメージングのトリプレーン画像の自動セグメント化
KR101932721B1 (ko) 의료 영상들의 정합 방법 및 장치
KR101121396B1 (ko) 2차원 초음파 영상에 대응하는 2차원 ct 영상을 제공하는 시스템 및 방법
US9092848B2 (en) Methods for automatic segmentation and temporal tracking
US9179890B2 (en) Model-based positioning for intracardiac echocardiography volume stitching
US8265363B2 (en) Method and apparatus for automatically identifying image views in a 3D dataset
CN106137249B (zh) 在窄视场情况下进行配准用于多模态医学成像融合
US20220370033A1 (en) Three-dimensional modeling and assessment of cardiac tissue
US20230026942A1 (en) Intelligent measurement assistance for ultrasound imaging and associated devices, systems, and methods
Wen et al. An adaptive kernel regression method for 3D ultrasound reconstruction using speckle prior and parallel GPU implementation
JP2018143416A (ja) 生体内運動追跡装置
JP6887942B2 (ja) 超音波撮像装置、画像処理装置、及び方法
CN111166373B (zh) 一种定位注册方法、装置和系统
Ma et al. Left ventricle segmentation from contrast enhanced fast rotating ultrasound images using three dimensional active shape models
King et al. Image-to-physical registration for image-guided interventions using 3-D ultrasound and an ultrasound imaging model
EP3848892A1 (en) Generating a plurality of image segmentation results for each node of an anatomical structure model to provide a segmentation confidence value for each node
JP2023524543A (ja) 超音波データのセグメンテーション
BR112015004061B1 (pt) Sistema de geração de imagens por ultrassom para a inspeção de um objeto em um volume, e método para a provisão de uma imagem por ultrassom tridimensional de um objeto em um volume.
Qi Real-time four-dimensional cardiac image analysis for left ventricular function