RU2669680C2 - Инициализация модели на основе классификации видов - Google Patents

Инициализация модели на основе классификации видов Download PDF

Info

Publication number
RU2669680C2
RU2669680C2 RU2015144974A RU2015144974A RU2669680C2 RU 2669680 C2 RU2669680 C2 RU 2669680C2 RU 2015144974 A RU2015144974 A RU 2015144974A RU 2015144974 A RU2015144974 A RU 2015144974A RU 2669680 C2 RU2669680 C2 RU 2669680C2
Authority
RU
Russia
Prior art keywords
image
location
model
image processing
hough
Prior art date
Application number
RU2015144974A
Other languages
English (en)
Other versions
RU2015144974A (ru
Inventor
Томас Хайко ШТЕЛЕ
Юрген ВЕСЕ
Ирина ВЕХТЕР-ШТЕЛЕ
Original Assignee
Конинклейке Филипс Н.В.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Конинклейке Филипс Н.В. filed Critical Конинклейке Филипс Н.В.
Publication of RU2015144974A publication Critical patent/RU2015144974A/ru
Application granted granted Critical
Publication of RU2669680C2 publication Critical patent/RU2669680C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/753—Transform-based matching, e.g. Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

Изобретение относится к области обработки изображений. Технический результат – повышение точности результатов сегментации за счет определения параметров расположения объекта, зафиксированного на изображении. Устройство обработки изображений содержит: порт (IN) ввода для приема изображения (3DV) объекта (HT), полученного в поле обзора (FoV) посредством формирователя изображений (USP), при этом изображение фиксирует расположение объекта, соответствующее полю обзора (FoV) формирователя изображений; классификатор, сконфигурированный с возможностью использования геометрической модели (MOD) объекта (HT) для определения, из совокупности предварительно определенных расположений, расположения объекта, зафиксированного на изображении; порт (OUT) вывода, сконфигурированный с возможностью вывода параметров расположения, описывающих найденное расположение, при этом классификатор использует обобщенное преобразование Хафа (GHT), для определения расположения объекта, причем каждое из предварительно определенных расположений ассоциировано с точкой в пространстве параметров Хафа преобразования GHT. 3 н. и 7 з.п. ф-лы, 5 ил., 1 табл.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение относится к устройству обработки изображений, способу обработки изображений, элементу компьютерной программы и машиночитаемому носителю.
УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ
Зависимость от формирования изображений высокого качества преобладает в области медицины, хотя, в этом отношении можно также упомянуть примеры из других областей, например, неразрушающего испытания материалов, геологии или досмотра багажа для проверок безопасности. Особенно сложной задачей является получение высококачественных изображений «скрытых» объектов, труднодоступных для визуального контроля. Например, в области медицины четкие изображения внутренних органов являются важным средством диагностики. В частности, в 3-мерной трансэзофагеальной эхокардиографии (3-мерная ТЭЭ) оборудование для 3-мерной ультразвуковой визуализации применяется для получения объемных ультразвуковых изображений сердца пациента. Патент США 7,141,020 подателя настоящей заявки описывает систему 3-мерной ультразвуковой визуализации. Часто применяются также другие методы визуализации, например, компьютерный томографический (КТ-) сканер. Изображения, полученные упомянутыми методами визуализации, могут подвергаться постобработке для поддержки улучшенной идентификации анатомической информации, закодированной в изображениях. Упомянутая постобработка включает в себя сегментацию изображений. Сегментация позволяет четко определить, какая часть изображения представляет сердце человека или животного или другой объект интереса. Однако, выяснилось, что, в некоторых обстоятельствах, результаты сегментации являются недостоверными.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Следовательно, может существовать потребность в устройстве, не имеющем вышеупомянутых или подобных недостатков.
Цель настоящего изобретения достигается с помощью предмета изобретения, заявленного в независимых пунктах формулы изобретения, при этом дополнительные варианты осуществления включены в зависимые пункты формулы изобретения. Следует отметить, что нижеописанный аспект изобретения в равной степени относится к способу обработки изображений, элементу компьютерной программы и машиночитаемому носителю.
В соответствии с первым аспектом настоящего изобретения предлагается устройство обработки изображений, содержащее:
порт ввода для приема изображения объекта, полученного в поле обзора посредством формирователя изображений, при этом изображение записывает расположение объекта, соответствующего полю обзора формирователя изображений;
классификатор, сконфигурированный с возможностью использования геометрической модели объекта для определения, из совокупности предварительно определенных (возможных) расположений, расположения объекта, записанного в изображении;
порт вывода, сконфигурированный с возможностью вывода параметров расположения, описывающих найденное расположение.
В соответствии с одним вариантом осуществления, устройство обработки изображений дополнительно содержит сегментатор, сконфигурированный с возможностью использования параметров расположения в качестве инициализирующей информации для сегментации изображения для объекта в предполагаемом расположении. Сегментация на базе моделей основана на правильной инициализации геометрической модели, которая используется в алгоритме сегментатора. Однако, когда расположение органа претерпевает изменение из-за анатомической изменчивости или изменения геометрии визуализации (например, в методе 3D TEE в отличие от КТ, когда любые изменения геометрии визуализации едва заметны), стандартная инициализация на основе априорного знания не достигает успеха. Предлагаемое устройство выполняет видозависимую классификацию и в дальнейшем использует данную информацию в одном варианте осуществления для сегментации объекта, который может быть интересующим органом. Другими словами, устройство способно автоматически обнаруживать расположение органа, подлежащего сегментации, по отношению к опорному расположению. Расположение включает в себя, в частности, местоположение объекта и его ориентацию по отношению к модели в опорном расположении. Параметры расположения, установленные классификатором, описывают эти местоположение и ориентацию. Затем параметры расположения используются в одном варианте осуществления для инициализации конвейера сегментирующей обработки, в частности, для инициализации модели, подлежащей использованию при сегментации. Параметры расположения могут предоставляться в разных формах, например, в виде матрицы для преобразования, относящегося к расположению.
В одном варианте осуществления преобразование применяется к модели для образования преобразованной модели в «правильном» расположении, которое соответствует расположению объекта, записанному в изображении. В данном варианте осуществления установленные параметры расположения допускают адаптацию модели к расположению объекта, записанному в изображении. В еще одном варианте осуществления преобразование применяется для преобразования изображения. Предоставление параметров расположения в разных формах позволяет адаптировать предложенное устройство к внутреннему алгоритмическому функционированию данного сегментатора. Таким образом, предлагаемое устройство можно использовать как «расширение» для существующих сегментаторов.
В одном варианте осуществления устройство работает автоматически без пользовательского ввода во время работы с изображением. Параметры предполагаемого расположения автоматически передаются в сегментатор для инициализации. В полуавтоматическом варианте осуществления выходные параметры расположения отображаются на экране для верификации экспертом. Например, модель может быть преобразована с использованием параметров расположения в установленное расположение и затем отображена на экране для контроля пользователем. Устройство может работать с последовательностью изображений, предоставляемой формирователем изображений во время сеанса визуализации. В данном варианте осуществления устройство выдает соответствующую последовательность параметров расположения, каждый для использования при отдельной инициализации сегментации соответствующего изображения в последовательности.
В одном варианте осуществления модель является поверхностной сеткой в 3 измерениях, которая очерчивает форму объекта. В одном варианте осуществления сетка составлена из взаимно соединенных треугольных элементов, однако, возможно также применение других сеток, например, сеток из прямоугольных/квадратных элементов или сеток, составленных из поверхностей, представленных NURBS (неравномерными рациональными сплайнами Безье), (NURBS-поверхностей).
В соответствии с одним вариантом осуществления, классификатор использует обобщенное преобразование Хафа (GHT) для определения расположения объекта. Каждое из предварительно определенных расположений ассоциировано с точкой в пространстве параметров (Хафа) преобразования GHT. В соответствии с одним вариантом осуществления преобразование GHT основано на множестве отдельных аккумуляторов Хафа, предназначенных, каждый, для одного из разных предварительно определенных расположений. Другими словами, разные ориентации не соединяются для формирования одного аккумулятора. Таким образом, время центрального процессора (ЦП) можно экономить без ущерба для точности, поскольку объем вычислений только линейно зависит от числа разных ориентаций. В частности, и в соответствии с одним вариантом осуществления, расположение определяется как местоположение и ориентация объекта, записанные в изображении. Каждый аккумулятор на каждое расположение является отдельной структурой данных, которая записывает число, на каждое местоположение в пространстве Хафа, указывающее, сколько точек изображения соответствует данной конкретной точке пространства Хафа. В одном варианте осуществления преобладающие расположения (ориентации или местоположения) заучиваются в фазе обучения на обучающих изображениях. В альтернативном варианте осуществления роли местоположения расположения и ориентации расположения изменены на противоположные, то есть, отдельные аккумуляторы приходятся на каждое местоположение, и соответствующие элементы данных записывают соответствие по отношению к ориентациям.
При использовании некоторых показателей качества, аккумуляторы можно сравнивать для нахождения аккумулятора, который оптимально соответствует изображению по показателю. В таком случае, установление оптимально соответствующего аккумулятора определяет искомую ориентацию, и элементы данных в оптимально соответствующем аккумуляторе используются для установления местоположения, которое совместно с ориентацией определяет искомые параметры расположения. Затем, на основании параметров расположения можно определить аффинное преобразование (или преобразование другого типа), которое преобразует геометрическую модель таким образом, что ее можно использовать как исходный пункт для ранее упомянутой сегментации на базе модели. В соответствии с одним вариантом осуществления, показатель качества является максимумом по всем элементам данных аккумулятора. В соответствии с одним вариантом осуществления, используют взвешенный максимум, например, чтобы приписывать разные веса элементам данных из разных аккумуляторов. В варианте осуществления, в котором разные аккумуляторы представляют разные ориентации, взвешенный максимум эквивалентен присвоению весового коэффициента разным ориентациям. В некоторых вариантах осуществления предусмотрены показатели энтропии, при этом оценивается энтропия в окрестности каждого максимального элемента данных на каждый аккумулятор, и выдается аккумулятор с максимальной энтропией с наибольшей энтропией. Вновь, максимум можно брать как абсолютный, «простой» максимум или как взвешенный максимум, упомянутый выше.
В соответствии с другим вариантом осуществления, устройство обработки изображений содержит идентификатор, сконфигурированный с возможностью идентификации одного (но, обычно, более) ориентиров в изображении. Каждое предварительно определенное расположение ассоциировано с преобразованием. Классификатор выполняет функции использования, по меньшей мере, одного (но, обычно, двух или более) из преобразований для соответствующего преобразования координат идентифицированных ориентиров и сравнения преобразованных координат ориентиров с координатами ориентиров модели. На основании показателя подобия, из, по меньшей мере, двух преобразований устанавливается преобразование оптимального соответствия. Параметры расположения описывают расположение, ассоциированное с упомянутым преобразованием оптимального соответствия. В одном варианте осуществления параметр расположения является преобразованием оптимального соответствия и может применяться к модели для ее адаптации к изображению, как описано выше.
В соответствии с одним вариантом осуществления, классификатор выполняет функцию формирования предварительного преобразования из изображения в модель. Предварительное преобразование основано на i) координатах идентифицированных ориентиров в изображении и ii) координатах заданных ориентиров в модели. Классификатор сконфигурирован с возможностью сравнения, на основании показателя подобия, предварительного преобразования с одним (но, обычно, двумя или более) из предварительно определенных преобразований, чтобы таким образом установить преобразование оптимального соответствия, и выходные параметры расположения описывают расположение, ассоциированное с упомянутым преобразованием оптимального соответствия. И вновь, подобно предыдущему варианту осуществления, параметр расположения может представляться в форме преобразования оптимального соответствия и может применяться к модели для ее адаптации к изображению.
В соответствии с одним вариантом осуществления, классификатор использует набор весовых коэффициентов, которые отражают предполагаемое пространственное отношение между местоположением формирователя изображений и объектом, подлежащим визуализации, когда применяют формирователь изображений. Это позволяет дополнительно повысить точность параметров расположения. В варианте осуществления преобразования Хафа с несколькими аккумуляторами упомянутые весовые коэффициенты для пространственного отношения между формирователем изображений и объектом можно использовать для определения еще одного варианта осуществления показателя качества для сравнения аккумуляторов. В данном варианте осуществления максимальный элемент данных отбирается по взвешенным аккумуляторам. Элементы данных из аккумуляторов, которые представляют расположения в соответствии с предполагаемым пространственным отношением между формирователем изображений и объектом, являются предпочтительными и поэтому имеют больший присвоенный вес, чем элементы данных из других аккумуляторов.
Устройство можно применять во множестве различных задач сегментации для средств, в которых не известно расположение органа в наборе данных изображения. Устройство можно эквивалентно применять со средствами, в которых начало и ориентации осей координат не зафиксированы или не известны заранее. Примером таких средств является ультразвуковая визуализация методом ТЭЭ, для которой не известны точные местоположение и ориентация датчика. В соответствии с одним вариантом осуществления, формирователь изображений является ультразвуковым датчиком для 3-мерной визуализации, и изображение является объемом 3-мерных данных, полученным упомянутым датчиком. Можно также предположить, что выходные параметры расположения можно также использовать для других задач обработки изображений, кроме сегментации, в которых требуется знание о расположении объекта в наборе данных изображения.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Примерные варианты осуществления изобретения описаны ниже со ссылкой на следующие чертежи, на которых:
Фигура 1 - схема сбора информации на основании анализа изображений;
Фигура 2 - один вариант осуществления процессора изображений, используемого в схеме на фигуре 1;
Фигура 3 - второй вариант осуществления процессора изображений, используемого в схеме на фигуре 1;
Фигура 4 - параметризованное описание формы;
Фигура 5 - блок-схема последовательности операций способа обработки изображений.
ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
На фигуре 1 представлена схема сбора информации на основании анализа изображений в контексте медицинского применения.
В частности, фигура 1 представляет схему для 3-мерной ТЭЭ. Схема 3-мерной ТЭЭ включает в себя, в качестве своих основных компонентов, оборудование USE для 3-мерной ультразвуковой визуализации и рабочую станцию WS с монитором M.
Как подробно поясняется ниже, УЗИ (ультразвуковое) оборудование USE позволяет получать изображение сердца HT человека или животного. УЗИ оборудование имеет коммуникационную связь с рабочей станцией WS. После того, как данное изображение получено формирователем изображений, оно передается в рабочую станцию WS и сохраняется в памяти. Затем изображение может подвергаться обработке изображения в рабочей станции WS нижеописанным образом. В одном варианте осуществления рабочая станция WS выполняет генератор графического отображения, который пригоден для представления полученных/обработанных изображений для отображения на мониторе M.
Ультразвуковое оборудование USE включает в себя контроллер USG и ультразвуковой датчик USP, связанный с контроллером USG по линии CL связи. Ультразвуковой датчик USP заканчивается на его рабочем конце ультразвуковым преобразователем UST. В одном варианте осуществления головка преобразователя UST включает в себя решетку акустических элементов (например, пьезоэлектрических элементов).
Слева на фигуре 1 показано, как упомянутое ультразвуковое оборудование USE используется для получения изображений сердца. После введения транквилизатора или аналогичного средства в пациента, УЗИ датчик USP осторожно вводят в пищевод E пациента и продвигают, пока преобразователь UST на приходит в местоположение приблизительно на высоте сердца. 3-мерная ТЭЭ использует такую особенность анатомии, что внутри пищевода, на подходящей высоте в нем, преобразователь UST может располагаться очень близко к сердцу, и тогда между преобразователем UST и сердцем располагаются только ткань стенки пищевода E и трахея WP. Следовательно, с помощью 3-мерной ТЭЭ можно исключить препятствия от возмущающей ткани, например, кости, мышц, жира и т.д., что является обычным для более традиционных исследований (например, рентгеновских).
Чтобы максимально усовершенствовать сбор информации на основании анализа изображений, датчик USP располагают так, чтобы его концевой участок, то есть, преобразователь UST, имел множество степеней свободы. Например, относительно системы координат, в которой Z-ось предполагается проходящей вдоль продольной оси, заданной пищеводом E, преобразователь UST можно продвигать или отодвигать в продольном направлении вдоль упомянутого Z-направления. Упомянутый преобразователь можно также поворачивать вокруг оси поворота, проходящей вдоль Z-оси. Кроме того, в соответствии с одним вариантом осуществления, датчик USP включает в себя тросовый механизм (не показанный), с помощью которого можно осуществлять отклонение головки преобразователя UST, другими словами, тросовый механизм допускает отклонение головки от горизонтальной Z-оси в любую сторону упомянутой оси.
При использовании во время фактического получения изображений, схема в контроллере USG работает так, что акустическая энергия может выделяться в преобразователе UST в форме импульсных акустических волн. Волны формируют конический УЗ и определяют объем, облучаемый ультразвуком в любом случае. Термин «конус» применен в настоящем случае в широком математическом смысле для включения в него не только классических круговых конусов, но, в частности, пирамид. В одном варианте осуществления преобразователь UST является «многоплоскостным», другими словами, решетку преобразователя можно применять для осуществления поворота конуса УЗ, причем каждый угловой поворот задан отличающейся плоскостью, что добавляет еще одну степень свободы. Кроме того, в одном варианте осуществления можно также управлять «глубиной» визуализации конуса (вдоль главного направления распространения конического УЗ).
Преобразователь датчика USP сконфигурирован с возможностью излучения ультразвуковых импульсных волн, которые затем отражаются от структур в анатомии пациента. Датчик дополнительно сконфигурирован с возможностью регистрации отраженных волн в качестве приходящих отраженных звуковых волн, и процессор в контроллере USG вычисляет время распространения упомянутых приходящих отраженных волн, чтобы формировать объем данных 3-мерного ультразвукового изображения в мгновенном направлении распространения в конкретный момент времени t. Во время вмешательства, направление распространения, вероятно, будет изменяться несколько раз таким образом, что ультразвуковое оборудование USE выдает последовательность 3-мерных объемов 3DVt, снимаемых при разных полях обзора FoVt. УЗ оборудование USE, предусмотренное в настоящей заявке, позволяет получать мгновенный 3-мерный объем 3DV в одном местоположении датчика, так что для любого данного 3-мерного объема 3DV не требуется никакого перемещения датчика от руки или другим способом. Однако, в настоящей заявке предусмотрено также применение других, более традиционных ультразвуковых сканеров, с которыми 3-мерный объем реконструируется после облучения ультразвуком объема интереса с множества разных направлений распространения, каждое из которых получают посредством перемещения сканера от руки или другим способом, чтобы зондировать объем.
В принципе, поле обзора (FoV) формирователя изображений, обеспечиваемое коническим УЗ, может задаваться мгновенным местоположением P головки преобразователя UST в пространстве относительно общей системы координат, телесным углом Ω, задающим «ширину» поля обзора, и направлением Dr наблюдения и ориентацией наблюдения. Упомянутая ориентация наблюдения может задаваться вектором, ортогональным направлению d наблюдения, чтобы задавать концепции «вверх»/«вниз» или «влево»/«вправо» для видов. Расположение, в котором записывается сердце, является непосредственной функцией упомянутых параметров FoV. В частности, мгновенное поле обзора FoV преобразователя UST определяет некоторый перспективный вид объекта интереса, в настоящем случае, сердца HT. Другими словами, каждый 3-мерный объем 3DV кодирует конкретное расположение сердца. Иначе говоря, каждый 3-мерный объем 3DV записывает расположение сердца HT. Расположение задает местоположение сердца HT в системе координат изображения и ориентацию в данной системе. В общем, форма или внешняя граница участка изображения, который определяет перспективный вид, ассоциированные с соответствующим FoV преобразователя, отличается для разных блоков 3-мерного объема.
Каким бы желательным ни могло быть большое число степеней свободы головки преобразователя UST, это также добавляет уровень сложности. Причина в том, что соответствующие расположения сердца, записанные в последовательности 3-мерных объемов 3DV (и предоставляемые ультразвуковым оборудованием USE в рабочую станцию), в общем, не известны заранее. То есть, после того, как данный объем 3DV получен формирователем изображений, в общем, не существует автоматического способа различения конкретного расположения, записанного в каждом соответствующем объеме. Данная изменчивость расположений может сделать обработку изображений упомянутых изображений подверженной ошибкам.
Рабочая станция WS может включать в себя несколько разных модулей для поддержки обработки изображений 3-мерных УЗ изображений. Кроме включения в состав дискретизаторов (которые в одном варианте осуществления могут быть исполнены подходящими А/Ц (аналого-цифровыми) преобразователями в самом УЗ оборудовании) и модулей цифровых фильтров, WS в одном варианте включает в себя сегментатор S.
Модуль S сегментатора допускает «разбиение» изображения 3DV на один или более участков изображения, которые представляют орган интереса HT. Другими словами, сегментатор S является инструментальным средством обработки изображений, которое работает с пикселями и вокселями (в настоящем случае, вокселями) изображения 3DV, чтобы устанавливать, принадлежит ли или нет данный воксель к участку интереса изображения. Затем сегментированное изображение может передаваться в инструментальные средства анализа изображений дальше по конвейеру обработки изображений. Например, при сегментации объемов 3DV 3-мерных изображений для сердца можно установить мгновенные объемы сердца по последовательности блоков 3-мерного объема. Можно убедиться, является ли нормальной деятельность сердца. Например, объемы сердца можно сравнивать по последовательности объемов 3-мерных изображений, чтобы идентифицировать разные фазы сердечного цикла. Сердечную недостаточность можно распознавать посредством данного сравнения последовательных объемов сердца. Следовательно, можно понять интерес, который может представлять точная сегментация.
В кратком изложении, и как предлагается в настоящей заявке, рабочая станция WS включает в себя предпроцессор PP, который в одном варианте осуществления служит инициализатором для сегментатора S. Например, в одном варианте осуществления сегментатор S является блоком сегментации на базе модели (MBS), который опирается на априорное знание местоположения и ориентации объекта, подлежащего сегментации. Предпроцессор или инициализатор PP сегментации, предлагаемый в настоящей заявке, считывает один или более 3-мерных объемов, оценивает расположения объекта и затем передает данную информацию, в одном варианте осуществления, в сегментатор, в котором соответствующий 3-мерный объем может быть точнее сегментирован, так как расположение объекта известно.
В частности, предпроцессор PP, предложенный в настоящей заявке, полностью автоматически анализирует данные изображения и выполняет функцию классификации текущего вида, то есть, вида, на котором получен текущий блок 3DV изображения. Другими словами, предпроцессор PP способен обнаруживать расположение органа, подлежащего сегментации, по отношению к опорному расположению. Обнаруженное расположение можно выразить «параметрами расположения». Параметры описывают преобразование, то есть, то, как требуется сдвинуть и повернуть геометрическую модель сердца HT, чтобы модель, преобразованная таким образом, соответствовала расположению, записанному в изображении. Тогда, на основании параметров упомянутого расположения, точки геометрической модели MOD для органа преобразуются в одном варианте осуществления в, так называемое, предполагаемое («текущее») расположение. В одном варианте осуществления геометрическая модель MOD сердца определяется как 3-мерная поверхностная сетка, образованная из треугольных элементов, при этом сетка приблизительно очерчивает стандартную форму сердца в данном опорном расположении. Затем модель, преобразованная таким образом (то есть, сдвинутая и повернутая), представляется как исходный пункт для MBS (сегментации на базе модели) объема 3DV изображения. В других вариантах осуществления, в сегментатор подается только информация о предполагаемом расположении, поэтому в данном варианте осуществления параметры расположения передаются прямо в сегментатор, без первоначального преобразования модели MOD. В еще одном варианте осуществления, преобразование, определяемое информацией о предполагаемом расположении, применяют к мгновенному объему 3DV изображения, и именно объем изображения, преобразованный таким образом, представляется в сегментатор для сегментации с использованием в настоящем случае оригинальной (то есть, не преобразованной) модели MOD в качестве инициализированной модели. Данный вариант осуществления допускает адаптацию модели MOD к изображению 3DV посредством преобразования изображения вместо модели MOD, с созданием, тем самым, такого же расположения, как в предыдущем варианте осуществления, в котором, напротив, модель MOD преобразуется относительно изображения.
Предпроцессор PP основан в одном варианте осуществления на обобщенном преобразовании Хафа (GHT) с множеством аккумуляторов (по одному на каждую ориентацию). В другом варианте осуществления, выделение ориентиров из данных изображения 3DV служит для определения из множества аффинных (или других) преобразований оптимального преобразования, которое наилучшим образом «объясняет» структуры в мгновенном изображении 3DV.
На фигурах 2 и 3 представлены блок-схемы соответствующих вариантов осуществления инициализатора PP сегментации.
В варианте осуществления, показанном на фигуре 2, предпроцессор PP включает в себя порт IN ввода для приема 3-мерного изображения 3DV и классификатор CLS. Присутствует также порт OUT вывода для вывода параметров расположения (β[=ориентация], x[= местоположение]) для расположения, найденной классификатором CSL. Затем данную информацию о расположении (β, x) можно применить, как упоминалось выше, к геометрической модели MOD. Модель, преобразованная таким образом, формирует «инициализированную модель». Затем, либо модель MOD, преобразованную таким образом, либо (без первоначального применения преобразования) тройку (β,x,ΜΟD) можно затем представлять через подходящий выходной интерфейс в сегментатор S. Тем самым, сегментатор инициализируется, то есть, сегментатор S «узнает» расположение объекта, который сегментатор должен сегментировать. В одном варианте осуществления работа сегментатора S основана на алгоритме, аналогичном алгоритму, описанному в работе O. Ecabert et al, «Automatic model-based segmentation of the heart in CT images», IEEE Transactions on Medical Imaging, 27(9), 2008. В данном варианте осуществления сегментатор, как только расположение объекта интереса в изображении, подлежащем сегментации, становится известным (то есть, инициализированная модель имеется в наличии), применяет этапы параметризованной и деформируемой адаптации к модели MOD. Тем самым, модель MOD адаптируется к мгновенному объему 3DV изображения. В частности, адаптации включают в себя одну или более стадий, на которых координаты модели MOD адаптируются к изображению 3DV посредством последовательного применения глобального строгого, глобального аффинного, многомерного строгого и деформируемого преобразования. После деформирования инициализированной модели оцениваются полутоновые интенсивности по нормалям граней MOD сетчатой модели (в одном варианте осуществления применяются треугольники), чтобы определить границы сегментации.
В соответствии с одним вариантом осуществления, классификатор CLS предпроцессора PP основан на обобщенном преобразовании Хафа GHT. Смотри, например, работу D. Ballard, «Generalizing the Hough transform to detect arbitrary shapes», Pattern Recognition, 13(2), pp 111-122, 1981. В соответствии с одним вариантом осуществления, преобразование Хафа включает в себя множество разных специализированных «аккумуляторов» AC1-ACn, по одному для каждой ориентации (расположению объекта HT), как подробно поясняется ниже. Функционирование предпроцессора PP для первого варианта осуществления будет описано со ссылкой на две фазы: фазу предварительного обучение или подготовительную и последующую рабочую фазу.
В кратком изложении, для решения задач с быстро изменяющимся расположением сердца в изображениях 3DVt, часто возникающие ориентации расположений изучаются в фазе обучения по обучающим 3-мерным изображениям и, после кластеризации, по данным ориентациям вычисляется набор преобразований. Затем преобразования применяются в рабочей фазе в процессе голосования преобразования GHT, чтобы заполнить множество аккумуляторов Хафа. Затем множество аккумуляторов Хафа рассматривается для поиска максимального элемента данных голосования по всем аккумуляторам Хафа, чтобы найти расположение сердца. Упомянутый поиск может выполняться одновременно по всем аккумуляторам Хафа, или поиск может происходить последовательно.
В соответствии с одним вариантом осуществления используют некоторые инварианты/условия, которые налагаются схемой для визуализации сердца, а именно, можно предполагать, что местоположение левого предсердия будет около вершины ультразвукового конуса УЗ.
Ниже приведено более подробное описание соответствующего алгоритма 3-мерного преобразования GHT. Кроме того, описаны расширения для включения априорного знания геометрии визуализации.
Предпроцессор PP использует 3-мерное расширение преобразования GHT. В преобразовании GHT используется «шаблон» формы (и определяемый моделью MOD) объекта HT, подлежащего обнаружению. На фигуре 4, для удобства представления, приведено 2-мерное изображение релевантных величин для сбора данных о форме модели MOD. Для каждой точки p границы модели определяются углы ϕ и θ между осями координат и вектором нормали к контуру. Для каждого направления ϕ и θ, дискретизация («разбиение») на N × M интервалов выполняется так, что формируется набор (матрица) of N × M пар (ϕ, θ) угловых интервалов. «Разностный вектор» d между любой точкой p контура и точкой COG, которая представляет местонахождение модели, сохраняется в таблице, которая связывает пары угловых интервалов с соответствующим разностным вектором d. Местонахождение объекта можно измерить относительно центра тяжести COG формы шаблона или другой подходящей опорной точки. Предпочтительно, симметрию формы шаблона можно использовать для сохранения простоты описания формы. Другими словами, каждый элемент данных в таблице представляет одно возможное расположение. В формулировке преобразования GHT, форма, записанная таким образом, является, так называемой R-таблицей («справочной таблицей»). Неограничивающий пример R-таблицы приведен в следующей таблице:
Figure 00000001
В процессе генерации R-таблицы используется не только информация о контуре модели MOD, как на фигуре 2, но также учитывается обучающее изображение I. Другими словами, точки контура добавляются в R-таблицу только при условии, если градиент ∇I изображения в соответствующем местоположении p изображения больше, чем некоторый порог t, настраиваемый пользователем:
Figure 00000002
Аналогичный процесс обучения описан в работе Saalbach et al, «Optimizing GHT-Based Heart Localization in an Automatic Segmentation Chain», MICCAI, 6893, 463-470, 2011. Иначе говоря, R-таблица является представлением модели MOD с граничными точками, собранными в учтенном обучающем изображении.
В рабочей фазе, R-таблица используется на следующем этапе обнаружения формы нижеописанным образом: так называемый, аккумулятор H Хафа создается следующим образом. Сначала, в соответствии с одним вариантом осуществления, изображение 3DV (следует понимать, что настоящий и последующие этапы применимы к любому блоку объема в последовательности 3DVt, так что, в дальнейшем, ссылка дается на изображение 3DV) фильтруется градиентным фильтром для обнаружения «граничных точек». Для каждого граничного элемента e с градиентом, имеющим абсолютное значение больше, чем t, определяются углы ϕj и θk по отношению к координатным осям. Просмотр в R-таблице дает набор разностных векторов из точки контура к ожидаемому центру тяжести объекта. Поэтому, для всех разностных векторов d в соответствующем элементе данных R-таблицы, аккумулятор Хафа увеличивается на единицу:
Figure 00000003
После обхода по граничным точкам изображения 3DV и применения записей согласно (2) в аккумуляторе Хафа (в общем, «гиперматрицы»), координаты (согласно R-таблице) элемента данных аккумулятора Хафа с наибольшим числом принимаются для представления, в соответствии с одним вариантом осуществления, наиболее вероятного местонахождения объекта для данной ориентации β расположения.
Однако, вышеупомянутый подход согласно (2), по существу, все же не позволяет обнаружить форму в ориентациях β, отличающихся от ориентации, на которой произведено обучение. Одна возможность будет состоять в увеличении степеней свободы вышеупомянутого преобразования GHT путем добавления или присоединения новых измерений в аккумулятор Хафа, при этом новые параметры квантуются по интервалу интереса для сбора различных ориентаций β. В противоположность и в отличие от упомянутого способа присоединения, в настоящей заявке предлагается использовать не интервал диапазонов параметров, а выраженную «связь» между некоторыми выбранными комбинациями β дискретных ориентаций параметров и дополнительными аккумуляторами Хафа. То есть, для каждой ориентации β используется отличающийся отдельный аккумулятор Хафа, который предназначен только для соответствующей одной из различных ориентаций. Данный подход допускает поиск разных ориентаций, при одновременном сохранении небольшого объема вычислений (то есть, сложность повышается просто линейно с числом ориентаций). Другими словами, можно считать, что все возможные ориентации β формы формируют «фазовое пространство». Затем, в настоящей заявке предлагается «вводить» в разных (несвязанных) точках в упомянутом «фазовом пространстве» соответствующие аккумуляторы из аккумуляторов, при этом каждый аккумулятор является «локализованным» дескриптором формы «прикрепленным» к соответствующей ориентации β.
Набор ориентаций β (который является, в общем, многомерной переменной величиной) выучивается по обучающему набору данных, как кратко упоминалось выше. Для формирования приблизительно правильной сегментации используют полуавтоматическую сегментацию. Каждая сегментация с ориентацией Ol жестко совмещается с опорной ориентацией, дающей матрицу
Figure 00000004
преобразования. В одном варианте осуществления ориентации объединялись в кластер так, что, даже при запуске сегментации на базе модели из немного неправильной или отличающейся ориентации, успешная сегментация будет по-прежнему возможной для соответствующего набора данных. Посредством данного «огрубления», общее число ориентаций можно уменьшить до числа, более поддающегося обсчету. То есть, уравнение (2) принимает вид
Figure 00000005
и максимальное значение, взятое по всем аккумуляторам
Figure 00000006
Хафа, дает теперь наиболее вероятные местонахождение и ориентацию сердца в изображении. В соответствии с одним вариантом осуществления, вместо поиска значения максимального элемента данных, производится поиск значения «максимизирующего» элемента данных. Максимизирующий элемент данных является элементом данных (из одного из аккумуляторов Хафа), который максимизирует некоторую нормирующую функцию, заданную на совокупности аккумуляторов ACl Хафа. Нормирующая функция допускает нормирование по разным аккумуляторам Хафа, чтобы, тем самым, учесть зависимость элементов данных аккумуляторов Хафа от разных ориентаций β, представленных каждым из упомянутых аккумуляторов Хафа. Например, если производится поиск только «простого» максимального значения в вышеупомянутом более простом варианте осуществления, то может иметь место следующая ситуация: если случается, что некоторая ориентация дает вид только половины сердца HT, то элемент данных с максимальным значением в соответствующем аккумуляторе Хафа будет, обычно, меньше, чем элемент данных с максимальным значением другого аккумулятора Хафа, ориентация которого представляет вид полного сердца. Поэтому нормирующая функция будет допускать компенсацию данной ориентационной зависимости элементов данных аккумуляторов Хафа, чтобы получать более точное сравнение между аккумуляторами.
Чтобы дополнительно повысить ошибкоустойчивость, в одном варианте осуществления используют некоторые инварианты, которые сохраняются благодаря схеме визуализации. Например, при 3-мерной ТЭЭ, левое предсердие всегда находится на конце усеченного конуса. Для использования данной особенности, преобразование GHT модифицируется, чтобы выполнять голосование больше не для центра тяжести, а для центра предсердия, положение которого, как предполагается, изменяется немного. Кроме того, в одном варианте осуществления вводится весовой коэффициент w
Figure 00000007
который не влияет на аккумулятор Хафа вблизи известного местонахождения конца усеченного конуса (конуса УЗ).
В уравнении (4), a является центром предсердия (или любого другого анатомического или иначе известного местонахождения), и Δw является скоростью уменьшения весового коэффициента. Поэтому, выражение
Figure 00000008
дает предполагаемое расположение, то есть, наиболее «вероятные» предполагаемые местонахождение и ориентацию и учитывает априорное знание о схеме визуализации. Другими словами, каждый аккумулятор
Figure 00000006
(для каждой огрубленной ориентации Ol) опрашивается на предмет его максимального элемента данных, но, в то же самое время, получает меньший вес или уменьшается, если местонахождение, выдаваемое при просмотре R-таблицы, представляется «удаленной» от места, где предполагается местонахождение усеченного конуса, и получает больший вес, если находится близко к a.
В соответствии с одним вариантом осуществления и до вышеупомянутых этапов преобразования GHT (то есть, в подготовительной фазе), к объему 3DV изображения применяются один или более этапов адаптации, чтобы нормировать полутоновые интенсивности, записанные вокселями изображения 3DV.
В качестве обучающих данных выбраны десять последовательностей полного объема от разных пациентов. В этих данных, все сердце находилось внутри усеченного конуса. Первый кадр каждой последовательности сегментировали вручную. Упомянутые десять объемов служили, чтобы обучаться признакам для выделения границы, используемой впоследствии (то есть, в рабочей фазе) в алгоритме MBS сегментатора S. Для остающихся кадров последовательности используются этапы деформируемой адаптации основной схемы сегментации MBS, чтобы создать автоматические сегментации (так называемые, псевдоконтрольные данные). Псевдоконтрольные данные проверялись и корректировались, при необходимости. Кроме того, все сетки жестко совмещались с одной опорной сеткой таким образом, что R-таблица содержит только одну ориентацию. В общем, для обучения преобразованию GHT, т.е. для формирования R-таблицы, использовали набор из 350 ультразвуковых объемов. Для дополнительных 251 последовательностей создали псевдоконтрольные данные. Из первого кадра упомянутых последовательностей выделяли преобразования
Figure 00000009
, и данные преобразования сохраняли в памяти соответственно многоплоскостному углу набора данных. Для уменьшения числа преобразований выполнили объединение подобных преобразований в кластеры. В таком случае, достаточно рассматривать только типичный кластер, чтобы охватить другие остающиеся члены соответствующего кластера. Таким образом, число ориентаций β и, вследствие этого, число преобразований можно уменьшить до 1-7 на каждую многоплоскостную ориентацию.
В общем, работа предпроцессора PP в соответствии с фигурой 2 допускает надежное распознавание анатомии сердца в объемах ТЭЭ, независимо от значительной изменчивости расположения сердца. Работа основана на 3-мерном преобразовании GHT, которое модифицировали так, чтобы учитывались специальные свойства 3-мерной ТЭЭ. Ориентации выучивались и объединялись в кластеры для увеличения пространства Хафа только настолько, насколько необходимо. Кроме того, в одном варианте осуществления используется взвешивание аккумулятора Хафа, чтобы включить априорное знание о геометрии визуализации в классификацию расположения.
Алгоритм предпроцессора PP можно применять для автоматического формирования значимых видов в наборах данных объемов ТЭЭ. Например, можно формировать сечение объема, чтобы обеспечить четырехкамерный вид, или небольшой объем интереса можно вырезать из всего ультразвукового объема и затем можно отобразить в виде визуализации селективного объема.
Компоненты PP предусмотрены как резидентные на рабочей станции WS, выполняющей программы системного программного обеспечения. Компоненты могут программироваться на подходящей научной вычислительной платформе, например, Matlab® или Simulink® и затем транслироваться в подпрограммы в C++ или C, поддерживаемые в библиотеке и компонуемые, при вызове рабочей станцией WS. В альтернативных вариантах осуществления компоненты PP скомпонованы в виде отдельных модулей в распределенной архитектуре и связаны в подходящей коммуникационной сети.
Компоненты могут быть также скомпонованы в виде специализированных вентильных матриц с эксплуатационным программированием (FPGA) или в виде жестко смонтированных отдельных микросхем.
Ниже, со ссылкой на фигуру 3 описан дополнительный вариант осуществления предпроцессора PP сегментации. Общая архитектура аналогична варианту осуществления, показанному на фигуре 2, но теперь предпроцессор PP включает в себя идентификатор ID ориентиров.
Идентификатор ID ориентиров выполняет обнаружение/идентификацию одного или более анатомических ориентиров в изображении 3DV. Обнаружение ориентира в изображении может основываться в одном варианте осуществления на алгоритме RANSAC (согласованности случайных выборок), описанный в работе M. Fischler et al, «Random Sample Consensus ...», Communications of the ACM, Volume 24(6), 1981. Затем совокупность ориентиров, обнаруженных таким образом, можно брать для представления скелетной схемы базовой геометрической модели MOD сердца HT, когда предполагается его нахождение в некотором расположении. Предполагается, что модель MOD включает в себя заданные ориентирные точки, представляющие ориентиры в модели.
В данном варианте осуществления, работа классификатора CLS основана на совокупности аффинных преобразований Ti. Преобразования Ti применяются по одному к обнаруженным ориентирным точкам, чтобы осуществлять преобразование координат обнаруженных ориентиров.
Затем ориентиры, преобразованные таким образом, можно сравнивать с опорной геометрической моделью MOD. В частности, преобразованные ориентирные точки в изображении сравнивают с заданными ориентирными точками модели MOD. Предполагается, что модель MOD дана относительно опорной ориентации. Затем, для каждого преобразования, координаты преобразованных ориентиров сравниваются с координатами модели MOD. Затем идентифицируются координаты преобразованных ориентиров, которые оптимально соответствуют (например, являются ближайшими по подходящей норме) заданным точечным ориентирам опорной MOD. Затем принимается, что соответствующее преобразование, которое давало упомянутое оптимальное соответствие или оптимальное согласование между преобразованными ориентирными точками и заданными ориентирными точками, представляет расположение, записанное в базовом изображении 3DV.
Каждое из предварительно определенных аффинных преобразований можно рассматривать как кодирующее некоторое расположение. В частности, каждое аффинное преобразование включает в себя, кроме остальных составляющих (например, сдвига фрагмента изображения), составляющую смещения и поворота, которая описывает соответствующее одно из расположений. В одном варианте осуществления описание составляющих смещения и поворота идентифицированного оптимально соответствующего преобразования передается в сегментатор S для его инициализации. В качестве альтернативы, оптимально соответствующее преобразование сначала применяется непосредственно к модели, и тогда именно модель, преобразованная таким образом, передается для инициализации сегментатора.
В соответствии с отличающимся вариантом осуществления, показанным на фигуре 3, координаты идентифицированных ориентиров и координаты заданных ориентиров модели MOD используются для определения «предварительного» преобразования. То есть, предварительное преобразование отображает идентифицированные ориентиры в изображении в заданные ориентиры в модели MOD. Затем предварительное преобразование проверяется на подобие каждому из предварительно определенных аффинных преобразований. Затем аффинное преобразование, которое оптимально соответствует (то есть, является наиболее подобным) упомянутому предварительному преобразованию, считается кодирующим искомое расположение в изображении 3DV. Затем составляющие смещения и поворота, кодированные оптимально соответствующим аффинным преобразованием, могут передаваться как информация, описывающая расположение, в сегментатор, или упомянутое аффинное преобразование применяется к модели MOD, и тогда преобразованная модель используется для инициализации сегментатора, как в предыдущем варианте осуществления, показанном на фигуре 3.
В каждом из вышеприведенных вариантов осуществления, «оптимальное» соответствие устанавливается относительно показателя подобия. Кроме того, определение «оптимальное» означает включение в себя нахождение в пределах определяемого пользователем допуска, а не нахождение ближе всего в арифметическом смысле, хотя некоторые варианты осуществления действительно предусматривают, что определение «оптимальное» означает ближайшее в арифметическом смысле. Вычисление оптимального соответствия по отношению к предварительно установленному допуску позволяет экономить время ЦП, так как процессору не требуется проходить цикл по всем предварительно определенным преобразованиям, чтобы оценить показатель подобия. Как только значение подобия, которое находится в пределах допуска, установлено, блок вывода выдает соответствующее преобразование в качестве «оптимального соответствия». Подходящие показатели подобия включают в себя матричные нормы соответствующей матрицы разностей, например, нормы Фробениуса.
Кроме того, в вышеприведенных вариантах осуществления в соответствии с фигурой 3 можно использовать преобразования, отличающиеся от аффинных. Например, в некоторых вариантах осуществления можно использовать преобразование твердого тела (с изменением или без изменения масштаба) или линейное преобразование.
На фигуре 5 приведена блок-схема последовательности операций способа обработки изображений.
На этапе S501 принимают изображение (например, объем 3-мерного изображения, представляемый ультразвуковым формирователем 3-мерных изображений или другим средством). Изображение получено в некотором поле обзора средством визуализации. В результате соответствующего поля обзора на момент сбора данных, изображение записывает расположение органа интереса, поэтому расположение является функцией (мгновенного) поля обзора формирователя изображений. Предполагается, что само расположение априорно не известно.
На этапе S505 используют геометрическую модель объекта, подлежащего визуализации, чтобы определить из совокупности предварительно определенных расположений, предполагаемое расположение объекта, записанное в изображении.
На этапе S510 выдают параметры расположения, которые описывают найденное предполагаемое расположение. Параметр расположения включает в себя конкретные местоположение и ориентацию участка изображения, характеризующего объект в изображении. Другими словами, параметры расположения описывают, как требуется преобразовать (в частности, сдвинуть и повернуть) модель, чтобы преобразованная модель адаптировалась к расположению в изображении.
На этапе S515, параметры, описывающие расположение, используют для инициализации сегментации, чтобы сегментировать изображение для объекта в предполагаемом расположении. Другими словами, благодаря инициализации, теперь сегментатор «знает» i) в каком местоположении в изображении, и ii) в какую ориентацию требуется сегментировать изображение.
В соответствии с одним вариантом осуществления, этап S505 классификации или определения основан на обобщенном преобразовании Хафа.
В альтернативном варианте осуществления преобразование GHT не применяется. В данном альтернативном варианте осуществления этап S505 включает в себя этап идентификации множества ориентиров в изображении. Если объект является сердцем человека, то подходящие ориентиры включают в себя центр митрального клапана, центр аортального клапана или верхушку сердца. Затем координаты совокупности идентифицированных ориентиров преобразуются каждым из предварительно определенного набора преобразований, и преобразованные координаты ориентиров исследуются на предмет совместимости с координатами заданных ориентиров модели объекта.
В качестве альтернативы, координаты идентифицированных ориентиров и координаты заданного ориентира модели объекта используются для построения предварительного преобразования, которое отображает координаты идентифицированных ориентиров на координаты заданных ориентиров. Затем предварительное преобразование исследуется на подобие каждому из предварительно определенного набора преобразований.
Затем наиболее согласующееся из предварительно определенных преобразований или наиболее подобное из преобразований считается представляющим предполагаемое расположение. Затем наиболее согласующееся из предварительно определенных преобразований или наиболее подобное из преобразований используется для преобразования модели, и тогда преобразованную модель можно использовать на этапе S515 для инициализации сегментатора.
Геометрическая модель сохраняется в подходящей структуре данных в памяти для удобного доступа. Например, можно применить структуры переменных типа указателей списка, чтобы представлять вершины, края и грани. В соответствии с одним вариантом осуществления, для моделирования формы сердца человека или животного выбирается геометрическая модель в виде поверхностной сетки из треугольных элементов, но понятно, что для других объектов интереса следует выбирать подходящие геометрические модели другой формы.
Специалистам в данной области техники будет понятно, что, хотя описание приведено выше со ссылкой на ультразвуковой формирователь 3-мерных изображений, устройство и способ, описанные в настоящей заявке, можно также применять с другими средствами визуализации. Кроме того, информацию, описывающую расположение, вычисляемую в соответствии с настоящим изобретением, можно использовать в процессорах формирователей изображений, а не в сегментаторах.
Специалистам в данной области техники будет также понятно, что вышеописанные два варианта осуществления с обобщенным преобразованием Хафа или совокупностью преобразований в связи с ориентирами являются простыми вариантами осуществления устройства и способа визуализации, предложенными в настоящей заявке. В некоторых случаях можно также применить другие преобразования, в частности, классическое преобразование Хафа.
В другом примерном варианте осуществления настоящего изобретения предлагается компьютерная программа или элемент компьютерной программы, который отличается адаптацией к выполнению этапов способа для способа в соответствии с одним из предшествующих вариантов осуществления в соответствующей системе.
Следовательно, элемент компьютерной программы может храниться в вычислительном блоке, который может быть также частью варианта осуществления настоящего изобретения. Данный вычислительный блок может быть выполнен с возможностью выполнения или обеспечения выполнения этапов вышеописанного способа. Кроме того, данный блок может быть выполнен с возможностью приведения в действие компонентов вышеописанного устройства. Вычислительный блок может быть выполнен с возможностью автоматической работы и/или выполнения команд пользователя. Компьютерную программу можно загружать в рабочую память процессора данных. Следовательно, процессор данных может быть оборудован для выполнения способа в соответствии с изобретением.
Приведенный примерный вариант осуществления изобретения включает в себя как компьютерную программу, которая с самого начала применяет изобретение, так и компьютерную программу, которая за счет обновления превращает существующую программу в программу, которая применяет изобретение.
Далее, элемент компьютерной программы может быть способен обеспечивать все необходимые этапы для выполнения процедуры примерного варианта осуществления вышеописанного способа.
В соответствии с дополнительным примерным вариантом осуществления настоящего изобретения предлагается машиночитаемый носитель, например, компакт-диск только для чтения (CD-ROM), при этом машиночитаемый носитель содержит элемент компьютерной программы, записанный на нем, причем, упомянутый элемент компьютерной программы описан в предыдущем разделе.
Компьютерная программа может храниться и/или распространяться на подходящем носителе, например, оптическом носителе данных или полупроводниковом носителе, поставляемом совместно с другими аппаратным обеспечением или в его составе, но может также распространяться в других формах, например, по сети Интернет или в других проводных или беспроводных телекоммуникационных системах.
Однако, компьютерная программа может также представляться по сети типа Всемирной сети и может загружаться в рабочую память процессора данных из данной сети. В соответствии с дополнительным примерным вариантом осуществления настоящего изобретения предлагается носитель для обеспечения элемента компьютерной программы для загрузки, при этом элемент компьютерной программы предназначен для выполнения способа в соответствии с одним из вышеописанных вариантов осуществления изобретения.
Следует отметить, что варианты осуществления изобретения описаны в контексте разных предметов изобретения. В частности, некоторые варианты осуществления описаны в контексте пунктов формулы изобретения на способ, а другие варианты осуществления описаны в контексте пунктов формулы изобретения на устройство. Однако, специалисту в данной области техники будет понятно из вышеизложенного и последующего описания, что, если не заявлено иного, то дополнительно к любой комбинации признаков, принадлежащих к одному типу предмета изобретения, в настоящей заявке считается раскрытым любое сочетание признаков, относящихся к другим предметам изобретения. Однако, все признаки можно объединять с обеспечением синергических эффектов, которые представляют собой нечто большее, чем простая сумма признаков.
Хотя настоящее изобретение подробно представлено на чертежах и охарактеризовано в вышеприведенном описании, упомянутые чертежи и описание следует считать наглядными или примерными, а не ограничивающими. Изобретение не ограничено раскрытыми вариантами осуществления. Специалистами в данной области техники, в процессе практического применения заявленного изобретения, на основании изучения чертежей, описания и прилагаемой формулы изобретения, могут быть разработаны и реализованы другие варианты раскрытых вариантов осуществления.
В формуле изобретения, формулировка «содержащий» не исключает других элементов или этапов, и единственное число (в виде неопределенного артикля в оригинале) не исключает множественного числа. Единственный процессор или другой блок может выполнять функции нескольких элементов, перечисленных в формуле изобретения. Очевидное обстоятельство, что некоторые признаки упомянуты во взаимно различающихся зависимых пунктах формулы изобретения, не означает невозможность применения комбинации упомянутых признаков в подходящем случае. Никакие позиционные обозначения в формуле изобретения нельзя считать ограничивающими объем изобретения.

Claims (22)

1. Устройство обработки изображений, содержащее:
порт (IN) ввода для приема изображения (3DV) объекта (HT), полученного в поле обзора (FoV) посредством формирователя изображений (USP), при этом изображение фиксирует расположение объекта, соответствующее полю обзора (FoV) формирователя изображений;
классификатор, сконфигурированный с возможностью использования геометрической модели (MOD) объекта (HT) для определения, из совокупности предварительно определенных расположений, расположения объекта, зафиксированного на изображении;
порт (OUT) вывода, сконфигурированный с возможностью вывода параметров расположения, описывающих найденное расположение,
отличающееся тем, что
классификатор использует обобщенное преобразование Хафа, GHT, для определения расположения объекта, при этом каждое из предварительно определенных расположений ассоциировано с точкой в пространстве параметров Хафа преобразования GHT.
2. Устройство обработки изображений по п. 1, дополнительно содержащее:
сегментатор, сконфигурированный с возможностью использования параметров расположения в качестве инициализирующей информации для сегментации изображения для объекта в предполагаемом расположении.
3. Устройство обработки изображений по п. 1, в котором преобразование GHT основано на множестве отдельных аккумуляторов Хафа, предназначенных, каждый, для одного из разных предварительно определенных расположений.
4. Устройство обработки изображений по п. 1, содержащее идентификатор (ID), сконфигурированный с возможностью идентификации, по меньшей мере, одного ориентира в изображении (3DV), при этом каждое предварительно определенное расположение ассоциировано с преобразованием, причем классификатор (CLS) выполняет функции использования, по меньшей мере, одного из преобразований для преобразования координат идентифицированного ориентира и сравнения преобразованных координат ориентира с координатами, по меньшей мере, одного заданного ориентира модели, чтобы таким образом установить, на основании показателя подобия, из числа преобразований, преобразование оптимального соответствия, причем параметр расположения описывает расположение, ассоциированное с упомянутым преобразованием оптимального соответствия.
5. Устройство обработки изображений по п. 1, содержащее идентификатор (ID), сконфигурированный с возможностью идентификации ориентиров в изображении (3DV), при этом каждое предварительно определенное расположение ассоциировано с преобразованием, причем классификатор (CLS) выполняет функцию формирования предварительного преобразования из изображения в модель, причем предварительное преобразование основано на i) координатах идентифицированных ориентиров в изображении (3DV) и ii) координатах заданных ориентиров в модели (MOD), причем классификатор (CLS) сконфигурирован с возможностью сравнения, на основании показателя подобия, предварительного преобразования с, по меньшей мере, одним из предварительно определенных преобразований, чтобы таким образом установить преобразование оптимального соответствия, причем параметр расположения описывает расположение, ассоциированное с упомянутым преобразованием оптимального соответствия.
6. Устройство обработки изображений по пп. 1-5, в котором классификатор использует набор весовых коэффициентов, которые отражают предполагаемое пространственное отношение между позицией формирователя изображений и объектом, подлежащим визуализации, когда применяют формирователь изображений.
7. Устройство обработки изображений по п. 1, в котором в котором формирователь изображений является ультразвуковым датчиком для 3-мерной визуализации, и изображение является объемом 3-мерных данных, полученным упомянутым датчиком.
8. Способ обработки изображений, содержащий следующие этапы:
принимают (S501) изображение (3DV) объекта (H), полученное в поле обзора (FoV) посредством формирователя изображений (USP), при этом изображение фиксирует расположение объекта, соответствующего полю обзора (FoV) формирователя изображений;
с использованием геометрической модели объекта, определяют (S505), из совокупности предварительно определенных расположений, расположение объекта, зафиксированного в изображении;
выводят (S510) параметр расположения, описывающий найденное расположение,
отличающийся тем, что
определяют расположение объекта путем обобщенного преобразования Хафа, GHT, при этом каждое из предварительно определенных расположений ассоциировано с точкой в пространстве параметров Хафа преобразования GHT.
9. Способ по п. 8, дополнительно содержащий следующий этап:
с использованием параметров расположения в качестве информации инициализации, сегментируют (S515) изображение для объекта в предполагаемом расположении.
10. Машиночитаемый носитель, содержащий хранящийся на нем программный элемент для управления устройством по любому из пп. 1-7, который, при выполнении блоком обработки данных, выполнен с возможностью выполнения этапов способа по пп. 8-9.
RU2015144974A 2013-03-21 2014-03-17 Инициализация модели на основе классификации видов RU2669680C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361803822P 2013-03-21 2013-03-21
US61/803,822 2013-03-21
PCT/IB2014/059877 WO2014147542A1 (en) 2013-03-21 2014-03-17 View classification-based model initialization

Publications (2)

Publication Number Publication Date
RU2015144974A RU2015144974A (ru) 2017-04-27
RU2669680C2 true RU2669680C2 (ru) 2018-10-12

Family

ID=50687527

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2015144974A RU2669680C2 (ru) 2013-03-21 2014-03-17 Инициализация модели на основе классификации видов

Country Status (7)

Country Link
US (1) US10109072B2 (ru)
EP (1) EP2976737B1 (ru)
JP (1) JP6407959B2 (ru)
CN (1) CN105103164B (ru)
BR (1) BR112015023898A2 (ru)
RU (1) RU2669680C2 (ru)
WO (1) WO2014147542A1 (ru)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6501796B2 (ja) 2014-05-14 2019-04-17 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 超音波画像のモデル・ベースのセグメンテーションのための取得方位依存特徴
WO2018201437A1 (zh) * 2017-05-05 2018-11-08 上海联影医疗科技有限公司 一种图像分割方法及系统
CN110249626B (zh) * 2017-10-26 2020-07-31 腾讯科技（深圳）有限公司 增强现实图像的实现方法、装置、终端设备和存储介质
JP7074888B2 (ja) * 2018-08-20 2022-05-24 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 位置姿勢検出方法及び装置、電子機器並びに記憶媒体
RU2693267C1 (ru) * 2018-10-23 2019-07-01 Акционерное общество Научно-производственное предприятие "Авиационная и Морская Электроника" Способ распознавания объектов на изображении
CN110111330B (zh) * 2019-05-17 2023-02-21 上海应用技术大学 手机屏幕检测方法
CN112241454B (zh) * 2020-12-14 2021-02-19 成都数联铭品科技有限公司 一种处理样本倾斜的文本分类方法
CN112907596A (zh) * 2021-05-06 2021-06-04 荣旗工业科技(苏州)股份有限公司 一种基于图像处理的线圈匝数在线测量方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050190972A1 (en) * 2004-02-11 2005-09-01 Thomas Graham A. System and method for position determination
US20080260254A1 (en) * 2005-12-22 2008-10-23 Koninklijke Philips Electronics, N.V. Automatic 3-D Object Detection
US20100007717A1 (en) * 2008-07-09 2010-01-14 Prime Sense Ltd Integrated processor for 3d mapping
RU2417548C2 (ru) * 2006-08-01 2011-04-27 Квэлкомм Инкорпорейтед Фиксация и создание стереоизображений и стереовидео в реальном времени моноскопическим маломощным мобильным устройством
US20130028517A1 (en) * 2011-07-27 2013-01-31 Samsung Electronics Co., Ltd. Apparatus, method, and medium detecting object pose

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10124677A (ja) 1996-10-25 1998-05-15 Nippon Telegr & Teleph Corp <Ntt> 物体の姿勢推定方法および物体の姿勢推定装置
US7141020B2 (en) 2002-02-20 2006-11-28 Koninklijke Philips Electronics N.V. Portable 3D ultrasound system
JP5072625B2 (ja) * 2008-01-31 2012-11-14 株式会社東芝 画像処理装置及びその方法
EP2348954A1 (en) * 2008-10-20 2011-08-03 Koninklijke Philips Electronics N.V. Image-based localization method and system
CN103827874B (zh) * 2011-09-26 2017-02-22 皇家飞利浦有限公司 医学图像系统和方法
US8891881B2 (en) * 2012-01-25 2014-11-18 General Electric Company System and method for identifying an optimal image frame for ultrasound imaging
CN104883982B (zh) * 2012-12-21 2019-01-11 皇家飞利浦有限公司 针对照护点的解剖学智能回波心动描记

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050190972A1 (en) * 2004-02-11 2005-09-01 Thomas Graham A. System and method for position determination
US20080260254A1 (en) * 2005-12-22 2008-10-23 Koninklijke Philips Electronics, N.V. Automatic 3-D Object Detection
RU2417548C2 (ru) * 2006-08-01 2011-04-27 Квэлкомм Инкорпорейтед Фиксация и создание стереоизображений и стереовидео в реальном времени моноскопическим маломощным мобильным устройством
US20100007717A1 (en) * 2008-07-09 2010-01-14 Prime Sense Ltd Integrated processor for 3d mapping
US20130028517A1 (en) * 2011-07-27 2013-01-31 Samsung Electronics Co., Ltd. Apparatus, method, and medium detecting object pose

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
J. PETERS et al., Optimizing boundary detection via simulated search with applications to multi-modal heart segmentation, medical image analysis, 14 (2010) 70-84. *

Also Published As

Publication number Publication date
WO2014147542A1 (en) 2014-09-25
EP2976737A1 (en) 2016-01-27
US10109072B2 (en) 2018-10-23
CN105103164B (zh) 2019-06-04
EP2976737B1 (en) 2019-07-03
JP6407959B2 (ja) 2018-10-17
JP2016519363A (ja) 2016-06-30
RU2015144974A (ru) 2017-04-27
US20160012596A1 (en) 2016-01-14
BR112015023898A2 (pt) 2017-07-18
CN105103164A (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
RU2669680C2 (ru) Инициализация модели на основе классификации видов
US11664125B2 (en) System and method for deep learning based cardiac electrophysiology model personalization
US7430309B2 (en) Computation of a geometric parameter of a cardiac chamber from a cardiac tomography data set
CN101933045B (zh) 短轴后期增强心脏mri的自动3d分割
US8218849B2 (en) Method and system for automatic landmark detection using discriminative joint context
US8437521B2 (en) Systems and methods for automatic vertebra edge detection, segmentation and identification in 3D imaging
US8948484B2 (en) Method and system for automatic view planning for cardiac magnetic resonance imaging acquisition
CN106340015B (zh) 一种关键点的定位方法和装置
US20030038802A1 (en) Automatic delineation of heart borders and surfaces from images
CN102138161B (zh) 长轴后期增强心脏mri的分割
US20220370033A1 (en) Three-dimensional modeling and assessment of cardiac tissue
JP7205034B2 (ja) 磁気共鳴イメージで正中矢状平面を決定するための方法、イメージ処理デバイス及び格納媒体
US9196049B2 (en) Method and system for regression-based 4D mitral valve segmentation from 2D+t magnetic resonance imaging slices
CN101116104A (zh) 用于分割多维数据集中的表面的方法、系统和计算机程序
WO2015104737A1 (ja) 処理装置、処理方法、およびプログラム
WO2018201437A1 (zh) 一种图像分割方法及系统
US12008687B2 (en) Annular structure representation
Medina et al. Left ventricle myocardium segmentation in multi-slice computerized tomography
US9367913B2 (en) Choosing anatomical variant model for image segmentation
JP6660428B2 (ja) 処理装置、処理方法、およびプログラム
KR20240002932A (ko) 입체 형상 데이터 생성 프로그램, 입체 형상 데이터 생성 방법 및 정보 처리 장치
CN114727800A (zh) 用于对象检测或识别的图像处理方法和装置
Wu In Vivo human right vertricle shape and kinematic analysis with and without pulmonary hypertension
Tamburo Feature-Based Correspondences to Infer the Location of Anatomical Landmarks
Liu et al. Registration-based auto-detection of the optimal cross sections in 3D echocardiographic images