RU2779836C2

RU2779836C2 - Ultrasound system and method for correlation between ultrasound breast images and breast images of other imaging methods

Info

Publication number: RU2779836C2
Application number: RU2020118527A
Authority: RU
Inventors: Гари Чэн-Хау НГ; Дебора КИМ
Original assignee: Конинклейке Филипс Н.В.
Priority date: 2017-11-08
Filing date: 2018-10-29
Publication date: 2022-09-13

Abstract

FIELD: medicine.

SUBSTANCE: present invention discloses systems and methods for ultrasound imaging, which can be used for doctor assistance in the determination of locations of damages during an ultrasound examination, which were previously detected by images obtained by another imaging system, for example a system of magnetic resonance imaging. A method for correlation of images of two or more different medical imaging systems is proposed, including: reception of imaging data obtained using tissue imaging, using the first imaging method; reception of an indication on an assumed location of a damage inside imaged tissue relatively to received imaging data; selection of a deformation model based on received imaging data; application of the selected deformation model to the assumed location of the damage for the generation of a predicted location of the damage during tissue imaging, using the second imaging method, wherein the deformation model takes into account the difference in tissue deformation between the first imaging method and the second imaging method, wherein the second imaging method is an ultrasound method, wherein a visual indication on at least one of proposed positions of an ultrasound probe for damage imaging is provided; provision of a visual indication on the predicted location for the direction of collection of image data, using the second imaging method; input of parameters of the actual damage location; change in the deformation model based on the actual damage location in case if the actual damage location is beyond the predicted location and/or exceeds a threshold distance from the predicted damage location.

EFFECT: group of inventions provides a possibility of improvement of correlation between ultrasound breast images and breast images obtained by other methods.

14 cl, 7 dwg

Description

Область техники, к которой относится изобретениеThe technical field to which the invention belongs

[001] Настоящее раскрытие относится, в общем, к корреляции изображений из двух или более различных медицинских систем визуализации, таких как система магнитно-резонансной томографии (МРТ) и система ультразвуковой визуализации. Магнитно-резонансная томография груди может быть использована для скрининга и диагностики, например, для определения наличия и/или количественного определения параметров, связанных с опухолью в ткани пациента. Магнитно-резонансная томография груди более распространена у пациентов с высоким риском, например, у пациентов с наличием в истории рака молочной железы и/или определенными мутациями BRCA2 (ген рака груди, от англ. BReast CAncer) в анамнезе. Магнитно-резонансная томография груди является высокочувствительной и может обеспечить более раннее обнаружение, чем традиционная рентгеновская маммография, у некоторых пациентов. Однако высокая чувствительность магнитно-резонансной томографии может привести к ложноположительному результату. Как правило, последующее ультразвуковое исследование проводят после получения положительного результата от магнитно-резонансной томограммы до начала лечения. Ультразвук может быть использован для подтверждения поражений на магнитно-резонансной томограмме, определения характеристик поражений и/или проведения биопсии поражения, обнаруженного на магнитно-резонансной томограмме.[001] The present disclosure relates generally to the correlation of images from two or more different medical imaging systems, such as a magnetic resonance imaging (MRI) system and an ultrasound imaging system. Magnetic resonance imaging of the breast can be used for screening and diagnosis, for example, to determine the presence and/or quantify parameters associated with a tumor in a patient's tissue. Breast magnetic resonance imaging is more common in high-risk patients, such as those with a history of breast cancer and/or certain BRCA2 mutations. Breast magnetic resonance imaging is highly sensitive and may provide earlier detection than conventional x-ray mammography in some patients. However, the high sensitivity of magnetic resonance imaging can lead to a false positive result. As a rule, a follow-up ultrasound examination is carried out after obtaining a positive result from magnetic resonance imaging before starting treatment. Ultrasound can be used to confirm lesions on an MRI, characterize a lesion, and/or biopsy a lesion found on an MRI.

Уровень техникиState of the art

[002] Магнитно-резонансную томографию груди обычно выполняют с пациентом, лежащим на животе (т.е. лицом вниз), без опоры на грудь (груди). В отличие от этого, ультразвуковое исследование обычно проводят с пациентом, лежащим на спине (т.е. лицом вверх), при этом рука со стороны сканирования поднята над головой. Различные положения пациента, используемые для магнитно-резонансной томографии и ультразвукового исследования, могут привести к тому, что анатомические структуры будут иметь разный вид между изображениями двух систем. Форма и/или положение поражений также могут смещаться из-за различных положений груди в двух системах визуализации. Эти различия могут привести к тому, что во время ультразвукового исследования будет сложно обнаружить поражение, отмеченное на магнитно-резонансном изображении. Большие размеры груди и/или множественные поражения могут усугубить эти трудности. Таким образом, могут быть необходимы инструменты для локализации поражений, обнаруженных на магнитно-резонансной томограмме, во время последующего ультразвукового исследования. Например, способность и/или уверенность в корреляции результатов магнитно-резонансной томографии при последующей ультразвуковой визуализации может облегчить ультразвуковое исследование груди вместо более дорогостоящего магнитно-резонансного исследования груди в гантри или даже избежать последующих исследований в случае, если результаты ультразвукового исследования охарактеризованы как благоприятные.[002] Magnetic resonance imaging of the chest is usually performed with the patient lying on his stomach (ie, face down), without support on the chest (breasts). In contrast, ultrasound is usually performed with the patient in the supine (ie, face up) position with the arm on the scanning side raised above the head. Different patient positions used for magnetic resonance imaging and ultrasound may cause anatomical structures to appear differently between images of the two systems. The shape and/or position of the lesions may also shift due to different breast positions in the two imaging systems. These differences can make it difficult for an ultrasound to detect a lesion noted on an MRI. Large breasts and/or multiple lesions may exacerbate these difficulties. Thus, tools may be needed to localize lesions found on magnetic resonance imaging during subsequent ultrasound examination. For example, the ability and/or confidence in correlating MRI findings with subsequent ultrasound imaging may facilitate breast ultrasound instead of the more costly gantry MRI, or even avoid follow-up studies if the ultrasound findings are characterized as favorable.

[02A] В заявке на патент США 2006/0251301 раскрыт способ и устройства, использующие известное местоположение области груди, представляющей интерес, например, поражения, из способа оценки для прогнозирования местоположения области, представляющей интерес, для другого способа оценки. В заявке на патент США 2012/0114213 раскрыта система для мультимодальной визуализации груди.[02A] US Patent Application 2006/0251301 discloses a method and devices using a known location of a breast area of interest, such as a lesion, from an assessment method to predict the location of an area of interest for another assessment method. US Patent Application 2012/0114213 discloses a system for multimodal breast imaging.

Раскрытие сущности изобретенияDisclosure of the essence of the invention

[003] Раскрыты системы и способы ультразвуковой визуализации, которые могут улучшить корреляцию между ультразвуковыми изображениями груди и изображениями груди, полученными другими методами.[003] Ultrasound imaging systems and methods are disclosed that can improve the correlation between breast ultrasound images and breast images obtained by other methods.

[004] Пример системы ультразвуковой визуализации в соответствии с принципами настоящего раскрытия может включать в себя пользовательский интерфейс, содержащий дисплей и пользовательское устройство ввода, память, функционально соединенную с пользовательским интерфейсом, и процессор, функционально соединенный с пользовательским интерфейсом и памятью. Память может включать в себя исполняемые процессором инструкции, которые при исполнении процессором могут побудить пользовательский интерфейс обеспечить визуальное указание прогнозируемого местоположения поражения, например, для направления сбора данных изображения с помощью ультразвуковой визуализации, и может далее побудить пользовательский интерфейс отобразить ультразвуковое изображение, полученное системой ультразвуковой визуализации. В некоторых вариантах осуществления память может включать в себя исполняемые процессором инструкции для приема указания предполагаемого местоположения поражения по отношению к ранее полученным данным изображения с использованием первого метода визуализации (например, набор данных магнитно-резонансного изображения), а также для генерирования прогнозируемого местоположения поражения, во время визуализации поражения с использованием другого метода (например, ультразвукового).[004] An example of an ultrasound imaging system in accordance with the principles of the present disclosure may include a user interface including a display and a user input device, a memory operably coupled to the user interface, and a processor operatively coupled to the user interface and memory. The memory may include processor-executable instructions that, when executed by the processor, may cause the user interface to provide a visual indication of the predicted location of the lesion, for example, to guide ultrasound imaging acquisition of image data, and may further cause the user interface to display an ultrasound image acquired by the ultrasound imaging system. . In some embodiments, the memory may include processor-executable instructions for receiving an indication of a predicted lesion location with respect to previously acquired image data using a first imaging technique (e.g., a set of magnetic resonance imaging data), as well as for generating a predicted lesion location, during time to visualize the lesion using another method (eg, ultrasound).

[005] Пример способа в соответствии с принципами данного раскрытия может включать в себя прием ранее полученных данных изображения, включающих в себя информацию о предполагаемом местоположении (местоположениях) поражения, применение модели деформации к ранее полученным данным изображения для генерирования прогнозируемого местоположения поражения и предоставление прогнозируемых местоположений поражения интерфейсу определения местоположения поражения. В некоторых вариантах осуществления способ может включать в себя прием данных визуализации, полученных с помощью визуализации ткани с использованием первого метода (например, набор объемных магнитно-резонансных данных), прием указания предполагаемого местоположения поражения в пределах визуализируемой ткани, применение модели деформации к предполагаемому местоположению поражения для генерирования прогнозируемого местоположения поражения при визуализации ткани с использованием второго метода, а также обеспечение графического представления прогнозируемого местоположения на интерфейсе определения местоположения поражения, связанном с системой визуализации, работающей с изображением с помощью второго метода.[005] An example of a method in accordance with the principles of this disclosure may include receiving previously acquired image data including information about the estimated lesion location(s), applying a warp model to the previously acquired image data to generate a predicted lesion location, and providing the predicted locations. lesion to the lesion location interface. In some embodiments, the method may include receiving imaging data obtained by imaging tissue using the first method (e.g., a volumetric magnetic resonance dataset), receiving an indication of the estimated location of the lesion within the imaged tissue, applying a deformation model to the estimated location of the lesion for generating a predicted lesion location when imaging tissue using the second method; and providing a graphical representation of the predicted location on a lesion location interface associated with the imaging system operating on the image using the second method.

[006] Пример долговременного машиночитаемого носителя в соответствии с принципами данного раскрытия может включать в себя исполняемые процессором инструкции по прогнозированию местоположений поражения в системе ультразвуковой визуализации, которые при исполнении могут побудить систему ультразвуковой визуализации: применить модель деформации к ранее полученному изображению, отобразить прогнозируемое местоположение поражения, получить ультразвуковое изображение в реальном времени и отобразить ультразвуковое изображение в реальном времени.[006] An example of a durable computer-readable medium in accordance with the principles of this disclosure may include processor-executable instructions for predicting lesion locations in an ultrasound imaging system, which, when executed, may cause the ultrasound imaging system to: apply a deformation model to a previously acquired image, display a predicted lesion location , get the real-time ultrasound image, and display the real-time ultrasound image.

[007] Аспекты настоящего раскрытия, такие как определенные элементы пользовательского интерфейса и/или способы, описанные в настоящем документе, могут быть воплощены в машиночитаемых носителях, включающих в себя инструкции, исполняемые процессором. Например, память, содержащая исполняемые процессором инструкции по выполнению любого из описанных способов, может быть включена в систему ультразвуковой визуализации в соответствии с настоящим раскрытием. В некоторых вариантах осуществления исполняемые процессором инструкции по предоставлению одного или нескольких графических пользовательских интерфейсов или их элементов могут быть включены в программный пакет для исполнения на аналитической рабочей станции. Аспекты настоящего раскрытия могут облегчить оффлайн-просмотр и анализ ультразвуковых изображений, как описано ниже, однако следует понимать, что принципы, описанные здесь, могут быть в равной степени применимы и к онлайн-анализу изображений (например, анализ, выполненный на ультразвуковой системе во время или вскоре после получения изображения).[007] Aspects of the present disclosure, such as certain user interface elements and/or methods described herein, may be embodied in computer-readable media including instructions executable by a processor. For example, a memory containing processor-executable instructions for performing any of the described methods may be included in an ultrasound imaging system in accordance with the present disclosure. In some embodiments, processor-executable instructions for providing one or more graphical user interfaces or elements thereof may be included in a software package for execution on an analytical workstation. Aspects of the present disclosure may facilitate offline viewing and analysis of ultrasound images as described below, however, it should be understood that the principles described herein may be equally applicable to online image analysis (e.g., analysis performed on an ultrasound system during or shortly after receiving the image).

Краткое описание чертежейBrief description of the drawings

[008] На фиг. 1 показана система 100 ультразвуковой визуализации, выполненная в соответствии с принципами настоящего раскрытия в виде блок-диаграммы.[008] In FIG. 1 shows an ultrasound imaging system 100 implemented in accordance with the principles of the present disclosure in block diagram form.

[009] На фиг. 2 показана иллюстрация системы ультразвуковой визуализации, которая может быть использована для визуализации груди в соответствии с принципами настоящего раскрытия.[009] FIG. 2 is an illustration of an ultrasound imaging system that can be used to image the breast in accordance with the principles of the present disclosure.

[010] На фиг. 3 показаны элементы пользовательского интерфейса, связанные с интерфейсом 300 определения местоположения поражения в соответствии с принципами настоящего раскрытия.[010] In FIG. 3 shows user interface elements associated with a lesion location interface 300 in accordance with the principles of the present disclosure.

[011] На фиг. 4 показаны схематичные изображения тела и связанные с ними комментарии (отметки) в соответствии с принципами настоящего раскрытия.[011] In FIG. 4 shows schematic representations of the body and associated comments (marks) in accordance with the principles of the present disclosure.

[012] На фиг. 5 показана блок-схема примерного процесса определения местоположений поражений, отмеченных на ранее полученных изображениях, при текущем ультразвуковом исследовании в соответствии с принципами настоящего раскрытия.[012] In FIG. 5 shows a flow chart of an exemplary process for locating lesions noted on previously obtained images in a current ultrasound examination in accordance with the principles of the present disclosure.

[013] На фиг. 6 показана блок-схема процесса определения прогнозируемых местоположений поражений в соответствии с принципами настоящего раскрытия.[013] In FIG. 6 shows a flow diagram of a process for determining predicted lesion locations in accordance with the principles of the present disclosure.

[014] На фиг. 7 показана блок-схема процесса обеспечения визуальных указаний местоположений поражения в системе ультразвуковой визуализации в соответствии с принципами настоящего раскрытия.[014] In FIG. 7 is a flow diagram of a process for providing visual indications of lesion locations in an ultrasound imaging system in accordance with the principles of the present disclosure.

Осуществление изобретенияImplementation of the invention

[015] Последующее описание некоторых примерных вариантов осуществления является просто примерным по своей природе и никоим образом не предназначено для ограничения раскрытия или его применения или использования. В последующем подробном описании вариантов осуществления настоящих систем и способов приводится ссылка на сопроводительные чертежи, которые составляют часть настоящего документа, и в которых показаны в виде иллюстраций конкретные варианты осуществления, в которых раскрытые системы и способы могут быть использованы на практике. Эти варианты осуществления описаны достаточно подробно, чтобы позволить специалистам в данной области техники применять на практике раскрытые в настоящем документе системы и способы, но следует понимать, что могут быть использованы и другие варианты осуществления, и что структурные и логические изменения могут быть сделаны без отхода от сущности и объема охраны настоящей системы. Более того, для обеспечения ясности подробное описание определенных признаков не будет обсуждаться, если они являются очевидными для специалистов в данной области техники, чтобы не затруднять понимание описания настоящей системы. Поэтому последующее подробное описание не должно приниматься в ограничительном смысле, а объем охраны настоящей системы определяется только прилагаемой формулой изобретения.[015] The following description of some exemplary embodiments is merely exemplary in nature and is in no way intended to limit the disclosure or its application or use. In the following detailed description of embodiments of the present systems and methods, reference is made to the accompanying drawings, which form part of this document, and which illustrate by way of illustration specific embodiments in which the disclosed systems and methods can be used in practice. These embodiments are described in sufficient detail to enable those skilled in the art to practice the systems and methods disclosed herein, but it should be understood that other embodiments may be used and that structural and logical changes may be made without departing from the nature and scope of protection of this system. Moreover, for the sake of clarity, a detailed description of certain features will not be discussed if they are obvious to those skilled in the art so as not to obscure the description of the present system. Therefore, the following detailed description should not be taken in a limiting sense, and the scope of protection of the present system is determined only by the appended claims.

[016] Пациентам, особенно тем, которых считают подверженными высокому риску заболевания раком молочной железы, может быть проведена магнитно-резонансная томография (МРТ) груди. Хотя МРТ является высокочувствительной и может обеспечить раннее обнаружение рака молочной железы, МРТ может быть склонна к ложноположительным результатам. Соответственно, после выявления поражения с помощью МРТ, пациенты часто проходят последующее ультразвуковое исследование. Ультразвуковое исследование может включать в себя визуализацию поражения, получение характеристик поражения (например, размер, ригидность ткани, приток крови), и/или проведение биопсии поражения под контролем врача (например, пункционной биопсии).[016] Patients, especially those who are considered at high risk for breast cancer, may have magnetic resonance imaging (MRI) of the breast. Although MRI is highly sensitive and can provide early detection of breast cancer, MRI can be prone to false positive results. Accordingly, once a lesion is identified by MRI, patients often undergo a follow-up ultrasound examination. Ultrasonography may include imaging the lesion, characterizing the lesion (eg, size, tissue stiffness, blood flow), and/or biopsying the lesion under medical supervision (eg, punch biopsy).

[017] Врач, выполняющий последующее ультразвуковое исследование, часто не является тем же врачом, который выполнял МРТ или анализировал изображения. Врач может получить магнитно-резонансные изображения пациента и/или отчет рентгенолога, который анализировал магнитно-резонансные изображения. Основываясь на визуальном осмотре изображений и/или интерпретации отчета, врач должен попытаться найти то же поражение или поражения в груди пациента, которые были обнаружены на магнитно-резонансном изображении, для корреляции результатов.[017] The physician performing the subsequent ultrasound is often not the same physician who performed the MRI or analyzed the images. The physician may obtain magnetic resonance images of the patient and/or a report from the radiologist who analyzed the magnetic resonance images. Based on visual examination of the images and/or interpretation of the report, the clinician should attempt to find the same lesion or lesions in the patient's chest that were found on the magnetic resonance image to correlate the results.

[018] Магнитно-резонансную томографию груди и ультразвуковую визуализацию выполняют с пациентом в различных положениях. Магнитно-резонансные томограммы груди обычно выполнены с пациентом, лежащим на животе (т.е. лицом вниз), без опоры на грудь (груди). Это может позволить за счет гравитации удлинить ткань груди для лучшей МРТ. В отличие от этого, ультразвуковое исследование обычно проводят с пациентом, лежащим на спине (т.е. лицом вверх), при этом рука со стороны сканирования поднята над головой, чтобы вытянуть ткань груди, позволяя при этом ультразвуковому зонду осуществлять адекватный акустический контакт с грудью. Из-за различных положений пациента ткань груди может быть подвержена различным сжимающим и растягивающим воздействиям, которые могут изменить форму и/или положение тканей груди. Кроме того, давление, оказываемое зондом на ткань, может также привести к смещению ткани груди, что может также вносить вклад в проблему корреляции данных визуализации между двумя различными методами. Различия в деформации груди между одним методом (например, МРТ) и вторым методом (например, ультразвуковая визуализация) могут затруднить для врача определение местоположения поражения, отмеченного на изображении, полученного от первого метода (например, МРТ), во время визуализации посредством другого метода (например, во время ультразвукового исследования). Например, поражение может принять другую форму, быть скрытым другой структурой ткани и/или появиться в другом местоположении внутри груди. Анатомические ориентиры (например, сосок, ареола) также могут изменить свой внешний вид, и/или может измениться их относительное местоположение по отношению к поражению. Кроме того, ультразвуковое исследование и магнитно-резонансная томография склонны к различным артефактам визуализации, которые могут препятствовать обнаружению местоположения поражения. Например, ультразвуковые изображения могут включать в себя затенение от связок Купера, которое не встречается при магнитно-резонансной томографии. В некоторых ситуациях, чтобы избежать артефактов, скрывающих поражение, проводящий ультразвуковое исследование врач может быть вынужден визуализировать поражение под углом, который соответствует другому виду груди, в отличие от магнитно-резонансного изображения.[018] Magnetic resonance imaging of the chest and ultrasound imaging is performed with the patient in various positions. Magnetic resonance imaging of the chest is usually performed with the patient in the prone (ie, face down) position, without any support on the chest (chest). This may allow gravity to lengthen the breast tissue for better MRI. In contrast, ultrasound is usually performed with the patient in the supine (i.e., face up) position with the arm on the scanning side raised above the head to draw out the breast tissue while allowing the ultrasound probe to make adequate acoustic contact with the breast. . Due to the different positions of the patient, the breast tissue may be subjected to various compressive and tensile forces, which may change the shape and/or position of the breast tissues. In addition, the pressure exerted by the probe on the tissue can also lead to displacement of the breast tissue, which can also contribute to the problem of correlation of imaging data between two different methods. Differences in breast deformity between one modality (eg, MRI) and a second modality (eg, ultrasound imaging) can make it difficult for a clinician to locate a lesion marked on an image from the first modality (eg, MRI) during imaging with another modality ( e.g. during an ultrasound examination). For example, the lesion may take on a different shape, be hidden by another tissue structure, and/or appear at a different location within the breast. Anatomical landmarks (eg, nipple, areola) may also change in appearance and/or their relative location relative to the lesion may change. In addition, ultrasound and magnetic resonance imaging are prone to various imaging artifacts that can interfere with the location of the lesion. For example, ultrasound images may include occlusion from Cooper's ligaments, which is not seen on magnetic resonance imaging. In some situations, to avoid artifacts that obscure the lesion, the ultrasound examiner may be forced to view the lesion at an angle that matches a different view of the breast than the MRI image.

[019] В настоящее время врачи вручную ищут поражения посредством сканирования методом «свободной руки» при ультразвуковых исследованиях. Для определения местоположения поражения может потребоваться большой объем сканирования ткани груди и/или большое количество углов сканирования. Время, необходимое для определения местоположений поражений, может быть значительным, особенно если грудь большая и/или имеется множество поражений. Опыт врача также может быть фактором времени, необходимого для обнаружения местоположений поражений во время ультразвукового исследования. Даже если врач обнаружит поражение во время ультразвукового исследования, он не может быть уверен в том, что поражения, обнаруженные во время ультразвукового исследования, соответствуют поражениям, обнаруженным на магнитно-резонансном изображении.[019] Physicians currently look for lesions manually by free-hand scanning with ultrasound. Locating a lesion may require a large amount of breast tissue scan and/or a large number of scan angles. The time required to locate lesions can be significant, especially if the breast is large and/or there are multiple lesions. The experience of the clinician may also be a factor in the time required to locate the locations of the lesions during an ultrasound examination. Even if a physician finds a lesion during an ultrasound, he or she cannot be sure that the lesions found during an ultrasound match the lesions found on an MRI.

[020] Как раскрыто в данном документе, во время проведения последующего ультразвукового исследования, ультразвуковая система может получать данные визуализации от одного метода (например, один или несколько наборов объемных магнитно-резонансных данных). Данные визуализации или их части (например, набор объемных магнитно-резонансных данных или поднабор изображений из набора данных) могут быть загружены в систему ультразвуковой визуализации до проведения ультразвукового исследования. Представляющие интерес поражения могут быть уже отмечены в наборах магнитно-резонансных данных. Метки поражений в наборе магнитно-резонансных данных могут быть поставлены врачом в системе ультразвуковой визуализации, или может быть отмечен набор магнитно-резонансных данных (например, для выявления представляющих интерес поражений) до загрузки набора магнитно-резонансных данных в систему ультразвуковой визуализации. Система ультразвуковой визуализации может включать в себя модель деформации груди, которая может имитировать, как грудь, визуализированная с помощью магнитно-резонансной томографии, будет деформирована (например, по форме, местоположению) во время ультразвукового исследования. Модель деформации может анализировать данные магнитно-резонансной томографии и прогнозировать, где в груди могут находиться поражения, указанные в наборе магнитно-резонансных данных, во время ультразвукового исследования.[020] As disclosed herein, during a subsequent ultrasound examination, the ultrasound system may acquire imaging data from a single method (eg, one or more volumetric magnetic resonance datasets). Imaging data or portions thereof (eg, a volumetric magnetic resonance dataset or a subset of images from a dataset) may be loaded into an ultrasound imaging system prior to performing an ultrasound examination. Lesions of interest may already be noted in the magnetic resonance data sets. Lesions on the magnetic resonance dataset may be labeled by a clinician on the ultrasound imaging system, or the magnetic resonance dataset may be marked (eg, to identify lesions of interest) prior to loading the magnetic resonance dataset into the ultrasound imaging system. The ultrasound imaging system may include a breast deformity model that can simulate how an MRI-imaged breast would be deformed (eg, in shape, location) during an ultrasound examination. The deformity model can analyze the MRI data and predict where the lesions indicated in the MRI dataset might be located in the chest during an ultrasound examination.

[021] Кроме того, система ультразвуковой визуализации может включать в себя графический пользовательский интерфейс (например, интерфейс определения местоположения поражения), который может обеспечить визуальное указание (например, графическое представление) груди, которая может быть взаимозаменяемым образом обозначена меткой груди, и прогнозируемые местоположения поражений во время ультразвукового исследования, основанные, по меньшей мере частично, на данных магнитно-резонансной томографии, скорректированных с помощью модели деформации. Графическое представление может указывать врачу на место в груди для сканирования с целью определения местоположения представляющего интерес поражения, отмеченного в наборе магнитно-резонансных данных. Руководство, предоставляемое интерфейсом определения местоположения поражения, работа которого может быть улучшена с помощью модели деформации, может сократить время, необходимое для определения местоположения поражения во время ультразвукового исследования и/или может повысить уверенность врача в том, что во время ультразвукового исследования было обнаружено то же самое поражение, как было отмечено на соответствующем магнитно-резонансном изображении.[021] In addition, the ultrasound imaging system may include a graphical user interface (e.g., a lesion location interface) that can provide a visual indication (e.g., a graphical representation) of a breast, which may be interchangeably labeled with a breast mark, and predicted locations. lesions during ultrasound, based at least in part on magnetic resonance imaging data corrected using a deformity model. The graphical representation may direct the clinician to a location in the chest to scan in order to locate a lesion of interest marked on the magnetic resonance data set. The guidance provided by the lesion locating interface, which can be improved with a strain model, may reduce the time required to locate a lesion during an ultrasound examination and/or may increase the clinician's confidence that the same was found during an ultrasound examination. the lesion itself, as noted on the corresponding magnetic resonance image.

[022] Хотя представленные здесь примеры описывают анализ магнитно-резонансных изображений груди для последующих ультразвуковых исследований, принципы настоящего раскрытия могут быть применены для анализа изображений рентгеновской маммографии и изображений других методов визуализации груди (например, трехмерный томосинтез груди). Например, при рентгеновской маммографии изображения обычно получают, когда пациент стоит, а грудь сжимается между двумя пластинами. Модель деформации системы ультразвуковой визуализации может быть применена к результирующим рентгеновским изображениям, а результирующее прогнозируемое местоположение поражения может быть предоставлено интерфейсом определения местоположения поражения врачу, проводящему ультразвуковое исследование.[022] Although the examples presented here describe the analysis of magnetic resonance images of the breast for subsequent ultrasound studies, the principles of this disclosure can be applied to the analysis of images of X-ray mammography and images of other breast imaging methods (for example, three-dimensional breast tomosynthesis). For example, in x-ray mammography, images are usually taken while the patient is standing and the chest is being compressed between two plates. The deformation model of the ultrasound imaging system can be applied to the resulting x-ray images, and the resulting predicted lesion location can be provided by the lesion location interface to the ultrasound doctor.

[023] Раскрытая в данном документе система ультразвуковой визуализации может включать в себя пользовательский интерфейс, содержащий дисплей и пользовательское устройство ввода, память, функционально соединенную с пользовательским интерфейсом, и процессор, функционально соединенный с пользовательским интерфейсом и памятью. Память может включать в себя исполняемые процессором инструкции, которые при исполнении процессором побуждают пользовательский интерфейс обеспечить визуальное указание прогнозируемого местоположения поражения (например, схематичное изображение тела с наложенным на нее комментарием (отметкой)) и отобразить ультразвуковое изображение, полученное системой ультразвуковой визуализации. Память может также включать в себя исполняемые процессором инструкции, которые при исполнении процессором побуждают процессор применить модель деформации к ранее полученному изображению для определения прогнозируемого местоположения поражения и предоставления в пользовательский интерфейс прогнозируемого местоположения поражения. Пользовательский интерфейс может также принять фактическое местоположение поражения от пользовательского устройства ввода и обеспечить визуальное указание фактического местоположения поражения. Для дальнейшей помощи врачу пользовательский интерфейс может обеспечить визуальное указание по меньшей мере одного из предлагаемых положений (например, расстояние и угол ультразвукового зонда по отношению к какому-либо анатомическому ориентиру, например, соску), и/или обеспечить визуальное указание по меньшей мере одного из текущих положений ультразвукового зонда. В дополнение к ультразвуковым изображениям, полученным врачом во время ультразвукового исследования, пользовательский интерфейс может отображать ранее полученное изображение (например, магнитно-резонансное изображение).[023] The ultrasound imaging system disclosed herein may include a user interface comprising a display and a user input device, a memory operatively coupled to the user interface, and a processor operatively coupled to the user interface and memory. The memory may include processor-executable instructions that, when executed by the processor, cause the user interface to provide a visual indication of the predicted location of the lesion (e.g., a schematic image of the body with a comment superimposed (mark)) and display an ultrasound image obtained by the ultrasound imaging system. The memory may also include processor-executable instructions that, when executed by the processor, cause the processor to apply a warp model to a previously acquired image to determine the predicted lesion location and provide the predicted lesion location to the user interface. The user interface may also receive the actual location of the lesion from the user input device and provide a visual indication of the actual location of the lesion. To further assist the clinician, the user interface may provide a visual indication of at least one of the suggested positions (e.g., the distance and angle of the ultrasound probe with respect to some anatomical landmark, such as the nipple), and/or provide a visual indication of at least one of current positions of the ultrasonic probe. In addition to the ultrasound images acquired by the clinician during the ultrasound examination, the user interface may display a previously acquired image (eg, a magnetic resonance image).

[024] На фиг. 1 показана система 100 ультразвуковой визуализации, выполненная в соответствии с принципами настоящего раскрытия, в виде блок-диаграммы. Система 100 ультразвуковой визуализации может быть использована для реализации, по меньшей мере частично, любой из описанных здесь систем ультразвуковой визуализации. На фиг. 1 представлена система 100 ультразвуковой визуализации, включающая в себя ультразвуковой зонд 102, решетку 132 преобразователей, микролучеформирователь 130 (микроформирователь диаграммы направленности), переключатель 108 передачи/приема (T/R-переключатель), лучеформирователь 110 (формирователь диаграммы направленности), контроллер 114 передачи, сигнальный процессор 112, процессор 122 B-режима, сканирующий преобразователь 120 (скан-конвертер), устройство 126 многоплоскостного переформатирования (мультипланарный реформаттер), устройство 124 объемного рендеринга (объемный рендерер), процессор 118 изображений, графический процессор 116, пользовательский интерфейс 104, устройство 134 ввода и устройство 128 вывода. Компоненты, показанные на фиг. 1, являются лишь иллюстративными, при этом возможны другие варианты, в том числе исключение компонентов, комбинирование компонентов, переупорядочивание компонентов и замена компонентов.[024] In FIG. 1 shows an ultrasound imaging system 100 implemented in accordance with the principles of the present disclosure in block diagram form. The ultrasound imaging system 100 may be used to implement, at least in part, any of the ultrasound imaging systems described herein. In FIG. 1 shows an ultrasound imaging system 100 including an ultrasound probe 102, a transducer array 132, a micro beamformer 130 (micro beamformer), a transmit/receive switch (T/R switch) 108, a beamformer 110 (beamformer), a transmission controller 114 , signal processor 112, B-mode processor 122, scan converter 120 (scan converter), multi-planar reformatter 126 (multi-planar reformatter), volumetric renderer 124 (volumetric renderer), image processor 118, graphics processor 116, user interface 104, an input device 134 and an output device 128. The components shown in Fig. 1 are illustrative only, other options are possible, including omitting components, combining components, reordering components, and replacing components.

[025] В системе 100 ультразвуковой визуализации на фиг. 1 ультразвуковой зонд 106 включает в себя решетку 132 преобразователей для передачи ультразвуковых волн и приема эхо-информации. Хорошо известны в данной области техники различные решетки преобразователей, например, линейные решетки, выпуклые решетки или фазированные решетки. Например, решетка 132 преобразователей может включать в себя двухмерную решетку (матрицу) преобразовательных элементов, способных сканировать как высотные, так и азимутальные измерения для 2D- и/или 3D-визуализации. Решетка 132 преобразователей может в некоторых случаях быть соединена с микролучеформирователем 130, обычно расположенным в ультразвуковом зонде 106, который управляет передачей и приемом сигналов с помощью преобразовательных элементов в решетке. В примере, показанном на фиг. 1, микролучеформирователь 130 соединен, например, кабелем зонда или по беспроводной связи, с переключателем 108 передачи/приема, который осуществляет переключение между передачей и приемом. Таким образом, переключатель 108 передачи/приема может защитить лучеформирователь 110 от сигналов передачи высоких энергии. В некоторых вариантах осуществления переключатель 108 передачи/приема и другие элементы системы могут быть включены в зонд с преобразователями, а не в отдельное основание ультразвуковой системы. [025] In the ultrasound imaging system 100 of FIG. 1, the ultrasonic probe 106 includes a transducer array 132 for transmitting ultrasonic waves and receiving echo information. Various transducer arrays are well known in the art, such as linear arrays, convex arrays, or phased arrays. For example, transducer array 132 may include a two-dimensional array (matrix) of transducer elements capable of scanning both elevation and azimuth measurements for 2D and/or 3D imaging. The transducer array 132 may, in some cases, be coupled to a microbeamformer 130, typically located in the ultrasonic probe 106, which controls the transmission and reception of signals by the transducer elements in the array. In the example shown in FIG. 1, microbeamformer 130 is connected, for example, via a probe cable or wirelessly, to a transmit/receive switch 108 that switches between transmit and receive. Thus, the transmit/receive switch 108 can protect the beamformer 110 from high energy transmission signals. In some embodiments, the transmit/receive switch 108 and other elements of the system may be included in a probe with transducers rather than in a separate base of the ultrasound system.

[026] Передача ультразвуковых лучей из решетки 132 преобразователей под управлением микролучеформирователя 130, если он присутствует в конкретном варианте осуществления, осуществляется контроллером 114 передачи, соединенным с переключателем 108 передачи/приема и лучеформирователем 110. Контроллер 114 передачи принимает входные данные от пользовательской команды устройства 134 ввода пользовательского интерфейса 104. Устройство 134 ввода может быть выполнено с помощью панели управления (например, сенсорного экрана, пульта оператора или их комбинации), которая может включать в себя программные и/или аппаратные элементы управления. Одной из функций, управляемых контроллером 114 передачи, является направление, в котором направляют лучи. Лучи могут быть направлены прямо от решетки (ортогонально к решетке) преобразователей или под разными углами для более широкого поля зрения. В вариантах осуществления, включающих в себя микролучеформирователь, сигналы c частично сформированным лучом (с частично сформированной диаграммой направленности), создаваемые микролучеформирователем 130, соединяются с лучеформирователем 110, в котором сигналы c частично сформированным лучом от отдельных участков преобразовательных элементов объединяются в сигнал с полностью сформированным лучом. В других вариантах осуществления сигналы от решетки 132 передаются к лучеформирователю 110, который формирует сигналы со сформированным лучом в ответ на сигналы из решетки.[026] The transmission of ultrasonic beams from the transducer array 132 under the control of the microbeamformer 130, if present in the specific embodiment, is performed by the transmission controller 114 connected to the transmit/receive switch 108 and the beamformer 110. The transmission controller 114 receives input from the user command of the device 134 user interface input 104. The input device 134 may be implemented using a control panel (eg, touch screen, operator console, or a combination thereof) that may include software and/or hardware controls. One of the functions controlled by transmission controller 114 is the direction in which the beams are directed. The beams can be directed directly from the array (orthogonal to the array) of the transducers, or at different angles for a wider field of view. In embodiments incorporating a microbeamformer, partially beamformed (partially patterned) signals produced by microbeamformer 130 are coupled to beamformer 110, in which the partially beamformed signals from individual portions of the transducer elements are combined into a fully beamformed signal. . In other embodiments, the signals from the grating 132 are transmitted to the beamformer 110, which generates beamformed signals in response to the signals from the grating.

[027] Сигналы со сформированным лучом могут быть соединены с сигнальным процессором 112. Сигнальный процессор 112 может обрабатывать принимаемые эхо-сигналы различными способами, такими как полосовая фильтрация, уменьшение размера изображения, разделение I и Q компонент, а также разделение гармонических сигналов. Сигнальный процессор 112 может также выполнять дополнительно усиление сигнала, такое как понижение уровня спеклов, смешивание сигналов и шумоподавление. Обработанные сигналы могут быть соединены с процессором 122 B-режима, который может использовать амплитудное детектирование для визуализации структур в организме. Сигналы, создаваемые процессором B-режима, могут быть подсоединены к сканирующему преобразователю 30 и устройству 126 многоплоскостного переформатирования в случаях получения 3D-данных. Сканирующий преобразователь 120 упорядочивает эхо-сигналы в пространственном отношении, из которого они были приняты, в требуемом формате изображения. Например, сканирующий преобразователь 120 может упорядочить эхо-сигнал в двухмерный (2D) секторообразный формат или пирамидальное трехмерное (3D) изображение. Устройство 126 многоплоскостного переформатирования может преобразовывать эхо-сигналы, которые принимаются из точек в общей плоскости в объемной области тела, в ультразвуковое изображение этой плоскости, как описано в патенте США №6443896 автора Детмер (Detmer). Устройство 124 объемного рендеринга преобразует эхо-сигналы трехмерного набора данных в проецируемое трехмерное изображение, как видно от заданной опорной точки, например, как описано в патенте США №6530885 авторов Энтрекин и др. (Entrekin et al.). Двухмерные или трехмерные изображения могут быть подсоединены от сканирующего преобразователя 120, устройства 126 многоплоскостного переформатирования и устройства 124 объемного рендеринга к процессору 118 изображений для дальнейшего усиления, буферизации и временного хранения для отображения на устройстве 128 вывода. Устройство 128 вывода может включать в себя устройство отображения, выполненное с использованием различных известных технологий отображения, таких как дисплей на основе жидких кристаллов (LCD), светодиодов (LED), органических светодиодов (OLED) или плазменный дисплей. [027] The beamformed signals may be coupled to a signal processor 112. The signal processor 112 may process the received echoes in a variety of ways, such as band pass filtering, image reduction, I and Q component separation, and harmonic signal separation. Signal processor 112 may also perform additional signal amplification such as speckle reduction, signal mixing, and noise reduction. The processed signals may be coupled to a B-mode processor 122, which may use amplitude detection to visualize structures in the body. The signals generated by the B-mode processor can be connected to the scan converter 30 and the omniformator 126 in cases where 3D data is acquired. The scan transducer 120 arranges the echoes in the spatial relationship from which they were received in the desired aspect ratio. For example, scanning transducer 120 may arrange the echo into a two-dimensional (2D) sector format or a pyramidal three-dimensional (3D) image. Multiplanar reformatter 126 can convert echoes that are received from points in a common plane in a body volume region into an ultrasound image of that plane, as described in US Pat. No. 6,443,896 to Detmer. A volume renderer 124 converts the 3D data set echoes into a projected 3D image as seen from a given reference point, such as described in US Pat. No. 6,530,885 to Entrekin et al. Two-dimensional or three-dimensional images can be connected from the scanner converter 120, the device 126 omnidirectional reformatting and device 124 volumetric renderer to the processor 118 images for further enhancement, buffering and temporary storage for display on the device 128 output. The output device 128 may include a display device made using various known display technologies such as liquid crystal display (LCD), light emitting diode (LED), organic light emitting diode (OLED), or plasma display.

[028] Графический процессор 116 может генерировать накладные графические элементы для отображения с ультразвуковыми изображениями. Эти накладные графические элементы могут содержать, например, стандартную идентифицирующую информацию, такую как имя пациента, дата и время изображения, параметры визуализации и тому подобное. Графический процессор может принимать входные данные, например имя пациента, от устройства 134 ввода. Устройство 134 ввода может включать в себя один или несколько механических элементов управления, таких как кнопки, наборные диски, трекбол, физическую клавиатуру и другие, которые также могут быть названы в настоящем документе как аппаратные элементы управления. В качестве альтернативы или дополнения, устройство 134 ввода может включать в себя один или несколько программных элементов управления, таких как кнопки, меню, виртуальная клавиатура и другие элементы управления пользовательского интерфейса, выполненные, например, с помощью сенсорной технологии (например, резистивные, емкостные или оптические сенсорные экраны). С этой целью система 100 ультразвуковой визуализации может включать в себя процессор пользовательского интерфейса (например, процессор 140), который может управлять операциями пользовательского интерфейса, например, функциями, связанными с программными элементами управления. Один или несколько пользовательских элементов управления могут быть размещены на панели управления. Например, один или несколько механических элементов управления могут быть установлены на консоли и/или один или несколько программных элементов управления могут быть размещены на сенсорном экране, который может быть присоединен к консоли или встроен в нее.[028] The graphics processor 116 may generate graphical overlays for display with ultrasound images. These overlay graphics may contain, for example, standard identifying information such as the patient's name, image date and time, imaging parameters, and the like. The graphics processor may receive input, such as the patient's name, from the input device 134 . Input device 134 may include one or more mechanical controls such as buttons, dials, trackball, physical keyboard, and others, which may also be referred to herein as hardware controls. Alternatively or in addition, input device 134 may include one or more software controls, such as buttons, menus, virtual keyboards, and other user interface controls implemented, for example, using touch technology (for example, resistive, capacitive, or optical touch screens). To this end, the ultrasound imaging system 100 may include a user interface processor (eg, processor 140) that may control user interface operations, such as functions associated with software controls. One or more user controls can be placed on a control panel. For example, one or more mechanical controls may be mounted on the console and/or one or more software controls may be placed on a touch screen that may be attached to or built into the console.

[029] Ультразвуковые изображения и соответствующие накладные графические элементы могут храниться в памяти 136, например, для автономного анализа (оффлайн). В некоторых вариантах осуществления память 136 может включать в себя локальную память, предоставляемую в основании ультразвуковой системы. В некоторых вариантах осуществления память 136 может включать в себя запоминающее устройство системы архивации и передачи изображений (PACS, от англ. picture archiving and communication system). В некоторых вариантах осуществления ультразвуковые изображения и соответствующие данные могут храниться как локально, так и удаленно на сервере PACS. Как описано в данном документе, в памяти 136 могут храниться изображения, полученные от других систем визуализации. Например, в памяти 136 могут храниться изображения, полученные другой системой ультразвуковой визуализации, системой магнитно-резонансной томографии и/или рентгеновской маммографической системой.[029] Ultrasound images and corresponding overlay graphics may be stored in memory 136, for example, for offline analysis. In some embodiments, memory 136 may include local memory provided at the base of the ultrasound system. In some embodiments, memory 136 may include a picture archiving and communication system (PACS) storage device. In some embodiments, the implementation of ultrasound images and related data can be stored both locally and remotely on the PACS server. As described herein, memory 136 may store images from other imaging systems. For example, memory 136 may store images acquired by another ultrasound imaging system, a magnetic resonance imaging system, and/or an x-ray mammography system.

[030] Кроме того, в памяти 136 могут храниться исполняемые процессором инструкции, включая инструкции по исполнению функций, связанных с пользовательским интерфейсом 104. Пользовательский интерфейс 104 также может быть соединен с устройством 126 многоплоскостного переформатирования для выбора и управления отображением нескольких изображений, подвергнувшихся многоплоскостному переформатированию (MPR-изображений). Как описано в данном документе, в памяти 136 могут храниться исполняемые процессором инструкции, включая инструкции по выполнению функций, связанных с моделью деформации тканей. В некоторых вариантах осуществления память 136 может включать в себя несколько памятей.[030] In addition, the memory 136 may store instructions executable by the processor, including instructions for executing functions associated with the user interface 104. The user interface 104 may also be connected to the multi-plane reformatter 126 to select and control the display of multiple multi-plane reformatted images. (MPR images). As described herein, memory 136 may store processor-executable instructions, including instructions for performing functions associated with the tissue deformation model. In some embodiments, memory 136 may include multiple memories.

[031] В некоторых вариантах осуществления функциональные возможности двух или более обрабатывающих компонентов (например, лучеформирователя 110, сигнального процессора 112, процессора 122 B-режима, сканирующего преобразователя 120, устройства 126 многоплоскостного переформатирования, устройства 124 объемного рендеринга, процессора 118 изображений, графического процессора 116, процессора 140 и т.д.) могут быть объединены в один блок обработки или могут быть разделены на несколько блоков обработки. Например, процессор 140 может включать в себя два процессора: процессор пользовательского интерфейса и процессор модели деформации. В другом примере графический процессор 116 и процессор 118 изображений могут быть объединены в один процессор.[031] In some embodiments, the functionality of two or more processing components (e.g., beamformer 110, signal processor 112, B-mode processor 122, scan converter 120, multi-plane reformatter 126, volume renderer 124, image processor 118, GPU 116, processor 140, etc.) may be combined into a single processing unit or may be divided into multiple processing units. For example, processor 140 may include two processors: a user interface processor and a warp model processor. In another example, the graphics processor 116 and the image processor 118 may be combined into a single processor.

[032] В соответствии с принципами настоящего раскрытия к ультразвуковому зонду 106 может быть присоединен датчик 138, который может быть функционально связан с системой 106 отслеживания положения (например, с электромагнитной (ЭМ) системой отслеживания), чтобы можно было отслеживать и/или регистрировать пространственное местоположение зонда. Процессор 140 может быть выполнен с возможностью регистрации ультразвукового зонда 106 относительно пациента и определения пространственного положения зонда относительно пациента на основе регистрационных данных, а также данных о положении, полученных с помощью системы 102 отслеживания положения. Также процессор может быть выполнен с возможностью связывания данных о положении с изображениями, полученными с помощью зонда с отслеживаемым положением.[032] In accordance with the principles of the present disclosure, a sensor 138 may be attached to the ultrasonic probe 106, which may be operatively coupled to a position tracking system 106 (e.g., an electromagnetic (EM) tracking system) to track and/or record spatial probe location. The processor 140 may be configured to register the ultrasound probe 106 relative to the patient and determine the spatial position of the probe relative to the patient based on the registration data as well as the position data received by the position tracking system 102. The processor may also be configured to associate position data with images acquired by the position tracked probe.

[033] В соответствии с принципами настоящего раскрытия, процессор 140 может быть выполнен и/или дополнительно выполнен с возможностью приема изображений и/или данных, связанных с изображениями, полученными другой системой визуализации, например, хранящимися в памяти 136. Процессор 140 может быть выполнен с возможностью применения модели деформации ткани, основанной по меньшей мере частично на принятых изображениях и/или данных, для генерирования прогнозируемых местоположений объектов (например, поражений, анатомических ориентиров) внутри ткани. Процессор 140 может предоставить прогнозируемые местоположения процессору 124 изображения, графическому процессору 116, памяти 136 и/или пользовательскому интерфейсу 104.[033] In accordance with the principles of the present disclosure, processor 140 may be configured and/or further configured to receive images and/or data associated with images obtained by another imaging system, such as stored in memory 136. Processor 140 may be configured with the possibility of using a model of tissue deformation, based at least in part on the received images and/or data, to generate predictable locations of objects (eg, lesions, anatomical landmarks) within the tissue. Processor 140 may provide predicted locations to image processor 124, graphics processor 116, memory 136, and/or user interface 104.

[034] Процессор 140 может принимать инструкции для модели деформации из памяти 136. В некоторых вариантах осуществления процессор 140 может принимать дополнительные данные от пользователя (например, от врача) через пользовательское устройство 134 ввода. Например, пользователь может предоставить данные о размерах (например, ширина груди, объем) и/или составе тканей (например, жир, железа, мышцы). В некоторых вариантах осуществления процессор 140 может применять к принятым изображениям сегментационную модель для определения состава и/или размеров ткани. В другом примере пользователь может указать местоположение поражений на изображениях, полученных другой системой визуализации. В еще одном примере пользователь может указать тип применяемой модели деформации (например, положение пациента на спине в положение на животе, сжатое в несжатое).[034] Processor 140 may receive instructions for the strain model from memory 136. In some embodiments, processor 140 may receive additional data from a user (eg, a clinician) via user input device 134. For example, the user may provide measurements (eg, bust width, volume) and/or tissue composition (eg, fat, gland, muscle). In some embodiments, processor 140 may apply a segmentation model to the received images to determine tissue composition and/or dimensions. In another example, the user may indicate the location of lesions on images acquired by another imaging system. In yet another example, the user may specify the type of deformity model applied (eg, patient position supine to prone, compressed to uncompressed).

[035] Пример модели деформации тканей, который может быть использован для реализации модели деформации тканей в некоторых вариантах осуществления, описан в заявке на патент США № 13/666600 "Аппарат и способы компенсации деформации органов внутренних структур относительно изображений и их применение" авторов Мига и др. (Miga, et al). Модель деформации тканей может быть моделью деформации груди в некоторых вариантах осуществления. Пример модели деформации груди, который может быть использован для реализации модели деформации тканей, описан в заявке на патент США № 14/000068 "Система и способ обеспечения совмещения форм груди до и во время хирургической операции" авторов Барт и др. (Barth, et al.). Дополнительные примеры моделей деформации груди, которые могут быть использованы в некоторых вариантах осуществления, описаны в статье "Моделирование деформации груди: Сравнение способов получения индивидуальной для пациента ненагруженной конфигурации" авторов Б. Эйбен и др., Медицинская визуализация 2014: Процедуры под визуальным контролем, роботизированные вмешательства и моделирование, Материалы конференции общества инженеров фотооптического приборостроения, том 9036, 903615 (“Breast Deformation Modelling: Comparison of Methods to Obtain a Patient Specific Unloaded Configuration,” Eiben, B., et al., Medical Imaging 2014: Image-Guided Procedures, Robotic Interventions, and Modeling, Proc. Of SPIE Vol. 9036, 903615) и в статье "Биомеханически управляемое совмещение изображений МРТ груди в положении лежа на животе и на спине с использованием оценочного референтного состояния", Эйбен и др., 2013 г., 10-й Международный симпозиум по биомедицинской визуализации Института инженеров по электротехнике и электронике: От нано до макро, Сан-Франциско, Калифорния, США, 7-11 апреля 2013 года (“Biomechanically Guided Prone-to-Supine Image Registration of Breast MRI Using an Estimated Reference State,” Eiben, B., et al., 2013 IEEE 10 ^th International Symposium on Biomedical Imaging: From Nano to Macro, San Francisco, CA, USA, April 7-11, 2013). Эти модели деформации тканей представлены только для примера. Принципы настоящего раскрытия не ограничены приведенными примерами.[035] An example of a tissue deformation model that can be used to implement a tissue deformation model in some embodiments is described in U.S. Patent Application No. 13/666600 "Apparatus and methods for compensating the deformation of internal structures relative to images and their application" by Mig and others (Miga, et al). The tissue deformity model may be a breast deformity model in some embodiments. An example of a breast deformity model that can be used to implement a tissue deformation model is described in US Patent Application No. 14/000068 "System and Method for Ensuring Matching Breast Forms Before and During Surgery" by Barth et al. .). Additional examples of breast deformity models that may be used in some embodiments are described in "Breast Deformity Modeling: Comparing Ways to Achieve a Patient-Specific Unloaded Configuration" by B. Eiben et al., Medical Imaging 2014: Image-Guided, Robotic Procedures interventions and modeling , Proceedings of the Society of Photooptical Instrumentation Engineers Conference, Vol. 9036, 903615 (“Breast Deformation Modeling: Comparison of Methods to Obtain a Patient Specific Unloaded Configuration,” Eiben, B., et al., Medical Imaging 2014: Image-Guided Procedures , Robotic Interventions, and Modeling , Proc. Of SPIE Vol. 9036, 903615) and "Biomechanically Guided Prone and Supine Chest MRI Image Alignment Using Estimated Reference State", Eiben et al., 2013. , 10th Institute of Electrical Engineers International Biomedical Imaging Symposium Biomechanically Guided Prone-to- Supine Image Registration of Breast MRI Using an Estimated Reference State,” Eiben, B., et al., 2013 IEEE 10th ^{International} Symposium on Biomedical Imaging: From Nano to Macro , San Francisco, CA, USA, April 7-11, 2013). These tissue deformation patterns are provided for example purposes only. The principles of the present disclosure are not limited to the examples.

[036] На фиг. 2 показана иллюстрация системы ультразвуковой визуализации, которая может быть использована для визуализации груди в соответствии с принципами настоящего раскрытия. На фиг. 2 показана система 200 ультразвуковой визуализации, устройство 202 ультразвуковой визуализации, зонд 204, дисплей 206, изображение 208 в реальном времени, система 210 отслеживания положения, пациент 212, пользовательский интерфейс 216, шарнирная консоль 218, сенсорный экран 220, основание 222 и интерфейс 224 определения местоположения поражения. Компоненты, показанные на фиг. 2, являются просто иллюстративными, и все они подразумевают другие варианты, включая устранение компонентов, комбинирование компонентов, перестановку компонентов и замену компонентов.[036] In FIG. 2 is an illustration of an ultrasound imaging system that can be used to image the breast in accordance with the principles of the present disclosure. In FIG. 2 shows an ultrasound imaging system 200, an ultrasound imaging device 202, a probe 204, a display 206, a live image 208, a position tracking system 210, a patient 212, a user interface 216, an articulated arm 218, a touch screen 220, a base 222, and a determination interface 224. location of the lesion. The components shown in Fig. 2 are merely illustrative, and all involve other options, including eliminating components, combining components, rearranging components, and replacing components.

[037] Система 200 ультразвуковой визуализации может включать в себя один или несколько компонентов системы 100 ультразвуковой визуализации, показанных на фиг. 1. Система 200 ультразвуковой визуализации может включать в себя устройство 202 ультразвуковой визуализации, которое может представлять собой устройство ультразвуковой визуализации на основе тележки, ручное устройство визуализации или другое портативное устройство визуализации. Например, в основании 222, которое может быть подвижным основанием, могут быть предусмотрены один или несколько обрабатывающих компонентов устройства 202 ультразвуковой визуализации (например, лучеформирователь, память, сигнальный процессор, процессор B-режима, сканирующий преобразователь, устройство многоплоскостного переформатирования, устройство объемного рендеринга, процессор изображения, графический процессор и/или другие процессоры, которые могут управлять различными операциями устройства ультразвуковой визуализации). Система 200 ультразвуковой визуализации может включать в себя дисплей 206. Дисплей 206 может быть прикреплен к основанию 222 через шарнирную консоль 218 для изменения положения дисплея 206 таким образом, чтобы отображенное на нем изображение было доступно для просмотра другими людьми (например, пациентом, другим врачом ультразвукового исследования или просто другим врачом).[037] The ultrasound imaging system 200 may include one or more components of the ultrasound imaging system 100 shown in FIG. 1. The ultrasound imaging system 200 may include an ultrasound imaging device 202, which may be a cart-based ultrasound imaging device, a hand-held imaging device, or other portable imaging device. For example, the base 222, which may be a movable base, may be provided with one or more processing components of the ultrasound imaging device 202 (e.g., beamformer, memory, signal processor, B-mode processor, scan transducer, multi-plane reformatter, volumetric renderer, image processor, graphics processor, and/or other processors that may control various operations of the ultrasound imaging device). The ultrasound imaging system 200 may include a display 206. The display 206 may be attached to the base 222 via the articulated arm 218 to change the position of the display 206 so that the displayed image is viewable by other people (e.g., a patient, another ultrasonographer). research or just another doctor).

[038] Устройство 202 ультразвуковой визуализации может быть соединено с зондом 204 через проводное (например, кабельное) или беспроводное (например, Wi-Fi) соединение. Зонд 204 может быть использован для сканирования тканей груди пациента (например, пациента 212). Зонд 204 может быть выполнен с возможностью использования метода «свободной руки». Под методом «свободной руки» обычно подразумевают, что зонд управляется (например, перемещается) врачом (например, лаборантом ультразвукового исследования, рентгенологом), а не исполнительным элементом, управляемым машиной. Управление работой зонда 204 может частично осуществляться через пользовательский интерфейс 216. Пользовательский интерфейс 216 может включать в себя входные компоненты, такие как механические и программные элементы управления, и выходные компоненты, такие как визуальные, звуковые и тактильные устройства обратной связи. Один или несколько компонентов пользовательского интерфейса 216 могут быть реализованы с помощью элементов графического пользовательского интерфейса (GUI), которые могут быть представлены на дисплее 206, сенсорном экране 220 или их комбинациях. Например, изображения (например, изображение 208 в реальном времени), полученные с помощью зонда 204, могут отображаться на дисплее 206, на сенсорном экране 220 или на том и другом. Изображения, полученные ранее системой 200 ультразвуковой визуализации и/или другой системой визуализации (например, системой МРТ), могут быть представлены на дисплее 206, сенсорном экране 220 или на том и другом. В некоторых вариантах осуществления ранее полученные изображения могут отображаться одновременно с изображением 208 в реальном времени. Пользовательский интерфейс может быть выполнен с возможностью предоставления элементов графического пользовательского интерфейса для управления работой ультразвуковой системы. Например, один или несколько элементов управления графическим пользовательским интерфейсом могут быть представлены на сенсорном экране 220. [038] The ultrasound imaging device 202 may be connected to the probe 204 via a wired (eg, cable) or wireless (eg, Wi-Fi) connection. Probe 204 may be used to scan the breast tissue of a patient (eg, patient 212). The probe 204 may be configured to use the "free hand" method. By "free hand" is usually meant that the probe is controlled (eg, moved) by a doctor (eg, ultrasound technician, radiologist), and not an actuator controlled by a machine. The operation of probe 204 may be partially controlled through user interface 216. User interface 216 may include input components such as mechanical and software controls and output components such as visual, audible, and tactile feedback devices. One or more components of user interface 216 may be implemented using graphical user interface (GUI) elements, which may be presented on display 206, touch screen 220, or combinations thereof. For example, images (eg, live image 208) acquired by probe 204 may be displayed on display 206, touch screen 220, or both. Images previously acquired by ultrasound imaging system 200 and/or another imaging system (eg, MRI system) may be presented on display 206, touch screen 220, or both. In some embodiments, previously acquired images may be displayed simultaneously with the live image 208. The user interface may be configured to provide graphical user interface elements for controlling the operation of the ultrasound system. For example, one or more graphical user interface controls may be presented on the touch screen 220.

[039] Пользовательский интерфейс 216 может включать в себя интерфейс 224 определения местоположения поражения. Интерфейс 224 определения местоположения поражения может обеспечивать один или несколько элементов пользовательского интерфейса, чтобы помочь врачу определить местоположение поражения, ранее обнаруженного на изображении от другой системы визуализации (например, системы магнитно-резонансной томографии). Один или несколько элементов интерфейса 224 определения местоположения поражения могут быть реализованы в виде элементов графического пользовательского интерфейса, которые могут быть представлены на дисплее 206, сенсорном экране 220 или их комбинации. Один или несколько элементов интерфейса 224 определения местоположения поражения могут быть обеспечены в одном или нескольких окнах интерфейса одновременно или в разное время.[039] The user interface 216 may include an interface 224 for determining the location of a lesion. The lesion location interface 224 may provide one or more user interface elements to help the physician locate a lesion previously detected on an image from another imaging system (eg, a magnetic resonance imaging system). One or more elements of the lesion location interface 224 may be implemented as graphical user interface elements that may be presented on the display 206, the touch screen 220, or a combination thereof. One or more lesion location interface elements 224 may be provided in one or more interface windows at the same time or at different times.

[040] Интерфейс определения местоположения поражения может включать в себя элементы управления определением местоположения, которые могут включать в себя элементы управления графическим пользовательским интерфейсом, представленные на сенсорном экране 220, примеры которых будут описаны ниже. В некоторых вариантах осуществления, например, на обычной рабочей станции, элементы управления определением местоположения могут быть реализованы с помощью элементов управления графическим пользовательским интерфейсом, реагирующих на обычные устройства ввода, такие как мышь, трекбол, сенсорная панель, клавиатура и т.п. Элементы управления определением местоположения могут позволить пользователю обеспечить указание предполагаемого местоположения поражения относительно ранее полученных данных изображения (например, данных визуализации, полученных с помощью первого метода, такого как магнитно-резонансная томография), причем указанное предполагаемое положение затем может быть использовано для генерирования прогнозируемого местоположения поражения при ультразвуковом сканировании ткани. Прогнозируемое местоположение поражения может быть сгенерировано на основе модели деформации, которая учитывает разницу в положении пациента в двух методах визуализации. Прогнозируемое местоположение поражения может быть использовано для направления последующего ультразвукового сканирования, например, путем обеспечения графического представления прогнозируемого местоположения поражения на анатомически репрезентативном графическом изображении интерфейса 224 определения местоположения поражения. Интерфейс 224 определения местоположения поражения может включать в себя графические изображения, которые могут быть отображены на дисплее ультразвуковой системы, на дисплее рабочей станции или другом дисплее. Графические изображения могут быть выполнены с возможностью отображения информации (например, одна или несколько меток, которые могут указывать на прогнозируемое место поражения) анатомически разумным способом, например, путем отображения меток 228 на анатомически репрезентативном графическом изображении 226 или рядом с ним (также называемом схематичным изображением (схемой, знаком) тела). Анатомически репрезентативное графическое изображение 226 может включать в себя двухмерное или трехмерное изображение анатомической части или органа. В настоящем контексте “анатомически разумный“ может в качестве альтернативы или дополнения относиться к автоматическому размещению меток 228 на анатомически репрезентативном графическом изображении, которые могут указывать на прогнозируемое местоположение поражения на основании указанного предполагаемого местоположения поражения в ранее полученном наборе данных, скорректированном с помощью модели деформации. Как описано выше, данные изображения могут быть получены с помощью зонда с отслеживаемым положением, таким образом, “анатомически разумный“ может альтернативно или дополнительно относиться к автоматическому размещению меток 228 на схематичном изображении 226 тела на основании положения зонда во время получения конкретного изображения (например, графического изображения, указывающего текущее положение и/или угол зонда по отношению к анатомии, предлагаемое положение и/или угол зонда, и/или их комбинацию). В проиллюстрированном примере анатомически репрезентативным графическим изображением 226 может быть графическое изображение груди, иллюстрирующее сторону груди, соответствующую визуализируемой груди. На графическое изображение груди могут быть наложены одна или несколько меток 228, как будет описано далее. Метки 228 могут быть также размещены рядом (например, над, под или на любой стороне схематичного изображения тела). Метки 228 (например, символы и/или индикаторы) могут включать в себя буквенно-цифровые символы и/или геометрические формы. В некоторых вариантах осуществления графическое изображение 226 может не быть анатомически репрезентативным, а может иметь форму круговой диаграммы с наложенной на нее меткой или представленной рядом с круговой диаграммой. [040] The lesion location interface may include location controls, which may include GUI controls presented on the touch screen 220, examples of which will be described below. In some embodiments, such as on a conventional workstation, location controls may be implemented using graphical user interface controls responsive to conventional input devices such as a mouse, trackball, touch pad, keyboard, and the like. The location controls may allow the user to provide an indication of the estimated location of the lesion relative to previously obtained image data (e.g., imaging data obtained with a first method such as magnetic resonance imaging), where said estimated position can then be used to generate a predicted location of the lesion. during ultrasound scanning of tissue. The predicted location of the lesion can be generated based on a strain model that takes into account the difference in patient position in the two imaging modalities. The predicted lesion location can be used to guide subsequent ultrasound scans, for example, by providing a graphical representation of the predicted lesion location on an anatomically representative graphical representation of the lesion location interface 224. The lesion location interface 224 may include graphics that may be displayed on an ultrasound system display, workstation display, or other display. Graphical representations may be configured to display information (e.g., one or more labels that may indicate a predicted lesion site) in an anatomically reasonable manner, such as by displaying labels 228 on or near an anatomically representative graphical representation 226 (also referred to as a schematic diagram). (scheme, sign) of the body). Anatomically representative graphic image 226 may include a two-dimensional or three-dimensional image of an anatomical part or organ. In the present context, “anatomically reasonable” may alternatively or additionally refer to the automatic placement of marks 228 on an anatomically representative graphical image that may indicate a predicted lesion location based on a specified estimated lesion location in a previously acquired dataset corrected with a strain model. As described above, image data may be acquired with a position-tracking probe, thus “anatomically reasonable” may alternatively or additionally refer to the automatic placement of marks 228 on the schematic body image 226 based on the position of the probe at the time of acquisition of a particular image (e.g., a graphical representation indicating the current position and/or angle of the probe in relation to anatomy, the proposed position and/or angle of the probe, and/or a combination of both). In the illustrated example, the anatomically representative graphic 226 may be a breast graphic illustrating the side of the breast corresponding to the breast being rendered. One or more labels 228 may be superimposed on the breast graphic, as will be described later. The marks 228 may also be placed adjacent to (eg, above, below, or on either side of the body sketch). Labels 228 (eg, symbols and/or indicators) may include alphanumeric characters and/or geometric shapes. In some embodiments, the graphic image 226 may not be anatomically representative, but may be in the form of a pie chart with a label overlaid on it or presented next to the pie chart.

[041] Система 200 ультразвуковой визуализации может быть функционально связана с системой 210 отслеживания положения. Система 210 отслеживания положения может быть электромагнитной (ЭМ) системой отслеживания. Электромагнитная система отслеживания обычно включает в себя генератор электромагнитного поля и датчик. Датчик может быть прикреплен к зонду 204 (например, встроен в кожух зонда 204 или находится снаружи). В некоторых вариантах осуществления может быть использован настольный генератор электромагнитного поля. Генератор электромагнитного поля может быть подвижным по отношению к опорной поверхности, поддерживающей пациента (например, смотровой стол), и, таким образом, по отношению к пациенту. Это может позволить изменить положение генератора электромагнитного поля таким образом, чтобы электромагнитное поле охватывало орган или ткань, подлежащие сканированию (например, левую грудь, правую грудь). В некоторых вариантах осуществления генератор электромагнитного поля может быть закреплен по отношению к опорной поверхности. В других вариантах осуществления может быть использован другой тип системы отслеживания положения, такой как оптическая система отслеживания (например, видео, инфракрасная). [041] The ultrasound imaging system 200 may be operatively linked to the position tracking system 210. Position tracking system 210 may be an electromagnetic (EM) tracking system. An electromagnetic tracking system typically includes an electromagnetic field generator and a sensor. The sensor may be attached to the probe 204 (eg, built into the probe housing 204 or outside). In some embodiments, a desktop electromagnetic field generator may be used. The electromagnetic field generator may be movable with respect to a support surface supporting the patient (eg an examination table) and thus with respect to the patient. This may allow the position of the electromagnetic field generator to be repositioned so that the electromagnetic field covers the organ or tissue to be scanned (eg, left breast, right breast). In some embodiments, the implementation of the electromagnetic field generator may be fixed in relation to the supporting surface. In other embodiments, another type of position tracking system may be used, such as an optical tracking system (eg, video, infrared).

[042] Данные визуализации, полученные с помощью зонда с отслеживаемым положением, могут обеспечить возможность процессору системы 200 ультразвуковой визуализации определить относительные положения объектов в пределах генерируемых ими ультразвуковых изображений. Например, процессор системы 200 ультразвуковой визуализации может оценить пространственное положение зонда относительно пациента 212, используя данные о положении от системы 210 отслеживания положения, которые затем могут облегчить извлечение соответствующей информации из изображений, полученных с помощью зонда с отслеживаемым положением (например, зонда 204). Например, система ультразвуковой визуализации может коррелировать изображения, полученные с помощью зонда с отслеживаемым положением, с изображениями, полученными другой системой визуализации, и/или изображениями, полученными во время предыдущего ультразвукового исследования. Данные о положении зонда могут включать в себя информацию о его положении, например, положение и ориентацию зонда в трехмерном пространстве. Система 200 ультразвуковой визуализации может обеспечить возможность пользователю зарегистрировать зонд 204 относительно анатомии пациента. Например, система 200 ультразвуковой визуализации может быть выполнена с возможностью привязывания пространственного положения зонда, во время его размещения в соответствующих анатомических ориентирах (например, сосок груди, границы груди и т.д.), к соответствующему ориентиру.[042] Imaging data obtained with a position-tracked probe may allow the processor of the ultrasound imaging system 200 to determine the relative positions of objects within the ultrasound images they generate. For example, the processor of the ultrasound imaging system 200 can estimate the spatial position of the probe relative to the patient 212 using the position data from the position tracking system 210, which can then facilitate the extraction of relevant information from images obtained with a position-tracking probe (eg, probe 204). For example, an ultrasound imaging system may correlate images acquired with a position-tracked probe with images acquired by another imaging system and/or images acquired during a previous ultrasound examination. The position data of the probe may include information about its position, such as the position and orientation of the probe in three-dimensional space. The ultrasound imaging system 200 may allow a user to register the probe 204 with respect to the patient's anatomy. For example, the ultrasound imaging system 200 may be configured to tie the spatial position of the probe, during placement at appropriate anatomical landmarks (eg, breast nipple, breast borders, etc.), to the appropriate landmark.

[043] Как описано выше, устройство 202 ультразвуковой визуализации может принимать изображения, полученные от другой системы визуализации, например, магнитно-резонансной системы. Принятые изображения могут быть сохранены в памяти, содержащейся в устройстве 202 ультразвуковой визуализации. В некоторых вариантах осуществления принятые изображения и/или ультразвуковые изображения, полученные с помощью системы 200 ультразвуковой визуализации, могут быть сохранены в файлах изображений с одним или несколькими кадрами в соответствии со стандартным форматом (например, форматом DICOM), дополненным соответствующим местоположением поражения и/или данными о положении зонда. В некоторых вариантах осуществления местоположение поражения может быть отмечено, например, с использованием угла азимута (по условному часовому циферблату), расстояния от соска и глубины от линии кожи. В некоторых вариантах осуществления врач может просматривать принятые изображения на дисплее 206 и/или сенсорном экране 220 и добавлять метки посредством пользовательского интерфейса 216, указывая информацию о местоположении поражения на принятых изображениях. В некоторых вариантах осуществления врач может также указать тип и/или состав ткани на изображении. Например, врач может вручную отсечь различные участки принятых изображений от другой системы визуализации, чтобы указать тип и/или состав ткани.[043] As described above, the ultrasound imaging device 202 may receive images from another imaging system, such as a magnetic resonance system. The received images may be stored in a memory contained in the ultrasound imaging device 202 . In some embodiments, the received images and/or ultrasound images acquired by the ultrasound imaging system 200 may be stored in single or multi-frame image files according to a standard format (e.g., DICOM format) supplemented by the appropriate lesion location and/or probe position data. In some embodiments, the location of the lesion may be marked, for example, using the azimuth angle (according to the conventional clock face), distance from the nipple, and depth from the skin line. In some embodiments, a clinician may view received images on display 206 and/or touch screen 220 and add tags via user interface 216 indicating information about the location of a lesion on received images. In some embodiments, the physician may also indicate the type and/or composition of the tissue in the image. For example, the clinician may manually crop various portions of received images from another imaging system to indicate tissue type and/or composition.

[044] Принятые данные изображения от предыдущего метода, которые в некоторых случаях могут включать в себя информацию, указывающую на метки предполагаемых местоположений поражений, могут быть переданы процессору, включенному в устройство 202 ультразвуковой визуализации. Процессор может применить модель деформации ткани к принятым данным изображения для определения одного или нескольких прогнозируемых местоположений поражений. Прогнозируемые местоположения поражений могут быть предоставлены врачу посредством интерфейса 224 определения местоположения поражения, например, посредством графического изображения, указывающего наиболее вероятное местоположение поражения 228 на схематичном изображении 226 тела. В некоторых вариантах осуществления процессор может также определить предлагаемое размещение зонда по отношению к анатомии (например, положение и/или угол ультразвукового зонда 204 по отношению к соску или другому анатомическому ориентиру) для ультразвуковой визуализации поражений.[044] The received image data from the previous method, which in some cases may include information indicative of marks of suspected lesion locations, may be transmitted to a processor included in the ultrasound imaging device 202. The processor may apply a tissue deformation model to the received image data to determine one or more predicted lesion locations. Predicted lesion locations may be provided to the clinician via the lesion location interface 224, such as a graphic indicating the most likely location of the lesion 228 on a schematic body image 226 . In some embodiments, the processor may also determine a proposed placement of the probe in relation to the anatomy (eg, the position and/or angle of the ultrasound probe 204 with respect to the nipple or other anatomical landmark) for ultrasound imaging of lesions.

[045] Система 200 ультразвуковой визуализации может одновременно отображать интерфейс 224 определения местоположения поражения, импортированные изображения или наборы данных от другого метода визуализации и/или ультразвуковое изображение 208 в реальном времени. Врач может сохранять и/или комментировать полученные ультразвуковые изображения во время исследования (ставить на них отметки). Пользователь также может продолжать отмечать различные поражения на импортированных данных (например, от магнитно-резонансной томографии) во время исследования. В некоторых вариантах осуществления изображение из ранее полученных данных изображения одновременно отображается, например, для того, чтобы пользователь мог отметить предполагаемые местоположения поражений, которые затем используются для сгенерированных прогнозируемых местоположений поражений для второго метода визуализации (в данном случае, ультразвукового исследования). Дополнительные метки к принятому изображению могут быть использованы процессором для пересмотра прогнозируемого местоположения поражения, а пересмотренный прогноз может быть обновлен в интерфейсе 224 определения местоположения поражения.[045] The ultrasound imaging system 200 can simultaneously display the lesion location interface 224, imported images or datasets from another imaging technique, and/or real-time ultrasound image 208. The doctor can save and / or comment on the obtained ultrasound images during the study (put marks on them). The user can also continue to mark different lesions on imported data (eg from MRI) during the examination. In some embodiments, an image from previously acquired image data is simultaneously displayed, for example, to allow the user to mark predicted lesion locations, which are then used for the generated predicted lesion locations for a second imaging modality (in this case, ultrasound). Additional labels to the received image may be used by the processor to revise the predicted lesion location, and the revised prediction may be updated in the lesion location interface 224 .

[046] При обнаружении поражения ультразвуковым зондом 204 врач может отметить на ультразвуковом изображении фактическое местоположение поражения. Если фактическое местоположение поражения отличается от прогнозируемого, графическое изображение прогноза поражения внутри интерфейса 224 определения местоположения поражения может быть обновлено для указания фактического местоположения поражения. В некоторых вариантах осуществления фактическое местоположение и прогнозируемое местоположение поражения могут отображаться одновременно с помощью интерфейса 224 определения местоположения поражения. Это может предоставить врачу оценку того, насколько неточным могут быть прогнозируемые местоположения дополнительных поражений. В некоторых вариантах осуществления фактическое местоположение поражения может быть предоставлено процессору. Процессор может использовать разницу между прогнозируемыми и фактическими местоположениями поражений для адаптивного изменения модели деформации, что может повысить точность модели деформации.[046] Upon detection of a lesion by the ultrasound probe 204, the clinician may mark the actual location of the lesion on the ultrasound image. If the actual lesion location differs from the predicted one, the lesion prediction graphic within the lesion location interface 224 can be updated to indicate the actual location of the lesion. In some embodiments, the actual location and predicted location of a lesion may be displayed simultaneously using the lesion location interface 224. This can provide the clinician with an estimate of how inaccurate the predicted locations of additional lesions may be. In some embodiments, the actual location of the lesion may be provided to the processor. The processor may use the difference between predicted and actual lesion locations to adapt the strain model, which may improve the accuracy of the strain model.

[047] После обнаружения поражения во время ультразвукового исследования врач может измерить его размеры и/или другие свойства (например, жесткость). Эти дополнительные измерения могут быть отображены на экране и сохранены вместе с изображением и/или набором изображений (например, кинопетлей). Врач может также использовать систему 200 ультразвуковой визуализации для проведения биопсии поражения. Ультразвуковые изображения, связанные с ними измерения и/или положения поражений (например, фактические местоположения поражений, прогнозируемые местоположения поражений) могут быть сохранены в памяти системы 200 ультразвуковой визуализации. Изображения и/или комментарии (отметки) могут быть автоматически сохранены системой ультразвуковой визуализации и/или в ответ на входные данные врача. Ультразвуковые изображения и/или комментарии (отметки) могут быть пересмотрены после ультразвукового исследования.[047] After detecting a lesion during an ultrasound examination, the physician can measure its dimensions and/or other properties (eg, stiffness). These additional measurements may be displayed on a screen and stored with the image and/or set of images (eg, cine loops). The physician may also use the ultrasound imaging system 200 to biopsy the lesion. The ultrasound images, associated measurements, and/or lesion positions (eg, actual lesion locations, predicted lesion locations) may be stored in the memory of the ultrasound imaging system 200. Images and/or comments (marks) may be automatically stored by the ultrasound imaging system and/or in response to physician input. Ultrasound images and/or comments (marks) may be reviewed after the ultrasound examination.

[048] В соответствии с принципами настоящего раскрытия, пользовательский интерфейс (например, пользовательский интерфейс 216) системы ультразвуковой визуализации может быть выполнен с возможностью обеспечения визуального указания прогнозируемых местоположений поражений на основе прогнозируемых местоположений поражений, определяемых моделью деформации. Прогнозируемые местоположения поражений могут быть определены, по меньшей мере частично, на основе меток местоположений поражений на изображениях, полученных другой системой визуализации. В некоторых вариантах осуществления визуальное указание прогнозируемых местоположений поражений может быть обеспечено путем отображения схематичного изображения тела, с наложенной на него релевантной информацией о местоположении поражения (например, один или несколько указателей местоположения, комментарии (отметки) или другие). В некоторых вариантах осуществления на схематичное изображение тела может быть наложено предлагаемое местоположение ультразвукового зонда и/или угол или линия, представляющая фактическое положение ультразвукового зонда, на основе отслеживания местоположения.[048] In accordance with the principles of the present disclosure, the user interface (eg, user interface 216) of the ultrasound imaging system can be configured to provide a visual indication of predicted lesion locations based on the predicted lesion locations determined by the strain model. Predicted lesion locations may be determined, at least in part, based on labels of lesion locations on images acquired by another imaging system. In some embodiments, a visual indication of predicted lesion locations may be provided by displaying a schematic body image superimposed with relevant lesion location information (eg, one or more location markers, comments (marks), or others). In some embodiments, a suggested location of the ultrasound probe and/or an angle or line representing the actual position of the ultrasound probe based on location tracking may be superimposed on the schematic body image.

[049] На фиг. 3 и фиг. 4 приведены примеры элементов пользовательского интерфейса в соответствии с принципами настоящего раскрытия. Пользовательский интерфейс может быть выполнен с возможностью предоставления интерфейса определения местоположения поражения, который может включать в себя один или более элементов пользовательского интерфейса для определения местоположений поражений, получения и/или комментирования ультразвуковых изображений груди (выставления на них отметок) и/или обозначения местоположений поражений на изображениях, принятых от другой системы визуализации. Например, интерфейс определения местоположения поражения может быть выполнен с возможностью отображения схематичного изображения тела, которое в случае ультразвукового исследования груди может быть графическим изображением груди. Графическое изображение груди может обеспечить иллюстрацию соответствующей стороны груди, которую визуализируют и/или характеризуют, например, графическое изображение правой груди может быть отображено при визуализации или характеризации правой груди, а графическое изображение левой груди может быть отображено при визуализации или характеризации левой груди. На схематичное изображение тела может быть наложена соответствующая информация о местоположении поражения, например, один или несколько указателей, связанных с отдельными прогнозируемыми и/или фактическими местоположениями поражений или областями одного или нескольких прогнозируемых местоположений поражений.[049] In FIG. 3 and FIG. 4 provides examples of user interface elements in accordance with the principles of this disclosure. The user interface may be configured to provide a lesion location interface, which may include one or more user interface elements for locating lesions, acquiring and/or annotating (tagging) breast ultrasound images, and/or marking lesion locations on images received from another imaging system. For example, the lesion location interface may be configured to display a schematic image of the body, which in the case of a breast ultrasound may be a graphic image of the breast. The breast graphic may provide an illustration of the corresponding side of the breast being imaged and/or characterized, for example, a right breast graphic may be displayed when imaging or characterizing a right breast, and a graphic of a left breast may be displayed when imaging or characterizing a left breast. Appropriate lesion location information, such as one or more markers associated with individual predicted and/or actual lesion locations, or areas of one or more predicted lesion locations, may be superimposed on the schematic body image.

[050] На фиг. 3 показаны элементы пользовательского интерфейса, связанные с интерфейсом 300 определения местоположения поражения в соответствии с принципами настоящего раскрытия. На фиг. 3 показан интерфейс 300 определения местоположения поражения, принятое изображение 302, изображение 304 в реальном времени, схематичные изображения 306 и 308 тела, соответственно. Один или несколько элементов интерфейса 300 определения местоположения поражения могут быть отображены на дисплее системы ультразвуковой визуализации, например, на дисплее 206. Один или несколько элементов интерфейса 300 определения местоположения поражения могут дополнительно или альтернативно быть отображены на сенсорном экране, например, на сенсорном экране 220 системы 200 ультразвуковой визуализации. Элементы интерфейса 300 определения местоположения поражения могут быть предоставлены одновременно или последовательно и могут быть расположены в одном или нескольких окнах интерфейса. Кроме того, хотя это и не показано на фиг. 3, интерфейс 300 определения местоположения поражения может обеспечивать один или несколько пользовательских элементов управления, таких как схематичное изображение, графические изображения и кнопки комментирования (выставления отметок), которые могут быть обеспечены, например, на сенсорном экране 220 системы 200 ультразвуковой визуализации. Конкретные примеры или расположение элементов пользовательского интерфейса носят исключительно иллюстративный характер, а другие варианты осуществления (например, аппаратные или программные элементы управления) или расположение элементов могут быть использованы, не выходя за рамки настоящего раскрытия. Один или несколько элементов интерфейса 300 определения местоположения поражения могут быть использованы для реализации интерфейса 224 определения местоположения поражения в примере, приведенном на фиг. 2.[050] In FIG. 3 shows user interface elements associated with a lesion location interface 300 in accordance with the principles of the present disclosure. In FIG. 3 shows a lesion location interface 300, received image 302, real-time image 304, body sketches 306 and 308, respectively. One or more elements of the lesion location interface 300 may be displayed on a display of the ultrasound imaging system, such as display 206. One or more elements of the lesion location interface 300 may additionally or alternatively be displayed on a touch screen, such as the system touch screen 220 200 ultrasound imaging. The elements of the lesion location interface 300 may be provided simultaneously or sequentially and may be located in one or more interface windows. Also, although not shown in FIG. 3, the lesion location interface 300 may provide one or more user controls, such as schematics, graphics, and annotation (tagging) buttons, which may be provided, for example, on the touch screen 220 of the ultrasound imaging system 200. Specific examples or arrangements of user interface elements are illustrative only, and other embodiments (eg, hardware or software controls) or arrangements of elements may be used without departing from the scope of this disclosure. One or more elements of the lesion location interface 300 may be used to implement the lesion location interface 224 in the example shown in FIG. 2.

[051] Принятое изображение 302 может представлять собой изображение от другой системы визуализации, включающее в себя поражение, которое врач ищет во время ультразвукового исследования. В некоторых вариантах осуществления, принятое изображение 302 представляет собой отдельный срез из набора объемных данных, полученных от груди в другом методе. Пользователь может вручную просматривать путем прокрутки различные срезы в наборе объемных данных до тех пор, пока не отобразится нужный срез. В этот момент пользователь может указать, где на срезе находится интересующее его поражение. В других вариантах осуществления, когда объемные данные частично совмещены с ультразвуковым изображением в реальном времени, принятое изображение 302 может представлять собой изображение из набора принятых изображений (например, срезов объема), которое соответствует местоположению в ткани, которое врач в текущий момент времени визуализирует с помощью системы ультразвуковой визуализации. То есть отслеживание местоположения в ультразвуковом зонде может определить, из какого места в ткани получено изображение 304 в реальном времени. Местоположение может быть предоставлено процессору, а процессор может получить соответствующее принятое изображение 302 для отображения.[051] The received image 302 may be an image from another imaging system, including the lesion that the clinician is looking for during an ultrasound examination. In some embodiments, the received image 302 is a single slice from a set of volumetric data obtained from the breast in another method. The user can manually scroll through the different slices in the volume data set until the desired slice is displayed. At this point, the user can indicate where on the slice the lesion of interest is located. In other embodiments, when the volume data is partially aligned with the real-time ultrasound image, the received image 302 may be an image from a set of received images (e.g., slices of the volume) that corresponds to the location in tissue that the clinician is currently imaging with. ultrasound imaging systems. That is, location tracking in the ultrasound probe can determine where in the tissue the real-time image 304 is taken. The location may be provided to the processor, and the processor may obtain the corresponding received image 302 for display.

[052] Схематичное изображение 306 тела может включать в себя комментарий (отметку), указывающий на анатомию прогнозируемого местоположения поражения. В примере, показанном на фиг. 3, заштрихованный эллипсоид указывает на область груди, в которой спрогнозировано расположение поражения. Предоставление врачу прогнозируемого местоположения может уменьшить объем, который будет опрашиваться во время ультразвукового исследования, и/или время, необходимое для определения местоположения поражения. В некоторых вариантах осуществления, не показанных на фиг. 3, схематичное изображение 306 тела может включать в себя дополнительный индикатор, позволяющий предложить положение и/или угол ультразвукового зонда для определения местоположения поражения.[052] The schematic representation of the body 306 may include a comment (mark) indicating the anatomy of the predicted location of the lesion. In the example shown in FIG. 3, the shaded ellipsoid indicates the region of the chest in which the location of the lesion is predicted. Providing the clinician with a predicted location may reduce the volume that will be polled during an ultrasound examination and/or the time required to locate a lesion. In some embodiments not shown in FIG. 3, body diagram 306 may include an additional indicator to suggest the position and/or angle of the ultrasound probe to locate the lesion.

[053] Изображение 304 в реальном времени может представлять собой изображение, полученное в текущий момент времени ультразвуковым зондом. В некоторых вариантах осуществления изображение 304 в реальном времени может быть заменено на ультразвуковое изображение, сохраненное врачом. Например, врач может получить ультразвуковое изображение или изображения и приостановить исследование, чтобы добавить к полученному изображению комментарии (отметки). Комментарии могут включать в себя метку фактического местоположения поражения, его размеры и/или другие свойства (например, жесткость). Изображение и/или комментарии могут быть сохранены в памяти системы ультразвуковой визуализации для последующего просмотра. После получения изображения и/или его комментирования врач может вернуться к получению изображений в реальном времени или закончить исследование.[053] The real-time image 304 may be an image currently acquired by the ultrasonic probe. In some embodiments, the live image 304 may be replaced with an ultrasound image stored by the clinician. For example, a physician may acquire an ultrasound image or images and pause the examination to add comments (marks) to the resulting image. The comments may include a label of the actual location of the lesion, its dimensions, and/or other properties (eg, stiffness). The image and/or comments can be stored in the memory of the ultrasound imaging system for later review. Once the image has been acquired and/or commented on, the clinician may return to real-time imaging or terminate the examination.

[054] Схематичное изображение 308 тела может включать в себя комментарий (отметку), указывающий место, в котором на анатомии находится прогнозируемое местоположение поражения, аналогично схематичному изображению 306 тела. В некоторых вариантах осуществления, как показано на фиг. 3, схематичное изображение 308 тела может включать в себя дополнительное графическое изображение, указывающее текущее положение и/или угол ультразвукового зонда. В некоторых вариантах осуществления представлено только схематичное изображение 306 или 308 тела.[054] The body diagram 308 may include a comment (mark) indicating where the predicted location of the lesion is located on the anatomy, similar to the body diagram 306. In some embodiments, as shown in FIG. 3, body diagram 308 may include an additional graphic indicating the current position and/or angle of the ultrasound probe. In some embodiments, only a schematic representation 306 or 308 of the body is presented.

[055] Когда во время ультразвукового исследования должно быть обнаружено множество поражений, интерфейс 300 определения местоположения поражения может обеспечить визуальные указания прогнозируемых местоположений всех поражений, которые должны быть обнаружены. В качестве альтернативы интерфейс 300 определения местоположения поражения может предоставить прогнозируемое местоположение для одного поражения за один раз. Врач может переключаться между прогнозируемыми местоположениями множества поражений. В некоторых вариантах осуществления интерфейс 300 определения местоположения поражения может обеспечить указание, какое поражение набора поражений в текущий момент времени обнаружено врачом (например, 1-е из 2-ух, 3-е из 4-ех). Это может уменьшить вероятность того, что врач закончит исследование до обнаружения всех поражений. Когда врач отмечает фактическое местоположение поражения, интерфейс 300 определения местоположения поражения может автоматически связывать фактическое местоположение с конкретным поражением на принятом изображении и/или врач может вручную указать, с каким поражением на принятом изображении связано фактическое местоположение.[055] When multiple lesions are to be detected during an ultrasound examination, the lesion location interface 300 can provide visual indications of the predicted locations of all lesions to be detected. Alternatively, the lesion location interface 300 may provide a predicted location for one lesion at a time. The physician can switch between predicted locations of multiple lesions. In some embodiments, the lesion location interface 300 may provide an indication of which lesion of the lesion set is currently detected by the clinician (eg, 1st of 2, 3rd of 4). This may reduce the chance that the physician will complete the examination before all lesions are found. When the physician notes the actual location of the lesion, the lesion location interface 300 may automatically associate the actual location with a particular lesion in the received image and/or the physician may manually indicate which lesion in the received image is associated with the actual location.

[056] На фиг. 4 показаны схематичные изображения тела и связанные с ними комментарии (отметки) в соответствии с принципами настоящего раскрытия. Схематичное изображение 400 тела включает в себя комментарий (отметку) 402, который указывает прогнозируемое местоположение поражения. Аналогичным образом, схематичное изображение 404 тела включает в себя комментарии (отметки) 406a и 406b, которые указывают прогнозируемые местоположения множественных поражений. Хотя комментарии 402, 406a и 406b показаны кружками, могут использоваться и другие комментарии (например, X, квадраты, числа). Схематичное изображение 408 тела включает в себя комментарий (отметку) 410, который представляет собой заштрихованный эллипсоид области, в которой расположены одно или несколько прогнозируемых местоположений поражений. Схематичное изображение 412 тела включает в себя комментарии 414 и 416, которые указывают прогнозируемое местоположение и фактическое местоположение поражения внутри области, соответственно. Фактическое местоположение может быть добавлено врачом посредством пользовательского устройства ввода системы ультразвуковой визуализации. Хотя комментарии 410 и 414 показаны как эллипсоиды, могут быть использованы и другие зональные указатели (например, квадрант, радиальный сегмент). Схематичное изображение 418 тела включает в себя комментарий 420, который указывает область, в которой расположены одно или несколько прогнозируемых местоположений поражений, и комментарий 422, который указывает предлагаемое местоположение зонда для визуализации поражения. Схематичное изображение 424 тела также включает в себя комментарии 426 и 428, которые указывают область, в которой расположены одно или несколько прогнозируемых местоположений поражений, и предлагаемое местоположение ультразвукового зонда для визуализации поражения, соответственно. Кроме того, схематичное изображение 424 тела включает в себя комментарий 430, который указывает текущее положение ультразвукового зонда. Текущее положение может быть определено с помощью системы отслеживания зонда, описанной в данном документе. Комментарий 430 может быть обновлен на схематичном изображении 424 тела по мере перемещения врачом ультразвукового зонда. Схематичные изображении тела и комментарии (отметки), показанные на фиг. 4, приведены только для примера. Могут быть предоставлены другие виды комментариев и/или комбинации комментариев. В некоторых вариантах осуществления врач может выбрать, какие комментарии предоставляют на схематичном изображении тела посредством пользовательского интерфейса.[056] In FIG. 4 shows schematic representations of the body and associated comments (marks) in accordance with the principles of the present disclosure. The schematic representation of the body 400 includes a comment (mark) 402 that indicates the predicted location of the lesion. Similarly, the schematic body image 404 includes comments (marks) 406a and 406b that indicate the predicted locations of multiple lesions. Although comments 402, 406a and 406b are shown as circles, other comments (eg X, squares, numbers) may be used. Body schematic 408 includes a comment (mark) 410, which is a shaded ellipsoid of an area in which one or more predicted lesion locations are located. Body schematic 412 includes comments 414 and 416 that indicate the predicted location and actual location of the lesion within the region, respectively. The actual location can be added by the clinician via the user input device of the ultrasound imaging system. Although comments 410 and 414 are shown as ellipsoids, other zonal designators (eg, quadrant, radial segment) may be used. The body diagram 418 includes a comment 420 that indicates the region in which one or more predicted lesion locations are located and a comment 422 that indicates the proposed location of the lesion imaging probe. Body schematic 424 also includes comments 426 and 428 that indicate the area in which one or more predicted lesion locations are located and the proposed location of the ultrasound probe for imaging the lesion, respectively. In addition, the body sketch 424 includes a comment 430 that indicates the current position of the ultrasound probe. The current position can be determined using the probe tracking system described in this document. Annotation 430 can be updated on body diagram 424 as the ultrasound probe is moved by the clinician. The schematic representations of the body and the comments (marks) shown in FIG. 4 are given by way of example only. Other types of comments and/or combinations of comments may be provided. In some embodiments, the clinician may select which comments are provided on the body diagram via a user interface.

[057] Система ультразвуковой визуализации, описанная в данном документе, может применить модель деформации к ранее полученному изображению, отобразить прогнозируемое местоположение поражения, получить ультразвуковое изображение в реальном времени и отобразить ультразвуковое изображение в реальном времени. Система ультразвуковой визуализации может отобразить ранее полученное изображение. Во время исследования система ультразвуковой визуализации может принять фактическое местоположение поражения от пользовательского устройства ввода и отобразить фактическое местоположение поражения врачу, проводящему исследование. Фактическое местоположение поражения и ультразвуковое изображение в реальном времени, связанное с фактическим местоположением поражения, могут быть сохранены в системе ультразвуковой визуализации. Это может быть сделано в ответ на входные данные врача или автоматически в некоторых вариантах осуществления.[057] The ultrasound imaging system described herein can apply a strain model to a previously acquired image, display a predicted lesion location, acquire a real-time ultrasound image, and display a real-time ultrasound image. The ultrasound imaging system can display a previously acquired image. During the examination, the ultrasound imaging system may receive the actual location of the lesion from the user input device and display the actual location of the lesion to the physician conducting the examination. The actual location of the lesion and a real-time ultrasound image associated with the actual location of the lesion may be stored in the ultrasound imaging system. This may be done in response to physician input, or automatically in some embodiments.

[058] Система ультразвуковой визуализации может выполнять один или несколько описанных в данном документе способов. Например, способ, выполняемый по меньшей мере частью системы ультразвуковой визуализации (например, процессором), может включать в себя прием прокомментированного изображения (т.е. с отметками) (например, магнитно-резонансный объем с отмеченным местоположением поражения), прием типа модели деформации (например, положение пациента на спине в положение на животе), применение модели деформации к прокомментированному изображению для генерирования прогнозируемого местоположения поражения и предоставление интерфейсу определения местоположения поражения (например, интерфейсу 224 определения местоположения поражения) прогнозируемых местоположений поражений.[058] An ultrasound imaging system may perform one or more of the methods described herein. For example, a method performed by at least a portion of the ultrasound imaging system (e.g., a processor) may include receiving an annotated (i.e., labeled) image (e.g., a magnetic resonance volume with a marked lesion location), receiving a strain model type (eg, patient supine to prone position), applying a deformation model to the annotated image to generate a predicted lesion location, and providing a lesion location interface (eg, lesion location interface 224) with predicted lesion locations.

[059] На фиг. 5 показана блок-схема 500 примерного процесса определения местоположений поражений, отмеченных на ранее полученных изображениях, при текущем ультразвуковом исследовании в соответствии с принципами настоящего раскрытия. На шаге 502 врач может загрузить ранее полученные изображения в систему ультразвуковой визуализации (например, систему 100 ультразвуковой визуализации или систему 200 ультразвуковой визуализации). Ранее полученные изображения могут быть получены с помощью системы магнитно-резонансной томографии или системы трехмерного томосинтеза груди. На шаге 504 врач может просмотреть загруженные изображения на дисплее системы ультразвуковой визуализации и отметить на изображениях местоположения предполагаемых поражений посредством пользовательского интерфейса. Шаг 504 может быть пропущен, если на изображениях уже есть метки поражений. Врач может ввести свойства ткани (например, состав, размеры) на шаге 506, который включает в себя, но не ограничивается этим, идентификацию областей на принятых изображениях, имеющих железистую ткань, и других областей, имеющих жировую ткань, а также положение грудной стенки и мышц грудной стенки. В качестве альтернативы, система ультразвуковой визуализации может автоматически обрабатывать загруженные изображения для определения свойств ткани на шаге 506. На шаге 508 может быть выбрана применяемая модель деформации ткани. Например, если загруженные изображения были получены с помощью системы магнитно-резонансной томографии, может быть выбрана модель деформации положения пациента на животе в положение на спине. В некоторых вариантах осуществления настоящего раскрытия, врач может выбрать модель деформации ткани для применения. В некоторых других вариантах настоящего раскрытия применяемая модель деформации тканей может быть выбрана автоматически системой ультразвуковой визуализации. [059] FIG. 5 shows a flowchart 500 of an exemplary process for locating lesions noted on previously acquired images in a current ultrasound examination in accordance with the principles of the present disclosure. At step 502, the clinician may upload previously acquired images to an ultrasound imaging system (eg, ultrasound imaging system 100 or ultrasound imaging system 200). Previously obtained images can be obtained using a magnetic resonance imaging system or a 3D breast tomosynthesis system. At step 504, the clinician can view the downloaded images on the display of the ultrasound imaging system and mark the locations of suspected lesions on the images via the user interface. Step 504 can be skipped if there are already lesion marks on the images. The clinician may enter tissue properties (e.g., composition, dimensions) at step 506, which includes, but is not limited to, identifying areas on received images that have glandular tissue and other areas that have fatty tissue, as well as the position of the chest wall, and chest wall muscles. Alternatively, the ultrasound imaging system may automatically process the loaded images to determine tissue properties at step 506. At step 508, the applied tissue deformation model may be selected. For example, if the uploaded images were obtained using an MRI system, a model of deformation of the patient's prone position into a supine position may be selected. In some embodiments of the present disclosure, the clinician may select a tissue deformation model to apply. In some other embodiments of the present disclosure, the applied tissue deformation model may be automatically selected by the ultrasound imaging system.

[060] После того, как система ультразвуковой визуализации применит модель деформации, врач может просмотреть визуальные указания прогнозируемых местоположений поражений на шаге 510. В некоторых вариантах осуществления прогнозируемые местоположения поражений могут быть представлены на дисплее, включающем в себя интерфейс определения местоположения поражения. На шаге 512 врач может получить одно или несколько ультразвуковых изображений с помощью ультразвукового зонда. Местоположение, в котором врач получает изображения, может быть основано по меньшей мере частично на прогнозируемых местоположениях поражений, представленных на дисплее. Когда поражение обнаружено, врач может прокомментировать ультразвуковое изображение, чтобы указать фактическое местоположение поражения на шаге 514. В некоторых вариантах осуществления врач может сохранить изображение и/или комментарий. В некоторых вариантах осуществления изображение и/или комментарий могут быть сохранены автоматически. При желании, на шаге 516 врач может сделать измерения (например, размеры, свойства) поражения и/или добавить дополнительные комментарии (отметки). В некоторых вариантах осуществления врач может провести биопсию поражения. Биопсия может быть проведена на основе ультразвуковых изображений. Если на ранее полученных изображениях было обнаружено множество поражений, то для каждого поражения могут быть повторены шаги 510-516.[060] After the ultrasound imaging system applies the strain model, the physician may view visual indications of predicted lesion locations at 510. In some embodiments, the predicted lesion locations may be presented on a display including a lesion location interface. At 512, the clinician may acquire one or more ultrasound images with the ultrasound probe. The location at which the clinician acquires images may be based at least in part on predicted lesion locations presented on the display. When a lesion is detected, the physician may comment on the ultrasound image to indicate the actual location of the lesion at 514. In some embodiments, the physician may save the image and/or comment. In some embodiments, the image and/or comment may be automatically saved. Optionally, at step 516, the physician may take measurements (eg, dimensions, properties) of the lesion and/or add additional comments (marks). In some embodiments, the physician may biopsy the lesion. A biopsy can be done based on the ultrasound images. If multiple lesions were found on previously acquired images, then steps 510-516 may be repeated for each lesion.

[061] На фиг. 6 показана блок-схема 600 процесса определения прогнозируемых местоположений поражений в соответствии с принципами настоящего раскрытия. В некоторых вариантах осуществления, процесс, показанный на фиг. 6, может быть исполнен процессором (например, процессором 140). Инструкции по исполнению процесса в блок-схеме 600 могут быть сохранены в виде инструкций, исполняемых процессором, в памяти, доступной для процессора в некоторых вариантах осуществления. На шаге 602 может быть принято одно или несколько прокомментированных изображений и/или данных изображений. Принятые изображения могут соответствовать ранее полученным изображениям. Комментарии могут включать в себя информацию о местоположении поражения. Ранее полученные изображения могут быть получены другой системой визуализации.[061] In FIG. 6 shows a flowchart 600 of a process for determining predictive lesion locations in accordance with the principles of the present disclosure. In some embodiments, the process shown in FIG. 6 may be executed by a processor (eg, processor 140). The instructions for executing the process in flowchart 600 may be stored as processor executable instructions in memory accessible to the processor in some embodiments. At 602, one or more commented pictures and/or picture data may be received. The received images may correspond to previously acquired images. Comments may include information about the location of the lesion. Previously obtained images may be acquired by another imaging system.

[062] На шаге 604 изображения могут быть сегментированы и/или иным образом обработаны для извлечения характеристик тканей (например, размера, состава). В качестве альтернативы, на шаге 606 могут быть приняты характеристики тканей, например, предоставленные врачом посредством пользовательского устройства ввода. В некоторых вариантах осуществления могут быть выполнены шаги 604 и 606. То есть некоторые характеристики ткани могут быть определены путем анализа изображений, в то время как другие характеристики ткани принимают отдельно. На шаге 608 может быть принят тип модели деформации ткани. Тип модели деформации может указывать на то, какую модель деформации следует применять (например, положение пациента на животе в положение на спине). В некоторых вариантах осуществления тип модели деформации может быть предоставлен врачом посредством пользовательского устройства ввода. В других вариантах осуществления тип модели деформации может быть определен на основе полученной информации, сохраненной вместе с принятыми изображениями. Хотя шаги 604, 606 и 608 показаны последовательно, они могут быть выполнены в другом порядке или одновременно. Например, шаг 608 может быть выполнен до шага 604.[062] In step 604, images may be segmented and/or otherwise processed to extract tissue characteristics (eg, size, composition). Alternatively, at step 606, tissue characteristics may be received, such as provided by a clinician via a user input device. In some embodiments, steps 604 and 606 may be performed. That is, some tissue characteristics may be determined by image analysis, while other tissue characteristics are taken separately. At 608, a type of tissue deformation model may be received. The type of deformity pattern may indicate which deformity pattern to apply (eg, prone to supine position). In some embodiments, the type of deformity pattern may be provided by the clinician via a user input device. In other embodiments, the type of deformation model may be determined based on received information stored with received images. Although steps 604, 606, and 608 are shown sequentially, they may be performed in a different order or at the same time. For example, step 608 may be performed prior to step 604.

[063] На шаге 610 к принятым изображениям может быть применена модель деформации тканей для определения прогнозируемых местоположений поражений. Модель деформации ткани может представлять собой модель деформации груди в некоторых вариантах осуществления. Модели деформации, которые могут быть использованы, включают в себя, но не ограничиваются этим, примеры, приведенные на фиг. 1 (например, заявка на патент США 13/666600 и 14/000068). Прогнозируемые местоположения поражений, определяемые моделью деформации, могут соответствовать местоположениям поражений во время ультразвукового исследования. На шаге 612 прогнозируемые местоположения поражений могут быть предоставлены интерфейсу определения местоположения поражения, памяти, дисплею, графическому процессору, процессору изображения и/или их комбинации. На шаге 614 может быть предоставлено предлагаемое местоположение ультразвукового зонда и/или угол. Предлагаемое местоположение и/или угол могут быть основаны, по меньшей мере частично, на прогнозируемых местоположениях поражений. В некоторых вариантах осуществления шаг 614 может быть пропущен.[063] At 610, a tissue deformation model may be applied to the received images to determine predicted lesion locations. The tissue deformation model may be a breast deformation model in some embodiments. Deformation models that may be used include, but are not limited to, the examples shown in FIG. 1 (eg US Patent Applications 13/666600 and 14/000068). Predicted lesion locations determined by the strain model may correspond to lesion locations during ultrasound examination. At 612, predicted lesion locations may be provided to a lesion location interface, memory, display, graphics processor, image processor, and/or combinations thereof. At 614, a suggested location of the ultrasonic probe and/or angle may be provided. The proposed location and/or angle may be based at least in part on predicted lesion locations. In some embodiments, step 614 may be omitted.

[064] Опционально, на шаге 616 может быть принято фактическое местоположение поражения. Фактическое местоположение поражения может быть введено врачом на основании ультразвукового изображения, полученного с помощью системы ультразвуковой визуализации. На шаге 618 модель деформации, примененная на шаге 610, может быть изменена, по меньшей мере частично, на основе фактического местоположения поражения. Изменение модели деформации, основанной на фактическом местоположении поражения, может повысить точность модели деформации. В некоторых вариантах осуществления модель деформации может быть изменена только в том случае, если фактическое местоположение поражения находится за пределами прогнозируемого местоположения и/или превышает пороговое расстояние от прогнозируемого местоположения поражения (например, более 100 мм, более 500 мм, более 1 см). Пороговое расстояние может быть установлено с помощью модели деформации и/или врачом. После шага 618 модель деформации может быть повторно применена к существующим данным и/или модель деформации может быть изменена для будущих ультразвуковых исследований.[064] Optionally, at step 616, the actual location of the lesion may be received. The actual location of the lesion can be entered by the clinician based on the ultrasound image obtained with the ultrasound imaging system. At step 618, the deformation model applied at step 610 may be modified, at least in part, based on the actual location of the lesion. Changing the deformation model based on the actual location of the lesion can improve the accuracy of the deformation model. In some embodiments, the deformation model may only be changed if the actual lesion location is outside the predicted location and/or exceeds a threshold distance from the predicted lesion location (e.g., greater than 100 mm, greater than 500 mm, greater than 1 cm). The threshold distance can be set by the deformity model and/or by the clinician. After step 618, the deformation model may be reapplied to existing data and/or the deformation model may be modified for future ultrasound studies.

[065] На фиг. 7 показана блок-схема процесса 700 для обеспечения визуальных указаний местоположений поражения в системе ультразвуковой визуализации в соответствии с принципами настоящего раскрытия. В некоторых вариантах осуществления процесс 700 может быть выполнен по меньшей мере частично с помощью интерфейса определения местоположения поражения (например, с помощью интерфейса определения местоположения поражения 224). На шаге 702 может быть отображено ранее полученное изображение. Отображение ранее полученного изображения может позволить врачу отметить на этом изображении местоположения поражений и/или другую информацию. В некоторых вариантах осуществления ранее полученное изображение уже включает в себя метки поражений. Врач может выбрать не отображать ранее полученное изображение. На шаге 704 могут быть приняты прогнозируемые местоположения поражений. Прогнозируемые местоположения поражений могут быть приняты от процессора, выполненного с возможностью выполнения модели деформации тканей в некоторых вариантах осуществления. На шаге 706 может быть обеспечено визуальное указание прогнозируемого местоположения поражения. Например, прогнозируемое местоположение поражения может быть представлено в виде кругового или эллипсоидального графического элемента на схематичном изображении тела, как показано на фиг. 2-4. На шаге 708 может быть обеспечено визуальное указание предлагаемого местоположения ультразвукового зонда и/или угла. Например, предлагаемое местоположение и/или угол могут быть представлены в виде линии на схематичном изображении тела, как показано на фиг. 2-4. В некоторых вариантах осуществления шаг 708 может быть пропущен.[065] In FIG. 7 shows a flow diagram of a process 700 for providing visual indications of lesion locations in an ultrasound imaging system in accordance with the principles of the present disclosure. In some embodiments, process 700 may be performed at least in part with a lesion location interface (eg, with a lesion location interface 224). At 702, a previously acquired image may be displayed. Displaying a previously acquired image may allow the clinician to mark lesion locations and/or other information on the image. In some embodiments, the previously acquired image already includes lesion marks. The clinician may choose not to display the previously acquired image. At 704, predicted lesion locations may be received. Predicted lesion locations may be received from a processor configured to execute a tissue deformation model in some embodiments. At 706, a visual indication of the predicted location of the lesion may be provided. For example, the predicted location of a lesion may be represented as a circular or ellipsoidal graphic element on a schematic body image, as shown in FIG. 2-4. At 708, a visual indication of the proposed location of the ultrasonic probe and/or angle may be provided. For example, a suggested location and/or angle may be represented as a line on a body sketch as shown in FIG. 2-4. In some embodiments, step 708 may be omitted.

[066] На шаге 710 может быть отображено изображение в реальном времени. Изображение в реальном времени может быть получено с помощью ультразвукового зонда системы ультразвуковой визуализации. Хотя шаг 710 показан после шагов 702-708, шаг 710 может быть выполнен до шагов 702-708 и/или одновременно с ними. На шаге 712 может быть обеспечено визуальное указание текущего местоположения зонда и/или угла. Например, текущее местоположение и/или угол могут быть представлены в виде комментария (отметки) на схематичном изображении тела, как показано на фиг. 2-4. Хотя шаг 712 показан после шагов 702-710, шаг 712 может быть выполнен до шагов 702-710 и/или одновременно с ними.[066] In step 710, a live image may be displayed. A real-time image can be obtained using the ultrasound probe of the ultrasound imaging system. Although step 710 is shown after steps 702-708, step 710 may be performed prior to and/or simultaneously with steps 702-708. At 712, a visual indication of the current probe location and/or angle may be provided. For example, the current location and/or angle may be represented as a comment (mark) on the body sketch, as shown in FIG. 2-4. Although step 712 is shown after steps 702-710, step 712 may be performed before and/or simultaneously with steps 702-710.

[067] На шаге 714 может быть принято фактическое местоположение поражения. Фактическое местоположение поражения может быть принято посредством пользовательского устройства ввода (например, клавиатуры, сенсорного экрана). Фактическое местоположение поражения может быть связано с ультразвуковым изображением и/или кадром кинопетли. Фактическое местоположение поражения и/или изображение могут быть сохранены в памяти системы ультразвуковой визуализации в некоторых вариантах осуществления. На шаге 716 может быть обеспечено визуальное указание фактического местоположения поражения. Например, фактическое местоположение поражения может быть представлено в виде комментария (отметки) на схематичном изображении тела, как показано на фиг. 4.[067] At step 714, the actual location of the lesion may be received. The actual location of the lesion can be received via a user input device (eg, keyboard, touch screen). The actual location of the lesion may be associated with the ultrasound image and/or the cine frame. The actual location of the lesion and/or image may be stored in the memory of the ultrasound imaging system in some embodiments. At 716, a visual indication of the actual location of the lesion may be provided. For example, the actual location of a lesion can be represented as a comment (mark) on a schematic body image, as shown in FIG. four.

[068] Как описано в настоящем документе, поражения, обнаруженные на изображениях, полученных с помощью другого метода визуализации (например, магнитно-резонансной томографии, рентгеновской визуализации), могут быть обнаружены быстрее и/или точнее путем применения модели деформации тканей к изображениям и местоположениям поражений, полученных с помощью другого метода визуализации, и предоставления врачу визуальных указаний прогнозируемых местоположений поражений во время ультразвукового исследования.[068] As described herein, lesions detected on images obtained using another imaging modality (e.g., magnetic resonance imaging, X-ray imaging) can be detected faster and/or more accurately by applying a tissue deformation model to images and locations. lesions obtained using another imaging modality and providing the clinician with visual indications of predicted lesion locations during ultrasound examination.

[069] В связи с этим раскрытием следует отметить, что различные описанные в данном документе способы и устройства могут быть реализованы в аппаратном, программном и встроенном программно-аппаратном обеспечении. Кроме того, различные способы и параметры включены только в качестве примера и не имеют никакого ограничивающего смысла. В связи с этим раскрытием специалисты в данной области техники могут реализовать настоящие идеи при определении своих собственных методик и необходимого оборудования для воздействия на эти методики, оставаясь при этом в рамках раскрытия. Функциональные возможности одного или нескольких процессоров, описанных в настоящем документе, могут быть включены в меньшее число или в один процессор (например, центральный процессор) и могут быть реализованы с использованием интегральных схем специального назначения (ASIC) или схем обработки общего назначения, которые запрограммированы в соответствии с исполняемой инструкцией для выполнения описанных в настоящем документе функций.[069] In connection with this disclosure, it should be noted that the various methods and devices described herein may be implemented in hardware, software, and firmware. In addition, the various methods and parameters are included by way of example only and are not meant to be limiting in any way. In connection with this disclosure, those skilled in the art may implement the present teachings in determining their own techniques and the necessary equipment to affect those techniques while remaining within the scope of the disclosure. The functionality of one or more of the processors described herein may be incorporated into a smaller number or single processor (e.g., a central processing unit) and may be implemented using application specific integrated circuits (ASICs) or general purpose processing circuits that are programmed into in accordance with the executable instruction to perform the functions described in this document.

[070] Хотя настоящая система была описана со ссылкой на систему МРТ и систему ультразвуковой визуализации, настоящая система может быть расширена на другие методики визуализации. Кроме того, настоящая система может также включать в себя один или несколько элементов, которые могут быть использованы с системами неультразвуковой визуализации с компонентами или без компонентов визуализации в реальном времени, так что они могут обеспечить особенности и преимущества настоящей системы.[070] Although the present system has been described with reference to an MRI system and an ultrasound imaging system, the present system can be extended to other imaging techniques. In addition, the present system may also include one or more elements that can be used with non-ultrasound imaging systems with or without real-time imaging components, so that they can provide the features and benefits of the present system.

[071] Следует понимать, что любой из примеров, вариантов осуществления или процессов, описанных в данном документе, может быть объединен с одним или несколькими другими примерами, вариантами осуществления и/или процессами или может быть разделен и/или выполнен между отдельными устройствами или частями устройств в соответствии с настоящими системами, устройствами и способами. Наконец, приведенное выше описание предназначено лишь для иллюстрации настоящей системы и не должно толковаться как ограничивающее прилагаемую формулу изобретения каким-либо конкретным вариантом осуществления или группой вариантов осуществления. Таким образом, хотя настоящая система была подробно описана со ссылкой на примерные варианты осуществления, следует также понимать, что специалисты в данной области техники могут разработать многочисленные изменения и альтернативные варианты осуществления, не отступая от более широкого и предполагаемого духа и объема настоящей системы, как это указано в приведенной ниже формуле изобретения. Соответственно, описание и чертежи должны рассматриваться как иллюстративные и не должны рассматриваться как ограничивающие объем формулы изобретения.[071] It should be understood that any of the examples, embodiments, or processes described herein may be combined with one or more other examples, embodiments, and/or processes, or may be shared and/or performed between separate devices or parts. devices in accordance with the present systems, devices and methods. Finally, the foregoing description is only intended to illustrate the present system and should not be construed as limiting the appended claims to any particular embodiment or group of embodiments. Thus, while the present system has been described in detail with reference to the exemplary embodiments, it should also be understood that numerous variations and alternative embodiments may be devised by those skilled in the art without departing from the broader and intended spirit and scope of the present system, such as indicated in the following claims. Accordingly, the description and drawings are to be considered illustrative and should not be construed as limiting the scope of the claims.

Claims

1. An image correlation system from two or more different medical imaging systems, comprising:

a user interface (104) containing a display (128) and a user input device (134);

a memory (136) operatively connected to the user interface; and

a processor (140) operably coupled to a user interface and memory;

wherein the memory contains processor-executable instructions that can be executed by the processor in order to:

receive imaging data obtained by tissue imaging using the first imaging method;

receive in the user interface an indication of the estimated location of the lesion within the rendered tissue in relation to the received imaging data;

select a deformation model based on the received imaging data;

apply the selected strain model to the estimated lesion location to generate a predicted lesion location during tissue imaging using the second imaging modality, wherein the strain model takes into account the difference in tissue strain between the first imaging modality and the second imaging modality,

the second imaging technique is an ultrasound technique, wherein the processor-executable instructions are further configured to cause the user interface (104) to provide a visual indication of at least one of the proposed ultrasound probe positions for imaging the lesion;

provide in the user interface a visual indication of the predicted location of the lesion to guide the acquisition of image data using the second imaging method; enter the parameters of the actual location of the lesion; change the deformation model based on the actual location of the lesion in case the actual location of the lesion is outside the predicted location and/or exceeds a threshold distance from the predicted location of the lesion.

2. The system (100) of claim 1, wherein the processor-executable instructions are further configured to cause the user interface (104) to accept the actual location of the lesion from the user input device (134) and provide a visual indication of the actual location of the lesion.

3. The system (100) of claim 1, wherein the second imaging technique is an ultrasound technique, wherein the processor-executable instructions are further configured to cause the user interface (104) to provide a visual indication of at least one of the current location and angle of the ultrasound probe along relation to the anatomical landmark.

4. The system (100) of claim 1, wherein the processor-executable instructions are further configured to cause the user interface (104) to display an image generated based on the received imaging data.

5. The system (100) of claim 4, wherein the received imaging data includes imaging data obtained with a magnetic resonance imaging system.

6. The system (100) of claim. 1, wherein the visual indication of the predicted location of the lesion is a graphic element superimposed on a schematic representation of the body.

7. System (100) according to any one of the preceding claims, wherein the imaging data is stored in memory (136).

8. A method for correlating images from two or more different medical imaging systems, including:

receiving (602) imaging data obtained by imaging tissue using the first imaging method; receiving an indication of the estimated location of the lesion within the rendered tissue in relation to the received imaging data; selecting a deformation model based on the received imaging data; applying (610) the selected strain model to the estimated lesion location to generate a predicted lesion location during tissue imaging using the second imaging modality, wherein the strain model takes into account the difference in tissue strain between the first imaging modality and the second imaging modality, wherein

the second imaging technique is an ultrasound technique, providing a visual indication of at least one of the proposed positions of the ultrasound probe for visualizing the lesion;

providing (612) a visual indication of the predicted location to direct the acquisition of image data using the second imaging method;

entering parameters of the actual location of the lesion; changing the deformation model based on the actual location of the lesion in case the actual location of the lesion is outside the predicted location and/or exceeds a threshold distance from the predicted location of the lesion.

9. The method (600) of claim 8, further comprising parsing (604) the received imaging data to determine a tissue characteristic, or receiving a tissue characteristic from a user input device.

10. The method (600) of claim 8, wherein the second imaging technique is an ultrasound technique, the method further comprising receiving an updated lesion location indication in response to a real-time comment on the ultrasound image.

11. The method (600) of claim 10, further comprising modifying (618) the deformation model based at least in part on the actual location of the lesion.

12. The method (600) of claim 8, wherein the deformation model is configured to approximate displacement of breast tissue imaged in the prone position to breast tissue imaged in the supine position.

13. A long-term computer-readable medium for correlating images from two or more different medical imaging systems, containing processor-executable instructions for predicting lesion locations in the system, which, when executed, cause the system to:

receive imaging data obtained by tissue imaging using the first imaging method;

receive an indication of the estimated location of the lesion within the rendered tissue in relation to the received imaging data; select a deformation model based on the received imaging data; apply the selected strain model to the estimated lesion location to generate a predicted lesion location during tissue imaging using the second imaging modality, the strain model taking into account the difference in tissue strain between the first imaging modality and the second imaging modality; and

provide a visual indication of the predicted location of the lesion to guide image data collection using the second imaging method,

enter the parameters of the actual location of the lesion;

change the deformation model based on the actual location of the lesion in case the actual location of the lesion is outside the predicted location and/or exceeds a threshold distance from the predicted location of the lesion.

14. A non-volatile computer-readable medium comprising the processor-executable instructions of claim 13, wherein the second imaging method is an ultrasound method, and which, upon execution of the instructions, further causes the system to acquire a real-time ultrasound image and display a real-time ultrasound image.