RU2782874C2

RU2782874C2 - Smart ultrasound system for detection of image artefacts

Info

Publication number: RU2782874C2
Application number: RU2020117979A
Authority: RU
Inventors: Рагавендра ШРИНИВАСА НАИДУ; Ман НГУЕН; Кристин Менкинг СВИШЕР
Original assignee: Конинклейке Филипс Н.В.
Priority date: 2017-11-02
Filing date: 2018-10-29
Publication date: 2022-11-07

Abstract

FIELD: medical equipment.

SUBSTANCE: group of inventions relates to medical equipment and discloses a system and a method for ultrasound imaging, providing identification and elimination of image artefacts from frames of an ultrasound image by application of a neural network to frames. The system may include an ultrasound converter made with the possibility of reception of echo signals in response to ultrasound pulses transmitted to the target area. One or more processors communicatively connected to the ultrasound converter can be made with the possibility of generation of an image frame from ultrasound echo signals and application of the neural network to the image frame. The neural network detects the presence of the artefact in the image frame and identifies a type of the detected artefact. Processors can also generate an indicator indicating the presence of the artefact, which can be displayed on a user interface. Processors can additionally generate an instruction for setting of the ultrasound converter based on the presence and the type of the artefact present in the image frame.

EFFECT: obtaining a method for ultrasound imaging.

20 cl, 6 dwg

Description

Ссылка на родственную заявкуLink to related application

Настоящая заявка испрашивает преимущество и приоритет по предварительной заявке США №62/580635, поданной 2 ноября 2017 года, которая включена в настоящий документ во всей своей полноте посредством ссылки.This application claims benefit and priority from U.S. Provisional Application No. 62/580635, filed Nov. 2, 2017, which is incorporated herein in its entirety by reference.

Область техники, к которой относится изобретениеThe field of technology to which the invention belongs

[001] Настоящее изобретение относится к ультразвуковым системам и способам идентификации артефактов в ультразвуковых изображениях с использованием нейронной сети. Конкретные варианты реализации включают в себя системы, предназначенные для идентификации артефактов во время ультразвуковой визуализации, и обеспечивают инструкции по настройке ультразвукового зонда для устранения артефактов из полученных ультразвуковых изображений.[001] The present invention relates to ultrasound systems and methods for identifying artifacts in ultrasound images using a neural network. Specific embodiments include systems for identifying artifacts during ultrasound imaging and provide instructions for setting up an ultrasound probe to remove artifacts from acquired ultrasound images.

Уровень техникиState of the art

[002] Ультразвуковые изображения могут содержать различные артефакты, которые делают неясными телесные элементы, запечатленные на изображениях. Например, артефакты изображений обычно появляются на ультразвуковых изображениях вследствие физики ультразвука и вмешательства оператора. Рассогласование эхогенности между различными элементами может вызывать эффекты затенения, в частности, изменение скорости звука в тканях и отражение высококонтрастного импеданса тканей может привести к зеркальным изображениям и реверберациям. Появление таких артефактов может препятствовать возможности оператора точно интерпретировать элементы на ультразвуковых изображениях, что может привести к неправильной диагностике. Артефакты изображений могут также мешать при интервенционных процедурах под ультразвуковым контролем.[002] Ultrasound images may contain various artifacts that obscure the bodily elements captured in the images. For example, image artifacts typically appear on ultrasound images due to ultrasound physics and operator intervention. Echogenicity mismatch between different elements can cause shading effects, in particular the change in the speed of sound in tissues and the reflection of high contrast tissue impedance can lead to mirror images and reverberations. The appearance of such artifacts can interfere with the operator's ability to accurately interpret features on ultrasound images, which can lead to misdiagnosis. Image artifacts can also interfere with ultrasound-guided interventional procedures.

[003] Устранение артефактов из ультразвуковых изображений часто может быть выполнено путем настройки положения, ориентации и/или рабочих параметров ультразвукового преобразователя, используемого для получения изображений. Однако неопытные операторы ультразвукового оборудования могут не распознать артефакты, появляющиеся на изображениях, или могут не знать о настройках, необходимых для исчезновения артефактов. Соответственно, могут потребоваться системы ультразвуковой визуализации, способные распознавать артефакты изображений, и шаги, которые можно предпринять для устранения артефактов.[003] Removing artifacts from ultrasound images can often be accomplished by adjusting the position, orientation, and/or operating parameters of the ultrasound transducer used to acquire images. However, inexperienced ultrasound equipment operators may not recognize artifacts that appear on images or may not be aware of the settings needed to make artifacts disappear. Accordingly, there may be a need for ultrasound imaging systems capable of recognizing image artifacts and steps that can be taken to eliminate the artifacts.

Раскрытие сущности изобретенияDisclosure of the essence of the invention

[004] В настоящем изобретении раскрыты системы и способы для улучшения качества и интерпретации ультразвуковых изображений путем идентификации и устранения артефактов, вносящих неясность в элементы, входящие в изображения. Системы могут использоваться начинающими пользователями ультразвукового оборудования, которые не могут надежно идентифицировать артефакты и/или настроить ультразвуковой преобразователь так, как это необходимо для их устранения. За счет уменьшения эксплуатационной ошибки раскрытые в настоящем документе системы могут улучшить качество ультразвуковых изображений, полученных во время сканирования, и диагнозы, сделанные на основании таких изображений. В системах может быть реализована нейронная сеть, обученная обнаруживать наличие различных артефактов, которые могут появиться во время ультразвукового сканирования. Помимо обнаружения наличия артефактов, системы могут определять тип каждого артефакта. Типы артефактов могут включать в себя, например, реверберацию, затенения или зеркальные изображения. Нейронная сеть может быть дополнительно обучена выдавать инструкцию или корректирующее действие для настройки ультразвукового преобразователя и/или его параметров так, как это необходимо для устранения артефакта (артефактов) из изображений. Инструкция может меняться в зависимости от типа идентифицированного артефакта, так что инструкция по устранению артефакта реверберации может отличаться от инструкции по устранению артефакта зеркального изображения. В некоторых примерах инструкция предоставляется пользователю, работающему с ультразвуковым оборудованием. В других примерах инструкцию передают системному компоненту, например контроллеру, который выполнен с возможностью автоматической настройки ультразвукового преобразователя в соответствии с инструкцией, тем самым устраняя артефакты без вмешательства пользователя.[004] The present invention discloses systems and methods for improving the quality and interpretation of ultrasound images by identifying and eliminating artifacts that obscure elements included in the images. The systems can be used by novice ultrasonic users who cannot reliably identify artefacts and/or set up an ultrasonic transducer to correct them. By reducing operational error, the systems disclosed herein can improve the quality of ultrasound images obtained during a scan and the diagnoses made from such images. Systems can implement a neural network trained to detect the presence of various artifacts that may appear during an ultrasound scan. In addition to detecting the presence of artifacts, systems can determine the type of each artifact. Artifact types may include, for example, reverbs, shadows, or mirror images. The neural network can be further trained to issue an instruction or corrective action to adjust the ultrasound transducer and/or its parameters as needed to remove artifact(s) from images. The instruction may vary depending on the type of artifact identified, so that the instruction for removing the reverb artifact may be different from the instruction for removing the mirror image artifact. In some examples, instruction is provided to the user operating the ultrasound equipment. In other examples, the instruction is passed to a system component, such as a controller, which is configured to automatically tune the ultrasonic transducer in accordance with the instruction, thereby eliminating artifacts without user intervention.

[005] В соответствии с некоторыми примерами, система ультразвуковой визуализации может включать в себя ультразвуковой преобразователь, выполненный с возможностью получения эхо-сигналов в ответ на ультразвуковые импульсы, передаваемые в целевую область. Также могут быть предусмотрены один или более процессоров, имеющих связь с ультразвуковым преобразователем. Процессоры могут быть выполнены с возможностью генерирования по меньшей мере одного кадра изображения из ультразвуковых эхо-сигналов; применения нейронной сети к кадру изображения, причем нейронная сеть определяет наличие и тип артефакта в кадре изображения; генерирования индикатора на основании определенного наличия артефакта; обеспечения отображения индикатора на пользовательском интерфейсе, имеющем связь с процессорами; и генерирования инструкции для настройки ультразвукового преобразователя на основании определенных наличия и типа артефакта.[005] According to some examples, an ultrasound imaging system may include an ultrasound transducer configured to receive echoes in response to ultrasound pulses transmitted to a target area. One or more processors may also be provided in communication with the ultrasonic transducer. The processors may be configured to generate at least one image frame from the ultrasonic echoes; applying a neural network to the image frame, wherein the neural network determines the presence and type of an artifact in the image frame; generating an indicator based on the determined presence of the artifact; providing an indicator to be displayed on a user interface in communication with the processors; and generating instructions for adjusting the ultrasonic transducer based on the determined presence and type of artifact.

[006] В некоторых примерах процессоры могут быть дополнительно выполнены с возможностью передачи инструкции контроллеру, коммуникативно связанному с ультразвуковым преобразователем. В некоторых вариантах осуществления контроллер может быть выполнен с возможностью настройки ультразвукового преобразователя путем изменения его рабочего параметра на основании инструкции, принятой от процессоров. В некоторых примерах рабочий параметр может включать в себя положение, ориентацию, глубину фокусировки, угол луча, модальность визуализации или частоту ультразвукового преобразователя. В некоторых вариантах осуществления ультразвуковой преобразователь может быть физически связан с роботизированной рукой-манипулятором, выполненной с возможностью перемещения ультразвукового преобразователя.[006] In some examples, the processors may be further configured to transmit an instruction to a controller communicatively associated with the ultrasonic transducer. In some embodiments, the controller may be configured to tune the ultrasonic transducer by changing its operating parameter based on an instruction received from the processors. In some examples, the operating parameter may include position, orientation, depth of focus, beam angle, imaging modality, or ultrasonic transducer frequency. In some embodiments, the implementation of the ultrasonic transducer may be physically connected to a robotic arm, configured to move the ultrasonic transducer.

[007] В некоторых примерах процессоры могут дополнительно иметь возможность генерирования и обеспечения отображения ультразвукового изображения из кадра изображения на пользовательском интерфейсе. В некоторых вариантах осуществления индикатор может включать в себя графическую накладку или маркер положения, наложенный на ультразвуковое изображение, отображаемое на пользовательском интерфейсе. В некоторых примерах артефакт может включать в себя реверберацию, акустическое затенение, акустическое усиление, зеркальное изображение или краевое затенение. В некоторых вариантах осуществления нейронная сеть может включать в себя множество моделей нейронных сетей, причем каждая из моделей нейронной сети связана с одной из множества предусмотренных модальностей визуализации, выбираемых пользователем. В некоторых примерах каждая из предусмотренных модальностей визуализации может предназначаться для обеспечения получения ультразвуковым преобразователем эхо-сигналов от отдельной целевой области путем реализации набора рабочих параметров, специфических для этой отдельной целевой области. В некоторых вариантах осуществления указанные один или более процессоров могут быть выполнены с возможностью генерирования и обеспечения отображения спрогнозированного ультразвукового изображения без артефактов. В некоторых вариантах осуществления инструкция может отображаться на пользовательском интерфейсе. В некоторых примерах следование инструкции обеспечивает устранение артефакта из кадра изображения. В некоторых вариантах осуществления нейронная сеть может быть функционально связана с алгоритмом обучения, обеспечивающим прием массива обучающих входных данных и известных выходных данных, при этом обучающие входные данные включают в себя кадры ультразвукового изображения, содержащие артефакты, а известные выходные данные включают в себя настройку рабочих параметров, обеспечивающую устранение артефактов из кадров ультразвукового изображения. В некоторых примерах нейронная сеть может включать в себя множество моделей нейронных сетей, причем каждая из моделей нейронной сети связана с одним из множества поднаборов обучающих входных данных, при этом каждый из поднаборов связан с одной из множества предусмотренных модальностей визуализации, выбираемых пользователем.[007] In some examples, processors may further be able to generate and display an ultrasound image from an image frame on a user interface. In some embodiments, the indicator may include a graphic overlay or position marker superimposed on the ultrasound image displayed on the user interface. In some examples, the artifact may include reverb, acoustic shadowing, acoustic enhancement, specular image, or edge shadowing. In some embodiments, a neural network may include a plurality of neural network models, each of the neural network models being associated with one of a plurality of user-selectable rendering modalities provided. In some examples, each of the provided imaging modalities may be designed to cause the ultrasound transducer to receive echoes from a particular target area by implementing a set of operating parameters specific to that particular target area. In some embodiments, said one or more processors may be configured to generate and display a predicted ultrasound image without artifacts. In some embodiments, the instruction may be displayed on a user interface. In some examples, following the instructions ensures that the artifact is removed from the image frame. In some embodiments, the neural network may be operatively coupled to a learning algorithm that receives an array of training inputs and known outputs, where the training inputs include ultrasound image frames containing artefacts, and the known outputs include operating parameter tuning. , which provides the elimination of artifacts from the frames of the ultrasound image. In some examples, the neural network may include a plurality of neural network models, each of the neural network models being associated with one of a plurality of subsets of training inputs, each of the subsets being associated with one of a plurality of user-selectable rendering modalities provided.

[008] В соответствии с некоторыми примерами способ ультразвуковой визуализации может включать в себя получение эхо-сигналов в ответ на ультразвуковые импульсы, передаваемые в целевую область преобразователем, функционально связанным с ультразвуковой системой; генерирование по меньшей мере одного кадра изображения из ультразвуковых эхо-сигналов; применение нейронной сети к кадру изображения, причем нейронная сеть определяет наличие и тип артефакта в кадре изображения; генерирование индикатора на основании определенного наличия артефакта; отображение индикатора на пользовательском интерфейсе; и генерирование инструкции для настройки преобразователя на основании определенных наличия и типа артефакта, причем инструкция содержит рабочее руководство по устранению артефакта из кадра изображения.[008] According to some examples, an ultrasound imaging method may include receiving echoes in response to ultrasound pulses transmitted to a target area by a transducer operatively associated with the ultrasound system; generating at least one image frame from the ultrasonic echoes; applying a neural network to the image frame, wherein the neural network determines the presence and type of an artifact in the image frame; generating an indicator based on the determined presence of the artifact; displaying the indicator on the user interface; and generating an instruction for adjusting the transducer based on the determined presence and type of artifact, the instruction comprising a working guide for removing the artifact from the image frame.

[009] В некоторых примерах способ может дополнительно включать в себя выбор модальности визуализации для получения эхо-сигналов, причем модальность визуализации содержит рабочие параметры, специфические для целевой области. В некоторых вариантах осуществления способ может дополнительно включать в себя передачу инструкции контроллеру, коммуникативно связанному с преобразователем. В некоторых примерах способ может дополнительно включать в себя изменение рабочего параметра преобразователя на основании инструкции. В некоторых вариантах осуществления способ может дополнительно включать отображение инструкции на пользовательском интерфейсе. В некоторых примерах способ может дополнительно включать в себя обучение нейронной сети с использованием кадров ультразвуковых изображений, содержащих множество различных артефактов, и экспертных инструкций для настройки преобразователя на основании множества различных артефактов. В некоторых примерах способ может дополнительно включать в себя генерирование спрогнозированного ультразвукового изображения без артефакта.[009] In some examples, the method may further include selecting an imaging modality to obtain echoes, wherein the imaging modality contains operating parameters specific to the target area. In some embodiments, the method may further include transmitting an instruction to a controller communicatively associated with the converter. In some examples, the method may further include changing an operating parameter of the transducer based on the instruction. In some embodiments, the implementation of the method may further include displaying instructions on the user interface. In some examples, the method may further include training a neural network using ultrasound image frames containing a plurality of different artifacts and expert instructions to tune the transducer based on the plurality of different artifacts. In some examples, the method may further include generating a predicted ultrasound image without artifact.

[010] Любой из способов, раскрытых в настоящем документе, или из их этапов, может быть реализован на долговременном машиночитаемом носителе, содержащем исполняемые инструкции, которые при исполнении могут заставить процессор системы медицинской визуализации выполнять способ или этапы, воплощенные в настоящем документе.[010] Any of the methods disclosed herein, or steps thereof, may be implemented on a durable computer-readable medium containing executable instructions that, when executed, can cause a medical imaging system processor to perform the method or steps embodied herein.

Краткое описание чертежейBrief description of the drawings

[011] На фиг. 1 представлена блок-схема ультразвуковой системы согласно принципам настоящего изобретения.[011] In FIG. 1 is a block diagram of an ultrasound system in accordance with the principles of the present invention.

[012] На фиг. 2 представлена блок-схема другой ультразвуковой системы согласно принципам настоящего изобретения.[012] In FIG. 2 is a block diagram of another ultrasound system in accordance with the principles of the present invention.

[013] На фиг. 3 представлена блок-схема нейронной сети, обученной определять наличие и тип артефактов ультразвукового изображения согласно принципам настоящего изобретения.[013] In FIG. 3 is a block diagram of a neural network trained to detect the presence and type of ultrasound image artifacts in accordance with the principles of the present invention.

[014] На фиг. 4 представлена фотография ультразвукового изображения, содержащего артефакт зеркального изображения, который не был устранен согласно принципам настоящего изобретения.[014] In FIG. 4 is a photograph of an ultrasound image containing a mirror image artifact that has not been eliminated according to the principles of the present invention.

[015] На фиг. 5А представлена фотография ультразвукового изображения, содержащего идентифицированные артефакты и индикатор наличия и типа таких артефактов согласно настоящему изобретению.[015] In FIG. 5A is a photograph of an ultrasound image containing identified artifacts and an indicator of the presence and type of such artifacts according to the present invention.

[016] На фиг. 5В представлена фотография ультразвукового изображения, содержащего идентифицированные артефакты и инструкции по настройке ультразвукового преобразователя для устранения артефактов согласно настоящему изобретению.[016] In FIG. 5B is a photograph of an ultrasound image containing identified artifacts and instructions for setting up an ultrasound transducer to eliminate artifacts in accordance with the present invention.

[017] На фиг. 6 представлена блок-схема последовательности операций способа ультразвуковой визуализации, выполняемого согласно принципам настоящего изобретения.[017] In FIG. 6 is a flow chart of an ultrasound imaging method performed in accordance with the principles of the present invention.

Осуществление изобретенияImplementation of the invention

[018] Нижеследующее раскрытие конкретных вариантов осуществления является просто примерным по своей сути и никоим образом не предназначено для ограничения изобретения, его применений или использования. В последующем подробном раскрытии вариантов осуществления настоящих систем и способов рассматриваются прилагаемые чертежи, которые составляют его часть и которые показаны в качестве иллюстрации конкретных вариантов осуществления, в которых раскрытые системы и способы могут быть применены на практике. Эти варианты осуществления раскрыты достаточно подробно, чтобы дать возможность специалистам в данной области техники на практике реализовать раскрытые в настоящий момент системы и способы, при этом следует понимать, что могут быть использованы другие варианты осуществления и что могут быть сделаны структурные и логические изменения без отклонения от сущности и объема настоящей системы. Кроме того, для ясности, подробные описания определенных признаков не будут обсуждаться, когда они очевидны для специалистов в данной области техники, чтобы не усложнять понимание раскрытия настоящей системы. Поэтому нижеследующее подробное раскрытие не следует рассматривать в ограничивающем смысле, и объем настоящей системы определяется только прилагаемой формулой изобретения.[018] The following disclosure of specific embodiments is merely exemplary in nature and is not intended to limit the invention, its applications, or uses in any way. The following detailed disclosure of embodiments of the present systems and methods considers the accompanying drawings, which form a part of it, and which are shown as illustrating specific embodiments in which the disclosed systems and methods may be put into practice. These embodiments are disclosed in sufficient detail to enable those skilled in the art to practice the systems and methods currently disclosed, it being understood that other embodiments may be used and that structural and logical changes may be made without deviating from essence and scope of the present system. In addition, for the sake of clarity, detailed descriptions of certain features will not be discussed when they are obvious to those skilled in the art so as not to obscure the disclosure of the present system. Therefore, the following detailed disclosure should not be construed in a limiting sense, and the scope of the present system is defined only by the appended claims.

[019] Ультразвуковая система согласно настоящему изобретению может использовать нейронную сеть, например глубокую нейронную сеть (DNN, deep neural network), сверточную нейронную сеть (CNN, convolutional neural network) или тому подобное, для идентификации различных артефактов изображения, например ревербераций, которые могут появляться во время ультразвуковой визуализации. В некоторых примерах нейронная сеть может быть обучена с использованием любой из множества известных на текущий момент или разработанных позже методик машинного обучения для получения нейронной сети (например, машинообученный алгоритм или аппаратная система узлов), которые способны анализировать входные данные в виде ультразвуковых кадров изображения и идентифицировать конкретные признаки, включая один или более артефактов изображения. Нейронные сети могут обеспечивать преимущество перед традиционными формами алгоритмов компьютерного программирования в том, что они могут быть обобщены и обучены распознавать признаки набора данных путем анализа выборок набора данных, а не путем использования специализированного компьютерного кода. Представляя соответствующие входные и выходные данные в алгоритм обучения нейронной сети, нейронную сеть ультразвуковой системы в соответствии с настоящим изобретением можно обучить для идентификации артефактов и предоставления инструкций для настройки ультразвукового преобразователя так, чтобы это приводило к устранению артефактов из ультразвуковых изображений. В некоторых примерах инструкции могут передаваться контроллеру, выполненному с возможностью автоматической настройки ультразвукового преобразователя в соответствии с инструкциями, без вмешательства пользователя. Дополнительно или альтернативно, инструкции могут быть транслированы в одну или более операций обработки изображения для устранения артефактов из ультразвукового изображения.[019] The ultrasound system according to the present invention may use a neural network, such as a deep neural network (DNN, deep neural network), a convolutional neural network (CNN, convolutional neural network), or the like, to identify various image artifacts, such as reverberations, which may appear during ultrasound imaging. In some examples, the neural network may be trained using any of a variety of currently known or later developed machine learning techniques to produce a neural network (e.g., a machine learning algorithm or a hardware node system) that is capable of analyzing input data in the form of ultrasonic image frames and identifying specific features, including one or more image artifacts. Neural networks can provide an advantage over traditional forms of computer programming algorithms in that they can be generalized and trained to recognize features of a dataset by analyzing samples of the dataset rather than using specialized computer code. By providing appropriate inputs and outputs to a neural network training algorithm, the neural network of the ultrasound system of the present invention can be trained to identify artifacts and provide instructions for tuning the ultrasound transducer such that it removes artifacts from ultrasound images. In some examples, instructions may be given to a controller configured to automatically adjust the ultrasonic transducer in accordance with the instructions without user intervention. Additionally or alternatively, the instructions may be translated into one or more image processing steps to remove artifacts from the ultrasound image.

[020] Ультразвуковая система в соответствии с принципами настоящего изобретения может включать в себя ультразвуковой преобразователь или быть функционально связанной с ультразвуковым преобразователем, выполненным с возможностью передачи ультразвуковых импульсов к среде, например телу человека или его отдельным частям, и генерировать эхо-сигналы в ответ на ультразвуковые импульсы. Ультразвуковая система может включать в себя формирователь луча, обеспечивающий выполнение лучеформирования передачи и/или приема, и дисплей, выполненный с возможностью отображения, в некоторых примерах, ультразвуковых изображений, генерируемых системой ультразвуковой визуализации. Система ультразвуковой визуализации может включать в себя один или более процессоров и по меньшей мере одну модель нейронной сети, которая может быть реализована в аппаратных и/или программных компонентах. Нейронная сеть может быть машинообучена идентифицировать один или более артефактов изображения, таких как реверберации или зеркальные отображения, и выводить индикацию наличия и/или типа таких артефактов.[020] An ultrasound system in accordance with the principles of the present invention may include an ultrasonic transducer or be operatively associated with an ultrasonic transducer configured to transmit ultrasonic pulses to a medium, such as the human body or its individual parts, and generate echoes in response to ultrasonic pulses. The ultrasound system may include a beamformer capable of performing transmit and/or receive beamforming and a display capable of displaying, in some examples, ultrasound images generated by the ultrasound imaging system. The ultrasound imaging system may include one or more processors and at least one neural network model, which may be implemented in hardware and/or software components. The neural network may be machine trained to identify one or more image artifacts, such as reverberations or specular reflections, and provide an indication of the presence and/or type of such artifacts.

[021] Нейронная сеть, реализованная согласно настоящему изобретению, может быть основанной на аппаратном (например, нейроны представлены физическими компонентами) или программном (например, нейроны и пути, реализованные в программном приложении) обеспечении и может использовать множество топологий и обучающих алгоритмов для обучения нейронной сети для получения требуемого результата. Например, основанная на программном обеспечении нейронная сеть может быть реализована с использованием процессора (например, одноядерного или многоядерного центрального процессора (CPU), одиночного графического процессора (GPU) или кластера графических процессоров, или множества процессоров, выполненных с возможностью параллельной обработки), обеспечивающего выполнение инструкций, которые могут быть сохранены на машиночитаемом носителе и которые при их исполнении обеспечивают выполнение процессором машинообученного алгоритма для идентификации различных артефактов в ультразвуковых изображениях и, в некоторых примерах, выдачу индикации их наличия, отсутствия и/или типа. Ультразвуковая система может включать в себя дисплей или графический процессор, выполненный с возможностью размещения ультразвуковых изображений и/или дополнительной графической информации, которая может включать в себя аннотации, информацию о тканях, информацию о пациенте, индикаторы и другие графические компоненты, в окне дисплея для отображения на пользовательском интерфейсе ультразвуковой системы. В некоторых вариантах осуществления ультразвуковые изображения и информация о тканях, включая информацию, касающуюся наличия и/или типа артефактов, могут быть предоставлены в устройство хранения и/или памяти, такое как система архивации и передачи изображений (PACS, picture archiving and communication system) для целей отчетности или для будущего машинного обучения (например, чтобы продолжить повышение производительности нейронной сети). В некоторых примерах ультразвуковые изображения, полученные во время сканирования, могут не отображаться пользователю, работающему с ультразвуковой системой, но могут анализироваться системой на наличие или отсутствие артефактов изображения при выполнении ультразвукового сканирования.[021] A neural network implemented in accordance with the present invention may be based on hardware (eg, neurons are represented by physical components) or software (eg, neurons and paths implemented in a software application) and may use a variety of topologies and training algorithms to train a neural network. network to get the desired result. For example, a software-based neural network may be implemented using a processor (e.g., a single or multi-core central processing unit (CPU), a single graphics processing unit (GPU), or a cluster of graphics processors, or a plurality of processors capable of parallel processing) to execute instructions that can be stored on a computer-readable medium and that, when executed, cause the processor to execute a machine-learned algorithm to identify various artifacts in ultrasound images and, in some examples, provide an indication of their presence, absence, and/or type. The ultrasound system may include a display or graphics processor configured to place ultrasound images and/or additional graphical information, which may include annotations, tissue information, patient information, indicators, and other graphical components, in a display window for display. on the user interface of the ultrasound system. In some embodiments, ultrasound images and tissue information, including information regarding the presence and/or type of artifacts, may be provided to a storage and/or memory device such as a picture archiving and communication system (PACS) for reporting purposes or for future machine learning (for example, to continue improving neural network performance). In some examples, ultrasound images acquired during a scan may not be displayed to a user operating the ultrasound system, but may be analyzed by the system for the presence or absence of image artifacts when an ultrasound scan is performed.

[022] На фиг. 1 показан пример ультразвуковой системы в соответствии с принципами настоящего изобретения. Ультразвуковая система 100 может включать в себя блок 110 получения ультразвуковых данных. Блок 110 получения ультразвуковых данных может включать в себя ультразвуковой преобразователь, или зонд, который включает в себя массив 112 ультразвуковых датчиков, выполненный с возможностью передачи ультразвуковых импульсов 114 в целевую область 116 субъекта, например - в брюшную полость, и приема эхо-сигналов 118 в ответ на передаваемые импульсы. Как также показано, модуль 110 получения ультразвуковых данных может включать в себя формирователь 120 луча и сигнальный процессор 122, который может обеспечивать генерирование множества дискретных кадров 124 ультразвукового изображения из ультразвуковых эхо-сигналов 118, принимаемых в массиве 112. В некоторых вариантах осуществления система 100 также может включать в себя контроллер 125, связанный с блоком 110 получения ультразвуковых данных. Контроллер 125 может быть выполнен с возможностью настройки положения, ориентации и/или рабочих параметров блока 110 получения данных как часть автоматического контура обратной связи. Механизм 126 механической настройки, такой как роботизированная рука-манипулятор, может быть выполнен с возможностью физического манипулирования узлом 110 получения ультразвуковых данных в направлении контроллера 125. В некоторых примерах сигнальный процессор 122 может быть расположен с массивом 112 датчиков, или он может быть физически отделен, но коммуникативно (например, посредством проводного или беспроводного соединения), соединенным с ним.[022] In FIG. 1 shows an example of an ultrasonic system in accordance with the principles of the present invention. The ultrasound system 100 may include an ultrasound acquisition unit 110 . The ultrasound acquisition unit 110 may include an ultrasound transducer, or probe, that includes an array of ultrasound sensors 112 configured to transmit ultrasound pulses 114 to a target area 116 of the subject, such as the abdomen, and receive echoes 118 to response to transmitted impulses. As also shown, ultrasound acquisition module 110 may include a beamformer 120 and a signal processor 122 that may generate a plurality of discrete ultrasound image frames 124 from ultrasound echoes 118 received in array 112. In some embodiments, system 100 also may include a controller 125 associated with the ultrasonic acquisition unit 110. Controller 125 may be configured to adjust the position, orientation, and/or operating parameters of data acquisition unit 110 as part of an automatic feedback loop. Mechanical adjustment mechanism 126, such as a robotic arm, may be configured to physically manipulate ultrasound acquisition node 110 toward controller 125. In some examples, signal processor 122 may be located with sensor array 112, or it may be physically separated, but communicatively (eg, via a wired or wireless connection) connected to it.

[023] Система также может включать в себя модуль 127 обнаружения артефактов, например, вычислительный модуль или схему (например, специализированную интегральную схему (ASIC), выполненную с возможностью реализации нейронной сети 128. Нейронная сеть 128 может быть выполнена с возможностью приема кадров 124 изображения и определения наличия и/или типа артефакта визуализации в каждом кадре. Для обучения нейронной сети 128 различные типы обучающих данных 129 могут вводиться в сеть в различные моменты до и/или после применения сети. Тогда как на фиг. 1 для ясности и простоты иллюстрации показана только одна нейронная сеть 128, с модулем 127 обнаружения артефактов может быть соединено или коммуникативно связано множество различных моделей нейронных сетей. Каждая модель нейронной сети 128 может быть предварительно обучена с помощью алгоритма обучения для определения наличия и/или типа артефакта визуализации в кадрах 124 изображения, полученных во время конкретного применения визуализации. Соответственно, каждая модель может быть предварительно обучена с помощью отдельного набора обучающих данных 129, полученных посредством визуализации отдельной целевой области 116.[023] The system may also include an artifact detection module 127, such as a computing module or circuit (eg, an application specific integrated circuit (ASIC)), configured to implement a neural network 128. The neural network 128 may be configured to receive image frames 124 and determining the presence and/or type of rendering artifact in each frame To train the neural network 128, different types of training data 129 may be injected into the network at various times before and/or after the network is applied. with only one neural network 128, a plurality of different neural network models can be connected or communicatively coupled to the artifact detection module 127. Each neural network model 128 can be pre-trained with a learning algorithm to determine the presence and/or type of rendering artifact in image frames 124, obtained during a specific imaging application. Accordingly, each model can be pre-trained with a separate set of training data 129 obtained by rendering a separate target area 116.

[024] В некоторых примерах система 100 также включает в себя дисплейный процессор 130, связанный с модулем 127 обнаружения артефактов, и пользовательский интерфейс 132. В некоторых примерах дисплейный процессор 130 может быть выполнен с возможностью генерирования ультразвуковых изображений 134 из кадров 124 изображения, а также индикатора 136, который указывает наличие и/или тип артефакта (артефактов) изображения в каждом из кадров 124. Пользовательский интерфейс 132 может быть выполнен с возможностью отображения ультразвуковых изображений 134 области вместе с индикатором 136 в режиме реального времени по мере выполнения ультразвукового сканирования. В некоторых вариантах осуществления пользовательский интерфейс 132 может не отображать ультразвуковые изображения, но может отображать индикатор 136, так что пользователь может не иметь возможности видеть телесные элементы и/или артефакты изображения, показанные в кадре изображения, но поскольку может отображаться индикатор 136, пользователь все равно будет уведомлен об их ультразвуковом обнаружении. Пользовательский интерфейс 132 также может быть выполнен с возможностью отображения одной или более инструкций 137 на основании обнаружения наличия и/или типа артефактов, возникающих в кадрах 124 изображения. Инструкции 137 могут включать в себя указания для настройки блока 110 получения данных таким образом, чтобы устранить артефакт (артефакты) из кадров 124 изображения, тем самым улучшая качество кадров изображения. Пользовательский интерфейс 132 также может быть выполнен с возможностью приема пользовательских входных данных 138 в любое время до, во время или после ультразвукового сканирования. В некоторых примерах пользовательские входные данные 138 могут включать в себя выбор предусмотренной модальности визуализации, который определяет рабочие параметры для визуализации определенных элементов, например мочевого пузыря, легких, почек и т.д. Рабочие параметры могут включать в себя предварительно заданные глубину фокусировки, частоту пульса, число линий сканирования, плотность линий сканирования или другие параметры. Конкретная модель нейронной сети 128, применяемая к полученным кадрам 124 изображения, может зависеть от предусмотренной модальности визуализации, выбранной пользователем. Например, модель 128 нейронной сети, применяемая во время визуализации сердца, может отличаться от модели нейронной сети, применяемой при визуализации мочевого пузыря или почки. Таким образом, каждая модель нейронной сети 128 может быть предварительно обучена для идентификации артефактов в определенных типах кадров 124 изображений, полученных от конкретной целевой области 116. Выбор предусмотренной модальности визуализации обеспечивает реализацию надлежащей модели нейронной сети 128.[024] In some examples, system 100 also includes a display processor 130 associated with artifact detection module 127 and a user interface 132. In some examples, display processor 130 may be configured to generate ultrasound images 134 from image frames 124, as well as an indicator 136 that indicates the presence and/or type of image artifact(s) in each of the frames 124. The user interface 132 may be configured to display the ultrasound images 134 of the area along with the indicator 136 in real time as the ultrasound scan is performed. In some embodiments, user interface 132 may not display ultrasound images, but may display indicator 136 so that the user may not be able to see bodily features and/or image artifacts shown in the image frame, but since indicator 136 may be displayed, the user may still will be notified of their ultrasonic detection. User interface 132 may also be configured to display one or more instructions 137 based on detecting the presence and/or type of artifacts occurring in image frames 124. The instructions 137 may include instructions for setting up the data acquisition unit 110 so as to eliminate artifact(s) from the image frames 124, thereby improving the quality of the image frames. The user interface 132 may also be configured to receive user input 138 at any time before, during, or after the ultrasound scan. In some examples, user input 138 may include a provisioned imaging modality selection that defines operating parameters for imaging certain elements, such as the bladder, lungs, kidneys, and so on. The operating parameters may include predetermined depth of focus, pulse rate, number of scan lines, density of scan lines, or other parameters. The specific neural network model 128 applied to the acquired image frames 124 may depend on the intended rendering modality selected by the user. For example, the neural network model 128 applied during cardiac imaging may differ from the neural network model used during bladder or kidney imaging. Thus, each neural network model 128 can be pre-trained to identify artifacts in certain types of image frames 124 obtained from a particular target area 116. Selecting the provided imaging modality ensures that the proper neural network model 128 is implemented.

[025] Конфигурация системы 100, показанная на фиг. 1 может изменяться. Как также показано, пользовательский интерфейс 132 может отображать спрогнозированные кадры 139 без артефактов изображения, сгенерированные нейронной сетью 128. Например, система 100 может быть портативной или стационарной. Различные портативные устройства, например ноутбуки, планшеты, смартфоны или тому подобное, могут использоваться для реализации одной или более функций системы 100 в месте, отдельном от клиники, например в удаленном пункте обслуживания. В примерах, которые включают в себя такие устройства, массив 112 ультразвуковых датчиков может быть подключен, например, через интерфейс USB.[025] The system configuration 100 shown in FIG. 1 is subject to change. As also shown, user interface 132 may display predicted frames 139 without image artifacts generated by neural network 128. For example, system 100 may be portable or stationary. Various portable devices, such as laptops, tablets, smartphones, or the like, may be used to implement one or more of the functions of the system 100 in a location separate from the clinic, such as a remote service point. In examples that include such devices, the ultrasonic sensor array 112 may be connected, for example, via a USB interface.

[026] Блок 110 получения ультразвуковых данных может быть выполнен с возможностью получения ультразвуковых данных от одной или более исследуемых областей, которые могут включать в себя различные ткани, органы или другие внутренние структуры тела. Массив 112 ультразвуковых датчиков может включать в себя по меньшей мере один массив преобразователей, выполненный с возможностью передачи и приема ультразвуковой энергии. Могут быть использованы различные массивы преобразователей, например, линейные массивы, выпуклые массивы или фазированные массивы. Количество и расположение элементов преобразователя, входящих в состав массива 112 датчиков, в разных примерах может быть различным. Например, массив 112 ультразвуковых датчиков может включать в себя одномерный или двумерный массив преобразовательных элементов, соответствующий зондам с линейным массивом и матричным массивом, соответственно. Двумерные матричные массивы могут быть выполнены с возможностью электронного сканирования как по вертикальному, так и по азимутальному направлениям (посредством формирования луча с фазированной решеткой) для двумерной или трехмерной визуализации. В дополнение к визуализации в В-режиме, модальности визуализации, реализованные согласно изобретению, раскрытому в настоящем документе, также могут включать в себя, например, сдвиговую волну и/или эффект Доплера.[026] The ultrasound acquisition unit 110 may be configured to acquire ultrasound data from one or more regions of interest, which may include various tissues, organs, or other internal structures of the body. Ultrasonic sensor array 112 may include at least one transducer array configured to transmit and receive ultrasonic energy. Various transducer arrays may be used, such as linear arrays, convex arrays, or phased arrays. The number and location of the transducer elements included in the sensor array 112 may be different in different examples. For example, ultrasonic transducer array 112 may include a one-dimensional or two-dimensional array of transducer elements corresponding to line array and matrix array probes, respectively. The 2D arrays can be electronically scanned in both vertical and azimuth directions (via phased array beamforming) for 2D or 3D imaging. In addition to B-mode imaging, imaging modalities implemented in accordance with the invention disclosed herein may also include, for example, shear wave and/or Doppler effect.

[027] Обращаться с узлом 110 получения ультразвуковых данных и использовать его для выполнения способов, раскрытых в настоящем документе, может широкий круг пользователей. В некоторых примерах пользователь может быть неопытным, начинающим оператором ультразвукового оборудования, неспособным последовательно идентифицировать и/или удалять артефакты из ультразвуковых изображений. Раскрытая в настоящем документе усовершенствованная ультразвуковая технология позволяет таким пользователям выполнять эффективную ультразвуковую визуализацию путем идентификации артефактов в полученных кадрах 124 ультразвукового изображения и предоставления пользователям инструкций по настройке ультразвукового преобразователя таким образом, чтобы удалять артефакты из изображений. В примерах, где для управления положением и/или ориентацией ультразвукового преобразователя используется механизм 126 механической настройки, инструкции по устранению артефактов могут быть переданы контроллеру 125, выполненному с возможностью обеспечивать автоматическое выполнение роботизированным оборудованием требуемых настроек, без входных данных от пользователя. Благодаря идентификации артефактов и предоставлению точных инструкций по устранению артефактов, раскрытые в настоящем документе системы могут обеспечить улучшенную интерпретацию и диагностику изображений.[027] The ultrasonic acquisition unit 110 can be handled and used to perform the methods disclosed herein by a wide range of users. In some examples, the user may be an inexperienced, novice ultrasound equipment operator unable to consistently identify and/or remove artifacts from ultrasound images. The advanced ultrasound technology disclosed herein allows such users to perform efficient ultrasound imaging by identifying artifacts in acquired ultrasound image frames 124 and providing instructions to users on how to adjust the ultrasound transducer to remove artifacts from images. In examples where the mechanical adjustment mechanism 126 is used to control the position and/or orientation of the ultrasonic transducer, instructions for removing artifacts may be passed to the controller 125, configured to cause the robotic equipment to automatically make the desired adjustments, without input from the user. By identifying artifacts and providing precise instructions for removing artifacts, the systems disclosed herein can provide improved image interpretation and diagnosis.

[028] Как также показано на фиг. 1, блок 110 получения данных может также включать в себя формирователь 120 луча, например, содержащий формирователь микролуча или комбинацию формирователя микролуча и основного формирователя луча, связанный с массивом 112 ультразвуковых датчиков. Формирователь 120 луча может управлять передачей ультразвуковой энергии, например, путем формирования ультразвуковых импульсов в сфокусированные лучи. Формирователь 120 луча также может быть выполнен с возможностью управления приемом ультразвуковых сигналов, чтобы с помощью других компонентов системы можно было получать и обрабатывать распознаваемые данные изображения. Роль формирователя 120 луча может быть различной в зависимости от типа ультразвукового зонда. В некоторых вариантах осуществления формирователь 120 луча может содержать два отдельных формирователя луча: формирователь луча передачи, выполненный с возможностью приема и обработки импульсных последовательностей ультразвуковой энергии для передачи внутрь субъекта, и отдельный формирователь луча приема, выполненный с возможностью усиления, задержки и/или суммирования принятых ультразвуковых эхо-сигналов. В некоторых вариантах осуществления формирователь 120 луча может содержать формирователь микролуча, работающий на группах сенсорных элементов для формирователя луча передачи и для формирователя луча приема, связанный с основным формирователем луча, который работает на групповых входных и выходных сигналах для формирования луча передачи и приема, соответственно.[028] As also shown in FIG. 1, acquisition unit 110 may also include a beamformer 120, for example, comprising a microbeamformer or a combination of a microbeamformer and a main beamformer, coupled to an ultrasonic sensor array 112. The beamformer 120 can control the transmission of ultrasonic energy, for example by forming ultrasonic pulses into focused beams. The beamformer 120 may also be configured to control the reception of ultrasonic signals so that other components of the system can acquire and process recognizable image data. The role of the beamformer 120 may be different depending on the type of ultrasonic probe. In some embodiments, beamformer 120 may comprise two separate beamformers: a transmit beamformer configured to receive and process pulsed ultrasonic energy pulse sequences for transmission to the interior of a subject, and a separate receive beamformer configured to amplify, delay, and/or sum the received ultrasonic echoes. In some embodiments, the beamformer 120 may include a microbeamformer operating on groups of sensor elements for the transmit beamformer and for the receive beamformer, coupled to the main beamformer, which operates on grouped inputs and outputs to form the transmit and receive beamformers, respectively.

[029] Сигнальный процессор 122 может быть коммуникативно, функционально и/или физически связан с массивом 112 датчиков и/или формирователем 120 луча. В примере, показанном на фиг. 1, сигнальный процессор 122 сигналов входит в состав блока 110 получения данных как неотъемлемый компонент, но в других примерах сигнальный процессор 122 может быть отдельным компонентом. Сигнальный процессор 122 может быть выполнен с возможностью приема неотфильтрованных и неорганизованных ультразвуковых данных, воплощающих ультразвуковые эхо-сигналы 118, принятые в массиве 112 датчиков. Из этих данных сигнальный процессор 122 может непрерывно генерировать множество кадров 124 ультразвукового изображения по мере сканирования пользователем области 116.[029] Signal processor 122 may be communicatively, operably, and/or physically coupled to sensor array 112 and/or beamformer 120. In the example shown in FIG. 1, signal processor 122 is included as an integral component of data acquisition unit 110, but in other examples, signal processor 122 may be a separate component. The signal processor 122 may be configured to receive unfiltered and unorganized ultrasound data embodying the ultrasound echoes 118 received in the sensor array 112. From this data, signal processor 122 can continuously generate multiple ultrasound image frames 124 as the user scans area 116.

[030] Модуль 127 обнаружения артефактов может принимать кадры 124 изображения из блока 110 получения данных. Затем модуль 127 может подготовить принятые данные изображения, воплощенные в кадрах 124 изображения, для ввода в нейронную сеть 128. В вариантах осуществления модуль 127 может вводить кадры 124 изображения в конкретную модель нейронной сети 128 на основании предусмотренной модальности визуализации, выбранной пользователем. В некоторых примерах подготовка данных включает в себя создание трехкратной репликации данных, чтобы для идентификации артефактов изображения и вариантов настройки для их устранения можно было использовать различные модели нейронных сетей, например, Inception, Alexnet и/или Resnet. В некоторых вариантах осуществления тройная репликация может включать в себя три 8-битных представления динамического диапазона, то есть изображение с высоким сигналом и низким динамическим диапазоном; изображение с низким сигналом и низким динамическим диапазоном; и сжатое изображение с высоким динамическим диапазоном с адаптивным выравниванием гистограммы.[030] The artifact detection module 127 may receive image frames 124 from the data acquisition unit 110 . Module 127 may then prepare the received image data embodied in image frames 124 for input to neural network 128. In embodiments, module 127 may input image frames 124 to a particular model of neural network 128 based on a provisioned imaging modality selected by the user. In some examples, data preparation includes creating data replication three times so that different neural network models, such as Inception, Alexnet, and/or Resnet, can be used to identify image artifacts and tweak options to eliminate them. In some embodiments, triple replication may include three 8-bit dynamic range representations, i.e., a high signal, low dynamic range image; image with low signal and low dynamic range; and a compressed high dynamic range image with adaptive histogram equalization.

[031] В различных вариантах осуществления нейронная сеть 128 может быть встроена в сигнальный процессор 122 и/или модуль 127 обнаружения артефактов или по меньшей мере иметь связь с ними. В некоторых примерах нейронная сеть 128 может быть выполнена с возможностью приема и ввода кадров 124 ультразвукового изображения непосредственно из сигнального процессора 122 и определения того, присутствуют ли один или более артефактов в каждом из кадров 124 изображения. В некоторых вариантах осуществления нейронная сеть 128 может быть сверточной нейронной сетью (CNN), состоящей из по-разному организованных нейронных слоев и подслоев, совместно обучаемых распознавать различные артефакты изображения в ультразвуковых кадрах изображения. Нейронная сеть 128 может включать в себя множество моделей нейронных сетей, причем каждая модель обучается с использованием отдельного набора обучающих данных 129, полученных путем визуализации конкретной целевой области 116 во время реализации определенной модальности визуализации. Нейронная сеть 128 может автоматически обнаруживать наличие, отсутствие и/или тип артефактов в каждом принятом кадре 124 изображения и может быть реализована в двух- или трехмерных системах ультразвуковой визуализации. Нейронная сеть 128 также может идентифицировать тип каждого артефакта, обнаруженного в кадрах 124 изображения. В зависимости от типа артефакта нейронная сеть 128 может быть также выполнена с возможностью выдавать инструкцию 137 для устранения артефакта из изображений. Кроме того, нейронная сеть 128 может быть выполнена с возможностью генерирования спрогнозированных кадров 139 изображения без артефактов. Кадры 139 изображения без артефактов могут содержать исходные кадры 124 изображения, но с устраненными из них артефактами.[031] In various embodiments, the implementation of the neural network 128 may be embedded in the signal processor 122 and/or the module 127 artifact detection, or at least be in communication with them. In some examples, neural network 128 may be configured to receive and input ultrasound image frames 124 directly from signal processor 122 and determine if one or more artifacts are present in each of image frames 124. In some embodiments, neural network 128 may be a convolutional neural network (CNN) consisting of differently organized neural layers and sublayers cooperatively trained to recognize various image artifacts in ultrasonic image frames. Neural network 128 may include a plurality of neural network models, with each model being trained using a separate set of training data 129 obtained by rendering a specific target area 116 during a particular imaging modality. The neural network 128 may automatically detect the presence, absence, and/or type of artifacts in each received image frame 124 and may be implemented in 2D or 3D ultrasound imaging systems. The neural network 128 can also identify the type of each artifact found in the image frames 124 . Depending on the type of artifact, the neural network 128 may also be configured to issue an instruction 137 to remove the artifact from the images. In addition, neural network 128 may be configured to generate predicted image frames 139 without artifacts. Image frames 139 without artifacts may contain the original image frames 124 but with artifacts removed from them.

[032] Дисплейный процессор 130, коммуникативно связанный с нейронной сетью 128, может быть выполнен с возможностью генерирования индикатора 136 на основании результатов определений, сделанных нейронной сетью 128. В некоторых реализациях индикатор 136 может указывать на наличие, отсутствие и/или тип артефакта в кадре 124 изображения. После приема ультразвуковых изображений 124 и/или индикатора 136 пользовательский интерфейс 132 может затем отображать указанные изображения и/или индикатор. Индикатор 136 может отображаться одновременно, например, с наложением поверх ультразвуковых изображений 134 или рядом с ними в режиме реального времени по мере получения изображений. Соответственно, индикатор 136 может немедленно уведомлять пользователя о наличии или отсутствии одного или более артефактов. В некоторых примерах индикатор 136 может содержать сенсорный сигнал, который не отображается визуально, например вибрацию ультразвукового зонда или звуковой сигнал, испускаемый динамиками, связанными с ультразвуковой системой 100. Индикатор 136 также может содержать свет, который включается или выключается или меняет цвет. Например, наличие артефакта может указываться красным светом, тогда как отсутствие артефакта может указываться зеленым светом или отсутствием света. В некоторых вариантах осуществления индикатор 136 может отображаться без одновременного отображения ультразвуковых изображений. Конкретный характер индикатора 136 не является критическим, при условии, что индикатор уведомляет пользователя о наличии или отсутствии артефактов изображения во время сканирования.[032] Display processor 130 communicatively coupled to neural network 128 may be configured to generate an indicator 136 based on the results of determinations made by neural network 128. In some implementations, indicator 136 may indicate the presence, absence, and/or type of artifact in a frame. 124 images. Upon receipt of the ultrasound images 124 and/or indicator 136, the user interface 132 may then display said images and/or indicator. The indicator 136 may be displayed simultaneously, for example, overlaid on or adjacent to the ultrasound images 134 in real time as the images are acquired. Accordingly, the indicator 136 may immediately notify the user of the presence or absence of one or more artifacts. In some examples, indicator 136 may include a sensory signal that is not visually displayed, such as vibration of an ultrasound probe or an audio signal emitted by speakers associated with ultrasound system 100. Indicator 136 may also include a light that turns on or off or changes color. For example, the presence of an artifact may be indicated by a red light, while the absence of an artifact may be indicated by a green light or no light. In some embodiments, indicator 136 may be displayed without simultaneously displaying ultrasound images. The specific nature of the indicator 136 is not critical, provided that the indicator notifies the user of the presence or absence of image artifacts during scanning.

[033] В некоторых примерах пользовательский интерфейс 132 может быть дополнительно выполнен с возможностью руководства пользователем или помощи ему в ультразвуковом сканировании так, чтобы любые артефакты изображения были устранены или, по меньшей мере, уменьшены по интенсивности. Такое руководство может быть сгенерировано нейронной сетью 128 в виде одной или более инструкций 137 и может реагировать на индикатор 136, также сгенерированный нейронной сетью 128. Например, пользовательский интерфейс 132 может предоставлять инструкцию пользователю в ответ на прием индикатора 136, указывающего на наличие и/или тип артефакта изображения. Инструкция может побудить пользователя выполнить ультразвуковое сканирование конкретным образом, что гарантирует устранение всех артефактов изображения из полученных изображений. Например, если обнаружен артефакт реверберации, то пользовательский интерфейс 132 может обеспечить инструкцию для изменения угла обзора ультразвукового преобразователя. Для зеркальных изображений пользовательский интерфейс 132 может обеспечить инструкцию для изменения плоскости формирования изображения, глубины фокусировки и/или частоты импульсов преобразователя. Инструкции могут также включать в себя команды направления, например, «Переместить ультразвуковой зонд в боковом направлении» и/или команды, основанные на технике выполнения, например «Перемещать ультразвуковой преобразователь медленнее»; «Замедлить»; «Остановить»; или «Продолжить». В некоторых примерах инструкции могут предписывать пользователю удерживать преобразователь в одном месте в тот момент, когда артефакт исчезает, что позволяет визуализировать и интерпретировать изображение без артефактов. Инструкции могут также побуждать пользователя вносить небольшие корректировки в положение и/или ориентацию преобразователя в момент обнаружения артефакта.[033] In some examples, the user interface 132 may further be configured to guide or assist the user in the ultrasound scan so that any image artifacts are eliminated or at least reduced in intensity. Such guidance may be generated by neural network 128 in the form of one or more instructions 137 and may be responsive to indicator 136 also generated by neural network 128. For example, user interface 132 may provide an instruction to a user in response to receiving indicator 136 indicating the presence and/or image artifact type. The instruction may prompt the user to perform an ultrasound scan in a particular manner, which ensures that all image artifacts are eliminated from the acquired images. For example, if a reverberation artifact is detected, then the user interface 132 may provide an instruction to change the viewing angle of the ultrasonic transducer. For mirror images, the user interface 132 may provide instructions for changing the imaging plane, depth of focus, and/or pulse rate of the transducer. The instructions may also include directional commands, such as "Move ultrasonic probe laterally" and/or technique-based commands, such as "Move ultrasonic transducer slower"; "Slow down"; "Stop"; or Continue. In some examples, the instructions may direct the user to hold the transducer in one place at the moment the artifact disappears, allowing the image to be rendered and interpreted without artifacts. The instructions may also prompt the user to make minor adjustments to the position and/or orientation of the transducer at the time an artifact is detected.

[034] На фиг. 2 представлена блок-схема другой ультразвуковой системы 200 в соответствии с принципами настоящего изобретения. Один или более компонентов, показанных на фиг. 2, могут быть включены в систему, выполненную с возможностью идентификации артефактов изображения, которые могут появляться в кадрах ультразвукового изображения, для обеспечения индикации наличия, отсутствия и/или типа артефактов, обеспечения инструкций по настройке ультразвукового преобразователя для устранения артефактов и/или автоматической настройки одного или более рабочих параметров ультразвукового преобразователя. Например, любая из вышеописанных функций сигнального процессора 122 может быть реализована и/или управляться одним или более компонентами обработки, показанными на фиг. 2, включающими в себя, например, сигнальный процессор 226, процессор 228 В-режима, преобразователь 230 сканирования, мультипланарный переформатировщик (multiplanar reformatted 232, объемный рендерер 234 и/или процессор 236 изображений.[034] In FIG. 2 is a block diagram of another ultrasound system 200 in accordance with the principles of the present invention. One or more of the components shown in FIG. 2 may be included in a system capable of identifying image artifacts that may appear in ultrasound image frames, to provide an indication of the presence, absence, and/or type of artifacts, to provide instructions for tuning an ultrasound transducer to eliminate artifacts, and/or to automatically tune one or more operating parameters of the ultrasonic transducer. For example, any of the functions of signal processor 122 described above may be implemented and/or controlled by one or more of the processing components shown in FIG. 2, including, for example, signal processor 226, B-mode processor 228, scan converter 230, multiplanar reformatted 232, volumetric renderer 234, and/or image processor 236.

[035] В системе ультразвуковой визуализации по фиг. 2, ультразвуковой зонд 212 включает в себя массив 214 преобразователей для передачи ультразвуковых волн в область, содержащую какой-либо элемент, например орган, и приема эхо-информации в ответ на передаваемые волны. В различных вариантах осуществления массив 214 преобразователей может быть матричным массивом или одномерным линейным массивом. Массив преобразователей может быть связан с формирователем 216 микролуча в зонде 212, который может управлять передачей и приемом сигналов преобразовательными элементами в массиве. В показанном примере формирователь 216 микролуча связан кабелем зонда с переключателем 218 передачи/приема (T/R, transmit/receive), который переключается между передачей и приемом и защищает основной формирователь 222 луча от передаваемых сигналов высокой энергии. В некоторых вариантах осуществления переключатель 218 T/R и другие элементы в системе могут входить в состав преобразовательного зонда, а не являться отдельным компонентом ультразвуковой системы. Передача ультразвуковых лучей из массива 214 преобразователей под управлением формирователя 216 микролуча может направляться контроллером 220 передачи, связанным с переключателем 218 T/R, и формирователем 222 луча, который принимает входные данные, например, от действий пользователя на пользовательском интерфейсе или панели 224 управления. Функцией, которой может управлять контроллер 220 передачи, является направление, в котором наводятся лучи. Лучи могут наводиться прямо вперед (ортогонально) от массива преобразователей или под разными углами для более широкого поля зрения. Сигналы с частичным формированием луча, создаваемые формирователем 216 микролуча, соединяются с основным формирователем 222 луча, при этом сигналы с частичным формированием луча от отдельных фрагментов преобразовательных элементов объединяются в полностью сформированный лучом сигнал.[035] In the ultrasound imaging system of FIG. 2, the ultrasound probe 212 includes an array of transducers 214 for transmitting ultrasound waves to a region containing an element, such as an organ, and receiving echo information in response to the transmitted waves. In various embodiments, transducer array 214 may be a matrix array or a one-dimensional linear array. The array of transducers may be coupled to a microbeamformer 216 in probe 212, which may control the transmission and reception of signals by the transducer elements in the array. In the example shown, the microbeamformer 216 is connected by a probe cable to a transmit/receive (T/R) switch 218 that switches between transmit and receive and protects the main beamformer 222 from high energy transmitted signals. In some embodiments, the T/R switch 218 and other elements in the system may be part of the transducer probe rather than being a separate component of the ultrasound system. The transmission of ultrasonic beams from transducer array 214 under the control of microbeamformer 216 may be directed by a transmission controller 220 associated with T/R switch 218 and beamformer 222 that receives input from, for example, user actions on a user interface or control panel 224. The function that the transmission controller 220 can control is the direction in which the beams are aimed. The beams can be aimed straight ahead (orthogonally) from the array of transducers, or at different angles for a wider field of view. The partial beamforming signals produced by the microbeamformer 216 are coupled to the main beamformer 222, whereby the partial beamforming signals from the individual fragments of the transducer elements are combined into a fully beamformed signal.

[036] Сигналы, сформированные лучом, могут быть переданы в сигнальный процессор 226. Сигнальный процессор 226 может обрабатывать принятые эхо-сигналы различными способами, такими как полосовая фильтрация, прореживание, разделение I- и Q-компонентов и/или разделение гармонических сигналов. Сигнальный процессор 226 также может выполнять дополнительное усиление сигнала посредством уменьшения спекла, сложения сигналов и/или устранения шума. В некоторых примерах данные, генерируемые различными методами обработки, используемыми сигнальным процессором 226, могут использоваться процессором данных и/или нейронной сетью для идентификации одного или более артефактов изображения. Обработанные сигналы могут быть связаны с процессором 228 В-режима, который может использовать обнаружение амплитуды для структур визуализации в теле. Сигналы, создаваемые процессором 228 В-режима, могут быть связаны с преобразователем 230 сканирования и мультипланарным переформатировщиком 232. Преобразователь 230 сканирования может располагать эхо-сигналы во взаимосвязи с пространством, из которого они были получены, в требуемом формате изображения. Например, преобразователь 230 сканирования может располагать эхо-сигналы в двумерном (2D) формате в виде сектора. Мультипланарный переформатировщик 232 может преобразовывать эхо-сигналы, которые принимаются от точек в общей плоскости в объемной области тела, в ультразвуковое изображение этой плоскости, как раскрыто в патенте США No. №6,444,896 (Detmer). В некоторых примерах, объемный рендерер 234 может преобразовывать эхо-сигналы трехмерного (3D) набора данных 3D в проецируемое 3D-изображение, наблюдаемое из заданной базовой точки, например, как раскрыто в патенте США №6,530,885 (Entrekin et al.). 2D- или 3D-изображения могут передаваться из преобразователя 230 сканирования, мультипланарного переформатировщика 232 и объемного рендерера 234 в процессор 236 изображений для дальнейшего улучшения, буферизации и/или временного хранения для отображения на дисплее 237 изображений. Перед их отображением, нейронная сеть 238, которая может содержать множество различных моделей нейронных сетей, может быть реализована для идентификации того, содержит ли каждое изображение один или более артефактов изображения. В вариантах осуществления нейронная сеть 238 может быть реализована на различных этапах обработки, например, до обработки, выполняемой процессором 236 изображений, объемным рендерером 234, мультипланарным переформатировщиком 232 и/или преобразователем 230 сканирования. Графический процессор 240 может генерировать графические накладки для отображения с ультразвуковыми изображениями. Эти графические накладки могут содержать, например, стандартную идентификационную информацию, такую как имя пациента, дата и время изображения, параметры визуализации и тому подобное, а также различные выходные данные, генерируемые нейронной сетью 238, такие как один или более индикаторов, указывающих наличие, отсутствие и/или тип артефактов изображения, входящих в конкретное изображение. Графические накладки также могут включать в себя визуальные инструкции, например текст и/или символы, чтобы указывать пользователю системы 200 на протяжении ультразвукового сканирования, каким образом необходимо генерировать изображения без артефактов. В некоторых примерах графический процессор может принимать входные данные от пользовательского интерфейса 224, такие как введенное имя пациента или подтверждение того, что инструкция, отображаемая на интерфейсе или выдаваемая интерфейсом, была подтверждена пользователем системы 200. Пользовательский интерфейс 224 также может принимать входные данные, относящиеся к выбору конкретных модальностей визуализации и рабочих параметров, входящих в эти модальности, вводить указания для регулировки настроек и/или параметров, используемых системой 200, вводить запрос дополнительных инструкций или помощи для выполнения ультразвукового сканирования и/или вводить запрос на сохранение одного или более ультразвуковых изображений и/или их передачу на удаленный приемник. Пользовательский интерфейс также может быть связан с мультипланарным переформатировщиком 232 для выбора и управления отображением множества мультипланарных переформатированных (MPR, multiplanar reformatted) изображений.[036] The beamformed signals may be transmitted to signal processor 226. Signal processor 226 may process the received echoes in various ways, such as band pass filtering, decimation, I and Q separation, and/or harmonic separation. Signal processor 226 may also perform additional signal amplification through speckle reduction, signal combining, and/or noise removal. In some examples, data generated by various processing methods used by signal processor 226 may be used by the data processor and/or neural network to identify one or more image artifacts. The processed signals may be coupled to B-mode processor 228, which may use amplitude detection for imaging structures in the body. Signals generated by B-mode processor 228 may be coupled to scan transducer 230 and multiplanar reformatter 232. Scan transducer 230 may arrange the echoes in relation to the space from which they were received in a desired image format. For example, scan transducer 230 may arrange echoes in two-dimensional (2D) format as a sector. Multiplanar reformatter 232 can convert echoes that are received from points in a common plane in a body volume region into an ultrasound image of that plane, as disclosed in US Patent No. No. 6,444,896 (Detmer). In some examples, volumetric renderer 234 may convert the echoes of a three-dimensional (3D) 3D dataset into a projected 3D image viewed from a given reference point, such as as disclosed in US Pat. No. 6,530,885 (Entrekin et al.). 2D or 3D images may be transferred from scan converter 230, multiplanar reformatter 232, and volumetric renderer 234 to image processor 236 for further enhancement, buffering, and/or temporary storage for display on image display 237. Before displaying them, neural network 238, which may comprise a variety of different neural network models, may be implemented to identify whether each image contains one or more image artifacts. In embodiments, neural network 238 may be implemented at various stages of processing, such as prior to processing by image processor 236, volumetric renderer 234, multiplanar reformatter 232, and/or scan transform 230. The graphics processor 240 may generate graphic overlays for display with the ultrasound images. These graphic overlays may contain, for example, standard identification information such as the patient's name, image date and time, imaging parameters, and the like, as well as various outputs generated by the neural network 238, such as one or more indicators indicating the presence, absence and/or the type of image artifacts included in a particular image. The graphic overlays may also include visual instructions, such as text and/or symbols, to indicate to the user of the system 200 during the ultrasound scan how to generate artefact-free images. In some examples, the graphics processor may receive input from the user interface 224, such as an entered patient name or confirmation that an instruction displayed on the interface or issued by the interface has been validated by the user of the system 200. The user interface 224 may also receive input related to select specific imaging modalities and operating parameters within those modalities, enter instructions for adjusting the settings and/or parameters used by the system 200, enter a request for additional instructions or assistance in performing an ultrasound scan, and/or enter a request to save one or more ultrasound images, and /or their transmission to a remote receiver. The user interface may also be associated with the multiplanar reformatter 232 to select and control the display of multiple multiplanar reformatted (MPR, multiplanar reformatted) images.

[037] На фиг. 3 представлена блок-схема нейронной сети 300, обученной идентифицировать артефакты изображения в данных ультразвукового изображения в соответствии с принципами настоящего изобретения. В показанном примере нейронная сеть 300 является сверточной нейронной сетью (CNN), в частности, модифицированной версией модели lnception-v3. В других вариантах осуществления могут использоваться другие нейронные сети, такие как Alexnet и/или Resnet. Архитектура сети, показанная на фиг. 3, которая настроена для обнаружения наличия и типа артефактов изображения в данных ультразвукового изображения, представляет только один пример компоновки нейронных слоев и подслоев, а также взаимосвязь между ними, которая может быть реализована в соответствии с примерами настоящего изобретения. Например, число слоев 304 может быть больше для нейронной сети, выполненной с возможностью идентификации большего разнообразия артефактов изображения. Аналогично, число слоев 304 может быть меньше для идентификации меньшего числа артефактов изображения. В некоторых примерах архитектура сети, показанная на фиг. 3, может быть изменена путем настройки весов и плотных слоев для выдачи многозначного классификатора, длина которого равна числу различных типов артефактов изображения. В различных вариантах осуществления может быть реализовано множество нейронных сетей 300, каждая из которых четко видоизменена для идентификации артефактов изображения в ходе конкретной модальности визуализации.[037] In FIG. 3 is a block diagram of a neural network 300 trained to identify image artifacts in ultrasound image data in accordance with the principles of the present invention. In the example shown, neural network 300 is a Convolutional Neural Network (CNN), specifically a modified version of the lnception-v3 model. In other embodiments, other neural networks such as Alexnet and/or Resnet may be used. The network architecture shown in Fig. 3, which is configured to detect the presence and type of image artifacts in ultrasound image data, represents just one example of the arrangement of neural layers and sublayers, as well as the relationship between them, that can be implemented in accordance with examples of the present invention. For example, the number of layers 304 may be greater for a neural network configured to identify a greater variety of image artifacts. Likewise, the number of layers 304 may be smaller to identify fewer image artifacts. In some examples, the network architecture shown in FIG. 3 can be modified by adjusting the weights and dense layers to produce a multivalued classifier whose length is equal to the number of different types of image artifacts. In various embodiments, a plurality of neural networks 300 may be implemented, each of which is explicitly modified to identify image artifacts during a particular imaging modality.

[038] Нейронная сеть 300, показанная на фиг. 3 обучена принимать входные данные в виде кадров 302 ультразвукового изображения, каждый из которых может содержать ноль, один или множество артефактов изображения. В зависимости от предусмотренной модальности визуализации, выбранной пользователем, типы кадров 302 изображения, а также конкретная модель применяемой нейронной сети 300 могут различаться. В некоторых примерах конкретная модель 300 нейронной сети может быть неспособна идентифицировать артефакты, если снабжается кадрами 302 изображения, полученными с помощью модальности визуализации, не связанной с этой конкретной моделью. Нейронная сеть 300 может быть выполнена с возможностью приема различных типов входных данных. Например, сеть может обрабатывать двумерные, трехмерные, 8-битные, 16-битные или красно-сине-зеленые данные канала. В некоторых вариантах осуществления каждый уровень может быть обучен выполнять определенные аспекты обнаружения элементов. Например, один или более слоев 304 могут быть обучены распознавать края и/или уровни интенсивности различных элементов в каждом принятом кадре изображения. Один или более слоев 304 могут быть обучены отделять артефакты изображения от других элементов, имеющих аналогичные уровни интенсивности. В некоторых примерах наивысшие активации на верхних сверточных слоях можно наложить поверх каждого кадра ультразвукового изображения, чтобы выделить местоположение ультразвука. Этот подход имеет преимущества перед методами сегментации, обнаружения или локализации, поскольку он не требует занимающей много времени экспертной аннотации или дополнительного машинного обучения. В некоторых вариантах осуществления данные обучения могут также включать в себя инструкции по настройке ультразвукового зонда, создаваемые опытными пользователями или экспертами, просматривающими артефакты, идентифицированные нейронной сетью. В соответствии с такими вариантами осуществления обучающие изображения могут быть сопряжены с инструкциями по устранению, чтобы сеть 300 обучалась идентифицировать артефакты и способы их одновременного устранения. Последний уровень может обеспечивать определение типа артефакта, присутствующего в данных изображения, и генерирование соответствующих выходных данных 306. По этой причине последний уровень может называться «выходным уровнем». Выходные данные могут включать в себя указание наличия, отсутствия и/или типа артефактов изображения, присутствующих в исходных входных данных, которые могут включать в себя артефакты реверберации, артефакты акустического затенения, артефакты акустического усиления, артефакты зеркального отображения, артефакты краевого затенения или другие. Инструкция, основанная на наличии и/или типе артефакта (артефактов), идентифицированного (идентифицируемых) нейронной сетью 300, также может выдаваться из конечного уровня. В некоторых вариантах осуществления выходные данные могут включать в себя изображение без артефактов, спрогнозированное нейронной сетью 300. В некоторых примерах выходные данные 306 можно визуализировать с использованием методов свертки с дробным шагом. Выходные данные могут быть связаны с дисплейным процессором, например с дисплейным процессором 130, показанным на фиг. 1, который может преобразовывать выходные данные, например, в сигнал, метку или графическое отображение.[038] The neural network 300 shown in FIG. 3 is trained to receive input data in the form of ultrasound image frames 302, each of which may contain zero, one, or many image artifacts. Depending on the intended imaging modality selected by the user, the types of image frames 302 as well as the specific model of the applied neural network 300 may vary. In some examples, a particular neural network model 300 may be unable to identify artifacts if provided with image frames 302 obtained using a rendering modality not associated with that particular model. Neural network 300 may be configured to receive various types of input. For example, the network may process 2D, 3D, 8-bit, 16-bit, or red-blue-green channel data. In some embodiments, each level may be trained to perform certain aspects of element detection. For example, one or more layers 304 can be trained to recognize edges and/or intensity levels of various elements in each received image frame. One or more layers 304 can be trained to separate image artifacts from other elements having similar intensity levels. In some examples, the highest activations on the upper convolutional layers can be overlaid on top of each frame of the ultrasound image to highlight the location of the ultrasound. This approach has advantages over segmentation, detection, or localization methods because it does not require time-consuming expert annotation or additional machine learning. In some embodiments, the training data may also include ultrasonic probe tuning instructions generated by power users or experts viewing the artifacts identified by the neural network. In accordance with such embodiments, training images can be paired with remediation instructions so that the network 300 is trained to identify artifacts and how to resolve them simultaneously. The last layer may be responsible for determining the type of artifact present in the image data and generating the corresponding output data 306. For this reason, the last layer may be referred to as an "output layer". The output may include an indication of the presence, absence, and/or type of image artifacts present in the original input, which may include reverberation artifacts, acoustic shadowing artifacts, acoustic gain artifacts, specular imaging artifacts, edge shadowing artifacts, or others. An instruction based on the presence and/or type of artifact(s) identified(s) by neural network 300 may also be issued from the end layer. In some embodiments, the output may include an artifact-free image predicted by neural network 300. In some examples, output 306 may be rendered using fractional step convolution techniques. The output may be associated with a display processor, such as display processor 130 shown in FIG. 1 that can convert the output to, for example, a signal, a label, or a graphical display.

[039] Нейронная сеть 300 может быть реализована, по меньшей мере - частично, на машиночитаемом носителе, содержащем исполняемые инструкции, которые при выполнении процессором, таким как модуль 127 обнаружения артефактов, могут обеспечить выполнение процессором машинообученного алгоритма для определения наличия, отсутствия и/или типа артефактов изображения, содержащихся в кадре изображения, на основании полученных эхо-сигналов, сформированных в нем. Для обучения нейронной сети 300 обучающие наборы, которые включают в себя множество примеров массивов входных данных и классификаций выходных данных, могут быть предоставлены алгоритму (алгоритмам) обучения нейронной сети 300 (например, алгоритму обучения AlexNet, как описано в работе А. Крижевского, И. Суцкевера и Д. Хинтона (Krizhevsky, А., Sutskever, I. and Hinton, G. E.) «Классификация ImageNet с глубокими сверточными нейронными сетями (ImageNet Classification with Deep Convolutional Neural Networks)», NIPS 2012, или его потомкам).[039] Neural network 300 may be implemented, at least in part, on a computer-readable medium containing executable instructions that, when executed by a processor, such as artifact detection module 127, may cause the processor to execute a machine-learned algorithm to determine the presence, absence, and/or the type of image artifacts contained in the image frame, based on the received echoes generated therein. To train the neural network 300, training sets that include many examples of input data arrays and output data classifications can be provided to the neural network 300 training algorithm(s) (e.g., the AlexNet training algorithm as described in A. Krizhevsky, I. Sutskever and D. Hinton (Krizhevsky, A., Sutskever, I. and Hinton, G. E.) “ImageNet Classification with Deep Convolutional Neural Networks”, NIPS 2012, or its descendants).

[040] Алгоритм обучения нейронной сети, связанный с нейронной сетью 300, может быть представлен тысячами или даже миллионами наборов обучающих данных для обучения нейронной сети для идентификации артефактов изображения и предоставления инструкций по их устранению. В различных примерах число ультразвуковых изображений, используемых для обучения нейронной сети, может варьироваться от приблизительно 50000 до 200000 или более. Число изображений, используемых для обучения сети, может быть увеличено, если нужно идентифицировать большее количество различных артефактов. Число обучающих изображений, используемых для обучения сети, может различаться для разных артефактов и может зависеть от изменчивости появления определенных артефактов. Например, элементы, указывающие на выбранные артефакты, могут появляться более последовательно, чем элементы, указывающие на другие артефакты. Обучение нейронной сети 300 для идентификации артефактов с переменными элементами может потребовать больше обучающих изображений. В некоторых вариантах осуществления обучение может контролироваться. Например, окончательные выходные данные 306 нейронной сети 300, которые могут включать в себя идентифицированный артефакт изображения и/или инструкцию по его устранению, могут быть подтверждены или отклонены экспертом в интерпретации ультразвукового изображения.[040] The neural network training algorithm associated with neural network 300 may be represented by thousands or even millions of training data sets to train the neural network to identify image artifacts and provide instructions for removing them. In various examples, the number of ultrasound images used to train the neural network may vary from about 50,000 to 200,000 or more. The number of images used to train the network can be increased if more different artifacts need to be identified. The number of training images used to train the network may vary for different artifacts and may depend on the variability in the occurrence of certain artifacts. For example, elements pointing to selected artifacts may appear more consistently than elements pointing to other artifacts. Training neural network 300 to identify artifacts with variable elements may require more training images. In some embodiments, learning may be supervised. For example, the final output 306 of the neural network 300, which may include an identified image artifact and/or instructions for removing it, may be validated or rejected by an expert in the interpretation of the ultrasound image.

[041] Обучение нейронной сети 300 для генерирования спрогнозированных изображений, в которых отсутствуют идентифицированные артефакты изображения, может включать в себя ввод ультразвуковых изображений различных элементов, содержащих артефакты, и связанных ультразвуковых изображений тех же самых элементов, полученных после того, как была выполнена настройка визуализации и устранены артефакты. В некоторых примерах создание спрогнозированных изображений без артефактов может включать в себя экстраполяцию частей телесных элементов, скрытых одним или более артефактами. Например, нейронная сеть 300 может быть обучена идентифицировать края каждого артефакта в пределах конкретного кадра изображения и инвертировать цвет пикселей, определенных этими краями. После такой инверсии все или часть инвертированных пикселей могут быть изменены по мере необходимости, чтобы дополнить телесные элементы, первоначально скрытые теперь устраненным артефактом (артефактами).[041] Training the neural network 300 to generate predicted images that lack identified image artifacts may include inputting ultrasound images of various elements containing artifacts and associated ultrasound images of the same elements obtained after imaging adjustment has been performed. and removed artifacts. In some examples, generating artifact-free predicted images may include extrapolating portions of bodily features obscured by one or more artifacts. For example, neural network 300 can be trained to identify the edges of each artifact within a particular image frame and invert the color of the pixels defined by those edges. After such an inversion, all or part of the inverted pixels can be changed as needed to complement the bodily features originally hidden by the now eliminated artifact(s).

[042] На фиг. 4 представлена фотография ультразвукового изображения 400, содержащего артефакт зеркального изображения, который не был устранен. Как показано, артефакт зеркального изображения может появляться в виде двух идентичных элементов 402а и 402b, расположенных как отраженные копии. Артефакты зеркального изображения могут быть вызваны зеркальным отражением ультразвукового луча на большой гладкой границе раздела, например границе раздела жидкость-воздух. Раскрытые в настоящем документе системы могут быть выполнены с возможностью идентификации артефактов зеркального отображения, таких как артефакты, показанные на фиг. 4, путем ввода кадра изображения, воплощающего артефакт, в нейронную сеть, обученную идентифицировать артефакты, включая зеркальные изображения. В некоторых примерах нейронная сеть может быть обучена специально искать артефакты зеркального изображения на основе предусмотренной модальности визуализации, выбранной пользователем. Например, артефакты зеркального изображения могут часто появляться при визуализации мочевого пузыря. Соответственно, когда пользователь выбирает модальность визуализации, обеспечивающую формирование изображения мочевого пузыря, нейронная сеть может быть специально или предпочтительно обучена искать артефакты зеркального отображения. Другие органы или типы тканей также могут быть связаны с конкретными артефактами изображения. Например, при визуализации плеврального интерфейса между тканью легкого и воздухом, содержащимся в легких, нейронная сеть может быть специально выполнена, для поиска ревербераций, например, А-линий и/или В-линий. Обучение нейронной сети поиску конкретных артефактов при отображении определенных телесных элементов может сократить требуемое время обработки и повысить вычислительную эффективность всей системы за счет исключения ненужной обработки, которая вряд ли идентифицирует какие-либо артефакты. В некоторых вариантах осуществления нейронная сеть может быть обучена идентифицировать все артефакты, независимо от выбора пользователем конкретной модальности визуализации. В некоторых примерах система может быть выполнена с возможностью переключения между первым режимом поиска поднабора артефактов изображения и вторым режимом поиска всех артефактов изображения, использованных для обучения нейронной сети.[042] In FIG. 4 is a photograph of an ultrasound image 400 containing a mirror image artifact that has not been corrected. As shown, the mirror image artifact may appear as two identical elements 402a and 402b arranged as mirrored copies. Specular image artifacts can be caused by specular reflection of an ultrasonic beam at a large, smooth interface, such as a liquid-air interface. The systems disclosed herein can be configured to identify mirroring artifacts, such as those shown in FIG. 4 by inputting an image frame embodying the artifact into a neural network trained to identify artifacts, including mirror images. In some examples, a neural network can be trained to specifically look for mirror image artifacts based on a provided rendering modality selected by the user. For example, mirror image artifacts can often appear on bladder imaging. Accordingly, when the user selects an imaging modality that produces an image of the bladder, the neural network can be specifically or preferably trained to look for mirror image artifacts. Other organs or tissue types may also be associated with specific image artifacts. For example, when visualizing the pleural interface between lung tissue and the air contained in the lungs, a neural network can be specifically designed to look for reverberations, such as A-lines and/or B-lines. Training a neural network to look for specific artifacts when displaying certain bodily elements can reduce the required processing time and increase the computational efficiency of the entire system by eliminating unnecessary processing that is unlikely to identify any artifacts. In some embodiments, the implementation of the neural network can be trained to identify all artifacts, regardless of the user's choice of a particular imaging modality. In some examples, the system may be configured to switch between a first search mode for a subset of image artifacts and a second search mode for all image artifacts used to train the neural network.

[043] На фиг. 5А представлена фотография ультразвукового изображения, содержащего идентифицированные артефакты и индикатор наличия и типа таких артефактов в соответствии с настоящим изобретением. Изображение 500, которое может отображаться на пользовательском интерфейсе, включает в себя три графических накладки 502, указывающих местоположение артефактов изображения в пределах изображения. Изображение 500 также включает в себя уведомление 504, указывающее, что на изображении обнаружены артефакты затенения. В других примерах уведомление может не отображаться, а выдаваться как звуковой сигнал. Дополнительно или альтернативно, уведомление может быть выражено в сенсорном сигнале, таком как вибрация ультразвукового преобразователя, используемого для получения изображения.[043] In FIG. 5A is a photograph of an ultrasound image containing identified artifacts and an indicator of the presence and type of such artifacts in accordance with the present invention. An image 500 that can be displayed on a user interface includes three graphic overlays 502 indicating the location of image artifacts within the image. The image 500 also includes a notification 504 indicating that shading artifacts have been detected in the image. In other examples, the notification may not be displayed, but rather sounded. Additionally or alternatively, the notification may be in terms of a sensory signal, such as vibration of the ultrasound transducer used to acquire the image.

[044] На фиг. 5В показана фотография 500 с фиг. 5А, включающая в себя инструкции 506 для настройки ультразвукового преобразователя, чтобы устранить артефакты, обнаруженные на изображении. Как показано, примерные инструкции могут содержать «Предложение по устранению», которое может указать пользователю «повернуть преобразователь» и «включить угловое составление». Как было пояснено в настоящем документе, инструкции 506 могут меняться в зависимости от типа и/или количества обнаруженных артефактов. Инструкция 506, показанная на фиг. 5В также включает в себя графическое представление, иллюстрирующее маневр, который может выполняться с ультразвуковым преобразователем для устранения артефактов из изображения.[044] In FIG. 5B shows photograph 500 of FIG. 5A including instructions 506 for adjusting the ultrasonic transducer to eliminate artifacts found in the image. As shown, exemplary instructions may include a "Remedial Suggestion" which may direct the user to "rotate the transducer" and "enable angle drafting". As explained herein, the instructions 506 may vary depending on the type and/or number of detected artifacts. Instruction 506 shown in FIG. 5B also includes a graphical representation illustrating a maneuver that can be performed on an ultrasound transducer to remove artifacts from an image.

[045] Дополнительно или альтернативно, инструкции 506 могут быть переданы контроллеру, связанному с ультразвуковым преобразователем, используемым для получения изображения 500 как часть контура рабочей обратной связи. В соответствии с этими вариантами осуществления инструкции 506 могут автоматически преобразовываться в настройку положения, ориентации и/или рабочих параметров ультразвукового преобразователя. Настройки могут быть реализованы с использованием механизма механической настройки, управляемого контроллером так, чтобы механизм автоматически поворачивал преобразователь и/или включал угловое составление. Настройки также могут быть реализованы путем изменения различных параметров изображения, например, путем включения составления изображения, использования гармонического изображения и/или уменьшения глубины изображения. Настройки могут быть воплощены в инструкциях 506 и предоставлены пользователю для ручной настройки или автоматически реализованы системой после одобрения пользователя. После выполнения таких инструкций, либо с помощью контроллера, либо с помощью ручной настройки, может быть сгенерировано и/или отображено новое ультразвуковое изображение, в котором отсутствуют артефакты, что приводит к удалению инструкций 506. В некоторых случаях настройка преобразователя может вызвать появление одного или более новых артефактов, что приведет к отображению новых инструкций для их устранения.[045] Additionally or alternatively, instructions 506 may be passed to a controller associated with the ultrasound transducer used to acquire image 500 as part of an operational feedback loop. According to these embodiments, the instructions 506 can be automatically translated into setting the position, orientation, and/or operating parameters of the ultrasonic transducer. The settings may be implemented using a mechanical setting mechanism controlled by the controller such that the mechanism automatically rotates the transducer and/or engages angle alignment. Adjustments can also be implemented by changing various image parameters, for example by enabling image composition, using a harmonic image, and/or reducing image depth. The settings may be embodied in instructions 506 and provided to the user for manual adjustment, or automatically implemented by the system upon user approval. After executing such instructions, either with the controller or with manual tuning, a new ultrasound image can be generated and/or displayed that is free of artifacts, resulting in the removal of instructions 506. In some cases, transducer tuning may cause one or more new artifacts, which will result in new instructions for fixing them.

[046] На фиг. 6 представлена блок-схема последовательности операций способа ультразвуковой визуализации, выполняемого в соответствии с принципами настоящего изобретения. Примерный способ 600 показывает этапы, которые могут использоваться в любой последовательности системами и/или устройствами, раскрытыми в настоящем документе, для идентификации наличия и/или типа артефакта изображения, появляющегося во время ультразвукового сканирования, которое может выполнять начинающий пользователь и/или роботизированное ультразвуковое устройство, придерживающееся инструкций, сгенерированных системой. Способ 600 может быть выполнен системой ультразвуковой визуализации, такой как система 600, или другими системами, включая, например, мобильную систему, такую как LUMIFY от Koninklijke Philips N.V. («Philips»). Дополнительные примерные системы могут включать в себя SPARQ и/или EPIQ, также производимые Philips.[046] In FIG. 6 is a flow chart of an ultrasound imaging method performed in accordance with the principles of the present invention. An exemplary method 600 shows steps that can be used in any order by systems and/or devices disclosed herein to identify the presence and/or type of image artifact that appears during an ultrasound scan that may be performed by a novice user and/or a robotic ultrasound device. A that follows the instructions generated by the system. Method 600 may be performed by an ultrasound imaging system such as system 600 or other systems including, for example, a mobile system such as LUMIFY from Koninklijke Philips N.V. ("Philips"). Additional exemplary systems may include SPARQ and/or EPIQ, also manufactured by Philips.

[047] В показанном варианте осуществления способ 600 начинается в блоке 602 с «получения эхо-сигналов в ответ на ультразвуковые импульсы, передаваемые в целевую область преобразователем, функционально связанным с ультразвуковой системой». Преобразователь может быть управляемым пользователем вручную или реализованным с руководством от контроллера, который может работать в соответствии с предусмотренной модальностью визуализации, предназначенным для визуализации одного или более конкретных элементов, например легких, печени, мочевого пузыря, сердца и т.д.[047] In the illustrated embodiment, method 600 begins at block 602 with "obtaining echoes in response to ultrasonic pulses transmitted to the target area by a transducer operatively associated with the ultrasonic system." The transducer may be manually controlled by the user or implemented with guidance from a controller that may operate in accordance with a predetermined imaging modality for imaging one or more specific entities, such as lungs, liver, bladder, heart, etc.

[048] В блоке 604 показано, что способ включает в себя «генерирование по меньшей мере одного кадра изображения из ультразвуковых эхо-сигналов». Кадр изображения может быть сгенерирован с использованием одного или более процессоров. В некоторых вариантах осуществления могут быть предусмотрены процессоры обработки дискретных сигналов и процессоры данных.[048] At block 604, the method is shown to include "generating at least one image frame from ultrasonic echoes". An image frame may be generated using one or more processors. In some embodiments, discrete signal processors and data processors may be provided.

[049] В блоке 606 показано, что способ включает в себя «применение нейронной сети к кадру изображения, причем нейронная сеть определяет наличие и тип артефакта в кадре изображения». Нейронная сеть может быть сверточной нейронной сетью, такой как модель Inception. При необходимости архитектуру сети можно модифицировать для идентификации множества артефактов изображения и выдачи указания на них. Обучение нейронной сети может включать в себя ввод тысяч ультразвуковых изображений, содержащих артефакты, а также изображений без артефактов. Обучение может также включать в себя ввод инструкций по устранению артефактов и/или попарных изображений с артефактами изображения или без них.[049] At block 606, the method is shown to include "applying a neural network to an image frame, wherein the neural network determines the presence and type of an artifact in the image frame." The neural network may be a convolutional neural network such as the Inception model. If necessary, the network architecture can be modified to identify and point to multiple image artifacts. Training a neural network may involve inputting thousands of ultrasound images containing artifacts as well as images without artifacts. The training may also include entering instructions for removing artifacts and/or paired images with or without image artifacts.

[050] В блоке 608 показано, что способ включает в себя «генерирование индикатора на основании определенного наличия артефакта». Индикатор может обновляться, по существу, в режиме реального времени в ответ на перемещение преобразователя пользователем или механизмом механической настройки. Индикатор может представлять собой двоичный индикатор, индикатор включения или выключения, или индикатор может постепенно меняться в зависимости от количества и/или типа артефактов изображения, выявленных во время ультразвукового сканирования.[050] At block 608, the method is shown to include "generating an indicator based on the determined presence of an artifact". The indicator may be updated substantially in real time in response to movement of the transducer by the user or mechanical adjustment mechanism. The indicator may be a binary indicator, an on or off indicator, or the indicator may gradually change depending on the number and/or type of image artifacts detected during the ultrasound scan.

[051] В блоке 610 показано, что способ включает в себя «отображение индикатора на пользовательском интерфейсе». Отображение индикатора может включать в себя изображение значка, указывающего на наличие или отсутствие индикатора, и/или текстовое уведомление, описывающее наличие и/или идентификацию артефактов изображения. В некоторых вариантах осуществления индикатор может быть наложен на артефакты, содержащиеся в ультразвуковом изображении, чтобы также показать местоположение артефактов. В некоторых примерах индикатор может содержать световой индикатор, который включается или выключается или меняет цвет на основании наличия артефактов изображения в пределах изображения. В некоторых реализациях, например, когда изображения передаются стороннему специалисту для анализа, индикатор может не отображаться.[051] At block 610, the method includes "displaying an indicator on a user interface". The indicator display may include an icon image indicating the presence or absence of the indicator and/or a text notification describing the presence and/or identification of image artifacts. In some embodiments, an indicator may be superimposed on artifacts contained in the ultrasound image to also show the location of the artifacts. In some examples, the indicator may include an indicator light that turns on or off or changes color based on the presence of image artifacts within the image. In some implementations, such as when images are submitted to a third party for analysis, the indicator may not be displayed.

[052] В блоке 612 показано, что способ включает в себя «генерирование инструкции для настройки преобразователя на основании определенных наличия и типа артефакта, причем инструкция содержит рабочее руководство по устранению артефакта из кадра изображения». Как раскрыто в настоящем документе, инструкция может быть передана пользователю, который затем может реализовать инструкцию по устранению артефактов, или может быть передана другому компоненту системы, например контроллеру, выполненному с возможностью автоматической настройки блока получения ультразвуковых данных в соответствии с инструкцией.[052] At block 612, the method is shown to include "generating an instruction to tune the transducer based on the determined presence and type of artifact, the instruction comprising a working guide for removing the artifact from an image frame." As disclosed herein, the instruction may be communicated to the user, who may then implement the artifact removal instruction, or may be transmitted to another system component, such as a controller configured to automatically tune the ultrasound acquisition unit in accordance with the instruction.

[053] В различных вариантах осуществления, где компоненты, системы и/или способы реализуются с использованием программируемого устройства, такого как компьютерная система или программируемая логика, следует понимать, что раскрытые выше системы и способы могут быть реализованы с использованием любого из различных известных или разработанных позднее языков программирования, таких как «С», «С++», «FORTRAN», «Pascal», «VHDL» и тому подобное. Соответственно, можно подготовить различные носители данных, такие как магнитные компьютерные диски, оптические диски, электронные запоминающие устройства и тому подобное, которые могут содержать информацию, которая может руководить устройством, таким как компьютер, для реализации раскрытых выше систем и/или способов. Как только соответствующее устройство будет иметь доступ к информации и программам, содержащимся на носителе данных, носитель данных может предоставить информацию и программы устройству, обеспечивая в устройстве возможность выполнения функций систем и/или способов, раскрытых в настоящем документе. Например, если компьютерный диск, содержащий соответствующие материалы, такие как исходный файл, объектный файл, исполняемый файл или тому подобное, был предоставлен компьютеру, компьютер может принимать информацию, соответствующим образом конфигурировать себя и выполнять функции различных систем и способов, раскрытых выше на чертежах и блок-схемах, для реализации различных функций. То есть, компьютер может принимать с диска различные фрагменты информации, относящейся к различным элементам раскрытых выше систем и/или способов, реализовывать отдельные системы и/или способы и координировать функции отдельных систем и/или способов, раскрытых выше.[053] In various embodiments where components, systems and/or methods are implemented using a programmable device, such as a computer system or programmable logic, it should be understood that the systems and methods disclosed above may be implemented using any of various known or developed later programming languages such as "C", "C++", "FORTRAN", "Pascal", "VHDL" and the like. Accordingly, various storage media, such as magnetic computer disks, optical disks, electronic storage devices, and the like, can be prepared, which can contain information that can control a device, such as a computer, to implement the systems and/or methods disclosed above. Once an appropriate device has access to the information and programs contained on the storage medium, the storage medium can provide the information and programs to the device, enabling the device to perform the functions of the systems and/or methods disclosed herein. For example, if a computer disk containing relevant materials such as a source file, an object file, an executable file, or the like has been provided to a computer, the computer can receive information, configure itself appropriately, and perform the functions of various systems and methods disclosed in the drawings above and block diagrams, to implement various functions. That is, a computer may receive from disk various pieces of information relating to various elements of the systems and/or methods disclosed above, implement individual systems and/or methods, and coordinate the functions of the individual systems and/or methods disclosed above.

[054] В свете этого изобретения следует отметить, что различные способы и устройства, раскрытые в настоящем документе, могут быть реализованы в аппаратном, программном и программно-аппаратном обеспечении. Кроме того, различные способы и параметры приведены только в качестве примера, а не в каком-либо ограничивающем смысле. В свете этого изобретения специалисты в данной области техники могут реализовать настоящие идеи при определении своих собственных методик и необходимого оборудования, задействованного в этих методиках, оставаясь при этом в рамках объема изобретения. Функциональные возможности одного или более процессоров, раскрытых в настоящем документе, могут быть включены в меньшее число блоков или один блок обработки (например, центральный процессор) и могут быть реализованы с использованием специализированных интегральных схем (ASIC) или схем обработки общего назначения, которые запрограммированы как реагирующие на исполняемую инструкцию для выполнения функций, раскрытых в настоящем документе.[054] In light of this invention, it should be noted that the various methods and devices disclosed herein may be implemented in hardware, software, and firmware. In addition, the various methods and parameters are given by way of example only and not in any limiting sense. In light of this invention, those skilled in the art can implement the present ideas by defining their own techniques and the necessary equipment involved in those techniques while remaining within the scope of the invention. The functionality of one or more of the processors disclosed herein may be incorporated into a smaller number of units or a single processing unit (e.g., a CPU) and may be implemented using application specific integrated circuits (ASICs) or general purpose processing circuits that are programmed as responsive to an executable instruction to perform the functions disclosed in this document.

[055] Хотя настоящая система могла быть описана с конкретным рассмотрением системы ультразвуковой визуализации, также предполагается, что настоящая система может быть распространена на другие системы медицинской визуализации, где одно или более изображений получают систематическим образом. Соответственно, настоящая система может применяться для получения и/или записи информации изображения, относящейся, не ограничиваясь этим, к следующим системам: почечной, яичек, молочной железы, яичников, матки, щитовидной железы, печени, легких, опорно-двигательного аппарата, селезенки, сердца, артериальной и сосудистой, а также к другим применениям визуализации, связанным с ультразвуковыми вмешательствами. Кроме того, настоящая система также может включать в себя одну или более программ, которые могут использоваться с традиционными системами визуализации, чтобы они могли обеспечивать признаки и преимущества настоящей системы. Некоторые дополнительные преимущества и признаки настоящего изобретения могут быть очевидными для специалистов в данной области техники после изучения изобретения или могут быть применены теми, кто использует новаторские систему и способ согласно настоящему изобретению. Другое преимущество настоящих систем и способа может заключаться в том, что можно легко модернизировать традиционные медицинские системы изображения, чтобы включить в них признаки и преимущества настоящих систем, устройств и способов.[055] Although the present system could be described with specific consideration of an ultrasound imaging system, it is also contemplated that the present system can be extended to other medical imaging systems where one or more images are acquired in a systematic manner. Accordingly, the present system can be applied to acquire and/or record image information related to, but not limited to, the following systems: renal, testicular, breast, ovary, uterus, thyroid, liver, lung, musculoskeletal, spleen, cardiac, arterial and vascular, as well as other imaging applications associated with ultrasound interventions. In addition, the present system may also include one or more programs that can be used with conventional imaging systems so that they can provide the features and benefits of the present system. Some additional advantages and features of the present invention may be apparent to those skilled in the art upon examination of the invention, or may be applied by those using the innovative system and method of the present invention. Another advantage of the present systems and method may be that conventional medical imaging systems can be easily upgraded to include the features and benefits of the present systems, devices and methods.

[056] Конечно, следует понимать, что любой из примеров, вариантов осуществления или процессов, раскрытых в настоящем документе, может быть скомбинирован с одним или более другими примерами, вариантами осуществления и/или процессами или может быть разделен между и/или выполнен отдельными устройствами или частями устройств в соответствии с настоящими системами, устройствами и способами.[056] Of course, it should be understood that any of the examples, embodiments, or processes disclosed herein may be combined with one or more other examples, embodiments, and/or processes, or may be shared between and/or performed by separate devices. or parts of devices in accordance with these systems, devices and methods.

[057] Наконец, вышеприведенное обсуждение предназначено только для иллюстрации настоящей системы и не должно рассматриваться как ограничение прилагаемой формулы изобретения каким-либо конкретным вариантом осуществления или группой вариантов осуществления. Таким образом, хотя настоящая система была подробно описана со ссылкой на примерные варианты осуществления, следует также понимать, что специалисты в данной области техники могут разработать многочисленные модификации и альтернативные варианты осуществления, не отступая от более широких и подразумевающихся сущности и объема настоящей системы, как изложено в нижеследующей формуле изобретения. Соответственно, описание и чертежи должны рассматриваться в качестве иллюстрации и не предназначены для ограничения объема прилагаемой формулы изобретения.[057] Finally, the foregoing discussion is only intended to illustrate the present system and should not be construed as limiting the appended claims to any particular embodiment or group of embodiments. Thus, while the present system has been described in detail with reference to exemplary embodiments, it should also be understood that numerous modifications and alternative embodiments may be devised by those skilled in the art without departing from the broader and implied spirit and scope of the present system as set forth. in the following claims. Accordingly, the description and drawings are to be considered as illustrative and are not intended to limit the scope of the appended claims.

Claims

1. A medical ultrasound imaging system, comprising:

an ultrasonic transducer configured to receive echoes in response to ultrasonic pulses transmitted to the target area;

one or more processors in communication with the ultrasonic transducer and configured to:

generating at least one image frame from the ultrasonic echoes;

applying the neural network to the image frame, the neural network being configured to determine the presence and type of an artifact in the image frame;

generating an indicator based on the determined presence of the artifact;

providing an indicator to be displayed on a user interface in communication with the processors; and

generating, using neural networks, instructions to tune the ultrasonic transducer based on the determined presence and type of artifact.

2. The ultrasound imaging system of claim 1, wherein the one or more processors are further configured to transmit an instruction to a controller communicatively coupled to the ultrasound transducer.

3. The ultrasound imaging system of claim 2, wherein the controller is configured to adjust the ultrasound transducer by changing its operating parameter based on an instruction received from one or more processors.

4. The ultrasound imaging system of claim 3, wherein the operating parameter includes position, orientation, depth of focus, beam angle, imaging modality, or ultrasound transducer frequency.

5. The ultrasound imaging system of claim 4, wherein the ultrasound transducer is physically coupled to a robotic arm capable of moving the ultrasound transducer.

6. The ultrasound imaging system of claim 1, wherein the one or more processors are further configured to generate and display an ultrasound image from an image frame on a user interface.

7. The ultrasound imaging system of claim. 6, wherein the indicator comprises a graphic overlay superimposed on the ultrasound image displayed on the user interface.

8. The ultrasound imaging system of claim 1, wherein the neural network comprises neural network models, each of the neural network models being associated with one of a plurality of user-selectable imaging modalities provided.

9. The ultrasound imaging system of claim 8, wherein each of the provided imaging modalities causes the ultrasound transducer to receive echoes from a particular target area by implementing a set of operating parameters specific to said particular target area.

10. The ultrasound imaging system of claim 1, wherein the one or more processors are further configured to generate and display a predicted artifact-free ultrasound image.

11. The ultrasound imaging system of claim 1, wherein the neural network is operatively coupled to a learning algorithm capable of receiving an array of training inputs and known outputs, wherein the training inputs include ultrasound image frames containing artifacts and the known outputs the data includes the adjustment of operating parameters to ensure that artefacts are eliminated from ultrasound image frames.

12. The ultrasound imaging system of claim 11, wherein the neural network comprises neural network models, each of the neural network models being associated with one of the subsets of training inputs, each of the subsets being associated with one of the provided imaging modalities selected by the user.

13. A method for medical ultrasound imaging, comprising the following:

receiving echoes in response to ultrasonic pulses transmitted to the target area by the transducer operatively associated with the ultrasonic system;

generating at least one image frame from the ultrasonic echoes;

applying the neural network to the image frame, wherein the neural network determines the presence and type of an artifact in the image frame;

generating an indicator based on the determined presence of the artifact;

displaying an indicator on the user interface; and

generating, using neural networks, an instruction to tune the transducer based on the determined presence and type of artifact, the instruction containing a working guide for removing the artifact from the image frame.

14. The method of claim 13, further comprising selecting an imaging modality for obtaining echoes, the imaging modality comprising operating parameters specific to the target area.

15. The method of claim 13, further comprising transmitting the instruction to a controller communicatively coupled to the converter.

16. The method of claim. 15, further comprising changing the operating parameter of the transducer based on the instructions.

17. The method of claim 13, further comprising displaying the instruction on a user interface.

18. The method of claim 13, further comprising training the neural network using ultrasound image frames containing various artifacts and expert instructions for tuning the transducer based on said various artifacts.

19. The method of claim 13, further comprising generating a predicted ultrasound image without artifact.

20. A long-term computer-readable medium for medical ultrasound imaging, containing executable instructions that, when executed, ensure that the processor of the medical imaging system performs any of the methods according to paragraphs. 13-19.