WO2019021646A1 - 医用撮像装置及び画像処理方法 - Google Patents

医用撮像装置及び画像処理方法 Download PDF

Info

Publication number
WO2019021646A1
WO2019021646A1 PCT/JP2018/021926 JP2018021926W WO2019021646A1 WO 2019021646 A1 WO2019021646 A1 WO 2019021646A1 JP 2018021926 W JP2018021926 W JP 2018021926W WO 2019021646 A1 WO2019021646 A1 WO 2019021646A1
Authority
WO
WIPO (PCT)
Prior art keywords
cross
section
unit
model
image
Prior art date
Application number
PCT/JP2018/021926
Other languages
English (en)
French (fr)
Inventor
云 李
崇 豊村
俊徳 前田
子盛 黎
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to US16/630,581 priority Critical patent/US20210089812A1/en
Publication of WO2019021646A1 publication Critical patent/WO2019021646A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/465—Displaying means of special interest adapted to display user selection data, e.g. icons or menus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to a medical imaging apparatus such as an ultrasonic diagnostic apparatus, an MRI apparatus, and a CT apparatus, and in particular, a predetermined cross section is selected from a three-dimensional image acquired by a medical imaging apparatus or a time series two dimensional or time series three dimensional image It relates to the technology for displaying.
  • a medical imaging apparatus such as an ultrasonic diagnostic apparatus, an MRI apparatus, and a CT apparatus
  • a predetermined cross section is selected from a three-dimensional image acquired by a medical imaging apparatus or a time series two dimensional or time series three dimensional image It relates to the technology for displaying.
  • the medical imaging apparatus is used not only for displaying an image after acquiring a morphological image of a target region, but also for use in quantitatively acquiring morphological information and functional information.
  • estimated weight measurement for observing the growth of a fetus in an ultrasonic diagnostic apparatus.
  • Such measurement is roughly divided into three steps of image acquisition, measurement image selection, and measurement.
  • the image acquisition step the periphery of the target site is continuously imaged to acquire a plurality of two-dimensional cross-sectional images or volume data.
  • a cross-sectional image most suitable for measurement is selected from the acquired data.
  • each region of the head, abdomen, and legs is measured, and the measurement value is calculated according to a predetermined calculation formula to calculate the weight.
  • Measurement of the head and abdomen requires tracing of the surface, and it took a long time for examination, but in recent years automatic tracing technology has been proposed which automatically performs tracing and performs predetermined calculations (Patent Document 1) etc). This technology realizes the improvement of measurement workflow.
  • Patent Document 2 extracts a hyperechoic area from three-dimensional data, and selects the cross section based on the extracted three-dimensional feature of the hyperechoic area. It is disclosed. Specifically, in cross-section selection, matching with a template indicating three-dimensional features prepared in advance is performed, and when they match, the cross-section is determined.
  • the image data taken by imaging person and imaging cycle are different (imager dependency) and the image data taken by imaging subject's constitution and disease are different (imaging object Dependency).
  • imager dependency depends on the fact that the region in the body to be acquired as a cross-sectional image or volume data is manually scanned each time imaging is performed, even if the same examiner performs an examination on the same patient. It is difficult to make the perfect match.
  • dependence on the subject of imaging arises from the fact that the propagation velocity and attenuation rate of sound waves differ depending on the constitution of the patient, and the shapes of organs do not completely match among different patients depending on the patient's disease and individual differences.
  • Patent Document 2 can not cope with the above-described imager dependency or image pickup object dependency because the cross section is determined by matching with a template prepared in advance.
  • MRI and CT devices have less dependency on the imager than ultrasonic diagnostic devices, but if there are morphological changes in time series images, such as the heart and lungs of individual differences and the same individual, determine the cross section by matching with the template It is difficult. Also, in recent years, attempts have been made to apply DL (Deep Learning) technology to the improvement of image quality and determination of specific diseases, etc. However, in order to achieve high discrimination power with DL, hardware with high processing capability is used. As the hardware is required and the time required for the processing is also long, it is difficult to mount it on a conventional medical imaging apparatus or a medical imaging apparatus that requires high speed processing.
  • DL Deep Learning
  • the present invention learns to output, as a discrimination score, a spatial or temporal distance from a cross section to be extracted (target cross section) for a plurality of cross sections selected from data to be processed,
  • a learned learning model suitable for extracting a target cross section and easily mountable on a medical imaging apparatus. Then, extraction of the target cross-sectional image is realized with high accuracy by calculating the suitability score of the cross-sectional image to be processed using a model obtained by machine learning.
  • the medical imaging apparatus includes an imaging unit that collects image data of a subject, and an image processing unit that extracts a predetermined cross section from the image data collected by the imaging unit,
  • the processing unit uses a model introducing unit for introducing a learning model learned in advance so as to output a spatial or temporal closeness to a predetermined cross section to a plurality of cross-sectional image data as an identification score, and the image data
  • a cross-section extraction unit which selects a plurality of cross-sectional images and extracts a predetermined cross-section based on a result of applying the learning model to the selected cross-sectional image.
  • the learning model is a learning model in which the feature quantity extraction layer of the learned model and the identification layer of the unlearned model are fused and reduced, and has a simpler layer configuration than the learned model before fusion.
  • the image processing method is an image processing method of determining a target cross section to be processed from imaging data and presenting the cross section image, wherein spatial or temporal proximity of a plurality of cross sectional images to the target cross sectional image
  • the learning model combines the feature amount extraction layer of the learned model obtained by learning the plurality of cross-sectional images constituting the imaging data and the target cross-sectional image as learning data, and the identification layer of the unlearned model It is a reduced model.
  • the learning model by applying the learning model to cross-sectional extraction, it is possible to realize reduction in procedure dependency and shortening of examination time in automatic extraction of a cross-sectional image optimal for measurement. Also, by using a simple reduced model in which a complex model with high accuracy is reduced while maintaining the accuracy as a learning model, learning is performed while maintaining the size of a standard image processing unit in a medical imaging apparatus.
  • the model can be mounted on the device and high speed processing is possible.
  • a diagram showing the overall configuration of a medical imaging apparatus The figure which shows the structure of the principal part of the image processing part of 1st embodiment.
  • Flow chart showing processing steps of the image processing unit of the first embodiment Block diagram showing the configuration of a medical imaging apparatus (ultrasound diagnostic apparatus) according to the second embodiment Diagram for explaining fusion / reduction of learning model Diagram explaining fusion and reduction of learning model using CNN Diagram explaining the learning process of the learning model
  • the figure explaining the section selection processing of a second embodiment Flow chart showing processing steps of cross section extraction of the second embodiment
  • Flow chart showing adjustment process of extraction cross section of the second embodiment A diagram showing a display example of an extracted cross section and a GUI of cross section adjustment
  • the figure which explains the measurement cross section in weight measurement of the fetus (A)-(c) is a figure which shows the measurement position in each measurement cross section of FIG. Diagram for explaining acquisition of time-series 2D images and generation of cross-sectional groups from data memory
  • the medical imaging apparatus 10 is an imaging unit 100 that images a subject and acquires image data, and an image processing unit that performs image processing on image data acquired by the imaging unit 100. 200, a display unit 310 for displaying an image acquired by the imaging unit 100 or an image processed by the image processing unit 200, and a command or data required for the user to input a process of the imaging unit 100 or the image processing unit 200. And an operation input unit 330.
  • the display unit 310 and the operation input unit 330 are generally disposed in proximity to each other, and function as a user interface (UI) 300.
  • the medical imaging apparatus 10 may further include a storage device 350 that stores image data obtained by the imaging unit 100, data used for processing by the image processing unit 200, processing results, and the like.
  • the configuration of the imaging unit 100 differs depending on the modality, and in the case of an MRI apparatus, a magnetic field generating means or the like for collecting magnetic resonance signals from an object placed in a static magnetic field is provided.
  • a magnetic field generating means or the like for collecting magnetic resonance signals from an object placed in a static magnetic field.
  • an X-ray source for irradiating the subject with X-rays, an X-ray detector for detecting X-rays transmitted through the subject, and an X-ray source and an X-ray detector are rotated around the subject.
  • a mechanism to make The ultrasonic diagnostic apparatus includes means for transmitting ultrasonic waves to a subject, receiving ultrasonic waves that are reflection waves from the subject, and generating an ultrasonic image.
  • volume data (3D image data) or time-series 2D image data or volume data is obtained.
  • volume data 3D image data
  • the image processing unit 200 inputs information on a plurality of cross sections included in the 3D volume data, and a cross section extraction unit 230 that extracts a predetermined cross section (referred to as a target cross section) from 3D volume data input from the imaging unit 100. And a model introducing unit 250 for introducing a learning model (a discriminator) that outputs a score indicating the closeness between the cross section and the target cross section to the cross section extraction unit 230.
  • a learning model a discriminator
  • the target cross section varies depending on the purpose of diagnosis and the purpose of image processing for the cross section, here, the size (width, length, diameter, circumference, etc.) of a predetermined organ or part included in the cross section is measured here
  • the cross section is suitable for Further, the image processing unit 200 displays, for example, the cross section extracted by the cross-section extracting unit 230 and the result of the cross-section extracted by the cross-section extracting unit 230 on the image data of the cross section extracted by the cross-section extracting unit 230
  • a display control unit 270 for displaying on 310 may be provided.
  • the learning model used by the cross-section extraction unit 230 outputs a target cross-sectional image of volume data whose target cross-section is known as a correct image, and outputs a score of similarity between many cross-sectional images included in the 3D volume data and the correct image
  • the learning model of the present embodiment is a reduced model (second learning) created by fusing a highly learned learned model (first learned model) and a non-learned model with a smaller number of layers. Model). The reduced model is subjected to the same learning as the learned CNN after fusion.
  • the first learned model has a large number of layers, a large number of iterations required for learning, but high learning accuracy.
  • the reduced model is a part of each layer of the model learned with such high accuracy, for example, a layer learned particularly with high accuracy including the feature quantity extraction layer, and a layer with a relatively small contribution of learning among unlearned models
  • the identification layer on the lower layer side of CNN is combined, and it has a simple configuration in which the number of layers is smaller than that of the first learned model.
  • the learning model (reduced model) is created in advance by the medical imaging apparatus 10 or by a computer or the like independent of the medical imaging apparatus 10, and is stored in the storage device 350. Multiple reduced models may be stored depending on the difference in identification task. For example, in the case where there are a plurality of cross sections of the measurement target, for example, each of the head, chest, and legs is created for each measurement target. When there are a plurality of types of target cross sections, they are created according to the type of target cross section. If there are a plurality of reduced models, the model introduction unit 250 calls a necessary model according to the identification task, and passes it to the cross-section extraction unit 230.
  • the model introducing unit 250 reads a learning model from the storage unit 251 and reads the learning model from the storage unit.
  • a model call unit 253 applied to the The cross-section extraction unit 230 uses the learning model read by the model introduction unit 250 for the cross-section selection unit 231 which selects image data of a plurality of cross sections from the volume data 240 and the image data of the cross section selected by the cross-section selection unit 231.
  • a determination unit 235 which analyzes the score which is the output of the cross-section identification unit 233 and determines the target cross-section.
  • Some or all of the functions of the image processing unit 200 can be realized as software executed by the CPU.
  • a part related to image data generation of the imaging unit and a part of the image processing unit may be realized by hardware such as an application specific integrated circuit (ASIC) or a field programmable gate array (FPGA).
  • ASIC application specific integrated circuit
  • FPGA field programmable gate array
  • the operation of the medical imaging apparatus of the present embodiment mainly the flow of processing of the image processing unit 200, will be described with reference to FIG.
  • the case where imaging and image display are performed in parallel will be described as an example.
  • the type of the target cross section by the user is selected through the operation input unit 330.
  • the type of target cross-section is the type of cross-section for measurement or the cross-section for determining the extension direction of a structure, etc., and the type of target cross-section, and the type of measurement target (site or organ or fetus) There is.
  • Such an input may be performed when setting an imaging condition, or may be set by default when an imaging condition is set.
  • the cross-section selecting unit 231 selects a plurality of cross sections from the 3D image data (S301).
  • a plurality of cross sections parallel to the direction are selected and passed to the cross section identification unit 233.
  • the Z axis is in the body axis direction
  • the XY planes are selected at predetermined intervals. Since the target cross section is not fixed according to the structure (tissue or part) included in the volume data, in this case, cross sections in various directions are selected.
  • a so-called "coarse to fine approach” is narrowed from a relatively wide area to a narrow area at each repetition while repeating the selection by the cross-section selection unit 231 and the identification by the cross-section identification unit 233.
  • search area the area for selecting a cross section
  • the search area is narrowed, the distance between the cross sections to be selected may be narrowed, and the number of angles of the cross section may be further increased.
  • the model introducing unit 250 reads the learning model from the storage device 350 according to the type of the target cross section set in advance, and stores the learning model in the model storage unit 251.
  • the model calling unit 252 calls the learning model to be applied from the model storage unit 251.
  • the cross-section identification unit 233 performs feature extraction and identification of the selected cross-section using the called learning model, and outputs the distribution of the score that is the identification result (S302).
  • the distribution of the score is a distribution in which the score indicating the similarity between the target cross section and the cross section to be processed is plotted against the distances from the target cross sections of the plurality of cross sections. The higher the score, the spatial distance from the target cross section Becomes closer distribution.
  • the distribution of scores takes a numerical value between 0 and 1, with the score of the section corresponding to the target section as 1.
  • the discrimination result judging unit 235 receives the distribution of the score which is the result of the cross-section identifying unit 233, and finally determines the one with the best score, and in the above example, the cross-section having a score of 1 or most nearly 1 as the target cross section S303).
  • the display control unit 250 causes the display unit 310 to display the cross section (S304).
  • the calculation unit 240 has an automatic measurement function, the structure present in the cross section is measured, and the result is displayed on the display unit 310 via the display control unit 250 (S305). If there are a plurality of identification tasks, or if reprocessing is necessary by user adjustment, the process returns to step S301 (S306) and repeats S301 to S304 (S305).
  • the present embodiment it is possible to automatically determine the target cross section in a short time by using a model (classifier) learned in advance to identify the cross section closest to the target cross section.
  • the learning model is obtained by fusing a part of the layer of the model which has been highly learned in advance with a part of the layer of the unlearned model having a relatively simple structure and relearning. Because of this, the implementation to the imaging device is easy, and the processing time by the learning model can be significantly reduced. As a result, it is possible to shorten the time from the imaging to the target cross section display or the measurement using the target cross section, and to improve the real time property.
  • time-series data is data in which one dimension of 3D is replaced with the dimension of time, and is configured by cross-sectional images of various time phases.
  • time-series data is data in which one dimension of 3D is replaced with the dimension of time, and is configured by cross-sectional images of various time phases.
  • the target cross section can be searched by performing processing by the image processing unit 200 in parallel while performing imaging continuously.
  • the cross-section selecting unit 231 may select only an imaging cross section (a surface in one direction), which enables high-speed processing.
  • all imaging cross sections to be imaged at predetermined intervals may be selected.
  • the ultrasonic diagnostic apparatus 40 includes, as an ultrasonic imaging unit 400, a probe 410, a transmission beam former 420, a D / A converter 430, an A / D converter 440, and a beam former memory 450.
  • a reception beam former 460 is provided, and further, an image processing unit 470, a display unit 480, and an operation input unit 490 are provided.
  • the probe 410 is composed of a plurality of ultrasonic elements arranged along a predetermined direction. Each ultrasonic element is, for example, a ceramic element produced by ceramic. The probe 410 is disposed in contact with the surface of the test object 101.
  • the transmit beamformer 420 transmits ultrasonic waves from at least a portion of the plurality of ultrasonic elements via the D / A converter 430.
  • Each ultrasonic wave transmitted from each ultrasonic element constituting the probe 410 is given a delay time to focus at a predetermined depth, and a transmission beam focused at the predetermined depth is generated.
  • the D / A converter 430 converts the electrical signal of the transmit pulse from the transmit beamformer 420 into an acoustic signal. Further, the A / D converter 440 converts the acoustic signal received by the probe 410 in the process of propagating inside the inspection object 101 again into an electrical signal to generate a reception signal.
  • the beam former memory 450 stores, for each transmission, phasing delay data for each reception focus with respect to the reception signal output from the ultrasonic element via the A / D converter 440.
  • Reception beam former 460 receives the reception signal output from the ultrasonic element for each transmission via A / D converter 440, and transmits the phase delay data for each transmission stored in beam former memory 450 and the reception signal received. Generates a phasing signal from.
  • the image processing unit 470 generates an ultrasonic image using the phasing signal generated by the reception beam former 460, and automatically generates an optimum image for measurement from the captured 3D volume data or the 2D cross-sectional image group stored in the cine memory. Extract. Therefore, the image processing unit 470 generates a ultrasound image using the phasing signal generated by the reception beam former 460, and a data memory 472 storing image data generated by the data construction unit.
  • a Doppler processing unit that processes a Doppler signal may be provided.
  • the function of the data configuration unit 471 is the same as that of the conventional ultrasonic imaging apparatus, and generates an ultrasonic image in B mode or M mode.
  • the model introducing unit 473 and the cross-section extracting unit 474 implement functions corresponding to the model introducing unit 250 and the cross-section extracting unit 230 of the first embodiment, respectively, and have the same configuration as the functional block diagram shown in FIG. Have. That is, the model introduction unit 473 includes a model storage unit and a model call unit, and the cross-section extraction unit 474 includes a cross-section selection unit (231), a cross-section identification unit (233), and an identification result determination unit (234). In the following description, FIG. 2 is used as appropriate.
  • the cross-section selecting unit 231 reads out volume data or a 2D cross-sectional image group of one patient.
  • the data read out from the data memory may be moving image data obtained by imaging a two-dimensional cross section, or a dynamically updated image.
  • the cross-sectional identification unit 233 identifies the target cross-sectional image group selected by the cross-section selection unit 231 using the learning model introduced by the model introduction unit 473.
  • the identification result determination unit 235 analyzes the identification result of the cross-section identification unit 233, and determines whether to end the identification and the next cross-section selection range.
  • the automatic measurement unit 475 can be configured by software incorporating a known automatic measurement algorithm, measures the size of a predetermined site, etc. from the extracted one or a plurality of cross sections, and uses a predetermined algorithm The target measurement value is calculated from the values such as size.
  • the cross-section adjustment unit 476 receives correction or adjustment by the user via the operation input unit 490 for the cross-section extracted by the cross-section extraction unit 475 displayed on the display unit 480, and changes the cross-sectional position or not.
  • the processing instruction is given to the automatic measurement unit 475.
  • the display unit 480 displays the ultrasonic image extracted by the image processing unit 470 and the measurement value and the measurement position thereof.
  • the operation input unit 490 includes an input device for receiving position adjustment of the cross section extracted by user input, switching of the cross section, and adjustment of the measurement position.
  • the image processing unit 470 re-performs a part of the process according to the user input, and updates the display result of the display unit 480.
  • This learning model is a highly accurate reduced model that is installed in advance in the device. As shown in FIG. 5, this reduced model is acquired by a model fusion unit that combines and relearns a high accuracy model 510 learned from a learning database 500 and an unlearned model 530 using machine learning. This is a simple model 550 that can be mounted on the device while maintaining the accuracy.
  • the function of the model fusion unit can be realized by an image processing apparatus or CPU other than the ultrasonic imaging apparatus 40, but if the ultrasonic imaging apparatus 40 incorporates a CPU, It may be realized by a CPU.
  • the learning database 500 stores, in advance, a large number of image data, for example, 3D images of each growth week of the fetus and cross-sectional images used for measurement.
  • CNN which is one of Deep Learning (DL), as an example.
  • the learned high-accuracy model 510 has a deep layer configuration, and has a plurality of convolutional layers 511 for extracting feature quantities in the previous stage of the layer.
  • the folded layers 511 one or more layers adjacent to the input layer in particular are layers contributing to feature amount extraction, and are referred to as a feature amount extraction layer 515.
  • a layer close to the full connection layer 513 is a layer that contributes to identification, and is called an identification layer.
  • the model 510 has high identification accuracy but a large model size and takes processing time.
  • unlearned model 530 has a plurality of convolution layers and full connection layers as model 510, but the layer configuration is simple and small in size, for example, the number of convolution layers is smaller than that of learning model 510, and full connections The number of layer dimensions is small.
  • the unlearned model 530 has high identification speed but low accuracy.
  • the reduced model 550 performs model fusion of the feature extraction layer 515 which is a part of the layer configuration of the learned model 510 and the identification layer 531 of the unlearned model 530 to construct a new layer configuration, and further learning. It is relearned using the database 500.
  • the layer configuration of the models 510, 530, and 550 shown in FIG. 5 is an example for explaining the method of model reduction, and the layer configuration is not limited to that illustrated, and the above-described reduction is described. It includes various layer configurations that can be applied to the approach.
  • FIG. 7 is a diagram showing learning model generation for realizing high-speed and high-precision search.
  • a learning measurement cross-sectional group 701 and a non-measurement cross-sectional group (a cross section which is not a measurement cross section) 702 are generated from learning volume data 700 and machine learning is performed using these as learning data.
  • a learning model 710 is obtained in which features of the measured cross section and the non-measured cross section are automatically extracted.
  • the learning model calculates a score (referred to as an identification score) of the measured cross section likelihood with respect to the input cross section (identification cross section), and creates a distribution of scores (score distribution) 705 calculated for each of the plurality of cross sections.
  • an identification score referred to as an identification score
  • scores score distribution 705 calculated for each of the plurality of cross sections.
  • the simplified one-dimensional developed distribution is shown in the figure, it is actually a three-dimensional distribution.
  • the identification score of the cross section is higher as it is spatially closer to the measurement cross section position. Therefore, as shown in FIG. 7, the score distribution 705 should be a distribution which is highest at the center and lowers as it goes away from the center, when the measurement cross section position is at the center.
  • the score distribution 705 which is the output of the learning model is confirmed, and the learning data is adjusted so that the identification score of the cross section is higher as it is spatially closer to the measurement cross section position.
  • the machine learning is repeated by adjusting the weight coefficient of each layer constituting the model.
  • the anatomical distance of the living body is used to adjust the spatial distance and acquisition position of the non-measurement cross section and the measurement cross section. By repeating such adjustment, a highly accurate learning model suitable for searching for the measurement cross section is generated from the distribution of the identification score.
  • learning models are respectively generated for the plurality of measurement cross sections.
  • a score distribution is generated in which the horizontal axis of the score distribution 705 in FIG. 7 is replaced from the space axis to the time axis. Then, taking advantage of the fact that the cross-section of the frame closer to the measurement cross-section on the time axis is similar to the measurement cross-section, the sampling interval of learning data is adjust. As a result, a learning model is generated in the same manner as when volume data is used as learning data.
  • the same learning is performed for the above-described reduced model 550 in which the learned model 510 thus learned and the unlearned model 530 are fused.
  • the learning rates of the learned model 510 and the unlearned model 530 are adjusted so that learning is performed centering on the identification layer 531. That is, the weight coefficient of the feature quantity extraction layer 515 transferred from the learned model 510 is held, and the learning rate of the identification layer 531 transferred from the unlearned model 530 is increased.
  • fetal weight estimation first, as shown in FIG. 8, a volume scan is performed on the fetus 101 to be examined using a mechanical mechanical probe or an electronic 2D probe 410, and volume data is stored in a data memory 472. save.
  • the cross section extraction unit 474 calls the volume data 800 acquired from the data memory 472, cuts out a cross section from the cut position 801 in the determined search area, and acquires a target cut surface group 802.
  • the cut-out section includes a plane perpendicular to the axis (Z-axis) of volume data, a plane parallel to the Z-axis, a plane obtained by rotating these in the declination direction or the elevation angle direction, and the like.
  • the cross section extraction process is started when the user gives an instruction to start extraction.
  • the instruction to start measurement may also be an instruction to start extraction.
  • the cross-section extraction unit 474 (FIG. 2: the cross-section selection unit 231) controls the data memory 472 to select volume data or continuous imaging of one patient designated in advance by the operator.
  • the image group is read out, and the input format, the type of the extraction target, and the type of the cross section to be extracted are identified for the processing target data (step S 901).
  • the identification of the input format identifies, for example, 3D data or 2D data.
  • the type of the extraction target and the type of the cross-section identify any one of a plurality of parts and cross-sections to be extracted according to the purpose of measurement.
  • Step S902 is performed by the “coarse-dense approach” in which a region for extracting a cross section (search region) is narrowed sequentially from a wide region. Therefore, first, the cross-section selecting unit (FIG. 2: 231) determines an initial search area (step S902), and generates a target cross-section group (step 903).
  • An example of determination of the search area by the “coarse-dense approach” is shown in FIG. (A) and (c) of FIG. 10 schematically show volume data, which is a rotating body of a fan surface, in a plan view centering on the rotation axis.
  • the initial search area 1001 is the whole area of the volume data, and sampling points (black circles) 1002 are set at relatively coarse intervals in the declination direction and the radial direction, and a rotating body passing through the sampling point 1002 Extract the tangential cross section of
  • the section identifying unit (FIG. 2: 232) applies the learning model (FIG. 6: reduced learning model 550) called in advance by the model introducing unit 473 to the extracted section group, and It identifies and acquires the score which shows proximity with the object cross section (step S904).
  • the processing by the learning model 550 can be performed by parallel processing of the individual cross sections forming the cross section group, and a score distribution in which the scores of the individual cross sections are finally obtained is obtained.
  • the learning model used in step S904 is created in advance by the learning process as shown in FIG.
  • a model call unit introduces a learning model corresponding to the measurement cross section to be processed.
  • the cross-section extraction unit 474 analyzes the distribution of the score, which is the identification result of each cross-section by the learning model (step S 905), and narrows the search area to an area narrower than the initial search area 1001.
  • the horizontal axis is the distance from the target cross section
  • the vertical axis is the score
  • the next search region is narrowed to a region near the peak. If there are multiple peaks, the search area is determined to include multiple peaks.
  • the center 1003 of the next search area and the search area 1004 are determined, and from the determined search area 1004, a plurality of sectional groups (cross sections including sampling points indicated by white circles) Extract).
  • the learning model is similarly applied to this cross-sectional group to obtain the distribution of the score, and the region from which the cross-sectional group is extracted is narrowed.
  • step S 905 it is determined whether the search area is sufficiently narrowed or a cross section suitable for measurement is found based on the analysis result of the score distribution, and it is determined whether the search is ended (step S 906) .
  • step S 906 it is determined whether the search is ended.
  • a new search area approaching the area which seems to be the measurement cross section is determined based on the analysis of the result (step S902).
  • step S902 to step S906 is repeated a plurality of times, and by narrowing down the search area, the optimum measurement cross section can be extracted, whereby the search can be performed at high speed and without omission.
  • the direction (angle) of the cross section may be changed not only in the declination direction but also in the elevation angle direction.
  • step S906 If it is determined in step S906 that the search has ended, automatic measurement or appropriate manual measurement is performed on the extracted optimal measurement cross section (step S907). Finally, a plurality of extraction results such as the extracted cross section, information on the cross section space, measurement values and measurement positions, and other top candidates are presented (step S 908). The presented extraction result is displayed by the display unit 480, and the process ends.
  • the automatic extraction of the cross section is an auxiliary function of diagnosis, and the final diagnosis needs to be determined by the user.
  • the cross-section adjustment unit 476 receives a signal from the operation input unit 490
  • cross-section adjustment, switching, and measurement review can be realized with a simple operation according to the user's preference.
  • a flow of cross section adjustment is shown in FIG. The section adjustment starts the process by receiving a signal from the operation input unit 490 that receives the screen operation of the user after the extraction and display of the measurement section described above are completed.
  • the type of input operation is identified according to which of the adjustment of the cross section, the switching, and the review of the measurement is instructed according to the signal of the input (step S 911).
  • step S 912 In response to the input, the screen display and the cross-section information held internally are updated in real time (step S 912). It is determined whether the operation input ends (step S 913). When it ends, the final extraction cross section is determined (step S914). Thereafter, automatic measurement is performed on the adjusted cross section (step S 915), and information on the extracted cross section and the measurement result is presented (step S 916) and displayed by the display unit 480 as in the flow shown in FIG. .
  • FIG. 1 An example of a screen (UI) displayed on the display unit 480 is shown in FIG.
  • This figure illustrates an AC measurement cross section as an example, and on the display screen 1200, a measurement cross section display block 1210, a cross section candidate display block 1220, a position adjustment slider 1230, a block indicating the type of cross section and measurement value, etc. Be done.
  • the measurement cross section display block 1210 the measurement cross section 1201 extracted by the cross section extraction unit 474 is displayed. Further, the position 1202 at which the measurement was performed on the measurement cross section 1201 and the measurement value 1204 are displayed.
  • a marker 1203 which can be dragged by a user operation is displayed on the measurement position 1202. By the drag operation of the marker 1203, the measurement position 1202 and the measurement value 1204 are updated.
  • the spatial positional relationship 1206 of each cross-sectional image in the three-dimensional volume data may be displayed in the cross-sectional candidate display block 1220, and a UI (candidate selection column 1207) for selecting a candidate may be displayed.
  • the candidate selection field 1207 is expanded, and the candidate cross sections 1208 and 1209 not extracted are displayed.
  • the candidate cross sections are, for example, cross sections at positions close to the extracted cross section, or cross sections with high scores, and although two are shown in the figure, the number of candidate cross sections may be three or more.
  • buttons 1208A and 1209A may be provided so that any of the candidate cross sections can be selected.
  • the position adjustment slider 1230 is, for example, a UI for adjusting the position so that a cross-sectional image can be extracted from an arbitrary position on volume data.
  • the operation input unit 490 transmits a signal to the cross section adjustment unit 476 according to the operation.
  • the cross-sectional adjustment unit 476 performs a series of processing such as cross-section update, switching, measurement position update, measurement value update, etc. according to the operation, and displays the processing result on the display unit 480.
  • fetal weight measurement As shown in FIG. 13, BPD (fetal head large lateral diameter) is measured from fetal head cross section 1310 to fetal structure 1300 to be measured, and abdominal cross section 1320 to AC (abdomen Measure the perimeter length, measure the FL (femoral length) from the femoral cross section 1330, estimate the weight of the fetus based on those measured values, compare with the growth curve according to the number of weeks, the fetus is smooth Determine if you are growing into BPD (fetal head large lateral diameter) is measured from fetal head cross section 1310 to fetal structure 1300 to be measured, and abdominal cross section 1320 to AC (abdomen Measure the perimeter length, measure the FL (femoral length) from the femoral cross section 1330, estimate the weight of the fetus based on those measured values, compare with the growth curve according to the number of weeks, the fetus is smooth Determine if you are growing into
  • the fetal head cross section As shown in FIG. 14 (a), it is a guideline to use a cross section having structural features such as a skull 1311, a midline 1312, a transparent septa 1313, and a quadriceps tank 1314 as a measurement cross section.
  • the measurement target differs depending on the country, for example, in Japan, the BPD (fetal head large lateral diameter) 1315 is measured from the fetal head cross section, and in the West, the OFD (fetal head anteroposterior diameter) 1316, HC It is common to measure 1317).
  • the target measurement position may be set in advance of the device or before measurement.
  • the measurement can be performed by an automatic measurement unit 475 (FIG. 4) by an automatic measurement technology such as the method described in Patent Document 1, for example.
  • an ellipse corresponding to the head is calculated from the features of the tomographic image, and the diameter of the head is calculated.
  • a cross section having structural features such as an abdominal wall 1321, an umbilical vein 1322, a gastric vesicle 1323, an abdominal aorta 1324 and a spine 1325 is taken as a measurement cross section.
  • AC abbreviations: AC
  • APTD abbreviations: APTD
  • TTD abdominal lateral diameter
  • a cross section having structural features such as the femur 1331, the distal end 1332 which is both ends of the femur, and the proximal end 1333 is recommended by the guidelines.
  • FL femoral bone length
  • the automatic measurement unit 475 calculates an estimated weight according to, for example, the following equation using each measurement value (BPD, AC, FL) measured in these three cross sections.
  • the automatic measurement unit 475 causes the display unit 480 to display the calculated estimated weight.
  • the embodiment of the ultrasonic imaging apparatus has been described above by taking the cross section extraction of the AC measurement cross section, the BPD measurement cross section, and the FL measurement cross section necessary for fetal weight measurement as an example, but this embodiment is identified based on the reduced learning model And 4V cross section of the heart (four heart cross section), 3 VV cross section (Three Vessel View), left ventricular outflow tract cross section, right ventricular outflow tract cross section, aortic artery for examining fetal heart function.
  • the present invention can also be applied to extraction of arch section and automatic extraction of measurement section of amniotic fluid pocket for measuring fetal amniotic fluid volume.
  • the advanced learning model by using the advanced learning model, it is possible to automatically and rapidly perform the cross section extraction highly dependent on the photographer.
  • a reduced model in which a learning model having a large layer configuration highly learned and a model having a relatively simple layer configuration are used, mounting on an ultrasonic imaging apparatus can be facilitated and processing can be speeded up. be able to.
  • FIG. 15 is a diagram showing acquisition of data and generation of cross-sectional groups from data memory when the extraction target is a continuous 2D cross-section on the time axis.
  • a 2D cross section continuously captured in time is accumulated in the data memory 472 while moving the 1D probe with respect to the fetus 101 to be examined.
  • the cross section data 1501 read from the data memory 472 is sampled on the time axis to generate a target cross section group 1502. That is, a search area on the time axis is determined, and a frame image on the time axis is selected. Similar to volume data, a coarse-dense approach may be used to determine the search area.
  • the target cross-section group is identified using the learning model called in advance by the model introduction unit 473.
  • the distribution on the time axis of the identification result is analyzed, and when a cross section suitable for measurement is found, the search is ended and the measurement cross section is determined.
  • the cross section called from the data memory may be updated by the imaging operation of the user at that time.
  • FIG. 15 shows the case where the 2D cross-sectional data is called from the data memory 472
  • the read data may be 3D volume data acquired by one scan or a plurality of 3D volume data continuously scanned in 4D mode.
  • the volume is updated after extraction of one cross section from one volume data, and the extraction of the cross section is performed. Finally, one cross section is determined from the candidate cross sections finally extracted from the plurality of volume data.
  • the second embodiment and its modification are embodiments in which the present invention is applied to an ultrasonic diagnostic apparatus, but the present invention is applicable to any medical imaging apparatus capable of acquiring volume data or time-series data.
  • the image processing unit is a component of the medical imaging apparatus.
  • the medical imaging apparatus (the imaging unit 100 in FIG.
  • the image processing of the present invention may be performed in an image processing apparatus or an image processing unit separated spatially or temporally from the above.
  • Information such as a program, a table, and a file for realizing each function can be placed in a memory, a hard disk, a recording device such as a solid state drive (SSD), or a recording medium such as an IC card, an SD card, or a DVD.
  • SSD solid state drive

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

医用撮像装置で取得した３Ｄボリュームデータ、または時間的に連続撮像した２Ｄ画像や３Ｄボリュームデータから、診断や計測に用いる所定の断面を決定する際に、撮像者依存性や撮像対象依存性の問題を回避して、高精度且つ高速で断面を自動抽出する技術を提供する。　撮像装置の画像処理部は、撮像データから所定の断面を抽出する断面抽出部を備える。断面抽出部は、複数の断面画像データに対し所定の断面との空間的又は時間的近さを、識別スコアとして出力するように予め学習された学習モデルを用いて、所定の断面を決定する。学習モデルは、高度に学習した層数の大きい学習済モデルと層数の小さい未学習モデルとを融合し、再学習した縮小モデルである。

Description

医用撮像装置及び画像処理方法
　本発明は、超音波診断装置、ＭＲＩ装置、ＣＴ装置等の医用撮像装置に係り、特に医用撮像装置で取得した３次元画像や時系列２次元又は時系列３次元画像から所定の断面を選択し、表示させるための技術に関する。
　医用撮像装置は、対象となる部位の形態画像を取得した後、画像を表示するだけでなく、形態情報や機能情報を定量的に取得する用途でも用いられる。このような用途として、例えば、超音波診断装置における、胎児の成長を観察するための推定体重計測がある。このような計測は、大きく分けて、画像取得、計測画像の選択、計測の３つの工程により行われる。画像取得の工程では、対象部位周辺を連続に撮像して、複数枚の２次元断面画像、またはボリュームデータを取得する。計測画像の選択の工程では、取得したデータから計測に最適な断面画像を選択する。計測の工程では、胎児の推定体重計測であれば頭部、腹部、脚部の各部位を計測し、計測値に対し、所定の計算式に従った計算を行い、体重を算出する。頭部や腹部の計測は、表面のトレースを必要とし、検査に時間がかかっていたが、近年では、トレースを自動で行い、所定の計算まで行う自動計測技術の提案されている（特許文献１等）。この技術により計測のワークフロー改善が実現されている。
　しかし、検査にもっとも時間と手間をかかるのは画像取得後の計測画像の選択である。特に胎児の場合は被検査者の腹部内部について、計測断面の存在場所の推定と描出が難しく、断面の取得に時間がかかる。胎児検査に必要な断面の取得が難しいという課題に対し、特許文献２には、３次元データから高エコー領域を抽出し、抽出した高エコー領域の３次元特徴に基いて断面を選択することが開示されている。具体的には、断面選択において、予め用意した３次元の特徴を示すテンプレートとのマッチングを行い、それらが一致する場合に、断面と決定する。
国際公開２０１６／１９０２５６号公報 国際公開２０１２／０４２８０８号公報
　一般に超音波画像の特徴として、撮像者や撮像回次ごとに撮像される画像データが異なること（撮像者依存性）と、撮像対象の体質や疾患により撮像される画像データが異なること（撮像対象依存性）が挙げられる。撮像者依存性は、超音波を照射し断面画像またはボリュームデータとして取得する体内の領域の探索を撮像の都度、人手で行うため、同一患者に対し同一検査者が検査を行ったとしても取得データを完全に一致させることが難しいことから生じる。また、撮像対象者依存性は、患者の体質により音波の体内伝搬速度および減衰率が異なること、患者の疾患や個人差により異なる患者間では臓器の形状が完全に一致しないことから生じる。つまり、計測に理想的な画像は、撮像者依存性および撮像対象者依存性の影響により、撮像回次や患者によらず取得することが難しい。取得されたデータには理想的な位置に対するずれ、画像の不鮮明、特徴的な形状の差異などが生じる。
　特許文献２に開示された技術は、予め用意したテンプレートとのマッチングによって断面を決定するため、上述した撮像者依存性や撮像対象依存性に対応することができない。
　ＭＲＩ装置やＣＴ装置では、超音波診断装置に比べ撮像者依存性は少ないが、個人差や同じ個人でも心臓や肺など時系列画像において形態変化がある場合、テンプレートとのマッチングで断面を決めることは困難である。
　また近年、画質の向上や特定疾患の判定などにＤＬ（Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ）技術を適用することが試みられているが、ＤＬで高い精度の識別力を達成するためには、高い処理能力を持つハードウェアが必要となり、また処理に要する時間も長くなるため、従来の医用撮像装置や処理の高速性が要求される医用撮像装置に搭載することは困難である。
　そこで、本発明は、医用撮像装置で取得した３Ｄボリュームデータ、または時間的に連続撮像した２Ｄ又は３Ｄ画像や３Ｄボリュームデータから、診断や計測に用いる所定の断面を決定する際に、撮像者依存性や撮像対象依存性の問題を回避して、高精度且つ高速で断面を自動抽出する技術を提供することを課題とする。
　上記課題を解決するため、本発明は、処理対象のデータから選択した複数の断面について、抽出すべき断面（目的断面）との空間的或いは時間的距離を識別スコアとして出力するように学習され、目的断面の抽出に適し且つ医用撮像装置に容易に搭載可能な学習済の学習モデルを提供する。そして、処理対象の断面画像の適性スコアを機械学習で得られたモデルを用いて算出することで、目的断面画像の抽出を高精度に実現する。
　すなわち、本発明の医用撮像装置は、被検体の画像データを収集する撮像部と、前記撮像部が収集した画像データから所定の断面を抽出する処理を行う画像処理部と、を備え、前記画像処理部は、複数の断面画像データに対し所定の断面との空間的又は時間的近さを、識別スコアとして出力するように予め学習された学習モデルを導入するモデル導入部と、前記画像データから複数の断面画像を選択し、選択した断面画像に対し前記学習モデルを適用した結果に基づき所定の断面を抽出する断面抽出部と、を備える。学習モデルは、学習済モデルの特徴量抽出層と未学習モデルの識別層とを融合し縮小化した学習モデルであり、融合前の学習済モデルよりも簡易な層構成からなる。
　また本発明の画像処理方法は、撮像データから、処理対象となる目的断面を決定し、提示する画像処理方法であって、複数の断面画像について目的断面画像との空間的又は時間的近さを識別スコアとして出力するように学習された学習モデルを用意するステップと、当該学習モデルを用いて、前記撮像データから選択した複数の断面画像について前記識別スコアの分布を得て、当該分布に基き前記目的断面を判定するステップと、を含む。前記学習モデルは、前記撮像データを構成する複数の断面画像と目的断面画像とを学習データとして学習した学習済モデルの特徴量抽出層と、未学習モデルの識別層とを融合し、再学習した縮小化モデルである。
　本発明によれば、学習モデルを断面抽出に適用することで、計測に最適な断面画像の自動抽出において、手技依存性の軽減、検査時間の短縮を実現できる。また、学習モデルとして、高精度な複雑なモデルを、その精度を維持したまま縮小した簡素な縮小化モデルを用いることで、医用撮像装置において標準的な画像処理部の規模を維持したまま、学習モデルを装置に搭載することができ、且つ高速処理が可能となる。
医用撮像装置の全体構成を示す図 第一実施形態の画像処理部の要部の構成を示す図 第一実施形態の画像処理部の処理工程を示すフローチャート 第二実施形態の医用撮像装置（超音波診断装置）の構成を示すブロック図 学習モデルの融合・縮小化を説明する図 ＣＮＮを用いた学習モデルの融合・縮小化を説明する図 学習モデルの学習過程を説明する図 第二実施形態の断面選択処理を説明する図 第二実施形態の断面抽出の処理工程を示すフローチャート 第二実施形態の断面選択における探索領域を説明する図 第二実施形態の抽出断面の調整工程を示すフローチャート 抽出断面の表示例と断面調整のＧＵＩを示す図 胎児の体重計測における計測断面を説明する図 （ａ）～（ｃ）は、図１３の各計測断面における計測位置を示す図 時系列２Ｄ画像の取得及びデータメモリからの断面群生成を説明する図
　以下、本発明の実施形態を、図面を用いて説明する。
＜第一実施形態＞
　本実施形態の医用撮像装置１０は、図１に示すように、被検体を撮像し、画像データを取得する撮像部１００と、撮像部１００が取得した画像データに対し画像処理を行う画像処理部２００と、撮像部１００が取得した画像或いは画像処理部２００が処理した画像を表示する表示部３１０と、撮像部１００や画像処理部２００の処理に必要な指令やデータをユーザが入力するための操作入力部３３０とを備える。表示部３１０及び操作入力部３３０は、通常、近接して配置され、ユーザーインターフェイス（ＵＩ）３００として機能する。医用撮像装置１０は、さらに撮像部１００が得た画像データや画像処理部２００が処理に用いるデータや処理結果などを格納する記憶装置３５０を備えていてもよい。
　撮像部１００の構成は、モダリティによって異なり、ＭＲＩ装置であれば、静磁場中に置かれた被検体から磁気共鳴信号を収集するための磁場発生手段等が備えられる。またＣＴ装置であれば、被検体にＸ線を照射するＸ線源や被検体を透過したＸ線を検出するＸ線検出器及びＸ線源とＸ線検出器とを被検体の周りで回転させる機構などが備えられる。超音波診断装置では被検体に超音波を送信し、被検体からの反射波である超音波を受信して超音波画像を生成する手段を備える。撮像部において画像データを生成する手法もモダリティにより異なるが、最終的にはボリュームデータ（３Ｄ画像データ）或いは時系列の２Ｄ画像データ又はボリュームデータを得る。以下では、これらをまとめてボリュームデータとして説明する。
　画像処理部２００は、撮像部１００から入力した３Ｄボリュームデータから所定の断面（目的断面という）を抽出する断面抽出部２３０、及び３Ｄボリュームデータに含まれる複数の断面の情報を入力し、各断面の特徴から、断面と目的断面との近さを表すスコアを出力する学習モデル（識別器）を断面抽出部２３０に導入するモデル導入部２５０を備える。目的断面は、診断の目的や断面に対する画像処理の目的によって異なるが、ここでは断面に含まれる構造体、例えば所定の臓器や部位の大きさ（幅、長さ、直径、周囲長など）を計測するのに適した断面とする。さらに、画像処理部２００には、断面抽出部２３０が抽出した断面の画像データに対しさらに計測その他の演算を施す演算部２１０や断面抽出部２３０が抽出した断面や演算部の結果等を表示部３１０に表示させるための表示制御部２７０を備えていてもよい。
　断面抽出部２３０が使用する学習モデルは、目的断面が既知であるボリュームデータの目的断面画像を正解画像として、その３Ｄボリュームデータに含まれる多数の断面画像と正解画像との類似度をスコアとして出力するように学習した機械学習モデルであり、例えば、ＣＮＮ（畳み込みニューラルネットワーク）で構成することができる。また本実施形態の学習モデルは、高度に学習した学習済モデル（第一の学習済モデル）と、それより層数が少ない未学習モデルとを融合して作成した縮小化モデル（第二の学習済モデル）である。縮小化モデルは、融合後に学習済ＣＮＮと同様の学習が行われている。第一の学習済モデルは、層数が多く、学習に要する繰り返し回数が多いが、学習の精度が高いものである。縮小化モデルは、このように高い精度で学習されたモデルの各層の一部、例えば特徴量抽出層を含む特に高精度に学習した層と、未学習モデルのうち学習の寄与が比較的少ない層、例えばＣＮＮの下層側の識別層とを結合したものであり、第一の学習済モデルより層数が少ない簡易な構成となっている。学習モデルとして、このような縮小化モデルを用いることで、医用撮像装置への搭載が可能となり、また画像処理部２００の処理時間を短縮することができる。学習モデルの具体的な構造や学習過程については後述の実施形態において詳述する。
　学習モデル（縮小化モデル）は、医用撮像装置１０において或いは医用撮像装置１０とは独立した計算機等で予め作成され、記憶装置３５０に格納されている。識別タスクの違いにより複数の縮小化モデルを格納しても良い。例えば、計測対象の断面が複数存在する場合には、計測対象ごとに例えば、頭部、胸部、脚部のそれぞれについて、作成される。また目的断面の種類が、複数ある場合には、目的断面の種類に応じて作成される。縮小化モデルが複数存在する場合には、モデル導入部２５０が識別タスクに応じて必要なモデルを呼び出し、断面抽出部２３０に渡す。
　このためモデル導入部２５０は、図２に示すように、記憶装置から処理目的に適合する学習モデル２２０を読出し保存するモデル保存部２５１と、モデル保存部２５１から学習モデルを呼び出し、断面抽出部２３０に適用するモデル呼出部２５３と、を備える。また断面抽出部２３０は、ボリュームデータ２４０から複数の断面の画像データを選出する断面選出部２３１と、断面選出部２３１が選出した断面の画像データについて、モデル導入部２５０が読み出した学習モデルを用いて、当該断面と目的断面との近さを表すスコアを出力する断面識別部２３３と、断面識別部２３３の出力であるスコアを解析し目的断面を決定する判定部２３５とを備える。
　このような画像処理部２００の機能の一部又は全部は、ＣＰＵが実行するソフトウェアとして実現することができる。また撮像部の画像データ作成に係る部分や画像処理部の一部はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などのハードウェアで実現してもよい。
　以上の、構成を踏まえ、本実施形態の医用撮像装置の動作、主として画像処理部２００の処理の流れを、図３を参照して説明する。ここでは撮像と画像表示とを並行して実行する場合を例に説明する。
　まず前提として、例えば、操作入力部３３０を介して、ユーザによる目的断面の種類が選択される。目的断面の種類とは、計測のための断面か構造体の延びる方向を確定するための断面かなど目的の違いによる種類、及び計測の対象（部位や臓器か或いは胎児か）の違いによる種類などがある。このような入力は、撮像条件の設定時に行ってもよいし、撮像条件が設定されるとデフォルトで設定されるようにしてもよい。
　撮像部１００が撮像して得た３Ｄ画像データを受け取ると、断面選出部２３１が３Ｄ画像データから複数の断面を選出する（Ｓ３０１）。ここで目的断面の画像空間における方向がわかっている場合には、その方向に平行な複数の断面を選出し、断面識別部２３３に渡す。例えば、Ｚ軸を体軸方向とするとき、ＸＹ面であることがわかっているときには、ＸＹ面を所定の間隔で選出する。ボリュームデータに含まれる構造体（組織や部位）によって目的断面は、一定に定まらないので、その場合は、種々の方向の断面を選出する。断面選出の仕方は、所謂「粗‐密アプローチ（ｃｏａｒｓｅ　ｔｏ　ｆｉｎｅ　ａｐｐｒｏａｃｈ）」とすることが好ましい。このアプローチでは、断面選出部２３１による選出と断面識別部２３３による識別とを繰り返しながら、繰り返し毎に、断面を選出する領域（探索領域という）を比較的広い領域から狭い領域に狭めていく。探索領域が狭まるにつれ、選出する断面の間隔を狭くし、さらに断面の角度の数を増やしてもよい。
　一方、モデル導入部２５０は、予め設定された目的断面の種類に応じて記憶装置３５０から学習モデルを読出し、モデル保存部２５１に保存しておく。断面選出部２３１が選出した断面を断面識別部２３３に渡すと、モデル呼出部２５２はモデル保存部２５１から適用すべき学習モデルを呼び出す。断面識別部２３３は、この呼び出された学習モデルを用いて、選出された断面の特徴抽出と識別とを行い、識別結果であるスコアの分布を出力する（Ｓ３０２）。スコアの分布は、目的断面と処理対象である断面との類似度を示すスコアを、複数の断面の目的断面からの距離に対しプロットした分布であり、スコアが高いほど目的断面との空間的距離が近づく分布となる。スコアの分布は、目的断面と一致する断面のスコアを１とし、０～１の間の数値を取る。
　識別結果判定部２３５は、断面識別部２３３の結果であるスコアの分布を受け取り、最終的にスコアが最もよいもの、上述の例ではスコアが１或いは最も１に近い断面を目的断面と決定する（Ｓ３０３）。
　こうして断面抽出部２３０によって目的断面が抽出されると、表示制御部２５０はこの断面を表示部３１０に表示させる（Ｓ３０４）。或いは演算部２４０が自動計測機能を備える場合には、この断面に存在する構造体の計測を行い、その結果を、表示制御部２５０を介して表示部３１０に表示させる（Ｓ３０５）。識別タスクが複数ある場合、或いはユーザ調整により再処理が必要な場合は、ステップＳ３０１に戻り（Ｓ３０６）、Ｓ３０１～Ｓ３０４（Ｓ３０５）を繰り返す。
　本実施形態によれば、予め目的断面と最も近い断面を識別するように学習したモデル（識別器）を用いることで、短時間に且つ自動的に目的断面を決定することができる。また本実施形態によれば、学習モデルは、予め高度に学習したモデルの層の一部と、構造が比較的簡単な未学習のモデルの層の一部とを融合し、再学習したものであるので、撮像装置への実装が容易で且つ学習モデルによる処理時間を大幅に短縮できる。その結果、撮像から目的断面表示或いは目的断面を用いた計測までの時間を短縮し、リアルタイム性を高めることができる。
　なお第一実施形態では、処理の対象が３Ｄボリュームデータの場合を例に説明を行ったが、時系列データの場合も同様に適用することができる。即ち、時系列データは、例えば時系列２Ｄ画像データの場合、３Ｄの一つの次元が時間の次元に置き換わったものであり、種々の時相の断面画像で構成されている。このうち、所定の時相の画像を目的断面とするとき、撮像中の時系列２Ｄ画像データを所定の時間単位で、画像処理部２００に入力し、上述した処理を行うことで、目的の時相の断面を自動的に識別し表示させることができる。
　また時系列２Ｄ画像データに目的断面が含まれない場合には、撮像を連続して行いながら画像処理部２００による処理を平行して行うことで、目的断面の探索を行うことができる。
　なお時系列２Ｄ画像データの場合には、断面選出部２３１は、撮像断面（一方向の面）のみを選出すればよいので、高速な処理が可能となる。また所定の間隔で撮像される撮像断面を全て選択してもよい。
　以上、モダリティに関わりなく適用可能な本発明の実施形態を説明した。以下では、本発明を超音波撮像装置に適用した実施形態を説明する。
＜第二実施形態＞
　まず図４を参照して、本発明が適用される超音波診断装置の構成を説明する。本実施形態の超音波診断装置４０は、超音波撮像部４００として、探触子４１０と、送信ビームフォーマ４２０と、Ｄ／Ａコンバータ４３０と、Ａ／Ｄコンバータ４４０と、ビームフォーマメモリ４５０と、受信ビームフォーマ４６０とを備え、さらに、画像処理部４７０と、表示部４８０と、操作入力部４９０を備える。
　探触子４１０は、所定の方向に沿って配列された複数の超音波素子で構成される。各超音波素子は、例えば、セラミックで生成されたセラミック素子である。探触子４１０は、検査対象１０１の表面に接するよう配置される。
　送信ビームフォーマ４２０は、Ｄ／Ａコンバータ４３０を介して複数の超音波素子の少なくとも一部から超音波を送信させる。探触子４１０を構成する各超音波素子から送信される超音波それぞれに対して、所定の深度で集束するよう遅延時間を与え、所定の深度で集束する送信ビームを生成する。
　Ｄ／Ａコンバータ４３０は、送信ビームフォーマ４２０から送信パルスの電気信号を音響信号に変換する。また、Ａ／Ｄコンバータ４４０は、探触子４１０において受信した、検査対象１０１の内部を伝播する過程で反射した音響信号を再び電気信号に変換し受信信号を生成する。
　ビームフォーマメモリ４５０は、Ａ／Ｄコンバータ４４０を介して、送信毎に、超音波素子の出力する受信信号に対して受信焦点ごとの整相遅延データを格納する。受信ビームフォーマ４６０は、Ａ／Ｄコンバータ４４０を介して、送信毎に、超音波素子の出力する受信信号を受け取り、ビームフォーマメモリ４５０に格納された送信ごとの整相遅延データと受け取った受信信号から整相信号を生成する。
　画像処理部４７０は、受信ビームフォーマ４６０で生成した整相信号を用いて超音波画像を生成し、撮像した３Ｄボリュームデータ、またはシネメモリ内に蓄積した２Ｄ断面画像群から計測に最適な画像を自動抽出する。このため、画像処理部４７０は、受信ビームフォーマ４６０で生成した整相信号を用いて超音波画像を生成するデータ構成部４７１と、データ構成部において生成された画像データを格納するデータメモリ４７２と、予め装置に搭載した縮小された機械学習モデルを導入するモデル導入部４７３と、機械学習モデルを用いて、データメモリ４７２から取得した３Ｄボリュームデータまたは蓄積した２Ｄ断面画像群から計測に最適な画像を自動抽出する断面抽出部４７４と、抽出断面に対して所定の部位の自動計測を行う自動計測部４７５と、ユーザ操作入力を受ける断面調整部４７６と、を備える。さらに図示していないが、ドプラ撮像を行う場合には、ドプラ信号を処理するドプラ処理部などを備えていてもよい。
　データ構成部４７１の機能は、従来の超音波撮像装置と同様であり、Ｂモード或いはＭモード等の超音波画像を生成する。
　モデル導入部４７３及び断面抽出部４７４は、それぞれ、第一実施形態のモデル導入部２５０及び断面抽出部２３０に対応する機能を実現するものであり、図２に示した機能ブロック図と同様の構成を有する。即ち、モデル導入部４７３はモデル保存部とモデル呼出部を備え、断面抽出部４７４は、断面選出部（２３１）、断面識別部（２３３）、識別結果判定部（２３４）を備える。以下の説明において、適宜、図２を援用する。断面選出部２３１は、データメモリ４７２に格納されたデータのうち、１人の患者におけるボリュームデータまたは２Ｄ断面画像群を読み出す。また、データメモリから読み出すデータは、２次元断面を撮像した動画データ、または動的に更新された画像でも良い。断面識別部２３３は、モデル導入部４７３で導入した学習モデルを用いて断面選出部２３１により選出された対象断面画像群を識別する。識別結果判定部２３５は、断面識別部２３３の識別結果を分析し、識別を終了するか否かおよび次の断面選出範囲を決定する。
　自動計測部４７５は、公知の自動計測アルゴリズムを組み込んだソフトウェアで構成することができ、抽出された１乃至複数の断面から、予め定められた部位のサイズ等の計測を行い、所定のアルゴリズムを用いてサイズ等の値から目的の計測値を算出する。
　断面調整部４７６は、表示部４８０に表示された断面抽出部４７５による抽出断面について、ユーザによる修正や調整を、操作入力部４９０を介して受け付け、断面位置の変更やそれにともなく自動計測の再処理の指令を自動計測部４７５に与える。
　表示部４８０は、画像処理部４７０において抽出された超音波画像及びその計測値と計測位置を表示する。操作入力部４９０は、ユーザ入力により抽出された断面の位置調整、断面の切り替え、計測位置の調整を受け付けるための入力デバイスからなる。画像処理部４７０はユーザ入力により一部の処理を再度行い、表示部４８０の表示結果を更新する。
　次にモデル導入部４７３のモデル保存部２５１に保存された学習モデルについて説明する。
　この学習モデルは、予め装置に搭載されている高精度の縮小化モデルである。この縮小化モデルは、図５に示すように、機械学習を用いて、学習データベース５００から学習した高精度なモデル５１０と、未学習モデル５３０とを融合して再学習するモデル融合部により獲得され、精度を維持したまま、装置搭載可能な簡素なモデル５５０である。モデル融合部の機能は、超音波撮像装置４０とは別の画像処理装置やＣＰＵ等で実現することが可能であるが、超音波撮像装置４０がＣＰＵを搭載する場合には、当該装置内のＣＰＵで実現してもよい。また学習データベース５００は、予め多数の画像データ、例えば胎児の各生長週の３Ｄ画像や計測に用いた断面画像を収納したものである。
　縮小化した機械学習のモデルの具体的な構造について、Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ（ＤＬ）の一つであるＣＮＮを例に説明する。
　図６に示すように、高い精度を担保するため、学習済み高精度のモデル５１０は深い層構成を持ち、層の前段において特徴量を抽出するための畳込層５１１を複数有する。層の後段においては特徴量の識別スコアを算出するための大きい次元のフルコネクション層（プーリング層）５１３をいくつか有する。畳込層５１１のうち、特に入力層に隣接する１乃至複数の層は特徴量抽出に寄与する層であり、特徴量抽出層５１５という。またフルコネクション層５１３に近い層は識別に寄与する層であり、識別層という。モデル５１０は、識別精度が高いがモデルサイズが大きく処理時間がかかる。一方、未学習モデル５３０はモデル５１０と同様に複数の畳込層及びフルコネクション層を有するが、層構成は簡素でサイズが小さく、例えば畳込層の数が学習モデル５１０より少なく、またフルコネクション層の次元数が小さい。未学習モデル５３０は、識別速度は速いが精度は高くない。
　縮小化モデル５５０は、学習済みモデル５１０の層構成の一部である特徴量抽出層５１５と未学習モデル５３０の識別層５３１とをモデル融合させて、新たな層構成を構築し、さらに、学習データベース５００を用いて再学習させたものである。
　なお、図５に示すモデル５１０，５３０及び５５０の層構成は、モデル縮小化の手法を説明するための一例であって、層構成は図示するものに限定されるものではなく、上述した縮小化手法に適用できる様々な層構成が含まれる。
　次に、学習済モデル５１０の生成方法（学習過程）について、図７を参照して説明する。図７は高速かつ高精度な探索を実現するための学習モデル生成を示した図である。図７に示すように、学習用ボリュームデータ７００から学習用計測断面群７０１と非計測断面群（計測断面ではない断面）７０２を生成し、これを学習データとして機械学習を行うことで、これらの計測断面と非計測断面の特徴が自動的に抽出される学習モデル７１０を得る。さらに、学習モデルは、入力した断面（識別断面）に対して計測断面らしさのスコア（識別スコアという）を算出し、複数の断面についてそれぞれ算出したスコアの分布（スコア分布）７０５を作成する。なお図では簡略した一次元に展開した分布を示しているが、実際には三次元的な分布となる。
　一般に、生体のボリュームデータにおいて、計測断面位置と空間的に近いほど断面の識別スコアが高くなる。従って、図７に示すように、スコア分布７０５は、計測断面位置を中心としたとき、中心で最も高く中心から離れるにつれてスコアが低下する分布となるはずである。
　そこで学習モデルの学習過程において、学習モデルの出力であるスコア分布７０５を確認し、それが、計測断面位置と空間的に近いほど断面の識別スコアが高い分布、になるように、学習データを調整するとともにモデルを構成する各層の重み係数を調整して、機械学習を繰り返す。学習データの調整においては、生体の解剖学的な情報を用いて、非計測断面と計測断面の空間的な距離と取得位置を調整する。このような調整の繰り返しにより、識別スコアの分布から計測断面を探索するのに適した高精度の学習モデルが生成される。処理対象とする計測断面が複数ある場合には、複数の計測断面について、それぞれ学習モデルが生成される。
　また学習データがボリュームデータではなく時間的に連続する２Ｄ断面の場合は、図７のスコア分布７０５の横軸を空間軸から時間軸に置き換えたスコア分布を生成する。そして、時間軸において計測断面の近いフレームの断面が計測断面と類似していることを利用し、計測断面に時間軸で近い位置ほど識別スコアが高い分布となるように、学習データのサンプリング間隔を調整する。これによりボリュームデータを学習データとしたときと同様に学習モデルが生成される。
　このように学習した学習済のモデル５１０と未学習のモデル５３０とを融合した上述の縮小化モデル５５０についても同様の学習を行う。ただし、この再学習時においては、識別層５３１を中心に学習を行うように、学習済モデル５１０と未学習モデル５３０の学習率を調整する。即ち、学習済モデル５１０から転移した特徴量抽出層５１５の重み係数を保持し、未学習モデル５３０から転移した識別層５３１の学習率を高くする。これにより高精度と高速処理を両立した縮小化モデル５００を獲得することができる。
　上述した超音波撮像装置４０の構成を踏まえ、本実施形態の断面抽出部４７４の各部による、計測に最適な断面を抽出する流れを説明する。
　ここでは一例として、胎児の頭部大横径（ＢＰＤ）、腹部周囲長（ＡＣ）及び大腿骨長さ（ＦＬ）を計測し体重推定を行う場合を例に説明する。胎児の体重推定においては、まず、図８に示すように、機械式メカプローブまた電子式２Ｄプローブ４１０を用いて、検査対象である胎児１０１に対し、ボリュームスキャンし、データメモリ４７２にボリュームデータを保存する。断面抽出部４７４は、データメモリ４７２から取得したボリュームデータ８００を呼び出し、決定された探索領域内の切断位置８０１から断面を切り出し、対象となる切断面群８０２を獲得する。切り出す断面は、ボリュームデータの軸（Ｚ軸）に対し垂直な面、Ｚ軸に平行な面、これらを偏角方向や仰角方向に回転させた面などを含む。
　断面抽出の処理工程の具体的な実施形態を、図９を参照して詳述する。断面抽出処理は、ユーザが抽出開始の指示を行うことにより、開始される。計測開始の指示が、抽出開始の指示を兼ねていても良い。
　断面抽出処理が開始されると、まず、断面抽出部４７４（図２：断面選出部２３１）が、データメモリ４７２より、操作者によりあらかじめ指定された１人の患者におけるボリュームデータまたは連続撮像した２Ｄ画像群を読み出し、処理の対象データに対して、入力形式と抽出対象の種類と抽出しようとする断面の種類を識別する（ステップＳ９０１）。入力形式の識別は、例えば３Ｄデータか２Ｄデータかを識別する。また、抽出対象の種類や断面の種類は、計測の目的に応じた抽出すべき部位や断面の種類が複数ある場合において、そのいずれかを識別する。
　ステップＳ９０２は、断面を抽出する領域（探索領域）を広い領域から順次狭めていく「粗－密アプローチ」で行う。そのため、まず断面選出部（図２：２３１）は、初期の探索領域を決定し（ステップＳ９０２）、対象となる断面群を生成する（ステップ９０３）。「粗－密アプローチ」による探索領域の決定の一例を図１０に示す。図１０の（ａ）、（ｃ）は、扇面の回転体であるボリュームデータを、模式的に回転軸を中心とする平面図で示したものである。初期の探索領域１００１は（ａ）に示すように、このボリュームデータ全領域とし、偏角方向及び半径方向に比較的粗い間隔でサンプリング点（黒丸）１００２を設定し、サンプリング点１００２を通る回転体の接線方向の断面を抽出する。
　次いで断面識別部（図２：２３２）は、抽出した断面群について、予めモデル導入部４７３により呼び出した学習モデル（図６：縮小化学習モデル５５０）を適用し、断面群を構成する各断面を識別して、目的断面との近さを示すスコアを取得する（ステップＳ９０４）。学習モデル５５０による処理は、断面群を構成する個々の断面を並列処理により行うことができ、最終的に個々の断面のスコアを集計したスコア分布が得られる。ステップＳ９０４で用いる学習モデルは、計測断面の種類、ＢＰＤ計測断面、ＡＣ計測断面、及びＦＬ計測断面、のそれぞれについて、図７に示したような学習過程により予め作成され、モデル保存部（２５１）に格納されており、モデル呼出部（２５２）が処理対象である計測断面に相当する学習モデルを導入する。
　断面抽出部４７４は、学習モデルによる各断面の識別結果であるスコアの分布を解析し（ステップＳ９０５）、初期の探索領域１００１より狭い領域に、探索領域を絞る。スコアの分布は、図７に示したように、横軸を目的断面からの距離とし、縦軸をスコアとしたもので、次の探索領域をピークに近い領域に絞る。ピークが複数ある場合には、複数のピークを含むように探索領域を決定する。図１０（ｂ）に示す例では、ステップＳ９０５の結果、次の探索領域の中心１００３と探索範囲１００４が決定し、決定した探索領域１００４から、複数の断面群（白丸で示すサンプリング点を含む断面）を抽出する。この断面群についても、同様に学習モデルを適用してスコアの分布を取得し、さらに断面群を抽出する領域を絞る。
　このようにステップＳ９０５では、スコア分布の解析結果に基づいて、探索領域が十分に絞られたか、計測に適した断面が見つかったかを判断し、探索終了するか否かを決定する（ステップＳ９０６）。探索を終了しない場合、結果の解析に基づいて計測断面らしい領域に近づく新たな探索領域を決定する（ステップＳ９０２）。
　ステップＳ９０２からステップＳ９０６までの処理を複数回繰り返し、探索領域を絞り込みながら、最適な計測断面を抽出することで、高速かつ漏れなく探索することができる。なお、探索領域がある程度小さくなった時点で、断面の方向（角度）を偏角方向のみならず仰角方向に変化させてもよい。このように、探索領域の絞込みをループのように複数回繰り返すことで、少ない識別回数でスコアが高い計測断面を抽出することが可能となる。
　ステップＳ９０６で探索終了と判定された場合、抽出した最適な計測断面に対して自動計測或いは適宜マニュアルによる計測を実施する（ステップＳ９０７）。最後に、抽出した断面、断面の空間上の情報、計測値及び計測位置、他の上位候補など複数の抽出結果を提示する（ステップＳ９０８）。提示した抽出結果を表示部４８０により表示し、終了する。
　なお、断面の自動抽出は診断の補助機能であり、最終的な診断はユーザが決定する必要がある。本実施形態では、断面調整部４７６が操作入力部４９０の信号を受け付けることで、ユーザの好みにより簡単な操作で断面の調整、切り替え、計測の見直しを実現することができる。断面調整を行う場合のフローを図１１に示す。断面調整は、上述した計測断面の抽出と表示が終了した後、ユーザの画面操作を受ける操作入力部４９０からの信号を受けることで処理を開始する。入力の信号に応じて、断面の調整、切り替え、計測の見直しのいずれが指示されたのか、入力操作の種類を識別する（ステップＳ９１１）。入力に応じて画面表示と、内部に保持する断面情報とをリアルタイムに更新する（ステップＳ９１２）。操作入力が終了するかどうかを判定する（ステップＳ９１３）。終了する場合、最終的な抽出断面を決定する（ステップＳ９１４）。その後、調整断面に対して自動計測を行う（ステップＳ９１５）こと、抽出断面と計測結果等情報を提示し（ステップＳ９１６）、表示部４８０により表示することは、図９に示すフローと同様である。
　表示部４８０に表示される画面（ＵＩ）の一例を図１２に示す。本図はＡＣ計測断面を例に説明したものであり、表示画面１２００上に、計測断面表示ブロック１２１０、断面候補表示ブロック１２２０、位置調整スライダ１２３０、断面の種類や計測値を示すブロックなどが表示される。計測断面表示ブロック１２１０には、断面抽出部４７４により抽出された計測断面１２０１を表示する。また計測断面１２０１において計測を行った位置１２０２と計測値１２０４を表示する。計測位置１２０２上にはユーザ操作によりドラッグ可能なマーカ１２０３を表示する。マーカ１２０３のドラッグ操作により、計測位置１２０２と計測値１２０４が更新される。
　断面候補表示ブロック１２２０に、３次元ボリュームデータにおける各断面画像の空間的な位置関係１２０６を表示し、候補を選択するためのＵＩ（候補の選択欄１２０７）を表示してもよい。抽出された計測断面をユーザが変更したい場合は、候補の選択欄１２０７を展開するとともに、抽出されなかった候補断面１２０８、１２０９を表示する。候補断面は、例えば抽出断面に近い位置にある断面や、スコアが高い断面であり、図では、２つ表示しているが、候補となる断面の数は３つ以上でもよい。また候補断面のいずれかを選択できるようボタン１２０８Ａ、１２０９Ａを設けてもよい。
　位置調整スライダ１２３０は、例えば、ボリュームデータ上の任意の位置から断面画像を抽出できるよう位置調整するためのＵＩである。位置調整スライダ１２３０或いは候補ボタン１２０８Ａ、１２０９Ｂ等をユーザが操作すると、操作に応じて操作入力部４９０は信号を断面調整部４７６に送信する。断面調整部４７６は、操作に応じて断面の更新、切り替え、計測位置の更新、計測値の更新など一連の処理を行ない、処理結果を表示部４８０に表示する。
　計測対象断面が複数ある場合には、各断面について、図９及び図１１に示す手順を繰り返し、計測結果を得る。前掲の例では、ＢＰＤ計測断面、ＡＣ計測断面、及びＦＬ計測断面、のそれぞれについて、計測結果を得る。
　自動計測の具体例を、胎児の体重計測を例に説明する。胎児の体重計測は、図１３に示すように、計測対象である胎児の構造１３００に対して、胎児頭部断面１３１０からＢＰＤ（児頭大横径）を計測し、腹部断面１３２０からＡＣ（腹部周囲長）を計測し、大腿骨部断面１３３０からＦＬ（大腿骨長）を計測し、それらの計測値に基づいて胎児の体重を推測し、週数に応じた成長曲線と見比べ、胎児が順調に成長しているかを判断する。
　胎児頭部断面では、図１４（ａ）に示すように、頭蓋骨１３１１、正中線１３１２、透明中隔１３１３、及び四丘体槽１３１４などの構造特徴を有する断面を計測断面とすることが、ガイドラインにより推奨されている。計測対象は、国によって異なるが、例えば、日本においては胎児頭部断面からＢＰＤ（児頭大横径）１３１５を計測し、欧米においてはＯＦＤ（児頭前後径）１３１６、ＨＣ（児頭周囲長）１３１７を計測するのが一般的である。対象となる計測位置は装置の事前設定、または計測前に設定しても良い。計測は、自動計測部４７５（図４）が、例えば、特許文献１に記載された手法などの自動計測技術により行うことができる。この技術では、頭部であれば、断層画像の特徴から頭部に対応する楕円を算出し、頭部の径を算出する。
　胎児腹部断面では、図１４（ｂ）に示すように、腹部壁１３２１と、臍静脈１３２２と、胃胞１３２３と、腹部大動脈１３２４と、脊椎１３２５などの構造特徴を有する断面を計測断面とするがガイドラインにより推奨されている。一般的にＡＣ（腹部周囲長）１３２６が計測される。地域によりＡＰＴＤ（腹部前後径）１３２７、ＴＴＤ（腹部横径）１３２８が計測される場合もある。対象となる計測位置は装置の事前設定、または計測前に設定しても良い。計測手法は、頭部の場合と同様である。
　胎児大腿骨部断面では、図１４（ｃ）に示すように、大腿骨１３３１と、大腿骨の両端である遠位端１３３２と、近位端１３３３などの構造特徴を有する断面がガイドラインにより推奨されている。この計測断面からＦＬ（大腿骨長）１３３４が計測される。
　自動計測部４７５は、これら三断面において計測した各計測値（ＢＰＤ、ＡＣ、ＦＬ）を用いて、例えば次式により推定体重を算出する。
　推定体重＝ａ×（ＢＰＤ）３＋ｂ×（ＡＣ）２×（ＦＬ）
　（ａ、ｂは経験値から求められた係数で、例えばａ＝１．０７、ｂ＝０．３０である）
自動計測部４７５は算出した推定体重を表示部４８０に表示させる。
　以上、胎児体重計測に必要なＡＣ計測断面、ＢＰＤ計測断面、ＦＬ計測断面の断面抽出を例に、超音波撮像装置の実施形態を説明したが、本実施形態は縮小化学習モデルをベースに識別と抽出を行うことが特徴であり、胎児の心機能を調べるための心臓の４ＣＶ断面（心臓四腔断面）、３ＶＶ断面（Ｔｈｒｅｅ　Ｖｅｓｓｅｌ　Ｖｉｅｗ）、左室流出路断面、右室流出路断面、大動脈弓断面の抽出や、胎児の羊水量を測定する羊水ポケットの計測断面の自動抽出に適用することも可能である。また、胎児に限らず、成人の心臓、循環器の計測や観察に必要な標準断面の自動抽出に適用することも可能である。
　本実施形態によれば、高度学習モデルを用いることにより、撮像者依存性の高い断面抽出を自動的且つ高速に行うことができる。また高度に学習した層構成の大きい学習モデルと層構成が比較的簡易なモデルとを融合した縮小化モデルを用いることにより、超音波撮像装置への実装を容易にし、且つ処理の高速化を図ることができる。
　さらに本実施形態によれば、断面抽出において、粗－密アプローチを採用することにより、高速に且つ漏れなく断面の探索を行うことができる。
＜第二実施形態の変形例＞
　上述した実施形態では、１人の患者における１回の検査で撮像されたボリュームデータを処理する場合を説明したが、本実施形態は、一時刻前または過去数回にわたる検査で撮像された２Ｄ画像群についても適用できる。以下、入力データが時間的に連続する２Ｄ画像の場合を説明する。
　図１５は抽出対象が時間軸における連続２Ｄ断面である場合に、データの取得及びデータメモリからの断面群生成を示した図である。本実施形態において、検査対象である胎児１０１に対し、１Ｄプローブを移動しながら、時間的に連続撮像した２Ｄ断面がデータメモリ４７２に蓄積されている。データメモリ４７２から呼び出した断面データ１５０１に対して、時間軸上でサンプリングし、対象断面群１５０２を生成する。即ち、時間軸における探索領域を決定し、時間軸上のフレーム画像を選定する。探索領域の決定については、ボリュームデータと同様に、粗－密アプローチをとってもよい。
　その後、断面識別部（２３３）において、予めモデル導入部４７３により呼び出した学習モデルを用いて対象断面群を識別する。識別結果の時間軸上の分布を解析し、計測に適した断面が見つかった時点で探索を終了し、測定断面を決定する。この画像処理と並行して撮像が連続行われている場合には、データメモリから呼び出す断面を、その時刻におけるユーザの撮像操作により更新しても良い。
　なお図１５ではデータメモリ４７２から２Ｄ断面データを呼び出す場合を示したが、読み出すデータは１回のスキャンで取得した３Ｄボリュームデータでも良いし、４Ｄモードで連続スキャンした複数の３Ｄボリュームデータでも良い。入力データが複数の３Ｄボリュームデータである場合、一つのボリュームデータから一つの断面抽出後に、ボリュームを更新し断面の抽出を行う。最終的に複数のボリュームデータから抽出した候補断面から、最終的に一つの断面を決定する。
＜その他の変形例＞
　第二実施形態とその変形例は、本発明を超音波診断装置に適用した実施形態であるが、本発明はボリュームデータ或いは時系列データを取得可能な医用撮像装置であれば、全て適用することができる。また上述した実施形態では、画像処理部は医用撮像装置の構成要素である場合を説明したが、撮像と画像処理とを並行して行わない場合には、医用撮像装置（図１の撮像部１００）から空間的或いは時間的に離れた画像処理装置或いは画像処理部において、本発明の画像処理を行うこともありうる。
　さらに、上記した実施形態及び変形例は本発明をわかりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備える実施形態に限定されるものではない。また、ある実施形態で説明した構成、機能、処理部、処理手段等は、それらの一部またはすべてを、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、またはＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
１０　医用撮像装置
４０　超音波診断装置
１００　撮像部
１０１　検査対象
２００　画像処理部
２３０　断面抽出部
２３１　断面選出部
２３３　断面識別部
２３５　識別結果判定部
２５０　モデル導入部
２５１　保存部
２５３　モデル呼出部
３００　ユーザーインターフェイス
３１０　表示部
３３０　操作入力部
３５０　記憶装置
４１０　探触子
４２０　送信ビームフォーマ
４３０　Ｄ／Ａコンバータ
４４０　Ａ／Ｄコンバータ
４５０　ビームフォーマメモリ
４６０　受信ビームフォーマ
４７０　画像処理部
４７１　データ構成部
４７２　データメモリ
４７３　モデル導入部
４７４　断面抽出部
４７５　自動計測部
４７６　断面調整部
４８０　表示部
４９０　操作入力部
５００　学習データベース
５１０　学習済み高精度モデル
５３０　未学習の簡素モデル
５５０　高精度の縮小化モデル

Claims (12)

  1. 　被検体の画像データを収集する撮像部と、前記撮像部が収集した画像データから所定の断面を抽出する処理を行う画像処理部と、を備え、
    　前記画像処理部は、学習済モデルの特徴量抽出層と未学習モデルの識別層とを融合し縮小化した学習モデルであって、複数の断面画像データに対し所定の断面との空間的又は時間的近さを識別スコアとして出力するように予め学習された学習モデルを導入するモデル導入部と、前記画像データから複数の断面画像を選択し、選択した断面画像に対し前記学習モデルを適用した結果に基づき所定の断面を抽出する断面抽出部と、を備えることを特徴とする医用撮像装置。
  2. 　請求項１に記載の医用撮像装置であって、
    　前記モデル導入部は、抽出すべき断面の種類に応じて用意された複数の学習モデルを保存するモデル保存部と、前記複数の学習モデルのうち、前記断面抽出部が選択する複数の断面画像に対応する学習モデルを呼出し、前記断面抽出部に渡すモデル呼出部と、を備えることを特徴とする医用撮像装置。
  3. 　請求項１に記載の医用撮像装置であって、
    　前記断面抽出部は、前記撮像部が収集した画像データから複数の断面を選択する断面選出部と、前記断面選出部が選択した断面について前記学習モデルを適用する断面識別部と、前記断面識別器の結果を判定する識別結果判定部と、を備えることを特徴とする医用撮像装置。
  4. 　請求項３に記載の医用撮像装置であって、
    　前記断面抽出部は、前記識別結果判定部の判定結果に応じて、前記断面選出部及び前記断面識別部の処理を複数回繰り返し、前記断面選出部は、繰り返し毎に前記複数の断面を選択する前記画像データの領域を変更または縮小することを特徴とする医用撮像装置。
  5. 　請求項１に記載の医用撮像装置であって、
    　ユーザによる抽出断面の調整を受け付ける断面調整部を更に備え、
    　前記断面抽出部は、前記断面調整部が受け付けた調整の指示に従い、処理の一部を再実行することを特徴とする医用撮像装置。
  6. 　請求項５に記載の医用撮像装置であって、
    　前記断面抽出部の処理結果を表示する表示部を更に備え、
    　前記表示部は、前記断面抽出部による処理が再実行されると表示内容を更新することを特徴とする医用撮像装置。
  7. 　請求項１に記載の医用撮像装置であって、
    　前記撮像部が収集した画像データは、三次元のボリュームデータであることを特徴とする医用撮像装置。
  8. 　請求項１に記載の医用撮像装置であって、
    　前記撮像部が収集した画像データは、時系列画像データであることを特徴とする医用撮像装置。
  9. 　請求項１に記載の医用撮像装置であって、
    　前記撮像部は、超音波を送受信する探触子と、前記探触子が受信した超音波信号を用いて超音波画像を生成する画像生成部とを備えた超音波撮像部であることを特徴とする医用撮像装置。
  10. 　撮像データから、処理対象となる目的断面を決定し、提示する画像処理方法であって、
    　複数の断面画像について目的断面画像との空間的又は時間的近さを識別スコアとして出力するように学習された学習モデルを用意するステップと、
    　当該学習モデルを用いて、前記撮像データから選択した複数の断面画像について前記識別スコアの分布を得て、当該分布に基き前記目的断面を判定するステップと、を含み、
    　前記学習モデルは、前記撮像データを構成する複数の断面画像と目的断面画像とを学習データとして学習した学習済モデルの特徴量抽出層と、未学習モデルの識別層とを融合し、再学習した縮小化モデルであることを特徴とする画像処理方法。
  11. 　請求項１０に記載の画像処理方法であって、
    　前記目的断面を判定するステップは、前記撮像データの所定の領域から複数の断面を選出するステップと、当該選出された複数の断面について前記識別スコアの分布を得るステップと、を繰り返し、繰り返し毎に複数の断面を選出する領域を狭めることを特徴とする画像処理方法。
  12. 　請求項１０に記載の画像処理方法であって、
    　前記撮像データは、超音波撮像装置が取得した三次元ボリュームデータ又は時系列画像データであることを特徴とする画像処理方法。
PCT/JP2018/021926 2017-07-28 2018-06-07 医用撮像装置及び画像処理方法 WO2019021646A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/630,581 US20210089812A1 (en) 2017-07-28 2018-06-07 Medical Imaging Device and Image Processing Method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017146782A JP6824125B2 (ja) 2017-07-28 2017-07-28 医用撮像装置及び画像処理方法
JP2017-146782 2017-07-28

Publications (1)

Publication Number Publication Date
WO2019021646A1 true WO2019021646A1 (ja) 2019-01-31

Family

ID=65039611

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/021926 WO2019021646A1 (ja) 2017-07-28 2018-06-07 医用撮像装置及び画像処理方法

Country Status (3)

Country Link
US (1) US20210089812A1 (ja)
JP (1) JP6824125B2 (ja)
WO (1) WO2019021646A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102654003B1 (ko) * 2018-12-21 2024-04-04 주식회사 히타치하이테크 화상 인식 장치 및 방법
US20220103267A1 (en) * 2019-01-15 2022-03-31 Lg Electronics Inc. Learning device
JP7204106B2 (ja) * 2019-03-03 2023-01-16 株式会社レキオパワー 超音波プローブ用ナビゲートシステム、および、そのナビゲート表示装置
KR102318155B1 (ko) * 2019-06-27 2021-10-28 고려대학교 산학협력단 카메라 촬영 각도 보정 기능을 구비한 양수량 자동 측정 방법
KR102270917B1 (ko) * 2019-06-27 2021-07-01 고려대학교 산학협력단 인공 지능 모델에 기반한 자궁 양수량 자동 측정 방법
JP7347090B2 (ja) * 2019-10-02 2023-09-20 株式会社大林組 鉄筋推定システム、鉄筋推定方法及び鉄筋推定プログラム
JP7432340B2 (ja) * 2019-11-07 2024-02-16 川崎重工業株式会社 手術システム及び制御方法
JP7412223B2 (ja) * 2020-03-02 2024-01-12 キヤノン株式会社 画像処理装置、医用画像診断装置、画像処理方法、プログラム、および学習装置
WO2023204610A2 (ko) * 2022-04-19 2023-10-26 주식회사 온택트헬스 심장 초음파에 대한 가이드 방법 및 이를 이용한 심장 초음파에 대한 가이드용 디바이스

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160038122A1 (en) * 2014-08-05 2016-02-11 Samsung Medison Co., Ltd. Ultrasound diagnosis apparatus

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160081663A1 (en) * 2014-09-18 2016-03-24 General Electric Company Method and system for automated detection and measurement of a target structure
US10083372B2 (en) * 2015-11-03 2018-09-25 Toshiba Medical Systems Corporation Ultrasound diagnosis apparatus, image processing apparatus and image processing method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160038122A1 (en) * 2014-08-05 2016-02-11 Samsung Medison Co., Ltd. Ultrasound diagnosis apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TUCKER, G. ET AL.: "Model compression applied to small-footprint keyword spotting", INTERSPEECH, 8 September 2016 (2016-09-08), pages 1878 - 1882, XP055567183 *

Also Published As

Publication number Publication date
JP2019024925A (ja) 2019-02-21
JP6824125B2 (ja) 2021-02-03
US20210089812A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
JP6824125B2 (ja) 医用撮像装置及び画像処理方法
US11450003B2 (en) Medical imaging apparatus, image processing apparatus, and image processing method
JP6238651B2 (ja) 超音波診断装置及び画像処理方法
JP6453857B2 (ja) 超音波画像の３ｄ取得のためのシステムおよび方法
JP5645811B2 (ja) 医用画像診断装置、関心領域設定方法、医用画像処理装置、及び関心領域設定プログラム
US20190046153A1 (en) Ultrasonic diagnostic apparatus
US10219782B2 (en) Position correlated ultrasonic imaging
JP5536678B2 (ja) 医用画像表示方法、医用画像診断装置、及び医用画像表示装置
KR101984824B1 (ko) 초음파를 이용하여 조직의 탄성을 분석하는 방법 및 장치
JP2014217745A (ja) 超音波診断装置、およびその制御方法
JP2014161734A (ja) 医療画像を整合する方法及びその装置
CN107072635A (zh) 用于中间用户反馈的多跳超声心动图采集的质量度量
EP1198200A4 (en) ECOGRAPHIC INTRAVASCULAR ANALYSIS USING AN ACTIVE CONTOURING METHOD AND SYSTEM
JP2017153818A (ja) 超音波診断装置、超音波診断装置制御プログラム、医用画像処理装置及び医用画像処理プログラム
JP5558727B2 (ja) 超音波診断装置および超音波診断装置のデータ処理プログラム
US9357981B2 (en) Ultrasound diagnostic device for extracting organ contour in target ultrasound image based on manually corrected contour image in manual correction target ultrasound image, and method for same
CN110446466A (zh) 体积绘制的超声成像
JP6739318B2 (ja) 超音波診断装置
US11672503B2 (en) Systems and methods for detecting tissue and shear waves within the tissue
JP2009172186A (ja) 超音波診断装置及びプログラム
JP2008289548A (ja) 超音波診断装置及び診断パラメータ計測装置
CN114601494A (zh) 超声波诊断系统以及操作辅助方法
JP5987640B2 (ja) 超音波を用いた被検体の３次元復元方法および装置
JP2013223625A (ja) 超音波画像解析装置および超音波画像解析方法
JP5921610B2 (ja) 超音波診断装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18838067

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18838067

Country of ref document: EP

Kind code of ref document: A1