WO2023053755A1 - 画像診断支援装置、画像診断支援方法、及び画像診断支援プログラム - Google Patents

画像診断支援装置、画像診断支援方法、及び画像診断支援プログラム Download PDF

Info

Publication number
WO2023053755A1
WO2023053755A1 PCT/JP2022/030973 JP2022030973W WO2023053755A1 WO 2023053755 A1 WO2023053755 A1 WO 2023053755A1 JP 2022030973 W JP2022030973 W JP 2022030973W WO 2023053755 A1 WO2023053755 A1 WO 2023053755A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
tomographic
ultrasonic
extended
images
Prior art date
Application number
PCT/JP2022/030973
Other languages
English (en)
French (fr)
Inventor
カンカナマゲ カウシャリヤ マーデワ ピツワラ
佑 陣内
隆 東
Original Assignee
株式会社Lily MedTech
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Lily MedTech filed Critical 株式会社Lily MedTech
Publication of WO2023053755A1 publication Critical patent/WO2023053755A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography

Definitions

  • the disclosed technology relates to an image diagnosis support device, an image diagnosis support method, and an image diagnosis support program.
  • CAD Computer-Aided Detection/Diagnosis
  • X-ray CT Computer Tomography
  • ultrasonic echoes these medical images contain artifacts that blur the captured image. Artifacts are caused by signal processing interactions, signal scattering, subject motion, etc., and occur during imaging and during the reconstruction process of received signals. Even in biomedical images, due to the inhomogeneity and diversity of the anatomy, artifacts are generated due to the complex effects of various factors. may induce a decrease.
  • Various techniques for detecting artifacts have been proposed to deal with this problem, but some artifacts are difficult to detect and correct during imaging or image reconstruction.
  • Japanese Patent Application Laid-Open No. 2010-51337 discloses a device for imaging an X-ray tomographic image of a breast, which detects the movement of the breast during imaging using a physical sensor, and detects X-ray based on the detected movement.
  • a breast tomographic imaging apparatus that corrects a tomographic image is disclosed.
  • Japanese Patent Application Laid-Open No. 2020-14799 discloses that, in a CT image, an imaging region is estimated and then parameters for data extension are determined.
  • US Patent Application Publication No. 2020/0167930 and US Patent Application Publication No. 2019/0122073 disclose performing data augmentation in the learning stage.
  • the invention according to Japanese Patent Application Laid-Open No. 2010-51337 requires a separate physical sensor to suppress erroneous detection caused by body motion or the like. Further, in the invention disclosed in Japanese Patent Application Laid-Open No. 2010-51337, it is difficult to detect deterioration in image quality due to artifacts caused by factors other than body motion. In addition, in the conventional technology, data augmentation is performed only during learning, so there is room for improvement in the robustness of artifacts during testing.
  • an image diagnosis support device In one aspect, an image diagnosis support device, an image diagnosis support method, and an image diagnosis support program are provided that are simple in configuration, robust against artifacts, and capable of accurately detecting a feature region (Region of Interest). intended to
  • a first aspect of the present disclosure is a diagnostic imaging support apparatus, comprising: an acquisition unit that acquires a plurality of tomographic images captured at mutually different positions of a body part of a subject; and for each of the plurality of tomographic images, an extension unit that generates an extended image; a detector that includes a trained model for detecting a characteristic region that has been trained using the tomographic image and the extended image prepared in advance; and the plurality of tomographic images. For each, the tomographic image and the extended image are input to the detector, the output of the trained model is obtained, and the output of the trained model for each of the tomographic image and the extended image is integrated. and an integration unit that obtains the characteristic region of the tomogram.
  • a second aspect of the present disclosure is an image diagnosis support method, in which a plurality of tomographic images captured at mutually different positions of a body part of a subject are acquired, and an extended image is obtained for each of the plurality of tomographic images.
  • a detector including a trained model for detecting a characteristic region that has been trained using the tomographic image and the extended image prepared in advance for each of the plurality of tomographic images; and each of the extended images is input to obtain the output of each of the trained models, and the feature region of the tomographic image is obtained by integrating the output of the trained model for each of the tomographic image and the extended image.
  • a computer performs the desired process.
  • a third aspect of the present disclosure is an image diagnosis support program, which acquires a plurality of tomographic images captured at mutually different positions of a living body part of a subject, and an extended image for each of the plurality of tomographic images.
  • a detector including a trained model for detecting a characteristic region that has been trained using the tomographic image and the extended image prepared in advance for each of the plurality of tomographic images; and each of the extended images is input to obtain the output of each of the trained models, and the feature region of the tomographic image is obtained by integrating the output of the trained model for each of the tomographic image and the extended image.
  • It is a program that causes a computer to execute a desired process.
  • FIG. 1 is an explanatory diagram showing a configuration example of an image diagnosis support system
  • FIG. FIG. 4 is an explanatory diagram relating to imaging processing of an ultrasonic tomographic image
  • 1 is a schematic block diagram of an example of a computer functioning as a server and an image processing device of this embodiment
  • FIG. It is a block diagram which shows the structure of the server of this embodiment.
  • 1 is a block diagram showing the configuration of an image processing apparatus according to an embodiment
  • FIG. FIG. 10 is an explanatory diagram relating to tomographic image generation processing
  • FIG. 10 is a diagram showing an output example of a trained model for a tomographic image and an extended image
  • FIG. 10 is an explanatory diagram relating to processing for integrating outputs of learned models for tomograms and extended images
  • FIG. 10 is an explanatory diagram relating to processing for integrating outputs of learned models for tomograms and extended images
  • 4 is a flow chart showing an image diagnosis support processing routine in the image processing apparatus of the present embodiment
  • FIG. 1 is an explanatory diagram showing a configuration example of an image diagnosis support system.
  • the image diagnosis support system includes a server 10 and an image diagnosis support device 2 .
  • the server 10 and the diagnostic imaging support apparatus 2 are connected via a network N for communication.
  • the breast is given as an example of a body part targeted for image diagnosis, but other body parts may be used.
  • the server 10 is a server computer capable of various information processing and transmission/reception of information.
  • a device corresponding to the server 10 is not limited to a server computer, and may be, for example, a personal computer.
  • the server 10 performs machine learning such as CNN (Convolution Neural Network) using learning data prepared in advance, and inputs a tomographic image, which is an ultrasonic image captured by the image diagnosis support device 2. function as a learning device for learning a model for detecting a characteristic region.
  • Data of the learned model learned by the server 10 is installed in the diagnostic imaging support apparatus 2, and the diagnostic imaging support apparatus 2 uses the learned model to detect a characteristic region from the tomographic image.
  • the diagnostic imaging support device 2 is an imaging diagnostic support device for ultrasonic echo examination, and includes an image processing device 20 and an imaging device 30 .
  • the image processing device 20 is a computer that functions as a console for the diagnostic imaging support device 2, generates (reconstructs) ultrasound tomographic images of the breast, and displays a plurality of tomographic images captured at a plurality of positions on the breast.
  • the image processing apparatus 20 is not limited to a computer (console) for ultrasonic image diagnosis, and may be a general-purpose computer such as a personal computer.
  • the imaging device 30 is an imaging device that transmits and receives ultrasonic signals. As shown in FIG. 1, the imaging device 30 is configured to be able to image the breast of the subject lying face down. Specifically, the imaging device 30 has a bed-like shape, and a top plate 31 is provided with a hole 32 for inserting a breast. A water tank 33 is provided below the hole 32 , and the subject inserts the breast into the water tank 33 through the hole 32 .
  • a ring array 34 is provided in the water tank 33 .
  • the ring array 34 is a ring-shaped transducer array including a plurality of ultrasonic elements 341 (transducers) (see FIG. 2).
  • a plurality of ultrasonic elements 341 are arranged at equal intervals in the ring array 34, and each ultrasonic element 341 transmits an ultrasonic signal and receives a reflected wave.
  • the image processing apparatus 20 reconstructs reflected wave data in multiple directions obtained from each ultrasonic element 341 and generates an ultrasonic tomographic image.
  • the ring array 34 is configured to be movable in the vertical direction, and the image diagnosis support apparatus 2 moves the ring array 34 vertically to pick up an ultrasonic tomographic image at each position (height) of the drooping breast. , to generate ultrasound tomograms at multiple locations.
  • the ultrasonic diagnosis support system described in International Publication No. 2017/051903 can be adopted as the image diagnosis support apparatus 2 according to this embodiment.
  • the image diagnosis support device 2 is not limited to the above configuration.
  • an image diagnosis support device using a handy scanner may be used instead of the bed-type imaging device 30, instead of the bed-type imaging device 30, an image diagnosis support device using a handy scanner may be used.
  • the diagnostic imaging support device 2 captures an ultrasound tomographic image of the breast.
  • the diagnostic imaging support apparatus 2 uses a learned model to detect a characteristic region representing a tumor from an ultrasonic tomographic image.
  • the server 10 generates (learns) the learned model, but the local diagnostic imaging support apparatus 2 may generate the learned model. Further, in the present embodiment, the diagnostic imaging support apparatus 2 detects the characteristic region based on the learned model, but the server 10 on the cloud may detect the characteristic region using the learned model. . In other words, the distinction between the two is for convenience, and a single computer may perform a series of processes.
  • FIG. 3 is a block diagram showing the hardware configuration of the server 10 of this embodiment.
  • the server 10 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a storage 14, an input section 15, a display section 16 and a communication interface (I /F) 17.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • storage 14 an input section 15, a display section 16 and a communication interface (I /F) 17.
  • I /F communication interface
  • the CPU 11 is a central processing unit that executes various programs and controls each part. That is, the CPU 11 reads a program from the ROM 12 or the storage 14 and executes the program using the RAM 13 as a work area. The CPU 11 performs control of each configuration and various arithmetic processing according to programs stored in the ROM 12 or the storage 14 .
  • the ROM 12 or storage 14 stores a learning program for executing learning processing.
  • the learning program may be one program, or may be a program group composed of a plurality of programs or modules.
  • the ROM 12 stores various programs and various data.
  • the RAM 13 temporarily stores programs or data as a work area.
  • the storage 14 is composed of a HDD (Hard Disk Drive) or an SSD (Solid State Drive), and stores various programs including an operating system and various data.
  • the input unit 15 includes a pointing device such as a mouse and a keyboard, and is used for various inputs.
  • the input unit 15 receives, as learning data, a plurality of ultrasonic tomographic images to which characteristic regions have been assigned in advance.
  • the display unit 16 is, for example, a liquid crystal display, and displays various information.
  • the display unit 16 may employ a touch panel system and function as the input unit 15 .
  • the communication interface 17 is an interface for communicating with other devices, and uses standards such as Ethernet (registered trademark), FDDI, and Wi-Fi (registered trademark), for example.
  • FIG. 4 is a block diagram showing an example of the functional configuration of the server 10. As shown in FIG. 4
  • the server 10 is functionally configured to include a learning data storage unit 101, an extension unit 102, and a learning unit 103, as shown in FIG.
  • the learning data storage unit 101 stores a plurality of input learning data.
  • the extension unit 102 For each of the plurality of learning data, the extension unit 102 generates an extended image by inverting or rotating the ultrasound tomographic image of the learning data, and similarly inverts or rotates the generated extended image. A characteristic region is added and stored in the learning data storage unit 101 .
  • an "extended image” is an image obtained by performing some transformation on an ultrasonic tomographic image. This is not necessarily an image according to the definition of "ultrasound tomogram". For example, an image obtained by superimposing images of two cases is an image that cannot be obtained as an ultrasonic tomographic image. However, such images are also included in extended images.
  • the method of generating the "extended image” is not limited to image reversal or rotation.
  • cutout cut out part of the image
  • crop take out part of the image and enlarge it
  • blur add Gaussian noise etc. to the image to blur it
  • distortion add non-rigid deformation to the image
  • resize change image size/aspect ratio
  • mixup generate average image of two images
  • copy-paste paste a tumor from one image onto another tumor-free image
  • motion blur An extended image may be generated by using (artificially generating blur due to body movement by slightly shifting and superimposing images).
  • the learning unit 103 generates a learned model based on the ultrasound tomographic images and extended images stored in the learning data storage unit 101. Specifically, a trained model is generated such that when an ultrasonic tomographic image or an extended image is input to the trained model, the same feature region as the previously given feature region is detected.
  • FIG. 3 above is a block diagram showing the hardware configuration of the image processing apparatus 20 of this embodiment.
  • the image processing device 20 has a CPU 11, a ROM 12, a RAM 13, a storage 14, an input section 15, a display section 16, and a communication interface (I/F) 17, like the server 10. Each component is communicatively connected to each other via a bus 19 .
  • the image processing device 20 preferably includes a processor with high computational processing capability, such as a GPU, in order to perform image processing.
  • the ROM 12 or storage 14 stores an image diagnosis support program for executing image diagnosis support processing.
  • the image diagnosis support program may be one program, or may be a program group composed of a plurality of programs or modules.
  • the input unit 15 receives reflected wave data for each position (height) of the breast from the imaging device 30 .
  • FIG. 5 is a block diagram showing an example of the functional configuration of the image processing device 20. As shown in FIG.
  • the image processing device 20 functionally includes an acquisition unit 201, an extension unit 202, a detector 203, and an integration unit 204, as shown in FIG.
  • the acquisition unit 201 controls the ultrasonic elements 341 of the ring array 34 of the imaging device 30 to transmit and receive ultrasonic signals.
  • FIG. 2 above is an explanatory diagram relating to imaging processing of an ultrasonic tomographic image.
  • FIG. 2 conceptually illustrates how the diagnostic imaging support apparatus 2 transmits and receives ultrasonic signals via the ring array 34 and generates (images) an ultrasonic tomographic image of the breast.
  • the imaging device 30 of the diagnostic imaging support device 2 has a ring array 34 in which a plurality of (for example, 150) ultrasonic elements 341 are provided at regular intervals. send and receive Specifically, the image diagnosis support apparatus 2 transmits ultrasonic signals with a fan-shaped area within a certain distance from the ultrasonic element 341 as an imaging area, as shown by hatching in FIG. 2 .
  • the ultrasonic element 341 receives reflected waves from the above imaging area.
  • the element that transmits the ultrasonic signal and the element that receives the reflected wave may be different.
  • the image diagnosis support apparatus 2 obtains reflected wave data obtained by receiving the reflected wave by the ultrasonic element 341 as original image data for generating (reconstructing) an ultrasonic tomographic image.
  • an image reconstructed based on reflected wave data obtained by receiving reflected waves by the ultrasonic element 341 is referred to as a "fan image".
  • an image refers to a matrix of two-dimensional integers or real numbers.
  • the image diagnosis support apparatus 2 sequentially transmits ultrasonic signals from the ultrasonic elements 341 arranged along the circumference of the ring array 34, thereby transmitting the ultrasonic signals to the body part from each of a plurality of directions. Get multiple fan images. Then, the acquisition unit 201 of the image diagnosis support apparatus 2 (image processing apparatus 20) reconstructs the plurality of fan images by synthetic aperture method to generate a two-dimensional ultrasonic tomographic image.
  • the acquisition unit 201 of the image processing apparatus 20 uses an arbitrary ultrasonic element 341 as a starting point, , the ultrasonic elements 341 that transmit ultrasonic signals are sequentially changed, for example, clockwise, and omnidirectional fan images (for example, 150 fan images) are acquired.
  • each fan image covers a fan-shaped space, and the imaging regions of the fan images acquired by adjacent ultrasonic elements 341 overlap each other.
  • the acquisition unit 201 superimposes the fan images in each direction to generate one ultrasonic tomographic image. Note that the fan image used for aperture synthesis is reconstructed under the condition of the same estimated sound speed value based on the received signal acquired under the same transmission condition, regardless of the position of the transmission aperture.
  • the diagnostic imaging support apparatus 2 can also simultaneously transmit ultrasonic signals from a plurality of different transmission apertures (ultrasonic elements 341). For example, when 150 fan images are acquired for one ultrasonic tomographic image, transmission may be performed 150 times with a certain direction as the starting point as described above. Transmission may be performed simultaneously from the ultrasonic elements 341 at the three locations, and the imaging of the fan image may be completed after 50 transmissions by sequentially changing the ultrasonic elements 341 at the three locations along the ring array 34 . Further, in the present embodiment, the ultrasonic elements 341 are described as being arranged in an annular shape around the breast, but the arrangement shape is not limited to an annular shape, and may be arranged in other shapes. .
  • the image diagnosis support apparatus 2 can acquire a plurality of fan images by sequentially transmitting ultrasonic signals in a plurality of times from a plurality of ultrasonic elements 341 arranged to surround the breast (body part).
  • the number of transmissions of ultrasonic signals and the arrangement shape of the ultrasonic element 341 are not particularly limited.
  • the shape (imaging area) of the fan image is fan-shaped, but the shape of the fan image is not limited to fan-shaped. That is, each of the plurality of fan images is a set of images each including at least a part of the tomographic image imaging area on substantially the same plane, and part of the imaging area overlaps with at least one different fan image.
  • the acquisition unit 201 repeats the above-described generation of the two-dimensional ultrasonic tomographic image for each position (height) of the breast to generate ultrasonic tomographic images at a plurality of positions (see FIG. 6).
  • the extension unit 202 generates an extension image for each of the ultrasonic tomographic images at a plurality of positions, using ultrasonic tomographic images captured at positions adjacent to the ultrasonic tomographic image. Specifically, the expansion unit 202 converts an ultrasonic tomographic image taken at a neighboring position into an expanded image, or synthesizes the ultrasonic tomographic image with an ultrasonic tomographic image taken at a neighboring position. By doing so, an extended image is generated. Further, the expansion unit 202 generates an expanded image by inverting or rotating the ultrasonic tomographic image.
  • the expansion unit 202 generates a plurality of expanded images for each of ultrasonic tomographic images at a plurality of positions.
  • the detector 203 includes a trained model for detecting feature regions trained by the server 10 .
  • the trained model outputs a feature region represented by a bounding box and a score indicating the likelihood of the feature region for the input image.
  • the trained model is a neural network. It can also be a model based on other learning algorithms such as SVM, decision tree, random forest. The higher the score, the more likely it is to be a characteristic region.
  • the integration unit 204 inputs the ultrasonic tomographic image and the plurality of extended images to the detector 203 for each of the ultrasonic tomographic images at a plurality of positions, and acquires the output of the learned model.
  • the integrating unit 204 obtains a characteristic region of an ultrasonic tomographic image by integrating the output of the trained model for each of the ultrasonic tomographic images and the plurality of extended images for each of the ultrasonic tomographic images at a plurality of positions.
  • NMS non-maximum suppression
  • the detection result of the characteristic region in the ultrasonic image 70, the detection result of the characteristic region in the horizontally inverted extended image 71, and the vertically inverted extended image 72 Assume that the detection result of the characteristic region is obtained.
  • a characteristic region 701 is detected in the ultrasound image 70, and the score of the characteristic region 701 is 0.9.
  • Characteristic regions 711 and 712 are detected in the extended image 71, the score of the characteristic region 711 is 0.65, and the score of the characteristic region 712 is 0.4.
  • a characteristic region 721 is detected in the extended image 72, and the score of the characteristic region 721 is 0.8.
  • FIG. 7B shows an example in which feature regions 701, 711, and 721 overlap.
  • the feature area 701 with the highest score becomes the final feature area.
  • the finally detected characteristic regions and scores are displayed on the display unit 16 together with the ultrasound image.
  • the learning process is performed by the CPU 11 reading the learning program from the ROM 12 or the storage 14, developing it in the RAM 13, and executing it.
  • a plurality of ultrasound images to which characteristic regions are assigned in advance are input to the server 10 as learning data.
  • an ultrasound tomographic image of a breast (biological part) of a subject that has been imaged (generated) in the past, and to which a characteristic region representing a tumor has been added manually or using another program, is used for learning. entered as data. Then, a plurality of inputted learning data are stored in the learning data storage unit 101 .
  • the CPU 11 as the expansion unit 102, generates an expanded image by, for example, inverting or rotating the ultrasound tomographic image of the learning data for each of the plurality of learning data.
  • the CPU 11 adds a similarly inverted or rotated characteristic region to the generated extended image, and stores it in the learning data storage unit 101 .
  • the CPU 11 as the learning unit 103, generates a learned model based on the ultrasonic tomographic image and the extended image stored in the learning data storage unit 101.
  • segmentation is performed for each of the ultrasound tomographic image and the extended image, and the image region corresponding to the breast is extracted.
  • the image area corresponding to the breast is shown in white, and the image area other than the breast is shown in hatched areas.
  • the segmentation may be performed by detecting the contour of the breast by pattern matching, or may be performed using a machine learning model such as CNN (Convolution Neural Network).
  • CNN Convolution Neural Network
  • the original tomogram may be used as it is without segmentation.
  • the server 10 inputs the image regions extracted from each of the ultrasonic tomographic image and the extended image to the model, so that the output of the model matches the feature region given to each of the ultrasonic tomographic image and the extended image. , to generate a trained model.
  • the CPU 11 of the image processing device 20 reads the image diagnosis support program from the ROM 12 or the storage 14, develops it in the RAM 13, and executes it, thereby performing the image diagnosis support process shown in FIG.
  • step S101 the CPU 11, as the acquisition unit 201, transmits an ultrasonic signal from each ultrasonic element 341 of the ring array 34 of the imaging device 30, and obtains a reflected wave of the ultrasonic signal transmitted from each ultrasonic element 341.
  • a plurality of fan images are acquired from the received reflected wave data.
  • the CPU 11 transmits and receives ultrasound signals while moving the ring array 34 in the vertical direction, and acquires fan images of the breast at different positions (heights) from different directions.
  • step S102 the CPU 11, as the acquisition unit 201, generates an ultrasound tomographic image by reconstructing the plurality of acquired fan images. Specifically, the CPU 11 generates ultrasound tomographic images of a plurality of positions at different positions (heights) of the breast along one direction (vertical direction).
  • step S103 the CPU 11 sets a target ultrasonic tomographic image among ultrasonic tomographic images at a plurality of positions.
  • step S104 the CPU 11, as the extension unit 202, generates an extended image for the target ultrasonic tomographic image using ultrasonic tomographic images captured at nearby positions, and reverses or reverses the ultrasonic tomographic image. Generate a rotated augmented image.
  • step S105 the CPU 11, as the integration unit 204, performs segmentation on each of the target ultrasonic tomographic image and the plurality of generated extended images, and extracts an image region corresponding to the breast. Then, the CPU 11 inputs an image region extracted from each of the target ultrasonic tomographic image and the plurality of generated extended images to the detector 203, and outputs each of the target ultrasonic tomographic image and the generated multiple extended images. Get the output of the trained model for .
  • step S106 the CPU 11, as the integration unit 204, integrates the output of the trained model for each of the target ultrasonic tomographic image and the plurality of extended images, thereby obtaining the characteristic region of the target ultrasonic tomographic image.
  • step S107 the CPU 11 determines whether or not the processes of steps S103 to S106 have been executed for all of the ultrasonic tomographic images at a plurality of positions.
  • the process proceeds to step S108.
  • the process returns to step S103, and the ultrasonic tomographic image is set as the target ultrasonic tomographic image.
  • step S108 the CPU 11 causes the display unit 16 to display the characteristic regions obtained for each of the ultrasonic tomographic images at a plurality of positions, and ends the image diagnosis support processing. Then, for example, the doctor diagnoses the subject while viewing the detection results of the characteristic regions in each of the ultrasonic tomographic images at a plurality of positions displayed on the display unit 16 .
  • a method 1 is a method using an image obtained by reversing or rotating an ultrasonic tomographic image as an extended image.
  • the method of integrating the output of the trained model for the target ultrasonic tomographic image, the output of the trained model for the adjacent ultrasonic tomographic image, and the output of the trained model for the two adjacent ultrasonic images is referred to as Method 2.
  • a method 3 is a combination of the methods 1 and 2. That is, in method 3, an image obtained by inverting or rotating an ultrasonic tomographic image is used as the extended image.
  • integrating the output of the trained model for adjacent ultrasonic tomographic images is an extended image obtained by synthesizing the target ultrasonic tomographic image and an ultrasonic image captured at a neighboring position. It corresponds to the one that imitates the form using In methods 2 and 3, integrating the output of the trained model for two adjacent ultrasonic tomographic images is equivalent to simulating the use of ultrasonic images taken at nearby positions as extended images. do.
  • FIG. 9 shows the experimental results of image diagnosis support processing using each method.
  • FIG. 9 shows ROC (Receiver Operating Characteristic) curves when each method is used.
  • the AUC (area under the curve) of the method to be compared is 0.85
  • the AUCs of methods 1 and 2 are 0.91
  • the AUC of method 3 is 0.94.
  • an extended image is generated for each of the ultrasonic tomographic images at a plurality of positions, and the ultrasonic tomographic image and the extended image are transmitted to the detector for each of the ultrasonic tomographic images at a plurality of positions. Input each and get each output of the trained model. Further, for each of the ultrasonic tomographic images at a plurality of positions, the characteristic region of the ultrasonic tomographic image is obtained by integrating the output of the trained model for each of the ultrasonic tomographic image and the extended image. As a result, it is possible to accurately detect the characteristic region with a simple configuration. Further, by displaying the detection result of the characteristic region, it is possible to assist the diagnosis by the doctor.
  • ultrasonic tomographic images including artifacts that are difficult to remove or correct can be obtained by using ultrasonic tomographic images that have different artifacts (or do not exist) but are spatially and/or temporally continuous. , it is possible to maintain robust accuracy with respect to artifacts by obtaining feature regions.
  • an ultrasonic tomographic image is generated using an ultrasonic tomographic image captured at a nearby position, and the output of the trained model for the generated extended image is integrated to capture an ultrasonic tomographic image.
  • integrating the output of the trained model for a plurality of extended images is more robust than detecting the feature region from the output of the trained model for one ultrasonic tomographic image.
  • an extended image generated using ultrasonic tomograms taken at nearby positions may be used.
  • the feature regions may be added to the extended image in consideration of the feature regions added to the ultrasonic tomographic images captured at nearby positions.
  • the integrating unit further integrates the output of the trained model for the ultrasonic tomographic image and the output of the trained model for the ultrasonic tomographic image taken at a position near the ultrasonic tomographic image, and A characteristic region of the image may be obtained.
  • a tomographic image may be acquired using a signal other than an ultrasonic signal.
  • the various processes executed by the CPU by reading the software (program) in each of the above-described embodiments may be executed by various processors other than the CPU.
  • the processor in this case is a PLD (Programmable Logic Device) whose circuit configuration can be changed after manufacturing such as an FPGA (Field-Programmable Gate Array), and an ASIC (Application Specific Integrated Circuit) for executing specific processing.
  • a dedicated electric circuit or the like which is a processor having a specially designed circuit configuration, is exemplified.
  • the learning process and the image diagnosis support process may be executed by one of these various processors, or a combination of two or more processors of the same or different type (for example, multiple FPGAs and CPUs). combination with FPGA, etc.).
  • the hardware structure of these various processors is an electric circuit in which circuit elements such as semiconductor elements are combined.
  • the mode in which the learning program and the image diagnosis support program are pre-stored (installed) in the storage 14 has been described, but the present invention is not limited to this.
  • Programs are stored in non-transitory storage media such as CD-ROM (Compact Disk Read Only Memory), DVD-ROM (Digital Versatile Disk Read Only Memory), and USB (Universal Serial Bus) memory.
  • CD-ROM Compact Disk Read Only Memory
  • DVD-ROM Digital Versatile Disk Read Only Memory
  • USB Universal Serial Bus
  • the image diagnosis support processing includes: Acquiring a plurality of tomographic images captured at mutually different positions of a living body part of a subject, generating an extended image for each of the plurality of tomograms; For each of the plurality of tomographic images, the tomographic image and the extended image are provided in a detector including a trained model for detecting a feature region that has been trained using the tomographic image and the extended image prepared in advance. obtaining the feature region of the tomographic image by inputting each image, obtaining the output of the trained model, and integrating the output of the trained model for each of the tomographic image and the augmented image; storage medium.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)

Abstract

画像診断支援装置は、被検者の生体部位の互いに異なる位置において撮像された複数の断層像を取得する取得部と、前記複数の断層像の各々について、拡張画像を生成する拡張部と、予め用意された前記断層像と前記拡張画像とを用いて学習された、特徴領域を検出するための学習済みモデルを含む検出器と、前記複数の断層像の各々について、前記検出器に、前記断層像及び前記拡張画像を各々入力して前記学習済みモデルの出力を各々取得し、前記断層像及び前記拡張画像の各々に対する前記学習済みモデルの出力を統合することにより、前記断層像の前記特徴領域を求める統合部と、を含む。

Description

画像診断支援装置、画像診断支援方法、及び画像診断支援プログラム
　開示の技術は、画像診断支援装置、画像診断支援方法、及び画像診断支援プログラムに関する。
　Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｒ　Ｔｏｍｏｇｒａｐｈｙ）、超音波エコー等の医療画像を用いて画像診断を行う際に、ＣＡＤ（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ　Ｄｅｔｅｃｔｉｏｎ／Ｄｉａｇｎｏｓｉｓ）が活用されている。しかし、これらの医療画像には、撮像画像がぼやけるアーチファクトが含まれている。アーチファクトは、信号処理の相互作用や、信号の散乱、被検者の体動等に起因し、撮影時や受信した信号の再構成プロセスにおいて生じる。生体画像においても、生体構造の不均質性や多様性から、様々な原因が複雑に影響してアーチファクトが生じるため、画像の不鮮明さや理論値とは異なる信号の出現などにより、ＣＡＤによる診断予測の低下を誘引することがある。この問題に対処するため、アーチファクトを検出する種々の手法が提案されているが、撮影時や画像再構成時に検出し補正することが困難なアーチファクトも存在する。
　例えば特開２０１０－５１３３７号公報では、乳房のＸ線断層画像を撮像する装置であって、画像撮像時の乳房の動きを物理的なセンサを用いて検出し、検出した動きに基づいてＸ線断層画像を補正する乳房断層画像撮影装置が開示されている。
　また、特開２０２０－１４７９９号公報では、ＣＴ画像において、撮像部位を推定したうえでデータ拡張のパラメータを決定することが開示されている。
　また、米国特許出願公開第２０２０／０１６７９３０号公報、米国特許出願公開第２０１９／０１２２０７３号公報では、学習段階で、データ拡張を行うことが開示されている。
　しかしながら、特開２０１０－５１３３７号公報に係る発明は、体動等に起因する誤検出を抑制するために、物理的なセンサを別途用意する必要がある。また、特開２０１０－５１３３７号公報に係る発明では体動以外を要因とするアーチファクトによる画質低下を検出することは困難である。
　また、従来技術では、学習時にのみ、データ拡張を行っているため、テスト時のアーチファクトの頑健性に改善の余地がある。
　一つの側面では、簡易な構成で、アーチファクトに対して頑強であり、精度よく特徴領域（Ｒｅｇｉｏｎ　ｏｆ　Ｉｎｔｅｒｅｓｔ）を検出することができる画像診断支援装置、画像診断支援方法、及び画像診断支援プログラムを提供することを目的とする。
　本開示の第１態様は、画像診断支援装置であって、被検者の生体部位の互いに異なる位置において撮像された複数の断層像を取得する取得部と、前記複数の断層像の各々について、拡張画像を生成する拡張部と、予め用意された前記断層像と前記拡張画像とを用いて学習された、特徴領域を検出するための学習済みモデルを含む検出器と、前記複数の断層像の各々について、前記検出器に、前記断層像及び前記拡張画像を各々入力して前記学習済みモデルの出力を各々取得し、前記断層像及び前記拡張画像の各々に対する前記学習済みモデルの出力を統合することにより、前記断層像の前記特徴領域を求める統合部と、を含む。
　本開示の第２態様は、画像診断支援方法であって、被検者の生体部位の互いに異なる位置において撮像された複数の断層像を取得し、前記複数の断層像の各々について、拡張画像を生成し、前記複数の断層像の各々について、予め用意された前記断層像と前記拡張画像とを用いて学習された、特徴領域を検出するための学習済みモデルを含む検出器に、前記断層像及び前記拡張画像を各々入力して前記学習済みモデルの出力を各々取得し、前記断層像及び前記拡張画像の各々に対する前記学習済みモデルの出力を統合することにより、前記断層像の前記特徴領域を求める処理をコンピュータが実行する。
　本開示の第３態様は、画像診断支援プログラムであって、被検者の生体部位の互いに異なる位置において撮像された複数の断層像を取得し、前記複数の断層像の各々について、拡張画像を生成し、前記複数の断層像の各々について、予め用意された前記断層像と前記拡張画像とを用いて学習された、特徴領域を検出するための学習済みモデルを含む検出器に、前記断層像及び前記拡張画像を各々入力して前記学習済みモデルの出力を各々取得し、前記断層像及び前記拡張画像の各々に対する前記学習済みモデルの出力を統合することにより、前記断層像の前記特徴領域を求める処理をコンピュータに実行させるプログラムである。
　一つの側面では、簡易な構成で、アーチファクトに対して頑強であり、精度よく特徴領域を検出することができる。
画像診断支援システムの構成例を示す説明図である。 超音波断層像の撮像処理に関する説明図である。 本実施形態のサーバ及び画像処理装置として機能するコンピュータの一例の概略ブロック図である。 本実施形態のサーバの構成を示すブロック図である。 本実施形態の画像処理装置の構成を示すブロック図である。 断層像の生成処理に関する説明図である。 断層像及び拡張画像に対する学習済みモデルの出力例を示す図である。 断層像及び拡張画像に対する学習済みモデルの出力を統合する処理に関する説明図である。 断層像及び拡張画像に対する学習済みモデルの出力を統合する処理に関する説明図である。 本実施形態の画像処理装置における画像診断支援処理ルーチンを示すフローチャートである。 実験結果を示すグラフである。
　以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
＜システム構成＞
　図１は、画像診断支援システムの構成例を示す説明図である。本実施形態では、被検者の乳房を対象とした超音波画像診断を行う画像診断支援システムについて説明する。画像診断支援システムは、サーバ１０及び画像診断支援装置２を含む。サーバ１０及び画像診断支援装置２は、ネットワークＮを介して通信接続されている。
　なお、本実施形態では画像診断の対象とする生体部位の一例として乳房を挙げるが、他の生体部位であってもよい。
　サーバ１０は、種々の情報処理、情報の送受信が可能なサーバコンピュータである。なお、サーバ１０に相当する装置はサーバコンピュータに限定されず、例えばパーソナルコンピュータ等であってもよい。本実施形態においてサーバ１０は、予め用意された学習用データを用いた、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）等の機械学習を行い、画像診断支援装置２で撮像された超音波画像である断層像を入力した場合に、特徴領域を検出するモデルを学習する学習装置として機能する。サーバ１０が学習した学習済みモデルのデータは画像診断支援装置２にインストールされており、画像診断支援装置２は、学習済みモデルを用いて断層像から特徴領域を検出する。
　画像診断支援装置２は、超音波エコー検査のための画像診断支援装置であり、画像処理装置２０及び撮像装置３０を備える。画像処理装置２０は、画像診断支援装置２のコンソールとして機能するコンピュータであり、乳房の超音波断層像を生成（再構成）し、乳房の複数位置において撮像された複数の断層像を表示する。なお、画像処理装置２０は超音波画像診断用のコンピュータ（コンソール）に限定されず、パーソナルコンピュータ等の汎用コンピュータであってもよい。
　撮像装置３０は、超音波信号の送受信を行う撮像装置である。図１に示すように、撮像装置３０は、被検者がうつ伏せになった状態で乳房を撮像可能に構成されている。具体的には、撮像装置３０はベッド状の形状を有し、天板３１に乳房を挿入するための孔３２が設けられている。孔３２の下方には水槽３３が設けられ、被検者は孔３２から水槽３３に乳房を挿入する。
　水槽３３には、リングアレイ３４が設けられている。リングアレイ３４は、複数の超音波素子３４１（トランスデューサ）を備えるリング状の振動子アレイである（図２参照）。リングアレイ３４には複数の超音波素子３４１が等間隔で配置され、各超音波素子３４１は超音波信号を送信すると共に、反射波を受信する。画像処理装置２０は、各超音波素子３４１から得た複数方向の反射波データを再構成し、超音波断層像を生成する。また、リングアレイ３４は上下方向に移動可能に構成されており、画像診断支援装置２はリングアレイ３４を上下に移動させて垂下した乳房の各位置（高さ）における超音波断層像を撮像し、複数位置の超音波断層像を生成する。
　本実施形態に係る画像診断支援装置２として、国際公開第２０１７／０５１９０３号に記載の超音波診断支援システムを採用することができる。
　なお、画像診断支援装置２は上記の構成に限定されない。例えばベッド型の撮像装置３０に代えて、ハンディスキャナを用いた画像診断支援装置としてもよい。
　上述の如く、画像診断支援装置２は乳房の超音波断層像を撮像する。本実施形態において画像診断支援装置２は、学習済みモデルを用いて、超音波断層像から腫瘍を表す特徴領域を検出する。
　なお、本実施形態ではサーバ１０が学習済みモデルの生成（学習）を行うものとするが、ローカルの画像診断支援装置２が学習済みモデルを生成するようにしてもよい。また、本実施形態では画像診断支援装置２が学習済みモデルに基づく特徴領域の検出を行うものとするが、クラウド上のサーバ１０が学習済みモデルを用いて特徴領域を検出するようにしてもよい。すなわち、両者の区別は便宜的なものであり、単一のコンピュータが一連の処理を行うようにしてもよい。
＜本実施形態に係るサーバの構成＞
　図３は、本実施形態のサーバ１０のハードウェア構成を示すブロック図である。
　図３に示すように、サーバ１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。
　ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、学習処理を実行するための学習プログラムが格納されている。学習プログラムは、１つのプログラムであっても良いし、複数のプログラム又はモジュールで構成されるプログラム群であっても良い。
　ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
　入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。
　入力部１５は、学習用データとして、予め特徴領域が付与された複数の超音波断層像を受け付ける。
　表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能しても良い。
　通信インタフェース１７は、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。
　次に、サーバ１０の機能構成について説明する。図４は、サーバ１０の機能構成の例を示すブロック図である。
　サーバ１０は、機能的には、図４に示すように、学習用データ記憶部１０１と、拡張部１０２と、学習部１０３と、を含んで構成されている。
　学習用データ記憶部１０１には、入力された複数の学習用データが記憶されている。
　拡張部１０２は、複数の学習用データの各々について、当該学習用データの超音波断層像を反転又は回転させた拡張画像を生成し、生成した拡張画像に対して、同様に反転又は回転させた特徴領域を付与し、学習用データ記憶部１０１に格納する。ここで、「拡張画像」とは、超音波断層像に対して何らかの変換を行って得られた画像である。これは「超音波断層像」の定義に従う画像とは限らない。例えば２つの症例の画像を重ね合わせた画像は超音波断層像として得られることはない画像である。しかしこのような画像も拡張画像に含まれる。
　なお、「拡張画像」の生成方法は、画像の反転または回転に限定されるものではない。例えば、cutout (画像の一部を切り取る)、crop (画像の一部を取り出し拡大する)、blur(画像にガウシアンノイズなどを加えてぼやけさせる)、distortion (画像に対して非剛体変形を加える)、resize (画像の大きさ・アスペクト比を変更する)、mixup (２つの画像の平均画像を生成する)、copy-paste (ある画像の腫瘍を別の腫瘍のない画像に貼り付ける)、motion blur (画像を少しずらして重ね合わせることで体動によるぼやけを人工的に発生させる)などを用いて、拡張画像を生成してもよい。
　学習部１０３は、学習用データ記憶部１０１に格納されている超音波断層像及び拡張画像に基づいて、学習済みモデルを生成する。具体的には、超音波断層像又は拡張画像を学習済みモデルに入力した際に、予め付与された特徴領域と同じ特徴領域が検出されるように、学習済みモデルを生成する。
＜本実施形態に係る画像処理装置の構成＞
　上記図３は、本実施形態の画像処理装置２０のハードウェア構成を示すブロック図である。
　上記図３に示すように、画像処理装置２０は、サーバ１０と同様に、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。なお、画像処理装置２０は、画像処理を行うため、好適には、ＧＰＵのように計算処理能力が高いプロセッサを含む。
　ＲＯＭ１２又はストレージ１４には、画像診断支援処理を実行するための画像診断支援プログラムが格納されている。画像診断支援プログラムは、１つのプログラムであっても良いし、複数のプログラム又はモジュールで構成されるプログラム群であっても良い。
　入力部１５は、撮像装置３０から、乳房の各位置（高さ）について反射波データを受け付ける。
　次に、画像処理装置２０の機能構成について説明する。図５は、画像処理装置２０の機能構成の例を示すブロック図である。
　画像処理装置２０は、機能的には、図５に示すように、取得部２０１と、拡張部２０２と、検出器２０３と、統合部２０４と、を含んで構成されている。
　取得部２０１は、撮像装置３０のリングアレイ３４の超音波素子３４１を制御し、超音波信号を送受信する。
　上記図２は、超音波断層像の撮像処理に関する説明図である。図２では、画像診断支援装置２がリングアレイ３４を介して超音波信号を送受信し、乳房の超音波断層像を生成（撮像）する様子を概念的に図示している。
　上述の如く、画像診断支援装置２の撮像装置３０は、複数（例えば１５０個）の超音波素子３４１を等間隔で設けたリングアレイ３４を有し、各超音波素子３４１を介して超音波信号を送受信する。具体的には、画像診断支援装置２は、図２においてハッチングで図示するように、超音波素子３４１から一定距離内の扇状領域を撮像領域として、超音波信号を送信する。
　超音波素子３４１は、上記の撮像領域からの反射波を受信する。なお、超音波信号を送信する素子と、反射波を受信する素子とは異なっていてもよい。画像診断支援装置２は、超音波素子３４１が反射波を受信して得た反射波データを、超音波断層像を生成（再構成）するための原画像データとして取得する。本実施の形態では便宜上、超音波素子３４１が反射波を受信して得た反射波データに基づいて再構成された画像を「ファン画像」と呼ぶ。ここで画像とは二次元の整数或いは実数の行列を指す。
　画像診断支援装置２は、リングアレイ３４の円周に沿って並ぶ各超音波素子３４１から超音波信号を順次送信することで、複数の方向それぞれから生体部位に送信した超音波信号を送信して得た複数のファン画像を取得する。そして、画像診断支援装置２（画像処理装置２０）の取得部２０１は、開口合成法により当該複数のファン画像を再構成し、２次元の超音波断層像を生成する。
　具体的には、画像処理装置２０の取得部２０１は、一の断層像を生成するに当たり、任意の超音波素子３４１を始点として、当該超音波素子３４１の隣に位置する終点の超音波素子３４１に至るまで、例えば時計回りに超音波信号を送信する超音波素子３４１を順次変えていき、全方位のファン画像（例えば１５０のファン画像）を取得する。上記図２に示すように、各ファン画像は扇状の空間をカバーし、隣接する超音波素子３４１で取得したファン画像同士は撮像領域が互いに重複する。取得部２０１は、図６に示すように、各方向のファン画像を重ね合わせ、一の超音波断層像を生成する。なお、開口合成に用いられるファン画像は、送信開口の位置にかかわらず、同一送信条件下で取得される受信信号に基づき、同一の音速推定値の条件下で再構成されている。
　なお、画像診断支援装置２は、超音波信号を複数の異なる送信開口（超音波素子３４１）から同時に送信する事もできる。例えば、一の超音波断層像当たり１５０のファン画像を取得する場合、上記のようにある方向を始点にして１５０回の送信を行ってもよいが、１２０度ずつ方向（角度）が異なる３か所の超音波素子３４１から同時に送信を行い、当該３か所の超音波素子３４１をリングアレイ３４に沿って順次変えることで、５０回の送信でファン画像の撮像を完了させてもよい。また、本実施の形態では超音波素子３４１が乳房の周囲に円環状に配置されているものとして説明するが、その配置形状は円環状に限定されず、他の形状で配置されていてもよい。すなわち、画像診断支援装置２は、乳房（生体部位）の周囲を取り囲むように配置した複数の超音波素子３４１から複数回に分けて超音波信号を順次送信することで複数のファン画像を取得可能であればよく、超音波信号の送信回数や超音波素子３４１の配置形状は特に限定されない。
　また、上記ではファン画像の形状（撮像領域）が扇状であるものとして説明したが、ファン画像の形状は扇状に限定されない。すなわち、複数のファン画像は、各々が略同一平面上の断層画像撮像領域の少なくとも一部を含み、異なるファン画像の少なくとも１枚と撮像領域の一部が重複している画像の集合となる。
　取得部２０１は、上述した２次元の超音波断層像を生成することを、乳房の各位置（高さ）について繰り返し、複数位置の超音波断層像を生成する（図６参照）。
　拡張部２０２は、複数位置の超音波断層像の各々について、当該超音波断層像の近隣の位置で撮像された超音波断層像を用いて、拡張画像を生成する。具体的には、拡張部２０２は、近隣の位置で撮像された超音波断層像を、拡張画像としたり、当該超音波断層像と、近隣の位置で撮像された超音波断層像とを合成することにより、拡張画像を生成する。また、拡張部２０２は、当該超音波断層像を反転又は回転させた拡張画像を生成する。
　このように、拡張部２０２は、複数位置の超音波断層像の各々について、複数の拡張画像を生成する。
　検出器２０３は、サーバ１０によって学習された、特徴領域を検出するための学習済みモデルを含む。本実施形態では、学習済みモデルは、入力された画像に対して、バウンディングボックスで表される特徴領域と共に特徴領域らしさを示すスコアを出力する。また、学習済みモデルは、ニューラルネットワークである。ＳＶＭ、決定木、ランダムフォレストなど、他の学習アルゴリズムに基づくモデルであってもよい。スコアが高いほど、特徴領域らしいことを示している。
　統合部２０４は、複数位置の超音波断層像の各々について、検出器２０３に、超音波断層像及び複数の拡張画像を各々入力して学習済みモデルの出力を各々取得する。統合部２０４は、複数位置の超音波断層像の各々について、超音波断層像及び複数の拡張画像の各々に対する学習済みモデルの出力を統合することにより、当該超音波断層像の特徴領域を求める。
　具体的には、統合部２０４は、非最大抑制（ＮＭＳ：Ｎｏｎ－Ｍａｘｉｍｕｍ　Ｓｕｐｐｒｅｓｓｉｏｎ）に基づいて、超音波画像及び複数の拡張画像について得られた特徴領域の検出結果を集約し、ｋ（ｋは１より大きい整数である。）個以上の画像で検出された領域のみを選択し、最終的に検出された特徴領域とする。例えば、ｋ＝２とする。このとき、異なる出力で検出された領域が重複している場合、例えば、ＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ　ｏｖｅｒ　Ｕｎｉｏｎ）値がしきい値よりも大きい場合、スコアが最大の領域を、最終的に検出された特徴領域とする。
　例えば、図７Ａに示すように、超音波画像７０での特徴領域の検出結果、水平方向に反転させた拡張画像７１での特徴領域の検出結果、及び垂直方向に反転させた拡張画像７２での特徴領域の検出結果が得られたとする。超音波画像７０では、特徴領域７０１が検出されており、特徴領域７０１のスコアは０．９である。拡張画像７１では、特徴領域７１１、７１２が検出されており、特徴領域７１１のスコアは０．６５であり、特徴領域７１２のスコアは０．４である。拡張画像７２では、特徴領域７２１が検出されており、特徴領域７２１のスコアは０．８である。
　これらの検出結果を統合する（図７Ｂ参照）。統合する際に、水平方向又は垂直方向に反転させた拡張画像については元の超音波画像に戻した位置で、特徴領域を統合させる。図７Ｂでは、特徴領域７０１、７１１、７２１が重複している例を示している。
　そして、図７Ｃに示すように、重複している特徴領域７０１、７１１、７２１のうち、スコアが最も高い特徴領域７０１が、最終的な特徴領域となる。
　最終的に検出された特徴領域及びスコアが、超音波画像と共に、表示部１６により表示される。
＜本実施形態に係るサーバの作用＞
　次に、本実施形態に係るサーバ１０の作用について説明する。
　ＣＰＵ１１がＲＯＭ１２又はストレージ１４から学習プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、学習処理が行なわれる。また、サーバ１０に、学習用データとして、特徴領域が予め付与された複数の超音波画像が入力される。例えば、過去に撮像（生成）された被検者の乳房（生体部位）の超音波断層像であって、人手あるいは別のプログラムを用いて腫瘍を表す特徴領域が付与されたものが、学習用データとして入力される。そして、学習用データ記憶部１０１に、入力された複数の学習用データが格納される。
　次に、ＣＰＵ１１が、拡張部１０２として、複数の学習用データの各々について、当該学習用データの超音波断層像を例えば、反転又は回転させた拡張画像を生成する。ＣＰＵ１１が、生成した拡張画像に対して、同様に反転又は回転させた特徴領域を付与し、学習用データ記憶部１０１に格納する。
　そして、ＣＰＵ１１が、学習部１０３として、学習用データ記憶部１０１に格納されている超音波断層像及び拡張画像に基づいて、学習済みモデルを生成する。
　具体的には、超音波断層像及び拡張画像の各々に対してセグメンテーションを行い、乳房に対応する画像領域を抽出する。上記図７Ａ～図７Ｃでは便宜上、乳房に対応する画像領域を白抜きで、乳房以外の画像領域を斜線領域で図示してある。なお、セグメンテーションは、パターンマッチングで乳房の輪郭を検出することで行うようにしてもよく、あるいはＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）等の機械学習モデルを用いて行うようにしてもよい。また、セグメンテーションは行わず、元の断層像をそのまま用いてもよい。
　サーバ１０は、超音波断層像及び拡張画像の各々からそれぞれ抽出した画像領域をモデルに入力し、モデルの出力が、超音波断層像及び拡張画像の各々に付与された特徴領域と一致するように、学習済みモデルを生成する。
＜本実施形態に係る画像診断支援装置の作用＞
　次に、本実施形態に係る画像診断支援装置２の作用について説明する。
　画像処理装置２０のＣＰＵ１１がＲＯＭ１２又はストレージ１４から画像診断支援プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、図８に示す画像診断支援処理が行なわれる。
　まず、ステップＳ１０１において、ＣＰＵ１１は、取得部２０１として、撮像装置３０のリングアレイ３４の各超音波素子３４１から超音波信号を送信し、各超音波素子３４１から送信した超音波信号の反射波を受信して得た反射波データから複数のファン画像を取得する。ＣＰＵ１１は、リングアレイ３４を上下方向に移動させながら超音波信号を送受信し、乳房の互いに異なる位置（高さ）において各方向から乳房を撮像したファン画像を取得する。
　ステップＳ１０２において、ＣＰＵ１１は、取得部２０１として、取得した複数のファン画像を再構成した超音波断層像を生成する。具体的には、ＣＰＵ１１は、一方向（上下方向）に沿う乳房の互いに異なる位置（高さ）における複数位置の超音波断層像を生成する。
　ステップＳ１０３において、ＣＰＵ１１は、複数位置の超音波断層像のうち、対象となる超音波断層像を設定する。
　ステップＳ１０４において、ＣＰＵ１１は、拡張部２０２として、対象となる超音波断層像について、近隣の位置で撮像された超音波断層像を用いて、拡張画像を生成すると共に、超音波断層像を反転又は回転させた拡張画像を生成する。
　ステップＳ１０５において、ＣＰＵ１１は、統合部２０４として、対象となる超音波断層像及び生成した複数の拡張画像の各々に対してセグメンテーションを実施し、乳房に対応する画像領域を抽出する。そして、ＣＰＵ１１は、対象となる超音波断層像及び生成した複数の拡張画像の各々から抽出した画像領域を検出器２０３に入力し、対象となる超音波断層像及び生成した複数の拡張画像の各々に対する学習済みモデルの出力を得る。
　ステップＳ１０６において、ＣＰＵ１１は、統合部２０４として、対象となる超音波断層像及び複数の拡張画像の各々に対する学習済みモデルの出力を統合することにより、対象となる超音波断層像の特徴領域を求める。
　ステップＳ１０７において、ＣＰＵ１１は、複数位置の超音波断層像の全てについて上記ステップＳ１０３～Ｓ１０６の処理を実行したか否かを判定する。複数位置の超音波断層像の全てについて上記ステップＳ１０３～Ｓ１０６の処理を実行した場合には、ステップＳ１０８へ進む。一方、上記ステップＳ１０３～Ｓ１０６の処理を実行していない超音波断層像が存在する場合には、上記ステップＳ１０３へ戻り、当該超音波断層像を、対象の超音波断層像として設定する。
　ステップＳ１０８では、ＣＰＵ１１は、複数位置の超音波断層像の各々について求められた特徴領域を表示部１６により表示し、画像診断支援処理を終了する。そして、例えば、医師が、表示部１６に表示された、複数位置の超音波断層像の各々における特徴領域の検出結果を見ながら、被検者に対する診断を行う。
＜実施例＞
　上記の実施形態で説明した画像診断支援処理の有効性を説明するために実験を行った結果について説明する。本実験では、拡張画像を用いない手法を、比較対象として用いた。また、拡張画像として超音波断層像を反転又は回転させた画像を用いた手法を、手法１とする。対象の超音波断層像に対する学習済みモデルの出力と、隣の超音波断層像に対する学習済みモデルの出力と、２つ隣の超音波画像に対する学習済みモデルの出力とを統合する手法を、手法２とする。また、手法１と手法２とを組み合わせたものを手法３とする。すなわち、手法３では、拡張画像として超音波断層像を反転又は回転させた画像を用いる。また、手法３では、対象の超音波断層像に対する学習済みモデルの出力と、拡張画像に対する学習済みモデルの出力と、隣の超音波断層像に対する学習済みモデルの出力と、２つ隣の超音波画像に対する学習済みモデルの出力とを統合する。
　なお、手法２、３における、隣の超音波断層像に対する学習済みモデルの出力を統合することは、対象の超音波断層像と、近隣の位置で撮像された超音波画像とを合成した拡張画像を用いる形態を模擬したものに相当する。また、手法２、３における、２つ隣の超音波断層像に対する学習済みモデルの出力を統合することは、近隣の位置で撮像された超音波画像を拡張画像として用いる形態を模擬したものに相当する。
　従来のハンドヘルド型超音波撮像装置では、撮像操作を人が行うため、撮像面の角度や移動幅に誤差が生じる。そのため隣接する画像であっても位置関係が未知であり、拡張画像としてそれを利用するためには隣接する画像の画像情報から画像間の位置関係を推定し、補正する必要がある。よって、画像に位置関係の推定が困難になるアーチファクトが含まれている場合には適用することが難しい。一方、自動走査により超音波画像を取得するＵＳＣＴ（Ｕｌｔｒａｓｏｕｎｄ　Ｃｏｍｐｕｔｅｒ　Ｔｏｍｏｇｒａｐｈｙ）画像においては、隣接する画像間の位置関係が固定されているため、アーチファクトがあっても隣接する画像の位置は既知である。そのため、隣接する画像の位置を画像情報から推定することなく拡張画像に含めることができる。
　各手法を用いた画像診断支援処理の実験結果を図９に示す。図９では、各手法を用いた場合のＲＯＣ（Ｒｅｃｅｉｖｅｒ　Ｏｐｅｒａｔｉｎｇ　Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）曲線を示している。比較対象の手法のＡＵＣ（ａｒｅａ　ｕｎｄｅｒ　ｔｈｅ　ｃｕｒｖｅ）は０．８５であり、手法１、２のＡＵＣは０．９１であり、手法３のＡＵＣは０．９４である。
　このように、超音波断層像を反転又は回転させた拡張画像を用いること、近隣の位置で撮像された超音波画像を用いて拡張画像を生成することにより、画像診断支援処理の精度が向上することがわかった。
　以上より、本実施形態によれば、複数位置の超音波断層像の各々について、拡張画像を生成し、複数位置の超音波断層像の各々について、検出器に、超音波断層像及び拡張画像を各々入力して学習済みモデルの出力を各々取得する。また、複数位置の超音波断層像の各々について、超音波断層像及び拡張画像の各々に対する学習済みモデルの出力を統合することにより、超音波断層像の前記特徴領域を求める。これにより、簡易な構成で、精度よく特徴領域を検出することができる。また、特徴領域の検出結果を表示することにより、医師による診断を支援することができる。
　また、本実施形態によれば、除去や補正が困難なアーチファクトを含む超音波断層像を、アーチファクトが異なる（または存在しない）が空間的または／及び時間的に連続する超音波断層像を用いて、特徴領域を求めることで、アーチファクトについて頑健な精度を保つことが可能である。
　また、拡張画像を生成する際に、近隣の位置で撮像された超音波断層像を用いて生成し、生成された拡張画像に対する学習済みモデルの出力と統合することにより、超音波断層像を撮像するプロセスで起きたモーションアーチファクトの一部を補正してもよい。
　また、複数の拡張画像を生成し、学習済みモデルの出力を統合する。このことは、さまざまな分類器のアンサンブルと見なすことができる。また、複数の拡張画像に対する学習済みモデルの出力を統合すると、１つの超音波断層像に対する学習済みモデルの出力から特徴領域を検出する場合と比較して、ロバストになる。
＜変形例＞
　なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
　例えば、学習済みモデルを生成する際に、近隣の位置で撮像された超音波断層像を用いて生成された拡張画像を更に用いてもよい。この場合には、近隣の位置で撮像された超音波断層像に付与された特徴領域を考慮して、拡張画像に対して特徴領域を付与すればよい。
　また、統合部は、超音波断層像に対する学習済みモデルの出力と、当該超音波断層像の近隣の位置で撮像された超音波断層像に対する学習済みモデルの出力とをさらに統合し、超音波断層像の特徴領域を求めるようにしてもよい。
　また、超音波信号を用いて断層像を取得する場合を例に説明したが、これに限定されるものではない。超音波信号以外の信号を用いて断層像を取得するようにしてもよい。
　また、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、学習処理及び画像診断支援処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の
２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
　また、上記各実施形態では、学習プログラム及び画像診断支援プログラムがストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　以上の実施形態に関し、更に以下の付記を開示する。
　（付記項１）
　メモリと、
　前記メモリに接続された少なくとも１つのプロセッサと、
　を含み、
　前記プロセッサは、
　被検者の生体部位の互いに異なる位置において撮像された複数の断層像を取得し、
　前記複数の断層像の各々について、拡張画像を生成し、
　前記複数の断層像の各々について、予め用意された前記断層像と前記拡張画像とを用いて学習された、特徴領域を検出するための学習済みモデルを含む検出器に、前記断層像及び前記拡張画像を各々入力して前記学習済みモデルの出力を各々取得し、前記断層像及び前記拡張画像の各々に対する前記学習済みモデルの出力を統合することにより、前記断層像の前記特徴領域を求める
　ように構成される画像診断支援装置。
　（付記項２）
　画像診断支援処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
　前記画像診断支援処理は、
　被検者の生体部位の互いに異なる位置において撮像された複数の断層像を取得し、
　前記複数の断層像の各々について、拡張画像を生成し、
　前記複数の断層像の各々について、予め用意された前記断層像と前記拡張画像とを用いて学習された、特徴領域を検出するための学習済みモデルを含む検出器に、前記断層像及び前記拡張画像を各々入力して前記学習済みモデルの出力を各々取得し、前記断層像及び前記拡張画像の各々に対する前記学習済みモデルの出力を統合することにより、前記断層像の前記特徴領域を求める
　非一時的記憶媒体。
　日本出願2021-161305の開示はその全体が参照により本明細書に取り込まれる。
　本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記載された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (11)

  1. 　被検者の生体部位の互いに異なる位置において撮像された複数の断層像を取得する取得部と、
    　前記複数の断層像の各々について、拡張画像を生成する拡張部と、
    　予め用意された前記断層像と前記拡張画像とを用いて学習された、特徴領域を検出するための学習済みモデルを含む検出器と、
    　前記複数の断層像の各々について、前記検出器に、前記断層像及び前記拡張画像を各々入力して前記学習済みモデルの出力を各々取得し、前記断層像及び前記拡張画像の各々に対する前記学習済みモデルの出力を統合することにより、前記断層像の前記特徴領域を求める統合部と、
    　を含む画像診断支援装置。
  2. 　前記拡張部は、前記複数の断層像の各々について、近隣の位置で撮像された断層像を用いて、前記拡張画像を生成する請求項１記載の画像診断支援装置。
  3. 　前記拡張部は、前記近隣の位置で撮像された断層像を、前記拡張画像に含める請求項２記載の画像診断支援装置。
  4. 　前記拡張部は、前記断層像と、前記近隣の位置で撮像された断層像とを合成することにより、前記拡張画像を生成する請求項２又は３記載の画像診断支援装置。
  5. 　前記学習済みモデルは、予め用意された前記断層像と、近隣の位置で撮像された断層像を用いて生成された前記拡張画像とを用いて学習されたものである請求項１～請求項４の何れか１項記載の画像診断支援装置。
  6. 　前記統合部は、前記断層像に対する学習済みモデルの出力と、前記断層像の近隣の位置で撮像された前記断層像に対する学習済みモデルの出力とをさらに統合し、前記断層像の前記特徴領域を求める請求項１～請求項５の何れか１項記載の画像診断支援装置。
  7. 　前記断層像は、超音波信号に基づき被検者の生体部位を撮像した超音波断層像である請求項１～請求項６の何れか１項記載の画像診断支援装置。
  8. 　前記超音波断層像は、前記生体部位の周囲を取り囲むように配置した複数の超音波素子から前記超音波信号を順次送信して得た複数の反射波データに基づいて生成され、
    　前記複数の断層像は、前記複数の超音波素子の配置位置をずらしながら撮像することにより取得される請求項７記載の画像診断支援装置。
  9. 　前記生体部位は、乳房である請求項１～請求項８の何れか１項記載の画像診断支援装置。
  10. 　被検者の生体部位の互いに異なる位置において撮像された複数の断層像を取得し、
    　前記複数の断層像の各々について、拡張画像を生成し、
    　前記複数の断層像の各々について、予め用意された前記断層像と前記拡張画像とを用いて学習された、特徴領域を検出するための学習済みモデルを含む検出器に、前記断層像及び前記拡張画像を各々入力して前記学習済みモデルの出力を各々取得し、前記断層像及び前記拡張画像の各々に対する前記学習済みモデルの出力を統合することにより、前記断層像の前記特徴領域を求める
    　処理をコンピュータが実行する画像診断支援方法。
  11. 　被検者の生体部位の互いに異なる位置において撮像された複数の断層像を取得し、
    　前記複数の断層像の各々について、拡張画像を生成し、
    　前記複数の断層像の各々について、予め用意された前記断層像と前記拡張画像とを用いて学習された、特徴領域を検出するための学習済みモデルを含む検出器に、前記断層像及び前記拡張画像を各々入力して前記学習済みモデルの出力を各々取得し、前記断層像及び前記拡張画像の各々に対する前記学習済みモデルの出力を統合することにより、前記断層像の前記特徴領域を求める
    　処理をコンピュータに実行させる画像診断支援プログラム。
PCT/JP2022/030973 2021-09-30 2022-08-16 画像診断支援装置、画像診断支援方法、及び画像診断支援プログラム WO2023053755A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021161305 2021-09-30
JP2021-161305 2021-09-30

Publications (1)

Publication Number Publication Date
WO2023053755A1 true WO2023053755A1 (ja) 2023-04-06

Family

ID=85782318

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/030973 WO2023053755A1 (ja) 2021-09-30 2022-08-16 画像診断支援装置、画像診断支援方法、及び画像診断支援プログラム

Country Status (1)

Country Link
WO (1) WO2023053755A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019082892A1 (ja) * 2017-10-24 2019-05-02 株式会社Ｌｉｌｙ ＭｅｄＴｅｃｈ 超音波診断システム及び超音波診断方法
JP2019069145A (ja) * 2017-10-06 2019-05-09 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理システム
WO2020262683A1 (ja) * 2019-06-28 2020-12-30 富士フイルム株式会社 医用画像処理装置、方法およびプログラム
US20210264599A1 (en) * 2019-04-22 2021-08-26 Tencent Technology (Shenzhen) Company Limited Deep learning based medical image detection method and related device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019069145A (ja) * 2017-10-06 2019-05-09 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理システム
WO2019082892A1 (ja) * 2017-10-24 2019-05-02 株式会社Ｌｉｌｙ ＭｅｄＴｅｃｈ 超音波診断システム及び超音波診断方法
US20210264599A1 (en) * 2019-04-22 2021-08-26 Tencent Technology (Shenzhen) Company Limited Deep learning based medical image detection method and related device
WO2020262683A1 (ja) * 2019-06-28 2020-12-30 富士フイルム株式会社 医用画像処理装置、方法およびプログラム

Similar Documents

Publication Publication Date Title
JP6106190B2 (ja) 血管画像における血液及び血液尤度の可視化方法
JP7258568B2 (ja) 超音波診断装置、画像処理装置、及び画像処理プログラム
CN106659473B (zh) 超声成像装置
JP5002181B2 (ja) 超音波診断装置及び超音波診断装置制御方法
JP5586375B2 (ja) 超音波診断装置、及びプログラム
CN114119362A (zh) 利用神经网络提高超声图像分辨率的系统和方法
US11684344B2 (en) Systems and methods for quantitative abdominal aortic aneurysm analysis using 3D ultrasound imaging
US10722217B2 (en) Ultrasonic diagnostic apparatus and medical image processing apparatus
JP6385702B2 (ja) 超音波診断装置、医用画像処理装置及び医用画像処理プログラム
WO2022071264A1 (ja) プログラム、モデル生成方法、情報処理装置及び情報処理方法
JP3936450B2 (ja) 投影画像生成装置及び医用画像装置
WO2023053755A1 (ja) 画像診断支援装置、画像診断支援方法、及び画像診断支援プログラム
JP7275261B2 (ja) ３次元超音波画像生成装置、方法、及びプログラム
JP6545969B2 (ja) 超音波診断装置
JP7336766B2 (ja) 超音波診断装置、超音波診断方法および超音波診断プログラム
JP2023178791A (ja) 画像診断支援装置、画像診断支援方法、及び画像診断支援プログラム
JP7233792B2 (ja) 画像診断装置、画像診断方法、プログラム及び機械学習用訓練データの生成方法
JP5959880B2 (ja) 超音波診断装置
JP2020014723A (ja) 超音波診断装置及び画像処理プログラム
US11883241B2 (en) Medical image diagnostic apparatus, ultrasonic diagnostic apparatus, medical imaging system, and imaging control method
US20230228873A1 (en) Systems and methods for generating color doppler images from short and undersampled ensembles
JP2010011904A (ja) 超音波診断装置、医用画像処理装置、及び医用画像処理プログラム
JP2012120692A (ja) 超音波画像処理装置
JP2024046504A (ja) 画像診断支援装置、画像診断支援方法、及び画像診断支援プログラム
JP2024018636A (ja) 医用画像処理装置、医用画像処理方法、及び、医用画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22875629

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE