WO2022114131A1 - 画像診断装置、画像診断方法、プログラム及び機械学習用訓練データの生成方法 - Google Patents

画像診断装置、画像診断方法、プログラム及び機械学習用訓練データの生成方法 Download PDF

Info

Publication number
WO2022114131A1
WO2022114131A1 PCT/JP2021/043404 JP2021043404W WO2022114131A1 WO 2022114131 A1 WO2022114131 A1 WO 2022114131A1 JP 2021043404 W JP2021043404 W JP 2021043404W WO 2022114131 A1 WO2022114131 A1 WO 2022114131A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
diagnostic imaging
imaging apparatus
blurring
Prior art date
Application number
PCT/JP2021/043404
Other languages
English (en)
French (fr)
Inventor
佑 陣内
祐太朗 田中
隆 東
Original Assignee
株式会社Lily MedTech
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Lily MedTech filed Critical 株式会社Lily MedTech
Priority to JP2022533229A priority Critical patent/JP7233792B2/ja
Publication of WO2022114131A1 publication Critical patent/WO2022114131A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography

Definitions

  • the present invention relates to a diagnostic imaging device, a diagnostic imaging method, a program, and a method of generating training data for machine learning.
  • Patent Document 1 a device for imaging an X-ray tomographic image of a breast, which is a breast tomographic imaging device that detects a movement of the breast at the time of image imaging and corrects an X-ray tomographic image based on the detected movement. It has been disclosed.
  • Patent Document 1 detects the movement of the breast using a physical sensor, and has not yet detected blurring due to body movement or the like from the image itself to correct the image.
  • One aspect is to provide an image diagnostic device or the like that can suitably support ultrasonic image diagnosis.
  • the diagnostic imaging apparatus includes an acquisition unit that acquires a plurality of first images obtained by imaging a living body part of a subject based on an ultrasonic signal, and a second image obtained by reconstructing the plurality of first images.
  • the first image or the generated image acquired in the generation unit to be generated and the model trained to detect the blurring of the first image or the second image when the first image or the second image is input.
  • It includes a detection unit that inputs the second image and detects the blur, and a calculation unit that calculates an alignment function for aligning the plurality of first images when the blur is detected.
  • the generation unit generates the second image based on the plurality of first images and the alignment function.
  • ultrasonic diagnostic imaging can be suitably supported.
  • FIG. 1 is an explanatory diagram showing a configuration example of an diagnostic imaging system.
  • the diagnostic imaging system includes a server 1 and a diagnostic imaging device 2.
  • the server 1 and the diagnostic imaging apparatus 2 are communicated and connected via the network N.
  • the breast is mentioned as an example of the biological part to be image-diagnosed, but it may be another biological part.
  • Server 1 is a server computer capable of various information processing and transmission / reception of information.
  • the device corresponding to the server 1 is not limited to the server computer, and may be, for example, a personal computer or the like.
  • the server 1 performs machine learning to learn predetermined training data, and when an ultrasonic image (for example, a tomographic image) captured by the diagnostic imaging apparatus 2 is input, the body movement of the subject, etc. It functions as a generator for generating a first model 51 (see FIG. 8) that detects blurring of an image due to the above.
  • the data of the first model 51 generated by the server 1 is installed in the diagnostic imaging apparatus 2, and the diagnostic imaging apparatus 2 detects blurring from the captured image using the first model 51 and corrects the blur.
  • the image diagnosis device 2 is an image diagnosis device for ultrasonic echo examination, and includes an image processing device 20 and an image pickup device 30.
  • the image processing device 20 is a computer that functions as a console of the diagnostic imaging device 2, and in addition to generating (reconstructing) an ultrasonic tomographic image of the breast and displaying it, a plurality of tomographic images captured at a plurality of positions of the breast are displayed. Originally, a 3D image is generated and displayed.
  • the image processing device 20 is not limited to the computer (console) for ultrasonic image diagnosis, and may be a general-purpose computer such as a personal computer.
  • the image pickup device 30 is an image pickup device that transmits and receives ultrasonic signals. As shown in FIG. 1, the image pickup apparatus 30 is configured to be able to take an image of a breast while the subject is lying face down. Specifically, the image pickup apparatus 30 has a bed-like shape, and the top plate 31 is provided with a hole 32 for inserting a breast. A water tank 33 is provided below the hole 32, and the subject inserts the breast into the water tank 33 through the hole 32.
  • the water tank 33 is provided with a ring array 34.
  • the ring array 34 is a ring-shaped oscillator array including a plurality of ultrasonic elements 341 (transducers) (see FIG. 4).
  • a plurality of ultrasonic elements 341 are arranged at equal intervals in the ring array 34, and each ultrasonic element 341 transmits an ultrasonic signal and receives a reflected wave.
  • the image processing device 20 reconstructs the reflected wave data in a plurality of directions obtained from each ultrasonic element 341 to generate an ultrasonic tomographic image.
  • the ring array 34 is configured to be movable in the vertical direction, and the diagnostic imaging apparatus 2 moves the ring array 34 up and down to take an image of a tomographic image at each position (height) of the drooping breast, and captures a tomographic image at a plurality of positions.
  • a three-dimensional image is generated by reconstructing the tomographic image of.
  • the ultrasonic diagnostic system described in International Publication No. 2017/051903 can be adopted.
  • the diagnostic imaging apparatus 2 is not limited to the above configuration.
  • an image diagnosis device using a handy scanner may be used instead of the bed-type image pickup device 30, an image diagnosis device using a handy scanner.
  • the diagnostic imaging apparatus 2 captures an ultrasonic tomographic image of the breast.
  • the diagnostic imaging apparatus 2 uses the above-mentioned first model 51 to detect blurring caused by body movement or the like from an ultrasonic tomographic image.
  • the diagnostic imaging apparatus 2 corrects the tomographic image and generates a three-dimensional image using the corrected tomographic image.
  • the server 1 generates (learns) the first model 51, but the local diagnostic imaging apparatus 2 may generate the first model 51. Further, in the present embodiment, the diagnostic imaging apparatus 2 detects blurring based on the first model 51, but the server 1 on the cloud may detect blurring using the first model 51. .. That is, the distinction between the two is convenient, and a single computer may perform a series of processes.
  • FIG. 2 is a block diagram showing a configuration example of the server 1.
  • the server 1 includes a control unit 11, a main storage unit 12, a communication unit 13, and an auxiliary storage unit 14.
  • the control unit 11 has one or a plurality of processors such as a CPU (Central Processing Unit), an MPU (Micro-Processing Unit), and a GPU (Graphics Processing Unit), and reads out the program P1 stored in the auxiliary storage unit 14. By executing it, various information processing is performed.
  • the main storage unit 12 is a temporary storage area for SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), flash memory, etc., and temporarily stores data necessary for the control unit 11 to execute arithmetic processing.
  • SRAM Static Random Access Memory
  • DRAM Dynamic Random Access Memory
  • flash memory etc.
  • the communication unit 13 is a communication module for performing processing related to communication, and transmits / receives information to / from the outside.
  • the auxiliary storage unit 14 is a non-volatile storage area such as a large-capacity memory or a hard disk, and stores the program P1 and other data necessary for the control unit 11 to execute processing.
  • the auxiliary storage unit 14 may be an external storage device connected to the server 1. Further, the server 1 may be a multi-computer composed of a plurality of computers, or may be a virtual machine virtually constructed by software.
  • the server 1 is not limited to the above configuration, and may include, for example, an input unit that accepts operation input, a display unit that displays an image, and the like. Further, the server 1 includes a reading unit for reading a portable storage medium 1a such as a CD (CompactDisk) -ROM, a DVD (DigitalVersatileDisc) -ROM, and reads and executes a program P1 from the portable storage medium 1a. You can do it. Alternatively, the server 1 may read the program P1 from the semiconductor memory 1b.
  • a portable storage medium 1a such as a CD (CompactDisk) -ROM, a DVD (DigitalVersatileDisc) -ROM
  • FIG. 3 is a block diagram showing a configuration example of the image processing device 20.
  • the image processing device 20 includes a control unit 21, a main storage unit 22, a communication unit 23, a display unit 24, an input unit 25, a transmission / reception unit 26, an image processing unit 27, and an auxiliary storage unit 28.
  • the control unit 21 has one or a plurality of processors such as CPUs, and performs various information processing by reading and executing the program P2 stored in the auxiliary storage unit 28.
  • the main storage unit 22 is a temporary storage area such as a RAM, and temporarily stores data necessary for the control unit 21 to execute arithmetic processing.
  • the communication unit 23 is a communication module for performing processing related to communication, and transmits / receives information to / from the outside.
  • the display unit 24 is a display screen such as a liquid crystal display and displays an image.
  • the input unit 25 is an operation interface for a keyboard, a mouse, and the like, and receives operation input from the user.
  • the transmission / reception unit 26 controls the ultrasonic element 341 of the ring array 34 to transmit / receive ultrasonic signals.
  • the image processing unit 27 is a module that performs image processing (reconstruction), and preferably includes a processor having a high calculation processing capacity such as a GPU.
  • the auxiliary storage unit 28 is a non-volatile storage area such as a hard disk and a large-capacity memory, and stores the program P2 and other data necessary for the control unit 21 to execute processing. Further, the auxiliary storage unit 28 stores the first model 51.
  • the first model 51 is a machine learning model in which predetermined training data has been trained, and is a model for detecting blurring of an image when an ultrasonic tomographic image is input.
  • the first model 51 is expected to be used as a program module constituting a part of artificial intelligence software.
  • the image processing device 20 may include a reading unit that reads a portable storage medium 2a such as a CD-ROM, and may read the program P2 from the portable storage medium 2a and execute the program P2. Alternatively, the image processing device 20 may read the program P2 from the semiconductor memory 2b.
  • a reading unit that reads a portable storage medium 2a such as a CD-ROM, and may read the program P2 from the portable storage medium 2a and execute the program P2.
  • the image processing device 20 may read the program P2 from the semiconductor memory 2b.
  • FIG. 4 is an explanatory diagram relating to the imaging process of the ultrasonic tomographic image.
  • FIG. 4 conceptually illustrates how the diagnostic imaging apparatus 2 transmits and receives ultrasonic signals via the ring array 34 to generate (image) an ultrasonic tomographic image (second image) of the breast. The outline of the diagnostic imaging apparatus 2 will be described below.
  • the image pickup apparatus 30 of the diagnostic imaging apparatus 2 has a ring array 34 in which a plurality of (for example, 150) ultrasonic elements 341 are provided at equal intervals, and an ultrasonic signal is transmitted through each ultrasonic element 341. Send and receive. Specifically, as illustrated by hatching in FIG. 1, the diagnostic imaging apparatus 2 transmits an ultrasonic signal with a fan-shaped region within a certain distance from the ultrasonic element 341 as an imaging region.
  • the ultrasonic element 341 receives the reflected wave from the above-mentioned imaging region.
  • the element that transmits the ultrasonic signal and the element that receives the reflected wave may be different.
  • the diagnostic imaging apparatus 2 acquires the reflected wave data obtained by receiving the reflected wave by the ultrasonic element 341 as the original image data (first image) for generating (reconstructing) the ultrasonic tomographic image.
  • an image reconstructed based on the reflected wave data obtained by receiving the reflected wave by the ultrasonic element 341 is referred to as a “fan image”.
  • the image refers to a matrix of two-dimensional integers or real numbers.
  • the diagnostic imaging apparatus 2 obtains by transmitting ultrasonic signals transmitted to a biological part from each of a plurality of directions by sequentially transmitting ultrasonic signals from each ultrasonic element 341 arranged along the circumference of the ring array 34. Get multiple fan images. Then, the image processing unit 27 of the image diagnostic apparatus 2 (image processing apparatus 20) reconstructs the plurality of fan images by the aperture synthesis method to generate a two-dimensional ultrasonic tomographic image.
  • the diagnostic imaging apparatus 2 starts at an arbitrary ultrasonic element 341 and extends to the ultrasonic element 341 at the end point located next to the ultrasonic element 341.
  • the ultrasonic element 341 that transmits an ultrasonic signal in a clockwise direction is sequentially changed to acquire an omnidirectional fan image (for example, 150 fan images).
  • each fan image covers a fan-shaped space, and the fan images acquired by the adjacent ultrasonic elements 341 overlap each other in the imaging region.
  • the diagnostic imaging apparatus 2 superimposes fan images in each direction to generate one tomographic image.
  • the fan image used for aperture synthesis is reconstructed under the same sound velocity estimation value based on the received signal acquired under the same transmission condition regardless of the position of the transmission aperture.
  • the diagnostic imaging apparatus 2 can also simultaneously transmit ultrasonic signals from a plurality of different transmission openings (ultrasonic element 341). For example, when acquiring 150 fan images per tomographic image, transmission may be performed 150 times starting from a certain direction as described above, but the directions (angles) are different by 120 degrees at three locations. By transmitting from the ultrasonic element 341 at the same time and sequentially changing the three ultrasonic elements 341 along the ring array 34, the image pickup of the fan image may be completed in 50 transmissions. Further, in the present embodiment, the ultrasonic element 341 is described as being arranged in an annular shape around the breast, but the arrangement shape is not limited to the annular shape and may be arranged in another shape. ..
  • the diagnostic imaging apparatus 2 can acquire a plurality of fan images by sequentially transmitting ultrasonic signals in a plurality of times from a plurality of ultrasonic elements 341 arranged so as to surround the periphery of the breast (living body part).
  • the number of transmissions of the ultrasonic signal and the arrangement shape of the ultrasonic element 341 are not particularly limited.
  • each of the plurality of fan images includes at least a part of the tomographic image imaging region on substantially the same plane, and is a set of images in which at least one of different fan images and a part of the imaging region overlap.
  • FIG. 5 is an explanatory diagram showing the relationship between the measurement time and body movement in ultrasonic imaging.
  • the rate-determining time for imaging is the speed of sound propagating in the living body and in the water. It depends on the structure and temperature, but it is about 1500 m / s.
  • the side length is 15 cm.
  • the round-trip propagation time is 0.2 ms.
  • FIG. 6 is an explanatory diagram showing the relationship between the position of the transmission opening and the point response function.
  • the ultrasonic scattered image based on the reflected wave data obtained by ultrasonic imaging is represented by a point response function indicating the basic performance of imaging and a convolution integral of the scattering body distribution in the imaging target.
  • the point response function PSF is the angle between the distance from the aperture and the line segment connecting the center of the ring array 34 and the center of the transmission aperture with the reference line under ideal conditions that do not consider the inhomogeneity of the speed of sound. It becomes a function of. That is, strictly speaking, the point response function does not have a shape that is rotationally symmetric with respect to the point at which the output value of the point response function takes the maximum value.
  • the scattered image is a method of adding signals obtained by a plurality of receiving elements and outputting an image, but a method other than necessarily adding when outputting one pixel signal from a signal of the number of receiving elements.
  • this embodiment can also be applied to a method of extracting dynamic information such as blood flow and contrast medium from changes in scattered signals over time and visualizing information on the spatial distribution of blood flow. Is.
  • FIG. 7 is an explanatory diagram regarding the generation process of the three-dimensional image.
  • FIG. 7 conceptually illustrates how a tomographic image (center of FIG. 7) is generated from a plurality of fan images (left of FIG. 7) and a three-dimensional image (right of FIG. 7) is further generated from a plurality of tomographic images. There is.
  • the diagnostic imaging apparatus 2 reconstructs a plurality of fan images obtained by imaging the breast from each direction and generates a two-dimensional ultrasonic tomographic image.
  • the diagnostic imaging apparatus 2 moves the ring array 34 up and down to generate tomographic images of breasts at different positions (heights) along one direction (up and down direction).
  • the image processing unit 27 of the diagnostic imaging apparatus 2 reconstructs a plurality of tomographic images (frames) arranged along one direction to generate a three-dimensional image of the breast.
  • FIG. 8 is an explanatory diagram regarding blur detection processing.
  • FIG. 8 conceptually illustrates a state in which an ultrasonic tomographic image of a breast is input to the first model 51 and blurring of the image due to body movement or the like is detected.
  • the diagnostic imaging apparatus 2 generates an ultrasonic tomographic image from a plurality of fan images.
  • the tomographic image may be blurred.
  • Examples of the cause of this blurring include those caused by the body movement of the subject (so-called motion artifact), the misalignment of the device (ring array 34), and the like.
  • the image diagnostic apparatus 2 estimates the sound wave velocity of the ultrasonic wave to generate an image, the position estimation of the subject may be deviated due to the error in the sound velocity estimation, which may cause blurring.
  • These blurs are caused by multiple acquisition data that are actually acquired at different timings in time in a plane or stereoscopic imaging region that is supposed to be acquired simultaneously in time in the process of aperture synthesis.
  • Blurring occurs due to compositing.
  • the present embodiment by detecting the positional deviation between the fan images, it is possible to reduce the blurring caused by the positional deviation between the fan images or between the fan image and the imaging space coordinates that occurs during aperture synthesis. be.
  • the diagnostic imaging apparatus 2 detects the blurring of the tomographic image using the first model 51.
  • the first model 51 is a machine learning model in which predetermined training data has been trained, and is a model for detecting blurring of a tomographic image when an ultrasonic tomographic image is input.
  • a BRISQUE Blind / Referenceless Image Spatial Quality Evaluator
  • SVM Small Vector Machine
  • the BRISQUE is an algorithm that evaluates the quality of an image without the need for a reference image.
  • the first model 51 includes a feature amount extractor 511 and a detector 512.
  • the feature amount extractor 511 is an extractor that extracts the feature amount of the input image.
  • the feature amount is the average luminance, the dispersion of the luminance, the skewness of the luminance, the kurtosis of the luminance, the entropy, and the like, but the parameters thereof are not particularly limited.
  • the feature amount extractor 511 generates a feature amount vector from the input tomographic image and inputs it to the detector 512.
  • the detector 512 is an SVM that detects blurring based on the feature amount of the tomographic image.
  • the detector 512 has learned the determination boundary for discriminating between the spatial area determined to have blurring and the spatial area determined to have no blurring. It is a model and detects blurring based on the feature amount input from the feature amount extractor 511.
  • the detector 512 according to the present embodiment is configured as a regression model for calculating a score indicating the degree of blurring, calculates the score based on the feature amount of the tomographic image, and determines the presence or absence of blurring based on the calculated score. judge.
  • the detector 512 is described as a regression model that calculates a score indicating the degree of blurring, but it may be a classification model that performs binary classification as to whether or not there is blurring.
  • the BRISQUE model is given as an example of the first model 51, but the first model 51 may be a model based on other learning algorithms such as a neural network, a decision tree, and a random forest.
  • the server 1 learns the ultrasonic tomographic image of the subject imaged in the past as training data, generates the first model 51, and installs it in the diagnostic imaging apparatus 2.
  • the server 1 may use the tomographic image in which blurring is actually observed as training data, but in the present embodiment, the tomographic image without blurring is artificially blurred and used as training data.
  • the server 1 performs predetermined coordinate transformations (fine movements in the X and Y directions, fine rotations, etc.) simulating body movements on a plurality of fan images constituting a tomographic image without blurring.
  • the server 1 may perform coordinate conversion on all the fan images constituting one tomographic image, or may perform coordinate conversion on only a part of the fan images.
  • the server 1 generates an artificially blurred tomographic image by reconstructing a plurality of fan images after coordinate conversion.
  • the server 1 uses the tomographic image before blurring and the tomographic image after blurring as training data to generate the first model 51.
  • Server 1 first performs segmentation for each tomographic image for training and extracts the image area corresponding to the breast.
  • the image area corresponding to the breast is shown in white, and the image area other than the breast is shown in black.
  • the segmentation may be performed by detecting the contour of the breast by pattern matching, or may be performed by using a machine learning model such as CNN (Convolution Neural Network). Further, the original tomographic image may be used as it is without performing segmentation.
  • CNN Convolution Neural Network
  • the server 1 inputs the image areas extracted from the original tomographic image without blurring and the tomographic image with blurring into the feature amount extractor 511, and extracts the feature amount of the image area. Then, the server 1 generates the detector 512 based on the feature amount of each tomographic image (image area) with a class label indicating the presence or absence of blurring. That is, when the tomographic image is mapped to the feature amount space according to the feature amount, the server 1 discriminates between a spatial area for determining that the tomographic image has blur and a spatial area for determining that the tomographic image has no blur. Derivation of the decision boundary to be made. From the above, the server 1 generates the first model 51.
  • the diagnostic imaging apparatus 2 detects blurring from the tomographic image of the subject's breast using the above-mentioned first model 51. That is, the diagnostic imaging apparatus 2 performs segmentation of the tomographic image to extract an image region corresponding to the breast, and inputs the image region to the feature amount extractor 511 to extract the feature amount. Then, the diagnostic imaging apparatus 2 inputs the extracted feature amount to the detector 512, calculates a score indicating the degree of blurring, and determines the presence or absence of blurring. For example, the diagnostic imaging apparatus 2 determines whether or not the calculated score is equal to or higher than a predetermined threshold value.
  • the diagnostic imaging apparatus 2 may accept a setting input for setting (changing) a threshold value to be compared with the score from the user (medical worker). As a result, the user can arbitrarily determine the degree of blurring to be corrected.
  • the diagnostic imaging apparatus 2 corrects the tomographic image where the blurring is detected. Specifically, the diagnostic imaging apparatus 2 aligns a plurality of fan images constituting a tomographic image with each other.
  • the breast as a subject of the present invention is a non-rigid body. Therefore, the rigid body registration method cannot be used. In addition, it is necessary to specify a landmark for non-rigid registration. However, in diagnosis, it is a time-consuming task for a person (doctor) to select landmarks for each image and specify their positions. Therefore, in the present invention, the structure in the breast automatically extracted by the program by the edge image extracted from the part (edge) where the brightness of the image changes discontinuously is used as a landmark.
  • the diagnostic imaging apparatus 2 first detects the edge of each fan image and generates a plurality of edge images obtained by extracting the edge from each fan image.
  • an example of using connective tissue and Cooper's ligament as breast landmarks will be described. Since the connective tissue and the Cooper's ligament have a linear structure, the connective tissue and the Cooper's ligament can be taken out by applying an edge detection filter.
  • a Gabor filter As a method of generating an edge image, for example, a Gabor filter is used.
  • the control unit 21 applies a breast region mask to the fan image. For example, a fan image with zero brightness in the extramammary region is generated.
  • the control unit 21 further applies a Gabor filter to each of the obtained fan images to generate a magnitude image.
  • the control unit 21 calculates the average brightness of the brightness of the obtained magnitude image and generates an edge image.
  • the parameters of the Gabor filter are, for example, an angle ⁇ of 0, 45, 90, ..., 315.
  • a Sobel Filter can be used as another example of the method of generating an edge image.
  • the control unit 21 applies a breast region mask to the fan image to generate a fan image in which the brightness of the extramammary region is zero.
  • the control unit 21 applies a 2D Sobel filter to each of the obtained fan images to generate an edge image.
  • the method for generating an edge image is not limited to the methods described above, and any filter that can selectively extract a linear structure may be used. By performing the alignment using the edge image obtained in this way, it is possible to perform the alignment so that the positions of the connective tissues match in the two images.
  • the diagnostic imaging apparatus 2 calculates an edge motion vector (vector value indicating the amount of edge movement and the direction of movement) between two adjacent edge images, and based on the calculated motion vector, positions the fan images with each other. Calculate the alignment function for alignment.
  • the "two adjacent edge images” refer to two edge images corresponding to the two fan images acquired by the two adjacent ultrasonic elements 341 in the ring array 34.
  • the diagnostic imaging apparatus 2 uses, for example, a TV-L1 optical flow or the like to calculate an alignment function of two fan images so that the evaluation value representing the degree of coincidence between the two edge images is maximized.
  • the diagnostic imaging apparatus 2 sequentially evaluates the degree of coincidence between adjacent edge images for all edge images, and calculates a fan image alignment function.
  • the diagnostic imaging apparatus 2 reconstructs a plurality of fan images while performing alignment of each fan image based on the calculated alignment function, and regenerates a tomographic image.
  • Aligning fan images means aligning each fan image before generating (reconstructing) the tomographic image, and shifting the relative coordinates of each fan image in the process of generating the tomographic image. By superimposing the images while superimposing them, it is possible to include the case of alignment during the generation of the tomographic image.
  • FIG. 9 is an explanatory diagram showing an example of a display screen of the diagnostic imaging apparatus 2.
  • FIG. 9 shows an example of a screen displayed on the display unit 24 by the diagnostic imaging apparatus 2 (image processing apparatus 20), which is a tomographic image before applying the alignment function (before correction) and after applying the alignment function.
  • An example of a screen displaying a tomographic image (after correction) is shown.
  • the diagnostic imaging apparatus 2 performs the above correction and displays the tomographic image before and after the correction.
  • the screen includes a pre-correction image 71, a post-correction image 72, a re-imaging button 73, a pre-correction image selection button 74, and a post-correction image selection button 75.
  • the uncorrected image 71 is a tomographic image before correction (a tomographic image in which blurring is detected), and the corrected image 72 is a tomographic image after correction.
  • the image diagnostic apparatus 2 displays the pre-correction image 71 and the post-correction image 72, and presents the user with the state before and after the correction.
  • the re-imaging button 73 is a button for selecting whether or not re-imaging is necessary. For example, when the tomographic image is so blurry that it cannot be used for diagnosis even if it is corrected, the user operates the re-imaging button 73 to perform re-imaging. When the operation input to the re-imaging button 73 is received, the diagnostic imaging apparatus 2 performs re-imaging, acquires a fan image, and generates a tomographic image.
  • the reimaging may be performed on the breast cross section at all positions (height), or may be performed only on the breast cross section at the position (height) where blurring is detected.
  • the diagnostic imaging apparatus 2 may automatically determine the necessity of reimaging. For example, the diagnostic imaging apparatus 2 determines whether or not the score is extremely high by comparing the score obtained by inputting the tomographic image into the first model 51 with a predetermined threshold value. As a result, the diagnostic imaging apparatus 2 determines whether or not reimaging is necessary due to severe blurring. When it is determined that reimaging is necessary, the diagnostic imaging apparatus 2 displays, for example, on the screen of FIG. 9 that reimaging is necessary, and prompts the user to reimage. Alternatively, the diagnostic imaging apparatus 2 may automatically start reimaging when it is determined that reimaging is necessary.
  • the diagnostic imaging apparatus 2 may detect an artifact other than blurring from the tomographic image, and if an artifact other than blurring is detected, it may be determined that reimaging is necessary.
  • an artifact for example, a state in which the subject moves greatly and the subject (breast) is not shown can be considered.
  • the above artifact is an example, and other artifacts may be detected.
  • the diagnostic imaging apparatus 2 may train the first model 51 to learn a tomographic image having an artifact other than blurring, or an artifact other than blurring by a detection algorithm other than the first model 51 (image pattern matching, etc.). May be detectable. In this way, the diagnostic imaging apparatus 2 may detect an artifact other than the blur from the tomographic image and determine whether or not reimaging is necessary.
  • the pre-correction image selection button 74 and the post-correction image selection button 75 are buttons for selecting a tomographic image to be used for generating a three-dimensional image (third image) from the tomographic images before and after the correction.
  • the diagnostic imaging apparatus 2 accepts the selection input of the tomographic image used for generating the three-dimensional image by accepting the operation input to any of the buttons.
  • the diagnostic imaging apparatus 2 reconstructs a tomographic image selected by the user and another tomographic image in which blurring is not detected, and generates a three-dimensional image.
  • the diagnostic imaging apparatus 2 displays the generated three-dimensional image.
  • the present embodiment blurring due to body movement or the like is detected from the tomographic image, and when blurring is detected, the tomographic image is obtained by aligning the plurality of fan images constituting the tomographic image. Regenerate. Thereby, the influence of body movement and the like can be removed or reduced, and the ultrasonic image diagnosis can be suitably supported.
  • a BRISQUE model is adopted as the first model 51 for detecting blurring, and alignment based on a motion vector such as an optical flow is adopted as an image correction means.
  • the control unit 21 which is a general-purpose processor
  • the image processing unit 27 GPU or the like
  • the time required for image processing can be suppressed.
  • the present embodiment in order to generate a tomographic image of one plane, it is possible to detect the relative positional deviation between the subject and the ultrasonic element 341 that may occur while acquiring a plurality of fan images. ..
  • ultrasonic signals are sequentially transmitted in one direction from ultrasonic elements 341 arranged in an annular shape to acquire a plurality of fan images
  • continuous body movements are also accumulated and a sudden body is generated. Since the probability of motion also increases, the effect of body motion increases as the time points for capturing each fan image are separated in time. Therefore, the degree of disagreement between images separated in time tends to increase. This point becomes remarkable between the fan image at the start point position of the ring array 34, that is, the fan image at the first time, and the fan image at the end point position, that is, the fan image at the final round.
  • FIG. 10 is an example of comparing the degree of disagreement between 150 fan images adjacent to each other in space.
  • the graph of FIG. 10 shows the calculation result of calculating the degree of disagreement (average value of MSE (Mean squared error) of luminance) between adjacent fan images among the fan images captured from 150 directions.
  • the horizontal axis represents the data points representing the pair of the i-th fan image and the i + 1-th fan image
  • the vertical axis represents the degree of disagreement between the fan images.
  • the last data point is a comparison between the 149th fan image and the 0th fan image, that is, the final and first fan images.
  • the two fan images are spatially adjacent to each other, and the imaging regions overlap each other.
  • the time points of imaging of the two fan images are separated from each other in time, body movement is likely to occur between them, and when the degree of disagreement between the fan images is confirmed, the degree of disagreement of this pair is often the largest. Therefore, the image quality is greatly improved by aligning the two fan images with each other.
  • FIG. 11 is a flowchart showing the procedure of the generation process of the first model 51. Based on FIG. 11, the processing contents when the first model 51 is generated by machine learning will be described.
  • the control unit 11 of the server 1 acquires a plurality of tomographic images of the breast (living body site) of the subject imaged (generated) in the past without blurring in the image (step S11). ..
  • the control unit 11 generates a tomographic image for training with blurring added to each tomographic image (step S12). Specifically, the control unit 11 performs predetermined coordinate conversion simulating body movement on a plurality of fan images constituting each of the tomographic images without blurring.
  • the control unit 11 reconstructs a plurality of fan images after coordinate conversion to generate an artificially blurred tomographic image.
  • the control unit 11 performs segmentation on the non-blurred tomographic image acquired in step S11 and the tomographic image with blurring in step S12, and extracts an image region corresponding to the breast from each tomographic image (step). S13). Then, the control unit 11 generates the first model 51 based on the image area of each extracted tomographic image (step S14). Specifically, as described above, the control unit 11 generates a BRISQUE model including the feature amount extractor 511 and the detector 512 (SVM) as the first model 51. The control unit 11 inputs the image area extracted from each tomographic image for training into the feature amount extractor 511 and extracts the feature amount.
  • SVM detector 512
  • the control unit 11 generates the detector 512 based on the feature amount of each tomographic image (image area) with a class label indicating the presence or absence of blurring. That is, the control unit 11 determines that when each tomographic image is mapped to the feature amount space according to the feature amount, the spatial area determined to have blurring and the spatial area determined to have no blurring are discriminated. Derivation of boundaries. The control unit 11 ends a series of processes.
  • FIG. 12 is a flowchart showing the procedure of the image imaging process.
  • the processing contents executed by the diagnostic imaging apparatus 2 will be described with reference to FIG.
  • the control unit 21 of the diagnostic imaging apparatus 2 (image processing apparatus 20) transmits an ultrasonic signal from each ultrasonic element 341 of the ring array 34, and receives a reflected wave of the ultrasonic signal transmitted from each ultrasonic element 341.
  • the plurality of fan images (reflected wave data, first image) obtained in the above are acquired (step S31).
  • the control unit 21 transmits and receives ultrasonic signals while moving the ring array 34 in the vertical direction, and acquires a fan image of the breast from each direction at different positions (heights) of the breast.
  • the image processing unit 27 generates an ultrasonic tomographic image (second image) obtained by reconstructing a plurality of acquired fan images (step S32). Specifically, the image processing unit 27 generates a plurality of tomographic images at different positions (heights) of the breasts along one direction (vertical direction).
  • the control unit 21 performs segmentation on each tomographic image and extracts an image region corresponding to the breast (step S33). Then, the control unit 21 inputs the image region extracted from each tomographic image into the first model 51, and detects the blurring of each tomographic image (step S34). Specifically, the control unit 21 inputs the image area of each tomographic image to the feature amount extractor 511 to extract the feature amount, and inputs the extracted feature amount to the detector 512 to indicate the degree of blurring. Is calculated, and the presence or absence of blurring is determined according to the calculated score.
  • the control unit 21 determines whether or not blurring is detected in each tomographic image as a result of the processing in step S34 (step S35). When it is determined that blurring is not detected (S35: NO), the control unit 21 shifts the process to step S42.
  • the control unit 21 When it is determined that blurring is detected (S35: YES), the control unit 21 generates an edge image obtained by extracting the edge of the fan image for each of the plurality of fan images constituting the tomographic image in which blurring is detected (step). S36). The control unit 21 calculates the motion vector of the edge between the adjacent edge images, and calculates the alignment function for aligning the fan images based on the calculated motion vector (step S37). The image processing unit 27 generates a tomographic image while aligning the fan images with each other based on the calculated alignment function (step S38).
  • the control unit 21 displays the tomographic image before and after the correction on the display unit 24 (step S39). That is, the control unit 21 displays the tomographic image generated in step S32 and the tomographic image generated in step 38.
  • the control unit 21 receives from the user a selection input for selecting the necessity of reimaging, and determines whether or not to perform reimaging (step S40). As described above, the control unit 21 may automatically determine the necessity of reimaging by detecting high or low scores indicating the degree of blurring calculated above, or artifacts other than blurring. .. When it is determined to perform reimaging (S40: YES), the control unit 21 returns the process to step S31.
  • the control unit 21 selects a tomographic image to be used for generating a three-dimensional image (third image) from the tomographic images before and after the correction displayed in step S39. Accepts selection input (step S41).
  • the image processing unit 27 generates a three-dimensional image of the breast based on the selected tomographic image and other tomographic images in which blurring is not detected and displays it on the display unit 24 (step S42).
  • the control unit 21 ends a series of processes.
  • blurring is detected from the ultrasonic tomographic image (second image) obtained by reconstructing the fan image, but the present embodiment is not limited to this, and the fan that is the source of the tomographic image is not limited to this. Blurring may be detected from the image (first image).
  • the blurring of the image is suitably detected by using the first model 51, and the image is corrected to remove or reduce the blurring, thereby suitably supporting the ultrasonic image diagnosis. can do.
  • FIG. 16 is a flowchart showing another example of the procedure of the image imaging process. The process shown in FIG. 16 is obtained by adding steps S341 to S344 in place of step S34 in the process shown in FIG. The same steps as in FIG. 12 will be omitted. In addition, in FIG. 16, the illustration of steps S36 to S42 in FIG. 12 is omitted.
  • the control unit 21 of the diagnostic imaging apparatus 2 executes the following process after executing the process of step S33. Specifically, the control unit 21 inputs the image area of each tomographic image to the feature amount extractor 511 to extract the feature amount, and inputs the extracted feature amount to the detector 512 to indicate the degree of blurring. Is calculated (step S341). Next, the control unit 21 acquires a tomographic image adjacent to each tomographic image for each tomographic image (step S342). For example, the control unit 21 has one adjacent tomographic image whose imaging position (height) is adjacent to one in the upward or downward direction with respect to one tomographic image (the tomographic image of interest), or two adjacent tomographic images in both directions.
  • the control unit 21 calculates the degree of disagreement between each tomographic image and the adjacent tomographic image of each tomographic image (step S343). For example, the control unit 21 calculates the cumulative value of the difference between the pixel values of the corresponding pixels in each tomographic image and the adjacent tomographic image thereof, and sets the calculated cumulative value as the degree of mismatch.
  • the control unit 21 determines the degree of disagreement between each tomographic image and the adjacent tomographic image directly above each tomographic image, or the degree of disagreement with the adjacent tomographic image immediately below. Is calculated.
  • the control unit 21 determines the degree of disagreement between each tomographic image and the adjacent tomographic image directly above each tomographic image, and the degree of disagreement with the adjacent tomographic image immediately below. calculate.
  • control unit 21 detects the presence or absence of blurring of each tomographic image based on the score indicating the degree of blurring calculated in step S341 and the degree of disagreement with the adjacent tomographic image calculated in step S343 (S344). .. For example, the control unit 21 determines whether or not the calculated score is equal to or higher than a predetermined threshold value, and also determines whether or not the calculated degree of mismatch is equal to or higher than a predetermined threshold value, and the score is equal to or higher than the predetermined threshold value. If it is determined that the degree of inconsistency is equal to or higher than a predetermined threshold value, it is determined that the tomographic image is blurred.
  • the control unit 21 may determine that the tomographic image is blurred when it is determined that the score is equal to or higher than a predetermined threshold value or when it is determined that the degree of disagreement is equal to or higher than a predetermined threshold value.
  • the diagnostic imaging apparatus 2 may be configured to accept a setting input (setting change) from a user (medical worker) for a threshold value to be compared with the degree of disagreement. As a result, the user can arbitrarily determine the degree of inconsistency to be corrected.
  • Embodiment 2 In the first embodiment, a mode in which blurring is detected and corrected when the fan image is reconstructed into a tomographic image has been described. In this embodiment, a mode in which blurring is detected and corrected when a tomographic image (first image) is reconstructed into a three-dimensional image (second image) will be described. The contents overlapping with the first embodiment are designated by the same reference numerals and the description thereof will be omitted.
  • FIG. 13 is a block diagram showing a configuration example of the image processing device 20 according to the second embodiment.
  • the auxiliary storage unit 28 of the image processing device 20 according to the present embodiment stores the second model 52.
  • the second model 52 is a machine learning model in which predetermined training data has been trained, and is a model for detecting blurring of a three-dimensional image when a three-dimensional image of a breast is input.
  • the second model 52 is expected to be used as a program module constituting a part of artificial intelligence software.
  • the second model 52 has the same configuration as the first model 51.
  • the first model 51 that detects blurring from a tomographic image and the second model 52 that detects blurring from a three-dimensional image are described as separate models, but they are the same. It may be a model.
  • the diagnostic imaging apparatus 2 detects blurring from a three-dimensional image in which a plurality of tomographic images are reconstructed, and aligns the tomographic images constituting the three-dimensional image.
  • FIG. 14 is a flowchart showing the procedure of the generation process of the second model 52. Based on FIG. 14, the processing content when the second model 52 is generated by machine learning will be described.
  • the control unit 11 of the server 1 acquires a plurality of three-dimensional images of the breast of the subject that have been generated (imaged) in the past without blurring in the images (step S201).
  • the control unit 11 generates a training 3D image in which blur is added to each 3D image (step S202).
  • the control unit 11 performs predetermined coordinate conversion simulating body movement on a plurality of tomographic images constituting a three-dimensional image without blurring, and reconstructs the plurality of tomographic images after the coordinate conversion. To generate a three-dimensional image with blurring.
  • the control unit 11 extracts an image region corresponding to the breast from each of the non-blurred 3D image and the blurred 3D image (step S203).
  • the control unit 11 generates a second model 52 that detects blurring of the 3D image when a 3D image is input based on the extracted image area (step S204).
  • the control unit 11 ends a series of processes.
  • FIG. 15 is a flowchart showing the procedure of the image imaging process according to the second embodiment.
  • the diagnostic imaging apparatus 2 executes the following process.
  • the image processing unit 27 of the image diagnostic apparatus 2 (image processing apparatus 20) generates a three-dimensional image in which a plurality of tomographic images (first images) captured at different positions of the breast are reconstructed (step S221).
  • the control unit 21 extracts an image region corresponding to the breast from the generated three-dimensional image (step S222).
  • the control unit 21 inputs the extracted image area to the second model 52 and detects blurring of the three-dimensional image (step S223).
  • the control unit 21 determines whether or not blurring is detected as a result of the processing in step S223 (step S224). When it is determined that blurring is not detected (S224: NO), the control unit 21 shifts the process to step S228.
  • the control unit 21 When it is determined that blurring is detected (S224: YES), the control unit 21 generates an edge image obtained by extracting the edge of the tomographic image for each of the plurality of tomographic images constituting the three-dimensional image (step S225).
  • the control unit 21 calculates an edge motion vector between adjacent edge images, and calculates an alignment function between a plurality of tomographic images based on the calculated motion vector (step S226).
  • the control unit 21 generates a three-dimensional image while aligning the tomographic images with each other based on the calculated alignment function (step S227).
  • the control unit 21 displays the three-dimensional image generated in step S221 or S227 on the display unit 24 (step S228), and ends a series of processes.
  • the diagnostic imaging apparatus 2 may display three-dimensional images before and after the correction, and may be able to select whether or not reimaging is necessary and whether or not the correction is necessary.
  • the diagnostic imaging apparatus 2 detects blurring from the tomographic image (first image) before reconstruction instead of the three-dimensional image (second image) after reconstruction, and aligns the tomographic image. May be good.
  • blurring can be detected and corrected even when a three-dimensional image is generated.

Abstract

超音波画像診断を好適に支援することができる画像診断装置等を提供する。　画像診断装置(２)は、超音波信号に基づき被検者の生体部位を撮像した複数の第１画像を取得する取得部と、前記複数の第１画像を再構成した第２画像を生成する生成部と、前記第１画像又は第２画像を入力した場合に、前記第１画像又は第２画像のぼやけを検出するよう学習済みのモデルに、取得した前記第１画像、又は生成した前記第２画像を入力して前記ぼやけを検出する検出部と、前記ぼやけを検出した場合、前記複数の第１画像同士の位置合わせを行うための位置合わせ関数を算出する算出部とを備え、前記生成部は、前記複数の第１画像と、前記位置合わせ関数とに基づき、前記第２画像を生成する。

Description

画像診断装置、画像診断方法、プログラム及び機械学習用訓練データの生成方法
　本発明は、画像診断装置、画像診断方法、プログラム及び機械学習用訓練データの生成方法に関する。
　Ｘ線ＣＴ（Computer Tomography）、超音波エコー等の撮像手段を用いて画像診断を行う場合に、被検者の体動等に起因して撮像画像がぼやけるアーチファクトが発生する場合がある。この問題に対処するため、種々の手法が提案されている。
　例えば特許文献１では、乳房のＸ線断層画像を撮像する装置であって、画像撮像時の乳房の動きを検出し、検出した動きに基づいてＸ線断層画像を補正する乳房断層画像撮影装置が開示されている。
特開２０１０－５１３３７号公報
　しかしながら、特許文献１に係る発明は物理的なセンサを用いて乳房の動きを検出しており、画像自体から体動等に起因するぼやけを検出して画像を補正するに至っていない。
　一つの側面では、超音波画像診断を好適に支援することができる画像診断装置等を提供することを目的とする。
　一つの側面に係る画像診断装置は、超音波信号に基づき被検者の生体部位を撮像した複数の第１画像を取得する取得部と、前記複数の第１画像を再構成した第２画像を生成する生成部と、前記第１画像又は第２画像を入力した場合に、前記第１画像又は第２画像のぼやけを検出するよう学習済みのモデルに、取得した前記第１画像、又は生成した前記第２画像を入力して前記ぼやけを検出する検出部と、前記ぼやけを検出した場合、前記複数の第１画像同士の位置合わせを行うための位置合わせ関数を算出する算出部とを備え、前記生成部は、前記複数の第１画像と、前記位置合わせ関数とに基づき、前記第２画像を生成する。
　一つの側面では、超音波画像診断を好適に支援することができる。
画像診断システムの構成例を示す説明図である。 サーバの構成例を示すブロック図である。 画像処理装置の構成例を示すブロック図である。 超音波断層像の撮像処理に関する説明図である。 超音波撮像における計測時間と体動の関係を示す説明図である。 送信開口の位置と点応答関数との関係を示す説明図である。 ３次元画像の生成処理に関する説明図である。 ぼやけ検出処理に関する説明図である。 画像診断装置の表示画面例を示す説明図である。 空間上隣り合う１５０個のファン画像同士の不一致度を比較した例である。 第１モデルの生成処理の手順を示すフローチャートである。 画像撮像処理の手順を示すフローチャートである。 実施の形態２に係る画像処理装置の構成例を示すブロック図である。 第２モデルの生成処理の手順を示すフローチャートである。 実施の形態２に係る画像撮像処理の手順を示すフローチャートである。 画像撮像処理の手順の他の例を示すフローチャートである。
　以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
　図１は、画像診断システムの構成例を示す説明図である。本実施の形態では、被検者の乳房を対象とした超音波画像診断を行う画像診断システムについて説明する。画像診断システムは、サーバ１及び画像診断装置２を含む。サーバ１及び画像診断装置２は、ネットワークＮを介して通信接続されている。
　なお、本実施の形態では画像診断の対象とする生体部位の一例として乳房を挙げるが、他の生体部位であってもよい。
　サーバ１は、種々の情報処理、情報の送受信が可能なサーバコンピュータである。なお、サーバ１に相当する装置はサーバコンピュータに限定されず、例えばパーソナルコンピュータ等であってもよい。本実施の形態においてサーバ１は、所定の訓練データを学習する機械学習を行い、画像診断装置２で撮像された超音波画像（例えば断層像）を入力した場合に、被検者の体動等に起因する画像のぼやけを検出する第１モデル５１（図８参照）を生成する生成装置として機能する。サーバ１が生成した第１モデル５１のデータは画像診断装置２にインストールされており、画像診断装置２は、第１モデル５１を用いて撮像画像からぼやけを検出し、補正を行う。
　画像診断装置２は、超音波エコー検査のための画像診断装置であり、画像処理装置２０及び撮像装置３０を備える。画像処理装置２０は、画像診断装置２のコンソールとして機能するコンピュータであり、乳房の超音波断層像を生成（再構成）して表示するほか、乳房の複数位置において撮像された複数の断層像を元に３次元画像を生成し、表示する。なお、画像処理装置２０は超音波画像診断用のコンピュータ（コンソール）に限定されず、パーソナルコンピュータ等の汎用コンピュータであってもよい。
　撮像装置３０は、超音波信号の送受信を行う撮像装置である。図１に示すように、撮像装置３０は、被検者がうつ伏せになった状態で乳房を撮像可能に構成されている。具体的には、撮像装置３０はベッド状の形状を有し、天板３１に乳房を挿入するための孔３２が設けられている。孔３２の下方には水槽３３が設けられ、被検者は孔３２から水槽３３に乳房を挿入する。
　水槽３３には、リングアレイ３４が設けられている。リングアレイ３４は、複数の超音波素子３４１（トランスデューサ）を備えるリング状の振動子アレイである（図４参照）。リングアレイ３４には複数の超音波素子３４１が等間隔で配置され、各超音波素子３４１は超音波信号を送信すると共に、反射波を受信する。画像処理装置２０は、各超音波素子３４１から得た複数方向の反射波データを再構成し、超音波断層像を生成する。また、リングアレイ３４は上下方向に移動可能に構成されており、画像診断装置２はリングアレイ３４を上下に移動させて垂下した乳房の各位置（高さ）における断層像を撮像し、複数位置の断層像を再構成して３次元画像を生成する。
　本実施の形態に係る画像診断装置２として、国際公開第２０１７／０５１９０３号に記載の超音波診断システムを採用することができる。
　なお、画像診断装置２は上記の構成に限定されない。例えばベッド型の撮像装置３０に代えて、ハンディスキャナを用いた画像診断装置としてもよい。
　上述の如く、画像診断装置２は乳房の超音波断層像を撮像する。本実施の形態において画像診断装置２は、上述の第１モデル５１を用いて、超音波断層像から体動等に起因するぼやけを検出する。ぼやけを検出した場合、画像診断装置２は断層像を補正し、補正後の断層像を用いて３次元画像を生成する。
　なお、本実施の形態ではサーバ１が第１モデル５１の生成（学習）を行うものとするが、ローカルの画像診断装置２が第１モデル５１を生成するようにしてもよい。また、本実施の形態では画像診断装置２が第１モデル５１に基づくぼやけの検出を行うものとするが、クラウド上のサーバ１が第１モデル５１を用いてぼやけを検出するようにしてもよい。すなわち、両者の区別は便宜的なものであり、単一のコンピュータが一連の処理を行うようにしてもよい。
　図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
　制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサを有し、補助記憶部１４に記憶されたプログラムＰ１を読み出して実行することにより、種々の情報処理を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ１、その他のデータを記憶している。
　なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。
　また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、ＣＤ（Compact Disk）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ等の可搬型記憶媒体１ａを読み取る読取部を備え、可搬型記憶媒体１ａからプログラムＰ１を読み取って実行するようにしても良い。あるいはサーバ１は、半導体メモリ１ｂからプログラムＰ１を読み込んでも良い。
　図３は、画像処理装置２０の構成例を示すブロック図である。画像処理装置２０は、制御部２１、主記憶部２２、通信部２３、表示部２４、入力部２５、送受信部２６、画像処理部２７、及び補助記憶部２８を備える。
　制御部２１は、一又は複数のＣＰＵ等のプロセッサを有し、補助記憶部２８に記憶されたプログラムＰ２を読み出して実行することにより、種々の情報処理を行う。主記憶部２２は、ＲＡＭ等の一時記憶領域であり、制御部２１が演算処理を実行するために必要なデータを一時的に記憶する。通信部２３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。表示部２４は、液晶ディスプレイ等の表示画面であり、画像を表示する。入力部２５は、キーボード、マウス等の操作インターフェイスであり、ユーザから操作入力を受け付ける。送受信部２６は、リングアレイ３４の超音波素子３４１を制御し、超音波信号を送受信する。画像処理部２７は、画像処理（再構成）を行うモジュールであり、好適には、ＧＰＵのように計算処理能力が高いプロセッサを含む。
　補助記憶部２８は、ハードディスク、大容量メモリ等の不揮発性記憶領域であり、制御部２１が処理を実行するために必要なプログラムＰ２、その他のデータを記憶している。また、補助記憶部２８は、第１モデル５１を記憶している。第１モデル５１は、所定の訓練データを学習済みの機械学習モデルであり、超音波断層像を入力した場合に画像のぼやけを検出するモデルである。第１モデル５１は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。
　なお、画像処理装置２０は、ＣＤ－ＲＯＭ等の可搬型記憶媒体２ａを読み取る読取部を備え、可搬型記憶媒体２ａからプログラムＰ２を読み取って実行するようにしても良い。あるいは画像処理装置２０は、半導体メモリ２ｂからプログラムＰ２を読み込んでも良い。
　図４は、超音波断層像の撮像処理に関する説明図である。図４では、画像診断装置２がリングアレイ３４を介して超音波信号を送受信し、乳房の超音波断層像（第２画像）を生成（撮像）する様子を概念的に図示している。以下では画像診断装置２の概要を説明する。
　上述の如く、画像診断装置２の撮像装置３０は、複数（例えば１５０個）の超音波素子３４１を等間隔で設けたリングアレイ３４を有し、各超音波素子３４１を介して超音波信号を送受信する。具体的には、画像診断装置２は、図１においてハッチングで図示するように、超音波素子３４１から一定距離内の扇状領域を撮像領域として、超音波信号を送信する。
　超音波素子３４１は、上記の撮像領域からの反射波を受信する。なお、超音波信号を送信する素子と、反射波を受信する素子とは異なっていてもよい。画像診断装置２は、超音波素子３４１が反射波を受信して得た反射波データを、超音波断層像を生成（再構成）するための原画像データ（第１画像）として取得する。本実施の形態では便宜上、超音波素子３４１が反射波を受信して得た反射波データに基づいて再構成された画像を「ファン画像」と呼ぶ。ここで画像とは二次元の整数或いは実数の行列を指す。
　画像診断装置２は、リングアレイ３４の円周に沿って並ぶ各超音波素子３４１から超音波信号を順次送信することで、複数の方向それぞれから生体部位に送信した超音波信号を送信して得た複数のファン画像を取得する。そして、画像診断装置２（画像処理装置２０）の画像処理部２７は、開口合成法により当該複数のファン画像を再構成し、２次元の超音波断層像を生成する。
　具体的には、画像診断装置２は、一の断層像を生成するに当たり、任意の超音波素子３４１を始点として、当該超音波素子３４１の隣に位置する終点の超音波素子３４１に至るまで、例えば時計回りに超音波信号を送信する超音波素子３４１を順次変えていき、全方位のファン画像（例えば１５０のファン画像）を取得する。図４に示すように、各ファン画像は扇状の空間をカバーし、隣接する超音波素子３４１で取得したファン画像同士は撮像領域が互いに重複する。画像診断装置２は、各方向のファン画像を重ね合わせ、一の断層像を生成する。なお、開口合成に用いられるファン画像は、送信開口の位置にかかわらず、同一送信条件下で取得される受信信号に基づき、同一の音速推定値の条件下で再構成されている。
　なお、画像診断装置２は、超音波信号を複数の異なる送信開口（超音波素子３４１）から同時に送信する事もできる。例えば、一の断層像当たり１５０のファン画像を取得する場合、上記のようにある方向を始点にして１５０回の送信を行ってもよいが、１２０度ずつ方向（角度）が異なる３か所の超音波素子３４１から同時に送信を行い、当該３か所の超音波素子３４１をリングアレイ３４に沿って順次変えることで、５０回の送信でファン画像の撮像を完了させてもよい。また、本実施の形態では超音波素子３４１が乳房の周囲に円環状に配置されているものとして説明するが、その配置形状は円環状に限定されず、他の形状で配置されていてもよい。すなわち、画像診断装置２は、乳房（生体部位）の周囲を取り囲むように配置した複数の超音波素子３４１から複数回に分けて超音波信号を順次送信することで複数のファン画像を取得可能であればよく、超音波信号の送信回数や超音波素子３４１の配置形状は特に限定されない。
　また、上記ではファン画像の形状（撮像領域）が扇状であるものとして説明したが、ファン画像の形状は扇状に限定されない。すなわち、複数のファン画像は、各々が略同一平面上の断層画像撮像領域の少なくとも一部を含み、異なるファン画像の少なくとも１枚と撮像領域の一部が重複している画像の集合となる。
　図５は、超音波撮像における計測時間と体動の関係を示す説明図である。音波断層像撮像において、撮像の律速時間となっているのは、生体内及び水中を伝搬する音速である。組織や温度に依存するが、およそ１５００ｍ／ｓ程度である。図４に示したようなファン画像の撮像を行う場合、リング直径が２０ｃｍ、ファンを構成する扇型の辺の長さが、直径の７５％であるとすると、辺の長さは１５ｃｍとなり、往復の伝搬時間が０．２ミリ秒である。受信素子ｃｈを２０４８、電気回路のｃｈ数を２５６とすると、一つのファン画像を撮像するのに、２０４８／２５６＝８回の送受信を行う必要があるので、１．６ミリ秒で１つのファン画像が撮像できる。ファン画像２５６枚で構成される１断面の撮像には、約０．４秒掛かる（図５の一つの長方形の幅に相当）。処理のオーバーヘッドが、全体の５０％程度とすると、約１秒で撮像が行われることになる（図５の一つ目の長方形の左端から、最後つまり４つ目の長方形の右端までの時間）。つまり、本実施の形態の処理では、１．６ミリ秒の逆数である０．６ｋＨｚ程度より早い体動に対しては対処できない。一方、１秒程度の体動による影響を除去するための技術となる。心拍や呼吸動きが、このオーダーに相当する。撮像時間だけを考えると、図の縦軸方向には重なりが無い方が撮像速度は早くなる。しかし空間解像度を考えると、１つの画素あたりに、沢山の異なる送信条件の音波からの散乱波を取得した方が有利となるので、重なりがあるほうが、空間解像度の観点から有利である。体動補正の観点では、図５で、隣接する二つの長方形間での体動が大きい部分の補正が、補正上の意味が大きい。一周で第２画像を撮像していることを考慮すると、１断面の撮像開始時と終了時の間も隣接する第１画像の撮像に対応している。
　図６は、送信開口の位置と点応答関数との関係を示す説明図である。超音波撮像により得られる反射波データに基づく超音波散乱画像は、撮像の基本性能を示す点応答関数と、撮像対象中の散乱体分布の畳み込み積分で表される。点応答関数ＰＳＦは、音速の不均質などを考慮しない理想的な条件においては、開口からの距離、並びにリングアレイ３４の中心及び送信開口の中心を結ぶ線分が基準線との間になす角度の関数となる。つまり厳密には、点応答関数は、点応答関数の出力値が最大値を取る点を中心とした回転対称となる形状ではない。よって、隣り合うファン画像間で、同一の点応答関数の形状とはならない。それでも発明者による検証では、相対的な位置ずれの検出が可能であることを確認しており、これは検討の結果初めて確認できたことである。云い方を変えると、隣接するファン画像の開口の移動に伴う、点応答関数の回転量が位置ずれの検出に影響を与えない程度に細かな開口移動である条件において、本実施の形態は成立しているといえる。
　なお、散乱画像は、複数の受信素子で得られた信号を加算して画像を出力する手法であるが、受信素子数の信号から１つの画素信号を出力する際に、必ずしも加算する以外の方法で、散乱強度以外の情報を提示する手法もある。例えば、受信素子位置に依存する信号強度の変化を特徴量として、散乱指向性を可視化する手法などが知られている。また、経時的な散乱信号の変化から血流や造影剤などの動的な情報を抽出し、血流の空間分布に関する情報を可視化する手法などについても、本実施の形態を適用することが可能である。
　図７は、３次元画像の生成処理に関する説明図である。図７では、複数のファン画像（図７左）から断層像（図７中央）を生成し、さらに複数の断層像から３次元画像（図７右）を生成する様子を概念的に図示している。
　上述の如く、画像診断装置２は、乳房を各方向から撮像した複数のファン画像を再構成し、２次元の超音波断層像を生成する。画像診断装置２は、リングアレイ３４を上下に移動させ、一方向（上下方向）に沿って乳房の互いに異なる位置（高さ）における断層像を生成する。そして画像診断装置２の画像処理部２７は、一方向に沿って並ぶ複数の断層像（フレーム）を再構成し、乳房の３次元画像を生成する。
　図８は、ぼやけ検出処理に関する説明図である。図８では、乳房の超音波断層像を第１モデル５１に入力し、体動等に起因する画像のぼやけを検出する様子を概念的に図示している。
　上述の如く、画像診断装置２は、複数のファン画像から超音波断層像を生成する。この場合に、上述の如く、断層像にぼやけが生じる場合がある。このぼやけの原因には、被検者の体動（いわゆるモーションアーチファクト）、あるいは装置（リングアレイ３４）の位置ずれ等に起因して生じるものが挙げられる。また、画像診断装置２は超音波の音速を推定して画像を生成するため、音速推定の誤差に依って被写体の位置推定がずれることで、ぼやけが生じる場合もある。これらのぼやけは、開口合成の過程で、時間的に同時に取得されると想定されている平面又は立体の撮像領域において、実際には複数の時間的に異なるタイミングで取得される複数の取得データを合成するため、ぼやけが生じる。本実施の形態では、ファン画像同士の位置ずれを検出することで、開口合成時に起こる、ファン画像間、或いは、ファン画像と撮像空間座標との位置ずれに起因するぼやけを低減することが可能である。
　画像診断装置２は、第１モデル５１を用いて断層像のぼやけを検出する。第１モデル５１は、所定の訓練データを学習済みの機械学習モデルであり、超音波断層像を入力した場合に、断層像のぼやけを検出するモデルである。本実施の形態では第１モデル５１として、ＳＶＭ（Support Vector Machine）を備えたＢＲＩＳＱＵＥ（Blind/Referenceless Image Spatial Quality Evaluator）モデルを用いる。
　ＢＲＩＳＱＵＥは、リファレンス画像を不要として画像の品質を評価するアルゴリズムである。第１モデル５１は、特徴量抽出器５１１と、検出器５１２とを備える。特徴量抽出器５１１は、入力画像の特徴量を抽出する抽出器である。当該特徴量は、輝度の平均、輝度の分散、輝度の歪度、輝度の尖度、エントロピー等であるが、そのパラメータは特に限定されない。特徴量抽出器５１１は、入力された断層像から特徴量ベクトルを生成し、検出器５１２に入力する。
　検出器５１２は、断層像の特徴量に基づいてぼやけを検出するＳＶＭである。検出器５１２は、断層像の特徴量を特徴量空間にマッピングした場合に、ぼやけが有るものと判定する空間領域と、ぼやけが無いものと判定する空間領域とを識別する決定境界を学習済みのモデルであり、特徴量抽出器５１１から入力された特徴量に基づいてぼやけを検出する。本実施の形態に係る検出器５１２は、ぼやけの程度を表すスコアを算出する回帰モデルとして構成され、断層像の特徴量に基づいて当該スコアを算出し、算出したスコアに基づいてぼやけの有無を判定する。
　なお、本実施の形態では、検出器５１２がぼやけの程度を表すスコアを算出する回帰モデルであるものとして説明するが、ぼやけが有るか否かの二値分類を行う分類モデルとしてもよい。
　なお、本実施の形態では第１モデル５１の一例としてＢＲＩＳＱＵＥモデルを挙げるが、第１モデル５１は、ニューラルネットワーク、決定木、ランダムフォレストなど、他の学習アルゴリズムに基づくモデルであってもよい。
　サーバ１は、過去に撮像された被検者の超音波断層像を訓練データとして学習し、第１モデル５１を生成して画像診断装置２にインストールしてある。サーバ１は、実際にぼやけが観測された断層像を訓練データとして用いてもよいが、本実施の形態では、ぼやけが無い断層像に人工的にぼやけを加え、訓練データとして用いる。例えばサーバ１は、ぼやけが無い断層像を構成する複数のファン画像に対し、体動を模擬した所定の座標変換（Ｘ方向及びＹ方向への微動、微回転など）を施す。なお、サーバ１は、一の断層像を構成する全てのファン画像に対して座標変換を施してもよく、又は一部のファン画像のみに座標変換を施してもよい。サーバ１は、座標変換後の複数のファン画像を再構成することで、人工的にぼやけを加えた断層像を生成する。サーバ１は、ぼやけを加える前の断層像と、ぼやけを加えた後の断層像とを訓練データとして用い、第１モデル５１を生成する。
　サーバ１はまず、訓練用の各断層像に対してセグメンテーションを行い、乳房に対応する画像領域を抽出する。図８では便宜上、乳房に対応する画像領域を白抜きで、乳房以外の画像領域を黒塗りで図示してある。なお、セグメンテーションは、パターンマッチングで乳房の輪郭を検出することで行うようにしてもよく、あるいはＣＮＮ（Convolution Neural Network）等の機械学習モデルを用いて行うようにしてもよい。また、セグメンテーションは行わず、元の断層像をそのまま用いてもよい。
　サーバ１は、ぼやけが無い元の断層像と、ぼやけを加えた断層像とからそれぞれ抽出した画像領域を特徴量抽出器５１１に入力し、当該画像領域の特徴量を抽出する。そしてサーバ１は、ぼやけの有無を表すクラスラベルが付された各断層像（画像領域）の特徴量に基づき、検出器５１２を生成する。すなわち、サーバ１は、断層像を特徴量に応じて特徴量空間にマッピングした場合に、断層像にぼやけが有ると判定する空間領域と、断層像にぼやけが無いと判定する空間領域とを識別する決定境界を導出する。以上より、サーバ１は第１モデル５１を生成する。
　画像診断装置２は、上述の第１モデル５１を用いて、被検者の乳房の断層像からぼやけを検出する。すなわち、画像診断装置２は、断層像のセグメンテーションを行って乳房に対応する画像領域を抽出し、特徴量抽出器５１１に入力して特徴量を抽出する。そして画像診断装置２は、抽出した特徴量を検出器５１２に入力し、ぼやけの程度を表すスコアを算出して、ぼやけの有無を判定する。例えば画像診断装置２は、算出したスコアが所定の閾値以上であるか否かを判定する。
　なお、画像診断装置２は、スコアと比較する閾値を設定（変更）する設定入力をユーザ（医療従事者）から受け付けるようにしてもよい。これにより、補正対象とするぼやけの程度をユーザが任意に決めることができる。
　続いて、ぼやけを検出した断層像の補正処理について説明する。第１モデル５１を用いて断層像のぼやけを検出した場合、画像診断装置２は、ぼやけを検出した断層像の補正を行う。具体的には、画像診断装置２は、断層像を構成する複数のファン画像同士の位置合わせを行う。
　なお、本発明の被検体としての乳房は非剛体である。したがって、剛体レジストレーション手法が使えない。また、非剛体レジストレーションのためにはランドマークを指定する必要がある。しかしながら、診断において、人（医師）が画像毎にランドマークを選択し、それらの位置を指定することは時間を要する作業である。したがって、本発明では、画像の明るさが不連続に変化している箇所（エッジ）を抽出したエッジ画像によってプログラムが自動抽出した乳房内の構造をランドマークとして利用する。
　例えば、画像診断装置２はまず、各ファン画像のエッジを検出し、各ファン画像からエッジを抽出した複数のエッジ画像を生成する。本実施形態の一例として、結合組織及びクーパー靭帯を乳房のランドマークとして用いる例を説明する。結合組織及びクーパー靭帯は線状の構造をしているため、エッジ検出フィルタを適用することで結合組織及びクーパー靭帯を取り出すことができる。
　エッジ画像の生成方法としては例えば、ガボールフィルタを使用する。まず、画像診断装置２において、制御部２１は、ファン画像に対して乳房領域マスクをかける。例えば、乳房外領域の輝度をゼロにしたファン画像を生成する。制御部２１はさらに、得られたファン画像に対してそれぞれガボールフィルタをかけ、マグニチュード画像を生成する。制御部２１は、得られたマグニチュード画像の輝度の平均輝度を算出し、エッジ画像を生成する。なお、ガボールフィルタのパラメータは例えば角度θを０，４５，９０，・・・，３１５とする。また、以下に示すガボールフィルタを用いる場合、ガボールフィルタのパラメータσｘ，σｙ，ｆを設定するためのパラメータｌ，ｆをそれぞれｌ＝３、ｆ＝０．２５とする。なお、パラメータｆはｆ＝０．４、又はｆ＝０．１５としてもよい。
Figure JPOXMLDOC01-appb-M000001
　エッジ画像の生成方法の別の一例としては、ソベルフィルタ（Sobel Filter）を使用することができる。この場合、まず制御部２１は、ファン画像に対して乳房領域マスクをかけ、乳房外領域の輝度をゼロにしたファン画像を生成する。次に、制御部２１は、得られたファン画像に対してそれぞれ２Ｄソベルフィルタをかけ、エッジ画像を生成する。なお、エッジ画像の生成方法としては、上記に挙げた手法に限定されるものではなく、線状の構造を選択的に抽出できるフィルタであればよい。このようにして得られたエッジ画像を用いて位置合わせを行うことで、結合組織の位置が２つの画像で一致するような位置合わせを行うことができる。
　次に画像診断装置２は、隣り合う２つのエッジ画像の間におけるエッジの動きベクトル（エッジの移動量及び移動方向を表すベクトル値）を算出し、算出した動きベクトルに基づき、ファン画像同士の位置合わせを行うための位置合せ関数を算出する。なお、「隣り合う２つのエッジ画像」とは、リングアレイ３４において隣り合う２つの超音波素子３４１が取得した２つのファン画像に対応する２つのエッジ画像を指す。画像診断装置２は、例えばTV-L1オプティカルフロー等を用いて、２つのエッジ画像の一致度を表す評価値が最大化するように、２つのファン画像の位置合わせ関数を算出する。
　画像診断装置２は、全てのエッジ画像について、隣り合うエッジ画像同士の一致度を順次評価し、ファン画像の位置合わせ関数を算出する。画像診断装置２は、算出した位置合わせ関数に基づいて各ファン画像の位置合わせを行いながら複数のファン画像を再構成し、断層像を再生成する。
　なお、「ファン画像同士の位置合わせを行う」とは、断層像の生成（再構成）前に各ファン画像の位置合わせする場合のほか、断層像の生成過程において各ファン画像の相対座標をずらしながら重ね合わせていくことで、断層像の生成中に位置合わせをする場合も含み得る。
　図９は、画像診断装置２の表示画面例を示す説明図である。図９では、画像診断装置２（画像処理装置２０）が表示部２４に表示する画面例であって、位置合わせ関数を適用する前（補正前）の断層像と、位置合わせ関数を適用した後（補正後）の断層像とを表示する画面例を図示している。断層像からぼやけを検出した場合、画像診断装置２は上記の補正を行い、補正前後の断層像を表示する。
　当該画面は、補正前画像７１、補正後画像７２、再撮像ボタン７３、補正前画像選択ボタン７４、補正後画像選択ボタン７５を含む。補正前画像７１は補正前の断層像（ぼやけが検出された断層像）であり、補正後画像７２は補正後の断層像である。画像診断装置２は補正前画像７１及び補正後画像７２を表示し、ユーザに補正前後の様子を提示する。
　再撮像ボタン７３は、再撮像の要否を選択するためのボタンである。例えばユーザは、補正しても診断に使えないほど断層像がぼやけている場合、再撮像ボタン７３を操作して再撮像を実施する。再撮像ボタン７３への操作入力を受け付けた場合、画像診断装置２は再撮像を行い、ファン画像を取得して断層像を生成する。なお、再撮像は、全ての位置（高さ）における乳房断面について行ってもよく、又はぼやけが検出された位置（高さ）における乳房断面についてのみ行ってもよい。
　なお、上記ではユーザが再撮像の要否を選択するものとしたが、再撮像の要否を画像診断装置２が自動的に判定してもよい。例えば画像診断装置２は、断層像を第１モデル５１に入力して得たスコアを所定の閾値と比較することで、スコアが極端に高いか否かを判定する。これにより画像診断装置２は、ぼやけが酷く、再撮像が必要であるか否かを判定する。再撮像が必要であると判定した場合、画像診断装置２は、例えば再撮像が必要である旨を図９の画面に表示し、再撮像をユーザに促す。あるいは画像診断装置２は、再撮像が必要であると判定した場合、自動的に再撮像を開始してもよい。
　また、画像診断装置２は、断層像からぼやけ以外のアーチファクトを検出し、ぼやけ以外のアーチファクトを検出した場合は再撮像が必要であると判定してもよい。当該アーチファクトとしては、例えば被検者が大きく動き、被写体（乳房）が写っていない状態などが考えられる。なお、上記のアーチファクトは一例であって、他のアーチファクトを検出してもよい。例えば画像診断装置２は、ぼやけ以外のアーチファクトが有る断層像を第１モデル５１に学習させておいてもよく、又は第１モデル５１以外の検出アルゴリズム（画像のパターンマッチング等）によってぼやけ以外のアーチファクトを検出可能としてもよい。このように、画像診断装置２は、ぼやけ以外のアーチファクトを断層像から検出し、再撮像の要否を判定可能としてもよい。
　補正前画像選択ボタン７４及び補正後画像選択ボタン７５は、補正前後の断層像のうち、３次元画像（第３画像）の生成に用いる断層像を選択するためのボタンである。画像診断装置２は、いずれかのボタンへの操作入力を受け付けることで、３次元画像の生成に用いる断層像の選択入力を受け付ける。画像診断装置２は、ユーザが選択した断層像、及びぼやけが検出されなかった他の断層像を再構成し、３次元画像を生成する。画像診断装置２は、生成した３次元画像を表示する。
　以上より、本実施の形態によれば、断層像から体動等に起因するぼやけを検出し、ぼやけを検出した場合、断層像を構成する複数のファン画像同士の位置合わせを行って断層像を再生成する。これにより、体動等の影響を除去又は低減し、超音波画像診断を好適に支援することができる。特に本実施の形態では、ぼやけを検出するための第１モデル５１としてＢＲＩＳＱＵＥモデルを採用し、画像の補正手段としてオプティカルフロー等の動きベクトルに基づく位置合わせを採用する。ぼやけの検出及び補正に係る処理は、汎用的なプロセッサである制御部２１（ＣＰＵ等）で処理可能であるため、画像処理部２７（ＧＰＵ等）は画像の再構成（生成）のみに用いることができ、画像処理に要する時間を抑制することができる。
　また、本実施の形態では、一平面の断層像を生成するために、複数のファン画像を取得する間に生じ得る被検体と超音波素子３４１との相対的な位置ずれを検出する事が出来る。特に、円環状に配置された超音波素子３４１から一方向に向かって超音波信号を順次送信して複数のファン画像を取得する場合、連続的な体動も蓄積されるし、突発的な体動が生じる確率も向上することから、各ファン画像の撮像時点が時間的に離れていればいるほど体動の影響は大きくなる。そのため、時間的に離れた画像同士の不一致度は大きくなる傾向がある。この点は、リングアレイ３４の始点位置のファン画像、すなわち初回のファン画像と、終点位置のファン画像、すなわち最終回のファン画像との間で顕著になる。
　図１０は、空間上隣り合う１５０個のファン画像同士の不一致度を比較した例である。図１０のグラフは、１５０の方向から撮像されたファン画像のうち、隣り合うファン画像同士の不一致度（輝度のＭＳＥ（Mean squared error）の平均値）を計算した計算結果を示している。図１０のグラフにおいて、横軸はi番目のファン画像とｉ＋１番目のファン画像とのペアを表すデータ点を、縦軸はファン画像同士の不一致度を表している。
　最後のデータ点は、１４９目のファン画像と０番目のファン画像、すなわち最終回及び初回のファン画像を比較したものである。この２つのファン画像は、空間的には隣り合う位置にあり、撮像領域が互いに重複している。しかし、２つのファン画像は撮像時点が時間的に離れているため、その間に体動が生じやすく、ファン画像同士の不一致度を確認するとこのペアの不一致度が最も大きい場合が多い。そのためこの２つのファン画像同士に位置合わせを行うことで画質が大きく向上する。
　このように、撮像領域が重複しているが撮像時点が離れている画像同士の位置合わせを行うことで、体動の影響を好適に除去又は低減することができる。
　図１１は、第１モデル５１の生成処理の手順を示すフローチャートである。図１１に基づき、機械学習により第１モデル５１を生成する際の処理内容について説明する。
　サーバ１の制御部１１は、過去に撮像（生成）された被検者の乳房（生体部位）の超音波断層像であって、画像にぼやけがない複数の断層像を取得する（ステップＳ１１）。制御部１１は、各断層像に対してぼやけを加えた訓練用の断層像を生成する（ステップＳ１２）。具体的には、制御部１１は、ぼやけがない断層像の各々を構成する複数のファン画像に対し、体動を模擬した所定の座標変換を施す。制御部１１は、座標変換後の複数のファン画像を再構成することで、人工的にぼやけを加えた断層像を生成する。
　制御部１１は、ステップＳ１１で取得したぼやけが無い断層像と、ステップＳ１２でぼやけを加えた断層像とに対してセグメンテーションを実施し、各断層像から乳房に対応する画像領域を抽出する（ステップＳ１３）。そして制御部１１は、抽出した各断層像の画像領域に基づき、第１モデル５１を生成する（ステップＳ１４）。具体的には上述の如く、制御部１１は、特徴量抽出器５１１及び検出器５１２（ＳＶＭ）を備えたＢＲＩＳＱＵＥモデルを第１モデル５１として生成する。制御部１１は、訓練用の各断層像から抽出した画像領域を特徴量抽出器５１１に入力し、特徴量を抽出する。制御部１１は、ぼやけの有無を表すクラスラベルが付された各断層像（画像領域）の特徴量に基づき、検出器５１２を生成する。すなわち、制御部１１は、各断層像を特徴量に応じて特徴量空間にマッピングした場合に、ぼやけが有るものと判定する空間領域と、ぼやけが無いものと判定する空間領域とを識別する決定境界を導出する。制御部１１は、一連の処理を終了する。
　図１２は、画像撮像処理の手順を示すフローチャートである。図１２に基づき、画像診断装置２が実行する処理内容について説明する。
　画像診断装置２（画像処理装置２０）の制御部２１は、リングアレイ３４の各超音波素子３４１から超音波信号を送信し、各超音波素子３４１から送信した超音波信号の反射波を受信して得た複数のファン画像（反射波データ、第１画像）を取得する（ステップＳ３１）。制御部２１は、リングアレイ３４を上下方向に移動させながら超音波信号を送受信し、乳房の互いに異なる位置（高さ）において各方向から乳房を撮像したファン画像を取得する。
　画像処理部２７は、取得した複数のファン画像を再構成した超音波断層像（第２画像）を生成する（ステップＳ３２）。具体的には、画像処理部２７は、一方向（上下方向）に沿う乳房の互いに異なる位置（高さ）における複数の断層像を生成する。
　制御部２１は、各断層像に対してセグメンテーションを実施し、乳房に対応する画像領域を抽出する（ステップＳ３３）。そして制御部２１は、各断層像から抽出した画像領域を第１モデル５１に入力し、各断層像のぼやけを検出する（ステップＳ３４）。具体的には、制御部２１は、各断層像の画像領域を特徴量抽出器５１１に入力して特徴量を抽出し、抽出した特徴量を検出器５１２に入力してぼやけの程度を表すスコアを算出し、算出したスコアに応じてぼやけの有無を判定する。
　制御部２１は、ステップＳ３４の処理の結果、各断層像からぼやけが検出されたか否かを判定する（ステップＳ３５）。ぼやけが検出されなかったと判定した場合（Ｓ３５：ＮＯ）、制御部２１は処理をステップＳ４２に移行する。
　ぼやけが検出されたと判定した場合（Ｓ３５：ＹＥＳ）、制御部２１は、ぼやけが検出された断層像を構成する複数のファン画像それぞれについて、ファン画像のエッジを抽出したエッジ画像を生成する（ステップＳ３６）。制御部２１は、隣り合うエッジ画像の間におけるエッジの動きベクトルを算出し、算出した動きベクトルに基づいて、ファン画像同士の位置合わせを行うための位置合わせ関数を算出する（ステップＳ３７）。画像処理部２７は、算出した位置合わせ関数に基づいてファン画像同士の位置合わせを行いながら、断層像を生成する（ステップＳ３８）。
　制御部２１は、補正前後の断層像を表示部２４に表示する（ステップＳ３９）。すなわち、制御部２１は、ステップＳ３２で生成した断層像と、ステップ３８で生成した断層像とを表示する。制御部２１は、再撮像の要否を選択する選択入力をユーザから受け付けることで、再撮像を行うか否かを判定する（ステップＳ４０）。なお、上述の如く、制御部２１は、上記で算出したぼやけの程度を表すスコアの高低、又はぼやけ以外のアーチファクトを検出する等して、再撮像の要否を自動的に判定してもよい。再撮像を行うと判定した場合（Ｓ４０：ＹＥＳ）、制御部２１は処理をステップＳ３１に戻す。
　再撮像を行わないと判定した場合（Ｓ４０：ＮＯ）、制御部２１は、ステップＳ３９で表示した補正前後の断層像のうち、３次元画像（第３画像）の生成に用いる断層像を選択する選択入力を受け付ける（ステップＳ４１）。画像処理部２７は、選択された断層像、及びぼやけが検出されなかった他の断層像に基づき、乳房の３次元画像を生成して表示部２４に表示する（ステップＳ４２）。制御部２１は一連の処理を終了する。
　なお、上記ではファン画像を再構成した超音波断層像（第２画像）からぼやけを検出するものとしたが、本実施の形態はこれに限定されるものではなく、断層像の元となるファン画像（第１画像）からぼやけを検出してもよい。
　以上より、本実施の形態１によれば、第１モデル５１を用いることで画像のぼやけを好適に検出し、ぼやけを除去又は低減した画像に補正することで、超音波画像診断を好適に支援することができる。
　なお、本実施の形態１において、図１２中のステップＳ３４で行うぼやけ検出の精度を向上させるために、ぼやけの程度を表すスコアに加えて、隣接する隣接断層像との不一致度を算出し、評価（ぼやけの有無の判定）に利用してもよい。図１６は、画像撮像処理の手順の他の例を示すフローチャートである。図１６に示す処理は、図１２に示す処理において、ステップＳ３４の代わりにステップＳ３４１～Ｓ３４４を追加したものである。図１２と同じステップについては説明を省略する。なお、図１６では、図１２中のステップＳ３６～Ｓ４２の図示を省略している。
　図１６に示す処理では、画像診断装置２の制御部２１は、ステップＳ３３の処理を実行後、以下の処理を実行する。具体的には、制御部２１は、各断層像の画像領域を特徴量抽出器５１１に入力して特徴量を抽出し、抽出した特徴量を検出器５１２に入力してぼやけの程度を表すスコアを算出する（ステップＳ３４１）。次に、制御部２１は、各断層像について、各断層像に隣接する断層像を取得する（ステップＳ３４２）。例えば制御部２１は、１つの断層像（注目している断層像）に対して、撮像位置（高さ）が上方向又は下方向に隣り合う１つの隣接断層像、あるいは、両方向に隣り合う２つの隣接断層像を取得する。そして制御部２１は、各断層像と、各断層像の隣接断層像との不一致度を算出する（ステップＳ３４３）。例えば制御部２１は、各断層像と、その隣接断層像とにおいて、対応する各画素の画素値の差分の累積値を算出し、算出した累積値を不一致度とする。なお、ステップＳ３４２で１つの隣接断層像を取得する場合、制御部２１は、各断層像と、各断層像の直上の隣接断層像との不一致度、又は、直下の隣接断層像との不一致度を算出する。またステップＳ３４２で２つの隣接断層像を取得する場合、制御部２１は、各断層像と、各断層像の直上の隣接断層像との不一致度、及び、直下の隣接断層像との不一致度を算出する。
　そして、制御部２１は、ステップＳ３４１で算出したぼやけの程度を表すスコアと、ステップＳ３４３で算出した隣接断層像との不一致度とに基づいて、各断層像のぼやけの有無を検出する（Ｓ３４４）。例えば制御部２１は、算出したスコアが所定の閾値以上であるか否かを判定すると共に、算出した不一致度が所定の閾値以上であるか否かを判定し、スコアが所定の閾値以上であり、かつ、不一致度が所定の閾値以上であると判定した場合、断層像にぼやけが有ると判定する。なお、制御部２１は、スコアが所定の閾値以上であると判定した場合、又は、不一致度が所定の閾値以上であると判定した場合に、断層像にぼやけが有ると判定してもよい。画像診断装置２は、不一致度と比較する閾値についても、設定入力（設定変更）をユーザ（医療従事者）から受け付けるように構成されていてもよい。これにより、補正対象とする不一致度の程度をユーザが任意に決めることができる。
（実施の形態２）
　実施の形態１では、ファン画像を断層像に再構成する際にぼやけの検出及び補正を行う形態について説明した。本実施の形態では、断層像（第１画像）を３次元画像（第２画像）に再構成する際にぼやけの検出及び補正を行う形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。
　図１３は、実施の形態２に係る画像処理装置２０の構成例を示すブロック図である。本実施の形態に係る画像処理装置２０の補助記憶部２８は、第２モデル５２を記憶している。第２モデル５２は第１モデル５１と同様に、所定の訓練データを学習済みの機械学習モデルであり、乳房の３次元画像を入力した場合に、３次元画像のぼやけを検出するモデルである。第２モデル５２は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。
　第２モデル５２は第１モデル５１と同様の構成を有する。なお、本実施の形態では、断層像からぼやけを検出する第１モデル５１と、３次元画像からぼやけを検出する第２モデル５２とが別々のモデルであるものとして説明するが、両者は同一のモデルであってもよい。
　本実施の形態の概要を説明する。実施の形態１ではファン画像を断層像に再構成する際にぼやけの検出及び補正を行う旨を説明したが、実施の形態１に係る処理は、断層像を３次元画像に再構成する際にも応用可能である。本実施の形態に係る画像診断装置２は、複数の断層像を再構成した３次元画像からぼやけを検出し、３次元画像を構成する断層像の位置合わせを行う。
　図１４は、第２モデル５２の生成処理の手順を示すフローチャートである。図１４に基づき、機械学習により第２モデル５２を生成する際の処理内容について説明する。
　サーバ１の制御部１１は、過去に生成（撮像）された被検者の乳房の３次元画像であって、画像にぼやけがない複数の３次元画像を取得する（ステップＳ２０１）。制御部１１は、各３次元画像に対してぼやけを加えた訓練用の３次元画像を生成する（ステップＳ２０２）。具体的には、制御部１１は、ぼやけがない３次元画像を構成する複数の断層像に対して体動を模擬した所定の座標変換を施し、座標変換後の複数の断層像を再構成して、ぼやけを加えた３次元画像を生成する。
　制御部１１は、ぼやけが無い３次元画像と、ぼやけを加えた３次元画像とからそれぞれ、乳房に対応する画像領域を抽出する（ステップＳ２０３）。制御部１１は、抽出した画像領域に基づき、３次元画像を入力した場合に、３次元画像のぼやけを検出する第２モデル５２を生成する（ステップＳ２０４）。制御部１１は、一連の処理を終了する。
　図１５は、実施の形態２に係る画像撮像処理の手順を示すフローチャートである。ステップＳ４１の処理を実行後、又はステップＳ３５でＮＯの場合、画像診断装置２は以下の処理を実行する。
　画像診断装置２（画像処理装置２０）の画像処理部２７は、乳房の互いに異なる位置において撮像された複数の断層像（第１画像）を再構成した３次元画像を生成する（ステップＳ２２１）。制御部２１は、生成した３次元画像から、乳房に対応する画像領域を抽出する（ステップＳ２２２）。制御部２１は、抽出した画像領域を第２モデル５２に入力し、３次元画像のぼやけを検出する（ステップＳ２２３）。
　制御部２１は、ステップＳ２２３の処理の結果、ぼやけが検出されたか否かを判定する（ステップＳ２２４）。ぼやけが検出されなかったと判定した場合（Ｓ２２４：ＮＯ）、制御部２１は処理をステップＳ２２８に移行する。
　ぼやけが検出されたと判定した場合（Ｓ２２４：ＹＥＳ）、制御部２１は、３次元画像を構成する複数の断層像それぞれについて、断層像のエッジを抽出したエッジ画像を生成する（ステップＳ２２５）。制御部２１は、隣り合うエッジ画像の間におけるエッジの動きベクトルを算出し、算出した動きベクトルに基づいて複数の断層像同士の位置合わせ関数を算出する（ステップＳ２２６）。制御部２１は、算出した位置合わせ関数に基づいて断層像同士の位置合わせを行いながら、３次元画像を生成する（ステップＳ２２７）。制御部２１は、ステップＳ２２１又はＳ２２７で生成した３次元画像を表示部２４に表示し（ステップＳ２２８）、一連の処理を終了する。
　なお、実施の形態１と同様に、画像診断装置２は補正前後の３次元画像を表示し、再撮像の要否、及び補正の要否を選択可能としてもよい。
　また、画像診断装置２は、再構成後の３次元画像（第２画像）ではなく、再構成前の断層像（第１画像）からぼやけを検出し、断層像の位置合わせを行うようにしてもよい。
　以上より、本実施の形態２によれば、３次元画像生成時にもぼやけの検出及び補正を行うことができる。
　今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　１　サーバ
　１１　制御部
　１２　主記憶部
　１３　通信部
　１４　補助記憶部
　Ｐ１　プログラム
　２　画像診断装置
　２０　画像処理装置
　２１　制御部
　２２　主記憶部
　２３　通信部
　２４　表示部
　２５　入力部
　２６　送受信部
　２７　画像処理部
　２８　補助記憶部
　Ｐ２　プログラム
　５１　第１モデル
　５１１　特徴量抽出器
　５１２　検出器
　５２　第２モデル
　３０　撮像装置
　３１　天板
　３２　孔
　３３　水槽
　３４　リングアレイ
　３４１　超音波素子

Claims (16)

  1. 　超音波信号に基づき被検者の生体部位を撮像した複数の第１画像を取得する取得部と、
    　前記複数の第１画像を再構成した第２画像を生成する生成部と、
    　前記第１画像又は第２画像を入力した場合に、前記第１画像又は第２画像のぼやけを検出するよう学習済みのモデルに、取得した前記第１画像、又は生成した前記第２画像を入力して前記ぼやけを検出する検出部と、
    　前記ぼやけを検出した場合、前記複数の第１画像同士の位置合わせを行うための位置合わせ関数を算出する算出部とを備え、
    　前記生成部は、前記複数の第１画像と、前記位置合わせ関数とに基づき、前記第２画像を生成する
    　画像診断装置。
  2. 　前記取得部は、複数の方向それぞれから前記生体部位に送信した前記超音波信号を受信して得た複数の反射波データを前記複数の第１画像として取得し、
    　前記生成部は、前記複数の反射波データを再構成した超音波断層像を前記第２画像として生成する
    　請求項１に記載の画像診断装置。
  3. 　前記複数の第１画像は、前記生体部位の周囲を取り囲むように配置した複数の超音波素子から前記超音波信号を順次送信して得た複数の反射波データであり、
    　一の前記超音波断層像の生成に用いる前記複数の反射波データのうち、初回に送信した前記超音波信号に対応する反射波データの撮像領域と、最終回に送信した前記超音波信号に対応する反射波データの撮像領域とは、少なくとも一部が互いに重複する
    　請求項２に記載の画像診断装置。
  4. 　前記取得部は、前記生体部位の互いに異なる位置において撮像された複数の超音波断層像を前記複数の第１画像として取得し、
    　前記生成部は、前記複数の超音波断層像を再構成した３次元画像を前記第２画像として生成する
    　請求項１～３のいずれか１項に記載の画像診断装置。
  5. 　前記モデルは、前記第１画像又は第２画像の特徴量を抽出する特徴量抽出器と、前記特徴量を入力した場合に前記ぼやけの程度を表すスコアを算出するよう学習済みの検出器とを備え、
    　前記検出部は、
    　前記第１画像又は第２画像を前記特徴量抽出器に入力して前記特徴量を抽出し、
    　抽出した前記特徴量を前記検出器に入力して前記スコアを算出し、算出した該スコアに応じて前記ぼやけを検出する
    　請求項１～４のいずれか１項に記載の画像診断装置。
  6. 　前記スコアに基づき、前記第１画像の再撮像の要否を判定する判定部を備える
    　請求項５に記載の画像診断装置。
  7. 　前記検出部は、
    　前記複数の第１画像から、各第１画像に対して撮像位置が隣り合う隣接画像を取得し、
    　各第１画像と、取得した隣接画像との不一致度を算出し、
    　各第１画像を前記特徴量抽出器に入力して抽出した前記特徴量を前記検出器に入力して算出した前記スコアと、算出した隣接画像との不一致度とに応じて前記ぼやけを検出する
    　請求項５又は６に記載の画像診断装置。
  8. 　前記第１画像又は第２画像から、前記生体部位に対応する画像領域を抽出する抽出部を備え、
    　前記検出部は、前記画像領域を前記モデルに入力して前記ぼやけを検出する
    　請求項１～７のいずれか１項に記載の画像診断装置。
  9. 　前記算出部は、
    　前記複数の第１画像に対してエッジ検出を行い、前記第１画像内のエッジを抽出した複数のエッジ画像を生成し、
    　前記複数のエッジ画像の間における前記エッジの動きベクトルを算出し、
    　算出した前記動きベクトルに基づき、前記位置合せ関数を算出する
    　請求項１～８のいずれか１項に記載の画像診断装置。
  10. 　前記ぼやけを検出した場合、前記位置合わせ関数を適用せずに前記複数の第１画像から生成した前記第２画像と、前記位置合わせ関数を適用して前記複数の第１画像から生成した前記第２画像とを表示する表示部を備える
    　請求項１～９のいずれか１項に記載の画像診断装置。
  11. 　前記第１画像の補正の要否を選択する選択入力を受け付ける受付部と、
    　複数の前記第２画像を再構成した第３画像を生成する第２生成部とを備え、
    　前記第２生成部は、前記補正の要否の選択結果に応じて、表示した２つの前記第２画像のいずれかを用いて前記第３画像を生成する
    　請求項１０に記載の画像診断装置。
  12. 　前記第１画像の再撮像の要否を選択する選択入力を受け付ける第２受付部を備え、
    　再撮像が必要である旨の選択入力を受け付けた場合、前記取得部は、前記生体部位を再撮像した前記複数の第１画像を取得し、
    　前記生成部は、前記再撮像した複数の第１画像を再構成した前記第２画像を生成する
    　請求項１０又は１１に記載の画像診断装置。
  13. 　前記検出部は、前記第１画像又は第２画像から前記ぼやけ以外のアーチファクトを検出し、
    　前記アーチファクトを検出した場合、前記取得部は、前記生体部位を再撮像した前記複数の第１画像を取得し、
    　前記生成部は、前記再撮像した複数の第１画像を再構成した前記第２画像を生成する
    　請求項１～１１のいずれか１項に記載の画像診断装置。
  14. 　超音波信号に基づき被検者の生体部位を撮像した複数の第１画像を取得し、
    　前記複数の第１画像を再構成した第２画像を生成し、
    　前記第１画像又は第２画像を入力した場合に、前記第１画像又は第２画像のぼやけを検出するよう学習済みのモデルに、取得した前記第１画像、又は生成した前記第２画像を入力して前記ぼやけを検出し、
    　前記ぼやけを検出した場合、前記複数の第１画像同士の位置合わせを行うための位置合わせ関数を算出し、
    　前記複数の第１画像と、前記位置合わせ関数とに基づき、前記第２画像を生成する
    　処理をコンピュータが実行する画像診断方法。
  15. 　超音波信号に基づき被検者の生体部位を撮像した複数の第１画像を取得し、
    　前記複数の第１画像を再構成した第２画像を生成し、
    　前記第１画像又は第２画像を入力した場合に、前記第１画像又は第２画像のぼやけを検出するよう学習済みのモデルに、取得した前記第１画像、又は生成した前記第２画像を入力して前記ぼやけを検出し、
    　前記ぼやけを検出した場合、前記複数の第１画像同士の位置合わせを行うための位置合わせ関数を算出し、
    　前記複数の第１画像と、前記位置合わせ関数とに基づき、前記第２画像を生成する
    　処理をコンピュータに実行させるプログラム。
  16. 　超音波信号に基づき被検者の生体部位を撮像した複数の第１画像を取得し、
    　取得した前記複数の第１画像に対して生体の体動を模した所定の座標変換を施し、
    　座標変換後の前記複数の第１画像を再構成した第２画像を生成する
    　処理をコンピュータに実行させる機械学習用訓練データの生成方法。 
PCT/JP2021/043404 2020-11-30 2021-11-26 画像診断装置、画像診断方法、プログラム及び機械学習用訓練データの生成方法 WO2022114131A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022533229A JP7233792B2 (ja) 2020-11-30 2021-11-26 画像診断装置、画像診断方法、プログラム及び機械学習用訓練データの生成方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-198664 2020-11-30
JP2020198664 2020-11-30

Publications (1)

Publication Number Publication Date
WO2022114131A1 true WO2022114131A1 (ja) 2022-06-02

Family

ID=81755642

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/043404 WO2022114131A1 (ja) 2020-11-30 2021-11-26 画像診断装置、画像診断方法、プログラム及び機械学習用訓練データの生成方法

Country Status (2)

Country Link
JP (1) JP7233792B2 (ja)
WO (1) WO2022114131A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019082892A1 (ja) * 2017-10-24 2019-05-02 株式会社Ｌｉｌｙ ＭｅｄＴｅｃｈ 超音波診断システム及び超音波診断方法
US20190350534A1 (en) * 2018-05-16 2019-11-21 Siemens Healthcare Gmbh System and method for determining an imaging modality and the parameters therefor
JP2020531074A (ja) * 2017-08-17 2020-11-05 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 画像アーチファクト特定及び除去のための深層学習ネットワークを有する超音波システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5649083B2 (ja) 2010-07-14 2015-01-07 株式会社日立メディコ 超音波画像の画像復元方法およびその装置並びに超音波診断装置
CN104602611B (zh) 2012-09-10 2016-10-19 东芝医疗系统株式会社 超声波诊断装置、医用图像处理装置以及图像处理方法
US11064891B2 (en) 2014-09-05 2021-07-20 Canon Kabushiki Kaisha Object information acquiring apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020531074A (ja) * 2017-08-17 2020-11-05 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 画像アーチファクト特定及び除去のための深層学習ネットワークを有する超音波システム
WO2019082892A1 (ja) * 2017-10-24 2019-05-02 株式会社Ｌｉｌｙ ＭｅｄＴｅｃｈ 超音波診断システム及び超音波診断方法
US20190350534A1 (en) * 2018-05-16 2019-11-21 Siemens Healthcare Gmbh System and method for determining an imaging modality and the parameters therefor

Also Published As

Publication number Publication date
JPWO2022114131A1 (ja) 2022-06-02
JP7233792B2 (ja) 2023-03-07

Similar Documents

Publication Publication Date Title
JP4299189B2 (ja) 超音波診断装置及び画像処理方法
JP6930283B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
WO2017141958A1 (ja) 脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラム
US10743844B2 (en) Ultrasound imaging apparatus
CN102727258B (zh) 图像处理装置、超声波摄影系统及图像处理方法
CN112367915A (zh) 医学图像处理装置、医学图像处理方法和程序
US20220157047A1 (en) Feature Point Detection
US20170164923A1 (en) Image Processor, Ultrasound Diagnostic Device Including Same, And Image Processing Method
CN109124662B (zh) 肋骨中心线检测装置及方法
US20140257114A1 (en) Image processing apparatus, image processing method, and computer-readable recording device
JP7183590B2 (ja) 眼科画像処理装置、ｏｃｔ装置、および眼科画像処理プログラム
CN113557714A (zh) 医学图像处理装置、医学图像处理方法和程序
CN113712594A (zh) 医用图像处理装置以及医用摄像装置
WO2022071264A1 (ja) プログラム、モデル生成方法、情報処理装置及び情報処理方法
JP5177606B1 (ja) ３次元超音波画像作成方法およびプログラム
EP4129197A1 (en) Computer program, information processing method, information processing device, and method for generating model
WO2022114131A1 (ja) 画像診断装置、画像診断方法、プログラム及び機械学習用訓練データの生成方法
CN112767403A (zh) 医学影像分割模型训练方法、医学影像分割方法及装置
KR20090110348A (ko) 물체 형상 생성 방법, 물체 형상 생성 장치 및 프로그램
KR20230050253A (ko) 흉막 삼출의 검출 방법 및 이를 위한 장치
JP7294996B2 (ja) 超音波診断装置及び表示方法
Zeng et al. Automatic segmentation of vertebral features on ultrasound spine images using Stacked Hourglass Network
CN112515705A (zh) 用于投影轮廓启用的计算机辅助检测(cad)的方法和系统
WO2023053755A1 (ja) 画像診断支援装置、画像診断支援方法、及び画像診断支援プログラム
WO2023032954A1 (ja) 情報処理方法、プログラム及び画像診断装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022533229

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21898103

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21898103

Country of ref document: EP

Kind code of ref document: A1