WO2021256019A1 - 超音波診断装置、超音波診断装置の制御方法および超音波診断装置用プロセッサ - Google Patents

超音波診断装置、超音波診断装置の制御方法および超音波診断装置用プロセッサ Download PDF

Info

Publication number
WO2021256019A1
WO2021256019A1 PCT/JP2021/009605 JP2021009605W WO2021256019A1 WO 2021256019 A1 WO2021256019 A1 WO 2021256019A1 JP 2021009605 W JP2021009605 W JP 2021009605W WO 2021256019 A1 WO2021256019 A1 WO 2021256019A1
Authority
WO
WIPO (PCT)
Prior art keywords
ultrasonic
probability
probability map
ultrasonic probe
diagnostic apparatus
Prior art date
Application number
PCT/JP2021/009605
Other languages
English (en)
French (fr)
Inventor
樹彦 苅部
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP21826235.0A priority Critical patent/EP4166090A4/en
Priority to JP2022532299A priority patent/JP7301231B2/ja
Publication of WO2021256019A1 publication Critical patent/WO2021256019A1/ja
Priority to US18/057,660 priority patent/US20230086973A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data

Definitions

  • the present invention relates to an ultrasonic diagnostic apparatus for observing a pressure ulcer of a subject, a control method of the ultrasonic diagnostic apparatus, and a processor for the ultrasonic diagnostic apparatus.
  • the pressure ulcer may extend deep into the subject, so that the user can grasp the distribution of the pressure ulcer along a plurality of directions.
  • An ultrasound image is taken while moving the ultrasound probe.
  • pressure ulcers are generally less skilled because they generally have a three-dimensional spread within the subject and often contain a mixture of multiple findings with different progressions of symptoms within the pressure ulcer. It has sometimes been difficult for the user to accurately grasp the type of pressure ulcer findings and the three-dimensional spread of the pressure ulcer by checking the captured ultrasonic image. In addition, if the pressure ulcer itself is large, if the bone protrudes in the area where the ultrasonic probe is in contact and the ultrasonic probe cannot normally contact the body surface, or if the user cannot determine by simply checking the body surface of the subject. In particular, when the pressure ulcer has spread to the extent, it may be difficult to accurately grasp the type of pressure ulcer findings and the three-dimensional spread of the pressure ulcer.
  • the present invention has been made to solve such a conventional problem, and is an ultrasonic diagnostic apparatus, an ultrasonic diagnostic apparatus, which allows a user to accurately grasp the types of findings of decubitus and their three-dimensional distribution. It is an object of the present invention to provide a control method for an ultrasonic diagnostic apparatus and a processor for an ultrasonic diagnostic apparatus.
  • the ultrasonic diagnostic apparatus uses an ultrasonic probe, a position sensor attached to the ultrasonic probe and acquires position information of the ultrasonic probe, and an ultrasonic probe.
  • Probability calculation to calculate the existence probability of findings related to the wound from each of the image acquisition unit that acquires multiple frames of ultrasonic images by scanning the wound of the sample with an ultrasonic beam and the ultrasonic images of multiple frames. It is characterized by including a unit and a probability map generation unit that generates a probability map of three-dimensional findings based on the position information of the ultrasonic probe acquired by the position sensor and the existence probability calculated by the probability calculation unit. And.
  • the probability calculation unit calculates a plurality of existence probabilities corresponding to a plurality of predetermined findings, and the probability map generation unit visualizes each of the plurality of existence probabilities three-dimensionally and converts them into a plurality of visualized existence probabilities. Based on this, it is possible to generate a three-dimensional probability map that integrates multiple findings.
  • the ultrasonic diagnostic apparatus may further include a monitor for displaying a probability map.
  • the ultrasonic diagnostic apparatus further includes a finding information calculation unit that calculates finding information including at least one of the size, depth, and volume of the finding based on the probability map, and the monitor obtains the finding information. Can be displayed.
  • the probability map generation unit can generate a probability map in which the shade of color is changed according to the value of the existence probability calculated by the probability calculation unit.
  • the probability map generation unit generates a probability map based on a plurality of existence probabilities calculated by the probability calculation unit in response to the multiple scans when the same wound is scanned multiple times. can do.
  • the probability map generation unit generates a probability map for each scan when the same wound is scanned multiple times, and integrates a plurality of probability maps generated in response to the multiple scans. You can also display the integrated probability map on your monitor.
  • the ultrasonic diagnostic apparatus further includes a failure area detection unit that detects a failure area in which the probability map is not normally generated or the ultrasonic image is acquired by analyzing the probability map or the ultrasonic image.
  • the failure area can be displayed.
  • the ultrasonic diagnostic apparatus is a scanned area detection unit that detects that the area has already been scanned based on the position information of the ultrasonic probe acquired by the position sensor when scanning the wound. And, when it is detected that the area has already been scanned, a notification unit for notifying the user can be further provided.
  • the monitor may display the probability map already generated by the probability map generator based on the position information of the ultrasonic probe acquired by the position sensor. can. Further, the probability map generation unit can generate a probability map in which the color becomes darker or the density becomes higher as the number of times of scanning is increased.
  • the control method of the ultrasonic diagnostic apparatus is to acquire the position information of the ultrasonic probe and scan the wound of the subject with the ultrasonic beam using the ultrasonic probe to obtain ultrasonic waves of a plurality of frames.
  • An image is acquired, the existence probability of findings related to the wound is calculated from each of the ultrasonic images of multiple frames, and the three-dimensional findings are calculated based on the acquired position information of the ultrasonic probe and the calculated existence probability. It is characterized by generating a probability map.
  • the processor for an ultrasonic diagnostic apparatus acquires position information of an ultrasonic probe and scans an ultrasonic beam on the wound of a subject using the ultrasonic probe to obtain an ultrasonic image of a plurality of frames. Is obtained, the existence probability of findings related to the wound is calculated from each of the ultrasonic images of multiple frames, and the probability of three-dimensional findings is calculated based on the acquired position information of the ultrasonic probe and the calculated existence probability. It is characterized by generating a map.
  • a position sensor attached to the ultrasonic probe and acquiring the position information of the ultrasonic probe, a probability calculation unit for calculating the existence probability of findings related to the wound from each of the ultrasonic images of a plurality of frames, and a probability calculation unit. Since it is provided with a probability map generation unit that generates a probability map of three-dimensional findings based on the position information of the ultrasonic probe acquired by the position sensor and the existence probability calculated by the probability calculation unit, the user can use the decubitus. It is possible to accurately grasp the types of findings and their three-dimensional distribution.
  • Embodiment 1 of this invention It is a block diagram which shows the structure of the ultrasonic diagnostic apparatus which concerns on Embodiment 1 of this invention. It is a block diagram which shows the internal structure of the transmission / reception circuit in Embodiment 1 of this invention. It is a block diagram which shows the internal structure of the image generation part in Embodiment 1 of this invention. It is a figure which shows the unclear layer structure schematically. It is a figure which shows typically the Cobblestone-like pattern. It is a figure which shows the Cloud-like pattern schematically. It is a figure which shows typically the pattern which the accumulation of a liquid is observed. It is a figure which shows the sectional view of the integrated probability map schematically. It is a figure which shows the failure area schematically.
  • Embodiment 1 of this invention It is a flowchart which shows the operation of the ultrasonic diagnostic apparatus in Embodiment 1 of this invention. It is a figure which shows typically the ultrasonic probe which scans a wound part along a certain direction in Embodiment 1 of this invention. It is a flowchart which shows the operation of the ultrasonic diagnostic apparatus in Embodiment 2 of this invention. It is a figure which shows typically the ultrasonic probe which scans a wound part a plurality of times along a certain direction in Embodiment 2 of this invention. It is a flowchart which shows the operation of the ultrasonic diagnostic apparatus in Embodiment 3 of this invention.
  • FIG. 1 shows the configuration of the ultrasonic diagnostic apparatus 1 according to the first embodiment of the present invention.
  • the ultrasonic diagnostic apparatus 1 includes an oscillator array 2, and a transmission / reception circuit 3, an image generation unit 4, a display control unit 5, and a monitor 6 are sequentially connected to the oscillator array 2.
  • the oscillator array 2 and the transmission / reception circuit 3 are included in the ultrasonic probe 21.
  • the image acquisition unit 7 is configured by the transmission / reception circuit 3 and the image generation unit 4.
  • the image memory 8 is connected to the image generation unit 4.
  • the probability calculation unit 9 is connected to the image generation unit 4 and the image memory 8.
  • the probability map generation unit 10 and the finding information calculation unit 11 are sequentially connected to the probability calculation unit 9, and the probability map generation unit 10 and the finding information calculation unit 11 are connected to the display control unit 5.
  • the failure area detection unit 12 is connected to the probability calculation unit 9 and the probability map generation unit 10, and the failure area detection unit 12 is connected to the display control unit 5.
  • the position sensor 13 is attached to the ultrasonic probe 21, and the scanned area detection unit 14 and the notification unit 15 are sequentially connected to the position sensor 13. Further, the position sensor 13 is connected to the image memory 8. Further, the notification unit 15 is connected to the display control unit 5.
  • the device control unit 16 is connected. Further, the input device 17 is connected to the device control unit 16. Further, the image generation unit 4, the display control unit 5, the probability calculation unit 9, the probability map generation unit 10, the finding information calculation unit 11, the failure area detection unit 12, the scanned area detection unit 14, the notification unit 15, and the device control unit 16. 2.
  • the processor 22 for the ultrasonic diagnostic apparatus 1 is configured.
  • the vibrator array 2 of the ultrasonic probe 21 shown in FIG. 1 has a plurality of vibrators arranged one-dimensionally or two-dimensionally. Each of these oscillators transmits ultrasonic waves according to a drive signal supplied from the transmission / reception circuit 3, receives ultrasonic echoes from a subject, and outputs a signal based on the ultrasonic echoes.
  • Each oscillator includes, for example, a piezoelectric ceramic represented by PZT (Lead Zirconate Titanate), a polymer piezoelectric element represented by PVDF (Poly Vinylidene Di Fluoride), and a PMN-PT (PMN-PT).
  • Lead Magnesium Niobate-Lead Titanate It is composed by forming electrodes at both ends of a piezoelectric body made of a piezoelectric single crystal represented by (lead magnesium niobate-lead titanate solid solution).
  • the transmission / reception circuit 3 transmits ultrasonic waves from the vibrator array 2 and generates a sound line signal based on the received signal acquired by the vibrator array 2 under the control of the device control unit 16.
  • the transmission / reception circuit 3 includes a pulsar 23 connected to the oscillator array 2, an amplification unit 24 sequentially connected in series from the oscillator array 2, an AD (Analog Digital) conversion unit 25, and a beam former.
  • AD Analog Digital
  • the pulsar 23 includes, for example, a plurality of pulse generators, and is transmitted from the plurality of oscillators of the oscillator array 2 based on a transmission delay pattern selected according to a control signal from the device control unit 16.
  • Each drive signal is supplied to a plurality of oscillators by adjusting the delay amount so that the ultrasonic waves form an ultrasonic beam.
  • a pulsed or continuous wave voltage is applied to the electrodes of the vibrator of the vibrator array 2
  • the piezoelectric body expands and contracts, and pulsed or continuous wave ultrasonic waves are generated from each vibrator.
  • An ultrasonic beam is formed from the combined waves of those ultrasonic waves.
  • the transmitted ultrasonic beam is reflected by, for example, a target such as a site of a subject, and propagates toward the vibrator array 2 of the ultrasonic probe 21.
  • the ultrasonic echo propagating toward the vibrator array 2 in this way is received by each of the vibrators constituting the vibrator array 2.
  • each of the vibrators constituting the vibrator array 2 expands and contracts by receiving the propagating ultrasonic echo to generate a received signal which is an electric signal, and these received signals are transmitted to the amplification unit 24. Output.
  • the amplification unit 24 amplifies the signal input from each of the vibrators constituting the vibrator array 2, and transmits the amplified signal to the AD conversion unit 25.
  • the AD conversion unit 25 converts the signal transmitted from the amplification unit 24 into digital reception data, and transmits these reception data to the beam former 26.
  • the beam former 26 follows the sound velocity or sound velocity distribution set based on the reception delay pattern selected according to the control signal from the device control unit 16, and the beam former 26 for each received data converted by the AD conversion unit 25, respectively.
  • the so-called reception focus processing is performed by giving a delay of and adding. By this reception focus processing, each received data converted by the AD conversion unit 25 is phase-adjusted and added, and a sound line signal in which the focus of the ultrasonic echo is narrowed down is acquired.
  • the image generation unit 4 has a configuration in which a signal processing unit 27, a DSC (Digital Scan Converter) 28, and an image processing unit 29 are sequentially connected in series.
  • the signal processing unit 27 corrects the attenuation due to the distance according to the depth of the reflection position of the ultrasonic wave to the sound line signal generated by the beam former 26 of the transmission / reception circuit 3, and then performs the envelope detection process.
  • Generates a B-mode image signal which is tomographic image information about the tissue in the subject.
  • the DSC 28 converts the B-mode image signal generated by the signal processing unit 27 into an image signal according to a normal television signal scanning method (raster conversion).
  • the image processing unit 29 performs various necessary image processing such as gradation processing on the B mode image signal input from the DSC 28, and then outputs the B mode image signal to the display control unit 5 and the image memory 8.
  • the B-mode image signal processed by the image processing unit 29 is simply referred to as an ultrasonic image.
  • the image memory 8 is a memory that holds a series of a series of plurality of frames of ultrasonic images generated for each diagnosis by the image generation unit 4.
  • the image memory 8 includes a flash memory, an HDD (Hard Disc Drive), an SSD (Solid State Drive), an FD (Flexible Disc), and an MO disk (Magneto-Optical disc). ), MT (Magnetic Tape: magnetic tape), RAM (Random Access Memory: random access memory), CD (Compact Disc: compact disc), DVD (Digital Versatile Disc: digital versatile disc), SD card (Secure Digital card: secure)
  • a recording medium such as a digital card), a USB memory (Universal Serial Bus memory), a server, or the like can be used.
  • the probability calculation unit 9 refers to each of the plurality of frames of ultrasonic images generated by the image generation unit 4. By performing image recognition, the existence probability of findings related to the wound is calculated.
  • the wound portion refers to a place where a pressure ulcer occurs and a region around the pressure ulcer.
  • the findings related to the wound refer to the structure and pattern of the tissue of the subject corresponding to the symptoms related to pressure ulcers such as edema, necrosis and abscess.
  • the types of findings include, for example, the obscure layer structure A1 shown in FIG. 4, the Cobblestone-like pattern A2 shown in FIG. 5, the Cloud-like pattern A3 shown in FIG. 6, and FIG.
  • the pattern A4 in which the brightness is low and the liquid is recognized as shown in No. 7 can be mentioned.
  • the obscure layered structure A1 shown in FIG. 4 corresponds to weak edema
  • the Cobblestone-like pattern A2 shown in FIG. 5 corresponds to strong edema
  • the Cloud-like pattern A3 shown in FIG. 6 corresponds to suspected necrosis.
  • the pattern A4 with retention shown in FIG. 7 corresponds to suspected abscess, hematoma or edema.
  • the probability calculation unit 9 can calculate the existence probability of a plurality of findings for each pixel of the ultrasonic image of each frame by using, for example, a deep learning method such as so-called U-net. At this time, for example, for one pixel, the probability that the pixel corresponds to the indistinct layer structure A1, the probability that the pixel corresponds to the Cobblestone-like pattern A2, and the probability that the pixel corresponds to the Cloud-like pattern A3. The probability of being present and the probability corresponding to the pattern A4 in which liquid storage is recognized are calculated respectively.
  • the position sensor 13 attached to the ultrasonic probe 21 acquires the position information of the ultrasonic probe 21.
  • the position sensor 13 can be configured by, for example, a so-called acceleration sensor, a gyro sensor, or the like.
  • the probability map generation unit 10 has a three-dimensional existence distribution of each finding based on the position information of the ultrasonic probe 21 acquired by the position sensor 13 and the existence probability of a plurality of findings calculated by the probability calculation unit 9. Generate a probability map that represents.
  • the probability map generation unit 10 three-dimensionally determines the existence probability of each finding calculated by the probability calculation unit 9 for each of a plurality of findings based on the position information of the ultrasonic probe 21 acquired by the position sensor 13. By plotting in, the existence probability of each finding can be visualized and a three-dimensional probability map of each finding can be generated.
  • the three-dimensional probability map of each finding is information showing the distribution of the three-dimensional existence probabilities of the unclear layer structure A1 shown in FIG. 4, and the three-dimensional of the Cobblestone-like pattern A2 shown in FIG.
  • the existence probability of each finding is plotted for each pixel arranged three-dimensionally, such as information representing the distribution, and represents the distribution of the three-dimensional existence probability for each finding.
  • the probability map generation unit 10 generates an integrated probability map having a cross section as shown in FIG. 8, for example, by integrating the generated three-dimensional probability maps of the plurality of findings.
  • the region R1 corresponding to the obscure layer structure A1 the region R2 corresponding to the Cobblestone-like pattern A2, the region R3 corresponding to the Cloud-like pattern A3, and the liquid storage are shown. It has a region R4 corresponding to the pattern A4 in which the above is observed, and a background region R5 that does not correspond to any of the findings.
  • the probability map generation unit 10 When integrating the probability maps of each finding, the probability map generation unit 10 assigns one finding to each pixel based on the value of the existence probability of each finding plotted on each pixel. For example, one pixel has an obscure layer structure A1 existence probability, a Cobblestone-like pattern A2 existence probability, a Cloud-like pattern A3 existence probability, and a pattern A4 existence probability in which liquid storage is recognized. When having one existence probability, the probability map generation unit 10 can assign the finding corresponding to the largest existence probability among these four existence probabilities to one pixel. Further, the probability map generation unit 10 displays the obtained integrated probability map on the monitor 6. The probability map generation unit 10 can display, for example, the regions R1 to R4 corresponding to a plurality of findings in different colors.
  • the finding information calculation unit 11 is based on a three-dimensional probability map of each of the plurality of findings or a three-dimensional integrated probability map in which the plurality of findings are integrated, and at least one of the size, depth and volume of the findings. Calculate the finding information including one.
  • the finding information calculation unit 11 has, for example, the depth direction from the body surface of the subject as the Z direction, the direction orthogonal to the Z direction as the X direction, and the directions orthogonal to the X direction and the Z direction as the Y direction. , The maximum width in the X direction, the maximum width in the Y direction, and the maximum width in the Z direction of the area occupied by each finding can be calculated as the magnitude of the finding.
  • the finding information calculation unit 11 calculates, for example, the distance from the body surface of the subject to the shallowest part of each finding or the distance from the body surface of the subject to the deepest part of each finding as the depth of the finding. Can be done.
  • the finding information calculation unit 11 can display the finding information calculated in this way on the monitor 6.
  • the failure area detection unit 12 normally analyzes the three-dimensional probability map of each finding generated by the probability map generation unit 10 or the three-dimensional integrated probability map in which a plurality of findings are integrated, thereby normally performing the probability map.
  • the three-dimensional failure area in which the above is not generated is detected, and the detected failure area is superimposed on the integrated probability map and displayed on the monitor 6.
  • a plurality of three-dimensional probability maps M are obtained because the ultrasonic probe 21 is separated from the body surface of the subject and an ultrasonic image representing the tomographic surface of the subject is not acquired.
  • the failure region detection unit 12 can detect the cavity region F as a failure region.
  • the probability calculation unit 9 calculates the existence probability of the background region R5 that does not correspond to the plurality of findings
  • the failure region detection unit 12 is surrounded by a region corresponding to any of the plurality of findings and has a background. The area detected as the area R5 can be detected as a failure area.
  • the scanned area detection unit 14 performs the same inspection on the same subject based on the position information of the ultrasonic probe 21 acquired by the position sensor 13 when the user scans the wound portion of the subject. , Detects that the area has already been scanned.
  • the scanned area detection unit 14 stores, for example, the position information of the ultrasonic probe 21 in the same inspection, the already stored position information of the ultrasonic probe 21, and the ultrasonic probe newly obtained by the position sensor 13.
  • the position information of 21 is collated, and when both match, it is detected that the region currently scanned by the ultrasonic probe 21 is an already scanned region.
  • the notification unit 15 When the scanned area detection unit 14 detects that the area currently being scanned by the ultrasonic probe 21 is an already scanned area, the notification unit 15 notifies the user to that effect.
  • the notification unit 15 can notify the user, for example, by displaying a message on the monitor 6 that the area currently being scanned by the ultrasonic probe 21 is an already scanned area.
  • the device control unit 16 controls each part of the ultrasonic diagnostic device 1 based on a control program or the like stored in advance.
  • the input device 17 is for the user to perform an input operation, and can be configured to include a keyboard, a mouse, a trackball, a touch pad, a touch panel, and the like.
  • the display control unit 5 Under the control of the device control unit 16, the display control unit 5 has an ultrasonic image of the frame held in the image memory 8, a three-dimensional probability map of each finding generated by the probability map generation unit 10, and finding information. Predetermined processing is performed on the finding information calculated by the calculation unit 11, the failure area detected by the failure area detection unit 12, and the information indicating the notification to the user by the notification unit 15, and the information is sent to the monitor 6. indicate.
  • the monitor 6 performs various displays under the control of the display control unit 5.
  • the monitor 6 includes, for example, a display device such as an LCD (Liquid Crystal Display) and an organic EL display (Organic Electroluminescence Display).
  • the processor 22 is composed of a CPU (Central Processing Unit) and a control program for causing the CPU to perform various processes, and is an FPGA (Field Programmable Gate Array). Using DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit), GPU (Graphics Processing Unit), and other ICs (Integrated Circuit) It may be configured, or it may be configured by combining them.
  • control unit 16 may be partially or wholly integrated into one CPU or the like.
  • step S1 the ultrasonic probe 21 is arranged by the user on the body surface of the subject in order to take an ultrasonic image of the wound portion.
  • the user gives an instruction to start taking an ultrasonic image via the input device 17.
  • the acquisition of the ultrasonic image is started.
  • step S2 ultrasonic beams are transmitted into the subject from the plurality of oscillators of the oscillator array 2 according to the drive signals from the pulsar 23 of the transmission / reception circuit 3, and the ultrasonic echoes from the subject are received from each oscillator.
  • the received signal is output to the amplification unit 24 of the transmission / reception circuit 3.
  • the received signal is amplified by the amplification unit 24, AD-converted by the AD conversion unit 25, and then phase-adjusted and added by the beam former 26 to generate a sound line signal.
  • This sound line signal becomes a B-mode image signal by being subjected to envelope detection processing by the signal processing unit 27 in the image generation unit 4, and is output to the display control unit 5 via the DSC 28 and the image processing unit 29 for display.
  • An ultrasonic image is displayed on the monitor 6 under the control of the control unit 5.
  • the user parallelizes the ultrasonic probe 21 only once along a certain direction, as schematically shown in FIG. Moving.
  • ultrasonic images of a plurality of frames of the wound portion J are acquired.
  • the acquired ultrasonic image of a plurality of frames is held in the image memory 8.
  • the position sensor 13 acquires the position information of the ultrasonic probe 21 at any time.
  • the acquired position information is associated with the ultrasonic image of the frame acquired at the same timing, and is held in the image memory 8 together with the ultrasonic image. After the ultrasonic images of the plurality of frames of the wound portion J are acquired and held in the image memory 8 in this way, for example, when the user gives an instruction to end the scanning via the input device 17, the scanning ends.
  • the probability calculation unit 9 calculates the existence probability of the finding related to the wound portion J by performing image recognition on the ultrasonic image of a plurality of frames held in the image memory 8.
  • the probability calculation unit 9 can calculate the existence probabilities of a plurality of findings for each pixel of a plurality of frames of an ultrasonic image by using, for example, a deep learning method such as so-called U-net.
  • U-net a deep learning method
  • each pixel of the ultrasonic image of a plurality of frames corresponds to the probability that the pixel corresponds to the indistinct layer structure A1 and the Cobblestone-like pattern A2, as shown in FIGS. 4 to 7, for example.
  • It has a probability of existence of a plurality of findings such as a probability of being present, a probability of corresponding to the Cloud-like pattern A3, and a probability of corresponding to the pattern A4 in which liquid storage is recognized.
  • step S4 the probability map generation unit 10 has three dimensions of each finding based on the position information of the ultrasonic probe 21 acquired by the position sensor 13 and the existence probability of the plurality of findings calculated by the probability calculation unit 9. Probability map is generated.
  • the probability map generation unit 10 is used for each of a plurality of findings for each pixel three-dimensionally arranged based on the position information of the ultrasonic probe 21 held together with the ultrasonic images of a plurality of frames. By plotting the existence probabilities obtained in step S3 and visualizing the existence probabilities of each finding, a three-dimensional probability map of each finding can be generated.
  • the probability map generation unit 10 integrates the three-dimensional probability maps of the findings generated in step S4 to generate a three-dimensional integrated probability map.
  • the probability map generation unit 10 assigns one finding to each pixel based on the value of the existence probability of each finding plotted in each pixel in step S4. For example, one pixel has an obscure layer structure A1 existence probability, a Cobblestone-like pattern A2 existence probability, a Cloud-like pattern A3 existence probability, and a pattern A4 existence probability in which liquid storage is recognized.
  • the probability map generation unit 10 can assign the finding corresponding to the largest existence probability among these four existence probabilities to one pixel.
  • the integrated probability map illustrated in FIG. 8 includes regions R1 to R4 corresponding to the four findings of the obscure layer structure A1, the Cobblestone-like pattern A2, the Cloud-like pattern A3, and the pattern A4 in which liquid retention is observed. It has a background region R5 that does not correspond to any of the findings.
  • step S6 the probability map generation unit 10 displays the integrated probability map obtained in step S5 on the monitor 6.
  • the probability map generation unit 10 may display, for example, the regions R1 to R4 corresponding to a plurality of findings on the monitor 6 in different colors so that the user can easily confirm the existence distribution of each finding. can.
  • pressure ulcers have a three-dimensional spread within a subject and may have multiple findings with different progressions of symptoms, and the examiner confirms the body surface of the subject. It was sometimes difficult to determine how widespread and distributed the pressure ulcer was. Therefore, in order to observe the inside of the subject, the pressure ulcer was sometimes observed using a conventional ultrasonic diagnostic device, but when the pressure ulcer itself is large, the bone protrudes in the area where the ultrasonic probe is in contact. Therefore, it may be difficult for the user to accurately grasp the type of pressure ulcer findings and the three-dimensional spread of the pressure ulcer, for example, when the ultrasonic probe cannot normally contact the body surface of the subject. rice field.
  • a three-dimensional probability map of a plurality of findings of pressure ulcer is generated, and the generated probability map is displayed on the monitor 6, so that the user can use it.
  • the types of pressure ulcer findings and their three-dimensional distribution can be easily and accurately grasped.
  • the findings four findings of an unclear layer structure A1, a Cobblestone-like pattern A2, a Cloud-like pattern A3, and a pattern A4 in which liquid storage is observed are given.
  • the findings that generate a three-dimensional probability map are not limited to these four findings. For example, a probability map for five or more findings can be generated.
  • step S3 it is explained that the existence probability of a plurality of findings is calculated by using a deep learning method.
  • the probability calculation unit 9 is a so-called template matching method, SVM (Support vector machine:). Machine learning method using support vector machine) and adaboost, Csurka et al .: Visual Categorization with Bags of Keypoints, Proc. Of ECCV Workshop on Statistical Learning in Computer Vision, pp.59-74 (2004)
  • SVM Simple vector machine:
  • adaboost Csurka et al .: Visual Categorization with Bags of Keypoints, Proc. Of ECCV Workshop on Statistical Learning in Computer Vision, pp.59-74 (2004)
  • the existence probabilities of multiple findings can be calculated using the described machine learning methods and the like.
  • step S5 when one finding is assigned to each pixel of the ultrasonic image of a plurality of frames, the finding having the largest existence probability among the existence probabilities of the plurality of findings possessed by one pixel is the pixel.
  • the method of assigning findings to pixels is not limited to this.
  • the probability map generation unit 10 has a probability threshold value for the existence probabilities of a plurality of findings, and among the existence probabilities of a plurality of findings possessed by one pixel, the probability threshold value is equal to or higher than the maximum. Findings with a probability of existence can be assigned to that pixel.
  • the probability map generation unit 10 can determine, for example, that the pixel belongs to the background region R5 that does not correspond to any of the findings. In this way, by using the probability threshold value when assigning the findings to each pixel, more accurate findings can be assigned to each pixel.
  • step S6 the integrated probability map is displayed on the monitor 6, but further, the individual probability map of each finding generated in step S5 may be displayed.
  • an integrated probability map and an individual probability map of each finding can be automatically displayed together on the monitor 6.
  • the display of the integrated probability map and the display of the individual probability map of each finding can be displayed separately by the user switching via the input device 17. This allows the user to more easily and accurately grasp the types of the plurality of findings and their existence distribution.
  • each pixel included in the integrated probability map or the individual probability map of each finding is darker as the probability is larger. It can be displayed in color. This allows the user to easily check the existence probability of each finding assigned to multiple pixels and also grasp the certainty of the finding assigned in the integrated probability map or the individual probability map of each finding. Can be done.
  • the finding information calculated by the finding information calculation unit 11 can be displayed.
  • the user can confirm more detailed information about each finding displayed on the monitor 6, and can make a more accurate diagnosis of the pressure ulcer.
  • the failure area detected by the failure area detection unit 12 can be displayed on the monitor 6.
  • the user grasps that the ultrasonic image was not taken normally for some reason, such as a part where the ultrasonic probe 21 is separated from the body surface of the subject, and re-examination, etc. It can be performed.
  • step S6 the user needs to confirm the integrated probability map or the individual probability map of each finding in step S6, and additionally scan a part different from the part scanned by the ultrasonic probe 21 in step S2.
  • the processing of steps S1 to S6 may be performed again according to the instruction of the user via the input device 17.
  • step S4 a new probability map for each finding is generated, which can be combined with, for example, the already generated probability map for each finding and the integrated probability map.
  • the accuracy of the probability map of each finding and the integrated probability map can be improved.
  • an ultrasonic image of a plurality of frames is acquired by scanning the ultrasonic probe 21 while translating it in a certain direction only once. For example, in one scan where the wound portion J is large, the wound portion J is large. When it is not possible to acquire an ultrasonic image in a sufficient range, the ultrasonic probe 21 may be scanned a plurality of times in the same direction while translating.
  • step S7 is added between steps S2 and S3.
  • step S1 the imaging of the ultrasonic image is started with the ultrasonic probe 21 placed at the position P1 on the body surface of the subject by the user.
  • step S2 the ultrasonic probe 21 is scanned while being translated along a certain direction by the user, and an ultrasonic image of a plurality of frames is acquired.
  • the position sensor 13 acquires the position information of the ultrasonic probe 21 at any time.
  • step S7 the device control unit 16 determines whether or not to add scanning in the same direction as the direction in which the ultrasonic probe 21 is translated in step S2. For example, when the user gives an instruction to add scanning in the same direction via the input device 17, the device control unit 16 determines that scanning in the same direction is added, and returns to step S2.
  • step S2 for example, the user arranges the ultrasonic probe 21 at a position P2 different from the position P1 and translates the ultrasonic probe 21 in the same direction as the translation in the previous step S2. Scan the sound wave probe 21.
  • the process proceeds to step S7.
  • step S7 steps S2 and S7 are repeated until it is determined that scanning in the same direction is not added.
  • the ultrasonic probe 21 is scanned from a plurality of positions P1 to P3 along the same direction.
  • step S7 for example, when the user gives an instruction not to add scanning in the same direction via the input device 17, the device control unit 16 determines that scanning in the same direction is not added, and proceeds to step S3.
  • step S3 the probability calculation unit 9 performs image recognition on the ultrasonic images of a plurality of frames acquired by repeating steps S2 and S7, and the existence probability of each finding is determined for each of the ultrasonic images of the plurality of frames. It is calculated.
  • step S4 a three-dimensional probability map of each finding is generated based on the position information of the ultrasonic probe 21 acquired by repeating steps S2 and S7 and the existence probability of each finding calculated in step S3. To.
  • step S5 the integrated probability map is generated by integrating the three-dimensional probability maps of the findings generated in step S4, and in step S6, the integrated probability map is generated on the monitor 6.
  • the second embodiment since it is possible to scan a plurality of times along the same direction, for example, even if the wound portion J is large and one scan cannot acquire an ultrasonic image in a sufficient range. , The integrated probability map corresponding to the entire wound J can be acquired, and the accuracy of the integrated probability map can be improved. Further, for example, when the ultrasonic probe 21 is scanned from the same position P1 along the same direction, even if one of the plurality of scans is not normally performed for some reason. The accuracy of the integrated probability map can be improved.
  • Embodiment 3 In the second embodiment, the ultrasonic probe 21 is scanned a plurality of times along the same direction, but the ultrasonic probe 21 may be scanned along a different direction.
  • FIG. 14 shows a flowchart showing the operation of the ultrasonic diagnostic apparatus 1 according to the third embodiment. In this flowchart, in the flowchart of the second embodiment shown in FIG. 12, step S8 is added between steps S7 and S3.
  • step S1 the acquisition of the ultrasonic image is started. Subsequently, by repeating steps S2 and S7, for example, as shown in FIG. 15, after the ultrasonic probe 21 is scanned from the positions P1 to P3 along the first direction D1, the apparatus is used. When the control unit 16 determines that scanning in the same direction as the first direction D1 is not to be added, the process proceeds to step S8.
  • step S8 the device control unit 16 determines whether or not to add scanning in a direction different from the first direction D1. For example, when the user gives an instruction to add a scan in a direction different from the first direction D1 via the input device 17, the device control unit 16 determines that the scan in a different direction is to be added, and the step S2 is performed. move on.
  • step S2 the ultrasonic probe 21 is arranged by the user at a position P4 different from the positions P1 to P3, and the ultrasonic probe 21 is translated along the second direction D2 different from the first direction D1. Scanning of the ultrasonic probe 21 is performed.
  • the position sensor 13 newly acquires the position information of the ultrasonic probe 21, and also newly acquires the ultrasonic images of a plurality of frames.
  • step S7 the device control unit 16 determines whether or not to add scanning in the same direction as the second direction D2 in which the ultrasonic probe 21 is translated in the immediately preceding step S2.
  • the process returns to step S2, for example, the ultrasonic probe 21 is placed at a position P5 different from the position P4 and is translated along the second direction D2.
  • the scanning of the ultrasonic probe 21 is performed while being moved. As a result, when the position information of the ultrasonic probe 21 and the ultrasonic images of a plurality of frames are newly acquired, the process proceeds to step S7.
  • step S7 it is determined whether or not to add scanning in a direction different from the second direction D2.
  • step S8 it is determined whether or not to add scanning in a direction different from the second direction D2.
  • the process returns to step S2, and scanning in a direction different from that in the second direction D2 is performed. If it is determined that scanning in a direction different from that in the second direction D2 is not to be added, the process proceeds to step S3.
  • step S3 image recognition is performed on the ultrasonic images of the plurality of frames acquired by repeating steps S2, S7, and S8, and the existence probability of each finding is calculated for each of the ultrasonic images of the plurality of frames.
  • step S4 the three-dimensional probability of each finding is based on the position information of the ultrasonic probe 21 acquired by repeating steps S2, S7 and S8 and the existence probability of each finding calculated in step S3. A map is generated.
  • step S5 the integrated probability map is generated by integrating the three-dimensional probability maps of the findings generated in step S4, and in step S6, the integrated probability map is generated on the monitor 6.
  • the third embodiment since it is possible to scan a plurality of times along a plurality of directions, for example, when the wound portion J is large and an ultrasonic image in a sufficient range cannot be obtained by one scan.
  • the integrated probability map corresponding to the entire wound J can be acquired, and the accuracy of the integrated probability map can be improved.
  • the probability map generation unit 10 has a probability map and an integrated probability map of each finding in which the color is darker as the area scanned in duplicate. Can be generated.
  • the probability map generation unit 10 can also generate a probability map and an integrated probability map of each finding whose density is higher in the overlapping scanned regions.
  • Embodiment 4 In the second and third embodiments, the ultrasonic probe 21 is scanned a plurality of times along the same direction or different directions, but the area currently being scanned by the ultrasonic probe 21 has already been scanned. If it is an area, it is possible to notify the user to that effect.
  • step S9 scanning of the ultrasonic probe 21 is started.
  • the user starts scanning the ultrasonic probe 21 while translating it along a certain direction.
  • the position sensor 13 acquires the position information of the ultrasonic probe 21, and the acquired position information is held in the image memory 8 in association with the ultrasonic image of the frame acquired at the same timing.
  • step S10 the scanned area detection unit 14 determines whether or not the area currently being scanned by the ultrasonic probe 21 has already been scanned based on the position information of the ultrasonic probe 21 acquired by the position sensor 13. Performs the process of detecting. For example, the scanned region detection unit 14 collates the position information of the ultrasonic probe 21 already acquired in the same inspection with the newly acquired position information, and when both match, the ultrasonic probe 21 Can detect that the area currently being scanned is an area that has already been scanned. Since this is the first scan at present, it is determined that the region scanned by the ultrasonic probe 21 is not the region already scanned, and the process proceeds to step S12.
  • step S12 for example, when the user gives an instruction to end the scanning of the ultrasonic probe 21 via the input device 17, the scanning of the ultrasonic probe 21 ends.
  • the apparatus control unit 16 determines whether or not to add scanning in the same direction as the direction in which the ultrasonic probe 21 is translated between steps S9 and S12. Here, if it is determined that scanning in the same direction is to be added, the process returns to step S9.
  • step S9 scanning of the ultrasonic probe 21 is started while the ultrasonic probe 21 is moved along the same direction as the direction in which the ultrasonic probe 21 is translated in the first step S9.
  • step S10 the position information of the ultrasonic probe 21 acquired in the first scan and the position information of the ultrasonic probe 21 newly acquired in the current scan are collated, and when both match, the present , It is determined that the region scanned by the ultrasonic probe 21 is an region that has already been scanned, and the process proceeds to step S11.
  • step S11 the notification unit 15 notifies the user that the area currently being scanned by the ultrasonic probe 21 is an already scanned area.
  • the notification unit 15 can notify the user by displaying a message on the monitor 6.
  • steps S7, step S8, and steps S3 to S6 are the same as steps S3 to S6 in the first to third embodiments, and thus the description thereof will be omitted.
  • the fourth embodiment it is detected whether or not the region currently being scanned by the ultrasonic probe 21 is a region that has already been scanned, and the region that is currently being scanned by the ultrasonic probe 21 has already been scanned. Since the notification is given to the user in the case of the area, the user can prevent, for example, from unintentionally scanning the same portion.
  • the notification unit 15 notifies the user by displaying a message on the monitor 6, but the method of notifying the user is not limited to this.
  • the notification unit 15 can notify the user by emitting a voice from the speaker.
  • the notification unit 15 can notify the user by emitting light from the lamp.
  • the notification unit 15 notifies the user by vibrating the ultrasonic probe 21. Can be done.
  • the notification unit 15 notifies the user by displaying a message on the monitor 6, for example, but the notification unit 15 has already been scanned by being connected to the probability map generation unit 10, for example. It is also possible to notify the user by displaying the probability map generated in the area on the monitor 6.
  • the ultrasonic diagnostic apparatus 1 can operate according to, for example, the flowchart shown in FIG.
  • step S3 step S10, step S13, and step S14 are processed instead of the steps S10 and S11 being processed between steps S9 and S12. be.
  • step S9 When the scanning of the ultrasonic probe 21 is started in step S9, steps S3 and S10 are processed in parallel.
  • step S3 each time the ultrasonic probe 21 is scanned and an ultrasonic image is acquired, the probability calculation unit 9 performs image recognition on the acquired frame ultrasonic image at any time and makes various findings. Calculate the existence probability of.
  • step S13 a two-dimensional existence distribution of each finding is generated for each ultrasonic image based on the existence probability of each finding calculated in step S3.
  • step S10 the scanned region detection unit 14 performs a process of detecting whether or not the region currently being scanned by the ultrasonic probe 21 is an already scanned region. Since this is the first scan at present, it is determined that the region scanned by the ultrasonic probe 21 is not the region already scanned. In this way, when the two-dimensional existence distribution of each finding is generated in step S13 and it is determined in step S10 that the region scanned by the ultrasonic probe 21 is not the region already scanned. The process proceeds to step S12.
  • step S12 the scanning of the ultrasonic probe 21 is completed. As a result, the process proceeds to step S7.
  • step S7 it is determined whether or not scanning in the same direction as the direction in which the ultrasonic probe 21 is translated between steps S9 and S12 is added. If it is determined that scanning in the same direction is added, the process returns to step S9.
  • step S10 it is determined whether or not the region currently being scanned by the ultrasonic probe 21 is the region already scanned in the first scan. If the region scanned by the ultrasonic probe 21 is determined to be the region already scanned in the first scan, the process proceeds to step S14.
  • step S14 the notification unit 15 converts the two-dimensional presence distribution of each finding generated in step S13 of the first scan corresponding to the region determined in step S10 into the ultrasonic image of the corresponding frame.
  • the user is notified by superimposing and displaying the image on the monitor 6.
  • the user can grasp that the region currently being scanned by the ultrasonic probe 21 is an already scanned region, so that, for example, it is possible to prevent unintentional scanning of the same location. Can be done.
  • step S13 and step S14 the process proceeds to step S12.
  • steps S12, step S7, step S8, and steps S4 to S6 are the same as those described using the flowchart of FIG. 16, and thus the description thereof will be omitted.
  • the image recognition in step S3 and the determination of whether or not the region scanned by the ultrasonic probe 21 in step S10 is already scanned are performed in parallel.
  • the user can prevent, for example, unintentionally scanning the same location.
  • Embodiment 6 In the first to fifth embodiments, a three-dimensional probability map of each finding is generated after all the ultrasonic images have been acquired, but each finding is completed after each scan. Probability maps may be generated.
  • FIG. 18 shows a flowchart showing the operation of the ultrasonic diagnostic apparatus 1 according to the sixth embodiment. In this flowchart, in the flowchart of the third embodiment shown in FIG. 14, the positions of steps S3 and S4 are moved between steps S2 and S7, and step S15 is added immediately after step S4. be.
  • step S2 When the acquisition of the ultrasonic image is started in step S1, the process proceeds to step S2.
  • step S2 for example, as shown in FIG. 15, the ultrasonic probe 21 is scanned while being translated along the first direction D1 from the state where the ultrasonic probe 21 is arranged at the position P1, and an ultrasonic image of a plurality of frames is obtained. To be acquired.
  • the position sensor 13 acquires the position information of the ultrasonic probe 21 at any time.
  • the probability calculation unit 9 performs image recognition on the ultrasonic images of the plurality of frames acquired in step S2, and calculates the existence probability of each finding for each ultrasonic image of each frame.
  • a three-dimensional probability map of each finding is based on the position information of the ultrasonic probe 21 acquired in step S2 by the probability map generation unit 10 and the existence probability of each finding calculated in step S3. Is generated.
  • the probability map generation unit 10 is generated in the immediately preceding step S4 for each finding when the three-dimensional probability map of each finding has already been generated before the immediately preceding step S4.
  • the process of integrating the existing probability map into the existing probability map is performed. Currently, only one scan is performed and there is no existing probability map, so the probability map of each finding generated in the immediately preceding step S4 is not integrated with the other probability maps.
  • step S7 it is determined whether or not to scan the ultrasonic probe 21 along the same direction as the first direction D1. If it is determined that scanning in the same direction is to be added, the process returns to step S2.
  • step S2 for example, the ultrasonic probe 21 is scanned along the first direction D1 from a position P2 different from the position P1 in the first step S2. As a result, the ultrasonic images of a plurality of frames are newly acquired, and the position information of the ultrasonic probe 21 is also newly acquired.
  • step S3 image recognition is performed on the ultrasonic images of the plurality of frames obtained in the second step S2, and the existence probability of each finding is calculated. Further, in step S4, the three-dimensional probability of each finding is based on the position information of the ultrasonic probe 21 acquired in the second step S2 and the existence probability of each finding obtained in the second step S3. A new map is generated.
  • the probability map generation unit 10 integrates the probability map of each finding generated in the first step S4 and the probability map of each finding generated in the second step S4 for each finding. As a result, a probability map of each finding with higher accuracy than the probability map of each finding generated in the first step S4 can be obtained.
  • step S15 By repeating steps S2 to S4, step S15, and step S7 in this way, the probability maps obtained by the plurality of scans along the first direction D1 are integrated for each finding. If it is determined in step S7 that the scan in the same direction as the first direction D1 is not added, the process proceeds to step S8.
  • step S8 it is determined whether or not to add scanning in a direction different from the first direction D1.
  • the process returns to step S2.
  • step S2 the user scans the ultrasonic probe 21 along the second direction D2 different from the first direction D1 from the state where the ultrasonic probe 21 is arranged at the position P4, for example, as shown in FIG. Will be done.
  • the ultrasonic images of a plurality of frames are newly acquired, and the position information of the ultrasonic probe 21 is newly acquired.
  • step S3 the existence probability of each finding is calculated by performing image recognition on the ultrasonic image of a plurality of frames newly acquired in step S2.
  • step S4 the three-dimensional existence probability of each finding is newly calculated based on the position information of the ultrasonic probe 21 newly acquired in step S2 and the existence probability of each finding newly calculated in step S3. Generated.
  • step S15 for each finding, the probability map newly generated in step S4 is integrated with the existing probability map obtained as a result of scanning the ultrasonic probe 21 along the first direction D1.
  • step S15 the process proceeds to step S7.
  • step S7 it is determined whether or not to add the scan in the same direction as the second direction D2, and when it is determined to add the scan in the same direction as the second direction D2, the process returns to step S2 and the second direction D2. If it is determined not to add the scan in the same direction as the above, the process proceeds to step S8.
  • step S15, step S7, and step S8 in this way, the newly generated probability map is integrated into the existing probability map for each finding.
  • step S8 If it is determined in step S8 that scanning in another direction is not added, the process proceeds to step S5.
  • step S5 the three-dimensional probability maps of the findings obtained by repeating steps S2 to S4, step S15, step S7, and step S8 are integrated to generate an integrated probability map.
  • step S6 the integrated probability map generated in step S5 is displayed on the monitor 6. As a result, the operation of the ultrasonic diagnostic apparatus 1 in the sixth embodiment is completed.
  • the three-dimensional probability maps of a plurality of findings are integrated to generate an integrated probability map. Since the generated integrated probability map is displayed on the monitor 6, the user can easily and accurately grasp the types of decubitus findings and their three-dimensional distribution, as in the first embodiment.
  • Embodiment 7 The ultrasonic diagnostic apparatus 1 of the first embodiment has a configuration in which the monitor 6, the input device 17, and the ultrasonic probe 21 are directly connected to the processor 22, but for example, the monitor 6, the input device 17, and the like.
  • the ultrasonic probe 21 and the processor 22 can also be indirectly connected via a network.
  • the monitor 6, the input device 17, and the ultrasonic probe 21 are connected to the ultrasonic diagnostic apparatus main body 31 via the network NW.
  • the ultrasonic diagnostic apparatus main body 31 is the ultrasonic diagnostic apparatus 1 of the first embodiment shown in FIG. 1, excluding the monitor 6, the input device 17, and the ultrasonic probe 21, and is composed of an image memory 8 and a processor 22A. Has been done.
  • the ultrasonic diagnostic apparatus 1A has such a configuration, as in the ultrasonic diagnostic apparatus 1 of the first embodiment, the acquired ultrasonic images of a plurality of frames are image-recognized to obtain various findings.
  • the existence probability of each finding is calculated, and a three-dimensional probability map of each finding is generated from the existence probability of each finding and the position information of the ultrasonic probe 21 acquired by the position sensor 13, and the probabilities of a plurality of findings are further generated.
  • a three-dimensional integrated probability map is generated, and this integrated probability map is displayed on the monitor 6. Therefore, according to the ultrasonic diagnostic apparatus 1A of the seventh embodiment, the user can easily and accurately grasp the types of pressure ulcer findings and their three-dimensional distribution, as in the ultrasonic diagnostic apparatus 1 of the first embodiment. can do.
  • the ultrasonic diagnostic device main body 31 can be used as a so-called remote server.
  • the user can diagnose the subject by preparing the monitor 6, the input device 17, and the ultrasonic probe 21 at the user's hand, which improves convenience in ultrasonic diagnosis. Can be made to.
  • a portable thin computer called a so-called tablet is used as the monitor 6 and the input device 17, the user can more easily measure the urine volume, and the convenience of the urine volume measurement can be improved. It can be further improved.
  • the monitor 6, the input device 17, and the ultrasonic probe 21 are connected to the ultrasonic diagnostic device main body 31 via the network NW. At this time, the monitor 6, the input device 17, and the ultrasonic probe 21 are connected to the network. It may be connected to the NW by wire or wirelessly. Further, although it is explained that the embodiment of the seventh embodiment is applied to the first embodiment, the same applies to the second to sixth embodiments.
  • 1,1A ultrasonic diagnostic device 2 oscillator array, 3 transmission / reception circuit, 4 image generation unit, 5 display control unit, 6 monitor, 7 image acquisition unit, 8 image memory, 9 probability calculation unit, 10 probability map generation unit, 11 Finding information calculation unit, 12 Failure area detection unit, 13 Position sensor, 14 Scanned area detection unit, 15 Notification unit, 16 Device control unit, 17 Input device, 21 Ultrasonic probe, 22, 22A processor, 23 Pulsar, 24 Amplification unit, 25 AD conversion unit, 26 beam former, 27 signal processing unit, 28 DSC, 29 image processing unit, 31 ultrasonic diagnostic equipment main body, A1 unclear layer structure, A2 Cobblestone-like pattern, A3 Cloud-like pattern , A4 pattern, B1 scanning cross section, D1 first direction, D2 second direction, F cavity area, J wound, M probability map, NW network, P1 to P6 position, R1 to R4, T area, R5 background area.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

超音波診断装置(1)は、超音波プローブ(21)と、超音波プローブ(21)に取り付けられ且つ超音波プローブ(21)の位置情報を取得する位置センサ(13)と、超音波プローブ(21)を用いて被検体の創部に対して超音波ビームの走査を行うことにより複数フレームの超音波画像を取得する画像取得部(7)と、複数フレームの超音波画像のそれぞれから創部に関わる所見の存在確率を算出する確率算出部(9)と、位置センサ(13)により取得された超音波プローブ(21)の位置情報と確率算出部(9)により算出された存在確率とに基づいて3次元的な所見の確率マップを生成する確率マップ生成部(10)を備える。

Description

超音波診断装置、超音波診断装置の制御方法および超音波診断装置用プロセッサ
 本発明は、被検体の褥瘡を観察するための超音波診断装置、超音波診断装置の制御方法および超音波診断装置用プロセッサに関する。
 従来から、超音波診断装置を用いて被検体内に生じた褥瘡の観察が行われている。例えば、特許文献1に開示されているように、一般的に、褥瘡は被検体の深部にまで及んでいることがあるため、ユーザが褥瘡の分布を把握するために、複数の方向に沿って超音波プローブを移動させながら超音波画像が撮影される。
特開2016-224396号公報
 しかしながら、褥瘡は、一般的に、被検体内において3次元的な広がりを有しており、褥瘡内に症状の進行が異なる複数の所見が混在していることが多いため、特に熟練度の低いユーザにとっては、撮影された超音波画像を確認して褥瘡の所見の種類および褥瘡の3次元的な広がりを精確に把握することが困難なことがあった。また、褥瘡自体が大きい場合、超音波プローブを接触させる領域において骨が突出して超音波プローブを体表面に正常に接触できない場合、および、ユーザが被検体の体表を確認しただけでは判断できない箇所にまで褥瘡が広がっている場合等には、特に、褥瘡の所見の種類および褥瘡の3次元的な広がりを精確に把握することが困難なことがあった。
 本発明は、このような従来の問題点を解決するためになされたものであり、ユーザが褥瘡の所見の種類およびその3次元的な分布を精確に把握することができる超音波診断装置、超音波診断装置の制御方法および超音波診断装置用プロセッサを提供することを目的とする。
 上記目的を達成するために、本発明に係る超音波診断装置は、超音波プローブと、超音波プローブに取り付けられ且つ超音波プローブの位置情報を取得する位置センサと、超音波プローブを用いて被検体の創部に対して超音波ビームの走査を行うことにより複数フレームの超音波画像を取得する画像取得部と、複数フレームの超音波画像のそれぞれから創部に関わる所見の存在確率を算出する確率算出部と、位置センサにより取得された超音波プローブの位置情報と確率算出部により算出された存在確率とに基づいて3次元的な所見の確率マップを生成する確率マップ生成部とを備えることを特徴とする。
 確率算出部は、定められた複数の所見にそれぞれ対応する複数の存在確率を算出し、確率マップ生成部は、複数の存在確率をそれぞれ3次元的に可視化し且つ可視化された複数の存在確率に基づいて複数の所見を統合した3次元的な確率マップを生成することができる。
 超音波診断装置は、確率マップを表示するモニタをさらに備えることができる。
 この場合に、超音波診断装置は、確率マップに基づいて所見の大きさ、深さ、体積のうち少なくとも1つを含む所見情報を算出する所見情報算出部をさらに備え、モニタは、所見情報を表示することができる。
 また、確率マップ生成部は、確率算出部により算出された存在確率の値に応じて色の濃淡を変化させた確率マップを生成することができる。
 また、確率マップ生成部は、同一の創部に対して複数回の走査を行った際に、複数回の走査に対応して確率算出部により算出された複数の存在確率に基づいて確率マップを生成することができる。
 もしくは、確率マップ生成部は、同一の創部に対して複数回の走査を行った際に、走査毎に確率マップを生成し、複数回の走査に対応して生成された複数の確率マップを統合し、統合された確率マップをモニタに表示することもできる。
 超音波診断装置は、確率マップまたは超音波画像を解析することにより、正常に確率マップの生成または超音波画像の取得がなされていない失敗領域を検出する失敗領域検出部をさらに備え、モニタは、失敗領域を表示することができる。
 また、超音波診断装置は、創部に対して走査を行う際に、位置センサにより取得された超音波プローブの位置情報に基づいて、既に走査された領域であることを検知する走査済み領域検知部と、既に走査された領域であることが検知された場合に、ユーザに通知する通知部とをさらに備えることができる。
 超音波診断装置が創部に対して走査を行う際に、位置センサにより取得された超音波プローブの位置情報に基づいて、モニタは、確率マップ生成部により既に生成された確率マップを表示することができる。
 また、確率マップ生成部は、走査の繰り返し回数が多い領域ほど色を濃くした、または、密度を高くした確率マップを生成することができる。
 本発明に係る超音波診断装置の制御方法は、超音波プローブの位置情報を取得し、超音波プローブを用いて被検体の創部に対して超音波ビームの走査を行うことにより複数フレームの超音波画像を取得し、複数フレームの超音波画像のそれぞれから創部に関わる所見の存在確率を算出し、取得された超音波プローブの位置情報と算出された存在確率とに基づいて3次元的な所見の確率マップを生成することを特徴とする。
 本発明に係る超音波診断装置用プロセッサは、超音波プローブの位置情報を取得し、超音波プローブを用いて被検体の創部に対して超音波ビームの走査を行うことにより複数フレームの超音波画像を取得し、複数フレームの超音波画像のそれぞれから創部に関わる所見の存在確率を算出し、取得された超音波プローブの位置情報と算出された存在確率とに基づいて3次元的な所見の確率マップを生成することを特徴とする。
 本発明によれば、超音波プローブに取り付けられ且つ超音波プローブの位置情報を取得する位置センサと、複数フレームの超音波画像のそれぞれから創部に関わる所見の存在確率を算出する確率算出部と、位置センサにより取得された超音波プローブの位置情報と確率算出部により算出された存在確率とに基づいて3次元的な所見の確率マップを生成する確率マップ生成部とを備えるため、ユーザが褥瘡の所見の種類およびその3次元的な分布を精確に把握することができる。
本発明の実施の形態1に係る超音波診断装置の構成を示すブロック図である。 本発明の実施の形態1における送受信回路の内部構成を示すブロック図である。 本発明の実施の形態1における画像生成部の内部構成を示すブロック図である。 不鮮明な層構造を模式的に示す図である。 Cobblestone-likeパターンを模式的に示す図である。 Cloud-likeパターンを模式的に示す図である。 液体の貯留が認められるパターンを模式的に示す図である。 統合確率マップの断面図を模式的に示す図である。 失敗領域を模式的に示す図である。 本発明の実施の形態1における超音波診断装置の動作を示すフローチャートである。 本発明の実施の形態1において創部を一定の方向に沿って走査する超音波プローブを模式的に示す図である。 本発明の実施の形態2における超音波診断装置の動作を示すフローチャートである。 本発明の実施の形態2において創部を一定の方向に沿って複数回走査する超音波プローブを模式的に示す図である。 本発明の実施の形態3における超音波診断装置の動作を示すフローチャートである。 本発明の実施の形態3において創部を2つの方向に沿って走査する超音波プローブを模式的に示す図である。 本発明の実施の形態4における超音波診断装置の動作を示す図である。 本発明の実施の形態5における超音波診断装置の動作を示す図である。 本発明の実施の形態6における超音波診断装置の動作を示す図である。 本発明の実施の形態7に係る超音波診断装置の構成を示すブロック図である。
 以下、この発明の実施の形態を添付図面に基づいて説明する。
 以下に記載する構成要件の説明は、本発明の代表的な実施態様に基づいてなされるが、本発明はそのような実施態様に限定されるものではない。
 なお、本明細書において、「~」を用いて表される数値範囲は、「~」の前後に記載される数値を下限値および上限値として含む範囲を意味する。
 本明細書において、「同一」、「同じ」は、技術分野で一般的に許容される誤差範囲を含むものとする。
実施の形態1
 図1に、本発明の実施の形態1に係る超音波診断装置1の構成を示す。超音波診断装置1は、振動子アレイ2を備えており、振動子アレイ2に、送受信回路3、画像生成部4、表示制御部5およびモニタ6が順次接続されている。振動子アレイ2と送受信回路3は、超音波プローブ21に含まれている。また、送受信回路3と画像生成部4により、画像取得部7が構成されている。画像生成部4に、画像メモリ8が接続されている。また、画像生成部4および画像メモリ8に、確率算出部9が接続されている。確率算出部9に確率マップ生成部10と所見情報算出部11が順次接続されており、確率マップ生成部10および所見情報算出部11は、表示制御部5に接続されている。また、確率算出部9および確率マップ生成部10に、失敗領域検出部12が接続されており、失敗領域検出部12は、表示制御部5に接続されている。また、超音波プローブ21に、位置センサ13が取り付けられており、位置センサ13に、走査済領域検知部14と通知部15が順次接続されている。また、位置センサ13は、画像メモリ8に接続されている。また、通知部15は、表示制御部5に接続されている。
 また、送受信回路3、画像生成部4、表示制御部5、確率算出部9、確率マップ生成部10、所見情報算出部11、失敗領域検出部12、走査済領域検知部14および通知部15に、装置制御部16が接続されている。また、装置制御部16に、入力装置17が接続されている。
 また、画像生成部4、表示制御部5、確率算出部9、確率マップ生成部10、所見情報算出部11、失敗領域検出部12、走査済領域検知部14、通知部15および装置制御部16により、超音波診断装置1用のプロセッサ22が構成されている。
 図1に示す超音波プローブ21の振動子アレイ2は、1次元または2次元に配列された複数の振動子を有している。これらの振動子は、それぞれ送受信回路3から供給される駆動信号に従って超音波を送信すると共に、被検体からの超音波エコーを受信して、超音波エコーに基づく信号を出力する。各振動子は、例えば、PZT(Lead Zirconate Titanate:チタン酸ジルコン酸鉛)に代表される圧電セラミック、PVDF(Poly Vinylidene Di Fluoride:ポリフッ化ビニリデン)に代表される高分子圧電素子およびPMN-PT(Lead Magnesium Niobate-Lead Titanate:マグネシウムニオブ酸鉛-チタン酸鉛固溶体)に代表される圧電単結晶等からなる圧電体の両端に電極を形成することにより構成される。
 送受信回路3は、装置制御部16による制御の下で、振動子アレイ2から超音波を送信し且つ振動子アレイ2により取得された受信信号に基づいて音線信号を生成する。送受信回路3は、図2に示すように、振動子アレイ2に接続されるパルサ23と、振動子アレイ2から順次直列に接続される増幅部24、AD(Analog Digital)変換部25およびビームフォーマ26を有している。
 パルサ23は、例えば、複数のパルス発生器を含んでおり、装置制御部16からの制御信号に応じて選択された送信遅延パターンに基づいて、振動子アレイ2の複数の振動子から送信される超音波が超音波ビームを形成するようにそれぞれの駆動信号を、遅延量を調節して複数の振動子に供給する。このように、振動子アレイ2の振動子の電極にパルス状または連続波状の電圧が印加されると、圧電体が伸縮し、それぞれの振動子からパルス状または連続波状の超音波が発生して、それらの超音波の合成波から、超音波ビームが形成される。
 送信された超音波ビームは、例えば、被検体の部位等の対象において反射され、超音波プローブ21の振動子アレイ2に向かって伝搬する。このように振動子アレイ2に向かって伝搬する超音波エコーは、振動子アレイ2を構成するそれぞれの振動子により受信される。この際に、振動子アレイ2を構成するそれぞれの振動子は、伝搬する超音波エコーを受信することにより伸縮して、電気信号である受信信号を発生させ、これらの受信信号を増幅部24に出力する。
 増幅部24は、振動子アレイ2を構成するそれぞれの振動子から入力された信号を増幅し、増幅した信号をAD変換部25に送信する。AD変換部25は、増幅部24から送信された信号をデジタルの受信データに変換し、これらの受信データをビームフォーマ26に送信する。ビームフォーマ26は、装置制御部16からの制御信号に応じて選択された受信遅延パターンに基づいて設定される音速または音速の分布に従い、AD変換部25により変換された各受信データに対してそれぞれの遅延を与えて加算することにより、いわゆる受信フォーカス処理を行う。この受信フォーカス処理により、AD変換部25で変換された各受信データが整相加算され且つ超音波エコーの焦点が絞り込まれた音線信号が取得される。
 画像生成部4は、図3に示されるように、信号処理部27、DSC(Digital Scan Converter:デジタルスキャンコンバータ)28および画像処理部29が順次直列に接続された構成を有している。
 信号処理部27は、送受信回路3のビームフォーマ26により生成された音線信号に対し、超音波の反射位置の深度に応じて距離による減衰の補正を施した後、包絡線検波処理を施すことにより、被検体内の組織に関する断層画像情報であるBモード画像信号を生成する。
 DSC28は、信号処理部27で生成されたBモード画像信号を通常のテレビジョン信号の走査方式に従う画像信号に変換(ラスター変換)する。
 画像処理部29は、DSC28から入力されるBモード画像信号に階調処理等の各種の必要な画像処理を施した後、Bモード画像信号を表示制御部5および画像メモリ8に出力する。以降は、画像処理部29により画像処理が施されたBモード画像信号を、単に、超音波画像と呼ぶ。
 画像メモリ8は、画像生成部4により診断毎に生成された一連の複数フレームの超音波画像を保持するメモリである。画像メモリ8としては、フラッシュメモリ、HDD(Hard Disc Drive:ハードディスクドライブ)、SSD(Solid State Drive:ソリッドステートドライブ)、FD(Flexible Disc:フレキシブルディスク)、MOディスク(Magneto-Optical disc:光磁気ディスク)、MT(Magnetic Tape:磁気テープ)、RAM(Random Access Memory:ランダムアクセスメモリ)、CD(Compact Disc:コンパクトディスク)、DVD(Digital Versatile Disc:デジタルバーサタイルディスク)、SDカード(Secure Digital card:セキュアデジタルカード)、USBメモリ(Universal Serial Bus memory:ユニバーサルシリアルバスメモリ)等の記録メディア、またはサーバ等を用いることができる。
 確率算出部9は、画像生成部4により、いわゆる褥瘡の創部を含む断層面の超音波画像が生成された場合に、画像生成部4により生成された複数フレームの超音波画像のそれぞれに対して画像認識をすることにより、創部に関わる所見の存在確率を算出する。ここで、創部とは、褥瘡が生じている箇所およびその周辺領域を指す。
 また、創部に関わる所見とは、浮腫、壊死および膿瘍等の褥瘡に関する症状に対応する被検体の組織の構造およびパターンのことを指す。所見の種類としては、例えば、図4に示す不明瞭な層構造A1、図5に示すCobblestone-like(敷石状)パターンA2、図6に示すCloud-like(雲状)パターンA3、および、図7に示すような輝度が低く液体の貯留が認められるパターンA4が挙げられる。図4に示す不明瞭な層構造A1は弱い浮腫に対応し、図5に示すCobblestone-likeパターンA2は強い浮腫に対応し、図6に示すCloud-likeパターンA3は壊死の疑いに対応し、図7に示す貯留が認められるパターンA4は膿瘍、血腫または水腫の疑いに対応する。
 また、確率算出部9は、例えば、いわゆるU-net等のディープラーニングの方法を用いて、各フレームの超音波画像の各画素に対して複数の所見の存在確率を算出することができる。この際に、例えば、1つの画素に対して、その画素が不明瞭な層構造A1に対応している確率、Cobblestone-likeパターンA2に対応している確率、Cloud-likeパターンA3に対応している確率、および、液体の貯留が認められるパターンA4に対応している確率を、それぞれ算出する。
 超音波プローブ21に取り付けられた位置センサ13は、超音波プローブ21の位置情報を取得する。位置センサ13は、例えば、いわゆる加速度センサおよびジャイロセンサ等により構成されることができる。
 確率マップ生成部10は、位置センサ13により取得された超音波プローブ21の位置情報と、確率算出部9により算出された複数の所見の存在確率に基づいて、各所見の3次元的な存在分布を表す確率マップを生成する。
 確率マップ生成部10は、例えば、位置センサ13により取得された超音波プローブ21の位置情報に基づいて、複数の所見毎に、確率算出部9により算出された各所見の存在確率を3次元的にプロットすることにより、各所見の存在確率を可視化して、各所見の3次元的な確率マップを生成することができる。
 ここで、各所見の3次元的な確率マップとは、図4に示す不明瞭な層構造A1の3次元的な存在確率の分布を表す情報、図5に示すCobblestone-likeパターンA2の3次元的な存在確率の分布を表す情報、図6に示すCloud-likeパターンA3の3次元的な存在確率の分布を表す情報、および、図7に示す液体の貯留が認められるパターンA4の存在確率の分布を表す情報等、3次元的に配置された各画素に対してそれぞれの所見の存在確率がプロットされたものであり、各所見毎の3次元的な存在確率の分布を表すものである。
 また、確率マップ生成部10は、生成された複数の所見の3次元的な確率マップを統合することにより、例えば図8に示すような断面を有する統合確率マップを生成する。図8に例示する統合確率マップは、不明瞭な層構造A1に対応する領域R1と、Cobblestone-likeパターンA2に対応する領域R2と、Cloud-likeパターンA3に対応する領域R3と、液体の貯留が認められるパターンA4に対応する領域R4と、いずれの所見にも該当しない背景領域R5を有している。
 確率マップ生成部10は、各所見の確率マップを統合する際に、各画素にプロットされた各所見の存在確率の値に基づいて、各画素にそれぞれ1つの所見を割り当てる。例えば、1つの画素が、不明瞭な層構造A1の存在確率、Cobblestone-likeパターンA2の存在確率、Cloud-likeパターンA3の存在確率、および、液体の貯留が認められるパターンA4の存在確率の4つの存在確率を有している場合に、確率マップ生成部10は、これらの4つの存在確率のうち最も大きい存在確率に対応する所見を1つの画素に割り当てることができる。
 また、確率マップ生成部10は、得られた統合確率マップをモニタ6に表示する。確率マップ生成部10は、例えば、複数の所見に対応する領域R1~R4を、それぞれ色分けして表示することができる。
 所見情報算出部11は、複数の所見のそれぞれの3次元的な確率マップまたは複数の所見が統合された3次元的な統合確率マップに基づいて、所見の大きさ、深さおよび体積のうち少なくとも1つを含む所見情報を算出する。所見情報算出部11は、例えば、被検体の体表面からの深さ方向をZ方向、Z方向に対して直交する方向をX方向、X方向およびZ方向に対して直交する方向をY方向として、各所見が占める領域の、X方向における最大幅、Y方向における最大幅およびZ方向における最大幅を、その所見の大きさとして算出することができる。また、所見情報算出部11は、例えば、被検体の体表面から各所見の最浅部までの距離または被検体の体表面から各所見の最深部までの距離を所見の深さとして算出することができる。所見情報算出部11は、このようにして算出された所見情報をモニタ6に表示することができる。
 失敗領域検出部12は、確率マップ生成部10により生成された各所見の3次元的な確率マップまたは複数の所見が統合された3次元的な統合確率マップを解析することにより、正常に確率マップの生成がなされていない3次元的な失敗領域を検出し、検出された失敗領域を統合確率マップに重畳してモニタ6に表示する。
 例えば、超音波プローブ21が被検体の体表面から離れて、被検体の断層面を表す超音波画像が取得されないことにより、図9に示すように、3次元的な確率マップMにおいて、複数の所見のいずれかに対応する領域Tを深さ方向に貫くように位置する空洞領域Fが生じた場合に、失敗領域検出部12は、この空洞領域Fを失敗領域として検出することができる。
 また、例えば、確率算出部9が、複数の所見に該当しない背景領域R5の存在確率を算出する場合に、失敗領域検出部12は、複数の所見のいずれかに対応する領域に囲まれ且つ背景領域R5として検出された領域を失敗領域して検出することができる。
 走査済領域検知部14は、ユーザが被検体の創部に対して走査を行う際に、位置センサ13により取得された超音波プローブ21の位置情報に基づいて、同一の被検体に対する同一の検査において、既に走査された領域であることを検知する。走査済領域検知部14は、例えば、同一の検査における超音波プローブ21の位置情報を記憶し、既に記憶された超音波プローブ21の位置情報と、位置センサ13により新たに得られた超音波プローブ21の位置情報とを照合し、両者が一致した場合に、超音波プローブ21が現在走査している領域が既に走査された領域であることを検知する。
 通知部15は、走査済領域検知部14により、超音波プローブ21が現在走査している領域が、既に走査された領域であることが検知された場合に、ユーザにその旨を通知する。通知部15は、例えば、超音波プローブ21が現在走査している領域が既に走査された領域である旨のメッセージをモニタ6に表示することにより、ユーザに通知することができる。
 装置制御部16は、予め記憶している制御プログラム等に基づいて、超音波診断装置1の各部の制御を行う。
 入力装置17は、ユーザが入力操作を行うためのものであり、キーボード、マウス、トラックボール、タッチパッドおよびタッチパネル等を備えて構成することができる。
 表示制御部5は、装置制御部16の制御の下、画像メモリ8に保持されているフレームの超音波画像、確率マップ生成部10により生成された各所見の3次元的な確率マップ、所見情報算出部11により算出された所見情報、失敗領域検出部12により検出された失敗領域、および、通知部15によるユーザへの通知を表す情報に対して所定の処理を施して、それらをモニタ6に表示する。
 モニタ6は、表示制御部5による制御の下、種々の表示を行う。モニタ6は、例えば、LCD(Liquid Crystal Display:液晶ディスプレイ)、有機ELディスプレイ(Organic Electroluminescence Display)等のディスプレイ装置を含む。
 なお、画像生成部4、表示制御部5、確率算出部9、確率マップ生成部10、所見情報算出部11、失敗領域検出部12、走査済領域検知部14、通知部15および装置制御部16を有するプロセッサ22は、CPU(Central Processing Unit:中央処理装置)、および、CPUに各種の処理を行わせるための制御プログラムから構成されるが、FPGA(Field Programmable Gate Array:フィードプログラマブルゲートアレイ)、DSP(Digital Signal Processor:デジタルシグナルプロセッサ)、ASIC(Application Specific Integrated Circuit:アプリケーションスペシフィックインテグレイテッドサーキット)、GPU(Graphics Processing Unit:グラフィックスプロセッシングユニット)、その他のIC(Integrated Circuit:集積回路)を用いて構成されてもよく、もしくはそれらを組み合わせて構成されてもよい。
 また、プロセッサ22の画像生成部4、表示制御部5、確率算出部9、確率マップ生成部10、所見情報算出部11、失敗領域検出部12、走査済領域検知部14、通知部15および装置制御部16は、部分的にあるいは全体的に1つのCPU等に統合させて構成されることもできる。
 以下では、図10に示すフローチャートを用いて、実施の形態1の超音波診断装置1の基本的な動作を詳細に説明する。
 まず、ステップS1において、創部の超音波画像を撮影するために、ユーザにより、被検体の体表面上に超音波プローブ21が配置される。この状態において、ユーザは、入力装置17を介して超音波画像の撮影を開始する指示を行う。ユーザによる指示が受け付けられると、超音波画像の撮影が開始される。
 ステップS2において、送受信回路3のパルサ23からの駆動信号に従って振動子アレイ2の複数の振動子から被検体内に超音波ビームが送信され、被検体からの超音波エコーを受信した各振動子から受信信号が送受信回路3の増幅部24に出力される。受信信号は、増幅部24で増幅され、AD変換部25でAD変換された後、ビームフォーマ26で整相加算されて、音線信号が生成される。この音線信号は、画像生成部4において、信号処理部27で包絡線検波処理が施されることでBモード画像信号となり、DSC28および画像処理部29を経て表示制御部5に出力され、表示制御部5の制御の下で超音波画像がモニタ6に表示される。
 このようにして複数フレームの超音波画像の撮影と表示が行われている状態において、ユーザは、図11に模式的に示すように、超音波プローブ21を一定の方向に沿って1回だけ平行移動する。これにより、創部Jの複数フレームの超音波画像が取得される。取得された複数フレームの超音波画像は、画像メモリ8に保持される。
 また、超音波プローブ21がユーザにより平行移動されながら、位置センサ13により、超音波プローブ21の位置情報が、随時、取得される。取得された位置情報は、同一のタイミングで取得されたフレームの超音波画像と対応付けられて、その超音波画像と共に画像メモリ8に保持される。
 このようにして創部Jの複数フレームの超音波画像が取得され、画像メモリ8に保持された後に、例えばユーザにより入力装置17を介して走査を終了する指示がなされると、走査が終了する。
 ステップS3において、確率算出部9は、画像メモリ8に保持された複数フレームの超音波画像に対して画像認識を行うことにより、創部Jに関わる所見の存在確率を算出する。確率算出部9は、例えば、いわゆるU-net等のディープラーニングの方法を用いて、複数フレームの超音波画像の各画素に対して複数の所見の存在確率を算出することができる。これにより、複数フレームの超音波画像の各画素は、例えば図4~図7に示すように、その画素が不明瞭な層構造A1に対応している確率、Cobblestone-likeパターンA2に対応している確率、Cloud-likeパターンA3に対応している確率、液体の貯留が認められるパターンA4に対応している確率等、複数の所見の存在確率を有する。
 ステップS4において、確率マップ生成部10は、位置センサ13により取得された超音波プローブ21の位置情報と、確率算出部9により算出された複数の所見の存在確率に基づいて、各所見の3次元的な確率マップを生成する。
 この際に、確率マップ生成部10は、複数フレームの超音波画像と共に保持されている超音波プローブ21の位置情報に基づいて3次元的に配置された各画素に対して、複数の所見毎に、ステップS3で得られた存在確率をプロットして、各所見の存在確率を可視化することにより、各所見の3次元的な確率マップを生成することができる。
 続くステップS5において、確率マップ生成部10は、ステップS4で生成された各所見の3次元的な確率マップを統合して、3次元的な統合確率マップを生成する。この際に、確率マップ生成部10は、ステップS4で各画素にプロットされた各所見の存在確率の値に基づいて、各画素にそれぞれ1つの所見を割り当てる。例えば、1つの画素が、不明瞭な層構造A1の存在確率、Cobblestone-likeパターンA2の存在確率、Cloud-likeパターンA3の存在確率、および、液体の貯留が認められるパターンA4の存在確率の4つの存在確率を有している場合に、確率マップ生成部10は、これらの4つの存在確率のうち最も大きい存在確率に対応する所見を1つの画素に割り当てることができる。
 これにより、例えば、図8に示すような断面を有する3次元的な統合確率マップが得られる。図8に例示する統合確率マップは、不明瞭な層構造A1、Cobblestone-likeパターンA2、Cloud-likeパターンA3および液体の貯留が認められるパターンA4の4つの所見に対応する領域R1~R4と、いずれの所見にも該当しない背景領域R5を有している。
 最後に、ステップS6において、確率マップ生成部10は、ステップS5で得られた統合確率マップをモニタ6に表示する。この際に、確率マップ生成部10は、例えば、ユーザが各所見の存在分布を確認しやすいように、複数の所見に対応する領域R1~R4を、それぞれ色分けしてモニタ6に表示することができる。
 ところで、一般的に、褥瘡は、被検体内において3次元的な広がりを有しており、また、症状の進行が異なる複数の所見を有することがあり、検査者が被検体の体表面を確認するだけでは、褥瘡がどの程度広がって分布しているかを判断することが難しい場合があった。そこで、被検体の内部を観察するために、従来の超音波診断装置を用いて褥瘡の観察が行われることがあったが、褥瘡自体が大きい場合、超音波プローブを接触させる領域において骨が突出していることにより超音波プローブを被検体の体表面上に正常に接触できない場合等により、ユーザが褥瘡の所見の種類および褥瘡の3次元的な広がりを精確に把握することが困難なことがあった。
 本発明の実施の形態1に係る超音波診断装置1によれば、褥瘡の複数の所見の3次元的な確率マップが生成され、生成された確率マップがモニタ6に表示されるため、ユーザが褥瘡の所見の種類およびその3次元的な分布を容易に精確に把握することができる。
 なお、所見の例として、不明瞭な層構造A1、Cobblestone-likeパターンA2、Cloud-likeパターンA3および液体の貯留が認められるパターンA4の4つの所見が挙げられているが、確率マップ生成部10により3次元的な確率マップが生成される所見は、これらの4つの所見に限定されない。例えば、5つ以上の複数の所見に関する確率マップが生成されることもできる。
 また、ステップS3において、ディープラーニングの方法を用いて複数の所見の存在確率を算出することが説明されているが、例えば、確率算出部9は、いわゆるテンプレートマッチングの方法、SVM(Support vector machine:サポートベクターマシン)およびadaboost(アダブースト)等を用いた機械学習手法、Csurka et al.: Visual Categorization with Bags of Keypoints, Proc. of ECCV Workshop on Statistical Learning in Computer Vision, pp.59-74 (2004)に記載されている機械学習手法等を用いて複数の所見の存在確率を算出することができる。
 また、ステップS5において、複数フレームの超音波画像の各画素に対して1つの所見が割り当てられる際に、1つの画素が有する複数の所見の存在確率のうち最も大きい存在確率を有する所見がその画素に割り当てられているが、画素に所見を割り当てる方法は、これに限定されない。例えば、確率マップ生成部10は、複数の所見の存在確率に対して確率しきい値を有しており、1つの画素が有する複数の所見の存在確率のうち、確率しきい値以上で且つ最大の存在確率を有する所見を、その画素に割り当てることができる。すべての所見の存在確率が確率しきい値未満となった場合には、確率マップ生成部10は、例えば、その画素がいずれの所見にも該当しない背景領域R5に属すると判断することができる。このようにして、各画素に所見を割り当てる際に確率しきい値が用いられることで、より精確な所見を各画素に割り当てることができる。
 また、ステップS6において、統合確率マップがモニタ6に表示されるが、さらに、ステップS5で生成された各所見の個別の確率マップが表示されてもよい。例えば、統合確率マップと、各所見の個別の確率マップとが、自動的に、モニタ6に一緒に表示されることができる。また、例えば、統合確率マップと、各所見の個別の確率マップの表示を、ユーザが入力装置17を介して切り換えることにより、別々に表示することもできる。これにより、ユーザが複数の所見の種類およびその存在分布を、さらに容易に且つ精確に把握することができる。
 また、ステップS6において統合確率マップまたは各所見の個別の確率マップがモニタ6に表示される際に、統合確率マップまたは各所見の個別の確率マップに含まれる各画素を、その確率が大きいほど濃い色で表示することができる。これにより、ユーザは、複数の画素に割り当てられたそれぞれの所見の存在確率を容易に確認して、統合確率マップまたは各所見の個別の確率マップにおいて割り当てられた所見の確からしさについても把握することができる。
 また、ステップS6において統合確率マップまたは各所見の個別の確率マップをモニタ6に表示する際に、所見情報算出部11により算出された所見情報を表示することもできる。これにより、ユーザは、モニタ6に表示された各所見についてより詳細な情報を確認することができ、より精確に褥瘡の診断を行うことが可能である。
 また、ステップS6において統合確率マップまたは各所見の個別の確率マップをモニタ6に表示する際に、失敗領域検出部12により検出された失敗領域をモニタ6に表示することもできる。これにより、ユーザは、超音波プローブ21が被検体の体表面から離れてしまった箇所がある等、何らかの理由で超音波画像の撮影が正常に行われなかったことを把握して、再検査等を行うことができる。
 また、ステップS6でユーザが統合確率マップまたは各所見の個別の確率マップを確認して、ステップS2で超音波プローブ21が走査された箇所とは異なる箇所を追加で走査する必要があるとユーザが判断した場合等に、入力装置17を介したユーザの指示により、ステップS1~ステップS6の処理が、再度、行われることもできる。この場合に、ステップS4において、各所見に関する新たな確率マップが生成されるが、例えば、既に生成されている各所見の確率マップおよび統合確率マップと組み合わされることができる。これにより、各所見の確率マップおよび統合確率マップの精度を向上させることができる。
実施の形態2
 実施の形態1では、超音波プローブ21を一定の方向に1回だけ平行移動しながら走査することにより、複数フレームの超音波画像が取得されているが、例えば創部Jが大きく1回の走査では十分な範囲の超音波画像を取得することができない場合等に、超音波プローブ21を同一方向に複数回、平行移動しながら走査してもよい。
 以下に、図12に示すフローチャートを参照しながら、実施の形態2における超音波診断装置1の動作を説明する。図12のフローチャートは、図10に示す実施の形態1におけるフローチャートにおいて、ステップS2とステップS3との間にステップS7が追加されたものである。
 ステップS1において、図13に示すように、ユーザにより超音波プローブ21が被検体の体表面上の位置P1に配置された状態で、超音波画像の撮影が開始される。
 続くステップS2において、ユーザにより、超音波プローブ21が一定の方向に沿って平行移動されながら走査されて、複数フレームの超音波画像が取得される。また、この際に、位置センサ13により、超音波プローブ21の位置情報が、随時、取得される。このようにして複数フレームの超音波画像が取得されると、ステップS7に進む。
 ステップS7において、装置制御部16により、ステップS2で超音波プローブ21が平行移動された方向と同一方向の走査を追加するか否かの判定がなされる。例えば、ユーザが入力装置17を介して同一方向の走査を追加する指示を行った場合に、装置制御部16により、同一方向の走査が追加されると判定され、ステップS2に戻る。
 ステップS2において、ユーザは、例えば、超音波プローブ21を位置P1とは異なる位置P2に配置し、前回のステップS2で超音波プローブ21が平行移動された方向と同一の方向に平行移動しながら超音波プローブ21を走査する。これにより、複数フレームの超音波画像が新たに取得され、位置センサ13により超音波プローブ21の位置情報が新たに取得されると、ステップS7に進む。
 このようにして、ステップS7において、同一方向の走査を追加しないと判定されるまでステップS2およびステップS7が繰り返される。これにより、例えば、複数の位置P1~P3から同一方向に沿って超音波プローブ21の走査が行われる。
 ステップS7において、例えば、入力装置17を介してユーザにより、同一方向の走査を追加しない指示がなされると、装置制御部16により、同一方向の走査を追加しないと判定され、ステップS3に進む。
 ステップS3において、確率算出部9により、ステップS2およびステップS7の繰り返しにより取得された複数フレームの超音波画像に対して画像認識が行われ、複数フレームの超音波画像毎に各所見の存在確率が算出される。
 ステップS4において、ステップS2およびステップS7の繰り返しにより取得された超音波プローブ21の位置情報と、ステップS3で算出された各所見の存在確率に基づいて各所見の3次元的な確率マップが生成される。
 続くステップS5において、ステップS4で生成された各所見の3次元的な確率マップが統合されることにより、統合確率マップが生成され、ステップS6において、モニタ6に統合確率マップが生成される。
 以上から、実施の形態2によれば、同一方向に沿って複数回の走査が可能なため、例えば創部Jが大きく1回の走査では十分な範囲の超音波画像を取得することができない場合でも、創部J全体に対応する統合確率マップを取得でき、統合確率マップの精度を向上することができる。また、例えば同一の位置P1から同一方向に沿って超音波プローブ21の走査が行われた場合には、複数回の走査のうちいずれかの走査が何らかの理由で正常に行われなかった場合でも、統合確率マップの精度を向上することができる。
実施の形態3
 実施の形態2では、同一方向に沿って複数回の超音波プローブ21の走査が行われているが、別方向に沿って超音波プローブ21の走査が行われてもよい。
 図14に、実施の形態3における超音波診断装置1の動作を表すフローチャートを示す。このフローチャートは、図12に示す実施の形態2におけるフローチャートにおいて、ステップS7とステップS3の間にステップS8が追加されたものである。
 ステップS1において、超音波画像の撮影が開始される。続いて、ステップS2およびステップS7の繰り返しにより、例えば、図15に示すように、位置P1~P3から、それぞれ、第1方向D1に沿って超音波プローブ21の走査が行われた後で、装置制御部16により、第1方向D1と同一方向の走査を追加しないと判定された場合に、ステップS8に進む。
 ステップS8において、装置制御部16により、第1方向D1とは別方向の走査を追加するか否かが判定される。例えば、入力装置17を介してユーザにより、第1方向D1とは別方向の走査を追加する指示がなされた場合に、装置制御部16により、別方向の走査を追加すると判定され、ステップS2に進む。
 ステップS2において、ユーザにより、位置P1~P3とは異なる位置P4に超音波プローブ21が配置され、第1方向D1とは異なる第2方向D2に沿って超音波プローブ21が平行移動されながら、超音波プローブ21の走査が行われる。この際に、位置センサ13により超音波プローブ21の位置情報が新たに取得されると共に、複数フレームの超音波画像が新たに取得される。
 続くステップS7において、装置制御部16により、直前のステップS2で超音波プローブ21が平行移動された第2方向D2と同一の方向に走査を追加するか否かの判定がなされる。第2方向D2と同一の方向の走査を追加すると判定された場合に、ステップS2に戻り、例えば、超音波プローブ21が位置P4とは異なる位置P5に配置され、第2方向D2に沿って平行移動されながら、超音波プローブ21の走査が行われる。これにより、超音波プローブ21の位置情報と、複数フレームの超音波画像が新たに取得されると、ステップS7に進む。
 このようにして、ステップS2およびステップS7が繰り返されることにより、例えば、複数の位置P4~P6から第2方向D2に沿って超音波プローブ21の走査が行われる。その後、ステップS7において、第2方向D2と同一方向の走査を追加しないと判定された場合に、ステップS8に進む。
 ステップS8において、第2方向D2とは別方向の走査を追加するか否かが判定される。ここで、第2方向D2とは別方向の走査を追加すると判定された場合に、ステップS2に戻り、第2方向D2とは別方向の走査が行われる。また、第2方向D2とは別方向の走査を追加しないと判定された場合に、ステップS3に進む。
 ステップS3において、ステップS2、ステップS7およびステップS8の繰り返しにより取得された複数フレームの超音波画像に対して画像認識がなされ、複数フレームの超音波画像毎に各所見の存在確率が算出される。
 ステップS4において、ステップS2、ステップS7およびステップS8の繰り返しにより取得された超音波プローブ21の位置情報と、ステップS3で算出された各所見の存在確率に基づいて、各所見の3次元的な確率マップが生成される。
 続くステップS5において、ステップS4で生成された各所見の3次元的な確率マップが統合されることにより、統合確率マップが生成され、ステップS6において、モニタ6に統合確率マップが生成される。
 以上から、実施の形態3によれば、複数の方向に沿って複数回の走査が可能なため、例えば創部Jが大きく1回の走査では十分な範囲の超音波画像を取得することができない場合でも、創部J全体に対応する統合確率マップを取得でき、統合確率マップの精度を向上することができる。
 なお、複数の方向に沿って超音波プローブ21の走査が行われる場合に、一部の領域が重複して走査される。このように重複して走査された領域では、各所見の存在確率が複数回算出されるため、各所見の存在確率の信頼性が、他の領域よりも高いと考えられる。そのため、ユーザが各所見の存在確率の信頼度を容易に把握できるように、確率マップ生成部10は、例えば、重複して走査された領域ほど色を濃くした各所見の確率マップおよび統合確率マップを生成することができる。また、確率マップ生成部10は、重複して走査された領域ほど密度を高くした各所見の確率マップおよび統合確率マップを生成することもできる。
実施の形態4
 実施の形態2および実施の形態3では、同一方向または別方向に沿って超音波プローブ21の複数回の走査がなされるが、現在、超音波プローブ21が走査している領域が既に走査された領域である場合に、その旨をユーザに報知することができる。
 以下に、図16のフローチャートを用いて実施の形態4における超音波診断装置1の動作を説明する。このフローチャートは、図14に示す実施の形態3のフローチャートにおいて、ステップS2の代わりに、ステップS9~ステップS12が追加されたものである。
 まず、ステップS1において超音波画像の撮影が開始されると、ステップS9に進む。
 ステップS9において、超音波プローブ21の走査が開始される。これにより、ユーザは、超音波プローブ21を一定の方向に沿って平行移動しながら走査し始める。この際に、位置センサ13により、超音波プローブ21の位置情報が取得され、取得された位置情報は、同一のタイミングで取得されたフレームの超音波画像と対応付けられて画像メモリ8に保持される。
 ステップS10において、走査済領域検知部14は、位置センサ13により取得された超音波プローブ21の位置情報に基づいて、現在、超音波プローブ21が走査している領域が既に走査された領域か否かを検知する処理を行う。例えば、走査済領域検知部14は、同一の検査において既に取得された超音波プローブ21の位置情報と、新たに取得された位置情報とを照合し、両者が一致した場合に、超音波プローブ21が現在走査している領域が既に走査された領域であることを検知することができる。
 現在は1回目の走査であるため、超音波プローブ21が走査している領域は既に走査された領域ではないと判断されて、ステップS12に進む。
 ステップS12において、例えば、入力装置17を介してユーザにより超音波プローブ21の走査を終了する指示がなされた場合に、超音波プローブ21の走査が終了する。
 続くステップS7において、装置制御部16により、ステップS9とステップS12の間で超音波プローブ21が平行移動された方向と同一の方向の走査を追加するか否かが判定される。ここで、同一の方向の走査を追加すると判定された場合に、ステップS9に戻る。
 ステップS9において、1回目のステップS9で超音波プローブ21が平行移動される方向と同一の方向に沿って超音波プローブ21が移動されながら、超音波プローブ21の走査が開始される。
 続くステップS10において、1回目の走査で取得された超音波プローブ21の位置情報と、現在の走査において新たに取得された超音波プローブ21の位置情報が照合され、両者が一致した場合に、現在、超音波プローブ21が走査している領域が既に走査された領域であると判断されて、ステップS11に進む。
 ステップS11において、通知部15は、現在、超音波プローブ21が走査している領域が既に走査された領域であることをユーザに通知する。図示しないが、通知部15は、モニタ6にメッセージを表示することにより、ユーザへの通知を行うことができる。このようにしてステップS11の処理が完了すると、ステップS12に進み、超音波プローブ21の走査が終了する。
 続くステップS7、ステップS8、ステップS3~ステップS6については、実施の形態1~実施の形態3におけるステップS3~ステップS6と同様であるため、説明を省略する。
 以上から、実施の形態4では、現在、超音波プローブ21が走査している領域が既に走査された領域であるか否かが検知され、超音波プローブ21が走査している領域が既に走査された領域である場合に、ユーザへの通知が行われるため、ユーザは、例えば、意図せず同じ箇所を走査することを防止することができる。
 なお、ステップS11において、通知部15は、モニタ6にメッセージを表示することにより、ユーザへの通知を行っているが、ユーザへの通知の方法は、これに限定されない。例えば、超音波診断装置1がスピーカを備えている場合に、通知部15は、スピーカから音声を発することにより、ユーザへの通知を行うことができる。また、例えば、超音波診断装置1がランプを備えている場合に、通知部15は、ランプから光を発することにより、ユーザへの通知を行うことができる。また、例えば、超音波プローブ21を振動させるためのモータ等が超音波プローブ21に取り付けられている場合に、通知部15は、超音波プローブ21を振動させることにより、ユーザへの通知を行うことができる。
実施の形態5
 実施の形態4において、通知部15は、例えばメッセージをモニタ6に表示することにより、ユーザへの通知を行っているが、例えば、確率マップ生成部10と接続されることにより、既に走査された領域において生成された確率マップをモニタ6に表示することで、ユーザへの通知を行うこともできる。この場合に、超音波診断装置1は、例えば、図17に示すフローチャートに従って動作を行うことができる。
 図17のフローチャートは、図16のフローチャートにおいて、ステップS9とステップS12の間で、ステップS10およびステップS11が処理される代わりに、ステップS3、ステップS10、ステップS13およびステップS14が処理されるものである。
 ステップS9において超音波プローブ21の走査が開始されると、ステップS3とステップS10が並行して処理される。
 ステップS3において、確率算出部9は、超音波プローブ21が走査されることにより超音波画像が取得される毎に、随時、取得されたフレームの超音波画像に対して画像認識を行って各所見の存在確率を算出する。
 続くステップS13において、ステップS3で算出された各所見の存在確率に基づいて、それぞれの超音波画像毎に、各所見の2次元的な存在分布を生成する。
 また、ステップS10において、走査済領域検知部14は、現在、超音波プローブ21が走査している領域が既に走査された領域か否かを検知する処理を行う。現在は、1回目の走査であるため、超音波プローブ21が走査している領域が既に走査された領域ではないと判断される。
 このようにして、ステップS13において各所見の2次元的な存在分布が生成され、ステップS10において、超音波プローブ21が走査している領域が既に走査された領域ではないと判断された場合に、ステップS12に進む。
 ステップS12において、超音波プローブ21の走査が終了する。これにより、ステップS7に進む。
 ステップS7において、ステップS9とステップS12の間で超音波プローブ21が平行移動された方向と同一の方向の走査が追加するか否かが判定される。同一の方向の走査が追加されると判定された場合に、ステップS9に戻る。
 ステップS9において超音波プローブ21の走査が、再度、開始されると、1回目の走査と同様にして、ステップS3およびステップS13が処理される。
 また、ステップS10においては、現在、超音波プローブ21が走査している領域が1回目の走査で既に走査された領域か否かが判定される。超音波プローブ21が走査している領域が1回目の走査で既に走査された領域と判定された場合に、ステップS14に進む。
 ステップS14において、通知部15は、ステップS10で判定された領域に対応する、1回目の走査のステップS13で生成された各所見の2次元的な存在分布を、対応するフレームの超音波画像に重畳してモニタ6に表示することにより、ユーザへの通知を行う。
 これにより、ユーザは、現在、超音波プローブ21が走査している領域が既に走査された領域であることを把握することができるため、例えば、意図せず同じ箇所を走査することを防止することができる。
 このようにして、ステップS13とステップS14の処理が完了すると、ステップS12に進む。以降のステップS12、ステップS7、ステップS8、ステップS4~ステップS6については、図16のフローチャートを用いて説明されている内容と同様であるため、説明を省略する。
 以上から、実施の形態5によれば、ステップS3における画像認識と、ステップS10における、超音波プローブ21が走査している領域が既に走査された領域か否かの判定とが並列に行われる場合でも、実施の形態4と同様にして、ユーザは、例えば、意図せず同じ箇所を走査することを防止することができる。
実施の形態6
 実施の形態1~実施の形態5では、すべての超音波画像の取得が終了した後に、各所見の3次元的な確率マップが生成されているが、1つの走査が終了する毎に各所見の確率マップが生成されてもよい。
 図18に、実施の形態6における超音波診断装置1の動作を表すフローチャートを示す。このフローチャートは、図14に示す実施の形態3のフローチャートにおいて、ステップS2とステップS7との間にステップS3とステップS4の位置を移動し、さらに、ステップS4の直後にステップS15を追加したものである。
 ステップS1において超音波画像の撮影が開始されると、ステップS2に進む。
 ステップS2において、例えば図15に示すように、ユーザにより、超音波プローブ21が位置P1に配置された状態から、第1方向D1に沿って平行移動されながら走査され、複数フレームの超音波画像が取得される。また、この際に、位置センサ13により、超音波プローブ21の位置情報が、随時、取得される。
 続くステップS3において、確率算出部9により、ステップS2で取得された複数フレームの超音波画像に対して画像認識が行われ、各フレームの超音波画像毎に各所見の存在確率が算出される。
 ステップS4において、確率マップ生成部10により、ステップS2で取得された超音波プローブ21の位置情報と、ステップS3で算出された各所見の存在確率に基づいて、各所見の3次元的な確率マップが生成される。
 続くステップS15において、確率マップ生成部10は、直前のステップS4より以前に、各所見の3次元的な確率マップが既に生成されている場合に、各所見毎に、直前のステップS4で生成された確率マップを、既存の確率マップに統合する処理が行われる。現在は、1回の走査のみ行われており、既存の確率マップは存在しないため、直前のステップS4で生成された各所見の確率マップは、他の確率マップには統合されない。
 このようにしてステップS15の処理が完了すると、ステップS7に進む。
 ステップS7において、第1方向D1と同一方向に沿って超音波プローブ21を走査するか否かが判定される。同一方向の走査を追加すると判定された場合には、ステップS2に戻る。
 ステップS2において、例えば、1回目のステップS2における位置P1とは異なる位置P2から、第1方向D1に沿って超音波プローブ21の走査が行われる。これにより、複数フレームの超音波画像が新たに取得されると共に、超音波プローブ21の位置情報も新たに取得される。
 続くステップS3において、2回目のステップS2で得られた複数フレームの超音波画像に対して画像認識が行われ、各所見の存在確率が算出される。
 さらに、ステップS4において、2回目のステップS2で取得された超音波プローブ21の位置情報と、2回目のステップS3で得られた各所見の存在確率に基づいて、各所見の3次元的な確率マップが新たに生成される。
 続くステップS15において、確率マップ生成部10は、1回目のステップS4で生成された各所見の確率マップと、2回目のステップS4で生成された各所見の確率マップを、所見毎に統合する。これにより、1回目のステップS4で生成された各所見の確率マップよりも精度の高い各所見の確率マップが得られる。
 このようにして、ステップS2~ステップS4、ステップS15およびステップS7が繰り返されることにより、各所見毎に、第1方向D1に沿う複数の走査で得られた確率マップが統合される。ステップS7において、第1方向D1と同一方向の走査を追加しないと判定された場合には、ステップS8に進む。
 ステップS8において、第1方向D1とは別方向の走査を追加するか否かが判定される。ここで、第1方向D1とは別方向の走査を追加すると判定された場合には、ステップS2に戻る。
 ステップS2において、ユーザにより、例えば図15に示すように、位置P4に超音波プローブ21が配置された状態から、第1方向D1とは異なる第2方向D2に沿って超音波プローブ21の走査が行われる。これにより、複数フレームの超音波画像が新たに取得されると共に、超音波プローブ21の位置情報が新たに取得される。
 続くステップS3において、ステップS2で新たに取得された複数フレームの超音波画像に対して画像認識が行われることにより、各所見の存在確率が算出される。
 ステップS4において、ステップS2で新たに取得された超音波プローブ21の位置情報と、ステップS3で新たに算出された各所見の存在確率に基づいて、各所見の3次元的な存在確率が新たに生成される。
 続くステップS15において、各所見毎に、ステップS4で新たに生成された確率マップが、第1方向D1に沿った超音波プローブ21の走査の結果として得られた既存の確率マップと統合される。このようにしてステップS15の処理が完了すると、ステップS7に進む。
 ステップS7において、第2方向D2と同一方向の走査を追加するか否かが判定され、第2方向D2と同一方向の走査を追加すると判定された場合に、ステップS2に戻り、第2方向D2と同一方向の走査を追加しないと判定された場合には、ステップS8に進む。
 このようにして、ステップS2~ステップS4、ステップS15、ステップS7およびステップS8が繰り返されることにより、各所見毎に、新たに生成された確率マップが既存の確率マップに統合される。
 ステップS8において、別方向の走査を追加しないと判定された場合に、ステップS5に進む。
 ステップS5において、ステップS2~ステップS4、ステップS15、ステップS7およびステップS8の繰り返しにより得られた各所見の3次元的な確率マップが統合されて、統合確率マップが生成される。
 続くステップS6において、ステップS5で生成された統合確率マップがモニタ6に表示される。
 これにより、実施の形態6における超音波診断装置1の動作が終了する。
 以上のように、超音波プローブ21の走査毎に、各所見の3次元的な確率マップが生成される場合でも、複数の所見の3次元的な確率マップが統合されて統合確率マップが生成され、生成された統合確率マップがモニタ6に表示されるため、実施の形態1と同様に、ユーザが褥瘡の所見の種類およびその3次元的な分布を容易に精確に把握することができる。
実施の形態7
 実施の形態1の超音波診断装置1は、モニタ6、入力装置17および超音波プローブ21がプロセッサ22に直接的に接続される構成を有しているが、例えば、モニタ6、入力装置17、超音波プローブ21およびプロセッサ22がネットワークを介して間接的に接続されることもできる。
 図19に示すように、実施の形態7の超音波診断装置1Aは、モニタ6、入力装置17および超音波プローブ21がネットワークNWを介して超音波診断装置本体31に接続されたものである。超音波診断装置本体31は、図1に示す実施の形態1の超音波診断装置1において、モニタ6、入力装置17および超音波プローブ21を除いたものであり、画像メモリ8およびプロセッサ22Aにより構成されている。
 超音波診断装置1Aがこのような構成を有している場合でも、実施の形態1の超音波診断装置1と同様に、取得された複数フレームの超音波画像が画像認識されることにより各所見の存在確率が算出され、各所見の存在確率と、位置センサ13により取得された超音波プローブ21の位置情報とから各所見の3次元的な確率マップが生成され、さらに、複数の所見の確率マップが統合されることにより、3次元的な統合確率マップが生成され、この統合確率マップがモニタ6に表示される。そのため、実施の形態7の超音波診断装置1Aによれば、実施の形態1の超音波診断装置1と同様に、ユーザが褥瘡の所見の種類およびその3次元的な分布を容易に精確に把握することができる。
 また、モニタ6、入力装置17および超音波プローブ21がネットワークNWを介して超音波診断装置本体31と接続されているため、超音波診断装置本体31を、いわゆる遠隔サーバとして使用することができる。これにより、例えば、ユーザは、モニタ6、入力装置17および超音波プローブ21をユーザの手元に用意することにより、被検体の診断を行うことができるため、超音波診断の際の利便性を向上させることができる。
 また、例えば、いわゆるタブレットと呼ばれる携帯型の薄型コンピュータがモニタ6および入力装置17として使用される場合には、ユーザは、より容易に尿量計測を行うことができ、尿量計測の利便性をさらに向上させることができる。
 なお、モニタ6、入力装置17および超音波プローブ21がネットワークNWを介して超音波診断装置本体31に接続されているが、この際に、モニタ6、入力装置17および超音波プローブ21は、ネットワークNWに有線接続されていてもよく、無線接続されていてもよい。
 また、実施の形態7の態様は、実施の形態1に適用されることが説明されているが、実施の形態2~6にも、同様に適用される。
1,1A 超音波診断装置、2 振動子アレイ、3 送受信回路、4 画像生成部、5 表示制御部、6 モニタ、7 画像取得部、8 画像メモリ、9 確率算出部、10 確率マップ生成部、11 所見情報算出部、12 失敗領域検出部、13 位置センサ、14 走査済領域検知部、15 通知部、16 装置制御部、17 入力装置、21 超音波プローブ、22,22A プロセッサ、23 パルサ、24 増幅部、25 AD変換部、26 ビームフォーマ、27 信号処理部、28 DSC、29 画像処理部、31 超音波診断装置本体、A1 不明瞭な層構造、A2 Cobblestone-likeパターン、A3 Cloud-likeパターン、A4 パターン、B1 走査断面、D1 第1方向、D2 第2方向、F 空洞領域、J 創部、M 確率マップ、NW ネットワーク、P1~P6 位置、R1~R4,T 領域、R5 背景領域。

Claims (13)

  1.  超音波プローブと、
     前記超音波プローブに取り付けられ且つ前記超音波プローブの位置情報を取得する位置センサと、
     前記超音波プローブを用いて被検体の創部に対して超音波ビームの走査を行うことにより複数フレームの超音波画像を取得する画像取得部と、
     前記複数フレームの超音波画像のそれぞれから前記創部に関わる所見の存在確率を算出する確率算出部と、
     前記位置センサにより取得された前記超音波プローブの位置情報と前記確率算出部により算出された前記存在確率とに基づいて3次元的な前記所見の確率マップを生成する確率マップ生成部と
     を備える超音波診断装置。
  2.  前記確率算出部は、定められた複数の所見にそれぞれ対応する複数の前記存在確率を算出し、
     前記確率マップ生成部は、前記複数の前記存在確率をそれぞれ3次元的に可視化し且つ可視化された前記複数の前記存在確率に基づいて前記複数の所見を統合した3次元的な前記確率マップを生成する請求項1に記載の超音波診断装置。
  3.  前記確率マップを表示するモニタをさらに備える請求項1または2に記載の超音波診断装置。
  4.  前記確率マップに基づいて前記所見の大きさ、深さ、体積のうち少なくとも1つを含む所見情報を算出する所見情報算出部をさらに備え、
     前記モニタは、前記所見情報を表示する請求項3に記載の超音波診断装置。
  5.  前記確率マップ生成部は、前記確率算出部により算出された前記存在確率の値に応じて色の濃淡を変化させた前記確率マップを生成する請求項3または4に記載の超音波診断装置。
  6.  前記確率マップ生成部は、同一の前記創部に対して複数回の走査を行った際に、前記複数回の走査に対応して前記確率算出部により算出された複数の前記存在確率に基づいて前記確率マップを生成する請求項3~5のいずれか一項に記載の超音波診断装置。
  7.  前記確率マップ生成部は、同一の前記創部に対して複数回の走査を行った際に、走査毎に前記確率マップを生成し、前記複数回の走査に対応して生成された複数の前記確率マップを統合し、統合された前記確率マップを前記モニタに表示する請求項3~5のいずれか一項に記載の超音波診断装置。
  8.  前記確率マップまたは前記超音波画像を解析することにより、正常に前記確率マップの生成または前記超音波画像の取得がなされていない失敗領域を検出する失敗領域検出部をさらに備え、
     前記モニタは、前記失敗領域を表示する請求項3~7のいずれか一項に記載の超音波診断装置。
  9.  前記創部に対して走査を行う際に、前記位置センサにより取得された前記超音波プローブの位置情報に基づいて、既に走査された領域であることを検知する走査済み領域検知部と、
     既に走査された領域であることが検知された場合に、ユーザに通知する通知部と
     をさらに備える請求項3~8のいずれか一項に記載の超音波診断装置。
  10.  前記創部に対して走査を行う際に、前記位置センサにより取得された前記超音波プローブの位置情報に基づいて、前記モニタは、前記確率マップ生成部により既に生成された前記確率マップを表示する請求項3~9のいずれか一項に記載の超音波診断装置。
  11.  前記確率マップ生成部は、走査の繰り返し回数が多い領域ほど色を濃くした、または、密度を高くした前記確率マップを生成する請求項3~10のいずれか一項に記載の超音波診断装置。
  12.  超音波プローブの位置情報を取得し、
     前記超音波プローブを用いて被検体の創部に対して超音波ビームの走査を行うことにより複数フレームの超音波画像を取得し、
     前記複数フレームの超音波画像のそれぞれから前記創部に関わる所見の存在確率を算出し、
     取得された前記超音波プローブの位置情報と算出された前記存在確率とに基づいて3次元的な前記所見の確率マップを生成する
     超音波診断装置の制御方法。
  13.  超音波プローブの位置情報を取得し、前記超音波プローブを用いて被検体の創部に対して超音波ビームの走査を行うことにより複数フレームの超音波画像を取得し、前記複数フレームの超音波画像のそれぞれから前記創部に関わる所見の存在確率を算出し、取得された前記超音波プローブの位置情報と算出された前記存在確率とに基づいて3次元的な前記所見の確率マップを生成する超音波診断装置用プロセッサ。
PCT/JP2021/009605 2020-06-15 2021-03-10 超音波診断装置、超音波診断装置の制御方法および超音波診断装置用プロセッサ WO2021256019A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21826235.0A EP4166090A4 (en) 2020-06-15 2021-03-10 ULTRASONIC DIAGNOSTIC APPARATUS, METHOD FOR CONTROLLING AN ULTRASONIC DIAGNOSTIC APPARATUS, AND PROCESSOR OF AN ULTRASONIC DIAGNOSTIC APPARATUS
JP2022532299A JP7301231B2 (ja) 2020-06-15 2021-03-10 超音波診断装置、超音波診断装置の制御方法および超音波診断装置用プロセッサ
US18/057,660 US20230086973A1 (en) 2020-06-15 2022-11-21 Ultrasound diagnostic apparatus, method for controlling ultrasound diagnostic apparatus, and processor for ultrasound diagnostic apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-102937 2020-06-15
JP2020102937 2020-06-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/057,660 Continuation US20230086973A1 (en) 2020-06-15 2022-11-21 Ultrasound diagnostic apparatus, method for controlling ultrasound diagnostic apparatus, and processor for ultrasound diagnostic apparatus

Publications (1)

Publication Number Publication Date
WO2021256019A1 true WO2021256019A1 (ja) 2021-12-23

Family

ID=79267763

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/009605 WO2021256019A1 (ja) 2020-06-15 2021-03-10 超音波診断装置、超音波診断装置の制御方法および超音波診断装置用プロセッサ

Country Status (4)

Country Link
US (1) US20230086973A1 (ja)
EP (1) EP4166090A4 (ja)
JP (1) JP7301231B2 (ja)
WO (1) WO2021256019A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160100790A1 (en) * 2014-10-08 2016-04-14 Revealix, Inc. Automated systems and methods for skin assessment and early detection of a latent pathogenic bio-signal anomaly
JP2016224396A (ja) 2015-05-29 2016-12-28 国立大学法人 東京大学 褥瘡診断訓練用の生体組織モデルおよび人体モデル
JP2017012427A (ja) * 2015-06-30 2017-01-19 本多電子株式会社 超音波診断装置、超音波画像解析方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140128940A (ko) * 2011-10-10 2014-11-06 트랙터스 코포레이션 핸드헬드 이미징 디바이스들로 조직의 완전한 검사를 위한 방법, 장치 및 시스템
WO2014146700A1 (en) * 2013-03-19 2014-09-25 Nokia Solutions And Networks Oy Methods and apparatus for antenna tilt optimization
US9700284B2 (en) * 2013-11-13 2017-07-11 Siemens Medical Solutions Usa, Inc. Three-dimensional ultrasound reconstruction with confidence information
US10909680B2 (en) * 2017-08-08 2021-02-02 Med-Compliance Iq, Inc. Method and system for assessing burn wound depth

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160100790A1 (en) * 2014-10-08 2016-04-14 Revealix, Inc. Automated systems and methods for skin assessment and early detection of a latent pathogenic bio-signal anomaly
JP2016224396A (ja) 2015-05-29 2016-12-28 国立大学法人 東京大学 褥瘡診断訓練用の生体組織モデルおよび人体モデル
JP2017012427A (ja) * 2015-06-30 2017-01-19 本多電子株式会社 超音波診断装置、超音波画像解析方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CSURKA ET AL.: "Visual Categorization with Bags of Keypoints", PROC. OF ECCV WORKSHOP ON STATISTICAL LEARNING IN COMPUTER VISION, 2004, pages 59 - 74
NIJMA AYA: "An example of bedsore which ultrasonography was useful for diagnosis", JOURNAL OF MEDICAL ULTRASONICS, vol. 43, 30 November 2015 (2015-11-30), pages S864, XP009540880, ISSN: 1346-1176, DOI: 10.3179/jjmu.JJMU.S.107 *
See also references of EP4166090A4

Also Published As

Publication number Publication date
EP4166090A4 (en) 2023-11-22
EP4166090A1 (en) 2023-04-19
JPWO2021256019A1 (ja) 2021-12-23
US20230086973A1 (en) 2023-03-23
JP7301231B2 (ja) 2023-06-30

Similar Documents

Publication Publication Date Title
JP7235868B2 (ja) 超音波診断装置および超音波診断装置の制御方法
JP6937914B2 (ja) 音響波診断装置および音響波診断装置の制御方法
EP3865070B1 (en) Ultrasound diagnosis device and ultrasound diagnosis device control method
WO2018051578A1 (ja) 超音波診断装置及び超音波診断装置の制御方法
JP7295296B2 (ja) 超音波診断装置および超音波診断装置の制御方法
JP6718520B2 (ja) 超音波診断装置及び超音波診断装置の制御方法
JP6982190B2 (ja) 超音波診断装置および超音波診断装置の制御方法
US11116481B2 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
JP6937731B2 (ja) 超音波診断装置および超音波診断装置の制御方法
WO2021256019A1 (ja) 超音波診断装置、超音波診断装置の制御方法および超音波診断装置用プロセッサ
WO2019163225A1 (ja) 超音波診断装置および超音波診断装置の制御方法
JP6663029B2 (ja) 超音波診断装置及び超音波診断装置の制御方法
JP7500739B2 (ja) 超音波診断装置および超音波診断装置の制御方法
JP5869411B2 (ja) 超音波診断装置および超音波画像生成方法
WO2017170111A1 (ja) 超音波診断装置および超音波診断装置の制御方法
JP6885908B2 (ja) 超音波診断装置および超音波診断装置の制御方法
JP2014064856A (ja) 超音波検査装置、超音波検査装置の信号処理方法およびプログラム
WO2020148938A1 (ja) 穿刺針、超音波診断装置および超音波診断装置の制御方法
WO2022064981A1 (ja) 超音波システムおよび超音波システムの制御方法
US20240081788A1 (en) Ultrasound diagnostic apparatus and control method for ultrasound diagnostic apparatus
WO2022190712A1 (ja) 超音波診断装置および超音波診断装置の制御方法
WO2022196090A1 (ja) 超音波診断装置および超音波診断装置の制御方法
WO2022196095A1 (ja) 超音波診断装置および超音波診断装置の制御方法
EP4335381A1 (en) Ultrasound diagnostic apparatus and control method for ultrasound diagnostic apparatus
US20240081786A1 (en) Ultrasound diagnostic apparatus and control method for ultrasound diagnostic apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21826235

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022532299

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021826235

Country of ref document: EP

Effective date: 20230116