WO2022064836A1 - 超音波診断装置および超音波診断装置の制御方法 - Google Patents

超音波診断装置および超音波診断装置の制御方法 Download PDF

Info

Publication number
WO2022064836A1
WO2022064836A1 PCT/JP2021/028029 JP2021028029W WO2022064836A1 WO 2022064836 A1 WO2022064836 A1 WO 2022064836A1 JP 2021028029 W JP2021028029 W JP 2021028029W WO 2022064836 A1 WO2022064836 A1 WO 2022064836A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
interest
region
schema
ultrasonic
Prior art date
Application number
PCT/JP2021/028029
Other languages
English (en)
French (fr)
Inventor
理子 越野
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022551165A priority Critical patent/JP7411109B2/ja
Priority to EP21871968.0A priority patent/EP4218595A4/en
Priority to CN202180066080.9A priority patent/CN116209395A/zh
Publication of WO2022064836A1 publication Critical patent/WO2022064836A1/ja
Priority to US18/188,334 priority patent/US20230225708A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/025Tomosynthesis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44Constructional features of apparatus for radiation diagnosis
    • A61B6/4417Constructional features of apparatus for radiation diagnosis related to combined acquisition of different diagnostic modalities
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/467Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/56Details of data transmission or power supply, e.g. use of slip rings
    • A61B6/563Details of data transmission or power supply, e.g. use of slip rings involving image data transmission via a network
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54Control of the diagnostic device
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053Display arrangements
    • G01S7/52057Cathode ray tube displays
    • G01S7/5206Two-dimensional coordinated display of distance and direction; B-scan display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/465Displaying means of special interest adapted to display user selection data, e.g. graphical user interface, icons or menus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/465Displaying means of special interest adapted to display user selection data, e.g. icons or menus
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053Display arrangements
    • G01S7/52057Cathode ray tube displays
    • G01S7/52073Production of cursor lines, markers or indicia by electronic means

Definitions

  • the present invention relates to an ultrasonic diagnostic apparatus and a control method of an ultrasonic diagnostic apparatus having a function of displaying a composite two-dimensional image acquired by a mammography apparatus and a schema image in which a region of interest is plotted together with an ultrasonic image.
  • a mammography examination detects a region of interest in the breast that may be a lesion
  • an ultrasound examination is subsequently performed to search for the corresponding region of interest while referring to a radiographic image, and the ultrasound image is used.
  • a qualitative diagnosis may be made to determine if the area of interest in the included breast is a lesion.
  • ultrasonic examination there is a demand to refer to a radiographic image that has already been taken by a mammography examination.
  • Patent Document 1 discloses a medical information processing system for improving the efficiency of workflow in a screening using both tomosynthesis images and ultrasonic images.
  • a region of interest is set in a tomosynthesis image, which is a three-dimensional image generated by changing the X-ray irradiation angle of the subject's breast, and reference information in which the position information of the region of interest is associated with the schematic diagram of the breast. Is generated and the tomosynthesis image and reference information are displayed on the display.
  • Patent Document 2 discloses a medical information processing system that generates diagnostic support information of a subject based on an ultrasonic image, an imaging position of the ultrasonic image, and a mammography image.
  • a region of interest is set on the mammography image, which is a two-dimensional image, a straight line along the imaging direction including the position of the region of interest is drawn on the body mark of the breast, and the mammography image and the body mark of the breast are used as diagnostic support information. Shown on the display.
  • the tomosynthesis image which is a three-dimensional image and the reference information on the display as in the medical information processing system of Patent Document 1 at least a plurality of slice images are transmitted from the mammography device or the server to the ultrasonic device.
  • the diagnostic support information may be transmitted to an ultrasonic device. Since the three-dimensional distribution information of the breast is missing, there is a problem that it is difficult to make an accurate diagnosis with an ultrasonic device.
  • the present invention has been made to solve such a conventional problem, and it is possible to make an accurate diagnosis for an area of interest in the breast without securing a large storage area. It is an object of the present invention to provide a control method of an ultrasonic diagnostic apparatus and an ultrasonic diagnostic apparatus.
  • the ultrasonic diagnostic apparatus is With an ultrasonic probe, An image generator that generates an ultrasonic image of the subject's breast by transmitting and receiving an ultrasonic beam to the subject using an ultrasonic probe. Synthetic 2D images obtained by tomosynthesis imaging and generated using a series of radiographic images of the subject's breast, and tomosynthesis images accompanying the synthetic 2D image and corresponding to the region of interest on the synthetic 2D image. A schema image generator that generates a schema image in which the region of interest is plotted based on the information in It is characterized by being equipped with a monitor that displays an ultrasonic image, a composite two-dimensional image, and a schema image.
  • the schema image generation unit can generate a schema image in which a plurality of regions of interest on the composite two-dimensional image are plotted.
  • a region of interest list creation unit that creates a list of regions of interest included in the composite two-dimensional image and an input device for performing input operations by the user are provided, and the list created by the region of interest list creation unit is displayed on the monitor.
  • the schema image generator preferably generates a schema image in which the region of interest selected by the user from the list displayed on the monitor is plotted via the input device.
  • an input device for performing an input operation by the user is provided, the composite 2D image is displayed on the monitor, and the schema image generation unit is designated by the user via the input device on the composite 2D image displayed on the monitor. It can also be configured to generate a schema image in which the region of interest is plotted if the arbitrary location is contained within the region of interest.
  • the region of interest plotted on the schema image is specified by the user via the input device, it is preferable to include an emphasis section that emphasizes the region corresponding to the region of interest on the composite two-dimensional image and displays it on the monitor.
  • the emphasis section can be configured to display a sub-window on the composite two-dimensional image and enlarge the area of interest in the sub-window.
  • the emphasis section may surround the region of interest on the composite two-dimensional image with an enhancement line.
  • the schema image generation unit may generate a schema image including slice lines representing the tomosynthesis image corresponding to the region of interest.
  • a finding display unit for displaying the findings for the mammography examination on the monitor can also be provided.
  • composite 2D images acquired by cranio-caudal imaging and medial-lateral oblique imaging for each of the left and right breasts of the subject are thumbnailed on the monitor. It can be configured to be displayed.
  • the imaging direction is different from that of the composite 2D image and the same region of interest as the region of interest plotted in the schema image is captured in another composite 2D image in which the breast of the subject is captured, it is super.
  • the composite 2D image and other composite 2D images may be configured to be displayed on the monitor.
  • the identification information of the region of interest, the position of the region of interest, the slice number of the tomosynthesis image corresponding to the region of interest, and the shooting angle are stored in a file that does not include the tag or image associated with the composite 2D image. It is preferable to have a memory for storing a composite two-dimensional image.
  • the control method of the ultrasonic diagnostic apparatus is By transmitting and receiving ultrasonic beams to the subject using an ultrasonic probe, an ultrasonic image of the subject's breast is generated.
  • a synthetic 2D image obtained by tomosynthesis imaging and generated using a series of radiographic images of the subject's breast, and a tomosynthesis image that accompanies the synthetic 2D image and corresponds to the region of interest on the synthetic 2D image.
  • the schema image generator accompanies and synthesizes a synthetic two-dimensional image and a synthetic two-dimensional image generated by using a series of radiographic images obtained by tomosynthesis imaging and in which the breast of the subject is photographed. Based on the information of the tomosynthesis image corresponding to the region of interest on the two-dimensional image and the information of the region of interest, a schema image in which the region of interest is plotted is generated, and the ultrasonic image and the composite two-dimensional image and the schema image are displayed on the monitor. Therefore, it is possible to make an accurate diagnosis for the area of interest of the breast without securing a large storage area.
  • FIG. 1 It is a block diagram which shows the structure of the ultrasonic diagnostic apparatus which concerns on Embodiment 1 of this invention. It is a block diagram which shows the internal structure of the transmission / reception circuit in Embodiment 1.
  • FIG. It is a block diagram which shows the internal structure of the image generation part in Embodiment 1.
  • FIG. It is a block diagram which shows the structure of the mammography examination connected to the ultrasonic diagnostic apparatus through a network.
  • It is a figure which conceptually shows the generation method of a synthetic 2D image.
  • FIG. It is a flowchart which shows the operation of the ultrasonic diagnostic apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which shows the display example of the monitor in the ultrasonic diagnostic apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which shows the display example of the monitor in the ultrasonic diagnostic apparatus which concerns on the modification of Embodiment 1.
  • FIG. It is a block diagram which shows the structure of the ultrasonic diagnostic apparatus which concerns on Embodiment 2.
  • FIG. It is a figure which shows an example of the radiation image displayed on the monitor in the modification of Embodiment 2.
  • FIG. It is a figure which shows the display example of the monitor in Embodiment 3.
  • FIG. It is a block diagram which shows the structure of the ultrasonic diagnostic apparatus which concerns on Embodiment 4. It is a flowchart which shows the operation of the ultrasonic diagnostic apparatus which concerns on Embodiment 4.
  • FIG. 1 shows the configuration of the ultrasonic diagnostic apparatus according to the first embodiment of the present invention.
  • the ultrasonic diagnostic apparatus includes an ultrasonic probe 1 and a diagnostic apparatus main body 2.
  • the ultrasonic probe 1 and the diagnostic device main body 2 are connected to each other by wire via a cable (not shown).
  • the ultrasonic probe 1 has an oscillator array 11 and a transmission / reception circuit 12 connected to the oscillator array 11.
  • the diagnostic apparatus main body 2 has an image generation unit 21 connected to the transmission / reception circuit 12 of the ultrasonic probe 1, a display control unit 22 and a monitor 23 are sequentially connected to the image generation unit 21, and the image generation unit 21 is superposed.
  • the sound wave image memory 24 is connected.
  • the diagnostic apparatus main body 2 has a composite two-dimensional image memory 25, and the region of interest list creation unit 26 and the schema image generation unit 27 are connected to the composite two-dimensional image memory 25, respectively, and the composite two-dimensional image memory. 25, the region of interest list creation unit 26 and the schema image generation unit 27 are connected to the display control unit 22.
  • the diagnostic apparatus main body 2 has a main body side communication unit 28 connected to the synthetic two-dimensional image memory 25.
  • the main body control unit 29 is connected to the image generation unit 21, the display control unit 22, the ultrasonic image memory 24, the synthetic two-dimensional image memory 25, the region of interest list creation unit 26, the schema image generation unit 27, and the main body side communication unit 28.
  • the input device 30 is connected to the main body control unit 29.
  • the main body side processor 31 is composed of an image generation unit 21, a display control unit 22, a region of interest list creation unit 26, a schema image generation unit 27, a main body side communication unit 28, and a main body control unit 29.
  • the mammography device 5 and the server 6 are connected to the communication unit 28 on the main body side of the diagnostic device main body 2 via the network 4.
  • the oscillator array 11 of the ultrasonic probe 1 has a plurality of ultrasonic oscillators arranged one-dimensionally or two-dimensionally. Each of these oscillators transmits ultrasonic waves according to the drive signal supplied from the transmission / reception circuit 12, receives the reflected wave from the subject, and outputs an analog reception signal.
  • Each oscillator includes, for example, a piezoelectric ceramic represented by PZT (Lead Zirconate Titanate), a polymer piezoelectric element represented by PVDF (Poly Vinylidene Di Fluoride), and PMN-PT (PMN-PT).
  • Lead Magnesium Niobate-Lead Titanate It is composed by forming electrodes at both ends of a piezoelectric body made of a piezoelectric single crystal or the like represented by (lead magnesiumidene fluoride-lead titanate solid solution).
  • the transmission / reception circuit 12 transmits ultrasonic waves from the oscillator array 11 and generates a sound line signal based on the received signal acquired by the oscillator array 11 under the control of the probe control unit 14. As shown in FIG. 2, the transmission / reception circuit 12 includes a pulsar 15 connected to the oscillator array 11, an amplification unit 16 sequentially connected in series to the oscillator array 11, an AD (Analog Digital) conversion unit 17, and a beam former. Has 18.
  • the pulsar 15 includes, for example, a plurality of pulse generators, and is transmitted from the plurality of oscillators of the oscillator array 11 based on a transmission delay pattern selected according to a control signal from the probe control unit 14.
  • Each drive signal is supplied to a plurality of oscillators by adjusting the delay amount so that the ultrasonic waves form an ultrasonic beam.
  • a pulsed or continuous wave voltage is applied to the electrodes of the vibrator of the vibrator array 11
  • the piezoelectric body expands and contracts, and pulsed or continuous wave ultrasonic waves are generated from each vibrator.
  • An ultrasonic beam is formed from the combined waves of those ultrasonic waves.
  • the transmitted ultrasonic beam is reflected by, for example, a target such as a site of a subject, and the ultrasonic echo propagates toward the vibrator array 11 of the ultrasonic probe 1.
  • the ultrasonic echo propagating toward the oscillator array 11 in this way is received by each oscillator constituting the oscillator array 11.
  • each oscillator constituting the oscillator array 11 expands and contracts by receiving the propagating ultrasonic echo to generate a received signal which is an electric signal, and these received signals are transmitted to the amplification unit 16. Output.
  • the amplification unit 16 amplifies the signal input from each of the oscillators constituting the oscillator array 11, and transmits the amplified signal to the AD conversion unit 17.
  • the AD conversion unit 17 converts the signal transmitted from the amplification unit 16 into digital reception data, and transmits these reception data to the beam former 18.
  • the beam former 18 follows the sound velocity or sound velocity distribution set based on the reception delay pattern selected according to the control signal from the probe control unit 14, and the beam former 18 is used for each reception data converted by the AD conversion unit 17.
  • the so-called reception focus processing is performed by giving a delay of and adding. By this reception focus processing, each received data converted by the AD conversion unit 17 is phase-adjusted and added, and a sound line signal in which the focus of the ultrasonic echo is narrowed down is acquired.
  • the image generation unit 21 of the diagnostic apparatus main body 2 has a configuration in which a signal processing unit 32, a DSC (Digital Scan Converter) 33, and an image processing unit 34 are sequentially connected in series. is doing.
  • the signal processing unit 32 corrects the attenuation of the sound line signal transmitted from the communication unit 28 on the main body side by the distance according to the depth of the reflection position of the ultrasonic wave, and then performs the envelope detection process.
  • An ultrasonic image signal (B mode image signal), which is tomographic image information about the tissue in the subject T, is generated.
  • the DSC 33 converts the ultrasonic image signal generated by the signal processing unit 32 into an image signal according to a normal television signal scanning method (raster conversion).
  • the image processing unit 34 performs various necessary image processing such as gradation processing on the ultrasonic image signal input from the DSC 33, and then outputs a signal representing the ultrasonic image to the display control unit 22 and the ultrasonic image memory 24. Output.
  • the signal representing the ultrasonic image generated by the image generation unit 21 in this way is simply referred to as an ultrasonic image.
  • the display control unit 22 Under the control of the main body control unit 29, the display control unit 22 performs predetermined processing on the ultrasonic image transmitted from the image generation unit 21, and displays the ultrasonic image on the monitor 23.
  • the monitor 23 displays an ultrasonic image under the control of the display control unit 22, and has, for example, a display device such as an LCD (Liquid Crystal Display) or an organic EL display (Organic Electroluminescence Display). ing.
  • the ultrasonic image memory 24 is a memory for storing the ultrasonic image generated by the image generation unit 21 under the control of the main body control unit 29.
  • the ultrasonic image memory 24 can hold a series of plurality of frames of ultrasonic images generated by the image generation unit 21 in response to the diagnosis of the breast of the subject.
  • the composite 2D image memory 25 stores the composite 2D image received from the mammography apparatus 5 or the server 6 via the network 4 by the communication unit 28 on the main body side.
  • the synthetic two-dimensional image is generated in the mammography apparatus 5 based on a series of radiographic images obtained by tomosynthesis imaging, and is stored in the server 6. For example, a synthetic two-dimensional image R-CC in the CC (Cranio-Caudal) direction and a synthetic two-dimensional image R-MLO in the MLO (Medio-lateral-Oblique) direction of the right breast of the subject.
  • a synthetic two-dimensional image in the CC direction of the left breast Four synthetic two-dimensional images consisting of L-CC and a synthetic two-dimensional image L-MLO in the MLO direction are generated, and these four synthetic two-dimensional images are the mammography device 5 or the server 6. Is transmitted to the communication unit 28 on the main body side and stored in the composite two-dimensional image memory 25.
  • the ultrasonic image memory 24 and the composite two-dimensional image memory 25 include a flash memory, an HDD (Hard Disc Drive), an SSD (Solid State Drive), an FD (Flexible Disc), and an MO disk.
  • a flash memory an HDD (Hard Disc Drive), an SSD (Solid State Drive), an FD (Flexible Disc), and an MO disk.
  • Magnetic-Optical disc Magnetic Tape: magnetic tape
  • RAM Random Access Memory: random access memory
  • CD Compact Disc: compact disc
  • DVD Digital Versatile Disc: digital versatile disc
  • SD card Secure Digital card
  • USB memory Universal Serial Bus memory
  • the region of interest list creation unit 26 creates a list of regions of interest included in the composite two-dimensional image.
  • the list of interest regions created by the region of interest list creation unit 26 is displayed on the monitor 23 via the display control unit 22.
  • the schema image generation unit 27 generates a schema image described later, which schematically represents a breast.
  • the schema image generated by the schema image generation unit 27 is displayed on the monitor 23 via the display control unit 22.
  • the main body side communication unit 28 sends the ultrasonic image generated by the image generation unit 21 and stored in the ultrasonic image memory 24 to the server 6 via the network 4. .. Further, the main body side communication unit 28 receives the synthetic two-dimensional image transmitted from the mammography device 5 or the server 6 via the network 4 under the control of the main body control unit 29, and synthesizes the received synthetic two-dimensional image. It is sent to the two-dimensional image memory 25.
  • the input device 30 is for the user to perform an input operation, and is composed of, for example, a keyboard, a mouse, a trackball, a touch pad, and a device such as a touch sensor arranged on the monitor 23.
  • the main body control unit 29 controls each part of the diagnostic apparatus main body 2 based on a control program or the like stored in advance. Further, although not shown, a main body side storage unit is connected to the main body control unit 29. The storage unit on the main body side stores a control program or the like of the diagnostic device main body 2. Further, as the storage unit on the main body side, for example, a flash memory, a RAM (Random Access Memory), an SD card (Secure Digital card), an SSD (Solid State Drive), or the like is used. be able to.
  • the main body side processor 31 having the image generation unit 21, the display control unit 22, the interest area list creation unit 26, the schema image generation unit 27, the main body side communication unit 28, and the main body control unit 29 is a CPU (Central Processing Unit: central). It consists of a processing device) and a control program for causing the CPU to perform various processes, such as FPGA (Field Programmable Gate Array), DSP (Digital Signal Processor), and ASIC (Digital Signal Processor). Application Specific Integrated Circuit (Application Specific Integrated Circuit), GPU (Graphics Processing Unit: Graphics Processing Unit), and other ICs (Integrated Circuit: Integrated Circuit) may be used, or they may be combined. You may.
  • FPGA Field Programmable Gate Array
  • DSP Digital Signal Processor
  • ASIC Digital Signal Processor
  • Application Specific Integrated Circuit Application Specific Integrated Circuit
  • GPU Graphics Processing Unit
  • other ICs Integrated Circuit: Integrated Circuit
  • the image generation unit 21, the display control unit 22, the region of interest list creation unit 26, the schema image generation unit 27, the main body side communication unit 28, and the main body control unit 29 of the main body side processor 31 are partially or wholly 1 It can also be integrated into one CPU or the like.
  • the mammography apparatus 5 connected to the diagnostic apparatus main body 2 via the network 4 includes an X-ray source 51 and an X-ray detector 52.
  • the breast of a subject compressed by a compression plate (not shown) is irradiated with X-rays from an X-ray source 51 while changing the X-ray incident angle, and the X-rays transmitted through the breast are the X-ray detector 52.
  • a series of radiographic images are acquired by tomosynthesis imaging.
  • the mammography apparatus 5 is further equipped with a computer (not shown), and the computer can generate a composite two-dimensional image. That is, as shown in FIG. 5, a plurality of tomosynthesis images 53 are generated by three-dimensionally reconstructing a series of radiographic images acquired by tomosynthesis imaging, and based on these plurality of tomosynthesis images 53, A composite two-dimensional image 54 is generated.
  • the plurality of tomosynthesis images 53 are, for example, a plurality of tomographic images obtained by slicing breasts in parallel with each other at a slight interval of about 1 mm.
  • the mammography apparatus 5 can also generate a composite two-dimensional image 54 from a series of radiographic images acquired by tomosynthesis imaging without going through a plurality of three-dimensionally reconstructed tomosynthesis images 53.
  • the composite two-dimensional image 54 is generated, the information of the region of interest R extracted by the CAD process described later may be reflected in the generation.
  • the composite two-dimensional image 54 can be generated so as to emphasize the region of interest R more.
  • the region of interest R is detected for each of the reconstructed tomosynthesis images 53.
  • the region of interest R can be detected from the tomosynthesis image 53 by deep learning (deep learning) utilizing AI (Artificial Intelligence).
  • the CAD processing can be performed by a computer mounted on the mammography apparatus 5, or can be performed by a computer dedicated to CAD processing connected to the mammography apparatus 5.
  • the synthetic two-dimensional image 54 is represented as, for example, so-called DICOM (Digital Imaging and Communications in Medicine) format image data to which patient identification information is attached, and has a tag for storing incidental information.
  • DICOM Digital Imaging and Communications in Medicine
  • the region of interest R is detected by CAD processing in any of the plurality of tomosynthesis images 53, the information of the detected region R and the information of the tomosynthesis image 53 corresponding to the region of interest R are synthesized 2 It is stored in the tag of the dimensional image 54.
  • the detected identification information of the region of interest R, the position of the region of interest R, the slice number of the tomosynthesis image 53 corresponding to the region of interest R and best representing the region of interest R, and the like are stored in the tag.
  • the shooting angle at the time of shooting by the mammography apparatus 5 that is, the angle at which the X-ray detector 52 is installed is set in the PPA (Positioner Primary Angle) which is a public tag of DICOM. Stored.
  • PPA Purpositioner Primary Angle
  • a synthetic two-dimensional image 54 is generated from a series of radiographic images taken by tomosynthesis imaging as the CAD process of the mammography apparatus 5, the images are taken by tomosynthesis imaging instead of the reconstructed plurality of tomosynthesis images 53. It is also possible to detect the region of interest R for a series of radiographic images. However, the position of the detected region of interest R is converted into the position in the three-dimensionally reconstructed tomosynthesis image 53, converted into the slice number of the tomosynthesis image 53, and stored in the tag of the synthetic two-dimensional image 54. There is a need.
  • a DICOM tag can be used as the tag of the composite two-dimensional image 54.
  • Various information such as a slice number corresponding to the region of interest R can be stored in the DICOM tag.
  • the SOP Insight UID Service Objective Pair Instance Unique Identifier: SOP instance UID
  • SOP instance UID Service Objective Pair Instance Unique Identifier
  • the Study Instance Unique Identifier (UID) and the Series Instance Unique Identifier (Series Instance Unique Identifier) in the DICOM standard of these other images can also be stored.
  • the detected information of the region of interest R and the information of the tomosynthesis image 53 corresponding to the region of interest R are stored in the tag of the composite two-dimensional image 54, but only the data not including the image is stored, for example. It can also be stored in a file such as DICOM-SR (Structured Report).
  • the plurality of tomosynthesis images 53 reconstructed in this way and the generated synthetic two-dimensional image 54 are sent from the mammography apparatus 5 to the server 6 via the network 4. Further, a series of radiographic images acquired by tomosynthesis imaging may be sent from the mammography apparatus 5 to the server 6 via the network 4.
  • the server 6 connected to the diagnostic apparatus main body 2 via the network 4 stores various image data generated by the ultrasonic diagnostic apparatus and the mammography apparatus 5. Specifically, the ultrasonic image generated by the diagnostic apparatus main body 2, the plurality of tomosynthesis images 53 generated by the mammography apparatus 5, and the synthetic two-dimensional image 54 are stored in the server 6. Further, a series of radiographic images acquired by tomosynthesis imaging in the mammography apparatus 5 can be stored in the server 6. In this case, as will be described later, the server 6 may have a reconstruction process and a function of generating a composite two-dimensional image 54.
  • the server 6 can be used as a server in a so-called PACS (Picture Archiving and Communication System).
  • FIG. 6 shows a schema image 71 generated by the schema image generation unit 27 of the diagnostic apparatus main body 2.
  • the schema image 71 shown in FIG. 6 schematically represents the right breast as viewed from the front, and has a circular breast region 72 and a substantially triangular axillary region representing the axilla and extending diagonally upward from the breast region 72.
  • the breast region 72 is divided into four regions, the medial upper region A, the medial lower region B, the lateral upper region C, and the lateral lower region D, and the axillary region 73 is located diagonally to the upper left of the lateral upper region C. It is connected.
  • a schema image schematically representing the left breast can be obtained.
  • the region of interest R is plotted on the schema image 71 generated by the schema image generation unit 27, and a slice line C showing the tomosynthesis image 53 that best represents the region of interest R is formed. It is drawn.
  • the schema image generation unit 27 best represents the incidental information stored in the tag of the composite two-dimensional image 54 or DICOM-SR, that is, the identification information of the region of interest R, the position of the region of interest R, and the region of interest R.
  • the slice number, shooting angle, etc. of the tomosynthesis image 53 it is possible to generate a schema image 71 in which the region of interest R is plotted and the slice line C is drawn.
  • the schema image generation unit 27 is based on the slice number of the tomosynthesis image 53 that best represents the shooting angle and the region of interest R, which is stored in the tag of the composite two-dimensional image 54 or DICOM-SR.
  • the slice line C has the same angle as the photographing angle, and is drawn as a straight line extending in parallel with the X-ray detector 52.
  • the imaging angle is "0 degree", so that the slice plane by each tomosynthesis image 53 is It will extend in the horizontal direction. Therefore, as shown in FIG. 8, the slice surface P0 of the first tomosynthesis image 53 among the plurality of tomosynthesis images 53 is located at the bottom of the circular breast region 72 of the schema image 71, and the circular breast region is formed.
  • the slice surface P1 according to the last tomosynthesis image 53 among the plurality of tomosynthesis images 53 is located at the uppermost portion of 72, and the space between the slice surface P0 and the slice surface P1 is evenly distributed according to the number of tomosynthesis images 53.
  • the region of interest R is best represented at a position corresponding to the slice number of the tomosynthesis image 53 stored in the tag of the synthetic two-dimensional image 54 or DICOM-SR from the slice surface P0 of the first tomosynthesis image 53.
  • a slice line C representing a slice plane according to the tomosynthesis image 53 is drawn.
  • the slice surface P0 and the slice surface P1 are evenly divided into 6 parts.
  • a slice line C is drawn at the position of the third slice plane corresponding to the slice number from the first slice plane P0 located at the bottom of the circular breast region 72.
  • the number of tomosynthesis images 53 can be stored in the tag of the composite two-dimensional image 54 or DICOM-SR. Further, instead of storing the number of tomosynthesis images 53 in the tag of the composite two-dimensional image 54, DICOM-SR, based on the thickness of the breast, the slice thickness, and the slice interval compressed by the compression plate at the time of taking the radiographic image.
  • the number of tomosynthesis images 53 generated may be calculated. Further, the first slice surface P0 can be set to be located at the uppermost part of the circular breast region 72, and the last slice surface P1 can be set to be located at the lowermost part of the circular breast region 72.
  • the schema image generation unit 27 next, in a state where the composite two-dimensional image 54 and the schema image 71 are aligned with each other, of the region of interest R in the composite two-dimensional image 54.
  • the contour is projected on the slice line C.
  • the position of the region of interest R on the slice line C is specified, and as shown in FIG. 7, a schema image 71 in which the slice line C is drawn and the region of interest R is plotted on the slice line C is generated.
  • the schema image 71 shown in FIG. 7 corresponds to the composite two-dimensional image R-CC in the CC direction of the right breast, but the schema image 71 corresponding to the composite two-dimensional image R-MLO in the MLO direction of the right breast. Can be generated in the same way.
  • the angle of the X-ray detector 52 at the time of shooting is stored as the shooting angle in the public tag PPA of the composite two-dimensional image 54, and the slice line C. However, it becomes a straight line that is inclined according to the shooting angle.
  • two slice planes P0 and slice planes P1 inclined according to the imaging angle are positioned so as to sandwich the circular breast region 72 of the schema image 71, and the slice plane P0 and the slice plane P0 are positioned.
  • the space between the slice surface P1 and the tomosynthesis image 53 is evenly divided according to the number of tomosynthesis images 53, and a slice line is formed at a position corresponding to the slice number of the tomosynthesis image 53 stored in the tag of the composite two-dimensional image 54 or DICOM-SR. C may be drawn.
  • a schema image 71 corresponding to the composite two-dimensional image R-MLO in the MLO direction of the right breast is generated.
  • FIGS. 11 and 12 when the composite two-dimensional image 54 has a plurality of regions of interest R1 and R2, slice lines corresponding to the plurality of regions of interest R1 and R2, respectively, are similarly formed. C1 and C2 are drawn, and a schema image 71 in which the regions of interest R1 and R2 are plotted on the slice lines C1 and C2 is generated.
  • the schema image 71 shown in FIG. 11 corresponds to the composite two-dimensional image R-CC in the CC direction of the right breast
  • the schema image 71 shown in FIG. 12 corresponds to the composite two-dimensional image R in the MLO direction of the right breast. -Compatible with MLO.
  • the schema image corresponding to the CC-direction composite two-dimensional image L-CC of the left breast and the schema image corresponding to the MLO-direction composite two-dimensional image L-MLO of the left breast are also schema images for the right breast. Although it is flipped horizontally from 71, it can be generated in the same way.
  • the plurality of interest regions R1 and R2 are described in the list of interest regions created by the region of interest list creation unit 26, the plurality of interest regions R1 and R2 can be selected from among the plurality of interest regions R1 and R2 described in the list of interest regions. Only the region of interest that has been created can be plotted on the schema image 71, or all the regions of interest can be plotted on the schema image 71.
  • a mammography apparatus 5 performs an image on the breast of the subject in advance, and a synthetic two-dimensional image 54 is generated. That is, in step S1, tomosynthesis imaging is performed by irradiating the breast of the subject compressed by a compression plate (not shown) with X-rays from the X-ray source 51 while changing the X-ray incident angle, and a series of steps. Radiation image is acquired. Further, by three-dimensionally reconstructing the acquired series of radiographic images, a plurality of tomosynthesis images 53 are generated.
  • the region of interest R is detected for each of the three-dimensionally reconstructed tomosynthesis images 53.
  • a synthetic two-dimensional image 54 is generated based on the plurality of tomosynthesis images 53.
  • the composite two-dimensional image 54 is a tag in which the detected identification information of the region of interest R, the position of the region of interest R, the slice number of the tomosynthesis image 53 that best represents the region of interest R, and the like, and further, MLO.
  • the composite two-dimensional image 54 in the direction it is represented as image data having a tag in which the shooting angle at the time of performing tomosynthesis shooting is stored.
  • the identification information of the region of interest R, the position of the region of interest R, the slice number of the tomosynthesis image 53 that best represents the region of interest R, the shooting angle when performing tomosynthesis imaging, and the like are stored in DICOM-SR.
  • the series of radiographic images, the plurality of tomosynthesis images 53, and the synthetic two-dimensional image 54 acquired by the mammography apparatus 5 are sent from the mammography apparatus 5 to the server 6 via the network 4 and stored by the server 6. Then, in step S4, when the user of the ultrasonic diagnostic apparatus requests the inquiry and reception of the synthetic two-dimensional image 54 based on the patient identification information, the mammography apparatus 5 or the server 6 makes an ultrasonic wave via the network 4.
  • the composite two-dimensional image 54 is transmitted to the diagnostic device main body 2 of the diagnostic device.
  • a composite 2D image R-CC in the CC direction of the right breast of the subject and a composite 2D image R-MLO in the MLO direction and a composite 2D image L-CC in the CC direction of the left breast and a composite 2 in the MLO direction.
  • Four synthetic two-dimensional images composed of the three-dimensional image L-MLO are transmitted to the diagnostic apparatus main body 2 of the ultrasonic diagnostic apparatus. It should be noted that the mammography apparatus 5 can automatically transmit the composite two-dimensional image 54 to the set ultrasonic diagnostic apparatus without receiving a request from the user of the ultrasonic diagnostic apparatus.
  • the composite two-dimensional image 54 is generated from the mammography apparatus 5 or the server 6 via the network 4 by the main body side communication unit 28 of the diagnostic apparatus main body 2. Received and stored in the composite two-dimensional image memory 25.
  • the main body control unit 29 of the diagnostic apparatus main body 2 is, for example, four synthetic two-dimensional images composed of R-CC, R-MLO, L-CC and L-MLO received by the main body side communication unit 28. 54 is displayed as a thumbnail on the monitor 23.
  • thumbnail images 80 corresponding to the four composite two-dimensional images R-CC, R-MLO, L-CC and L-MLO are shown in the upper right portion of the monitor 23.
  • step S7 when one of the thumbnail images 80 corresponding to the four composite two-dimensional images R-CC, R-MLO, L-CC and L-MLO is selected by the user, in step S8, The region of interest list creation unit 26 creates a list 81 of the region of interest R and displays it on the monitor 23. At this time, the region of interest list creation unit 26 selects the thumbnail image 80 selected by the user from the thumbnail images 80 corresponding to the four composite two-dimensional images R-CC, R-MLO, L-CC and L-MLO.
  • the list 81 of the region of interest R included in the composite two-dimensional image 54 is created, and the list of the region of interest R is created via the display control unit 22. 81 is displayed on the monitor 23.
  • step S9 when one region of interest R is selected from the list 81 of the region of interest R by the user, the schema image generation unit 27 uses the tag or DICOM-SR of the composite two-dimensional image 54 in step S10. By referring to it, information about the selected region of interest R is acquired, and in step S11, the schema image 71 is generated.
  • the schema image generation unit contains information such as the identification information of the region of interest R selected by the user, the position of the region of interest R, the slice number of the tomosynthesis image 53 that best represents the region of interest R, and the shooting angle.
  • a schema image 71 is generated by 27, which is acquired from the tag of the composite two-dimensional image 54 or DICOM-SR, the slice line C is drawn, and the region of interest R is plotted on the slice line C.
  • the schema image 71 generated in this way is displayed on the monitor 23 together with the composite two-dimensional image 54 corresponding to the thumbnail image 80 selected by the user.
  • information such as the identification information of the region of interest R, the position of the region of interest R, the slice number of the tomosynthesis image 53 that best represents the region of interest R, and the imaging angle are stored in the database in accordance with the patient identification information. It may be registered so that when one region of interest R is selected from the list 81 of the region of interest R by the user, the schema image generation unit 27 acquires this information from the database.
  • the position of the region of interest R the position of the geometric center of the region of interest R or the position of the center of gravity of the region of interest R can be used.
  • the major axis and the minor axis of the region of interest R can also be stored in the tag or DICOM-SR of the synthetic two-dimensional image 54 as information regarding the region of interest R.
  • the user takes an ultrasonic image of the breast of the subject.
  • the ultrasonic probe 1 is brought into contact with the surface of the breast of the subject, and the ultrasonic waves are transmitted and received from the plurality of oscillators of the oscillator array 11 toward the inside of the subject according to the drive signal from the pulsar 15 of the transmission / reception circuit 12.
  • the ultrasonic echo by the tissue in the subject is received by a plurality of vibrators of the vibrator array 11, the received signal which is an analog signal is output to the amplification unit 16, amplified, and AD-converted by the AD conversion unit 17. Received data is acquired.
  • Receive focus processing is applied to this received data by the beam former 18, and the sound wave signal generated by this is sent to the image generation unit 21 of the diagnostic apparatus main body 2 to represent tomographic image information about the tissue in the subject.
  • An ultrasound image is generated.
  • the signal processing unit 32 of the image generation unit 21 performs attenuation correction and envelope detection processing according to the depth of the reflection position of the ultrasonic wave on the sound line signal, and the DSC 33 performs normal television. It is converted into an image signal according to the scanning method of the John signal, and various necessary image processing such as gradation processing is performed by the image processing unit 34.
  • step S13 the composite two-dimensional image 54 corresponding to the thumbnail image 80 selected by the user, the schema image 71 on which the region of interest R selected by the user is plotted, and the ultrasonic probe 1 are currently photographed.
  • the ultrasonic image 82 is also displayed on the monitor 23.
  • the thumbnail image 80 corresponding to the composite two-dimensional image R-CC selected by the user is surrounded by a thick line
  • the region of interest R in the list 81 selected by the user is surrounded by a thick line and selected.
  • the composite 2D image 54 (R-CC) corresponding to the thumbnail image 80, the schema image 71 superimposed and displayed on a part of the composite 2D image 54, and the currently captured ultrasonic image 82 are displayed on the monitor 23. The displayed state is shown.
  • the user can use the schema image 71.
  • the scanning position of the ultrasonic probe 1 can be specified, the region of interest R can be easily searched, and an ultrasonic image including the region of interest R can be generated.
  • the composite two-dimensional image 54 and the composite two-dimensional image are obtained without storing the plurality of tomosynthesis images 53 generated by the mammography apparatus 5 in the diagnostic apparatus main body 2.
  • a schema image 71 in which the region of interest R is plotted is generated based on the information of the tomosynthesis image 53 and the information of the region of interest R that accompanies the 54 and best represents the region of interest R on the synthetic two-dimensional image 54. Therefore, it is possible to make an accurate diagnosis for the region of interest R of the breast without securing a large-capacity storage area in the ultrasonic diagnostic apparatus.
  • the user selects the thumbnail image 80 corresponding to the composite two-dimensional image R-CC, and the composite two-dimensional image 54 (R-CC) corresponding to the selected thumbnail image 80 is of interest.
  • a schema image 71 in which the region R is plotted is generated, but another synthetic two-dimensional image in which the imaging direction is different from this composite two-dimensional image 54 (R-CC) and the breast of the subject is imaged, for example,
  • the composite two-dimensional image 54 (R-MLO) captures the same interest region R as the interest region R plotted on the schema image 71
  • the composite two-dimensional image 54 (R-MLO) is also monitored 23. Can be configured to display in.
  • FIG. 16 shows a state in which the composite two-dimensional image 54A (R-CC) and the composite two-dimensional image 54B (R-MLO) are displayed together with the monitor 23.
  • the region of interest R of the schema image 71 shown in FIG. 15 is designated by double-clicking or the like, it is determined whether or not the same region of interest R is captured in another composite two-dimensional image 54.
  • it can be displayed on the monitor 23.
  • the region of interest R in the above is plotted on the schema image 71, it is located close to the region of interest R in the first composite two-dimensional image 54 within the threshold value, and the size of the region of interest R is almost the same.
  • the difference in size is within the threshold value, it can be determined that they are the same region of interest R.
  • the regions of interest R of similar size are lined up at close positions and it is difficult to determine which region of interest R is the same region of interest R, all regions of interest R are selected.
  • the number X of the region of interest R that is difficult to determine is described in the vicinity of the region of interest R plotted on the schema image 71 to indicate that there are X regions of interest R in the near position, and further, synthesis 2
  • Each of the X regions of interest R can be highlighted on the dimensional image 54.
  • the user can more easily identify the scanning position of the ultrasonic probe 1. It is possible to make a more accurate diagnosis for the region of interest R of the breast. Further, as shown in FIG. 16, even if a plurality of composite two-dimensional images 54A and 54B are displayed on the monitor 23, the ultrasonic image 82 currently being captured is not affected. Therefore, the ultrasonic probe 1 is used. The line of sight of the user who is performing ultrasonic imaging is not unnecessarily moved.
  • the mammography apparatus 5 generates the composite two-dimensional image 54
  • the server 6 may be configured to generate the composite two-dimensional image 54.
  • the server 6 synthesizes based on a series of radiographic images acquired by tomosynthesis imaging transmitted from the mammography apparatus 5 via the network 4, or based on a plurality of reconstructed tomosynthesis images 53.
  • a two-dimensional image 54 can be generated.
  • FIG. 17 shows the configuration of the diagnostic device main body 2A in the ultrasonic diagnostic device according to the second embodiment.
  • the diagnostic device main body 2 of the ultrasonic diagnostic device of the first embodiment shown in FIG. 1 the diagnostic device main body 2A newly connects the emphasis unit 35 between the synthetic two-dimensional image memory 25 and the display control unit 22.
  • the main body control unit 29A is used instead of the main body control unit 29, and other configurations are the same as those of the diagnostic apparatus main body 2 in the first embodiment.
  • the main body side processor 31A is composed of an image generation unit 21, a display control unit 22, a region of interest list creation unit 26, a schema image generation unit 27, a main body side communication unit 28, an emphasis unit 35, and a main body control unit 29A.
  • the enhancement unit 35 emphasizes the region corresponding to the region of interest R on the composite two-dimensional image 54 and displays it on the monitor 23. ..
  • the emphasized portion 35 displays the composite two-dimensional image 54 displayed on the monitor 23 as shown in FIG.
  • the sub-window 83 is displayed above, and the region of interest R is enlarged and displayed in the sub-window 83. In this way, the region of interest R can be emphasized by the enlarged display.
  • the emphasis line 35 highlights the region of interest R on the composite two-dimensional image 54 displayed on the monitor 23, as shown in FIG. It is also possible to emphasize the region of interest R by surrounding it with.
  • the emphasis unit 35 may emphasize the region corresponding to the region of interest R on the composite two-dimensional image 54 and display it on the monitor 23 even for the region of interest R selected from the list 81 of the region of interest R. can.
  • the emphasis region 35 makes it easier to see the region of interest R, and it is possible to make an accurate diagnosis for the region of interest R of the breast. Become.
  • FIG. 20 shows the configuration of the diagnostic device main body 2B in the ultrasonic diagnostic device according to the third embodiment.
  • the diagnostic device main body 2A of the ultrasonic diagnostic device of the second embodiment shown in FIG. 17 the diagnostic device main body 2B newly connects the finding display unit 36 to the main body side communication unit 28 and the display control unit 22 to control the main body.
  • the main body control unit 29B is used instead of the unit 29A, and other configurations are the same as those of the diagnostic apparatus main body 2A in the second embodiment.
  • the main body control unit 29B is connected to the main body control unit 29B, and the input device 30 is connected to the main body control unit 29B.
  • the main body side processor 31B is composed of an image generation unit 21, a display control unit 22, a region of interest list creation unit 26, a schema image generation unit 27, a main body side communication unit 28, an emphasis unit 35, a finding display unit 36, and a main body control unit 29B. Has been done.
  • the finding display unit 36 displays, for example, the findings on the monitor 23 when the findings for the mammography examination are created in a reporting system (not shown) connected to the network 4.
  • the finding data created in the report system is received by the main body side communication unit 28 of the diagnostic apparatus main body 2 via the network 4, and is transmitted from the main body side communication unit 28 to the finding display unit 36.
  • the findings data is sent from the findings display unit 36 to the display control unit 22, and as shown in FIG. 21, for example, the findings 85 are displayed on the monitor 23 adjacent to the list 81 of the region of interest R.
  • the findings display unit 36 is interested from the data of the findings acquired via the communication unit 28 on the main body side. It is also possible to extract the findings for the area R and display them on the monitor 23. Further, when the findings created in the report system are for a plurality of regions of interest R, the findings display unit 36 extracts and monitors only the findings for the region of interest R selected from the list 81 by the user. It can also be displayed on the 23.
  • the user of the ultrasonic diagnostic apparatus can perform accurate diagnosis while recognizing the region of interest R more accurately. Become.
  • a schema image 71 corresponding to one region of interest R selected by the user from the list 81 of the region of interest R displayed on the monitor 23 is generated, but the present invention is not limited to this.
  • the schema image 71 can be configured to be generated when an arbitrary position designated by the user is included in the region of interest R.
  • FIG. 22 shows the configuration of the diagnostic device main body 2C in the ultrasonic diagnostic device according to the fourth embodiment.
  • the diagnostic device main body 2 of the ultrasonic diagnostic device of the first embodiment shown in FIG. 1 the diagnostic device main body 2C omits the region of interest list creation unit 26 and uses the main body control unit 29C instead of the main body control unit 29.
  • Other configurations are the same as those of the diagnostic apparatus main body 2 in the first embodiment.
  • the main body control unit 29C is connected to the image generation unit 21, the display control unit 22, the ultrasonic image memory 24, the synthetic two-dimensional image memory 25, the schema image generation unit 27, and the main body side communication unit 28, and the main body control unit 29C.
  • the input device 30 is connected to.
  • the main body side processor 31C is configured by the image generation unit 21, the display control unit 22, the schema image generation unit 27, the main body side communication unit 28, and the main body control unit 29C.
  • Steps S5 to S7 are the same as steps S5 to S7 in the flowchart of the first embodiment shown in FIG. That is, in step S5, the composite 2D image 54 is received from the mammography apparatus 5 or the server 6 by the main body side communication unit 28 of the diagnostic device main body 2 via the network 4, and is stored in the synthetic 2D image memory 25. In the following step S6, four synthetic two-dimensional images composed of R-CC, R-MLO, L-CC, and L-MLO received by the main body control unit 29C of the diagnostic apparatus main body 2, for example, by the main body side communication unit 28. 54 is displayed as a thumbnail on the monitor 23. Further, in step S7, the user selects one of the thumbnail images 80 corresponding to the four composite two-dimensional images R-CC, R-MLO, L-CC and L-MLO.
  • step S7 When one thumbnail image 80 is selected by the user in step S7, the process proceeds to step S14, and the main body control unit 29C displays the composite two-dimensional image 54 corresponding to the selected thumbnail image 80 on the monitor 23. Further, in step S10, the schema image generation unit 27 acquires information about the region of interest R including the designated position by referring to the tag or DICOM-SR of the composite two-dimensional image 54.
  • step S15 it is determined whether or not an arbitrary position on the composite two-dimensional image 54 displayed on the monitor 23 is specified by the user. If it is determined in step S15 that an arbitrary position on the composite two-dimensional image 54 has been designated by, for example, clicking via the input device 30, the process proceeds to step S16, and the designated position is the composite two-dimensional image. It is determined whether or not the image 54 is included in the region of interest R. If it is determined in step S16 that the designated position is not included in the region of interest R, the process returns to step S15, and it is determined whether or not an arbitrary position on the composite two-dimensional image 54 is newly designated. Will be done.
  • step S16 if it is determined in step S16 that the designated position is included in the region of interest R, the process proceeds to step S11, and the schema image generation unit 27 relates to the region of interest R acquired in step S10. Using the information, a schema image 71 in which the slice line C is drawn and the region of interest R is plotted on the slice line C is generated. The schema image 71 generated in this way is displayed on the monitor 23 together with the composite two-dimensional image 54.
  • step S12 the user takes an ultrasonic image of the breast of the subject. Then, in step S13, the composite two-dimensional image 54, the schema image 71, and the ultrasonic image 82 currently captured by the ultrasonic probe 1 are displayed together on the monitor 23.
  • the ultrasonic wave is the same as in the first embodiment. It is possible to make an accurate diagnosis for the region of interest R of the breast without securing a large-capacity storage area in the diagnostic device. Further, when a plurality of interest regions R exist, a schema image 71 in which all the interest regions R are plotted is generated, and one region of interest R is selected from the plurality of interest regions R plotted in the schema image 71. It can also be configured as follows.
  • the ultrasonic probe 1 and the diagnostic apparatus main bodies 2, 2A, 2B, and 2C are connected to each other by wire via a cable (not shown), but the present invention is not limited to this.
  • the ultrasonic probe 1 and the diagnostic device main body 2, 2A, 2B, 2C can be wirelessly connected to each other.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

超音波診断装置は、超音波プローブと、被検体に対し超音波プローブを用いて超音波ビームの送受信を行うことにより被検体の乳房が撮影された超音波画像を生成する画像生成部と、トモシンセシス撮影により得られ且つ被検体の乳房が撮影された一連の放射線画像を用いて生成された合成2次元画像および合成2次元画像に付随し且つ合成2次元画像上の関心領域に対応するトモシンセシス画像の情報および関心領域の情報に基づいて、関心領域がプロットされたシェーマ画像を生成するシェーマ画像生成部と、超音波画像と合成2次元画像とシェーマ画像を表示するモニタとを備えている。

Description

超音波診断装置および超音波診断装置の制御方法
 本発明は、マンモグラフィ装置により取得された合成2次元画像と関心領域がプロットされたシェーマ画像を超音波画像とともに表示する機能を有する超音波診断装置および超音波診断装置の制御方法に関する。
 従来から、マンモグラフィ検査により、病変部であるおそれのある乳房の関心領域が検出された場合、続いて、超音波検査により、放射線画像を参照しながら対応する関心領域を探索し、超音波画像に含まれる乳房の関心領域が病変部なのか否かの質的診断が行われる場合がある。
 このように、超音波検査を行う際に、マンモグラフィ検査により既に撮影されている放射線画像を参照したいという要求がある。
 本発明の参考となる先行技術文献として、例えば特許文献1,2等がある。
 特許文献1は、トモシンセシス画像と超音波画像とを併用する検診において、ワークフローの効率化を図ろうとする医用情報処理システムを開示している。被検体の乳房に対するX線照射角度を変えて撮像することで生成された3次元画像であるトモシンセシス画像において関心領域が設定され、関心領域の位置情報を乳房の模式図上に対応付けた参照情報が生成され、トモシンセシス画像と参照情報とがディスプレイに表示される。
 また、特許文献2は、超音波画像と、超音波画像の撮像位置と、マンモグラフィ画像とに基づいて、被検体の診断支援情報を生成する医用情報処理システムを開示している。2次元画像であるマンモグラフィ画像上に関心領域が設定され、関心領域の位置を含んで撮影方向に沿った直線が乳房のボディマーク上に描画され、マンモグラフィ画像と乳房のボディマークが診断支援情報としてディスプレイに表示される。
特開2018-43001号公報 特開2019-193788号公報
 超音波検査を実施する際に、この検査の前に撮影したマンモグラフィ検査による放射線画像があれば、放射線画像を確認する場合が多い。通常、サーバに接続された画像ビューアでこの確認作業を行うが、超音波装置上で確認できればワークフローが効率的になる。そのために、マンモグラフィ検査による放射線画像を超音波装置に格納しておくことが望まれる。
 しかしながら、特許文献1の医用情報処理システムのように、3次元画像であるトモシンセシス画像と参照情報とをディスプレイに表示する態様では、少なくとも複数のスライス画像をマンモグラフィ装置またはサーバから超音波装置に伝送して格納する必要があり、超音波装置に大容量の記憶領域を確保しなければならないという問題がある。
 また、特許文献2の医用情報処理システムのように、2次元画像であるマンモグラフィ画像と乳房のボディマークを診断支援情報としてディスプレイに表示する態様では、診断支援情報を超音波装置に伝送しても、乳房の3次元上の分布情報が欠落しているため、超音波装置において精度の良い診断を行うことが難しいという問題がある。
 本発明は、このような従来の問題点を解消するためになされたものであり、大容量の記憶領域を確保することなく、乳房の関心領域に対して精度の良い診断を行うことができる超音波診断装置および超音波診断装置の制御方法を提供することを目的とする。
 上記目的を達成するために、本発明に係る超音波診断装置は、
 超音波プローブと、
 被検体に対し超音波プローブを用いて超音波ビームの送受信を行うことにより被検体の乳房が撮影された超音波画像を生成する画像生成部と、
 トモシンセシス撮影により得られ且つ被検体の乳房が撮影された一連の放射線画像を用いて生成された合成2次元画像および合成2次元画像に付随し且つ合成2次元画像上の関心領域に対応するトモシンセシス画像の情報および関心領域の情報に基づいて、関心領域がプロットされたシェーマ画像を生成するシェーマ画像生成部と、
 超音波画像と合成2次元画像とシェーマ画像を表示するモニタと
 を備えることを特徴とする。
 シェーマ画像生成部は、合成2次元画像上の複数の関心領域がそれぞれプロットされたシェーマ画像を生成することができる。
 合成2次元画像に含まれる関心領域のリストを作成する関心領域リスト作成部と、ユーザが入力操作を行う入力装置とを備え、関心領域リスト作成部により作成されたリストが、モニタに表示され、シェーマ画像生成部は、モニタに表示されたリストからユーザにより入力装置を介して選択された関心領域がプロットされたシェーマ画像を生成することが好ましい。
 あるいは、ユーザが入力操作を行う入力装置を備え、合成2次元画像が、モニタに表示され、シェーマ画像生成部は、モニタに表示された合成2次元画像上において、ユーザにより入力装置を介して指定された任意の位置が関心領域の内部に含まれる場合に、関心領域がプロットされたシェーマ画像を生成するように構成することもできる。
 シェーマ画像にプロットされた関心領域がユーザにより入力装置を介して指定された場合に、合成2次元画像上の関心領域に対応する領域を強調してモニタに表示する強調部を備えることが好ましい。
 強調部は、合成2次元画像上にサブウインドウを表示し、サブウインドウに関心領域を拡大表示するように構成することができる。
 あるいは、強調部は、合成2次元画像上の関心領域を強調線により囲むこともできる。
 シェーマ画像生成部は、関心領域に対応するトモシンセシス画像を表すスライス線を含むシェーマ画像を生成してもよい。
 シェーマ画像に併せて、マンモグラフィ検査に対する所見をモニタに表示する所見表示部を備えることもできる。
 超音波画像と合成2次元画像とシェーマ画像に加えて、被検体の左右の乳房のそれぞれに対して頭尾方向撮影および内外斜位方向撮影により取得された4つの合成2次元画像がモニタにサムネイル表示されるように構成することができる。
 合成2次元画像とは撮影方向が異なり且つ被検体の乳房が撮影された他の合成2次元画像に、シェーマ画像にプロットされている関心領域と同一の関心領域が撮影されている場合に、超音波画像およびシェーマ画像に併せて、合成2次元画像と他の合成2次元画像がモニタに表示されるように構成してもよい。
 関心領域の識別情報、関心領域の位置および関心領域に対応するトモシンセシス画像のスライス番号、撮影角度が、合成2次元画像に付随するタグまたは画像を含まないファイルに格納されることが好ましい。
 合成2次元画像を保存するメモリを備えることが好ましい。
 本発明に係る超音波診断装置の制御方法は、
 被検体に対し超音波プローブを用いて超音波ビームの送受信を行うことにより被検体の乳房が撮影された超音波画像を生成し、
 トモシンセシス撮影により得られ且つ被検体の乳房が撮影された一連の放射線画像を用いて生成された合成2次元画像および合成2次元画像に付随し且つ合成2次元画像上の関心領域に対応するトモシンセシス画像の情報および関心領域の情報に基づいて、関心領域がプロットされたシェーマ画像を生成し、
 超音波画像と合成2次元画像とシェーマ画像をモニタに表示することを特徴とする。
 本発明によれば、シェーマ画像生成部が、トモシンセシス撮影により得られ且つ被検体の乳房が撮影された一連の放射線画像を用いて生成された合成2次元画像および合成2次元画像に付随し且つ合成2次元画像上の関心領域に対応するトモシンセシス画像の情報および関心領域の情報に基づいて、関心領域がプロットされたシェーマ画像を生成し、超音波画像と合成2次元画像とシェーマ画像がモニタに表示されるので、大容量の記憶領域を確保することなく、乳房の関心領域に対して精度の良い診断を行うことが可能となる。
本発明の実施の形態1に係る超音波診断装置の構成を示すブロック図である。 実施の形態1における送受信回路の内部構成を示すブロック図である。 実施の形態1における画像生成部の内部構成を示すブロック図である。 ネットワークを介して超音波診断装置に接続されるマンモグラフィ検査の構成を示すブロック図である。 合成2次元画像の生成方法を概念的に示す図である。 シェーマ画像の一例を示す図である。 CC(Cranio-Caudal:頭尾)方向の合成2次元画像に対応するシェーマ画像を示す図である。 CC方向の合成2次元画像に対応するシェーマ画像にスライス線を描画する方法を示す図である。 MLO(Medio-lateral-Oblique:内外斜位)方向の合成2次元画像に対応するシェーマ画像を示す図である。 MLO方向の合成2次元画像に対応するシェーマ画像にスライス線を描画する方法を示す図である。 複数の関心領域を有するCC方向の合成2次元画像に対応するシェーマ画像を示す図である。 複数の関心領域を有するMLO方向の合成2次元画像に対応するシェーマ画像を示す図である。 マンモグラフィ装置の動作を示すフローチャートである。 実施の形態1に係る超音波診断装置の動作を示すフローチャートである。 実施の形態1に係る超音波診断装置におけるモニタの表示例を示す図である。 実施の形態1の変形例に係る超音波診断装置におけるモニタの表示例を示す図である。 実施の形態2に係る超音波診断装置の構成を示すブロック図である。 実施の形態2においてモニタに表示される放射線画像の一例を示す図である。 実施の形態2の変形例においてモニタに表示される放射線画像の一例を示す図である。 実施の形態3に係る超音波診断装置の構成を示すブロック図である。 実施の形態3におけるモニタの表示例を示す図である。 実施の形態4に係る超音波診断装置の構成を示すブロック図である。 実施の形態4に係る超音波診断装置の動作を示すフローチャートである。
 以下、この発明の実施の形態を添付図面に基づいて説明する。
 以下に記載する構成要件の説明は、本発明の代表的な実施態様に基づいてなされるが、本発明はそのような実施態様に限定されるものではない。
 なお、本明細書において、「~」を用いて表される数値範囲は、「~」の前後に記載される数値を下限値および上限値として含む範囲を意味する。
 本明細書において、「同一」、「同じ」は、技術分野で一般的に許容される誤差範囲を含むものとする。
実施の形態1
 図1に、本発明の実施の形態1に係る超音波診断装置の構成を示す。超音波診断装置は、超音波プローブ1と、診断装置本体2を備えている。超音波プローブ1と診断装置本体2は、互いに図示しないケーブルを介して有線接続されている。
 超音波プローブ1は、振動子アレイ11と、振動子アレイ11に接続された送受信回路12を有している。
 診断装置本体2は、超音波プローブ1の送受信回路12に接続された画像生成部21を有し、画像生成部21に、表示制御部22およびモニタ23が順次接続され、画像生成部21に超音波画像メモリ24が接続されている。また、診断装置本体2は、合成2次元画像メモリ25を有しており、合成2次元画像メモリ25に、関心領域リスト作成部26およびシェーマ画像生成部27がそれぞれ接続され、合成2次元画像メモリ25、関心領域リスト作成部26およびシェーマ画像生成部27が表示制御部22に接続されている。
 さらに、診断装置本体2は、合成2次元画像メモリ25に接続された本体側通信部28を有している。
 画像生成部21、表示制御部22、超音波画像メモリ24、合成2次元画像メモリ25、関心領域リスト作成部26、シェーマ画像生成部27および本体側通信部28に、本体制御部29が接続されており、本体制御部29に、入力装置30が接続されている。
 画像生成部21、表示制御部22、関心領域リスト作成部26、シェーマ画像生成部27、本体側通信部28および本体制御部29により、本体側プロセッサ31が構成されている。
 診断装置本体2の本体側通信部28に、ネットワーク4を介してマンモグラフィ装置5およびサーバ6が接続されている。
 超音波プローブ1の振動子アレイ11は、1次元または2次元に配列された複数の超音波振動子を有している。これらの振動子は、それぞれ送受信回路12から供給される駆動信号に従って超音波を送信し、且つ、被検体からの反射波を受信してアナログの受信信号を出力する。各振動子は、例えば、PZT(Lead Zirconate Titanate:チタン酸ジルコン酸鉛)に代表される圧電セラミック、PVDF(Poly Vinylidene Di Fluoride:ポリフッ化ビニリデン)に代表される高分子圧電素子およびPMN-PT(Lead Magnesium Niobate-Lead Titanate:マグネシウムニオブ酸鉛-チタン酸鉛固溶体)に代表される圧電単結晶等からなる圧電体の両端に電極を形成することにより構成される。
 送受信回路12は、プローブ制御部14による制御の下で、振動子アレイ11から超音波を送信し且つ振動子アレイ11により取得された受信信号に基づいて音線信号を生成する。送受信回路12は、図2に示すように、振動子アレイ11に接続されるパルサ15と、振動子アレイ11に順次直列に接続された増幅部16、AD(Analog Digital)変換部17およびビームフォーマ18を有している。
 パルサ15は、例えば、複数のパルス発生器を含んでおり、プローブ制御部14からの制御信号に応じて選択された送信遅延パターンに基づいて、振動子アレイ11の複数の振動子から送信される超音波が超音波ビームを形成するようにそれぞれの駆動信号を、遅延量を調節して複数の振動子に供給する。このように、振動子アレイ11の振動子の電極にパルス状または連続波状の電圧が印加されると、圧電体が伸縮し、それぞれの振動子からパルス状または連続波状の超音波が発生して、それらの超音波の合成波から、超音波ビームが形成される。
 送信された超音波ビームは、例えば、被検体の部位等の対象において反射され、超音波エコーが、超音波プローブ1の振動子アレイ11に向かって伝搬する。このように振動子アレイ11に向かって伝搬する超音波エコーは、振動子アレイ11を構成するそれぞれの振動子により受信される。この際に、振動子アレイ11を構成するそれぞれの振動子は、伝搬する超音波エコーを受信することにより伸縮して、電気信号である受信信号を発生させ、これらの受信信号を増幅部16に出力する。
 増幅部16は、振動子アレイ11を構成するそれぞれの振動子から入力された信号を増幅し、増幅した信号をAD変換部17に送信する。AD変換部17は、増幅部16から送信された信号をデジタルの受信データに変換し、これらの受信データをビームフォーマ18に送信する。ビームフォーマ18は、プローブ制御部14からの制御信号に応じて選択された受信遅延パターンに基づいて設定される音速または音速の分布に従い、AD変換部17により変換された各受信データに対してそれぞれの遅延を与えて加算することにより、いわゆる受信フォーカス処理を行う。この受信フォーカス処理により、AD変換部17で変換された各受信データが整相加算され且つ超音波エコーの焦点が絞り込まれた音線信号が取得される。
 診断装置本体2の画像生成部21は、図3に示されるように、信号処理部32、DSC(Digital Scan Converter:デジタルスキャンコンバータ)33および画像処理部34が順次直列に接続された構成を有している。
 信号処理部32は、本体側通信部28から送出された音線信号に対し、超音波の反射位置の深度に応じて距離による減衰の補正を施した後、包絡線検波処理を施すことにより、被検体T内の組織に関する断層画像情報である超音波画像信号(Bモード画像信号)を生成する。
 DSC33は、信号処理部32で生成された超音波画像信号を通常のテレビジョン信号の走査方式に従う画像信号に変換(ラスター変換)する。
 画像処理部34は、DSC33から入力される超音波画像信号に階調処理等の各種の必要な画像処理を施した後、超音波画像を表す信号を表示制御部22および超音波画像メモリ24に出力する。このようにして画像生成部21により生成された超音波画像を表す信号を、単に、超音波画像と呼ぶこととする。
 表示制御部22は、本体制御部29の制御の下、画像生成部21から送出された超音波画像に所定の処理を施し、モニタ23に、超音波画像を表示する。
 モニタ23は、表示制御部22の制御の下、超音波画像を表示するものであり、例えば、LCD(Liquid Crystal Display:液晶ディスプレイ)、有機ELディスプレイ(Organic Electroluminescence Display)等のディスプレイ装置を有している。
 超音波画像メモリ24は、本体制御部29の制御の下、画像生成部21により生成された超音波画像を保存するメモリである。例えば、超音波画像メモリ24は、被検体の乳房に対する診断に対応して画像生成部21により生成された一連の複数フレームの超音波画像を保持することができる。
 合成2次元画像メモリ25は、本体側通信部28によりネットワーク4を介してマンモグラフィ装置5またはサーバ6から受信された合成2次元画像を保存する。合成2次元画像は、マンモグラフィ装置5において、トモシンセシス撮影により得られた一連の放射線画像に基づいて生成され、サーバ6内に保存される。例えば、被検体の右乳房のCC(Cranio-Caudal:頭尾)方向の合成2次元画像R-CCおよびMLO(Medio-lateral-Oblique:内外斜位)方向の合成2次元画像R-MLOと、左乳房のCC方向の合成2次元画像L-CCおよびMLO方向の合成2次元画像L-MLOからなる4つの合成2次元画像が生成され、これら4つの合成2次元画像がマンモグラフィ装置5またはサーバ6から本体側通信部28に送信されて合成2次元画像メモリ25に保存される。
 超音波画像メモリ24および合成2次元画像メモリ25としては、フラッシュメモリ、HDD(Hard Disc Drive:ハードディスクドライブ)、SSD(Solid State Drive:ソリッドステートドライブ)、FD(Flexible Disc:フレキシブルディスク)、MOディスク(Magneto-Optical disc:光磁気ディスク)、MT(Magnetic Tape:磁気テープ)、RAM(Random Access Memory:ランダムアクセスメモリ)、CD(Compact Disc:コンパクトディスク)、DVD(Digital Versatile Disc:デジタルバーサタイルディスク)、SDカード(Secure Digital card:セキュアデジタルカード)、USBメモリ(Universal Serial Bus memory:ユニバーサルシリアルバスメモリ)等の記録メディアを用いることができる。
 関心領域リスト作成部26は、合成2次元画像に含まれる関心領域のリストを作成する。関心領域リスト作成部26により作成された関心領域のリストは、表示制御部22を介してモニタ23に表示される。
 シェーマ画像生成部27は、乳房を模式的に表した、後述のシェーマ画像を生成する。シェーマ画像生成部27により生成されたシェーマ画像は、表示制御部22を介してモニタ23に表示される。
 本体側通信部28は、本体制御部29の制御の下で、画像生成部21により生成されて超音波画像メモリ24に保存されている超音波画像を、ネットワーク4を介してサーバ6に送出する。
 また、本体側通信部28は、本体制御部29の制御の下で、ネットワーク4を介してマンモグラフィ装置5またはサーバ6から送信された合成2次元画像を受信し、受信した合成2次元画像を合成2次元画像メモリ25に送出する。
 入力装置30は、ユーザが入力操作を行うためのものであり、例えば、キーボード、マウス、トラックボール、タッチパッド、および、モニタ23に重ねて配置されたタッチセンサ等の装置により構成される。
 本体制御部29は、予め記憶している制御プログラム等に基づいて、診断装置本体2の各部の制御を行う。
 また、図示しないが、本体制御部29に、本体側格納部が接続されている。本体側格納部は、診断装置本体2の制御プログラム等を記憶している。また、本体側格納部としては、例えば、フラッシュメモリ、RAM(Random Access Memory:ランダムアクセスメモリ)、SDカード(Secure Digital card:セキュアデジタルカード)、SSD(Solid State Drive:ソリッドステートドライブ)等を用いることができる。
 なお、画像生成部21、表示制御部22、関心領域リスト作成部26、シェーマ画像生成部27、本体側通信部28および本体制御部29を有する本体側プロセッサ31は、CPU(Central Processing Unit:中央処理装置)、および、CPUに各種の処理を行わせるための制御プログラムから構成されるが、FPGA(Field Programmable Gate Array:フィードプログラマブルゲートアレイ)、DSP(Digital Signal Processor:デジタルシグナルプロセッサ)、ASIC(Application Specific Integrated Circuit:アプリケーションスペシフィックインテグレイテッドサーキット)、GPU(Graphics Processing Unit:グラフィックスプロセッシングユニット)、その他のIC(Integrated Circuit:集積回路)を用いて構成されてもよく、もしくはそれらを組み合わせて構成されてもよい。
 また、本体側プロセッサ31の画像生成部21、表示制御部22、関心領域リスト作成部26、シェーマ画像生成部27、本体側通信部28および本体制御部29は、部分的にあるいは全体的に1つのCPU等に統合させて構成することもできる。
 ネットワーク4を介して診断装置本体2に接続されるマンモグラフィ装置5は、図4に示されるように、X線源51とX線検出器52とを備えている。
 例えば、図示しない圧迫板により圧迫された状態の被検体の乳房に対して、X線入射角度を変えながらX線源51からX線を照射し、乳房を透過したX線がX線検出器52により検出されることで、トモシンセシス撮影により一連の放射線画像が取得される。
 マンモグラフィ装置5は、さらに、図示しないコンピュータを搭載しており、コンピュータにより合成2次元画像の生成を行うことができる。すなわち、図5に示されるように、トモシンセシス撮影により取得された一連の放射線画像を3次元的に再構成することにより、複数のトモシンセシス画像53が生成され、これら複数のトモシンセシス画像53に基づいて、合成2次元画像54が生成される。
 複数のトモシンセシス画像53は、例えば、1mm程度のわずかな間隔を隔てて乳房を互いに平行にスライスした複数の断層画像である。
 なお、マンモグラフィ装置5では、3次元的に再構成された複数のトモシンセシス画像53を介することなく、トモシンセシス撮影により取得された一連の放射線画像から合成2次元画像54を生成することもできる。なお、合成2次元画像54を生成する際に、後述するCAD処理により抽出された関心領域Rの情報を反映させて生成してもよい。例えば、関心領域Rをより強調するように合成2次元画像54を生成することもできる。
 また、マンモグラフィ装置5のCAD(Computer-Aided Detection:コンピュータ支援検出)処理として、再構成された複数のトモシンセシス画像53に対して、それぞれ、関心領域Rの検出が行われる。
 例えば、AI(Artificial Intelligence:人工知能)を活用したディープラーニング(Deep Learning:深層学習)により、トモシンセシス画像53から関心領域Rを検出することができる。
 なお、CAD処理は、マンモグラフィ装置5に搭載されたコンピュータにより行うこともでき、あるいは、マンモグラフィ装置5に接続されたCAD処理専用のコンピュータにより行うこともできる。
 なお、合成2次元画像54は、例えば、患者識別情報が付された、いわゆるDICOM(Digital Imaging and Communications in Medicine)形式の画像データとして表され、付帯情報を格納するタグを有している。複数のトモシンセシス画像53のうちいずれかのトモシンセシス画像53において、CAD処理により関心領域Rが検出されると、検出された関心領域Rの情報および関心領域Rに対応するトモシンセシス画像53の情報が合成2次元画像54のタグに格納される。具体的には、検出された関心領域Rの識別情報、関心領域Rの位置、関心領域Rに対応し且つ関心領域Rを最もよく表しているトモシンセシス画像53のスライス番号等が、タグに格納される。
 また、MLO方向の合成2次元画像54の場合は、DICOMのパブリックタグであるPPA(Positioner Primary Angle)にマンモグラフィ装置5における撮影時の撮影角度、すなわち、X線検出器52が設置される角度が格納される。
 なお、マンモグラフィ装置5のCAD処理として、トモシンセシス撮影により撮影された一連の放射線画像から合成2次元画像54を生成する場合には、再構成された複数のトモシンセシス画像53ではなく、トモシンセシス撮影により撮影された一連の放射線画像に対して関心領域Rの検出を行うこともできる。ただし、検出された関心領域Rの位置を、3次元的に再構成したトモシンセシス画像53における位置に換算した上、トモシンセシス画像53のスライス番号に換算して、合成2次元画像54のタグに格納する必要がある。
 合成2次元画像54のタグとしては、DICOMタグを使用することができる。DICOMタグの中には、関心領域Rに対応するスライス番号等の各種情報を格納することができる。また、DICOMタグの中に、他の画像のSOP Instance UID(Service Objective Pair Instance Unique Identifier:SOPインスタンスUID)を格納することができる。さらに、それら他の画像の、DICOM規格におけるStudy Instance UID(Study Instance Unique Identifier:検査インスタンスUID)、Series Instance UID(Series Instance Unique Identifier:シリーズインスタンスUID)も格納することができる。
 また、検出された関心領域Rの情報および関心領域Rに対応するトモシンセシス画像53の情報は、合成2次元画像54のタグに格納される代わりに、画像を含まないデータのみが収納される、例えばDICOM-SR(Structured Report)等のファイルに格納することもできる。
 このようにして、再構成された複数のトモシンセシス画像53と、生成された合成2次元画像54は、マンモグラフィ装置5からネットワーク4を介してサーバ6に送出される。また、トモシンセシス撮影により取得された一連の放射線画像を、マンモグラフィ装置5からネットワーク4を介してサーバ6に送出してもよい。
 ネットワーク4を介して診断装置本体2に接続されるサーバ6は、超音波診断装置およびマンモグラフィ装置5により生成された各種の画像データを保管するものである。具体的には、診断装置本体2により生成された超音波画像、マンモグラフィ装置5により生成された複数のトモシンセシス画像53および合成2次元画像54が、サーバ6に保存される。また、マンモグラフィ装置5におけるトモシンセシス撮影により取得された一連の放射線画像を、サーバ6に保存することもできる。この場合、後述するように、サーバ6が再構成処理および合成2次元画像54の生成機能を有してもよい。
 サーバ6は、いわゆるPACS(Picture Archiving and Communication System:医療用画像管理システム)におけるサーバとして使用することができる。
 図6に、診断装置本体2のシェーマ画像生成部27により生成されるシェーマ画像71を示す。図6に示されるシェーマ画像71は、正面から見た右乳房を模式的に表すもので、円形状の乳房領域72と、腋窩を表し且つ乳房領域72から斜め上方に延びる略三角形状の腋窩領域73を有している。乳房領域72は、乳房の内側上部領域A、内側下部領域B、外側上部領域C、外側下部領域Dの4つの領域に分割されており、腋窩領域73は、外側上部領域Cの左斜め上部に接続されている。
 なお、図6に示されるシェーマ画像71を左右反転させることにより、左乳房を模式的に表すシェーマ画像が得られる。
 図7に示されるように、シェーマ画像生成部27により生成されるシェーマ画像71には、関心領域Rがプロットされ、さらに、関心領域Rを最もよく表しているトモシンセシス画像53を示すスライス線Cが描画されている。シェーマ画像生成部27は、合成2次元画像54のタグまたはDICOM-SRに格納されている付帯情報、すなわち、関心領域Rの識別情報、関心領域Rの位置、関心領域Rを最もよく表しているトモシンセシス画像53のスライス番号、撮影角度等を参照することにより、関心領域Rがプロットされ、スライス線Cが描画されたシェーマ画像71を生成することができる。
 まず、シェーマ画像生成部27は、合成2次元画像54のタグまたはDICOM-SRに格納されている、撮影角度および関心領域Rを最もよく表しているトモシンセシス画像53のスライス番号に基づいて、シェーマ画像71上にスライス線Cを描画する。スライス線Cは、撮影角度と同じ角度を有しており、X線検出器52と平行に延びる直線として描かれる。
 このとき、例えば、合成2次元画像54が右乳房のCC方向の合成2次元画像R-CCである場合は、撮影角度が「0度」であるので、それぞれのトモシンセシス画像53によるスライス面は、水平方向に延びることとなる。そこで、図8に示されるように、シェーマ画像71の円形状の乳房領域72の最下部に、複数のトモシンセシス画像53のうち最初のトモシンセシス画像53によるスライス面P0が位置し、円形状の乳房領域72の最上部に、複数のトモシンセシス画像53のうち最後のトモシンセシス画像53によるスライス面P1が位置するものとし、スライス面P0とスライス面P1との間を、トモシンセシス画像53の枚数に応じて均等に分割する。そして、最初のトモシンセシス画像53によるスライス面P0から、合成2次元画像54のタグまたはDICOM-SRに格納されているトモシンセシス画像53のスライス番号に相当する位置に、関心領域Rを最もよく表しているトモシンセシス画像53によるスライス面を表すスライス線Cが描画される。
 例えば、トモシンセシス画像53の枚数を7枚とし、関心領域Rを最もよく表しているトモシンセシス画像53のスライス番号を「3」とすると、スライス面P0とスライス面P1との間が均等に6分割され、円形状の乳房領域72の最下部に位置する最初のスライス面P0からスライス番号に相当する3番目のスライス面の位置にスライス線Cが描かれる。
 なお、トモシンセシス画像53の枚数は、合成2次元画像54のタグまたはDICOM-SRに格納しておくことができる。
 また、トモシンセシス画像53の枚数を合成2次元画像54のタグ、DICOM-SRに格納する代わりに、放射線画像の撮影時における圧迫板により圧迫された乳房の厚さ、スライス厚、スライス間隔に基づいて、生成されるトモシンセシス画像53の枚数を算出してもよい。
 さらに、最初のスライス面P0が円形状の乳房領域72の最上部に位置し、最後のスライス面P1が円形状の乳房領域72の最下部に位置するように設定することもできる。
 このようにしてスライス線Cが描画されると、次に、シェーマ画像生成部27は、合成2次元画像54とシェーマ画像71を互いに位置合わせした状態で、合成2次元画像54における関心領域Rの輪郭をスライス線C上に投影する。これにより、スライス線C上における関心領域Rの位置が特定され、図7に示されるように、スライス線Cが描画され且つスライス線C上に関心領域Rがプロットされたシェーマ画像71が生成される。
 図7に示されるシェーマ画像71は、右乳房のCC方向の合成2次元画像R-CCに対応するものであるが、右乳房のMLO方向の合成2次元画像R-MLOに対応するシェーマ画像71も同様にして生成することができる。
 図9に示されるように、MLO方向の合成2次元画像54では、撮影時におけるX線検出器52の角度が撮影角度として合成2次元画像54のパブリックタグPPAに格納されており、スライス線Cも、撮影角度に応じて傾斜した直線となる。
 そこで、図10に示されるように、シェーマ画像71の円形状の乳房領域72を挟むように、撮影角度に応じて傾斜させた2つのスライス面P0およびスライス面P1を位置させ、スライス面P0とスライス面P1との間を、トモシンセシス画像53の枚数に応じて均等に分割し、合成2次元画像54のタグまたはDICOM-SRに格納されているトモシンセシス画像53のスライス番号に相当する位置にスライス線Cを描画すればよい。
 さらに、合成2次元画像54における関心領域Rの輪郭をスライス線C上に投影することにより、図9に示されるように、スライス線Cが描画され且つスライス線C上に関心領域Rがプロットされた、右乳房のMLO方向の合成2次元画像R-MLOに対応するシェーマ画像71が生成される。
 また、図11および図12に示されるように、合成2次元画像54が、複数の関心領域R1、R2を有する場合には、同様にして、複数の関心領域R1、R2にそれぞれ対応するスライス線C1、C2が描画され、スライス線C1、C2上に関心領域R1、R2がプロットされたシェーマ画像71が生成される。
 なお、図11に示されるシェーマ画像71は、右乳房のCC方向の合成2次元画像R-CCに対応し、図12に示されるシェーマ画像71は、右乳房のMLO方向の合成2次元画像R-MLOに対応している。
 また、図示しないが、左乳房のCC方向の合成2次元画像L-CCに対応するシェーマ画像、左乳房のMLO方向の合成2次元画像L-MLOに対応するシェーマ画像も、右乳房に対するシェーマ画像71とは左右反転しているが、同様にして生成することができる。
 なお、複数の関心領域R1、R2は、関心領域リスト作成部26により作成される関心領域のリストに記載されるが、関心領域のリストに記載された複数の関心領域R1、R2のうち、選択された関心領域のみをシェーマ画像71にプロットすることもでき、あるいは、すべての関心領域をシェーマ画像71にプロットすることもできる。
 次に、実施の形態1に係る超音波診断装置の動作について説明する。
 予め、図13のフローチャートに示されるように、マンモグラフィ装置5により被検体の乳房に対して撮影が行われ、合成2次元画像54が生成される。すなわち、ステップS1で、図示しない圧迫板により圧迫された状態の被検体の乳房に対して、X線入射角度を変えながらX線源51からX線を照射することによりトモシンセシス撮影が実施され、一連の放射線画像が取得される。さらに、取得された一連の放射線画像を3次元的に再構成することにより、複数のトモシンセシス画像53が生成される。
 続くステップS2において、マンモグラフィ装置5のCAD処理として、3次元的に再構成された複数のトモシンセシス画像53に対して、それぞれ、関心領域Rの検出が行われる。
 さらに、ステップS3において、複数のトモシンセシス画像53に基づいて、合成2次元画像54が生成される。この合成2次元画像54は、検出された関心領域Rの識別情報、関心領域Rの位置、関心領域Rを最もよく表しているトモシンセシス画像53のスライス番号等が格納されたタグ、さらには、MLO方向の合成2次元画像54の場合には、トモシンセシス撮影を行う際の撮影角度が格納されたタグを有する画像データとして表される。あるいは、関心領域Rの識別情報、関心領域Rの位置、関心領域Rを最もよく表しているトモシンセシス画像53のスライス番号、トモシンセシス撮影を行う際の撮影角度等がDICOM-SRに格納される。
 マンモグラフィ装置5において取得された一連の放射線画像、複数のトモシンセシス画像53および合成2次元画像54は、マンモグラフィ装置5からネットワーク4を介してサーバ6に送出され、サーバ6により保管される。
 そして、ステップS4で、超音波診断装置のユーザから、患者識別情報に基づいて合成2次元画像54の照会および受信の要求がなされると、ネットワーク4を介してマンモグラフィ装置5またはサーバ6から超音波診断装置の診断装置本体2に合成2次元画像54が送信される。例えば、被検体の右乳房のCC方向の合成2次元画像R-CCおよびMLO方向の合成2次元画像R-MLOと、左乳房のCC方向の合成2次元画像L-CCおよびMLO方向の合成2次元画像L-MLOからなる4つの合成2次元画像が超音波診断装置の診断装置本体2に送信される。なお、超音波診断装置のユーザからの要求を受けることなく、マンモグラフィ装置5が、設定された超音波診断装置に自動的に合成2次元画像54を送信することもできる。
 超音波診断装置では、図14のフローチャートに示されるように、ステップS5で、診断装置本体2の本体側通信部28により、ネットワーク4を介してマンモグラフィ装置5またはサーバ6から合成2次元画像54が受信され、合成2次元画像メモリ25に保存される。
 続くステップS6において、診断装置本体2の本体制御部29は、例えば、本体側通信部28により受信されたR-CC、R-MLO、L-CCおよびL-MLOからなる4つの合成2次元画像54を、モニタ23上にサムネイル表示する。図15には、モニタ23の右上部分に4つの合成2次元画像R-CC、R-MLO、L-CCおよびL-MLOに対応するサムネイル画像80が示されている。
 そして、ステップS7において、ユーザにより、4つの合成2次元画像R-CC、R-MLO、L-CCおよびL-MLOに対応するサムネイル画像80のうちの1つが選択されると、ステップS8で、関心領域リスト作成部26により、関心領域Rのリスト81が作成され、モニタ23に表示される。このとき、関心領域リスト作成部26は、4つの合成2次元画像R-CC、R-MLO、L-CCおよびL-MLOに対応するサムネイル画像80の中からユーザにより選択されたサムネイル画像80に対応する合成2次元画像54のタグまたはDICOM-SRを参照することにより、この合成2次元画像54に含まれる関心領域Rのリスト81を作成し、表示制御部22を介して関心領域Rのリスト81をモニタ23に表示する。
 さらに、ステップS9において、ユーザにより、関心領域Rのリスト81から1つの関心領域Rが選択されると、シェーマ画像生成部27は、ステップS10で、合成2次元画像54のタグまたはDICOM-SRを参照することにより、選択された関心領域Rに関する情報を取得し、ステップS11で、シェーマ画像71の生成を行う。具体的には、ユーザにより選択された関心領域Rの識別情報、関心領域Rの位置、関心領域Rを最もよく表しているトモシンセシス画像53のスライス番号、撮影角度等の情報が、シェーマ画像生成部27により合成2次元画像54のタグまたはDICOM-SRから取得され、スライス線Cが描画され且つスライス線C上に関心領域Rがプロットされたシェーマ画像71が生成される。
 このようにして生成されたシェーマ画像71は、ユーザにより選択されたサムネイル画像80に対応する合成2次元画像54とともにモニタ23に表示される。
 なお、予め、データベースに、患者識別情報に対応させて、関心領域Rの識別情報、関心領域Rの位置、関心領域Rを最もよく表しているトモシンセシス画像53のスライス番号、撮影角度等の情報を登録しておき、ユーザにより、関心領域Rのリスト81から1つの関心領域Rが選択された場合に、シェーマ画像生成部27がデータベースからこれらの情報を取得するようにしてもよい。
 関心領域Rの位置としては、関心領域Rの幾何学的な中心の位置または関心領域Rの重心の位置を用いることができる。また、関心領域Rの長径および短径も、関心領域Rに関する情報として合成2次元画像54のタグまたはDICOM-SRに格納することができる。
 シェーマ画像71がモニタ23に表示されると、続くステップS12で、ユーザにより被検体の乳房に対する超音波画像が撮影される。
 このとき、被検体の乳房の表面上に超音波プローブ1が接触され、送受信回路12のパルサ15からの駆動信号に従って振動子アレイ11の複数の振動子から被検体内に向けた超音波の送受信が開始される。被検体内の組織による超音波エコーは、振動子アレイ11の複数の振動子により受信され、アナログ信号である受信信号が増幅部16に出力されて増幅され、AD変換部17でAD変換されて受信データが取得される。この受信データに対してビームフォーマ18により受信フォーカス処理が施され、これにより生成された音線信号が診断装置本体2の画像生成部21に送出され、被検体内の組織に関する断層画像情報を表す超音波画像が生成される。この際に、画像生成部21の信号処理部32により、音線信号に対して、超音波の反射位置の深度に応じた減衰の補正および包絡線検波処理が施され、DSC33により、通常のテレビジョン信号の走査方式に従う画像信号に変換され、画像処理部34により、階調処理等の各種の必要な画像処理が施される。
 そして、ステップS13において、ユーザにより選択されたサムネイル画像80に対応する合成2次元画像54と、ユーザにより選択された関心領域Rがプロットされたシェーマ画像71と、超音波プローブ1により現在撮影されている超音波画像82とが、併せてモニタ23に表示される。
 図15には、ユーザにより選択された合成2次元画像R-CCに対応するサムネイル画像80が太線により囲まれ、ユーザにより選択されたリスト81中の関心領域Rが太線により囲まれ、選択されたサムネイル画像80に対応する合成2次元画像54(R-CC)と、合成2次元画像54の一部に重畳表示されたシェーマ画像71と、現在撮影されている超音波画像82とがモニタ23に表示されている状態が示されている。
 シェーマ画像71には、関心領域Rを最もよく表しているトモシンセシス画像53によるスライス面を表すスライス線Cが描画され、さらに、スライス線C上に関心領域Rがプロットされているため、ユーザは、このシェーマ画像71を確認することにより、超音波プローブ1の走査位置を特定して、容易に関心領域Rを探索し、関心領域Rが含まれる超音波画像を生成することができる。
 また、実施の形態1に係る超音波診断装置においては、マンモグラフィ装置5により生成された複数のトモシンセシス画像53を診断装置本体2内に保存することなく、合成2次元画像54と、合成2次元画像54に付随し且つ合成2次元画像54上の関心領域Rを最もよく表しているトモシンセシス画像53の情報および関心領域Rの情報とに基づいて、関心領域Rがプロットされたシェーマ画像71を生成しているので、超音波診断装置に大容量の記憶領域を確保することなく、乳房の関心領域Rに対して精度の良い診断を行うことが可能となる。
 なお、上記の実施の形態1では、ユーザにより合成2次元画像R-CCに対応するサムネイル画像80が選択され、選択されたサムネイル画像80に対応する合成2次元画像54(R-CC)の関心領域Rがプロットされたシェーマ画像71が生成されているが、この合成2次元画像54(R-CC)とは撮影方向が異なり且つ被検体の乳房が撮影された他の合成2次元画像、例えば、合成2次元画像54(R-MLO)に、シェーマ画像71にプロットされた関心領域Rと同一の関心領域Rが撮影されている場合に、合成2次元画像54(R-MLO)もモニタ23に表示するように構成することができる。
 図16には、合成2次元画像54A(R-CC)と合成2次元画像54B(R-MLO)とがモニタ23に併せて表示された状態が示されている。
 例えば、図15に示されるシェーマ画像71の関心領域Rを、ダブルクリック等により指定したときに、他の合成2次元画像54に同一の関心領域Rが撮影されているか否かを判定して、同一の関心領域Rが撮影されている他の合成2次元画像54が存在する場合に、モニタ23に表示することができる。
 例えば、第1の合成2次元画像54と撮影方向が異なる第2の合成2次元画像54とで、同一の関心領域Rが撮影されているか否かの判定は、第2の合成2次元画像54における関心領域Rをシェーマ画像71上にプロットした際に、第1の合成2次元画像54における関心領域Rに対してしきい値以内の近い位置にあり、関心領域Rのサイズがほぼ同じためにサイズの差分がしきい値以内である場合に、同一の関心領域Rと判定することができる。
 なお、いわゆる多発性病変等の場合に、近い位置に同じようなサイズの関心領域Rが並んでおり、どの関心領域Rが同一の関心領域Rか判定しにくい場合は、すべての関心領域Rを表示することが好ましい。例えば、シェーマ画像71上にプロットされた関心領域Rの近傍に、判定しにくい関心領域Rの個数Xを記載して、近い位置に関心領域RがX個存在することを示し、さらに、合成2次元画像54上においてX個の関心領域Rをそれぞれ強調表示することができる。
 このように、互いに撮影方向が異なり且つ同一の関心領域が撮影されている複数の合成2次元画像54をモニタ23に表示することにより、ユーザは、より容易に超音波プローブ1の走査位置を特定することができ、乳房の関心領域Rに対してさらに精度の良い診断を行うことができる。また、図16に示されるように、モニタ23に複数の合成2次元画像54Aおよび54Bを表示しても、現在撮影されている超音波画像82には影響を及ぼさないため、超音波プローブ1により超音波撮影を行っているユーザの視線を無駄に移動させることがない。
 なお、上記の実施の形態1では、マンモグラフィ装置5が合成2次元画像54を生成したが、これに限るものではなく、サーバ6が合成2次元画像54を生成するように構成することもできる。この場合、サーバ6は、ネットワーク4を介してマンモグラフィ装置5から送信される、トモシンセシス撮影により取得された一連の放射線画像に基づいて、または、再構成された複数のトモシンセシス画像53に基づいて、合成2次元画像54を生成することができる。
実施の形態2
 図17に、実施の形態2に係る超音波診断装置における診断装置本体2Aの構成を示す。診断装置本体2Aは、図1に示した実施の形態1の超音波診断装置の診断装置本体2において、合成2次元画像メモリ25と表示制御部22の間に新たに強調部35を接続し、本体制御部29の代わりに本体制御部29Aを用いたもので、その他の構成は、実施の形態1における診断装置本体2と同様である。
 画像生成部21、表示制御部22、超音波画像メモリ24、合成2次元画像メモリ25、関心領域リスト作成部26、シェーマ画像生成部27、本体側通信部28および強調部35に、本体制御部29Aが接続されており、本体制御部29Aに、入力装置30が接続されている。
 画像生成部21、表示制御部22、関心領域リスト作成部26、シェーマ画像生成部27、本体側通信部28、強調部35および本体制御部29Aにより、本体側プロセッサ31Aが構成されている。
 強調部35は、シェーマ画像71にプロットされた関心領域Rがユーザにより指定された場合に、合成2次元画像54上の関心領域Rに対応する領域を強調してモニタ23に表示するものである。
 例えば、入力装置30を介してクリック等によりシェーマ画像71の関心領域Rが指定された場合に、強調部35により、図18に示されるように、モニタ23に表示されている合成2次元画像54上にサブウインドウ83が表示され、サブウインドウ83に関心領域Rが拡大表示される。このように拡大表示により関心領域Rを強調することができる。
 あるいは、シェーマ画像71の関心領域Rが指定された場合に、強調部35は、図19に示されるように、モニタ23に表示されている合成2次元画像54上の関心領域Rを強調線84により囲むことで、関心領域Rを強調することもできる。
 なお、強調部35は、関心領域Rのリスト81から選択された関心領域Rに対しても、合成2次元画像54上の関心領域Rに対応する領域を強調してモニタ23に表示することができる。
 このようにして、強調部35が合成2次元画像54上の関心領域Rを強調することにより、関心領域Rが見やすくなり、乳房の関心領域Rに対して精度の良い診断を行うことが可能となる。
実施の形態3
 図20に、実施の形態3に係る超音波診断装置における診断装置本体2Bの構成を示す。診断装置本体2Bは、図17に示した実施の形態2の超音波診断装置の診断装置本体2Aにおいて、本体側通信部28および表示制御部22に新たに所見表示部36を接続し、本体制御部29Aの代わりに本体制御部29Bを用いたもので、その他の構成は、実施の形態2における診断装置本体2Aと同様である。
 画像生成部21、表示制御部22、超音波画像メモリ24、合成2次元画像メモリ25、関心領域リスト作成部26、シェーマ画像生成部27、本体側通信部28、強調部35および所見表示部36に、本体制御部29Bが接続されており、本体制御部29Bに、入力装置30が接続されている。
 画像生成部21、表示制御部22、関心領域リスト作成部26、シェーマ画像生成部27、本体側通信部28、強調部35、所見表示部36および本体制御部29Bにより、本体側プロセッサ31Bが構成されている。
 所見表示部36は、例えば、ネットワーク4に接続されている図示しないレポートシステムにおいて、マンモグラフィ検査に対する所見が作成されている場合に、その所見をモニタ23に表示するものである。
 レポートシステムにおいて作成された所見のデータは、ネットワーク4を介して診断装置本体2の本体側通信部28により受信され、本体側通信部28から所見表示部36に送出される。所見のデータは、所見表示部36から表示制御部22に送られ、図21に示されるように、例えば、関心領域Rのリスト81に隣接して所見85がモニタ23上に表示される。
 なお、レポートシステムにおいて作成された所見が、関心領域Rに対する所見だけでなく、多岐にわたるものである場合に、所見表示部36は、本体側通信部28を介して取得した所見のデータから、関心領域Rに対する所見を抜粋してモニタ23上に表示させることもできる。
 また、レポートシステムにおいて作成された所見が、複数の関心領域Rに対するものである場合に、所見表示部36は、ユーザによりリスト81の中から選択された関心領域Rに対する所見のみを抜粋してモニタ23上に表示させることもできる。
 このようにして、レポートシステムにおいて作成された所見を、モニタ23に表示させることにより、超音波診断装置のユーザは、関心領域Rをより正確に認識しながら精度の良い診断を行うことが可能となる。
実施の形態4
 上記の実施の形態1では、モニタ23に表示された関心領域Rのリスト81からユーザにより選択された1つの関心領域Rに対応するシェーマ画像71が生成されたが、これに限るものではない。例えば、モニタ23に表示された合成2次元画像54上において、ユーザにより指定された任意の位置が関心領域Rの内部に含まれる場合に、シェーマ画像71を生成するように構成することもできる。
 図22に、実施の形態4に係る超音波診断装置における診断装置本体2Cの構成を示す。診断装置本体2Cは、図1に示した実施の形態1の超音波診断装置の診断装置本体2において、関心領域リスト作成部26を省略し、本体制御部29の代わりに本体制御部29Cを用いたもので、その他の構成は、実施の形態1における診断装置本体2と同様である。
 画像生成部21、表示制御部22、超音波画像メモリ24、合成2次元画像メモリ25、シェーマ画像生成部27および本体側通信部28に、本体制御部29Cが接続されており、本体制御部29Cに、入力装置30が接続されている。
 画像生成部21、表示制御部22、シェーマ画像生成部27、本体側通信部28および本体制御部29Cにより、本体側プロセッサ31Cが構成されている。
 図23のフローチャートを参照しながら、実施の形態4に係る超音波診断装置の動作について説明する。
 ステップS5~S7は、図14に示した実施の形態1におけるフローチャートのステップS5~S7と同一である。すなわち、ステップS5で、診断装置本体2の本体側通信部28により、ネットワーク4を介してマンモグラフィ装置5またはサーバ6から合成2次元画像54が受信され、合成2次元画像メモリ25に保存される。
 続くステップS6において、診断装置本体2の本体制御部29Cにより、例えば、本体側通信部28により受信されたR-CC、R-MLO、L-CCおよびL-MLOからなる4つの合成2次元画像54が、モニタ23上にサムネイル表示される。
 さらに、ステップS7において、ユーザにより、4つの合成2次元画像R-CC、R-MLO、L-CCおよびL-MLOに対応するサムネイル画像80のうちの1つが選択される。
 ステップS7で、ユーザにより1つのサムネイル画像80が選択されると、ステップS14に進み、本体制御部29Cにより、選択されたサムネイル画像80に対応する合成2次元画像54がモニタ23に表示される。
 さらに、ステップS10において、シェーマ画像生成部27は、合成2次元画像54のタグまたはDICOM-SRを参照することにより、指定された位置が含まれる関心領域Rに関する情報を取得する。
 続くステップS15において、モニタ23に表示されている合成2次元画像54上の任意の位置が、ユーザにより指定されたか否かが判定される。
 ステップS15で、例えば、入力装置30を介してクリック等により合成2次元画像54上の任意の位置が指定された、と判定された場合は、ステップS16に進み、指定された位置が合成2次元画像54の関心領域Rの内部に含まれるか否かが判定される。
 ステップS16で、指定された位置が関心領域Rの内部に含まれないと判定されると、ステップS15に戻り、合成2次元画像54上の任意の位置が、新たに指定されたか否かが判定される。
 一方、ステップS16において、指定された位置が関心領域Rの内部に含まれていると判定された場合は、ステップS11に進み、シェーマ画像生成部27により、ステップS10で取得された関心領域Rに関する情報を利用して、スライス線Cが描画され且つスライス線C上に関心領域Rがプロットされたシェーマ画像71が生成される。
 このようにして生成されたシェーマ画像71は、合成2次元画像54とともにモニタ23に表示される。
 シェーマ画像71がモニタ23に表示されると、続くステップS12で、ユーザにより被検体の乳房に対する超音波画像が撮影される。
 そして、ステップS13において、合成2次元画像54と、シェーマ画像71と、超音波プローブ1により現在撮影されている超音波画像82とが、併せてモニタ23に表示される。
 このように、関心領域Rのリスト81を用いることなく、モニタ23に表示された合成2次元画像54上において、ユーザにより任意の位置が指定されても、実施の形態1と同様に、超音波診断装置に大容量の記憶領域を確保することなく、乳房の関心領域Rに対して精度の良い診断を行うことが可能となる。
 また、複数の関心領域Rが存在する場合に、すべての関心領域Rがプロットされたシェーマ画像71を生成し、シェーマ画像71にプロットされた複数の関心領域Rから1つの関心領域Rを選択するように構成することもできる。
 なお、上記の実施の形態1~4では、超音波プローブ1と診断装置本体2、2A、2B、2Cとが、互いに図示しないケーブルを介して有線接続されているが、これに限るものではなく、超音波プローブ1と診断装置本体2、2A、2B、2Cとを、互いに無線接続することもできる。
 1 超音波プローブ、2,2A,2B,2C  診断装置本体、4 ネットワーク、5 マンモグラフィ装置、6 サーバ、11 振動子アレイ、12 送受信回路、15 パルサ、16 増幅部、17 AD変換部、18 ビームフォーマ、21 画像生成部、22 表示制御部、23 モニタ、24 超音波画像メモリ、25 合成2次元画像メモリ、26 関心領域リスト作成部、27 シェーマ画像生成部、28 本体側通信部、29,29A,29B,29C 本体制御部、30 入力装置、31,31A,31B,31C 本体側プロセッサ、32 信号処理部、33 DSC、34 画像処理部、35 強調部、36 所見表示部、51 X線源、52 X線検出器、53 トモシンセシス画像、54,54A,54B,R-CC,R-MLO,L-CC,L-MLO 合成2次元画像、71 シェーマ画像、72 乳房領域、73 腋窩領域、80 サムネイル画像、81 リスト、82 超音波画像、83 サブウインドウ、84 強調線、85 所見、R,R1,R2 関心領域、C,C1,C2 スライス線、P0,P1 スライス面。

Claims (14)

  1.  超音波プローブと、
     被検体に対し前記超音波プローブを用いて超音波ビームの送受信を行うことにより前記被検体の乳房が撮影された超音波画像を生成する画像生成部と、
     トモシンセシス撮影により得られ且つ前記被検体の前記乳房が撮影された一連の放射線画像を用いて生成された合成2次元画像および前記合成2次元画像に付随し且つ前記合成2次元画像上の関心領域に対応するトモシンセシス画像の情報および前記関心領域の情報に基づいて、前記関心領域がプロットされたシェーマ画像を生成するシェーマ画像生成部と、
     前記超音波画像と前記合成2次元画像と前記シェーマ画像を表示するモニタと
     を備える超音波診断装置。
  2.  前記シェーマ画像生成部は、前記合成2次元画像上の複数の前記関心領域がそれぞれプロットされた前記シェーマ画像を生成する請求項1に記載の超音波診断装置。
  3.  前記合成2次元画像に含まれる前記関心領域のリストを作成する関心領域リスト作成部と、
     ユーザが入力操作を行う入力装置と
     を備え、
     前記関心領域リスト作成部により作成された前記リストが、前記モニタに表示され、
     前記シェーマ画像生成部は、前記モニタに表示された前記リストから前記ユーザにより前記入力装置を介して選択された前記関心領域がプロットされた前記シェーマ画像を生成する請求項1または2に記載の超音波診断装置。
  4.  ユーザが入力操作を行う入力装置を備え、
     前記合成2次元画像が、前記モニタに表示され、
     前記シェーマ画像生成部は、前記モニタに表示された前記合成2次元画像上において、前記ユーザにより前記入力装置を介して指定された任意の位置が前記関心領域の内部に含まれる場合に、前記関心領域がプロットされた前記シェーマ画像を生成する請求項1または2に記載の超音波診断装置。
  5.  前記シェーマ画像にプロットされた前記関心領域が前記ユーザにより前記入力装置を介して指定された場合に、前記合成2次元画像上の前記関心領域に対応する領域を強調して前記モニタに表示する強調部を備える請求項3または4に記載の超音波診断装置。
  6.  前記強調部は、前記合成2次元画像上にサブウインドウを表示し、前記サブウインドウに前記関心領域を拡大表示する請求項5に記載の超音波診断装置。
  7.  前記強調部は、前記合成2次元画像上の前記関心領域を強調線により囲む請求項5に記載の超音波診断装置。
  8.  前記シェーマ画像生成部は、前記関心領域に対応する前記トモシンセシス画像を表すスライス線を含む前記シェーマ画像を生成する請求項1~7のいずれか一項に記載の超音波診断装置。
  9.  前記シェーマ画像に併せて、マンモグラフィ検査に対する所見を前記モニタに表示する所見表示部を備える請求項1~8のいずれか一項に記載の超音波診断装置。
  10.  前記超音波画像と前記合成2次元画像と前記シェーマ画像に加えて、前記被検体の左右の前記乳房のそれぞれに対して頭尾方向撮影および内外斜位方向撮影により取得された4つの合成2次元画像が前記モニタにサムネイル表示される請求項1~9のいずれか一項に記載の超音波診断装置。
  11.  前記合成2次元画像とは撮影方向が異なり且つ前記被検体の前記乳房が撮影された他の合成2次元画像に、前記シェーマ画像にプロットされている前記関心領域と同一の関心領域が撮影されている場合に、前記超音波画像および前記シェーマ画像に併せて、前記合成2次元画像と前記他の合成2次元画像が前記モニタに表示される請求項1~10のいずれか一項に記載の超音波診断装置。
  12.  前記関心領域の識別情報、前記関心領域の位置および前記関心領域に対応する前記トモシンセシス画像のスライス番号、撮影角度が、前記合成2次元画像に付随するタグまたは画像を含まないファイルに格納される請求項1~11のいずれか一項に記載の超音波診断装置。
  13.  前記合成2次元画像を保存するメモリを備える請求項1~12のいずれか一項に記載の超音波診断装置。
  14.  被検体に対し超音波プローブを用いて超音波ビームの送受信を行うことにより前記被検体の乳房が撮影された超音波画像を生成し、
     トモシンセシス撮影により得られ且つ前記被検体の前記乳房が撮影された一連の放射線画像を用いて生成された合成2次元画像および前記合成2次元画像に付随し且つ前記合成2次元画像上の関心領域に対応するトモシンセシス画像の情報および前記関心領域の情報に基づいて、前記関心領域がプロットされたシェーマ画像を生成し、
     前記超音波画像と前記合成2次元画像と前記シェーマ画像をモニタに表示する
     超音波診断装置の制御方法。
PCT/JP2021/028029 2020-09-28 2021-07-29 超音波診断装置および超音波診断装置の制御方法 WO2022064836A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022551165A JP7411109B2 (ja) 2020-09-28 2021-07-29 超音波診断装置および超音波診断装置の制御方法
EP21871968.0A EP4218595A4 (en) 2020-09-28 2021-07-29 ULTRASONIC DIAGNOSTIC DEVICE AND METHOD FOR CONTROLLING THE ULTRASONIC DIAGNOSTIC DEVICE
CN202180066080.9A CN116209395A (zh) 2020-09-28 2021-07-29 超声波诊断装置及超声波诊断装置的控制方法
US18/188,334 US20230225708A1 (en) 2020-09-28 2023-03-22 Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020162405 2020-09-28
JP2020-162405 2020-09-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/188,334 Continuation US20230225708A1 (en) 2020-09-28 2023-03-22 Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus

Publications (1)

Publication Number Publication Date
WO2022064836A1 true WO2022064836A1 (ja) 2022-03-31

Family

ID=80845246

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/028029 WO2022064836A1 (ja) 2020-09-28 2021-07-29 超音波診断装置および超音波診断装置の制御方法

Country Status (5)

Country Link
US (1) US20230225708A1 (ja)
EP (1) EP4218595A4 (ja)
JP (1) JP7411109B2 (ja)
CN (1) CN116209395A (ja)
WO (1) WO2022064836A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160074012A1 (en) * 2014-03-31 2016-03-17 Esaote S.P.A. Apparatus and method of ultrasound image acquisition, generation and display
JP2016059743A (ja) * 2014-09-22 2016-04-25 コニカミノルタ株式会社 医用画像システム及びプログラム
JP2018043001A (ja) 2016-09-12 2018-03-22 キヤノンメディカルシステムズ株式会社 医用情報処理システム
JP2018126204A (ja) * 2017-02-06 2018-08-16 キヤノンメディカルシステムズ株式会社 医用情報処理システム及び医用画像処理装置
JP2019193788A (ja) 2018-04-27 2019-11-07 キヤノンメディカルシステムズ株式会社 医用情報処理システム及び医用情報処理プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140082542A1 (en) * 2010-07-19 2014-03-20 Qview, Inc. Viewing and correlating between breast ultrasound and mammogram or breast tomosynthesis images
JP7098294B2 (ja) * 2017-09-28 2022-07-11 キヤノンメディカルシステムズ株式会社 医用情報処理装置
US10796430B2 (en) * 2018-04-24 2020-10-06 General Electric Company Multimodality 2D to 3D imaging navigation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160074012A1 (en) * 2014-03-31 2016-03-17 Esaote S.P.A. Apparatus and method of ultrasound image acquisition, generation and display
JP2016059743A (ja) * 2014-09-22 2016-04-25 コニカミノルタ株式会社 医用画像システム及びプログラム
JP2018043001A (ja) 2016-09-12 2018-03-22 キヤノンメディカルシステムズ株式会社 医用情報処理システム
JP2018126204A (ja) * 2017-02-06 2018-08-16 キヤノンメディカルシステムズ株式会社 医用情報処理システム及び医用画像処理装置
JP2019193788A (ja) 2018-04-27 2019-11-07 キヤノンメディカルシステムズ株式会社 医用情報処理システム及び医用情報処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4218595A4

Also Published As

Publication number Publication date
JP7411109B2 (ja) 2024-01-10
EP4218595A1 (en) 2023-08-02
CN116209395A (zh) 2023-06-02
EP4218595A4 (en) 2024-03-20
US20230225708A1 (en) 2023-07-20
JPWO2022064836A1 (ja) 2022-03-31

Similar Documents

Publication Publication Date Title
JP6081299B2 (ja) 超音波診断装置
JP5143333B2 (ja) 異なる種類の画像において異常部を観察するための画像処理を行うシステム及び方法
JP5530592B2 (ja) イメージング・パラメータの記憶法
JP5400466B2 (ja) 画像診断装置、画像診断方法
JP4470187B2 (ja) 超音波装置、超音波撮像プログラム及び超音波撮像方法
US11653897B2 (en) Ultrasonic diagnostic apparatus, scan support method, and medical image processing apparatus
JP5202886B2 (ja) 超音波映像を形成する超音波システム及び方法
JP6202963B2 (ja) 画像処理システム、x線診断装置及び画像処理方法
JP2009082402A (ja) 医用画像診断システム、医用撮像装置、医用画像格納装置、及び、医用画像表示装置
JP2015119768A (ja) 画像処理装置、超音波診断装置及び画像処理プログラム
JP6073563B2 (ja) 超音波診断装置、画像処理装置及び画像処理プログラム
JP6109556B2 (ja) 超音波診断装置及び画像処理プログラム
JP2017070608A (ja) 超音波画像診断装置
US20150351725A1 (en) Ultrasonic diagnosis apparatus and medical image processing apparatus
JP6833533B2 (ja) 超音波診断装置および超音波診断支援プログラム
JP7326070B2 (ja) 画像表示装置、方法およびプログラム、画像管理装置、方法およびプログラム
WO2022064836A1 (ja) 超音波診断装置および超音波診断装置の制御方法
JP6334013B2 (ja) 超音波診断装置
Zheng et al. Volumetric tri-modal imaging with combined photoacoustic, ultrasound, and shear wave elastography
JP7453400B2 (ja) 超音波システムおよび超音波システムの制御方法
JP7465988B2 (ja) 超音波システムおよび超音波システムの制御方法
US20230200783A1 (en) Ultrasound system and control method of ultrasound system
WO2022065050A1 (ja) 超音波診断装置および超音波診断装置の制御方法
JP5701362B2 (ja) 画像診断装置、画像診断方法
JP2023519876A (ja) 複数の画像化モダリティにおける関心対象領域を識別するシステム及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21871968

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022551165

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2021871968

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021871968

Country of ref document: EP

Effective date: 20230428