WO2020246151A1 - ３次元超音波画像生成装置、方法、及びプログラム - Google Patents

３次元超音波画像生成装置、方法、及びプログラム Download PDF

Info

Publication number
WO2020246151A1
WO2020246151A1 PCT/JP2020/016817 JP2020016817W WO2020246151A1 WO 2020246151 A1 WO2020246151 A1 WO 2020246151A1 JP 2020016817 W JP2020016817 W JP 2020016817W WO 2020246151 A1 WO2020246151 A1 WO 2020246151A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewpoint
image
dimensional ultrasonic
dimensional
position information
Prior art date
Application number
PCT/JP2020/016817
Other languages
English (en)
French (fr)
Inventor
東 高橋
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2021524696A priority Critical patent/JP7275261B2/ja
Priority to DE112020002679.5T priority patent/DE112020002679T5/de
Publication of WO2020246151A1 publication Critical patent/WO2020246151A1/ja
Priority to US17/531,772 priority patent/US20220079561A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode

Definitions

  • the present disclosure relates to a three-dimensional ultrasound image generator, method, and program for generating a three-dimensional ultrasound image.
  • ultrasonic diagnostic apparatus In the ultrasonic diagnostic apparatus, there is known a technique of generating a three-dimensional ultrasonic image from a two-dimensional ultrasonic image acquired by imaging with an ultrasonic probe and an imaging position of the ultrasonic probe.
  • a two-dimensional ultrasonic image may include an unclear image region due to artifacts caused by reflection and refraction of ultrasonic waves, and a decrease in resolution in the image in proportion to the distance from the ultrasonic probe. ..
  • the thickness of the blood vessel wall or the like is measured.
  • an unclear image region is included in the ultrasonic image, it becomes difficult to measure the thickness of the blood vessel wall or the like.
  • a two-dimensional ultrasonic image is acquired from different viewpoints by imaging an observation target from different viewpoints, and an image region other than an unclear image region is used in the two-dimensional ultrasonic image of each different viewpoint to obtain a blood vessel. We are measuring the thickness of the wall.
  • the three-dimensional ultrasonic image when a three-dimensional ultrasonic image is generated using a two-dimensional ultrasonic image containing an unclear image area, the three-dimensional ultrasonic image also includes an unclear image area.
  • a three-dimensional ultrasonic image including an unclear image region is not suitable for measuring the thickness of the blood vessel wall or the like. Therefore, in recent years, a technique for generating a higher-definition ultrasonic image in which an unclear image region is suppressed has been disclosed.
  • Patent Document 1 discloses a method of removing an artifact by preparing a plurality of images containing an artifact and an image not containing the artifact having different positional relationships and adding or subtracting the pixel values of the plurality of images. Further, in Patent Document 2, a pixel corresponding to a scanning line by ultrasonic waves in which an angle from a normal line passing through the center of an element plane of an ultrasonic probe in which a plurality of ultrasonic transducers are arranged exceeds an allowable angle. In addition, a method of suppressing image distortion due to artifacts by applying a mask has been proposed.
  • Patent Document 3 by synthesizing images in different angle ranges by matching the coordinate systems, even if an image in one angle range has, for example, multiple reflection artifacts, it can be displayed in an image in another angle range. If not, it is disclosed that the artifact can be removed or suppressed.
  • the present disclosure has been made in view of the above circumstances, and an object of the present disclosure is to enable the generation of a higher-definition three-dimensional ultrasonic image by suppressing an unclear image region caused by an organ to be measured. To do.
  • the first three-dimensional ultrasonic image generator of the present disclosure images a target organ in the subject at a plurality of imaging positions while moving the ultrasonic probe in one direction along the body surface of the subject.
  • a plurality of two-dimensional ultrasonic images in each of the first viewpoint and the second viewpoint in which a plurality of imaging positions are imaged from at least two viewpoints of the first viewpoint and the second viewpoint.
  • a three-dimensional ultrasonic image generator that generates a three-dimensional ultrasonic image of each of the two viewpoints
  • An organ extraction unit that extracts organs included in the three-dimensional ultrasonic image based on at least one of the three-dimensional ultrasonic images of the first viewpoint and the second viewpoint, and an organ extraction unit.
  • the three-dimensional ultrasonic images of the first viewpoint and the second viewpoint based on the position information of the organ extracted by the organ extraction unit and the position information of the ultrasonic probe acquired by the probe position information acquisition unit.
  • An image processing unit that extracts an unclear image area from at least a three-dimensional ultrasonic image from which an organ has been extracted and suppresses the unclearness in the extracted image area. It is a three-dimensional ultrasonic image of two viewpoints of the first viewpoint and the second viewpoint, and the three-dimensional ultrasonic image of at least one viewpoint includes a three-dimensional ultrasonic image subjected to suppression processing.
  • An image synthesizer that generates a composite 3D ultrasound image by synthesizing a 3D ultrasound image, including.
  • the second three-dimensional ultrasonic image generator of the present disclosure images a target organ in the subject at a plurality of imaging positions while moving the ultrasonic probe in one direction along the body surface of the subject.
  • the 2D ultrasound image based on at least one 2D ultrasound image of the plurality of 2D ultrasound images in at least one of the first viewpoint and the second viewpoint acquired by the image acquisition unit.
  • An organ extraction unit that extracts the organs Of the two-dimensional ultrasonic images of the first viewpoint and the second viewpoint, based on the position information of the organ extracted by the organ extraction unit and the position information of the ultrasonic probe acquired by the probe position information acquisition unit.
  • At least for each of the plurality of two-dimensional ultrasonic images corresponding to the viewpoint including the two-dimensional ultrasonic image in which the organ is extracted an unclear image area is extracted, and suppression processing for suppressing the unclearness in the extracted image area is performed.
  • Image processing unit to perform and Two two-dimensional ultrasonic images of two viewpoints of the first viewpoint and the second viewpoint, and the two-dimensional ultrasonic image of at least one viewpoint includes a two-dimensional ultrasonic image subjected to suppression processing.
  • a three-dimensional ultrasonic image generator that generates a three-dimensional ultrasonic image of two viewpoints, a first viewpoint and a second viewpoint, based on each of the two-dimensional ultrasonic images of the viewpoints.
  • An image synthesizer that generates a composite 3D ultrasonic image by synthesizing 3D ultrasonic images from two viewpoints, a first viewpoint and a second viewpoint, generated by the 3D ultrasonic image generation unit. including.
  • the viewpoint may be two viewpoints or three or more viewpoints as long as the first viewpoint and the second viewpoint are included.
  • the image processing unit has a traveling direction derived based on the position information of the organ extracted by the organ extraction unit and the position information of the ultrasonic probe. , An unclear image area can be extracted based on the traveling direction of the ultrasonic wave radiated to the organ from the ultrasonic probe.
  • the image processing unit extracts a region in which the angle formed by the traveling direction and the outer surface of the organ is equal to or less than a predetermined threshold value as an unclear image region. Can be done.
  • the suppression process can be a process of relatively reducing the pixel value of the unclear image region as compared with the pixel value of the other region.
  • the image synthesizing unit is based on the three-dimensional ultrasonic images of the two viewpoints of the first viewpoint and the second viewpoint, and the pixel values of the pixels at the same position. This is an averaging process for averaging pixel values in an area other than the unclear image area where the suppression process has been performed.
  • the three-dimensional ultrasonic image generator of the present disclosure includes a display control unit that displays at least one image of the two-dimensional ultrasonic image and the three-dimensional ultrasonic image on the display unit.
  • the display control unit displays a composite 3D ultrasonic image on the display unit, and displays the 2D ultrasonic image captured at the imaging position closest to the position specified by the user on the displayed composite 3D ultrasonic image. It is possible to control the display on the display unit.
  • the marker member fixed to the ultrasonic probe and the marker member It is provided with an imaging unit that includes an ultrasonic probe and a marker member within the same imaging range for imaging.
  • the probe position information acquisition unit can acquire the position information of the ultrasonic probe based on the image captured by the ultrasonic probe and the marker member acquired by the imaging unit.
  • the three-dimensional ultrasonic image generator of the present disclosure includes a 6-axis sensor provided in the ultrasonic probe.
  • the probe position information acquisition unit can acquire the position information of the ultrasonic probe based on the output information output from the 6-axis sensor.
  • a marker member fixed to the ultrasonic probe and a 6-axis sensor provided on the ultrasonic probe are used. It is provided with an imaging unit that includes an ultrasonic probe and a marker member within the same imaging range for imaging.
  • the probe position information acquisition unit can acquire the position information of the ultrasonic probe based on the captured image of the ultrasonic probe and the marker member acquired by the imaging unit and the output information output from the 6-axis sensor.
  • a target organ in a subject is imaged at a plurality of imaging positions while moving the ultrasonic probe in one direction along the body surface of the subject.
  • a plurality of two-dimensional ultrasonic images in each of the first viewpoint and the second viewpoint in which a plurality of imaging positions are imaged from at least two viewpoints of the first viewpoint and the second viewpoint.
  • Get an ultrasound image and Position information including the imaging direction indicating the direction of the viewpoint of the ultrasonic probe and the imaging position for each viewpoint is acquired for each imaging.
  • the three-dimensional ultrasonic images of the first viewpoint and the second viewpoint Based on the plurality of acquired two-dimensional ultrasonic images of the first viewpoint and the second viewpoint and the acquired position information for each imaging, the three-dimensional ultrasonic images of the first viewpoint and the second viewpoint, respectively.
  • the organs included in the three-dimensional ultrasonic image are extracted. Based on the position information of the extracted organs and the position information of the acquired ultrasonic probe, at least the organs are extracted from the three-dimensional ultrasonic images of the first viewpoint and the second viewpoint.
  • the ultrasonic image an unclear image area is extracted, and suppression processing is performed to suppress the unclearness in the extracted image area. It is a three-dimensional ultrasonic image of two viewpoints of the first viewpoint and the second viewpoint, and the three-dimensional ultrasonic image of at least one viewpoint includes a three-dimensional ultrasonic image subjected to suppression processing.
  • a composite three-dimensional ultrasound image is generated by synthesizing a three-dimensional ultrasound image.
  • a target organ in the subject is imaged at a plurality of imaging positions while moving the ultrasonic probe in one direction along the body surface of the subject.
  • Get an ultrasound image and Position information including the imaging direction indicating the direction of the viewpoint of the ultrasonic probe and the imaging position for each viewpoint is acquired for each imaging.
  • Organs included in the 2D ultrasound image are extracted based on at least one 2D ultrasound image of the plurality of 2D ultrasound images in at least one of the acquired first viewpoint and the second viewpoint.
  • At least the two-dimensional ultrasonic waves obtained by extracting at least the organs from the two-dimensional ultrasonic images of the first viewpoint and the second viewpoint Based on the position information of the extracted organs and the position information of the acquired ultrasonic probe, at least the two-dimensional ultrasonic waves obtained by extracting at least the organs from the two-dimensional ultrasonic images of the first viewpoint and the second viewpoint. For each of the plurality of two-dimensional ultrasonic images corresponding to the viewpoint including the image, an unclear image area is extracted, and suppression processing is performed to suppress the unclearness in the extracted image area.
  • Two two-dimensional ultrasonic images of two viewpoints of the first viewpoint and the second viewpoint, and the two-dimensional ultrasonic image of at least one viewpoint includes a two-dimensional ultrasonic image subjected to suppression processing.
  • a three-dimensional ultrasonic image of the two viewpoints of the first viewpoint and the second viewpoint is generated.
  • the generated three-dimensional ultrasonic images of the two viewpoints of the first viewpoint and the second viewpoint are combined to generate a composite three-dimensional ultrasonic image.
  • the first three-dimensional ultrasonic image generation program of the present disclosure images a target organ in a subject at a plurality of imaging positions while moving the ultrasonic probe in one direction along the body surface of the subject.
  • a plurality of two-dimensional ultrasonic images in each of the first viewpoint and the second viewpoint in which a plurality of imaging positions are imaged from at least two viewpoints of the first viewpoint and the second viewpoint.
  • a probe position information acquisition unit that acquires position information including an imaging direction indicating the direction of the viewpoint of the ultrasonic probe and an imaging position for each viewpoint for each imaging.
  • a three-dimensional ultrasonic image generator that generates a three-dimensional ultrasonic image of each of the two viewpoints
  • An organ extraction unit that extracts organs included in the three-dimensional ultrasonic image based on at least one of the three-dimensional ultrasonic images of the first viewpoint and the second viewpoint, and an organ extraction unit.
  • the three-dimensional ultrasonic images of the first viewpoint and the second viewpoint based on the position information of the organ extracted by the organ extraction unit and the position information of the ultrasonic probe acquired by the probe position information acquisition unit.
  • An image processing unit that extracts an unclear image area of at least a three-dimensional ultrasonic image from which an organ has been extracted and suppresses the unclearness in the extracted image area. It is a three-dimensional ultrasonic image of two viewpoints of the first viewpoint and the second viewpoint, and the three-dimensional ultrasonic image of at least one viewpoint includes a three-dimensional ultrasonic image subjected to suppression processing.
  • an image compositing unit that generates a composite 3D ultrasonic image by synthesizing a 3D ultrasonic image Make your computer work.
  • the second three-dimensional ultrasonic image generation program of the present disclosure images a target organ in the subject at a plurality of imaging positions while moving the ultrasonic probe in one direction along the body surface of the subject.
  • the 2D ultrasound image based on at least one 2D ultrasound image of the plurality of 2D ultrasound images in at least one of the first viewpoint and the second viewpoint acquired by the image acquisition unit.
  • An organ extraction unit that extracts the organs Of the two-dimensional ultrasonic images of the first viewpoint and the second viewpoint, based on the position information of the organ extracted by the organ extraction unit and the position information of the ultrasonic probe acquired by the probe position information acquisition unit.
  • Image processing unit that performs Two two-dimensional ultrasonic images of two viewpoints of the first viewpoint and the second viewpoint, and the two-dimensional ultrasonic image of at least one viewpoint includes a two-dimensional ultrasonic image subjected to suppression processing.
  • a three-dimensional ultrasonic image generator that generates a three-dimensional ultrasonic image of two viewpoints, a first viewpoint and a second viewpoint, based on each of the two-dimensional ultrasonic images of the viewpoints.
  • an image synthesizing unit that generates a three-dimensional ultrasonic image by synthesizing three-dimensional ultrasonic images of two viewpoints, the first viewpoint and the second viewpoint, generated by the three-dimensional ultrasonic image generation unit. Make your computer work.
  • the other first three-dimensional ultrasonic image generator includes a memory for storing an instruction to be executed by a computer and a memory.
  • the processor comprises a processor configured to execute a stored instruction.
  • a plurality of two-dimensional ultrasonic images in which a target organ in a subject is imaged at a plurality of imaging positions while moving the ultrasonic probe in one direction along the body surface of the subject, and the first viewpoint and A plurality of two-dimensional ultrasonic images at each of the first viewpoint and the second viewpoint in which a plurality of imaging positions were imaged were acquired from each of at least two viewpoints of the second viewpoint.
  • Position information including the imaging direction indicating the direction of the viewpoint of the ultrasonic probe and the imaging position for each viewpoint is acquired for each imaging.
  • the three-dimensional ultrasonic images of the first viewpoint and the second viewpoint Based on the plurality of acquired two-dimensional ultrasonic images of the first viewpoint and the second viewpoint and the acquired position information for each imaging, the three-dimensional ultrasonic images of the first viewpoint and the second viewpoint, respectively.
  • the organs included in the three-dimensional ultrasonic image are extracted.
  • the position information of the extracted organs and the position information of the acquired ultrasonic probe at least the organs are extracted from the three-dimensional ultrasonic images of the first viewpoint and the second viewpoint.
  • For the ultrasonic image an unclear image area is extracted, and suppression processing is performed to suppress the unclearness in the extracted image area.
  • the three-dimensional ultrasonic image of at least one viewpoint includes a three-dimensional ultrasonic image subjected to suppression processing.
  • synthesizing a three-dimensional ultrasonic image a process of generating a composite three-dimensional ultrasonic image is executed.
  • the other second three-dimensional ultrasonic image generator includes a memory for storing instructions to be executed by a computer and a memory.
  • the processor comprises a processor configured to execute a stored instruction.
  • a plurality of two-dimensional ultrasonic images in which a target organ in a subject is imaged at a plurality of imaging positions while moving the ultrasonic probe in one direction along the body surface of the subject, and the first viewpoint and A plurality of two-dimensional ultrasonic images at each of the first viewpoint and the second viewpoint in which a plurality of imaging positions were imaged were acquired from each of at least two viewpoints of the second viewpoint.
  • Position information including the imaging direction indicating the direction of the viewpoint of the ultrasonic probe and the imaging position for each viewpoint is acquired for each imaging.
  • Organs included in the 2D ultrasound image are extracted based on at least one 2D ultrasound image of the plurality of 2D ultrasound images in at least one of the acquired first viewpoint and the second viewpoint. And Based on the position information of the extracted organs and the position information of the acquired ultrasonic probe, at least the two-dimensional ultrasonic waves obtained by extracting at least the organs from the two-dimensional ultrasonic images of the first viewpoint and the second viewpoint. For each of the plurality of two-dimensional ultrasonic images corresponding to the viewpoint including the image, an unclear image area is extracted, and suppression processing is performed to suppress the unclearness in the extracted image area.
  • Two two-dimensional ultrasonic images of two viewpoints of the first viewpoint and the second viewpoint, and the two-dimensional ultrasonic image of at least one viewpoint includes a two-dimensional ultrasonic image subjected to suppression processing. Based on each of the two-dimensional ultrasonic images of the viewpoint, a three-dimensional ultrasonic image of the two viewpoints of the first viewpoint and the second viewpoint is generated. A process of synthesizing the generated three-dimensional ultrasonic images of the two viewpoints of the first viewpoint and the second viewpoint to generate a composite three-dimensional ultrasonic image is executed.
  • a higher-definition three-dimensional ultrasonic image can be generated by suppressing an unclear image area caused by the organ to be measured.
  • FIG. 1 Schematic block diagram showing the configuration of a diagnostic support system including the three-dimensional ultrasonic image generator according to the first embodiment of the present disclosure.
  • Conceptual diagram of the diagnostic support system according to the embodiment of the present disclosure The figure for demonstrating the ultrasonic probe to which a marker member was fixed. It is a figure which shows an example of the image acquired by the image pickup unit.
  • the figure for demonstrating the imaging operation by an ultrasonic probe Diagram to explain the imaging of organs in a subject from different perspectives
  • Diagram to explain the imaging of organs in a subject from different perspectives
  • Diagram to illustrate a blurry image area The figure for demonstrating the suppression process The figure for demonstrating the blurry image area in the 3D ultrasonic image of a 1st viewpoint.
  • the figure for demonstrating the processing in the 3D ultrasonic image of the 2nd viewpoint Diagram for explaining the synthesis process Diagram for explaining synthetic three-dimensional ultrasound image VG
  • a flowchart showing the processing performed in the second embodiment of the present disclosure The figure which shows an example of the 3D ultrasonic image displayed on the display part.
  • the figure for demonstrating the ultrasonic probe provided with a sensor.
  • FIG. 1 is a schematic block diagram showing a configuration of a diagnostic support system to which a three-dimensional ultrasonic image generator according to an embodiment of the present disclosure is applied.
  • the diagnostic support system 1 includes an ultrasonic probe 50 and an imaging unit 60 configured to be connectable to the three-dimensional ultrasonic image generation device 10 according to the present embodiment and the three-dimensional ultrasonic image generation device 10.
  • a display unit 30, and an input unit 40 are examples of the diagnostic support system 1
  • the three-dimensional ultrasonic image generation device 10 is composed of a computer including a CPU (Central Processing Unit) 11, a primary storage unit 12, a secondary storage unit 13, an external I / F (Interface) 14, and the like.
  • the CPU 11 controls the entire three-dimensional ultrasonic image generation device 10.
  • the primary storage unit 12 is a volatile memory used as a work area or the like when executing various programs.
  • An example of the primary storage unit 12 is a RAM (Random Access Memory).
  • the secondary storage unit 13 is a non-volatile memory in which various programs, various parameters, and the like are stored in advance, and one embodiment of the three-dimensional ultrasonic image generation program 15 of the present disclosure is installed.
  • the three-dimensional ultrasonic image generation program 15 is recorded and distributed on a recording medium such as a DVD (Digital Versatile Disc) and a CD-ROM (Compact Disc Read Only Memory), and is installed on a computer from the recording medium.
  • a recording medium such as a DVD (Digital Versatile Disc) and a CD-ROM (Compact Disc Read Only Memory)
  • the three-dimensional ultrasonic image generation program 15 is stored in a storage device or network storage of a server computer connected to the network in a state of being accessible from the outside, and is downloaded to the computer in response to a request from the outside. After that, it may be installed.
  • the CPU 11 When the three-dimensional ultrasonic image generation program 15 is executed by the CPU 11, the CPU 11 has an image acquisition unit 21, a probe position information acquisition unit 22, a three-dimensional ultrasonic image generation unit 23, an organ extraction unit 24, and an image processing unit. It functions as 25, an image composition unit 26, and a display control unit 27.
  • the secondary storage unit 13 include an EEPROM (Electrically Erasable Programmable Read-Only Memory), a flash memory, and the like.
  • the external I / F 14 controls the transmission and reception of various information between the three-dimensional ultrasonic image generation device 10 and the external device (not shown).
  • the CPU 11, the primary storage unit 12, the secondary storage unit 13, and the external I / F 14 are connected to a bus line 16 which is a common route for each circuit to exchange data.
  • the display unit 30 and the input unit 40 are also connected to the bus line 16.
  • the display unit 30 is composed of, for example, a liquid crystal display or the like. As will be described later, the display unit 30 displays the two-dimensional ultrasonic image acquired by the image acquisition unit 21 and the three-dimensional ultrasonic image generated by the three-dimensional ultrasonic image generation unit 23. In addition, the captured image acquired by the imaging unit 60 described later is also displayed.
  • the display unit 30 may be configured by a touch panel and may also be used as the input unit 40.
  • the input unit 40 includes a mouse, a keyboard, and the like, and accepts various setting inputs by the user. Further, the transmission / reception unit 17 and the image pickup unit 60 are also connected to the bus line 16. The transmission / reception unit 17 controls transmission / reception of various information with the ultrasonic probe 50 described later.
  • the ultrasonic probe 50 is configured to be connectable to the three-dimensional ultrasonic image generator 10.
  • the ultrasonic probe 50 for example, a probe compatible with sector scanning, a probe compatible with linear scanning, a probe compatible with convex scanning, and the like can be used.
  • FIG. 2 is a conceptual diagram of a diagnostic support system according to an embodiment of the present disclosure.
  • the ultrasonic probe 50 has an oscillator array 50a having a plurality of ultrasonic oscillators (not shown) arranged in a one-dimensional direction at the tip.
  • the oscillator array 50a has been described above with an example in which a plurality of ultrasonic oscillators are arranged one-dimensionally, but the present invention is not limited to this.
  • a plurality of ultrasonic oscillators may be arranged two-dimensionally.
  • the ultrasonic probe 50 emits (transmits) ultrasonic waves to the part of the subject M to be measured in a state where the vibrator array 50a is in contact with the body surface of the subject M, which is a living body, and the subject M emits (transmits) ultrasonic waves. Detects (receives) reflected ultrasonic waves that have been reflected and returned.
  • the ultrasonic probe 50 converts a pulsed or continuous wave electric signal output from the transmission / reception unit 17 into an ultrasonic wave and emits it, converts the received reflected ultrasonic wave into an electric signal, and transmits the received reflected ultrasonic wave to the transmission / reception unit 17.
  • the transmission / reception unit 17 transmits a pulsed or continuous wave electric signal for driving a plurality of ultrasonic vibrators included in the ultrasonic probe 50 to the ultrasonic probe 50. Further, the transmission / reception unit 17 receives a plurality of electric signals generated by the plurality of ultrasonic transducers that have received the reflected ultrasonic waves. Then, the transmission / reception unit generates a reception signal by performing amplification and A / D (Analog / Digital) conversion on the received electric signal.
  • a / D Analog / Digital
  • This received signal is, for example, from a plurality of signals arranged in the arrangement direction of the ultrasonic vibrators and the transmission direction of ultrasonic waves and in the direction perpendicular to the arrangement direction of the ultrasonic vibrators (hereinafter referred to as the depth direction). Therefore, each signal is a digital signal representing the amplitude of the reflected ultrasonic wave as a digital value. Then, the transmission process and the reception process are repeatedly and continuously performed to construct a plurality of frame data composed of a plurality of received signals.
  • the frame data includes a set data of received signals necessary for constructing one tomographic image, a signal processed for constructing tomographic image data based on this set data, and this set data. It refers to either a single tomographic image data or a tomographic image constructed based on. In this embodiment, it means one tomographic image data.
  • the constructed tomographic image data is stored in the primary storage unit 12.
  • FIG. 3 is a diagram for explaining an ultrasonic probe 50 to which a marker member is fixed, which is an embodiment of the present disclosure.
  • the fixed portion of the marker member to the ultrasonic probe 50 and the like are shown simply, unlike the actual shape.
  • the ultrasonic probe 50 has a cable 51 that connects to the transmission / reception unit 17. Further, a marker member 52 is fixed to the outer peripheral surface of the ultrasonic probe 50.
  • the marker member 52 includes three spherical markers, that is, a marker 52x, a marker 52y, and a marker 52z, and three axes of x-axis, y-axis, and z-axis whose axial directions are orthogonal to each other.
  • the three markers 52x, the marker 52y, and the marker 52z are provided at one ends of the three axes of the x-axis, the y-axis, and the z-axis with the respective marker center 52a as the center.
  • the other ends of the three axes of x-axis, y-axis, and z-axis are provided on the columns provided on the ultrasonic probe 50. Further, the three markers 52x, the marker 52y, and the marker 52z are, for example, colored differently and can be identified by the color.
  • the marker member 52 is composed of three markers 52x, a marker 52y, and a marker 52z, but the technique of the present disclosure is not limited to this, and markers other than the above three markers are used. May be used. For example, four or five markers may be used. Further, the shape of the marker is not limited to a spherical shape, and may be, for example, a rectangular parallelepiped or a conical shape, and can be appropriately changed.
  • FIG. 4 is a diagram showing an example of an image acquired by the imaging unit 60. As shown in FIG. 4, the image D acquired by the imaging unit 60 is held by the user's hand H and fixed to the ultrasonic probe 50 and the ultrasonic probe 50 that abut on the body surface of the subject M. The marker member 52 is shown.
  • FIG. 5 is a diagram for explaining an imaging operation by the ultrasonic probe 50.
  • imaging can be performed at different positions. Will be done.
  • a plurality of two-dimensional ultrasonic images P are acquired at a plurality of different imaging positions where such imaging is performed.
  • the imaging position is the position on the body surface of the ultrasonic probe 50 for each imaging.
  • the two-dimensional ultrasonic image P is a tomographic image of a cross section extending in the depth direction in the subject from each imaging position.
  • FIG. 6 and 7 are diagrams for explaining the imaging of the organs in the subject from different viewpoints.
  • a blood vessel specifically a carotid artery M2
  • the user attaches the ultrasonic probe 50 to the carotid artery in a state where the ultrasonic probe 50 is in contact with the neck M1 of the subject M from the front side of the subject M (direction of arrow V1).
  • the carotid artery M2 is imaged at a plurality of imaging positions.
  • the ultrasonic probe 50 is brought into contact with the neck M1 so that the arrangement direction of the ultrasonic transducers of the ultrasonic probe 50 is orthogonal to the carotid artery M2 and the blood flow direction, that is, in the direction shown by the black region in the figure.
  • the short axis cross section of the blood vessel in the minor axis direction of the carotid artery is imaged.
  • the ultrasonic probe 50 is brought into contact with the cervical region M1 so that the arrangement direction of the ultrasonic transducers of the ultrasonic probe 50 coincides with the carotid artery M2 and the blood flow direction, that is, in the direction indicated by the shaded area in the figure.
  • the blood vessel long axis cross section in the long axis direction of the carotid artery is imaged.
  • the arrow V1 of the present embodiment corresponds to the first viewpoint of the present disclosure.
  • the user uses the ultrasonic probe 50 in a state where the ultrasonic probe 50 is in contact with the neck M1 of the subject M from the left side surface side of the subject M (direction of arrow V2).
  • the carotid artery M2 is imaged at a plurality of imaging positions by moving the carotid artery M2 along the carotid artery M2.
  • the ultrasonic probe 50 is brought into contact with the neck M1 so that the arrangement direction of the ultrasonic transducers of the ultrasonic probe 50 is orthogonal to the carotid artery M2 and the blood flow direction, that is, in the direction shown by the black region in the figure.
  • the short axis cross section of the blood vessel in the minor axis direction of the carotid artery is imaged.
  • the ultrasonic probe 50 is brought into contact with the cervical region M1 so that the arrangement direction of the ultrasonic transducers of the ultrasonic probe 50 coincides with the carotid artery M2 and the blood flow direction, that is, in the direction indicated by the shaded area in the figure.
  • the blood vessel long axis cross section in the long axis direction of the carotid artery is imaged.
  • the arrow V2 of the present embodiment corresponds to the second viewpoint of the present disclosure.
  • the image acquisition unit 21 acquires a two-dimensional ultrasonic image P imaged by the ultrasonic probe 50 at a plurality of imaging positions at at least two viewpoints, the first viewpoint and the second viewpoint.
  • the two-dimensional ultrasonic image P is a tomographic image of a cross section extending in the depth direction in the subject from each imaging position.
  • the ultrasonic probe 50 outputs a plurality of captured two-dimensional ultrasonic images P (tomographic images) to the primary storage unit 12.
  • the image acquisition unit 21 acquires a two-dimensional ultrasonic image P (tomographic image) from the primary storage unit 12.
  • the probe position information acquisition unit 22 acquires position information including an imaging direction indicating the direction of the viewpoint of the ultrasonic probe 50 and an imaging position for each viewpoint for each imaging. Specifically, at each different imaging position, the imaging unit 60 images the ultrasonic probe 50 and the marker member 52. The captured images of the ultrasonic probe 50 and the marker member 52 thus obtained are output to the primary storage unit 12. The probe position information acquisition unit 22 reads the captured image from the primary storage unit 12. Then, the probe position information acquisition unit 22 analyzes the read captured image to obtain an ultrasonic probe from the position of the marker center 52a, the position, size, and inclination of the markers 52x, 52y, and 52z in the captured image. The position information of 50 imaging directions and imaging positions is derived. The probe position information acquisition unit 22 identifies each of the markers 52x, 52y, and 52z by color. The probe position information acquisition unit 22 acquires position information including the imaging direction and the imaging position by such derivation processing.
  • FIG. 8 is a diagram for explaining the movement of the marker member 52 in the captured image.
  • the ultrasonic probe 50 acquires the two-dimensional ultrasonic image P at the imaging position T1 and the imaging position T2
  • the marker member 52 moves in the direction of the arrow T in the captured image, for example, as shown in FIG.
  • the position of the ultrasonic probe 50 in the x direction is derived from the amount of movement of the marker center 52a in the x direction.
  • the position of the ultrasonic probe 50 in the y direction is derived from the amount of change in the magnitude of the markers 52x, 52y, 52z.
  • the amount of rotation of the marker member 52 is detected from the movement locus of the marker center 52a of the markers 52x, 52y, 52z.
  • the direction of the ultrasonic probe 50 that is, the imaging direction is derived based on the amount of rotation.
  • the derived position information including the imaging position and the imaging direction of the ultrasonic probe 50 is stored in the primary storage unit 12 in correspondence with the two-dimensional ultrasonic image P acquired at the imaging position.
  • a known technique can be used as a method of acquiring the imaging direction and the imaging position of the ultrasonic probe 50 using the marker member 52.
  • the three-dimensional ultrasonic image generation unit 23 captures the two-dimensional ultrasonic image P acquired by the image acquisition unit 21 and the ultrasonic probe 50 stored in the primary storage unit 12 in correspondence with the two-dimensional ultrasonic image P.
  • a three-dimensional ultrasonic image V is generated for a space determined by the angular range or stroke of the mechanical scanning of the vibrator array 50a and the electronic scanning range.
  • a known technique can be used for the method of generating the three-dimensional ultrasonic image V.
  • the organ extraction unit 24 is based on the two-dimensional ultrasonic image P acquired by the image acquisition unit 21 or the three-dimensional ultrasonic image V generated by the three-dimensional ultrasonic image generation unit 23, and the two-dimensional ultrasonic image P or At least one organ included in the three-dimensional ultrasound image V is extracted.
  • the organ is not limited to the visceral region such as the heart and the liver, but also includes bones and blood vessels.
  • the imaging target is the neck. Therefore, the organ extraction unit 24 extracts the blood vessel as an object in the three-dimensional ultrasonic image V.
  • the position information and the spindle direction of a plurality of candidate points representing a target tissue having a linear structure described in Japanese Patent Application Laid-Open No. 2010-220742 are calculated, and the calculated position information and the calculated position information and the main axis direction are calculated.
  • a method described in Japanese Patent Application Laid-Open No. 2011-212314 for automatically distinguishing and extracting blood vessels can also be used.
  • the image processing unit 25 is a two-dimensional super-two-dimensional image processing unit in which the organ is extracted based on the position information of the organ extracted by the organ extraction unit 24 and the position information of the ultrasonic probe 50 acquired by the probe position information acquisition unit 22. With respect to the ultrasonic image P and the three-dimensional ultrasonic image V, an unclear image region is extracted, and suppression processing is performed to suppress the unclearness in the extracted image region.
  • the image processing unit 25 extracts an unclear image region based on the traveling direction of the ultrasonic waves radiated from the ultrasonic probe 50 to the organ.
  • the organ extraction unit 24 extracts an organ based on the three-dimensional ultrasonic image V generated by the three-dimensional ultrasonic image generation unit 23 will be described.
  • FIG. 9 shows a diagram for explaining an unclear image area.
  • FIG. 9 shows a cross section of the short axis of the blood vessel in the minor axis direction of the carotid artery M2, that is, a two-dimensional ultrasonic image P, but the same explanation can be given in the three-dimensional ultrasonic image V.
  • the image processing unit 25 performs suppression processing for suppressing the unclearness in the area where an artifact is likely to occur as an unclear image area.
  • FIG. 10 is a diagram for explaining the suppression process.
  • the image processing unit 25 provides an unclear image of a region where the angle ⁇ formed by the traveling direction of ultrasonic waves and the outer surface of the carotid artery M2 is equal to or less than a predetermined threshold value. Extract as an area. Specifically, in FIG. 10, the region between the traveling direction of the ultrasonic wave indicated by the arrow and the outer surface of the carotid artery M2 (the region indicated by the diagonal line in the figure) is extracted as an unclear image region.
  • the angle ⁇ is a value calculated based on the relationship between the angle measured in advance and the artifact for each size and type of organ.
  • FIG. 11 is a diagram for explaining an unclear image region in the three-dimensional ultrasonic image VO1 of the first viewpoint.
  • the unclear image area will be described below as one, but the same description can be made even when there are two or more unclear image areas.
  • the image processing unit 25 when the image processing unit 25 extracts the unclear image region A1 in the three-dimensional ultrasonic image VO1 in the first viewpoint, the image processing unit 25 is unclear as shown in the right figure of FIG.
  • a process of deleting the image area A1 is performed to generate a three-dimensional ultrasonic image VA1 after the suppression process at the first viewpoint in which the unclear image area A1 is deleted.
  • the organ extraction unit 24 extracts an organ based on a plurality of two-dimensional ultrasonic image P acquired by the image acquisition unit 21.
  • the two-dimensional ultrasonic image P as in the above-mentioned three-dimensional ultrasonic image V, as shown in FIG. 9, in a round-shaped organ such as a blood vessel such as a carotid artery M2, the outer surface of the organ, Specifically, in the vicinity indicated by the dotted circle in FIG. 9A, an artifact is likely to occur due to the reflection or refraction of ultrasonic waves. Therefore, the image processing unit 25 performs suppression processing for suppressing the unclearness in the area where an artifact is likely to occur as an unclear image area.
  • a region in which the angle ⁇ formed by the traveling direction of the ultrasonic waves and the outer surface of the carotid artery M2 is equal to or less than a predetermined threshold value is defined. Extract as an unclear image area.
  • the image synthesizing unit 26 generates a composite three-dimensional ultrasonic image VG by synthesizing the three-dimensional ultrasonic image VA1 after the suppression process at the first viewpoint and the three-dimensional ultrasonic image VO2 at the second viewpoint.
  • FIG. 12 is a diagram for explaining processing in the three-dimensional ultrasonic image VO2 of the second viewpoint. Since the three-dimensional ultrasonic image VO2 of the second viewpoint is an image captured in an imaging direction different from that of the first viewpoint, the position of the outer surface of the carotid artery M2 irradiated with ultrasonic waves is different from that of the first viewpoint. Therefore, as shown in FIG. 12, the region where the artifact occurs in the three-dimensional ultrasonic image VO2 of the second viewpoint, that is, the unclear image region A2 is located at a position different from the unclear image region A1 of FIG.
  • the image synthesizing unit 26 performs alignment processing of the carotid artery M2 included in the three-dimensional ultrasonic image VO1 of the first viewpoint and the carotid artery M2 included in the three-dimensional ultrasonic image VO2 of the second viewpoint.
  • the above-mentioned alignment processing is performed on the three-dimensional ultrasonic image VO2 of the second viewpoint, and the alignment processing at the second viewpoint where the alignment processing is performed is performed.
  • the later three-dimensional ultrasonic image VA2 is generated.
  • the alignment process may be performed on the three-dimensional ultrasonic image VO1 of the first viewpoint, or on both the three-dimensional ultrasonic image VO1 of the first viewpoint and the three-dimensional ultrasonic image VO2 of the second viewpoint. You may go against it.
  • a known technique can be used for the alignment process.
  • FIG. 13 is a diagram for explaining the synthesis process.
  • the image synthesizing unit 26 includes a region in which the unclear image region A1 is deleted in the three-dimensional ultrasonic image VA1 after the suppression process in the first viewpoint, and a region corresponding to the deleted region.
  • the three-dimensional ultrasonic image VA2 after the alignment process at the second viewpoint is synthesized.
  • FIG. 14 is a diagram for explaining a synthetic three-dimensional ultrasonic image VG.
  • the unclear image area A1 is deleted, so that the unclear image area does not exist.
  • the composite three-dimensional ultrasonic image VG after the composite processing becomes a high-definition three-dimensional ultrasonic image that has no unclear image region and is higher than the three-dimensional ultrasonic image VO1 of the first viewpoint.
  • the display control unit 27 causes the display unit 30 to display at least one of the two-dimensional ultrasonic image P and the three-dimensional ultrasonic image V imaged by the ultrasonic probe 50. Further, the display control unit 27 causes the display unit 30 to display the composite three-dimensional ultrasonic image VG synthesized by the image synthesis unit 26. The display control unit 27 displays a two-dimensional ultrasonic image P imaged by the ultrasonic probe 50 and at least one of the three-dimensional ultrasonic image V and the composite three-dimensional ultrasonic image VG on one display unit 30. If there are two display units 30, they may be displayed on each display unit 30.
  • FIG. 15 is a flowchart showing the processing performed in the first embodiment of the present disclosure.
  • the image acquisition unit 21 operates from the viewpoint 1 and the viewpoint 2 which are different viewpoints by operating the ultrasonic probe 50 in a state where the user brings the ultrasonic probe 50 into contact with the body surface of the neck M1 of the subject M.
  • a plurality of captured two-dimensional ultrasonic images P are acquired (step ST1).
  • the probe position information acquisition unit 22 acquires position information including an imaging direction indicating the direction of the viewpoint of the ultrasonic probe 50 and an imaging position for each viewpoint for each imaging in step ST1 (step ST2).
  • the three-dimensional ultrasonic image generation unit 23 generates the three-dimensional ultrasonic images VO1 and VO2 of the first viewpoint and the second viewpoint (step ST3).
  • the organ extraction unit 24 extracts the carotid artery M2 included in the three-dimensional ultrasonic image VO1 of the first viewpoint (step ST4).
  • the image processing unit 25 extracts an unclear image region in the three-dimensional ultrasonic image VO1 of the first viewpoint, and performs a suppression process of deleting the extracted unclear image region (step ST5).
  • the image synthesizing unit 26 adds an unclear image region A2 to the region deleted in the three-dimensional ultrasonic image VA1 after the suppression process in the first viewpoint in the three-dimensional ultrasonic image VA2 after the alignment process in the second viewpoint.
  • a composite three-dimensional ultrasonic image VG is generated by synthesizing a region that is not (step ST6), and the process is completed.
  • the region deleted in the three-dimensional ultrasonic image VA1 after the suppression process in the first viewpoint is unclear in the three-dimensional ultrasonic image VA2 after the alignment process in the second viewpoint.
  • a region other than the image region A2 is combined.
  • a plurality of two-dimensional ultrasonic images P are acquired from the first viewpoint and the second viewpoint, and three-dimensional ultrasonic images V from the first viewpoint and the second viewpoint are generated.
  • the disclosed technology is not limited to this.
  • a plurality of two-dimensional ultrasonic images P may be acquired from three or more viewpoints, and three-dimensional ultrasonic images V of the first viewpoint and the second viewpoint may be generated.
  • only the three-dimensional ultrasonic image V of the first viewpoint may be subjected to the suppression processing for suppressing the unclearness in the unclear image region, or in the three-dimensional ultrasonic image V of two or more viewpoints.
  • the suppression process may be performed, or the suppression process may be performed on the three-dimensional ultrasonic image V of all viewpoints.
  • the organ extraction unit 24 is capable of extracting organs in both the two-dimensional ultrasonic image P and the three-dimensional ultrasonic image V, but the technique of the present disclosure is not limited to this. ..
  • the organ extraction unit 24 does not have the function of extracting the organ in the two-dimensional ultrasonic image P. May be good.
  • the organ extraction unit 24 extracts the organ in the three-dimensional ultrasonic image V, but the organ may be extracted in the two-dimensional ultrasonic image P.
  • the image processing unit 25 performs suppression processing on the two-dimensional ultrasonic image P.
  • the three-dimensional ultrasonic image generator of the second embodiment performs organ extraction and suppression processing on the two-dimensional ultrasonic image P.
  • the three-dimensional ultrasonic image generation device of the second embodiment can have the same configuration as the three-dimensional ultrasonic image generation device 10 of the first embodiment shown in FIG. Therefore, the description here will be omitted, and only the processing performed on the three-dimensional ultrasonic image generator of the second embodiment will be described.
  • FIG. 15 is a flowchart showing the processing performed in the second embodiment of the present disclosure.
  • the image acquisition unit 21 operates from the viewpoint 1 and the viewpoint 2 which are different viewpoints by operating the ultrasonic probe 50 in a state where the user brings the ultrasonic probe 50 into contact with the body surface of the neck M1 of the subject M.
  • a plurality of captured two-dimensional ultrasonic images P are acquired (step ST11).
  • the probe position information acquisition unit 22 acquires position information including an imaging direction indicating the direction of the viewpoint of the ultrasonic probe 50 and an imaging position for each viewpoint for each imaging in step ST1 (step ST12).
  • the organ extraction unit 24 extracts each of the carotid arteries M2 included in the plurality of two-dimensional ultrasonic images P of the first viewpoint (step ST13).
  • the image processing unit 25 extracts an unclear image region from each of the plurality of two-dimensional ultrasonic images P of the first viewpoint, and performs a suppression process to delete the extracted unclear image region (step ST14).
  • the area (the area indicated by the diagonal line in the figure) is extracted as an unclear image area.
  • the three-dimensional ultrasonic image generation unit 23 generates the three-dimensional ultrasonic images VO1 and VO2 of the first viewpoint and the second viewpoint (step ST15).
  • the three-dimensional ultrasonic image VO1 of the first viewpoint is generated based on the plurality of two-dimensional ultrasonic images P of the first viewpoint that have been subjected to the suppression processing, the three-dimensional ultrasonic image of the first viewpoint is generated.
  • VO1 does not include an unclear image area. That is, in the three-dimensional ultrasonic image VO1 of the first viewpoint, the unclear image region is deleted as in the three-dimensional ultrasonic image VA1 after the suppression process in the first viewpoint shown in the left figure of FIG. ..
  • the image synthesizing unit 26 performs the same alignment processing as in the first embodiment on the three-dimensional ultrasonic image VO2 of the second viewpoint, and the alignment processing is performed.
  • the three-dimensional ultrasonic image VA2 after the alignment process at the second viewpoint is generated.
  • the three-dimensional ultrasonic image VO1 of the first viewpoint in which the unclear image region is deleted the three-dimensional ultrasonic image VA2 after the alignment processing in the second viewpoint in which the deleted region is subjected to the alignment processing.
  • a composite three-dimensional ultrasonic image VG is generated (step ST6), and the process is completed.
  • an unclear image area is extracted from each of the plurality of two-dimensional ultrasonic image Ps of the first viewpoint, and a suppression process is performed to delete the extracted unclear image area. Then, the three-dimensional ultrasonic image VO1 of the first viewpoint is generated based on the plurality of two-dimensional ultrasonic images P of the first viewpoint subjected to the suppression processing, and the three-dimensional ultrasonic image VO2 of the second viewpoint is generated. Synthesize. As described above, even when the suppression process is performed on the two-dimensional ultrasonic image P, a high-definition three-dimensional ultrasonic image can be generated as in the first embodiment.
  • a plurality of two-dimensional ultrasonic images P are acquired from the first viewpoint and the second viewpoint, and three-dimensional ultrasonic images V from the first viewpoint and the second viewpoint are generated.
  • the disclosed technology is not limited to this.
  • a plurality of two-dimensional ultrasonic images P may be acquired from three or more viewpoints, and three-dimensional ultrasonic images V of the first viewpoint and the second viewpoint may be generated.
  • the suppression process for suppressing the unclearness may be performed on the unclear image region, or the plurality of two-dimensional supers with two or more viewpoints may be performed.
  • the suppression process may be performed on the sound wave image P, or the suppression process may be performed on a plurality of two-dimensional ultrasonic images P of all viewpoints.
  • the organ extraction unit 24 enables the organ to be extracted in both the two-dimensional ultrasonic image P and the three-dimensional ultrasonic image V, but the technique of the present disclosure is not limited to this. ..
  • the organ extraction unit 24 does not have the function of extracting the organ in the three-dimensional ultrasonic image V. May be good.
  • the image synthesizing unit 26 further comprises a three-dimensional ultrasonic image VA1 after the suppression process in the first viewpoint, or a plurality of the first viewpoints in which the suppression process is performed.
  • averaging process for averaging the pixel values of the pixels at the same position may be performed on the pixel values of.
  • the image processing unit 25 deletes the unclear image area, but the technique of the present disclosure is not limited to this, and the pixel value of the unclear image area can be obtained. It suffices if it can be relatively reduced as compared with the pixel value in the region of.
  • the processing for reducing for example, the pixel value of the unclear image region may be reduced by weighting. Specifically, for example, it is possible to perform a process of averaging the pixel values of the unclear image area and the image area other than the unclear image area at a ratio of 1: 2. Further, weighting may be performed according to the distance from the starting point of the artifact to reduce the pixel value of the unclear image region.
  • the weighting can be increased as the distance from the ultrasonic probe 50 increases to reduce the pixel value of the unclear image region. Since the resolution in the image decreases as the distance from the ultrasonic probe 50 increases, the blurry image region can be further suppressed by reducing the pixel value in the region where the resolution is lower.
  • the technique of the present disclosure is not limited to one organ, and the technique described in the first embodiment can be applied to the case where two or more organs are extracted.
  • each of the extracted organs may be subjected to a process of extracting and suppressing an unclear image region.
  • the three-dimensional ultrasonic image generation device of the third embodiment can have the same configuration as the three-dimensional ultrasonic image generation device 10 of the first embodiment shown in FIG. Therefore, the description here is omitted, and only the different parts will be described.
  • the display control unit 27 of the three-dimensional ultrasonic image generator of the third embodiment displays the three-dimensional ultrasonic image V on the display unit 30, and is designated by the user on the displayed three-dimensional ultrasonic image V. Control is performed so that the display unit 30 displays the two-dimensional ultrasonic images P of the first viewpoint and the second viewpoint imaged at the imaging position closest to the position.
  • FIG. 17 is a diagram showing an example of a three-dimensional ultrasonic image V displayed on the display unit
  • FIG. 18 is a diagram showing an example of a two-dimensional ultrasonic image P displayed on the display unit 30.
  • a user operates an input unit 40 such as a mouse on the composite three-dimensional ultrasonic image VG displayed on the display unit 30, and an arbitrary position (as an example, an arrow in FIG. 17) Tip) is specified.
  • the display control unit 27 extracts the image pickup position closest to the designated position from the image pickup positions stored in the primary storage unit 12, and stores the image pickup position in the primary storage unit 12 in correspondence with the extracted image pickup position.
  • the two-dimensional ultrasonic images P of the first viewpoint and the second viewpoint are extracted and displayed on the display unit 30.
  • the two-dimensional ultrasonic images P of the first viewpoint and the second viewpoint may be displayed in parallel on the display unit 30, or may be alternately displayed so as to be switched according to a user's instruction.
  • the unclear image area is not suppressed, that is, how much the image signal is attenuated by displaying the two-dimensional ultrasonic image including the unclear image area such as an artifact on the display unit 30. , It is possible to make a possible diagnosis by visually recognizing the original image.
  • the probe position information acquisition unit 22 has the position of the marker center 52a in the captured image acquired by having the imaging unit 60 image the ultrasonic probe 50 and the marker member 52.
  • the technique of the present disclosure is not limited to this, although information on the imaging position and orientation of the ultrasonic probe 50 is derived from the positions, sizes, and inclinations of the markers 52x, 52y, and 52z.
  • the probe position information acquisition unit 22 may acquire information on the imaging position and orientation of the ultrasonic probe 50 by using, for example, an AR (Augmented Reality) marker.
  • the AR marker is an image composed of figures having a fixed pattern. This AR marker is arranged on the outer peripheral surface of the ultrasonic probe 50. Then, by using a known program for detecting the position and orientation of the marker based on the image data of the ultrasonic probe 50 including the AR marker imaged by the imaging unit 60, the AR marker, that is, the ultrasonic probe 50 Information on the imaging position and orientation may be acquired.
  • convex portions and concave portions are provided in the ultrasonic probe 50 main body, and the convex portions and concave portions are used as markers to derive information on the imaging position and orientation of the ultrasonic probe 50. You may. In the technique of the present disclosure, any shape and type may be used as long as it is a marker that can be used as an index for defining the imaging position and orientation of the ultrasonic probe 50, and is particularly limited. is not.
  • diagnosis support system 1 can be provided with a sensor instead of the imaging unit 60 and the marker member 52.
  • FIG. 19 is a diagram for explaining an ultrasonic probe provided with a sensor. Note that in FIG. 19, how to attach the sensor to the ultrasonic probe 50 is shown simply, unlike the actual shape.
  • the ultrasonic probe 50 has a sensor 70 attached to the outer peripheral surface of the ultrasonic probe 50.
  • the sensor 70 is a 6-axis sensor that can detect the moving direction, the direction, and the rotation, and can further calculate the moving distance, the moving speed, and the like.
  • a 6-axis sensor is realized by combining an acceleration sensor that can detect three directions of front-back, left-right, and up-down with a geomagnetic sensor that can detect north, south, east, and west, or an acceleration sensor and a gyro sensor that can detect the speed of rotation.
  • the probe position information acquisition unit 22 can acquire the imaging position based on the output information output from the sensor 70.
  • the senor 70 is provided instead of the image pickup unit 60 and the marker member 52, but the technique of the present disclosure is not limited to this.
  • a sensor 70 may be provided in addition to the image pickup unit 60 and the marker member 52.
  • the sensor 70 is suitable for detecting the imaging direction of the ultrasonic probe 50, and the method of calculating the imaging position from the captured image acquired by having the imaging unit 60 image the ultrasonic probe 50 and the marker member 52. , Suitable for detecting the translation of the ultrasonic probe 50. Therefore, by using the imaging unit 60, the marker member 52, and the sensor 70, the probe position information acquisition unit 22 can acquire a more accurate imaging position and imaging direction.
  • the various processors include a CPU, which is a general-purpose processor that executes software (program) and functions as various processing units, and a circuit after manufacturing an FPGA (Field Programmable Gate Array) or the like.
  • Dedicated electricity which is a processor with a circuit configuration specially designed to execute specific processing such as programmable logic device (PLD), ASIC (Application Specific Integrated Circuit), which is a processor whose configuration can be changed. Circuits and the like are included.
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). ) May be configured. Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by combining one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the various processors as a hardware structure.
  • an electric circuit in which circuit elements such as semiconductor elements are combined can be used.
  • Diagnosis support system 10
  • 3D ultrasonic image generator 11
  • Primary storage 13
  • Secondary storage 14
  • External I / F 15
  • 3D ultrasonic image generation program 16
  • Bus 17 Transmission / reception unit
  • 21 Image acquisition unit
  • 23 3D ultrasonic image generation unit
  • Organ extraction unit 25
  • Image processing unit 26
  • Image synthesis unit 27
  • Display control unit 30
  • Input part 50
  • Ultrasound probe 50a
  • Transducer array 51
  • Cable Marker member
  • Imaging part 70
  • Sensor M Subject M1 Cervical part
  • M2 Carotid artery H Hand P 2D ultrasonic image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

３次元超音波画像生成装置、方法、及びプログラムにおいて、計測対象となる臓器に起因する不鮮明な画像領域を抑制することによって、より高精細な３次元超音波画像を生成できるようにする。３次元超音波画像生成装置は、第１視点、第２視点のそれぞれにおける複数の２次元超音波画像を取得する画像取得部と、超音波プローブの位置情報を撮像毎に取得するプローブ位置情報取得部と、３次元超音波画像を生成する３次元超音波画像生成部と、３次元超音波画像に含まれる臓器を抽出する臓器抽出部と、臓器の位置情報と、超音波プローブの位置情報とに基づいて、少なくとも臓器が抽出された３次元超音波画像について、不鮮明な画像領域を抽出し、不鮮明度を抑制する抑制処理を行う画像処理部と、抑制処理が行われた３次元超音波画像を含む２つの視点の３次元超音波画像を合成することにより、合成３次元超音波画像を生成する画像合成部、を含む。

Description

３次元超音波画像生成装置、方法、及びプログラム
　本開示は、３次元超音波画像を生成する３次元超音波画像生成装置、方法、及びプログラムに関する。
　近年、ＣＴ(Computed Tomography)装置、ＭＲＩ（Magnetic Resonance Imaging）装置、及び超音波診断装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。超音波診断装置においては、超音波プローブにより撮像して取得した２次元超音波画像と、超音波プローブの撮像位置とから３次元超音波画像を生成する技術が知られている。２次元超音波画像においては、超音波の反射及び屈折等で生じるアーチファクト、及び超音波プローブからの距離に比例して画像中の分解能が低下すること等により不鮮明な画像領域が含まれる場合がある。超音波画像を用いる診断においては、例えば、撮像対象が頸動脈等の血管である場合には、血管壁の厚さ等を計測する。しかしながら、超音波画像中に不鮮明な画像領域が含まれてしまうと血管壁の厚さ等の計測が困難になってしまう。従来では、観察対象を異なる視点から撮像することにより、異なる視点において２次元超音波画像を取得し、異なる視点各々の２次元超音波画像において不鮮明な画像領域以外の画像領域を使用することにより血管壁の厚さ等の計測を行っている。
　一方、不鮮明な画像領域が含まれた２次元超音波画像を用いて３次元超音波画像が生成されると、同様に３次元超音波画像にも不鮮明な画像領域が含まれてしまう。不鮮明な画像領域を含む３次元超音波画像においても、同様に、血管壁の厚さ等を計測するには不向きである。そこで、近年においては、不鮮明な画像領域が抑制されたより高精細な超音波画像を生成するための技術が開示されている。
　特許文献１には、位置関係が異なる、アーチファクトを含む画像と含まない画像を複数用意し、これら複数の画像の画素値を加算減算することにより、アーチファクトを取り除く方法が開示されている。また、特許文献２には、複数の超音波振動子が配列された超音波プローブの素子平面の中心を通る法線からの角度が許容角度を超えている、超音波による走査線に対応する画素に、マスクを施すことによって、アーチファクトによる画像の乱れを抑制する方法が提案されている。また、特許文献３には、異なる角度範囲の画像を、座標系を合わせて合成することにより、１つの角度範囲の画像に例えば多重反射アーチファクトがあっても、他の角度範囲の画像にそれがなければ、そのアーチファクトを除去又は抑制できることが開示されている。
特開２００７－２３６６８１号公報 特許５３６１１６６号公報 特開２００３－０８８５２１号公報
　しかしながら、上記特許文献１～３に記載の技術においては、計測対象となる臓器を抽出していないので、計測対象となる臓器に起因するアーチファクトによって生じる画像中の不鮮明な画像領域を抑制することは困難である。
　本開示は上記事情に鑑みなされたものであり、計測対象となる臓器に起因する不鮮明な画像領域を抑制することによって、より高精細な３次元超音波画像を生成できるようにすることを目的とする。
　本開示の第１の３次元超音波画像生成装置は、超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の２次元超音波画像であって、第１視点及び第２視点の少なくとも２つの視点のそれぞれから複数の撮像位置の撮像が行われた第１視点及び第２視点のそれぞれにおける複数の２次元超音波画像を取得する画像取得部と、
　超音波プローブの視点の方向を示す撮像方向と視点毎の撮像位置とを含む位置情報を撮像毎に取得するプローブ位置情報取得部と、
　画像取得部により取得された第１視点及び第２視点のそれぞれの複数の２次元超音波画像と、プローブ位置情報取得部により取得された撮像毎の位置情報とに基づいて、第１視点及び第２視点のそれぞれの３次元超音波画像を生成する３次元超音波画像生成部と、
　第１視点及び第２視点のそれぞれの３次元超音波画像のうち少なくとも一方の３次元超音波画像に基づいて、３次元超音波画像に含まれる臓器を抽出する臓器抽出部と、
　臓器抽出部により抽出された臓器の位置情報と、プローブ位置情報取得部により取得された超音波プローブの位置情報とに基づいて、第１視点及び第２視点のそれぞれの３次元超音波画像のうち、少なくとも臓器が抽出された３次元超音波画像について、不鮮明な画像領域を抽出し、抽出した画像領域における不鮮明度を抑制する抑制処理を行う画像処理部と、
　第１視点及び第２視点の２つの視点の３次元超音波画像であって、少なくとも一方の視点の３次元超音波画像には抑制処理が行われた３次元超音波画像を含む２つの視点の３次元超音波画像を合成することにより、合成３次元超音波画像を生成する画像合成部と、
を含む。
　本開示の第２の３次元超音波画像生成装置は、超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の２次元超音波画像であって、第１視点及び第２視点の少なくとも２つの視点のそれぞれから複数の撮像位置の撮像が行われた第１視点及び第２視点のそれぞれにおける複数の２次元超音波画像を取得する画像取得部と、
　超音波プローブの視点の方向を示す撮像方向と視点毎の撮像位置とを含む位置情報を撮像毎に取得するプローブ位置情報取得部と、
　画像取得部により取得された第１視点及び第２視点のうちの少なくとも一方の視点における複数の２次元超音波画像の少なくとも１枚の２次元超音波画像に基づいて、２次元超音波画像に含まれる臓器を抽出する臓器抽出部と、
　臓器抽出部により抽出された臓器の位置情報と、プローブ位置情報取得部により取得された超音波プローブの位置情報とに基づいて、第１視点及び第２視点のそれぞれの２次元超音波画像のうち、少なくとも臓器を抽出した２次元超音波画像が含まれる視点に対応する複数の２次元超音波画像の各々について、不鮮明な画像領域を抽出し、抽出した画像領域における不鮮明度を抑制する抑制処理を行う画像処理部と、
　第１視点及び第２視点の２つの視点の複数の２次元超音波画像であって、少なくとも一方の視点の２次元超音波画像には抑制処理が行われた２次元超音波画像を含む２つの視点の２次元超音波画像のそれぞれに基づいて、第１視点及び第２視点の２つの視点の３次元超音波画像を生成する３次元超音波画像生成部と、
　３次元超音波画像生成部により生成された第１視点及び第２視点の２つの視点の３次元超音波画像を合成して合成３次元超音波画像を生成する画像合成部と、
を含む。
　なお、本開示において、視点は、第１視点と第２視点とを含んでいれば２つの視点であってもよいし、３つ以上の視点であってもよい。
　また、本開示の３次元超音波画像生成装置においては、画像処理部は、臓器抽出部により抽出された臓器の位置情報、並びに超音波プローブの位置情報に基づいて導出される進行方向であって、臓器に対して超音波プローブから照射される超音波の進行方向に基づいて、不鮮明な画像領域を抽出することができる。
　また、本開示の３次元超音波画像生成装置においては、画像処理部は、進行方向と臓器の外表面とのなす角度が予め定められた閾値以下である領域を不鮮明な画像領域として抽出することができる。
　また、本開示の３次元超音波画像生成装置においては、抑制処理は、不鮮明な画像領域の画素値を、他の領域の画素値と比較して相対的に低減する処理とすることができる。
　また、本開示の３次元超音波画像生成装置においては、画像合成部は、第１視点及び第２視点の２つの視点の３次元超音波画像に基づいて、同じ位置にある画素同士の画素値を平均化する平均化処理であって、抑制処理が行われた不鮮明な画像領域以外の領域内の画素値を平均化する平均化処理を行うことができる。
　また、本開示の３次元超音波画像生成装置においては、２次元超音波画像及び３次元超音波画像の少なくとも一方の画像を表示部に表示する表示制御部を備え、
　表示制御部は、表示部に合成３次元超音波画像を表示し、表示された合成３次元超音波画像上においてユーザに指定された位置に最も近い撮像位置において撮像された２次元超音波画像を表示部に表示させる制御を行なうことができる。
　また、本開示の３次元超音波画像生成装置においては、超音波プローブに固定されたマーカー部材と、
　超音波プローブ及びマーカー部材を同一撮像範囲内に含めて撮像する撮像部とを備え、
　プローブ位置情報取得部は、撮像部により取得された超音波プローブ及びマーカー部材の撮像画像に基づいて超音波プローブの位置情報を取得することができる。
　また、本開示の３次元超音波画像生成装置においては、超音波プローブに設けられる６軸センサを備え、
　プローブ位置情報取得部は、６軸センサから出力された出力情報に基づいて超音波プローブの位置情報を取得することができる。
　また、本開示の３次元超音波画像生成装置においては、超音波プローブに固定されたマーカー部材、並びに超音波プローブに設けられる６軸センサと、
　超音波プローブ及びマーカー部材を同一撮像範囲内に含めて撮像する撮像部とを備え、
　プローブ位置情報取得部は、撮像部により取得された超音波プローブ及びマーカー部材の撮像画像、並びに６軸センサから出力された出力情報に基づいて超音波プローブの位置情報を取得することができる。
　本開示の第１の３次元超音波画像生成方法は、超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の２次元超音波画像であって、第１視点及び第２視点の少なくとも２つの視点のそれぞれから複数の撮像位置の撮像が行われた第１視点及び第２視点のそれぞれにおける複数の２次元超音波画像を取得し、
　超音波プローブの視点の方向を示す撮像方向と視点毎の撮像位置とを含む位置情報を撮像毎に取得し、
　取得された第１視点及び第２視点のそれぞれの複数の２次元超音波画像と、取得された撮像毎の位置情報とに基づいて、第１視点及び第２視点のそれぞれの３次元超音波画像を生成し、
　第１視点及び第２視点のそれぞれの３次元超音波画像のうち少なくとも一方の３次元超音波画像に基づいて、３次元超音波画像に含まれる臓器を抽出し、
　抽出された臓器の位置情報と、取得された超音波プローブの位置情報とに基づいて、第１視点及び第２視点のそれぞれの３次元超音波画像のうち、少なくとも臓器が抽出された３次元超音波画像について、不鮮明な画像領域を抽出して、抽出した画像領域における不鮮明度を抑制する抑制処理を行い、
　第１視点及び第２視点の２つの視点の３次元超音波画像であって、少なくとも一方の視点の３次元超音波画像には抑制処理が行われた３次元超音波画像を含む２つの視点の３次元超音波画像を合成することにより、合成３次元超音波画像を生成する。
　本開示の第２の３次元超音波画像生成方法は、超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の２次元超音波画像であって、第１視点及び第２視点の少なくとも２つの視点のそれぞれから複数の撮像位置の撮像が行われた第１視点及び第２視点のそれぞれにおける複数の２次元超音波画像を取得し、
　超音波プローブの視点の方向を示す撮像方向と視点毎の撮像位置とを含む位置情報を撮像毎に取得し、
　取得された第１視点及び第２視点のうちの少なくとも一方の視点における複数の２次元超音波画像の少なくとも１枚の２次元超音波画像に基づいて、２次元超音波画像に含まれる臓器を抽出し、
　抽出された臓器の位置情報と、取得された超音波プローブの位置情報とに基づいて、第１視点及び第２視点のそれぞれの２次元超音波画像のうち、少なくとも臓器を抽出した２次元超音波画像が含まれる視点に対応する複数の２次元超音波画像の各々について、不鮮明な画像領域を抽出して、抽出した画像領域における不鮮明度を抑制する抑制処理を行い、
　第１視点及び第２視点の２つの視点の複数の２次元超音波画像であって、少なくとも一方の視点の２次元超音波画像には抑制処理が行われた２次元超音波画像を含む２つの視点の２次元超音波画像のそれぞれに基づいて、第１視点及び第２視点の２つの視点の３次元超音波画像を生成し、
　生成された第１視点及び第２視点の２つの視点の３次元超音波画像を合成して合成３次元超音波画像を生成する。
　本開示の第１の３次元超音波画像生成プログラムは、超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の２次元超音波画像であって、第１視点及び第２視点の少なくとも２つの視点のそれぞれから複数の撮像位置の撮像が行われた第１視点及び第２視点のそれぞれにおける複数の２次元超音波画像を取得する画像取得部と、
　超音波プローブの視点の方向を示す撮像方向と視点毎の撮像位置とを含む位置情報を撮像毎に取得するプローブ位置情報取得部と、
　画像取得部により取得された第１視点及び第２視点のそれぞれの複数の２次元超音波画像と、プローブ位置情報取得部により取得された撮像毎の位置情報とに基づいて、第１視点及び第２視点のそれぞれの３次元超音波画像を生成する３次元超音波画像生成部と、
　第１視点及び第２視点のそれぞれの３次元超音波画像のうち少なくとも一方の３次元超音波画像に基づいて、３次元超音波画像に含まれる臓器を抽出する臓器抽出部と、
　臓器抽出部により抽出された臓器の位置情報と、プローブ位置情報取得部により取得された超音波プローブの位置情報とに基づいて、第１視点及び第２視点のそれぞれの３次元超音波画像のうち、少なくとも臓器が抽出された３次元超音波画像について、不鮮明な画像領域を抽出して、抽出した画像領域における不鮮明度を抑制する抑制処理を行う画像処理部と、
　第１視点及び第２視点の２つの視点の３次元超音波画像であって、少なくとも一方の視点の３次元超音波画像には抑制処理が行われた３次元超音波画像を含む２つの視点の３次元超音波画像を合成することにより、合成３次元超音波画像を生成する画像合成部として、
　コンピュータを機能させる。
　本開示の第２の３次元超音波画像生成プログラムは、超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の２次元超音波画像であって、第１視点及び第２視点の少なくとも２つの視点のそれぞれから複数の撮像位置の撮像が行われた第１視点及び第２視点のそれぞれにおける複数の２次元超音波画像を取得する画像取得部と、
　超音波プローブの視点の方向を示す撮像方向と視点毎の撮像位置とを含む位置情報を撮像毎に取得するプローブ位置情報取得部と、
　画像取得部により取得された第１視点及び第２視点のうちの少なくとも一方の視点における複数の２次元超音波画像の少なくとも１枚の２次元超音波画像に基づいて、２次元超音波画像に含まれる臓器を抽出する臓器抽出部と、
　臓器抽出部により抽出された臓器の位置情報と、プローブ位置情報取得部により取得された超音波プローブの位置情報とに基づいて、第１視点及び第２視点のそれぞれの２次元超音波画像のうち、少なくとも臓器を抽出した２次元超音波画像が含まれる視点に対応する複数の２次元超音波画像の各々について、不鮮明な画像領域を抽出して、抽出した画像領域における不鮮明度を抑制する抑制処理を行う画像処理部と、
　第１視点及び第２視点の２つの視点の複数の２次元超音波画像であって、少なくとも一方の視点の２次元超音波画像には抑制処理が行われた２次元超音波画像を含む２つの視点の２次元超音波画像のそれぞれに基づいて、第１視点及び第２視点の２つの視点の３次元超音波画像を生成する３次元超音波画像生成部と、
　３次元超音波画像生成部により生成された第１視点及び第２視点の２つの視点の３次元超音波画像を合成して合成３次元超音波画像を生成する画像合成部として、
　コンピュータを機能させる。
　本開示による他の第１の３次元超音波画像生成装置は、コンピュータに実行させるための命令を記憶するメモリと、
　記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の２次元超音波画像であって、第１視点及び第２視点の少なくとも２つの視点のそれぞれから複数の撮像位置の撮像が行われた第１視点及び第２視点のそれぞれにおける複数の２次元超音波画像を取得し、
　超音波プローブの視点の方向を示す撮像方向と視点毎の撮像位置とを含む位置情報を撮像毎に取得し、
　取得された第１視点及び第２視点のそれぞれの複数の２次元超音波画像と、取得された撮像毎の位置情報とに基づいて、第１視点及び第２視点のそれぞれの３次元超音波画像を生成し、
　第１視点及び第２視点のそれぞれの３次元超音波画像のうち少なくとも一方の３次元超音波画像に基づいて、３次元超音波画像に含まれる臓器を抽出し、
　抽出された臓器の位置情報と、取得された超音波プローブの位置情報とに基づいて、第１視点及び第２視点のそれぞれの３次元超音波画像のうち、少なくとも臓器が抽出された３次元超音波画像について、不鮮明な画像領域を抽出して、抽出した画像領域における不鮮明度を抑制する抑制処理を行い、
　第１視点及び第２視点の２つの視点の３次元超音波画像であって、少なくとも一方の視点の３次元超音波画像には抑制処理が行われた３次元超音波画像を含む２つの視点の３次元超音波画像を合成することにより、合成３次元超音波画像を生成する処理を実行する。
　本開示による他の第２の３次元超音波画像生成装置は、コンピュータに実行させるための命令を記憶するメモリと、
　記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
　超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の２次元超音波画像であって、第１視点及び第２視点の少なくとも２つの視点のそれぞれから複数の撮像位置の撮像が行われた第１視点及び第２視点のそれぞれにおける複数の２次元超音波画像を取得し、
　超音波プローブの視点の方向を示す撮像方向と視点毎の撮像位置とを含む位置情報を撮像毎に取得し、
　取得された第１視点及び第２視点のうちの少なくとも一方の視点における複数の２次元超音波画像の少なくとも１枚の２次元超音波画像に基づいて、２次元超音波画像に含まれる臓器を抽出し、
　抽出された臓器の位置情報と、取得された超音波プローブの位置情報とに基づいて、第１視点及び第２視点のそれぞれの２次元超音波画像のうち、少なくとも臓器を抽出した２次元超音波画像が含まれる視点に対応する複数の２次元超音波画像の各々について、不鮮明な画像領域を抽出して、抽出した画像領域における不鮮明度を抑制する抑制処理を行い、
　第１視点及び第２視点の２つの視点の複数の２次元超音波画像であって、少なくとも一方の視点の２次元超音波画像には抑制処理が行われた２次元超音波画像を含む２つの視点の２次元超音波画像のそれぞれに基づいて、第１視点及び第２視点の２つの視点の３次元超音波画像を生成し、
　生成された第１視点及び第２視点の２つの視点の３次元超音波画像を合成して合成３次元超音波画像を生成する処理を実行する。
　３次元超音波画像生成装置、方法、及びプログラムによれば、計測対象となる臓器に起因する不鮮明な画像領域を抑制することによって、より高精細な３次元超音波画像を生成できる。
本開示の第１の実施形態の３次元超音波画像生成装置を含む診断支援システムの構成を示す概略ブロック図 本開示の一実施形態である診断支援システムの概念図 マーカー部材が固定された超音波プローブを説明するための図 撮像部により取得された画像の一例を示す図である。 超音波プローブによる撮像動作を説明するための図 異なる視点における被検体内の臓器の撮像を説明するための図 異なる視点における被検体内の臓器の撮像を説明するための図 撮像画像中のマーカー部材５２の移動を説明するための図 不鮮明な画像領域を説明するための図 抑制処理について説明するための図 第１視点の３次元超音波画像における不鮮明な画像領域について説明するための図 第２視点の３次元超音波画像における処理を説明するための図 合成処理について説明するための図 合成３次元超音波画像ＶＧを説明するための図 本開示の第１の実施形態において行われる処理を示すフローチャート 本開示の第２の実施形態において行われる処理を示すフローチャート 表示部に表示された３次元超音波画像の一例を示す図 表示部に表示された２次元超音波画像の一例を示す図 センサが設けられた超音波プローブを説明するための図
　以下、図面を参照して本開示の実施形態について説明する。図１は本開示の一実施形態による３次元超音波画像生成装置を適用した、診断支援システムの構成を示す概略ブロック図である。図１に示すように、診断支援システム１は、本実施形態による３次元超音波画像生成装置１０、並びに３次元超音波画像生成装置１０と接続可能に構成された超音波プローブ５０、撮像部６０、表示部３０、及び入力部４０を備えている。
　３次元超音波画像生成装置１０は、ＣＰＵ（Central Processing Unit）１１、一次記憶部１２、二次記憶部１３及び外部Ｉ／Ｆ（Interface）１４等を備えたコンピュータから構成される。ＣＰＵ１１は、３次元超音波画像生成装置１０の全体を制御する。一次記憶部１２は、各種プログラムの実行時のワークエリア等として用いられる揮発性のメモリである。一次記憶部１２の一例としては、ＲＡＭ（Random Access Memory）が挙げられる。二次記憶部１３は、各種プログラム及び各種パラメータ等を予め記憶した不揮発性のメモリであり、本開示の３次元超音波画像生成プログラム１５の一実施形態がインストールされている。
　３次元超音波画像生成プログラム１５は、ＤＶＤ（Digital Versatile Disc）及びＣＤ－ＲＯＭ（Compact Disc Read Only Memory）などの記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。又は、３次元超音波画像生成プログラム１５は、ネットワークに接続されたサーバコンピュータの記憶装置もしくはネットワークストレージに対して、外部からアクセス可能な状態で記憶され、外部からの要求に応じてコンピュータにダウンロードされた後に、インストールされるようにしてもよい。
　この３次元超音波画像生成プログラム１５がＣＰＵ１１により実行されることによって、ＣＰＵ１１は、画像取得部２１、プローブ位置情報取得部２２、３次元超音波画像生成部２３、臓器抽出部２４、画像処理部２５、画像合成部２６、及び表示制御部２７として機能する。二次記憶部１３の一例としては、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）又はフラッシュメモリ等が挙げられる。
　外部Ｉ／Ｆ１４は、３次元超音波画像生成装置１０と外部装置（図示せず）との間の各種情報の送受信を司る。ＣＰＵ１１、一次記憶部１２、二次記憶部１３、及び外部Ｉ／Ｆ１４は、各々の回路がデータを交換するための共通の経路であるバスライン１６に接続されている。
　また、バスライン１６には、表示部３０と入力部４０も接続されている。表示部３０は、例えば液晶ディスプレイ等で構成される。表示部３０は、後述するように、画像取得部２１により取得された２次元超音波画像及び３次元超音波画像生成部２３により生成された３次元超音波画像を表示する。また、後述する撮像部６０によって取得された撮像画像も表示する。なお、表示部３０をタッチパネルによって構成し、入力部４０と兼用してもよい。入力部４０は、マウス及びキーボード等を備えたものであり、ユーザによる種々の設定入力を受け付ける。また、バスライン１６には、送受信部１７と撮像部６０も接続されている。送受信部１７は、後述する超音波プローブ５０との間の各種情報の送受信を司る。
　超音波プローブ５０は、３次元超音波画像生成装置１０に接続可能に構成されている。超音波プローブ５０としては、例えばセクタ走査対応のプローブ、リニア走査対応のプローブ、及びコンベックス走査対応のプローブ等を使用することができる。図２は、本開示の一実施形態である診断支援システムの概念図である。超音波プローブ５０は、図２に示すように、先端に、１次元方向に配列された複数の超音波振動子（図示せず）を有する振動子アレイ５０ａを有する。なお、振動子アレイ５０ａは、上記では、複数の超音波振動子が一次元に配列されている例について説明したが、これには限定されない。振動子アレイ５０ａにおいて、複数の超音波振動子が二次元に配列されていてもよい。
　超音波プローブ５０は振動子アレイ５０ａを生体である被検体Ｍの体表面に当接させた状態で、被検体Ｍの計測したい部位に対して超音波を出射（送信）し、被検体Ｍで反射して戻って来た反射超音波を検出（受信）する。超音波プローブ５０は、送受信部１７から出力されたパルス状又は連続波の電気信号を超音波に変換して出射し、受信した反射超音波を電気信号に変換して送受信部１７に送信する。
　送受信部１７は、超音波プローブ５０が有する複数の超音波振動子を駆動させる、パルス状又は連続波の電気信号を超音波プローブ５０へ送信する。また、送受信部１７は、反射超音波を受信した複数の超音波振動子で生成される複数の電気信号を受信する。そして、送受信部は、受信した電気信号に対して、増幅とＡ／Ｄ（Analog／Digital）変換とを行うことにより受信信号を生成する。この受信信号は、例えば、超音波振動子の配列方向と超音波の送信方向であって超音波振動子の配列方向と垂直な方向（以下、深度方向とする。）とに並ぶ複数の信号からなり、各信号は反射超音波の振幅をデジタル値で表したデジタル信号である。そして、この送信処理および受信処理を繰り返し連続して行い、複数の受信信号からなるフレームデータを複数構築する。
　なお、本開示においてフレームデータは、１枚の断層画像を構築する上で必要な受信信号の集合データ、この集合データに基づいて断層画像データを構築するために処理された信号、及びこの集合データに基づいて構築された１枚の断層画像データ或いは断層画像の何れかのことをいう。なお、本実施形態においては１枚の断層画像データのことをいう。構築された断層画像データは一次記憶部１２に記憶される。
　また、本実施形態においては、超音波プローブ５０には、マーカー部材が固定されている。図３は、本開示の一実施形態であるマーカー部材が固定された超音波プローブ５０を説明するための図である。なお、図３においては、マーカー部材の超音波プローブ５０への固定箇所等は実際の形状とは異なり簡易的に図示されている。
　超音波プローブ５０は、図３に示すように、送受信部１７と接続するケーブル５１を有している。また、超音波プローブ５０の外周面には、マーカー部材５２が固定されている。マーカー部材５２は、球状の３つのマーカー、すなわちマーカー５２ｘ、マーカー５２ｙ、及びマーカー５２ｚと、軸方向が互いに直交するｘ軸、ｙ軸、及びｚ軸の３軸とを備えている。３つのマーカー５２ｘ、マーカー５２ｙ、及びマーカー５２ｚは、各々のマーカー中心５２ａを中心として、ｘ軸、ｙ軸、及びｚ軸の３軸の一端に設けられている。ｘ軸、ｙ軸、及びｚ軸の３軸の他端は、超音波プローブ５０に設けられた支柱に設けられている。また、３つのマーカー５２ｘ、マーカー５２ｙ、及びマーカー５２ｚは、例えば、異なる色が付されており、色によって識別可能である。
　なお、本実施形態においては、マーカー部材５２は、３つのマーカー５２ｘ、マーカー５２ｙ、及びマーカー５２ｚで構成されるものとしたが、本開示の技術はこれに限られず、上記３つのマーカー以外のマーカーを使用してもよい。例えば４つ、５つ等のマーカーを使用してもよい。またマーカーの形状は球状に限られず、例えば直方体であってもよいし、円錐状であってもよいし、適宜変更することができる。
　図２に示す撮像部６０は、超音波プローブ５０とマーカー部材５２とを同一撮像範囲内に含めて撮像可能な位置に設置されている。図４は撮像部６０により取得された画像の一例を示す図である。図４に示すように、撮像部６０により取得された画像Ｄには、ユーザの手Ｈに把持され、被検体Ｍの体表面に当接する超音波プローブ５０、及び超音波プローブ５０に固定されたマーカー部材５２が写っている。
　図５は超音波プローブ５０による撮像動作を説明するための図である。図５に示すように、ユーザが超音波プローブ５０を被検体Ｍの体表面に当接させた状態で、超音波プローブ５０を例えば矢印Ｓで示す方向に移動させることにより、異なる位置において撮像が行われる。こうした撮像が行われる異なる複数の撮像位置において、複数の２次元超音波画像Ｐが取得される。撮像位置は、撮像毎の超音波プローブ５０の体表面上の位置である。２次元超音波画像Ｐは、各撮像位置から被検体内の深度方向に延びる断面の断層画像である。
　図６及び図７は各々異なる視点における被検体内の臓器の撮像を説明するための図である。本実施形態においては、被検体Ｍ内の臓器として血管、具体的には頸動脈Ｍ２を撮像する。ユーザは、図６に示すように、被検体Ｍの正面側から（矢印Ｖ１の方向）、超音波プローブ５０を被検体Ｍの頚部Ｍ１に当接させた状態で、超音波プローブ５０を頸動脈Ｍ２に沿って移動させることにより、頸動脈Ｍ２を複数の撮像位置で撮像する。この際、超音波プローブ５０の超音波振動子の配列方向が、頸動脈Ｍ２と血流方向と直交するように、すなわち図中黒色領域で示す向きで超音波プローブ５０を頚部Ｍ１に当接させることにより、頸動脈の短軸方向の血管短軸断面を撮像する。また、超音波プローブ５０の超音波振動子の配列方向が、頸動脈Ｍ２と血流方向と一致するように、すなわち図中斜線領域で示す向きで超音波プローブ５０を頚部Ｍ１に当接させることにより、頸動脈の長軸方向の血管長軸断面を撮像する。ここで、本実施形態の矢印Ｖ１は本開示の第１視点に対応する。
　また、ユーザは、図７に示すように、被検体Ｍの左側面側から（矢印Ｖ２の方向）、超音波プローブ５０を被検体Ｍの頚部Ｍ１に当接させた状態で、超音波プローブ５０を頸動脈Ｍ２に沿って移動させることにより、頸動脈Ｍ２を複数の撮像位置で撮像する。この際、超音波プローブ５０の超音波振動子の配列方向が、頸動脈Ｍ２と血流方向と直交するように、すなわち図中黒色領域で示す向きで超音波プローブ５０を頚部Ｍ１に当接させることにより、頸動脈の短軸方向の血管短軸断面を撮像する。また、超音波プローブ５０の超音波振動子の配列方向が、頸動脈Ｍ２と血流方向と一致するように、すなわち図中斜線領域で示す向きで超音波プローブ５０を頚部Ｍ１に当接させることにより、頸動脈の長軸方向の血管長軸断面を撮像する。ここで、本実施形態の矢印Ｖ２は本開示の第２視点に対応する。
　図２に戻り、画像取得部２１は、超音波プローブ５０が第１視点及び第２視点の少なくとも２つの視点の各々において、複数の撮像位置で各々撮像した２次元超音波画像Ｐを取得する。２次元超音波画像Ｐは、各撮像位置から被検体内の深度方向に延びる断面の断層画像である。超音波プローブ５０は、撮像した複数の２次元超音波画像Ｐ（断層画像）を一次記憶部１２に出力する。画像取得部２１は一次記憶部１２から２次元超音波画像Ｐ（断層画像）を取得する。
　プローブ位置情報取得部２２は、超音波プローブ５０の視点の方向を示す撮像方向と、視点毎の撮像位置とを含む位置情報を撮像毎に取得する。具体的には、異なる各撮像位置において、撮像部６０は超音波プローブ５０及びマーカー部材５２を撮像する。こうして得た超音波プローブ５０及びマーカー部材５２の撮像画像は一次記憶部１２に出力される。プローブ位置情報取得部２２は、一次記憶部１２から撮像画像を読み出す。そして、プローブ位置情報取得部２２は、読み出した撮像画像を画像解析することにより、撮像画像中のマーカー中心５２ａの位置、マーカー５２ｘ，５２ｙ，５２ｚの位置、大きさ、及び傾きから、超音波プローブ５０の撮像方向、及び撮像位置の位置情報を導出する。プローブ位置情報取得部２２は、マーカー５２ｘ，５２ｙ，５２ｚの各マーカーを色によって識別する。プローブ位置情報取得部２２は、こうした導出処理によって、撮像方向及び撮像位置を含む位置情報を取得する。
　図８は撮像画像中のマーカー部材５２の移動を説明するための図である。超音波プローブ５０が撮像位置Ｔ１及び撮像位置Ｔ２において２次元超音波画像Ｐを取得した場合、例えば図８に示すように、マーカー部材５２は撮像画像において、矢印Ｔの方向に移動する。この場合、マーカー中心５２ａのｘ方向の移動量から、超音波プローブ５０のｘ方向の位置が導出される。また、マーカー５２ｘ，５２ｙ，５２ｚの大きさの変化量から超音波プローブ５０のｙ方向の位置を導出する。また、マーカー５２ｘ，５２ｙ，５２ｚのマーカー中心５２ａの移動軌跡から、マーカー部材５２の回転量が検出される。そして、回転量に基づいて超音波プローブ５０の向き、すなわち撮像方向が導出される。そして、導出した超音波プローブ５０の撮像位置、及び撮像方向を含む位置情報は、当該撮像位置において取得された２次元超音波画像Ｐに対応させて一次記憶部１２に記憶される。なお、マーカー部材５２を使用した超音波プローブ５０の撮像方向及び撮像位置を取得する方法は、公知の技術を使用することができる。
　３次元超音波画像生成部２３は、画像取得部２１が取得した２次元超音波画像Ｐ、及び、２次元超音波画像Ｐに対応させて一次記憶部１２に記憶された超音波プローブ５０の撮像方向及び撮像位置を含む位置情報を用いることにより、振動子アレイ５０ａの機械的走査の角度範囲あるいはストロークと電子的な走査範囲によって決定される空間に対する３次元超音波画像Ｖを生成する。なお、３次元超音波画像Ｖの生成方法については公知の技術を使用することができる。
　臓器抽出部２４は、画像取得部２１により取得された２次元超音波画像Ｐ又は３次元超音波画像生成部２３により生成された３次元超音波画像Ｖに基づいて、２次元超音波画像Ｐ又は３次元超音波画像Ｖに含まれる少なくとも１つの臓器を抽出する。ここで、臓器とは、心臓及び肝臓等の内臓領域に限らず、骨及び血管等も含まれるものとする。
　本実施形態においては、撮像対象は頚部とする。そのため、臓器抽出部２４は、３次元超音波画像Ｖは血管を対象物として抽出する。血管を抽出する手法としては、例えば特開２０１０－２２０７４２号公報に記載された、線状構造からなる対象組織を表す複数の候補点の位置情報および主軸方向を算出し、算出された位置情報および主軸方向に基づいた変数とするコスト関数を用いて、複数の候補点が接続されるように再構築する手法がある。または特開２０１１－２１２３１４号公報に記載された、自動で血管を区別して抽出する手法等を用いることもできる。
　また、２次元超音波画像Ｐ及び３次元超音波画像Ｖ、並びに各種臓器の正解データを教師データとして、２次元超音波画像Ｐ又は３次元超音波画像Ｖが入力された場合に臓器を示す領域が出力されるように学習がなされたニューラルネットワークを使用してもよい。
　画像処理部２５は、臓器抽出部２４により抽出された臓器の位置情報と、プローブ位置情報取得部２２により取得された超音波プローブ５０の位置情報とに基づいて、臓器が抽出された２次元超音波画像Ｐ及び３次元超音波画像Ｖについて、不鮮明な画像領域を抽出して、抽出した画像領域における不鮮明度を抑制する抑制処理を行う。
　画像処理部２５は、臓器に対する超音波プローブ５０から照射される超音波の進行方向に基づいて不鮮明な画像領域を抽出する。まず、臓器抽出部２４が３次元超音波画像生成部２３により生成された３次元超音波画像Ｖに基づいて、臓器を抽出した場合について説明する。図９に不鮮明な画像領域を説明するための図を示す。なお、図９は便宜上、頸動脈Ｍ２の短軸方向の血管短軸断面、すなわち２次元超音波画像Ｐを示しているが、３次元超音波画像Ｖにおいても同様の説明をすることができる。
　図９に示すように、頸動脈Ｍ２等の血管のように、丸い形状の臓器においては、臓器の外表面、具体的には図９のＡに点線の円で示す付近において、超音波が反射したり屈折したりすることによりアーチファクトが生じやすい。そこで、画像処理部２５は不鮮明な画像領域としてアーチファクトが生じやすい領域に対して不鮮明度を抑制する抑制処理を行う。
　図１０は抑制処理について説明するための図である。本実施形態においては、画像処理部２５は、図１０に示すように、超音波の進行方向と頸動脈Ｍ２の外表面とのなす角度αが予め定められた閾値以下である領域を不鮮明な画像領域として抽出する。具体的には、図１０中、矢印で示す超音波の進行方向と頸動脈Ｍ２の外表面との間の領域（図中、斜線で示す領域）を不鮮明な画像領域として抽出する。ここで、角度αは、臓器の大きさ及び種類等毎に、予め計測した角度とアーチファクトとの関係に基づいて算出された値である。
　図１１に第１視点の３次元超音波画像ＶＯ１における不鮮明な画像領域について説明するための図である。なお、図１１において、便宜上、不鮮明な画像領域は１つとして以下説明するが、不鮮明な画像領域が２以上である場合についても、同様の説明をすることができる。画像処理部２５は、図１１の左図に示すように、第１視点における３次元超音波画像ＶＯ１において、不鮮明な画像領域Ａ１を抽出した場合に、図１１の右図に示すように不鮮明な画像領域Ａ１を削除する処理を行い、不鮮明な画像領域Ａ１が削除された第１視点における抑制処理後の３次元超音波画像ＶＡ１を生成する。
　次に、臓器抽出部２４が画像取得部２１により取得された複数の２次元超音波画像Ｐに基づいて、臓器を抽出した場合について説明する。２次元超音波画像Ｐにおいても、上述した３次元超音波画像Ｖと同様に、図９に示すように、頸動脈Ｍ２等の血管のように、丸い形状の臓器においては、臓器の外表面、具体的には図９のＡに点線の円で示す付近において、超音波が反射したり屈折したりすることによりアーチファクトが生じやすい。そこで、画像処理部２５は不鮮明な画像領域としてアーチファクトが生じやすい領域に対して不鮮明度を抑制する抑制処理を行う。具体的には、３次元超音波画像Ｖと同様に、図１０に示すように、超音波の進行方向と頸動脈Ｍ２の外表面とのなす角度αが予め定められた閾値以下である領域を不鮮明な画像領域として抽出する。
　画像合成部２６は、第１視点における抑制処理後の３次元超音波画像ＶＡ１と第２の視点における３次元超音波画像ＶＯ２とを合成することにより、合成３次元超音波画像ＶＧを生成する。図１２は第２視点の３次元超音波画像ＶＯ２における処理を説明するための図である。第２視点の３次元超音波画像ＶＯ２は、第１視点とは異なる撮像方向において撮像された画像なので、超音波が照射される頸動脈Ｍ２の外表面の位置が、第１視点とは異なる。そのため、図１２に示すように、第２視点の３次元超音波画像ＶＯ２においてアーチファクトが生じる領域、すなわち不鮮明な画像領域Ａ２は、図１１の不鮮明な画像領域Ａ１とは異なる位置となる。
　画像合成部２６は、第１視点の３次元超音波画像ＶＯ１に含まれる頸動脈Ｍ２と、第２視点の３次元超音波画像ＶＯ２に含まれる頸動脈Ｍ２の位置合わせ処理を行う。本実施形態においては、図１２の右図に示すように、第２視点の３次元超音波画像ＶＯ２に対して上記位置合わせ処理を行い、位置合わせ処理が行われた第２視点における位置合わせ処理後の３次元超音波画像ＶＡ２を生成する。なお、位置合わせ処理は、第１視点の３次元超音波画像ＶＯ１に対して行ってもよいし、第１視点の３次元超音波画像ＶＯ１と第２視点の３次元超音波画像ＶＯ２の両方に対して行ってもよい。位置合わせ処理については公知の技術を使用することができる。
　図１３は合成処理について説明するための図である。画像合成部２６は、図１３に示すように、第１視点における抑制処理後の３次元超音波画像ＶＡ１において不鮮明な画像領域Ａ１が削除された領域に、この削除された領域に対応する領域の第２視点における位置合わせ処理後の３次元超音波画像ＶＡ２を合成する。図１４は合成３次元超音波画像ＶＧを説明するための図である。第１視点における抑制処理後の３次元超音波画像ＶＡ１においては、不鮮明な画像領域Ａ１が削除されているので、不鮮明な画像領域は存在しない。そして、第１視点における抑制処理後の３次元超音波画像ＶＡ１において削除された領域に、第２視点における位置合わせ処理後の３次元超音波画像ＶＡ２において不鮮明な画像領域Ａ２ではない領域を合成することにより、合成処理後の合成３次元超音波画像ＶＧは不鮮明な画像領域がない、第１視点の３次元超音波画像ＶＯ１よりも高精細な３次元超音波画像となる。
　図２に戻り、表示制御部２７は、超音波プローブ５０により撮像された２次元超音波画像Ｐ及び３次元超音波画像Ｖの少なくとも一方を表示部３０に表示させる。また、表示制御部２７は、画像合成部２６により合成された合成３次元超音波画像ＶＧを表示部３０に表示させる。なお、表示制御部２７は１つの表示部３０に超音波プローブ５０により撮像された２次元超音波画像Ｐと、並びに３次元超音波画像Ｖ及び合成３次元超音波画像ＶＧの少なくとも一方とを表示させてもよいし、表示部３０が２つある場合には、各々に表示させてもよい。
　次いで、本実施形態において行われる処理について説明する。図１５は本開示の第１の実施形態において行われる処理を示すフローチャートである。
　画像取得部２１は、ユーザが超音波プローブ５０を被検体Ｍの頚部Ｍ１の体表面に当接させた状態で、超音波プローブ５０を操作することにより、異なる視点である視点１及び視点２から撮像された複数の２次元超音波画像Ｐを取得する（ステップＳＴ１）。
　プローブ位置情報取得部２２は、超音波プローブ５０の視点の方向を示す撮像方向と、視点毎の撮像位置とを含む位置情報をステップＳＴ１の撮像毎に取得する（ステップＳＴ２）。３次元超音波画像生成部２３は、第１視点及び第２視点の３次元超音波画像ＶＯ１，ＶＯ２を生成する（ステップＳＴ３）。
　次いで、臓器抽出部２４は、第１視点の３次元超音波画像ＶＯ１に含まれる頸動脈Ｍ２を抽出する（ステップＳＴ４）。そして、画像処理部２５は、第１視点の３次元超音波画像ＶＯ１において不鮮明な画像領域を抽出して、抽出した不鮮明な画像領域を削除する抑制処理を行う（ステップＳＴ５）。
　次いで、画像合成部２６は、第１視点における抑制処理後の３次元超音波画像ＶＡ１において削除された領域に、第２視点における位置合わせ処理後の３次元超音波画像ＶＡ２において不鮮明な画像領域Ａ２ではない領域を合成することにより、合成３次元超音波画像ＶＧを生成して（ステップＳＴ６）、処理を終了する。
　以上のように、本実施形態においては、第１視点における抑制処理後の３次元超音波画像ＶＡ１において削除された領域に、第２視点における位置合わせ処理後の３次元超音波画像ＶＡ２において不鮮明な画像領域Ａ２ではない領域を合成する。これにより、第１視点の３次元超音波画像ＶＯ１よりも不鮮明な画像領域が抑制された、高精細な３次元超音波画像を生成することができる。
　なお、第１の実施形態においては、第１視点及び第２視点において複数の２次元超音波画像Ｐを取得し、第１視点及び第２視点の３次元超音波画像Ｖを生成したが、本開示の技術はこれに限られない。３つ以上の視点において複数の２次元超音波画像Ｐを取得し、第１視点及び第２視点の３次元超音波画像Ｖを生成してもよい。この場合、第１の視点の３次元超音波画像Ｖについてのみ、不鮮明な画像領域に対して不鮮明度を抑制する抑制処理を行ってもよいし、２以上の視点の３次元超音波画像Ｖにおいて上記抑制処理を行ってもよいし、全ての視点の３次元超音波画像Ｖにおいて上記抑制処理を行ってもよい。
　また、第１の実施形態においては、臓器抽出部２４は、２次元超音波画像Ｐ及び３次元超音波画像Ｖの両方において臓器を抽出可能としたが、本開示の技術はこれに限られない。上記第１の実施形態のように、臓器の抽出を３次元超音波画像Ｖにおいてのみ行う場合には、臓器抽出部２４は、２次元超音波画像Ｐにおいて臓器を抽出する機能を備えていなくてもよい。
　また、第１の実施形態においては、臓器抽出部２４は、３次元超音波画像Ｖにおいて臓器の抽出を行ったが、２次元超音波画像Ｐにおいて臓器の抽出をおこなってもよい。この場合、画像処理部２５は、２次元超音波画像Ｐにおいて抑制処理を行う。
　次に、第２の実施形態の３次元超音波画像生成装置について説明する。第２の実施形態の３次元超音波画像生成装置は、２次元超音波画像Ｐに対して臓器の抽出及び抑制処理を行う。なお、第２の実施形態の３次元超音波画像生成装置は、図１に示す第１の実施形態の３次元超音波画像生成装置１０と同じ構成とすることができる。そのため、ここでの説明は省略し、第２の実施形態の３次元超音波画像生成装置について行われる処理についてのみ説明する。図１５は本開示の第２の実施形態において行われる処理を示すフローチャートである。
　画像取得部２１は、ユーザが超音波プローブ５０を被検体Ｍの頚部Ｍ１の体表面に当接させた状態で、超音波プローブ５０を操作することにより、異なる視点である視点１及び視点２から撮像された複数の２次元超音波画像Ｐを取得する（ステップＳＴ１１）。プローブ位置情報取得部２２は、超音波プローブ５０の視点の方向を示す撮像方向と、視点毎の撮像位置とを含む位置情報をステップＳＴ１の撮像毎に取得する（ステップＳＴ１２）。
　次いで、臓器抽出部２４は、第１視点の複数の２次元超音波画像Ｐに含まれる頸動脈Ｍ２を各々抽出する（ステップＳＴ１３）。そして、画像処理部２５は、第１視点の複数の２次元超音波画像Ｐにおいて各々不鮮明な画像領域を抽出して、抽出した不鮮明な画像領域を削除する抑制処理を行う（ステップＳＴ１４）。ここで、画像処理部２５は、第１視点の複数の２次元超音波画像Ｐ全てについて、図１０に示すように、矢印で示す超音波の進行方向と頸動脈Ｍ２の外表面との間の領域（図中、斜線で示す領域）を不鮮明な画像領域として抽出する。
　３次元超音波画像生成部２３は、第１視点及び第２視点の３次元超音波画像ＶＯ１，ＶＯ２を生成する（ステップＳＴ１５）。ここで、第１視点の３次元超音波画像ＶＯ１は、抑制処理が行われた第１視点の複数の２次元超音波画像Ｐに基づいて生成されるため、第１視点の３次元超音波画像ＶＯ１には不鮮明な画像領域は含まれない。すなわち、第１視点の３次元超音波画像ＶＯ１においては、図１３の左図で示した第１視点における抑制処理後の３次元超音波画像ＶＡ１と同様に、不鮮明な画像領域は削除されている。
　次いで、画像合成部２６は、図１２の右図に示すように、第２視点の３次元超音波画像ＶＯ２に対して上記第１の実施形態と同様の位置合わせ処理を行い、位置合わせ処理が行われた第２視点における位置合わせ処理後の３次元超音波画像ＶＡ２を生成する。そして、不鮮明な画像領域が削除された第１視点の３次元超音波画像ＶＯ１において、この削除された領域に、位置合わせ処理を行った第２視点における位置合わせ処理後の３次元超音波画像ＶＡ２において不鮮明な画像領域Ａ２ではない領域を合成することにより、合成３次元超音波画像ＶＧを生成して（ステップＳＴ６）、処理を終了する。
　以上のように、第２の実施形態においては、第１視点の複数の２次元超音波画像Ｐにおいて各々不鮮明な画像領域を抽出して、抽出した不鮮明な画像領域を削除する抑制処理を行う。そして、抑制処理が行われた第１視点の複数の２次元超音波画像Ｐに基づいて第１視点の３次元超音波画像ＶＯ１を生成して、第２の視点の３次元超音波画像ＶＯ２と合成する。このように、２次元超音波画像Ｐにおいて抑制処理を行った場合であっても、上記第１の実施形態と同様に、高精細な３次元超音波画像を生成することができる。
　なお、第２の実施形態においては、第１視点及び第２視点において複数の２次元超音波画像Ｐを取得し、第１視点及び第２視点の３次元超音波画像Ｖを生成したが、本開示の技術はこれに限られない。３つ以上の視点において複数の２次元超音波画像Ｐを取得し、第１視点及び第２視点の３次元超音波画像Ｖを生成してもよい。この場合、第１の視点の複数の２次元超音波画像Ｐについてのみ、不鮮明な画像領域に対して不鮮明度を抑制する抑制処理を行ってもよいし、２以上の視点の複数の２次元超音波画像Ｐにおいて上記抑制処理を行ってもよいし、全ての視点の複数の２次元超音波画像Ｐにおいて上記抑制処理を行ってもよい。
　また、第２の実施形態においては、臓器抽出部２４は、２次元超音波画像Ｐ及び３次元超音波画像Ｖの両方において臓器を抽出可能としたが、本開示の技術はこれに限られない。上記第２の実施形態のように、臓器の抽出を２次元超音波画像Ｐにおいてのみ行う場合には、臓器抽出部２４は、３次元超音波画像Ｖにおいて臓器を抽出する機能を備えていなくてもよい。
　また、第１の実施形態及び第２の実施形態において、画像合成部２６は、さらに、第１視点における抑制処理後の３次元超音波画像ＶＡ１、又は抑制処理が行われた第１視点の複数の２次元超音波画像Ｐに基づいて生成され３次元超音波画像ＶＯ１と、第２視点における位置合わせ処理後の３次元超音波画像ＶＡ２に基づいて、抑制処理が行われた領域以外の領域内の画素値について、同じ位置にある画素同士の画素値を平均化する平均化処理を行ってもよい。これにより、画像中のノイズを低減することができるので、より高精細な３次元超音波画像を生成することができる。
　また、第１の実施形態及び第２の実施形態において、画像処理部２５は、不鮮明な画像領域を削除したが、本開示の技術はこれに限られず、不鮮明な画像領域の画素値を、他の領域の画素値と比較して相対的に低減できればよい。低減する処理としては、例えば、重み付けによって不鮮明な画像領域の画素値を低減するようにしてもよい。具体的には、例えば、不鮮明な画像領域と、不鮮明な画像領域以外の画像領域との画素値を１：２の割合で平均化する処理を行うことができる。また、アーチファクトの起点からの距離に応じて重み付けを行い、不鮮明な画像領域の画素値を低減するようにしてもよい。具体的には、例えば、不鮮明な画像領域において、超音波プローブ５０から離れるほど重み付けを大きくして、不鮮明な画像領域の画素値を低減することができる。超音波プローブ５０から離れるほど画像における分解能が低下するため、分解能が低い領域ほど画素値を低減することにより、不鮮明な画像領域をより抑制することができる。
　また、第１の実施形態及び第２の実施形態において、３次元超音波画像Ｖにおいて１つの臓器が抽出される態様について説明した。しかし、本開示の技術においては１つの臓器に限られず、２以上の臓器が抽出された場合についても上記第１の実施形態で説明した技術を適用することができる。この場合、抽出された各々の臓器に対して、不鮮明な画像領域を抽出して抑制する処理を行えばよい。
　次に、第３の実施形態の３次元超音波画像生成装置について説明する。なお、第３の実施形態の３次元超音波画像生成装置は、図１に示す第１の実施形態の３次元超音波画像生成装置１０と同じ構成とすることができる。そのため、ここでの説明は省略し、異なる箇所についてのみ説明する。第３の実施形態の３次元超音波画像生成装置の表示制御部２７は、表示部３０に３次元超音波画像Ｖを表示し、表示された３次元超音波画像Ｖ上においてユーザに指定された位置に最も近い撮像位置において撮像された第１視点及び第２視点の２次元超音波画像Ｐを表示部３０に表示させる制御を行なう。
　図１７は表示部に表示された３次元超音波画像Ｖの一例を示す図、図１８は表示部３０に表示された２次元超音波画像Ｐの一例を示す図である。図１７に示すように、表示部３０に表示された合成３次元超音波画像ＶＧ上においてユーザが例えばマウス等の入力部４０を操作することにより、任意の位置（一例として図１７中の矢印の先端）を指定したとする。
　表示制御部２７は、指定された位置に最も近い撮像位置を、一次記憶部１２に記憶された撮像位置の中から抽出し、抽出した撮像位置に対応させて一次記憶部１２に記憶された第１視点及び第２視点の２次元超音波画像Ｐを抽出して表示部３０に表示させる。第１視点及び第２視点の２次元超音波画像Ｐは、表示部３０に並列表示させてもよいし、ユーザの指示によって切り替わるように交互に表示させてもよい。
　このように、不鮮明な画像領域が抑制されていない、すなわちアーチファクト等の不鮮明な画像領域を含む２次元超音波画像を表示部３０に表示させることにより、画像信号がどれだけ減衰しているのか等、元の画像を視認することで可能となる診断を行うことができる。
　また、第１の実施形態及び第２の実施形態において、プローブ位置情報取得部２２は、撮像部６０に超音波プローブ５０及びマーカー部材５２を撮像させて取得した撮像画像中のマーカー中心５２ａの位置、マーカー５２ｘ，５２ｙ，５２ｚの位置、大きさ、及び傾きから、超音波プローブ５０の撮像位置、及び向きの情報を導出しているが、本開示の技術はこれに限られない。
　プローブ位置情報取得部２２は、例えばＡＲ(Augmented Reality：拡張現実)マーカーを使用することにより超音波プローブ５０の撮像位置、及び向きの情報を取得してもよい。ＡＲマーカーは、決まったパターンの図形で構成された画像である。このＡＲマーカーを超音波プローブ５０の外周面に配設する。そして、撮像部６０により撮像されたＡＲマーカーを含む超音波プローブ５０の画像データに基づいて、マーカーの位置及び向きを検出する公知のプログラムを使用することにより、ＡＲマーカー、すなわち超音波プローブ５０の撮像位置及び、向きの情報を取得するようにしてもよい。
　また、マーカー部材５２に替えて、超音波プローブ５０本体に凸部及び凹部等を設け、この凸部及び凹部等をマーカーとすることにより、超音波プローブ５０の撮像位置、及び向きの情報を導出してもよい。本開示の技術においては、超音波プローブ５０の撮像位置、及び向きを規定するための指標とすることができるマーカーであれば、どのような形状及び形式であってもよく、特に限定されるものではない。
　また、例えば、診断支援システム１は撮像部６０及びマーカー部材５２のかわりにセンサを備えることができる。
　図１９はセンサが設けられた超音波プローブを説明するための図である。なお、図１９においては、センサの超音波プローブ５０への取り付け方は実際の形状とは異なり簡易的に図示されている。
　超音波プローブ５０は、図１９に示すように、超音波プローブ５０の外周面に、センサ７０が取付けられている。センサ７０は、移動方向、向き、回転を検出することができ、さらに移動距離や移動速度などを算出することができる６軸センサである。前後、左右、上下の３方向を検出できる加速度センサと東西南北を検出できる地磁気センサ、または加速度センサと回転の速さを検出できるジャイロセンサを組み合わせることで、６軸センサが実現される。
　プローブ位置情報取得部２２は、センサ７０から出力された出力情報に基づいて撮像位置を取得することができる。
　なお、上記実施形態においては、撮像部６０及びマーカー部材５２のかわりにセンサ７０を設けたが、本開示の技術はこれに限られない。撮像部６０及びマーカー部材５２に加えてセンサ７０を設けてもよい。この場合、センサ７０は超音波プローブ５０の撮像方向を検出するのに適しており、撮像部６０に超音波プローブ５０及びマーカー部材５２を撮像させて取得した撮像画像から撮像位置を算出する方法は、超音波プローブ５０の平行移動を検出するのに適している。そのため、撮像部６０、マーカー部材５２、及びセンサ７０を使用することにより、プローブ位置情報取得部２２はより正確な撮像位置及び撮像方向を取得することができる。
　また、上述した実施形態において、例えば、画像取得部２１、プローブ位置情報取得部２２、３次元超音波画像生成部２３、臓器抽出部２４、画像処理部２５、画像合成部２６、及び表示制御部２７といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field　Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。
　　　１　　診断支援システム
　　　１０　３次元超音波画像生成装置
　　　１１　　ＣＰＵ
　　　１２　　一次記憶部
　　　１３　　二次記憶部
　　　１４　　外部Ｉ／Ｆ
　　　１５　　３次元超音波画像生成プログラム
　　　１６　　バス
　　　１７　　送受信部
　　　２１　　画像取得部
　　　２２　　プローブ位置情報取得部
　　　２３　　３次元超音波画像生成部
　　　２４　　臓器抽出部
　　　２５　　画像処理部
　　　２６　　画像合成部
　　　２７　　表示制御部
　　　３０　　表示部
　　　４０　　入力部
　　　５０　　超音波プローブ
　　　５０ａ　振動子アレイ
　　　５１　　ケーブル
　　　５２　　マーカー部材
　　　６０　　撮像部
　　　７０　　センサ
　　　Ｍ　　　被検体
　　　Ｍ１　　頚部
　　　Ｍ２　　頸動脈
　　　Ｈ　　　手
　　　Ｐ　　　２次元超音波画像
　　　Ｖ　　　３次元超音波画像
　　　ＶＡ１，ＶＡ２　抑制処理後の３次元超音波画像
　　　ＶＯ１，ＶＯ２　３次元超音波画像
　　　ＶＧ　　合成３次元超音波画像
　　　α　　　角度

Claims (14)

  1. 　超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の２次元超音波画像であって、第１視点及び第２視点の少なくとも２つの視点のそれぞれから前記複数の撮像位置の撮像が行われた第１視点及び第２視点のそれぞれにおける複数の２次元超音波画像を取得する画像取得部と、
    　前記超音波プローブの前記視点の方向を示す撮像方向と前記視点毎の前記撮像位置とを含む位置情報を撮像毎に取得するプローブ位置情報取得部と、
    　前記画像取得部により取得された前記第１視点及び前記第２視点のそれぞれの前記複数の２次元超音波画像と、前記プローブ位置情報取得部により取得された撮像毎の前記位置情報とに基づいて、前記第１視点及び前記第２視点のそれぞれの３次元超音波画像を生成する３次元超音波画像生成部と、
    　前記第１視点及び前記第２視点のそれぞれの前記３次元超音波画像のうち少なくとも一方の前記３次元超音波画像に基づいて、前記３次元超音波画像に含まれる前記臓器を抽出する臓器抽出部と、
    　前記臓器抽出部により抽出された前記臓器の位置情報と、前記プローブ位置情報取得部により取得された前記超音波プローブの前記位置情報とに基づいて、前記第１視点及び前記第２視点のそれぞれの前記３次元超音波画像のうち、少なくとも前記臓器が抽出された前記３次元超音波画像について、不鮮明な画像領域を抽出し、抽出した前記画像領域における不鮮明度を抑制する抑制処理を行う画像処理部と、
    　前記第１視点及び前記第２視点の２つの視点の前記３次元超音波画像であって、少なくとも一方の視点の前記３次元超音波画像には前記抑制処理が行われた前記３次元超音波画像を含む２つの視点の前記３次元超音波画像を合成することにより、合成３次元超音波画像を生成する画像合成部と、
    を含む３次元超音波画像生成装置。
  2. 　超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の２次元超音波画像であって、第１視点及び第２視点の少なくとも２つの視点のそれぞれから前記複数の撮像位置の撮像が行われた第１視点及び第２視点のそれぞれにおける複数の２次元超音波画像を取得する画像取得部と、
    　前記超音波プローブの前記視点の方向を示す撮像方向と前記視点毎の前記撮像位置とを含む位置情報を撮像毎に取得するプローブ位置情報取得部と、
    　前記画像取得部により取得された前記第１視点及び前記第２視点のうちの少なくとも一方の視点における前記複数の２次元超音波画像の少なくとも１枚の前記２次元超音波画像に基づいて、前記２次元超音波画像に含まれる前記臓器を抽出する臓器抽出部と、
    　前記臓器抽出部により抽出された前記臓器の位置情報と、前記プローブ位置情報取得部により取得された前記超音波プローブの前記位置情報とに基づいて、前記第１視点及び前記第２視点のそれぞれの前記２次元超音波画像のうち、少なくとも前記臓器を抽出した前記２次元超音波画像が含まれる視点に対応する前記複数の２次元超音波画像の各々について、不鮮明な画像領域を抽出し、抽出した前記画像領域における不鮮明度を抑制する抑制処理を行う画像処理部と、
    　前記第１視点及び前記第２視点の２つの視点の複数の前記２次元超音波画像であって、少なくとも一方の視点の前記２次元超音波画像には前記抑制処理が行われた前記２次元超音波画像を含む２つの視点の前記２次元超音波画像のそれぞれに基づいて、前記第１視点及び前記第２視点の２つの視点の３次元超音波画像を生成する３次元超音波画像生成部と、
    　前記３次元超音波画像生成部により生成された前記第１視点及び前記第２視点の２つの視点の前記３次元超音波画像を合成して合成３次元超音波画像を生成する画像合成部と、を含む３次元超音波画像生成装置。
  3. 　前記画像処理部は、前記臓器抽出部により抽出された前記臓器の位置情報、並びに前記超音波プローブの位置情報に基づいて導出される進行方向であって、前記臓器に対して前記超音波プローブから照射される超音波の進行方向に基づいて、前記不鮮明な画像領域を抽出する請求項１又は請求項２に記載の３次元超音波画像生成装置。
  4. 　前記画像処理部は、前記進行方向と前記臓器の外表面とのなす角度が予め定められた閾値以下である領域を前記不鮮明な画像領域として抽出する請求項３に記載の３次元超音波画像生成装置。
  5. 　前記抑制処理は、前記不鮮明な画像領域の画素値を、他の領域の画素値と比較して相対的に低減する処理である請求項１から４の何れか１項に記載の３次元超音波画像生成装置。
  6. 　前記画像合成部は、前記第１視点及び前記第２視点の２つの視点の前記３次元超音波画像に基づいて、同じ位置にある画素同士の画素値を平均化する平均化処理であって、前記抑制処理が行われた前記不鮮明な画像領域以外の領域内の前記画素値を平均化する平均化処理を行う請求項１から５の何れか１項に記載の３次元超音波画像生成装置。
  7. 　前記２次元超音波画像及び前記３次元超音波画像の少なくとも一方の画像を表示部に表示する表示制御部を備え、
    　前記表示制御部は、前記表示部に前記合成３次元超音波画像を表示し、表示された合成３次元超音波画像上においてユーザに指定された位置に最も近い撮像位置において撮像された２次元超音波画像を表示部に表示させる制御を行なう請求項１から６の何れか１項に記載の３次元超音波画像生成装置。
  8. 　前記超音波プローブに固定されたマーカー部材と、
    　前記超音波プローブ及び前記マーカー部材を同一撮像範囲内に含めて撮像する撮像部とを備え、
    　前記プローブ位置情報取得部は、前記撮像部により取得された前記超音波プローブ及び前記マーカー部材の撮像画像に基づいて前記超音波プローブの位置情報を取得する請求項１から７の何れか１項に記載の３次元超音波画像生成装置。
  9. 　前記超音波プローブに設けられる６軸センサを備え、
    　前記プローブ位置情報取得部は、前記６軸センサから出力された出力情報に基づいて前記超音波プローブの位置情報を取得する請求項１から７の何れか１項に記載の３次元超音波画像生成装置。
  10. 　前記超音波プローブに固定されたマーカー部材、並びに前記超音波プローブに設けられる６軸センサと、
    　前記超音波プローブ及び前記マーカー部材を同一撮像範囲内に含めて撮像する撮像部とを備え、
    　前記プローブ位置情報取得部は、前記撮像部により取得された前記超音波プローブ及び前記マーカー部材の撮像画像、並びに前記６軸センサから出力された出力情報に基づいて前記超音波プローブの位置情報を取得する請求項１から７の何れか１項に記載の３次元超音波画像生成装置。
  11. 　超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の２次元超音波画像であって、第１視点及び第２視点の少なくとも２つの視点のそれぞれから前記複数の撮像位置の撮像が行われた第１視点及び第２視点のそれぞれにおける複数の２次元超音波画像を取得し、
    　前記超音波プローブの前記視点の方向を示す撮像方向と前記視点毎の前記撮像位置とを含む位置情報を撮像毎に取得し、
    　取得された前記第１視点及び前記第２視点のそれぞれの前記複数の２次元超音波画像と、取得された撮像毎の前記位置情報とに基づいて、前記第１視点及び前記第２視点のそれぞれの３次元超音波画像を生成し、
    　前記第１視点及び前記第２視点のそれぞれの前記３次元超音波画像のうち少なくとも一方の前記３次元超音波画像に基づいて、前記３次元超音波画像に含まれる前記臓器を抽出し、
    　抽出された前記臓器の位置情報と、取得された前記超音波プローブの前記位置情報とに基づいて、前記第１視点及び前記第２視点のそれぞれの前記３次元超音波画像のうち、少なくとも前記臓器が抽出された前記３次元超音波画像について、不鮮明な画像領域を抽出して、抽出した前記画像領域における不鮮明度を抑制する抑制処理を行い、
    　前記第１視点及び前記第２視点の２つの視点の前記３次元超音波画像であって、少なくとも一方の視点の前記３次元超音波画像には前記抑制処理が行われた前記３次元超音波画像を含む２つの視点の前記３次元超音波画像を合成することにより、合成３次元超音波画像を生成する３次元超音波画像生成方法。
  12. 　超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の２次元超音波画像であって、第１視点及び第２視点の少なくとも２つの視点のそれぞれから前記複数の撮像位置の撮像が行われた第１視点及び第２視点のそれぞれにおける複数の２次元超音波画像を取得し、
    　前記超音波プローブの前記視点の方向を示す撮像方向と前記視点毎の前記撮像位置とを含む位置情報を撮像毎に取得し、
    　取得された前記第１視点及び前記第２視点のうちの少なくとも一方の視点における前記複数の２次元超音波画像の少なくとも１枚の前記２次元超音波画像に基づいて、前記２次元超音波画像に含まれる前記臓器を抽出し、
    　抽出された前記臓器の位置情報と、取得された前記超音波プローブの前記位置情報とに基づいて、前記第１視点及び前記第２視点のそれぞれの前記２次元超音波画像のうち、少なくとも前記臓器を抽出した前記２次元超音波画像が含まれる視点に対応する前記複数の２次元超音波画像の各々について、不鮮明な画像領域を抽出し、抽出した前記画像領域における不鮮明度を抑制する抑制処理を行い、
    　前記第１視点及び前記第２視点の２つの視点の複数の前記２次元超音波画像であって、少なくとも一方の視点の前記２次元超音波画像には前記抑制処理が行われた前記２次元超音波画像を含む２つの視点の前記２次元超音波画像のそれぞれに基づいて、前記第１視点及び前記第２視点の２つの視点の３次元超音波画像を生成し、
    　生成された前記第１視点及び前記第２視点の２つの視点の前記３次元超音波画像を合成して合成３次元超音波画像を生成する３次元超音波画像生成方法。
  13. 　超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の２次元超音波画像であって、第１視点及び第２視点の少なくとも２つの視点のそれぞれから前記複数の撮像位置の撮像が行われた第１視点及び第２視点のそれぞれにおける複数の２次元超音波画像を取得する画像取得部と、　前記超音波プローブの前記視点の方向を示す撮像方向と前記視点毎の前記撮像位置とを
    含む位置情報を撮像毎に取得するプローブ位置情報取得部と、
    　前記画像取得部により取得された前記第１視点及び前記第２視点のそれぞれの前記複数の２次元超音波画像と、前記プローブ位置情報取得部により取得された撮像毎の前記位置
    情報とに基づいて、前記第１視点及び前記第２視点のそれぞれの３次元超音波画像を生成する３次元超音波画像生成部と、
    　前記第１視点及び前記第２視点のそれぞれの前記３次元超音波画像のうち少なくとも一方の前記３次元超音波画像に基づいて、前記３次元超音波画像に含まれる前記臓器を抽出
    する臓器抽出部と、
    　前記臓器抽出部により抽出された前記臓器の位置情報と、前記プローブ位置情報取得部により取得された前記超音波プローブの前記位置情報とに基づいて、前記第１視点及び前記第２視点のそれぞれの前記３次元超音波画像のうち、少なくとも前記臓器が抽出された前記３次元超音波画像について、不鮮明な画像領域を抽出し、抽出した前記画像領域における不鮮明度を抑制する抑制処理を行う画像処理部と、
    　前記第１視点及び前記第２視点の２つの視点の前記３次元超音波画像であって、少なくとも一方の視点の前記３次元超音波画像には前記抑制処理が行われた前記３次元超音波画像を含む２つの視点の前記３次元超音波画像を合成することにより、合成３次元超音波画像を生成する画像合成部として、
    　コンピュータを機能させる３次元超音波画像生成プログラム。
  14. 　超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の２次元超音波画像であって、第１視点及び第２視点の少なくとも２つの視点のそれぞれから前記複数の撮像位置の撮像が行われた第１視点及び第２視点のそれぞれにおける複数の２次元超音波画像を取得する画像取得部と、　前記超音波プローブの前記視点の方向を示す撮像方向と前記視点毎の前記撮像位置とを
    含む位置情報を撮像毎に取得するプローブ位置情報取得部と、
    　前記画像取得部により取得された前記第１視点及び前記第２視点のうちの少なくとも一方の視点における前記複数の２次元超音波画像の少なくとも１枚の前記２次元超音波画像
    に基づいて、前記２次元超音波画像に含まれる前記臓器を抽出する臓器抽出部と、
    　前記臓器抽出部により抽出された前記臓器の位置情報と、前記プローブ位置情報取得部により取得された前記超音波プローブの前記位置情報とに基づいて、前記第１視点及び前
    記第２視点のそれぞれの前記２次元超音波画像のうち、少なくとも前記臓器を抽出した前記２次元超音波画像が含まれる視点に対応する前記複数の２次元超音波画像の各々につい
    て、不鮮明な画像領域を抽出し、抽出した前記画像領域における不鮮明度を抑制する抑制処理を行う画像処理部と、
    　前記第１視点及び前記第２視点の２つの視点の複数の前記２次元超音波画像であって、少なくとも一方の視点の前記２次元超音波画像には前記抑制処理が行われた前記２次元超
    音波画像を含む２つの視点の前記２次元超音波画像のそれぞれに基づいて、前記第１視点及び前記第２視点の２つの視点の３次元超音波画像を生成する３次元超音波画像生成部と
    、
    　前記３次元超音波画像生成部により生成された前記第１視点及び前記第２視点の２つの視点の前記３次元超音波画像を合成して合成３次元超音波画像を生成する画像合成部とし
    て、
    　コンピュータを機能させる３次元超音波画像生成プログラム。
PCT/JP2020/016817 2019-06-06 2020-04-17 ３次元超音波画像生成装置、方法、及びプログラム WO2020246151A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021524696A JP7275261B2 (ja) 2019-06-06 2020-04-17 ３次元超音波画像生成装置、方法、及びプログラム
DE112020002679.5T DE112020002679T5 (de) 2019-06-06 2020-04-17 Erzeugungsvorrichtung für dreidimensionales Ultraschallbild, Erzeugungsverfahren für dreidimensionales Ultraschallbild und Erzeugungsprogramm für dreidimensionales Ultraschallbild
US17/531,772 US20220079561A1 (en) 2019-06-06 2021-11-21 Three-dimensional ultrasound image generation apparatus, three-dimensional ultrasound image generation method, and three-dimensional ultrasound image generation program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019106449 2019-06-06
JP2019-106449 2019-06-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/531,772 Continuation US20220079561A1 (en) 2019-06-06 2021-11-21 Three-dimensional ultrasound image generation apparatus, three-dimensional ultrasound image generation method, and three-dimensional ultrasound image generation program

Publications (1)

Publication Number Publication Date
WO2020246151A1 true WO2020246151A1 (ja) 2020-12-10

Family

ID=73653158

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/016817 WO2020246151A1 (ja) 2019-06-06 2020-04-17 ３次元超音波画像生成装置、方法、及びプログラム

Country Status (4)

Country Link
US (1) US20220079561A1 (ja)
JP (1) JP7275261B2 (ja)
DE (1) DE112020002679T5 (ja)
WO (1) WO2020246151A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102285007B1 (ko) * 2019-06-21 2021-08-03 주식회사 데카사이트 초음파 스캐너의 탐촉자의 위치 및 자세 추적을 이용한 초음파 영상 제공 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012164892A1 (ja) * 2011-05-30 2012-12-06 パナソニック株式会社 超音波診断装置および超音波を用いた画像取得方法
JP2014014659A (ja) * 2012-06-15 2014-01-30 Toshiba Corp 超音波診断装置、コンピュータプログラムプロダクト及び制御方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6547731B1 (en) * 1998-05-05 2003-04-15 Cornell Research Foundation, Inc. Method for assessing blood flow and apparatus thereof
JP2003088521A (ja) 2001-09-18 2003-03-25 Aloka Co Ltd 超音波診断装置及び探触子
US8303505B2 (en) * 2005-12-02 2012-11-06 Abbott Cardiovascular Systems Inc. Methods and apparatuses for image guided medical procedures
JP2007236681A (ja) 2006-03-09 2007-09-20 Toshiba Corp 医用画像診断装置及び医用画像診断装置の制御プログラム
US10531858B2 (en) * 2007-07-20 2020-01-14 Elekta, LTD Methods and systems for guiding the acquisition of ultrasound images
JP5361166B2 (ja) 2007-10-16 2013-12-04 株式会社東芝 超音波診断装置
JP4717935B2 (ja) 2009-03-23 2011-07-06 富士フイルム株式会社 画像処理装置および方法並びにプログラム
US20110125022A1 (en) * 2009-11-25 2011-05-26 Siemens Medical Solutions Usa, Inc. Synchronization for multi-directional ultrasound scanning
JP5539778B2 (ja) 2010-03-31 2014-07-02 富士フイルム株式会社 血管表示制御装置、その作動方法およびプログラム
JP2012071115A (ja) * 2010-08-30 2012-04-12 Toshiba Corp 超音波診断装置
US11109835B2 (en) * 2011-12-18 2021-09-07 Metritrack Llc Three dimensional mapping display system for diagnostic ultrasound machines
US20140184600A1 (en) * 2012-12-28 2014-07-03 General Electric Company Stereoscopic volume rendering imaging system
US10034657B2 (en) * 2013-07-26 2018-07-31 Siemens Medical Solutions Usa, Inc. Motion artifact suppression for three-dimensional parametric ultrasound imaging
JP6907193B2 (ja) * 2015-09-10 2021-07-21 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 幅広い深度及び詳細なビューを備えた超音波システム
US20170090571A1 (en) * 2015-09-29 2017-03-30 General Electric Company System and method for displaying and interacting with ultrasound images via a touchscreen
US11103214B2 (en) * 2016-03-07 2021-08-31 Toshiba Medical Systems Corporation Ultrasonic diagnostic apparatus using synthetic and moving aperture synthesis
JP7294996B2 (ja) * 2019-11-28 2023-06-20 富士フイルムヘルスケア株式会社 超音波診断装置及び表示方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012164892A1 (ja) * 2011-05-30 2012-12-06 パナソニック株式会社 超音波診断装置および超音波を用いた画像取得方法
JP2014014659A (ja) * 2012-06-15 2014-01-30 Toshiba Corp 超音波診断装置、コンピュータプログラムプロダクト及び制御方法

Also Published As

Publication number Publication date
US20220079561A1 (en) 2022-03-17
JP7275261B2 (ja) 2023-05-17
JPWO2020246151A1 (ja) 2020-12-10
DE112020002679T5 (de) 2022-03-03

Similar Documents

Publication Publication Date Title
EP3003161B1 (en) Method for 3d acquisition of ultrasound images
Mohamed et al. A survey on 3D ultrasound reconstruction techniques
US6290648B1 (en) Ultrasonic diagnostic apparatus
JP6160487B2 (ja) 超音波診断装置およびその制御方法
US6500123B1 (en) Methods and systems for aligning views of image data
US9492141B2 (en) Ultrasonic image generating device and image generating method
EP1600891A1 (en) Ultrasonic diagnostic apparatus and image processing method
Poon et al. Three-dimensional extended field-of-view ultrasound
US10278663B2 (en) Sensor coordinate calibration in an ultrasound system
US9990725B2 (en) Medical image processing apparatus and medical image registration method using virtual reference point for registering images
KR20190044758A (ko) 3차원 초음파 영상 복원 방법 및 그 초음파 영상 장치
JP6833533B2 (ja) 超音波診断装置および超音波診断支援プログラム
WO2014060868A1 (en) Method and apparatus for ultrasound image acquisition
WO2020246151A1 (ja) ３次元超音波画像生成装置、方法、及びプログラム
JP2001128982A (ja) 超音波画像診断装置および画像処理装置
JP4350214B2 (ja) 超音波診断装置
JP2001104312A (ja) 超音波像の立体パノラマ画像合成装置
JP6945334B2 (ja) 超音波診断装置及び医用画像処理装置
JP7104243B2 (ja) ３次元超音波撮像支援装置、方法、及びプログラム
CN111226259B (zh) 用于图像伪影消除的系统、方法和装置
US11883241B2 (en) Medical image diagnostic apparatus, ultrasonic diagnostic apparatus, medical imaging system, and imaging control method
US20220061803A1 (en) Systems and methods for generating ultrasound probe guidance instructions
JP2002191600A (ja) 超音波診断装置、医用画像処理装置、および医用画像作成方法
Abbas et al. MEMS Gyroscope and the Ego-Motion Estimation Information Fusion for the Low-Cost Freehand Ultrasound Scanner
JP2021053379A (ja) 医用画像診断装置、超音波診断装置、医用画像システム、及び撮像制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20818202

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021524696

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20818202

Country of ref document: EP

Kind code of ref document: A1