WO2020246238A1 - ３次元超音波撮像支援装置、方法、及びプログラム - Google Patents

３次元超音波撮像支援装置、方法、及びプログラム Download PDF

Info

Publication number
WO2020246238A1
WO2020246238A1 PCT/JP2020/019903 JP2020019903W WO2020246238A1 WO 2020246238 A1 WO2020246238 A1 WO 2020246238A1 JP 2020019903 W JP2020019903 W JP 2020019903W WO 2020246238 A1 WO2020246238 A1 WO 2020246238A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
dimensional ultrasonic
image
ultrasonic
unit
Prior art date
Application number
PCT/JP2020/019903
Other languages
English (en)
French (fr)
Inventor
東 高橋
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to DE112020002148.3T priority Critical patent/DE112020002148T5/de
Priority to JP2021524743A priority patent/JP7104243B2/ja
Publication of WO2020246238A1 publication Critical patent/WO2020246238A1/ja
Priority to US17/541,250 priority patent/US20220087652A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4263—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors not mounted on the probe, e.g. mounted on an external reference frame
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the present disclosure relates to a three-dimensional ultrasonic imaging support device, a method, and a program that support the imaging of an ultrasonic image by a three-dimensional ultrasonic device that generates a three-dimensional ultrasonic image.
  • ultrasonic diagnostic apparatus In the ultrasonic diagnostic apparatus, there is known a technique of generating a three-dimensional ultrasonic image from a two-dimensional ultrasonic image acquired by imaging with an ultrasonic probe and an imaging position of the ultrasonic probe. In this technique, in order to generate a high-resolution three-dimensional ultrasonic image, it is necessary to densely image a plurality of two-dimensional ultrasonic images on a target site of a subject.
  • Patent Document 1 discloses a technique for warning the operator of the ultrasonic probe when the distance between the images captured by the ultrasonic probe exceeds the maximum distance.
  • Patent Document 2 discloses a technique of superimposing a path to be imaged again on an image of a target portion when the distance between images, the speed of an ultrasonic probe, or the like is excessive.
  • Patent Document 3 discloses a technique for navigating the movement of the ultrasonic probe to the imaging target location in the subject.
  • the imaging site is the carotid artery
  • the tomographic image is observed in two directions, the short axis cross section and the long axis cross section of the blood vessel
  • the observation areas are the common carotid artery, carotid sinus, and internal carotid artery on both the left and right sides.
  • the vertebral artery it is specified to be an observable area.
  • the observation area includes the external carotid artery, the subclavian artery, the brachiocephalic artery, the superficial temporal artery, and their branch arteries, if necessary.
  • the imaging target to be imaged such as the common carotid artery and the carotid sinus in the observation area is defined for each part of the subject such as the carotid artery.
  • Patent Documents 1 to 3 it is not described to determine whether or not a plurality of imaging targets to be imaged specified in the guideline are imaged for each part of the subject. Therefore, in order to image all of the plurality of imaging targets specified in the guideline for each part of the subject, it is necessary for the user to operate the ultrasonic probe while checking the guideline for each part to be imaged. Will be required. In addition, when a large number of images must be taken, it may be forgotten to take an image of the image to be imaged.
  • the present disclosure has been made in view of the above circumstances, and an object of the present disclosure is to make it easy to confirm whether or not all imaging targets conforming to the guidelines have been imaged.
  • the three-dimensional ultrasonic imaging support device of the present disclosure is a three-dimensional ultrasonic imaging support device that supports imaging of an ultrasonic image by a three-dimensional ultrasonic device that generates a three-dimensional ultrasonic image.
  • An image acquisition unit that acquires a plurality of two-dimensional ultrasonic images imaged by an ultrasonic probe at different positions at an arbitrary site among a plurality of sites of a subject.
  • An imaging position acquisition unit that acquires the imaging position of the ultrasonic probe for each imaging,
  • a three-dimensional ultrasonic image generation unit that generates a three-dimensional ultrasonic image based on a plurality of two-dimensional ultrasonic images acquired by the image acquisition unit and an imaging position for each imaging acquired by the imaging position acquisition unit.
  • two-dimensional ultrasonic waves are selected from a plurality of parts of the subject.
  • An estimation unit that estimates the imaging site corresponding to the image and the 3D ultrasonic image, Using a guideline that defines a plurality of imaging targets to be imaged for each part of the subject, the guideline for the imaging part estimated by the estimation unit in at least one of the plurality of two-dimensional ultrasonic images and the three-dimensional ultrasonic image.
  • the determination unit determines that there is an imaging target that has not been imaged among a plurality of imaging targets specified in advance in the guideline for the imaging site.
  • the first notification unit is defined in the guideline, it can notify the imaging position where an imaging target that has not been imaged can be imaged.
  • the first notification unit notifies the direction of the ultrasonic probe at the imaging position in addition to the imaging position in the three-dimensional ultrasonic imaging support device of the present disclosure. can do.
  • the guideline also defines the imaging order of a plurality of imaging targets for each part, and the guideline uses a plurality of two-dimensional ultrasonic images.
  • the determination unit determines whether or not all of a plurality of predetermined imaging targets have been imaged.
  • the determination unit captures a two-dimensional ultrasonic image, it determines whether or not the imaging is performed according to the imaging order specified in the guideline.
  • the first notification unit can perform notification according to the determination result.
  • speed detection for detecting whether or not the ultrasonic probe is moving at a predetermined speed based on the imaging position acquired by the imaging position acquisition unit. Department and When the speed detection unit detects that the ultrasonic probe is not moving at a predetermined speed, it can include a second notification unit that notifies that the ultrasonic probe is not moving at a predetermined speed.
  • the speed detection unit uses a predetermined speed for each imaging region where the ultrasonic probe is estimated. It is possible to detect whether or not it is moving.
  • the marker member fixed to the ultrasonic probe and the marker member It is provided with an imaging unit that includes an ultrasonic probe and a marker member within the same imaging range for imaging.
  • the imaging position acquisition unit can acquire the imaging position based on the captured image including the ultrasonic probe and the marker member acquired by the imaging unit.
  • the three-dimensional ultrasonic imaging support device of the present disclosure includes a 6-axis sensor provided in the ultrasonic probe.
  • the imaging position acquisition unit can acquire the imaging position based on the output information output from the 6-axis sensor.
  • a marker member fixed to the ultrasonic probe and a 6-axis sensor provided on the ultrasonic probe are used. It is provided with an imaging unit that includes an ultrasonic probe and a marker member within the same imaging range for imaging.
  • the imaging position acquisition unit can acquire the imaging position based on the captured image including the ultrasonic probe and the marker member acquired by the imaging unit and the output information output from the 6-axis sensor.
  • the three-dimensional ultrasonic imaging support method of the present disclosure acquires a plurality of two-dimensional ultrasonic images imaged by an ultrasonic probe at different positions at any site among a plurality of sites of a subject. Acquire the imaging position of the ultrasonic probe for each imaging, A three-dimensional ultrasonic wave that supports the acquisition of an ultrasonic image by a three-dimensional ultrasonic device that generates a three-dimensional ultrasonic image based on a plurality of acquired two-dimensional ultrasonic images and an imaging position for each acquired imaging. It is an imaging support method Based on at least one of the acquired 2D ultrasound image and the generated 3D ultrasound image, the imaging site corresponding to the 2D ultrasound image and the 3D ultrasound image from among the plurality of sites of the subject.
  • Estimate and Multiple imaging targets to be imaged for each part of the subject are defined in advance in the guideline, and the estimated imaging site in at least one of the plurality of 2D ultrasound images and 3D ultrasound images is predetermined in the guideline. It is determined whether or not all of the plurality of imaging targets being imaged are being imaged, and When it is determined that there is an imaging target that has not been imaged among a plurality of imaging objects specified in advance in the guideline for the imaging site, it is notified that there is an imaging target that has not been imaged.
  • the three-dimensional ultrasonic imaging support program of the present disclosure is a three-dimensional ultrasonic imaging support program that supports imaging of an ultrasonic image by a three-dimensional ultrasonic device that generates a three-dimensional ultrasonic image.
  • An image acquisition unit that acquires a plurality of two-dimensional ultrasonic images imaged by an ultrasonic probe at different positions at an arbitrary site among a plurality of sites of a subject.
  • An imaging position acquisition unit that acquires the imaging position of the ultrasonic probe for each imaging,
  • a three-dimensional ultrasonic image generation unit that generates a three-dimensional ultrasonic image based on a plurality of two-dimensional ultrasonic images acquired by the image acquisition unit and an imaging position for each imaging acquired by the imaging position acquisition unit.
  • two-dimensional ultrasonic waves are selected from a plurality of parts of the subject.
  • An estimation unit that estimates the imaging site corresponding to the image and the 3D ultrasonic image, Using a guideline that defines a plurality of imaging targets to be imaged for each part of the subject, the guideline for the imaging part estimated by the estimation unit in at least one of the plurality of two-dimensional ultrasonic images and the three-dimensional ultrasonic image.
  • a determination unit for determining whether or not all of a plurality of imaging targets defined in advance in When the determination unit determines that there is an image pickup target that has not been imaged among a plurality of image pickup targets specified in advance in the guideline for the image pickup site, the first notification that there is an image pickup target that has not been imaged is notified. As a department Make your computer work.
  • the other three-dimensional ultrasonic imaging support device includes a memory for storing instructions to be executed by a computer and a memory.
  • the processor comprises a processor configured to execute a stored instruction.
  • a plurality of two-dimensional ultrasonic images imaged by an ultrasonic probe at different positions at any part of a plurality of parts of a subject are acquired.
  • Acquire the imaging position of the ultrasonic probe for each imaging A three-dimensional ultrasonic image is generated based on the acquired plurality of two-dimensional ultrasonic images and the acquired imaging position for each imaging.
  • Based on at least one of the acquired 2D ultrasound image and the generated 3D ultrasound image the imaging site corresponding to the 2D ultrasound image and the 3D ultrasound image from among the plurality of sites of the subject.
  • Estimate and Multiple imaging targets to be imaged for each part of the subject are defined in advance in the guideline, and the estimated imaging site in at least one of the plurality of 2D ultrasound images and 3D ultrasound images is predetermined in the guideline. It is determined whether or not all of the plurality of imaging targets being imaged are being imaged, and When it is determined that there is an imaging target that has not been imaged among a plurality of imaging objects defined in advance in the guideline for the imaging site, a process for notifying that there is an imaging target that has not been imaged is executed.
  • the 3D ultrasonic imaging support device, method, and program it can be easily confirmed whether or not all the imaging targets conforming to the guideline are captured.
  • FIG. 1 Schematic block diagram showing the configuration of a diagnostic support system including the three-dimensional ultrasonic imaging support device of the first embodiment of the present disclosure.
  • Conceptual diagram of the diagnostic support system according to the embodiment of the present disclosure The figure for demonstrating the ultrasonic probe to which a marker member was fixed. It is a figure which shows an example of the image acquired by the image pickup unit. The figure for demonstrating the imaging operation by an ultrasonic probe The figure for demonstrating the movement of the marker member 52 in the captured image. The figure which shows an example of the notification by the 1st notification unit The figure which shows another example of the notification by the 1st notification unit A flowchart showing the processing performed in the first embodiment of the present disclosure. A flowchart showing the process A performed in the first embodiment of the present disclosure.
  • a flowchart showing the processing performed in the second embodiment of the present disclosure Schematic block diagram showing the configuration of a diagnostic support system including the three-dimensional ultrasonic imaging support device according to the third embodiment of the present disclosure.
  • a flowchart showing the processing performed in the third embodiment of the present disclosure The figure for demonstrating the ultrasonic probe provided with a sensor.
  • FIG. 1 is a schematic block diagram showing a configuration of a diagnostic support system to which a three-dimensional ultrasonic imaging support device according to an embodiment of the present disclosure is applied.
  • the diagnostic support system 1 includes an ultrasonic probe 50 and an imaging unit 60 configured to be connectable to the three-dimensional ultrasonic imaging support device 10 according to the present embodiment and the three-dimensional ultrasonic imaging support device 10.
  • a display unit 30, and an input unit 40 are examples of the diagnostic support system 1
  • the three-dimensional ultrasonic imaging support device 10 is composed of a computer including a CPU (Central Processing Unit) 11, a primary storage unit 12, a secondary storage unit 13, an external I / F (Interface) 14, and the like.
  • the CPU 11 controls the entire three-dimensional ultrasonic imaging support device 10.
  • the primary storage unit 12 is a volatile memory used as a work area or the like when executing various programs.
  • An example of the primary storage unit 12 is a RAM (Random Access Memory).
  • the secondary storage unit 13 is a non-volatile memory in which various programs, various parameters, and the like are stored in advance, and one embodiment of the three-dimensional ultrasonic imaging support program 15 of the present disclosure is installed.
  • the three-dimensional ultrasonic imaging support program 15 is recorded and distributed on a recording medium such as a DVD (Digital Versatile Disc) and a CD-ROM (Compact Disc Read Only Memory), and is installed on a computer from the recording medium.
  • a recording medium such as a DVD (Digital Versatile Disc) and a CD-ROM (Compact Disc Read Only Memory)
  • the three-dimensional ultrasonic imaging support program 15 is stored in a storage device or network storage of a server computer connected to the network in a state of being accessible from the outside, and is downloaded to the computer in response to a request from the outside. After that, it may be installed.
  • the CPU 11 When the three-dimensional ultrasonic imaging support program 15 is executed by the CPU 11, the CPU 11 has an image acquisition unit 21, an imaging position acquisition unit 22, a three-dimensional ultrasonic image generation unit 23, an estimation unit 24, a determination unit 25, and a third. 1 Functions as a notification unit 26 and a display control unit 27.
  • the secondary storage unit 13 include an EEPROM (Electrically Erasable Programmable Read-Only Memory), a flash memory, and the like.
  • the external I / F 14 controls the transmission and reception of various information between the three-dimensional ultrasonic imaging support device 10 and the external device (not shown).
  • the CPU 11, the primary storage unit 12, the secondary storage unit 13, and the external I / F 14 are connected to a bus line 16 which is a common route for each circuit to exchange data.
  • the display unit 30 and the input unit 40 are also connected to the bus line 16.
  • the display unit 30 is composed of, for example, a liquid crystal display or the like. As will be described later, the display unit 30 displays the two-dimensional ultrasonic image acquired by the image acquisition unit 21 and the three-dimensional ultrasonic image generated by the three-dimensional ultrasonic image generation unit 23. In addition, the captured image acquired by the imaging unit 60 described later is also displayed.
  • the display unit 30 may be configured by a touch panel and may also be used as the input unit 40.
  • the input unit 40 includes a mouse, a keyboard, and the like, and accepts various setting inputs by the user. Further, the transmission / reception unit 17 and the image pickup unit 60 are also connected to the bus line 16. The transmission / reception unit 17 controls transmission / reception of various information with the ultrasonic probe 50 described later.
  • the ultrasonic probe 50 is configured to be connectable to the three-dimensional ultrasonic imaging support device 10.
  • the ultrasonic probe 50 for example, a probe compatible with sector scanning, a probe compatible with linear scanning, a probe compatible with convex scanning, and the like can be used.
  • FIG. 2 is a conceptual diagram of a diagnostic support system according to an embodiment of the present disclosure.
  • the ultrasonic probe 50 has an oscillator array 50a having a plurality of ultrasonic oscillators (not shown) arranged in a one-dimensional direction at the tip.
  • the oscillator array 50a has been described above with an example in which a plurality of ultrasonic oscillators are arranged one-dimensionally, but the present invention is not limited to this.
  • a plurality of ultrasonic oscillators may be arranged two-dimensionally.
  • the ultrasonic probe 50 emits (transmits) ultrasonic waves to the part of the subject M to be measured in a state where the vibrator array 50a is in contact with the body surface of the subject M, which is a living body, and the subject M emits (transmits) ultrasonic waves. Detects (receives) reflected ultrasonic waves that have been reflected and returned.
  • the ultrasonic probe 50 converts a pulsed or continuous wave electric signal output from the transmission / reception unit 17 into an ultrasonic wave and emits it, converts the received reflected ultrasonic wave into an electric signal, and transmits the received reflected ultrasonic wave to the transmission / reception unit 17.
  • the transmission / reception unit 17 transmits a pulsed or continuous wave electric signal for driving a plurality of ultrasonic vibrators included in the ultrasonic probe 50 to the ultrasonic probe 50. Further, the transmission / reception unit 17 receives a plurality of electric signals generated by the plurality of ultrasonic transducers that have received the reflected ultrasonic waves. Then, the transmission / reception unit 17 generates a reception signal by performing amplification and A / D (Analog / Digital) conversion on the received electric signal.
  • a / D Analog / Digital
  • This received signal is, for example, from a plurality of signals arranged in the arrangement direction of the ultrasonic vibrators and the transmission direction of ultrasonic waves and in the direction perpendicular to the arrangement direction of the ultrasonic vibrators (hereinafter referred to as the depth direction). Therefore, each signal is a digital signal representing the amplitude of the reflected ultrasonic wave as a digital value. Then, the transmission process and the reception process are repeatedly and continuously performed to construct a plurality of frame data composed of a plurality of received signals.
  • the frame data includes a set of received signals required for constructing one tomographic image, a signal processed for constructing tomographic image data based on the set data, and this set data. It means either one piece of tomographic image data or tomographic image constructed based on the above, and in the present embodiment, it means one piece of tomographic image data.
  • the constructed tomographic image data is stored in the primary storage unit 12.
  • FIG. 3 is a diagram for explaining an ultrasonic probe 50 to which a marker member is fixed, which is an embodiment of the present disclosure.
  • the fixed portion of the marker member to the ultrasonic probe 50 and the like are shown simply, unlike the actual shape.
  • the ultrasonic probe 50 has a cable 51 that connects to the transmission / reception unit 17. Further, a marker member 52 is fixed to the outer peripheral surface of the ultrasonic probe 50.
  • the marker member 52 includes three spherical markers, that is, a marker 52x, a marker 52y, and a marker 52z, and three axes of x-axis, y-axis, and z-axis whose axial directions are orthogonal to each other.
  • the three markers 52x, the marker 52y, and the marker 52z are provided at one ends of the three axes of the x-axis, the y-axis, and the z-axis with the respective marker center 52a as the center.
  • the other ends of the three axes of x-axis, y-axis, and z-axis are provided on the columns provided on the ultrasonic probe 50. Further, the three markers 52x, the marker 52y, and the marker 52z are, for example, colored differently and can be identified by the color.
  • the marker member 52 is composed of three markers 52x, a marker 52y, and a marker 52z, but the technique of the present disclosure is not limited to this, and markers other than the above three markers are used. May be used. For example, four or five markers may be used. Further, the shape of the marker is not limited to a spherical shape, and may be, for example, a rectangular parallelepiped or a conical shape, and can be appropriately changed.
  • FIG. 4 is a diagram showing an example of an image acquired by the imaging unit 60. As shown in FIG. 4, the image D acquired by the imaging unit 60 is held by the user's hand H and fixed to the ultrasonic probe 50 and the ultrasonic probe 50 that abut on the body surface of the subject M. The marker member 52 is shown.
  • FIG. 5 is a diagram for explaining an imaging operation by the ultrasonic probe 50.
  • imaging can be performed at different positions. Will be done.
  • a plurality of two-dimensional ultrasonic images P are acquired at a plurality of different imaging positions where such imaging is performed.
  • the imaging position is the position on the body surface of the ultrasonic probe 50 for each imaging.
  • the two-dimensional ultrasonic image P is a tomographic image of a cross section extending in the depth direction in the subject from each imaging position.
  • the image acquisition unit 21 acquires the two-dimensional ultrasonic image P captured by the ultrasonic probe 50 at each imaging position.
  • the two-dimensional ultrasonic image P is a tomographic image of a cross section extending in the depth direction in the subject from each imaging position.
  • the ultrasonic probe 50 outputs a plurality of captured two-dimensional ultrasonic images P (tomographic images) to the primary storage unit 12.
  • the image acquisition unit 21 acquires a two-dimensional ultrasonic image P (tomographic image) from the primary storage unit 12.
  • the imaging position acquisition unit 22 acquires the imaging position of the ultrasonic probe 50. Specifically, at each different imaging position, the imaging unit 60 images the ultrasonic probe 50 and the marker member 52. The captured images of the ultrasonic probe 50 and the marker member 52 thus obtained are output to the primary storage unit 12. The imaging position acquisition unit 22 reads an captured image from the primary storage unit 12. Then, the imaging position acquisition unit 22 analyzes the retrieved image to obtain the position, size, and inclination of the marker center 52a and the markers 52x, 52y, and 52z in the captured image, and obtains the ultrasonic probe 50. Information on the imaging position and orientation of the image is derived. The imaging position acquisition unit 22 identifies each of the markers 52x, 52y, and 52z by color. The imaging position acquisition unit 22 acquires information on the imaging position and orientation by such derivation processing.
  • FIG. 6 is a diagram for explaining the movement of the marker member 52 in the captured image.
  • the ultrasonic probe 50 acquires the two-dimensional ultrasonic image P at the imaging position T1 and the imaging position T2
  • the marker member 52 moves in the direction of the arrow T in the captured image, for example, as shown in FIG.
  • the position of the ultrasonic probe 50 in the x direction is derived from the amount of movement of the marker center 52a in the x direction.
  • the position of the ultrasonic probe 50 in the y direction is derived from the amount of change in the magnitude of the markers 52x, 52y, 52z.
  • the amount of rotation of the marker member 52 is detected from the movement locus of the marker center 52a of the markers 52x, 52y, 52z.
  • the direction of the ultrasonic probe 50 is derived based on the amount of rotation.
  • the information on the imaging position and orientation of the derived ultrasonic probe 50 is stored in the primary storage unit 12 in correspondence with the two-dimensional ultrasonic image P acquired at the imaging position.
  • a known technique can be used as a method for acquiring information on the imaging position and orientation of the ultrasonic probe 50 using the marker member 52.
  • the three-dimensional ultrasonic image generation unit 23 captures the two-dimensional ultrasonic image P acquired by the image acquisition unit 21 and the ultrasonic probe 50 stored in the primary storage unit 12 in correspondence with the two-dimensional ultrasonic image P.
  • a three-dimensional ultrasonic image V is generated for a space determined by the mechanical scanning angle range or stroke and the electronic scanning range of the transducer array 50a.
  • a known technique can be used for the method of generating the three-dimensional ultrasonic image V.
  • the information on the imaging position and orientation of the ultrasonic probe 50 may be collectively referred to as the position information of the ultrasonic probe 50.
  • the estimation unit 24 is a plurality of subjects based on at least one of the two-dimensional ultrasonic image P acquired by the image acquisition unit 21 and the three-dimensional ultrasonic image V generated by the three-dimensional ultrasonic image generation unit 23. From the parts, the imaging parts corresponding to the two-dimensional ultrasonic image P and the three-dimensional ultrasonic image V are estimated.
  • a method for estimating the imaging site for example, a plurality of pre-stored imaging sites, for example, blood vessels (carotid artery, jugular vein, etc.), heart, liver, kidney, gallbladder, pancreas, stomach, lung, bladder, thyroid gland, and A plurality of collation patterns associated with each of the generally examined imaging sites such as the breast are prepared in advance. Then, a method of recognizing an imaging site by collating the generated two-dimensional ultrasonic image P or three-dimensional ultrasonic image V using these plurality of collation patterns (for example, described in International Publication No. 2017/158998). (Technology) can be used.
  • a method of recognizing an imaging site by collating the generated two-dimensional ultrasonic image P or three-dimensional ultrasonic image V using these plurality of collation patterns (for example, described in International Publication No. 2017/158998). (Technology) can be used.
  • a learning model learned by inputting a two-dimensional ultrasonic image P and a three-dimensional ultrasonic image V and using an imaging site corresponding to each of the two-dimensional ultrasonic image P and the three-dimensional ultrasonic image V as an output is used. Thereby, the imaging site may be estimated.
  • the determination unit 25 uses a guideline in which a plurality of imaging targets to be imaged for each part of the subject are defined in advance, and the estimation unit 24 is used in at least one of the plurality of two-dimensional ultrasonic images P and the three-dimensional ultrasonic image V. It is determined whether or not all of the plurality of imaging targets specified in advance in the guideline are imaged for the imaging site estimated by.
  • the tomographic image is observed in two directions, the short axis cross section and the long axis cross section of the blood vessel, and the observation areas are the common carotid artery and the carotid sinus on both the left and right sides.
  • the internal carotid artery and the vertebral artery are specified as observable areas. It is also defined that the observation area includes the external carotid artery, the subclavian artery, the brachiocephalic artery, the superficial temporal artery, and their branch arteries, if necessary.
  • a plurality of imaging targets to be imaged such as the common carotid artery and the carotid sinus in the observation area are defined for each site of the subject such as the carotid artery.
  • a list of a plurality of imaging targets to be imaged is created in advance for each imaging site and stored in the primary storage unit 12.
  • the determination unit 25 classifies the structures included in the two-dimensional ultrasonic image P and the three-dimensional ultrasonic image V.
  • the structure is the common carotid artery, carotid sinus, internal carotid artery, vertebral artery, and the like.
  • Japanese Patent Application Laid-Open No. 2018-139693 using a neural network trained using teacher data for a two-dimensional ultrasonic image P in order to classify an imaging site into a plurality of classes.
  • the classification means described in the publication can be used.
  • the determination unit 25 recognizes the imaging target included in the two-dimensional ultrasonic image P by classifying such structures.
  • teacher data a two-dimensional ultrasonic image captured in two directions of a short-axis cross section and a long-axis cross section of the blood vessel, and an image in which direction each two-dimensional ultrasonic image was captured. It is possible to use teacher data that is a set of direction information. Then, by learning the classification means of the determination unit 25 from the teacher data, the imaging direction in the two-dimensional ultrasonic image P can also be classified.
  • the determination unit 25 determines whether or not the plurality of imaging targets included in the two-dimensional ultrasonic image P conform to the guideline. Specifically, the determination unit 25 includes a plurality of imaging targets included in the plurality of two-dimensional ultrasonic images P acquired by the image acquisition unit 21, and a plurality of imaging targets to be imaged defined in the above list. And collate with. Then, the determination unit 25 determines, based on the collation result, whether or not all of a plurality of imaging targets defined in advance in the guideline have been imaged for the imaging region estimated by the estimation unit 24. Further, in the present embodiment, the determination unit 25 makes the above determination at the stage where all of the plurality of two-dimensional ultrasonic images P at one imaging site are imaged.
  • the determination unit 25 determines in the determination unit 25 that there is an image pickup target that has not been imaged among a plurality of image pickup targets that are predetermined in the guideline for the image pickup site, the image pickup target that has not been imaged is Notify that there is.
  • the notification by the first notification unit 26 may be notified by, for example, sounding an alarm by a voice output unit (not shown), or the display unit 30 may display "There is an image pickup target that has not been imaged". ..
  • the user can easily confirm whether or not all the imaging targets conforming to the guideline are captured.
  • the first notification unit 26 may notify an imaging position capable of imaging an imaging target that has not been imaged, although it is defined in the guideline, in addition to the presence or absence of the imaging target.
  • a plurality of imaging targets specified in the guideline are the first imaging target, the second imaging target, and the third imaging target, and are arranged in the order of the first imaging target, the second imaging target, and the third imaging target.
  • the determination unit 25 determines that the second imaging target has not been imaged.
  • the two two-dimensional ultrasonic images including the first imaging target and the third imaging target are associated with the respective imaging positions, that is, the coordinate position information of the marker member 52. Therefore, the determination unit 25 can estimate which imaging target can be imaged when the marker member 52 is located. In the above example, the determination unit 25 estimates an imaging position in which the second imaging target can be imaged.
  • the first notification unit 26 causes the display unit 30 to display the position of the marker member 52 as an imaging position in which the second imaging target can be imaged, which is estimated by the determination unit 25. Further, the first notification unit 26 can notify the direction of the ultrasonic probe 50 at the imaging position in addition to the imaging position. For example, it is assumed that the guideline stipulates that a first imaging target, a second imaging target, and a third imaging target imaged in two directions are required. Then, when the determination unit 25 determines that the second imaging target in the first direction has not been imaged, the determination unit 25 notifies the direction of the ultrasonic probe 50 capable of imaging from the first direction.
  • FIG. 7 and 8 are diagrams showing an example of notification by the first notification unit 26, respectively.
  • an image captured in real time by the imaging unit 60 is displayed on the display unit 30.
  • the first notification unit 26 indicates an imaging position where an imaging target that has not been imaged can be imaged by a mark such as a dotted circle, and "imaging is rough". Is displayed.
  • the orientation to be imaged is displayed using a simple image schematically showing the ultrasonic probe 50.
  • the simple image shows the posture of the ultrasonic probe 50 corresponding to the direction to be imaged. As a result, the user can confirm the imaging position and orientation in which the imaging target to be imaged can be imaged, so that the ultrasonic probe 50 can be easily moved to the target position.
  • a two-dimensional ultrasonic image captured in real time by the ultrasonic probe 50 is displayed on the display unit 30.
  • the first notification unit 26 is defined in the guideline, but when the image is rough, it displays a dotted circle and displays "imaging is rough".
  • the cause of the rough image is considered to be insufficient pushing of the ultrasonic probe 50 in the depth direction. Therefore, an arrow indicating the direction in which the ultrasonic probe 50 is moved in the depth direction and a simplified image of the ultrasonic probe 50 are displayed.
  • the user can visually recognize the direction in which the ultrasonic probe 50 should move, so that the ultrasonic probe 50 can be easily moved to a target position.
  • the display control unit 27 causes the display unit 30 to display at least one of the two-dimensional ultrasonic image P and the three-dimensional ultrasonic image V imaged by the ultrasonic probe 50. Further, the display control unit 27 causes the display unit 30 to display the image captured by the image pickup unit 60. The display control unit 27 displays at least one of the two-dimensional ultrasonic image P and the three-dimensional ultrasonic image V captured by the ultrasonic probe 50 and the image captured by the imaging unit 60 on one display unit 30. If there are two display units 30, they may be displayed on each display unit 30.
  • FIG. 9 is a flowchart showing the processing performed in the first embodiment of the present disclosure.
  • the image acquisition unit 21 acquires a two-dimensional ultrasonic image P imaged by operating the ultrasonic probe 50 with the ultrasonic probe 50 in contact with the body surface of the subject M (step). ST1). At this time, the imaging position acquisition unit 22 acquires the imaging position of the ultrasonic probe 50.
  • the imaging site is estimated from the acquired two-dimensional ultrasonic image P (step ST2).
  • the CPU 11 shifts the process to step ST1 and operates the ultrasonic probe 50 at a different position to capture the two-dimensional ultrasonic image P. Is acquired, and the subsequent processing is performed. Further, the process of A is further performed in parallel. The process of A will be described later.
  • the determination unit 25 collates with the imaging target defined in the guideline of the imaging site estimated in the two-dimensional ultrasonic image P (step ST4). ).
  • a three-dimensional ultrasonic image V is generated based on the imaging position of the ultrasonic probe 50 during imaging of P (step ST6), and the process is completed.
  • step ST5 when all the specified imaging targets are not imaged (step ST5; NO), that is, when there is an imaging target that has not been imaged, the first notification unit 26 has an imaging target that has not been imaged. Notify that effect (step ST7).
  • the image acquisition unit 21 acquires the two-dimensional ultrasonic image P imaged by operating the ultrasonic probe 50 (step ST8), and the CPU 11 shifts the process to step S4 to perform subsequent processes. ..
  • the first notification unit 26 notifies the imaging position where the imaging target that has not been imaged can image.
  • FIG. 10 is a flowchart showing the process A performed in the first embodiment of the present disclosure.
  • the three-dimensional ultrasonic image generation unit 23 includes the imaging position of the ultrasonic probe 50 during imaging of the two-dimensional ultrasonic image P and the two-dimensional ultrasonic image P acquired by the image acquisition unit 21.
  • a three-dimensional ultrasonic image V is generated based on (step ST21).
  • the imaging site is estimated in the acquired three-dimensional ultrasonic image V (step ST22).
  • the determination unit 25 collates the imaging site estimated by the three-dimensional ultrasonic image V with the imaging target specified in the guideline (step ST23).
  • step ST24; YES the process ends.
  • step ST24; NO the specified imaging targets are not imaged
  • the first notification unit 26 has an imaging target that has not been imaged. Notify that effect (step ST25).
  • the CPU 11 shifts the process to step ST8 of FIG. 9 and performs the subsequent processes.
  • the imaged portion can be specified in the three-dimensional ultrasonic image V even when the imaged portion cannot be estimated in the two-dimensional ultrasonic image P. Therefore, when the imaging region cannot be estimated in the two-dimensional ultrasonic image P, by specifying the imaging region in the three-dimensional ultrasonic image V, the determination unit 25 can perform the imaging target based on the guideline for each imaging region. Can be collated with. As a result, the determination unit 25 can determine whether or not all of the plurality of imaging targets defined in advance in the guideline for the imaging region have been imaged.
  • the process A shown in FIG. 10 when the imaging site could not be estimated in the two-dimensional ultrasonic image P, the process A shown in FIG. 10 was performed, but the technique of the present disclosure is not limited to this. .. Even when the imaged portion can be estimated in the two-dimensional ultrasonic image P, the process A shown in FIG. 10 may be performed. By estimating the imaging site in both the two-dimensional ultrasonic image P and the three-dimensional ultrasonic image V, the imaging site can be estimated with higher accuracy.
  • the three-dimensional ultrasonic imaging support device of the second embodiment creates a list in which a plurality of imaging targets to be imaged in advance are arranged in the order to be imaged for each imaging site based on the guideline, and is primary. It is stored in the storage unit 12.
  • the three-dimensional ultrasonic imaging support device of the second embodiment can have the same configuration as the three-dimensional ultrasonic imaging support device 10 of the first embodiment shown in FIG. Therefore, the description here will be omitted, and only the processing performed on the three-dimensional ultrasonic imaging support device of the second embodiment will be described.
  • FIG. 11 is a flowchart showing the processing performed in the second embodiment of the present disclosure. Since the processing of steps ST31 to ST33 in FIG. 11 is the same as the processing of steps ST1 to ST3 in FIG. 9, the description thereof is omitted here.
  • step ST33 when the imaging region can be estimated in step ST33 (step ST33; YES), every time the image acquisition unit 21 acquires the two-dimensional ultrasonic image P, the determination unit 25 acquires it. It is collated whether or not the obtained two-dimensional ultrasonic image P is imaged in the imaging order of the imaging target defined in the guideline of the estimated imaging site (step ST34).
  • step ST35 When the images are not taken according to the specified imaging order (step ST35; NO), that is, when there is an imaged object that has not been imaged, the first notification unit 26 notifies that there is an imaged object that has not been imaged. (Step ST36).
  • the image acquisition unit 21 acquires the two-dimensional ultrasonic image P imaged by operating the ultrasonic probe 50 (step ST37), and the CPU 11 shifts the process to step S34 to perform subsequent processes. ..
  • the first notification unit 26 notifies the imaging position where the imaging target that has not been imaged can image.
  • the determination unit 25 determines whether or not all the specified imaging targets have been imaged (step ST38). Then, in the case of being imaged (step ST38; YES), the three-dimensional ultrasonic image generation unit 23 is capturing the two-dimensional ultrasonic image P and the two-dimensional ultrasonic image P acquired by the image acquisition unit 21. A three-dimensional ultrasonic image V is generated based on the imaging position of the ultrasonic probe 50 (step ST39), and the process is completed.
  • step ST38 when all the specified imaging targets are not imaged (step ST38; NO), that is, when there is an imaging target that has not been imaged, the first notification unit 26 has an imaging target that has not been imaged. Notify the fact (step ST36), and perform the subsequent processing.
  • each time a two-dimensional ultrasonic image P is acquired it is determined whether or not the imaging is performed according to the imaging order specified in the guideline, and the imaging is not performed according to the imaging order. In this case, it is notified that the imaging is not performed according to the imaging order. Therefore, the user can recognize that an imaging position to be imaged, that is, an imaging target exists between the current imaging position and the previous imaging position, and at the time of recognition.
  • the ultrasonic probe 50 can be returned in the direction opposite to the traveling direction to image the observation target at the position to be imaged.
  • FIG. 12 is a schematic block diagram showing a configuration of a diagnostic support system to which the three-dimensional ultrasonic imaging support device according to the third embodiment is applied.
  • the same configuration as the diagnostic support system shown in FIG. 1 is indicated by the same reference numerals, the description thereof will be omitted, and only different parts will be described.
  • the three-dimensional ultrasonic imaging support device 10-3 of the third embodiment includes a speed detection unit 28 and a second notification unit 29.
  • the speed detection unit 28 detects whether or not the ultrasonic probe 50 is moving at a predetermined speed based on the image pickup position acquired by the image pickup position acquisition unit 22.
  • the imaging position acquisition unit 22 stores the time when the ultrasonic probe 50 and the marker member 52 are imaged by the imaging unit 60, and the ultrasonic probe 50 is based on the moving distance of the marker member 52 and the imaged time. Detect the moving speed.
  • the second notification unit 29 notifies that the ultrasonic probe 50 is not moving at a predetermined speed.
  • the notification may be performed by sounding an alarm by a voice output unit (not shown), or the display unit 30 may display "not moving at a predetermined speed". This makes it possible to easily confirm whether or not the ultrasonic probe 50 can be operated at a predetermined speed. This makes it possible to prevent a situation in which the observation target is not imaged at the imaging position to be imaged, for example, because the speed is too high.
  • the predetermined speed is a predetermined speed for each estimated imaging site when the imaging site is estimated by the estimation unit 24.
  • the slowest speed among the predetermined speeds in all the imaging regions is set as the predetermined speed.
  • FIG. 13 is a flowchart showing the processing performed in the third embodiment of the present disclosure. The process shown in FIG. 13 is performed in parallel with the process of the first embodiment shown in FIGS. 9 and 10 or the process of the second embodiment shown in FIG.
  • the speed detection unit 28 detects the speed of the ultrasonic probe 50 (step ST41). At this point, the speed detection unit 28 determines whether or not the estimation unit 24 has been able to estimate the imaging region (step ST42). When the imaging site can be estimated, the speed detection unit 28 collates the detected speed with the speed specified in the guideline of the estimated imaging site (step ST43).
  • the speed detection unit 28 collates the detected speed with the slowest speed among the predetermined speeds in all the imaging sites (step ST44). ).
  • step ST45 When the speed detection unit 28 detects that the ultrasonic probe 50 is not moving at a predetermined speed (step ST45; YES), the second notification unit 29 determines the ultrasonic probe 50 in advance. Notifying that the vehicle is not moving at the same speed (step ST46), the process ends.
  • step ST45 when the speed detection unit 28 detects in step ST45 that the ultrasonic probe 50 is moving at a predetermined speed (step ST45; NO), the CPU 11 shifts the process to step ST41. , Perform the subsequent processing.
  • the user can know whether or not the ultrasonic probe 50 can be operated at a predetermined speed for each imaging site. As a result, the user can move the ultrasonic probe 50 at an appropriate speed for each imaging site.
  • the imaging position acquisition unit 22 is the position of the marker center 52a in the captured image acquired by having the imaging unit 60 image the ultrasonic probe 50 and the marker member 52, and the markers 52x, 52y, 52z.
  • Information on the imaging position and orientation of the ultrasonic probe 50 is derived from the position, size, and inclination, but the technique of the present disclosure is not limited to this.
  • the imaging position acquisition unit 22 may acquire information on the imaging position and orientation of the ultrasonic probe 50 by using, for example, an AR (Augmented Reality) marker.
  • the AR marker is an image composed of figures having a fixed pattern. This AR marker is arranged on the outer peripheral surface of the ultrasonic probe 50. Then, by using a known program for detecting the position and orientation of the marker based on the image data of the ultrasonic probe 50 including the AR marker imaged by the imaging unit 60, the AR marker, that is, the ultrasonic probe 50 Information on the imaging position and orientation may be acquired.
  • convex portions and concave portions are provided in the ultrasonic probe 50 main body, and the convex portions and concave portions are used as markers to derive information on the imaging position and orientation of the ultrasonic probe 50. You may. In the technique of the present disclosure, any shape and type may be used as long as it is a marker that can be used as an index for defining the imaging position and orientation of the ultrasonic probe 50, and is particularly limited. is not.
  • diagnosis support system 1 can be provided with a sensor instead of the imaging unit 60 and the marker member 52.
  • FIG. 14 is a diagram for explaining an ultrasonic probe provided with a sensor.
  • the method of attaching the sensor to the ultrasonic probe 50 is shown simply, unlike the actual shape.
  • the ultrasonic probe 50 has a sensor 70 attached to the outer peripheral surface of the ultrasonic probe 50.
  • the sensor 70 is a 6-axis sensor that can detect the moving direction, the direction, and the rotation, and can further calculate the moving distance, the moving speed, and the like.
  • a 6-axis sensor is realized by combining an acceleration sensor that can detect three directions of front-back, left-right, and up-down with a geomagnetic sensor that can detect north, south, east, and west, or an acceleration sensor and a gyro sensor that can detect the speed of rotation.
  • the imaging position acquisition unit 22 can acquire the imaging position based on the output information output from the sensor 70.
  • the senor 70 is provided instead of the image pickup unit 60 and the marker member 52, but the technique of the present disclosure is not limited to this.
  • a sensor 70 may be provided in addition to the image pickup unit 60 and the marker member 52.
  • the sensor 70 is suitable for detecting the imaging direction of the ultrasonic probe 50, and the method of calculating the imaging position from the captured image acquired by having the imaging unit 60 image the ultrasonic probe 50 and the marker member 52. , Suitable for detecting the translation of the ultrasonic probe 50. Therefore, by using the imaging unit 60, the marker member 52, and the sensor 70, the imaging position acquisition unit 22 can acquire a more accurate imaging position and imaging direction.
  • various processors shown below can be used as the hardware structure of the processing unit that executes various processes such as the detection unit 28 and the second notification unit 29, various processors shown below can be used.
  • the various processors include a CPU, which is a general-purpose processor that executes software (program) and functions as various processing units, and a circuit after manufacturing an FPGA (Field Programmable Gate Array) or the like.
  • Dedicated electricity which is a processor with a circuit configuration specially designed to execute specific processing such as programmable logic device (PLD), ASIC (Application Specific Integrated Circuit), which is a processor whose configuration can be changed. Circuits and the like are included.
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). ) May be configured. Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by combining one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the various processors as a hardware structure.
  • an electric circuit in which circuit elements such as semiconductor elements are combined can be used.
  • Diagnosis support system 10 3D ultrasonic imaging support device 11 CPU 12 Primary storage 13 Secondary storage 14 External I / F 15 3D ultrasonic imaging support program 16 Bus 17 Transmission / reception unit 21 Image acquisition unit 22 Imaging position acquisition unit 23 3D ultrasonic image generation unit 24 Estimate unit 25 Judgment unit 26 1st notification unit 27 Display control unit 28 Speed detection unit 29 2nd notification unit 30 Display unit 40 Input unit 50 Ultrasonic probe 60 Imaging unit 70 Sensor

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

３次元超音波撮像支援装置、方法、及びプログラムにおいて、ガイドラインに適合した全ての撮像対象が撮像されているか否かを容易に確認できるようにする。３次元超音波撮像支援装置は、被検体の任意の部位において、異なる位置で超音波プローブにより撮像された複数の２次元超音波画像と、各撮像毎の超音波プローブの撮像位置とに基づいて３次元超音波画像を生成する３次元超音波画像生成部と、２次元超音波画像及び３次元超音波画像に対応する撮像部位を推定する推定部と、被検体の部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、推定部により推定された撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象が全て撮像されているか否かを判定する判定部と、撮像されていない撮像対象があると判定された場合に、撮像されていない撮像対象がある旨を報知する第１報知部と、を含む。

Description

３次元超音波撮像支援装置、方法、及びプログラム
　本開示は、３次元超音波画像を生成する３次元超音波装置による超音波画像の撮像を支援する３次元超音波撮像支援装置、方法、及びプログラムに関する。
　近年、ＣＴ(Computed Tomography)装置、ＭＲＩ（Magnetic Resonance Imaging）装置、及び超音波診断装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。超音波診断装置においては、超音波プローブにより撮像して取得した２次元超音波画像と、超音波プローブの撮像位置とから３次元超音波画像を生成する技術が知られている。この技術において、高解像度な３次元超音波画像を生成するためには、被検体の対象部位に対して複数の２次元超音波画像を密に撮像する必要がある。しかしながら、被検体の体表面には凹凸があるため、一様に、密に複数の２次元超音波画像を撮像することは難しい。そこで、特許文献１には、超音波プローブにより撮像された画像間の距離が最大距離を超える場合に、超音波プローブの操作者に警告する技術が開示されている。また、特許文献２には、画像間の距離、及び超音波プローブの速度等が過剰である場合に、再度撮像すべき経路を対象部位の画像に重ねて表示させる技術が開示されている。また、特許文献３には、被検体内の撮影対象箇所まで、超音波プローブの移動をナビゲーションする技術が開示されている。
特表２０１４－５２８３４７号公報 特表２０１６－５０６７８１号公報 特許６３２３３３５号公報
　一方、超音波診断においては、被検体の各部位について、各々の部位毎に検査方法が詳細に規定されたガイドラインが設けられている。例えば、撮像部位が頸動脈である場合には、断層像による観察は、血管短軸断面と血管長軸断面の２方向で行い、観察領域は左右共に総頸動脈、頸動脈洞、内頸動脈及び椎骨動脈で、観察可能な領域とすることが規定されている。また、観察領域は、必要に応じて外頸動脈、鎖骨下動脈、腕頭動脈、浅側頭動脈、及びそれらの分枝動脈なども含むことも規定されている。このように、ガイドラインにおいては、頸動脈といった被検体の部位毎に、観察領域内の総頸動脈及び頸動脈洞といった撮像すべき撮像対象が規定されている。
　上記特許文献１～３に記載の技術においては、被検体の部位毎にガイドラインで規定された撮像すべき複数の撮像対象が撮像されているか否かを判別することは記載されていない。そのため、被検体の部位毎にガイドラインで規定された撮像すべき複数の撮像対象を全て撮像するためには、撮像する部位毎にユーザがガイドラインを確認しながら超音波プローブを操作する必要があり手間を要してしまう。また、多数の撮像を行わなければならない場合、撮像すべき撮像対象を撮像し忘れてしまう場合もある。
　本開示は上記事情に鑑みなされたものであり、ガイドラインに適合した全ての撮像対象が撮像されているか否かを容易に確認できるようにすることを目的とする。
　本開示の３次元超音波撮像支援装置は、３次元超音波画像を生成する３次元超音波装置による超音波画像の撮像を支援する３次元超音波撮像支援装置であって、
　被検体の複数の部位のうちの任意の部位において、異なる位置で超音波プローブにより撮像された複数の２次元超音波画像を取得する画像取得部と、
　撮像毎に超音波プローブの撮像位置を取得する撮像位置取得部と、
　画像取得部により取得された複数の２次元超音波画像と、撮像位置取得部により取得された撮像毎の撮像位置とに基づいて３次元超音波画像を生成する３次元超音波画像生成部と、
　画像取得部により取得された２次元超音波画像及び３次元超音波画像生成部により生成された３次元超音波画像の少なくとも一方に基づいて、被検体の複数の部位の中から、２次元超音波画像及び３次元超音波画像に対応する撮像部位を推定する推定部と、
　被検体の部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、複数の２次元超音波画像及び３次元超音波画像の少なくとも一方において、推定部により推定された撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象が全て撮像されているか否かを判定する判定部と、
　判定部において、撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象のうち撮像されていない撮像対象があると判定された場合に、撮像されていない撮像対象がある旨を報知する第１報知部と、を含む。
　なお、本開示の３次元超音波撮像支援装置においては、判定部において、撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象のうち撮像されていない撮像対象があると判定された場合に、
　第１報知部は、ガイドラインに規定されているが、撮像されていない撮像対象を撮像可能な撮像位置を報知することができる。
　また、本開示の３次元超音波撮像支援装置においては、第１報知部は、本開示の３次元超音波撮像支援装置においては、撮像位置に加えて、撮像位置における超音波プローブの向きを報知することができる。
　また、本開示の３次元超音波撮像支援装置においては、ガイドラインには、部位毎に複数の撮像対象の撮像順も規定されており、かつ、複数の２次元超音波画像を用いて、ガイドラインにおいて予め規定されている複数の撮像対象が全て撮像されているか否かを判定部が判定する場合において、
　判定部は、２次元超音波画像を撮像する毎に、ガイドラインに規定されている撮像順に従って撮像が行われているか否かを判定し、
　第１報知部は、判定結果に応じて報知を行うことができる。
　また、本開示の３次元超音波撮像支援装置においては、撮像位置取得部により取得された撮像位置に基づいて、超音波プローブが予め定められた速度で移動しているか否かを検出する速度検出部と、
　速度検出部が超音波プローブが予め定められた速度で移動していないことを検出した場合に、予め定められた速度で移動していないことを報知する第２報知部とを含むことができる。
　また、本開示の３次元超音波撮像支援装置においては、速度検出部は、推定部により撮像部位が推定されている場合に、超音波プローブが推定された撮像部位毎に予め定められた速度で移動しているか否かを検出することができる。
　また、本開示の３次元超音波撮像支援装置においては、超音波プローブに固定されたマーカー部材と、
　超音波プローブ及びマーカー部材を同一撮像範囲内に含めて撮像する撮像部とを備え、
　撮像位置取得部は、撮像部により取得された超音波プローブ及びマーカー部材を含む撮像画像に基づいて撮像位置を取得することができる。
　また、本開示の３次元超音波撮像支援装置においては、超音波プローブに設けられる６軸センサを備え、
　撮像位置取得部は、６軸センサから出力された出力情報に基づいて撮像位置を取得することができる。
　また、本開示の３次元超音波撮像支援装置においては、超音波プローブに固定されたマーカー部材、及び超音波プローブに設けられる６軸センサと、
　超音波プローブ及びマーカー部材を同一撮像範囲内に含めて撮像する撮像部とを備え、
　撮像位置取得部は、撮像部により取得された超音波プローブ及びマーカー部材を含む撮像画像、並びに６軸センサから出力された出力情報に基づいて撮像位置を取得することができる。
　本開示の３次元超音波撮像支援方法は、被検体の複数の部位のうちの任意の部位において、異なる位置で超音波プローブにより撮像された複数の２次元超音波画像を取得し、
　撮像毎に超音波プローブの撮像位置を取得し、
　取得された複数の２次元超音波画像と、取得された撮像毎の撮像位置とに基づいて３次元超音波画像を生成する３次元超音波装置による超音波画像の撮像を支援する３次元超音波撮像支援方法であって、
　取得された２次元超音波画像及び生成された３次元超音波画像の少なくとも一方に基づいて、被検体の複数の部位の中から、２次元超音波画像及び３次元超音波画像に対応する撮像部位を推定し、
　被検体の部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、複数の２次元超音波画像及び３次元超音波画像の少なくとも一方において、推定された撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象が全て撮像されているか否かを判定し、
　撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象のうち撮像されていない撮像対象があると判定された場合に、撮像されていない撮像対象がある旨を報知する。
　本開示の３次元超音波撮像支援プログラムは、３次元超音波画像を生成する３次元超音波装置による超音波画像の撮像を支援する３次元超音波撮像支援プログラムであって、
　被検体の複数の部位のうちの任意の部位において、異なる位置で超音波プローブにより撮像された複数の２次元超音波画像を取得する画像取得部と、
　撮像毎に超音波プローブの撮像位置を取得する撮像位置取得部と、
　画像取得部により取得された複数の２次元超音波画像と、撮像位置取得部により取得された撮像毎の撮像位置とに基づいて３次元超音波画像を生成する３次元超音波画像生成部と、
　画像取得部により取得された２次元超音波画像及び３次元超音波画像生成部により生成された３次元超音波画像の少なくとも一方に基づいて、被検体の複数の部位の中から、２次元超音波画像及び３次元超音波画像に対応する撮像部位を推定する推定部と、
　被検体の部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、複数の２次元超音波画像及び３次元超音波画像の少なくとも一方において、推定部により推定された撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象が全て撮像されているか否かを判定する判定部と、
　判定部において、撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象のうち撮像されていない撮像対象があると判定された場合に、撮像されていない撮像対象がある旨を報知する第１報知部として、
　コンピュータを機能させる。
　本開示による他の３次元超音波撮像支援装置は、コンピュータに実行させるための命令を記憶するメモリと、
　記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
　被検体の複数の部位のうちの任意の部位において、異なる位置で超音波プローブにより撮像された複数の２次元超音波画像を取得し、
　撮像毎に超音波プローブの撮像位置を取得し、
　取得された複数の２次元超音波画像と、取得された撮像毎の撮像位置とに基づいて３次元超音波画像を生成し、
　取得された２次元超音波画像及び生成された３次元超音波画像の少なくとも一方に基づいて、被検体の複数の部位の中から、２次元超音波画像及び３次元超音波画像に対応する撮像部位を推定し、
　被検体の部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、複数の２次元超音波画像及び３次元超音波画像の少なくとも一方において、推定された撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象が全て撮像されているか否かを判定し、
　撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象のうち撮像されていない撮像対象があると判定された場合に、撮像されていない撮像対象がある旨を報知する処理を実行する。
　３次元超音波撮像支援装置、方法、及びプログラムによれば、ガイドラインに適合した全ての撮像対象が撮像されているか否かを容易に確認できる。
本開示の第１の実施形態の３次元超音波撮像支援装置を含む診断支援システムの構成を示す概略ブロック図 本開示の一実施形態である診断支援システムの概念図 マーカー部材が固定された超音波プローブを説明するための図 撮像部により取得された画像の一例を示す図である。 超音波プローブによる撮像動作を説明するための図 撮像画像中のマーカー部材５２の移動を説明するための図 第１報知部による報知の一例を示す図 第１報知部による報知の他の一例を示す図 本開示の第１の実施形態において行われる処理を示すフローチャート 本開示の第１の実施形態において行われるＡの処理を示すフローチャート 本開示の第２の実施形態において行われる処理を示すフローチャート 本開示の第３の実施形態の３次元超音波撮像支援装置を含む診断支援システムの構成を示す概略ブロック図 本開示の第３の実施形態において行われる処理を示すフローチャート センサが設けられた超音波プローブを説明するための図
　以下、図面を参照して本開示の実施形態について説明する。図１は本開示の一実施形態による３次元超音波撮像支援装置を適用した、診断支援システムの構成を示す概略ブロック図である。図１に示すように、診断支援システム１は、本実施形態による３次元超音波撮像支援装置１０、並びに３次元超音波撮像支援装置１０と接続可能に構成された超音波プローブ５０、撮像部６０、表示部３０、及び入力部４０を備えている。
　３次元超音波撮像支援装置１０は、ＣＰＵ（Central Processing Unit）１１、一次記憶部１２、二次記憶部１３及び外部Ｉ／Ｆ（Interface）１４等を備えたコンピュータから構成される。ＣＰＵ１１は、３次元超音波撮像支援装置１０の全体を制御する。一次記憶部１２は、各種プログラムの実行時のワークエリア等として用いられる揮発性のメモリである。一次記憶部１２の一例としては、ＲＡＭ（Random Access Memory）が挙げられる。二次記憶部１３は、各種プログラム及び各種パラメータ等を予め記憶した不揮発性のメモリであり、本開示の３次元超音波撮像支援プログラム１５の一実施形態がインストールされている。
　３次元超音波撮像支援プログラム１５は、ＤＶＤ（Digital Versatile Disc）及びＣＤ－ＲＯＭ（Compact Disc Read Only Memory）などの記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。又は、３次元超音波撮像支援プログラム１５は、ネットワークに接続されたサーバコンピュータの記憶装置もしくはネットワークストレージに対して、外部からアクセス可能な状態で記憶され、外部からの要求に応じてコンピュータにダウンロードされた後に、インストールされるようにしてもよい。
　この３次元超音波撮像支援プログラム１５がＣＰＵ１１により実行されることによって、ＣＰＵ１１は、画像取得部２１、撮像位置取得部２２、３次元超音波画像生成部２３、推定部２４、判定部２５、第１報知部２６、及び表示制御部２７として機能する。二次記憶部１３の一例としては、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）又はフラッシュメモリ等が挙げられる。
　外部Ｉ／Ｆ１４は、３次元超音波撮像支援装置１０と外部装置（図示せず）との間の各種情報の送受信を司る。ＣＰＵ１１、一次記憶部１２、二次記憶部１３、及び外部Ｉ／Ｆ１４は、各々の回路がデータを交換するための共通の経路であるバスライン１６に接続されている。
　また、バスライン１６には、表示部３０と入力部４０も接続されている。表示部３０は、例えば液晶ディスプレイ等で構成される。表示部３０は、後述するように、画像取得部２１により取得された２次元超音波画像及び３次元超音波画像生成部２３により生成された３次元超音波画像を表示する。また、後述する撮像部６０によって取得された撮像画像も表示する。なお、表示部３０をタッチパネルによって構成し、入力部４０と兼用してもよい。入力部４０は、マウス及びキーボード等を備えたものであり、ユーザによる種々の設定入力を受け付ける。また、バスライン１６には、送受信部１７と撮像部６０も接続されている。送受信部１７は、後述する超音波プローブ５０との間の各種情報の送受信を司る。
　超音波プローブ５０は、３次元超音波撮像支援装置１０に接続可能に構成されている。超音波プローブ５０としては、例えばセクタ走査対応のプローブ、リニア走査対応のプローブ、及びコンベックス走査対応のプローブ等を使用することができる。図２は、本開示の一実施形態である診断支援システムの概念図である。超音波プローブ５０は、図２に示すように、先端に、１次元方向に配列された複数の超音波振動子（図示せず）を有する振動子アレイ５０ａを有する。なお、振動子アレイ５０ａは、上記では、複数の超音波振動子が一次元に配列されている例について説明したが、これには限定されない。振動子アレイ５０ａにおいて、複数の超音波振動子が二次元に配列されていてもよい。
　超音波プローブ５０は振動子アレイ５０ａを生体である被検体Ｍの体表面に当接させた状態で、被検体Ｍの計測したい部位に対して超音波を出射（送信）し、被検体Ｍで反射して戻って来た反射超音波を検出（受信）する。超音波プローブ５０は、送受信部１７から出力されたパルス状又は連続波の電気信号を超音波に変換して出射し、受信した反射超音波を電気信号に変換して送受信部１７に送信する。
　送受信部１７は、超音波プローブ５０が有する複数の超音波振動子を駆動させる、パルス状又は連続波の電気信号を超音波プローブ５０へ送信する。また、送受信部１７は、反射超音波を受信した複数の超音波振動子で生成される複数の電気信号を受信する。そして、送受信部１７は、受信した電気信号に対して、増幅とＡ／Ｄ（Analog／Digital）変換とを行うことにより受信信号を生成する。この受信信号は、例えば、超音波振動子の配列方向と超音波の送信方向であって超音波振動子の配列方向と垂直な方向（以下、深度方向とする。）とに並ぶ複数の信号からなり、各信号は反射超音波の振幅をデジタル値で表したデジタル信号である。そして、この送信処理および受信処理を繰り返し連続して行い、複数の受信信号からなるフレームデータを複数構築する。
　なお、本開示においてフレームデータは、１枚の断層画像を構築する上で必要な受信信号の集合データ、この集合データに基づいて断層画像データを構築するために処理された信号、及びこの集合データに基づいて構築された１枚の断層画像データ或いは断層画像の何れかのことをいい、本実施形態においては１枚の断層画像データのことをいう。構築された断層画像データは一次記憶部１２に記憶される。
　また、本実施形態においては、超音波プローブ５０には、マーカー部材が固定されている。図３は、本開示の一実施形態であるマーカー部材が固定された超音波プローブ５０を説明するための図である。なお、図３においては、マーカー部材の超音波プローブ５０への固定箇所等は実際の形状とは異なり簡易的に図示されている。
　超音波プローブ５０は、図３に示すように、送受信部１７と接続するケーブル５１を有している。また、超音波プローブ５０の外周面には、マーカー部材５２が固定されている。マーカー部材５２は、球状の３つのマーカー、すなわちマーカー５２ｘ、マーカー５２ｙ、及びマーカー５２ｚと、軸方向が互いに直交するｘ軸、ｙ軸、及びｚ軸の３軸とを備えている。３つのマーカー５２ｘ、マーカー５２ｙ、及びマーカー５２ｚは、各々のマーカー中心５２ａを中心として、ｘ軸、ｙ軸、及びｚ軸の３軸の一端に設けられている。ｘ軸、ｙ軸、及びｚ軸の３軸の他端は、超音波プローブ５０に設けられた支柱に設けられている。また、３つのマーカー５２ｘ、マーカー５２ｙ、及びマーカー５２ｚは、例えば、異なる色が付されており、色によって識別可能である。
　なお、本実施形態においては、マーカー部材５２は、３つのマーカー５２ｘ、マーカー５２ｙ、及びマーカー５２ｚで構成されるものとしたが、本開示の技術はこれに限られず、上記３つのマーカー以外のマーカーを使用してもよい。例えば４つ、５つ等のマーカーを使用してもよい。またマーカーの形状は球状に限られず、例えば直方体であってもよいし、円錐状であってもよいし、適宜変更することができる。
　図２に示す撮像部６０は、超音波プローブ５０とマーカー部材５２とを同一撮像範囲内に含めて撮像可能な位置に設置されている。図４は撮像部６０により取得された画像の一例を示す図である。図４に示すように、撮像部６０により取得された画像Ｄには、ユーザの手Ｈに把持され、被検体Ｍの体表面に当接する超音波プローブ５０、及び超音波プローブ５０に固定されたマーカー部材５２が写っている。
　図５は超音波プローブ５０による撮像動作を説明するための図である。図５に示すように、ユーザが超音波プローブ５０を被検体Ｍの体表面に当接させた状態で、超音波プローブ５０を例えば矢印Ｓで示す方向に移動させることにより、異なる位置において撮像が行われる。こうした撮像が行われる異なる複数の撮像位置において、複数の２次元超音波画像Ｐが取得される。撮像位置は、撮像毎の超音波プローブ５０の体表面上の位置である。２次元超音波画像Ｐは、各撮像位置から被検体内の深度方向に延びる断面の断層画像である。
　図２に戻り、画像取得部２１は、超音波プローブ５０が各撮像位置で撮像した２次元超音波画像Ｐを取得する。２次元超音波画像Ｐは、各撮像位置から被検体内の深度方向に延びる断面の断層画像である。超音波プローブ５０は、撮像した複数の２次元超音波画像Ｐ（断層画像）を一次記憶部１２に出力する。画像取得部２１は一次記憶部１２から２次元超音波画像Ｐ（断層画像）を取得する。
　撮像位置取得部２２は、超音波プローブ５０の撮像位置を取得する。具体的には、異なる各撮像位置において、撮像部６０は超音波プローブ５０及びマーカー部材５２を撮像する。こうして得た超音波プローブ５０及びマーカー部材５２の撮像画像は一次記憶部１２に出力される。撮像位置取得部２２は、一次記憶部１２から撮像画像を読み出す。そして、撮像位置取得部２２は、読み出した撮像画像を画像解析することにより、撮像画像中のマーカー中心５２ａの位置、マーカー５２ｘ，５２ｙ，５２ｚの位置、大きさ、及び傾きから、超音波プローブ５０の撮像位置、及び向きの情報を導出する。撮像位置取得部２２は、マーカー５２ｘ，５２ｙ，５２ｚの各マーカーを色によって識別する。撮像位置取得部２２は、こうした導出処理によって、撮像位置及び向きの情報を取得する。
　図６は撮像画像中のマーカー部材５２の移動を説明するための図である。超音波プローブ５０が撮像位置Ｔ１及び撮像位置Ｔ２において２次元超音波画像Ｐを取得した場合、例えば図６に示すように、マーカー部材５２は撮像画像において、矢印Ｔの方向に移動する。この場合、マーカー中心５２ａのｘ方向の移動量から、超音波プローブ５０のｘ方向の位置が導出される。また、マーカー５２ｘ，５２ｙ，５２ｚの大きさの変化量から超音波プローブ５０のｙ方向の位置を導出する。また、マーカー５２ｘ，５２ｙ，５２ｚのマーカー中心５２ａの移動軌跡から、マーカー部材５２の回転量が検出される。そして、回転量に基づいて超音波プローブ５０の向きが導出される。そして、導出した超音波プローブ５０の撮像位置、及び向きの情報は、当該撮像位置において取得された２次元超音波画像Ｐに対応させて一次記憶部１２に記憶される。なお、マーカー部材５２を使用した超音波プローブ５０の撮像位置及び向きの情報を取得する方法は、公知の技術を使用することができる。
　３次元超音波画像生成部２３は、画像取得部２１が取得した２次元超音波画像Ｐ、及び、２次元超音波画像Ｐに対応させて一次記憶部１２に記憶された超音波プローブ５０の撮像位置、及び向きの情報を用いることにより、振動子アレイ５０ａの機械的走査の角度範囲あるいはストロークと電子的な走査範囲によって決定される空間に対する３次元超音波画像Ｖを生成する。なお、３次元超音波画像Ｖの生成方法については公知の技術を使用することができる。ここで、超音波プローブ５０の撮像位置及び向きの情報を総称して、超音波プローブ５０の位置情報という場合がある。
　推定部２４は、画像取得部２１により取得された２次元超音波画像Ｐ及び３次元超音波画像生成部２３により生成された３次元超音波画像Ｖの少なくとも一方に基づいて、被検体の複数の部位の中から、２次元超音波画像Ｐ及び３次元超音波画像Ｖに対応する撮像部位を推定する。
　撮像部位の推定方法としては、例えば、予め記憶された複数の撮像部位、例えば、血管（頸動脈、頸静脈等）、心臓、肝臓、腎臓、胆嚢、膵臓、胃、肺、膀胱、甲状腺、及び乳房等の一般的に検査される撮像部位にそれぞれ関連付けられた複数の照合パターンを予め用意しておく。そして、これら複数の照合パターンを用いて、生成された２次元超音波画像Ｐ又は３次元超音波画像Ｖを照合することで撮像部位を認識する方法（例えば、国際公開第２０１７／１５８９９８号に記載の技術）を使用することができる。また、２次元超音波画像Ｐ及び３次元超音波画像Ｖを入力とし、各々の２次元超音波画像Ｐ及び３次元超音波画像Ｖに対応する撮像部位を出力として学習された学習モデルを使用することにより、撮像部位を推定してもよい。
　判定部２５は、被検体の部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、複数の２次元超音波画像Ｐ及び３次元超音波画像Ｖの少なくとも一方において、推定部２４により推定された撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象が全て撮像されているか否かを判定する。
　ガイドラインにおいては、例えば、撮像部位が頸動脈である場合には、断層像による観察は、血管短軸断面と血管長軸断面の２方向で行い、観察領域は左右共に総頸動脈、頸動脈洞、内頸動脈及び椎骨動脈で、観察可能な領域とすることが規定されている。また、観察領域は、必要に応じて外頸動脈、鎖骨下動脈、腕頭動脈、浅側頭動脈、及びそれらの分枝動脈なども含むことも規定されている。このように、ガイドラインにおいては、頸動脈といった被検体の部位毎に、観察領域内の総頸動脈及び頸動脈洞といった撮像すべき複数の撮像対象が規定されている。本実施形態においては、上記ガイドラインに基づいて、撮像部位毎に、予め撮影すべき複数の撮像対象のリストを作成して一次記憶部１２に記憶させておく。
　また、本実施形態においては、判定部２５は、２次元超音波画像Ｐ及び３次元超音波画像Ｖに含まれる構造物を分類する。例えば、撮像部位が頸動脈である場合には、構造物は総頸動脈、頸動脈洞、内頸動脈及び椎骨動脈等である。構造物の分類方法としては、一例として、撮像部位を複数のクラスに分類するために、２次元超音波画像Ｐについての教師データを用いて学習がなされたニューラルネットワークを使用した特開２０１８－１３９６９３号公報に記載の分類手段を使用することができる。判定部２５は、このような構造物の分類を行うことにより、２次元超音波画像Ｐに含まれている撮像対象を認識する。
　また、教師データとして、血管短軸断面と血管長軸断面の２方向で撮像された２次元超音波画像と、各々の２次元超音波画像がどちらの方向で撮像された画像であるかについての方向情報とを組とする教師データを用いることがきる。そしてかかる教師データを判定部２５の分類手段を学習させることにより、２次元超音波画像Ｐにおける撮影方向についても分類することができる。
　そして、判定部２５は、２次元超音波画像Ｐに含まれる複数の撮像対象が、ガイドラインに適合しているか否かを判定する。具体的には、判定部２５は、画像取得部２１により取得された複数の２次元超音波画像Ｐに含まれる複数の撮像対象と、上述したリストに規定されている撮像すべき複数の撮像対象とを照合する。そして、判定部２５は、照合結果に基づいて、推定部２４により推定された撮像部位についてガイドラインに予め規定されている複数の撮像対象が全て撮像されているか否かを判定する。また、本実施形態においては、判定部２５は、１つの撮像部位における複数の２次元超音波画像Ｐをすべて撮像した段階で、上記判定を行う。
　第１報知部２６は、判定部２５において、撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象のうち撮像されていない撮像対象があると判定された場合に、撮像されていない撮像対象がある旨を報知する。なお、第１報知部２６による報知は、例えば図示しない音声出力部によりアラームを鳴らすことにより報知してもよいし、表示部３０に「撮像されていない撮像対象があります」と表示させてもよい。これにより、ユーザはガイドラインに適合した全ての撮像対象が撮像されているか否かを容易に確認できる。
　また、第１報知部２６は、撮像対象の有無に加えて、ガイドラインに規定されているが、撮像されていない撮像対象を撮像可能な撮像位置を報知してもよい。例えば、ガイドラインにおいて規定されている複数の撮像対象が、第１撮像対象、第２撮像対象、第３撮像対象であり、第１撮像対象、第２撮像対象、第３撮像対象の順に並んでいるとする。そして、判定部２５が、第２撮像対象が撮像されていないと判定したとする。この場合、第１撮像対象と第３撮像対象が各々に含まれる２枚の２次元超音波画像には、各々の撮像位置、すなわちマーカー部材５２の座標位置情報が対応付けられている。そのため、判定部２５は、マーカー部材５２がどこに位置した場合に、どの撮像対象を撮像可能なのかを推定することができる。上記例では、判定部２５は、第２撮像対象を撮像可能な撮像位置を推定する。
　第１報知部２６は、判定部２５によって推定された、第２撮像対象を撮像可能な撮像位置として、マーカー部材５２の位置を表示部３０に表示させる。また、さらに、第１報知部２６は、撮像位置に加えて、撮像位置における超音波プローブ５０の向きを報知することができる。例えば、２方向で撮像された第１撮像対象、第２撮像対象、第３撮像対象が必要であるとガイドラインで規定されているとする。そして、判定部２５が、第１方向の第２撮像対象が撮像されていないと判定した場合に、第１方向から撮像可能な超音波プローブ５０の向きを報知する。
　図７及び図８は各々第１報知部２６による報知の一例を示す図である。図７においては、撮像部６０によりリアルタイムで撮像されている画像が表示部３０に表示されている。
第１報知部２６は、図７に示すように、ガイドラインに規定されているが、撮像されていない撮像対象を撮像可能な撮像位置を、点線の円などのマークで示し、かつ「撮像が粗いです」といったメッセージを表示させる。さらに、撮像すべき向きは、超音波プローブ５０を模式的に示した簡易画像を用いて表示される。簡易画像には、撮像すべき向きに対応した超音波プローブ５０の姿勢が示されている。これにより、ユーザは撮像すべき撮像対象が撮像可能な撮像位置及び向きを確認することができるので、超音波プローブ５０を目的の位置まで容易に移動させることができる。
　また、図８においては、超音波プローブ５０によりリアルタイムで撮像されている２次元超音波画像が表示部３０に表示されている。第１報知部２６は、図８に示すように、ガイドラインに規定されているが、画像が粗い場合、点線の円を表示させ、かつ「撮像が粗いです」と表示させる。一般に、画像が粗い原因は、超音波プローブ５０の深度方向への押し込み不足と考えられる。そのため、超音波プローブ５０を深度方向に移動させる方向を表す矢印と超音波プローブ５０の簡易画像とを表示させる。これにより、ユーザは超音波プローブ５０の移動すべき方向を視認することができるので、超音波プローブ５０を目的の位置まで容易に移動させることができる。
　図２に戻り、表示制御部２７は、超音波プローブ５０により撮像された２次元超音波画像Ｐ及び３次元超音波画像Ｖの少なくとも一方を表示部３０に表示させる。また、表示制御部２７は、撮像部６０により撮像された画像を表示部３０に表示させる。なお、表示制御部２７は１つの表示部３０に超音波プローブ５０により撮像された２次元超音波画像Ｐ及び３次元超音波画像Ｖの少なくとも一方と、撮像部６０により撮像された画像とを表示させてもよいし、表示部３０が２つある場合には、各々に表示させてもよい。
　次いで、本実施形態において行われる処理について説明する。図９は本開示の第１の実施形態において行われる処理を示すフローチャートである。
　画像取得部２１は、ユーザが超音波プローブ５０を被検体Ｍの体表面に当接させた状態で、超音波プローブ５０を操作することにより撮像された２次元超音波画像Ｐを取得する（ステップＳＴ１）。この際、撮像位置取得部２２は、超音波プローブ５０の撮像位置を取得する。
　次いで、取得した２次元超音波画像Ｐにおいて撮像部位を推定する（ステップＳＴ２）。撮像部位が推定できなかった場合（ステップＳＴ３；ＮＯ）には、ＣＰＵ１１は、ステップＳＴ１に処理を移行して、異なる位置において超音波プローブ５０を操作することにより撮像された２次元超音波画像Ｐを取得し、以降の処理を行う。また、さらにＡの処理を並行して行う。なお、Ａの処理については後で説明する。
　次いで、撮像部位が推定できた場合（ステップＳＴ３；ＹＥＳ）には、判定部２５が、２次元超音波画像Ｐにおいて推定された撮像部位のガイドラインに規定された撮像対象とを照合する（ステップＳＴ４）。規定された撮像対象が全て撮像されている場合（ステップＳＴ５；ＹＥＳ）には、３次元超音波画像生成部２３が画像取得部２１により取得された２次元超音波画像Ｐと２次元超音波画像Ｐを撮像中の超音波プローブ５０の撮像位置とに基づいて３次元超音波画像Ｖを生成して（ステップＳＴ６）、処理を終了する。
　一方、規定された撮像対象が全て撮像されていない場合（ステップＳＴ５；ＮＯ）、すなわち、撮像されていない撮像対象がある場合には、第１報知部２６が、撮像されていない撮像対象がある旨を報知する（ステップＳＴ７）。
　次いで、画像取得部２１が、超音波プローブ５０を操作することにより撮像された２次元超音波画像Ｐを取得し（ステップＳＴ８）、ＣＰＵ１１は、ステップＳ４に処理を移行して以降の処理を行う。なお、上記撮像の際に、第１報知部２６が上述したように、撮像されていない撮像対象が撮像可能な撮像位置を報知する。
　次に、ステップＳＴ３にて、撮像部位が推定できなかった場合（ステップＳＴ３；ＮＯ）のＡの処理について説明する。図１０は本開示の第１の実施形態において行われるＡの処理を示すフローチャートである。
　図１０に示すように、３次元超音波画像生成部２３は、画像取得部２１により取得された２次元超音波画像Ｐと２次元超音波画像Ｐを撮像中の超音波プローブ５０の撮像位置とに基づいて３次元超音波画像Ｖを生成する（ステップＳＴ２１）。そして、取得した３次元超音波画像Ｖにおいて撮像部位を推定する（ステップＳＴ２２）。
　次いで、判定部２５が、３次元超音波画像Ｖで推定された撮像部位においてガイドラインに規定された撮像対象とを照合する（ステップＳＴ２３）。規定された撮像対象が全て撮像されている場合（ステップＳＴ２４；ＹＥＳ）には、処理を終了する。一方、規定された撮像対象が全て撮像されていない場合（ステップＳＴ２４；ＮＯ）、すなわち、撮像されていない撮像対象がある場合には、第１報知部２６が、撮像されていない撮像対象がある旨を報知する（ステップＳＴ２５）。そして、ＣＰＵ１１は、図９のステップＳＴ８に処理を移行して、以降の処理を行う。
　一般的に、２次元超音波画像Ｐにおいて撮像部位が推定できなかった場合であっても、３次元超音波画像Ｖにおいては撮像部位が特定することができることが知られている。そのため、２次元超音波画像Ｐにおいて撮像部位が推定できなかった場合に、３次元超音波画像Ｖにおいては撮像部位を特定することにより、判定部２５は、撮像部位毎のガイドラインに基づいた撮像対象との照合を行うことができる。これにより、判定部２５は、撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象が全て撮像されているか否かを判定することができる。
　なお、上記第１の実施形態においては、２次元超音波画像Ｐにおいて撮像部位が推定できなかった場合に、図１０に示すＡの処理を行ったが、本開示の技術はこれに限られない。２次元超音波画像Ｐにおいて撮像部位が推定できた場合であっても、図１０に示すＡの処理を行ってもよい。２次元超音波画像Ｐと３次元超音波画像Ｖの両方において、撮像部位を推定することにより、より高精度で撮像部位を推定することができる。
　次に、第２の実施形態の３次元超音波撮像支援装置について説明する。第２の実施形態の３次元超音波撮像支援装置は、ガイドラインに基づいて、撮像部位毎に、予め撮影すべき複数の撮像対象を、撮像すべき順序に沿って並べたリストを作成し、一次記憶部１２に記憶させておく。なお、第２の実施形態の３次元超音波撮像支援装置は、図１に示す第１の実施形態の３次元超音波撮像支援装置１０と同じ構成とすることができる。そのため、ここでの説明は省略し、第２の実施形態の３次元超音波撮像支援装置について行われる処理についてのみ説明する。図１１は本開示の第２の実施形態において行われる処理を示すフローチャートである。なお、図１１のステップＳＴ３１からステップＳＴ３３の処理は、図９のステップＳＴ１からステップＳＴ３の処理と同じであるため、ここでの説明は省略する。
　図１１に示すように、ステップＳＴ３３において、撮像部位が推定できた場合（ステップＳＴ３３；ＹＥＳ）には、画像取得部２１が２次元超音波画像Ｐを取得する毎に、判定部２５は、取得された２次元超音波画像Ｐが、推定された撮像部位のガイドラインに規定された撮像対象の撮像順に沿って撮像されているか否かを照合する（ステップＳＴ３４）。
　規定された撮像順に従って撮像されていない場合（ステップＳＴ３５；ＮＯ）、すなわち、撮像されていない撮像対象がある場合には、第１報知部２６が、撮像されていない撮像対象がある旨を報知する（ステップＳＴ３６）。
　次いで、画像取得部２１が、超音波プローブ５０を操作することにより撮像された２次元超音波画像Ｐを取得し（ステップＳＴ３７）、ＣＰＵ１１は、ステップＳ３４に処理を移行して以降の処理を行う。なお、上記撮像の際に、第１報知部２６が上述したように、撮像されていない撮像対象が撮像可能な撮像位置を報知する。
　一方、規定された撮像順に従って撮像されている場合（ステップＳＴ３５；ＹＥＳ）、判定部２５は、規定された撮像対象が全て撮像されたか否かを判定する（ステップＳＴ３８）。そして、撮像されている場合（ステップＳＴ３８；ＹＥＳ）には、３次元超音波画像生成部２３が画像取得部２１により取得された２次元超音波画像Ｐと２次元超音波画像Ｐを撮像中の超音波プローブ５０の撮像位置とに基づいて３次元超音波画像Ｖを生成して（ステップＳＴ３９）、処理を終了する。
　一方、規定された撮像対象が全て撮像されていない場合（ステップＳＴ３８；ＮＯ）、すなわち、撮像されていない撮像対象がある場合には、第１報知部２６が、撮像されていない撮像対象がある旨を報知し（ステップＳＴ３６）、以降の処理を行う。
　第２の実施形態においては、２次元超音波画像Ｐを取得する毎に、ガイドラインに規定されている撮像順に従って撮像が行われているか否かを判定し、撮像順に従って撮像が行われていない場合に、撮像順に従って撮像が行われていないことが報知される。そのため、ユーザは、現在の撮像位置と、１つ前の撮像位置との間に、撮像すべき撮像位置、すなわち、撮像対象が存在していることを認識することができるので、認識した時点で超音波プローブ５０を進行方向とは逆方向に戻して上記撮像すべき位置において観察対象を撮像することができる。
　以下、図面を参照して本開示の実施形態について説明する。図１２は第３の実施形態による３次元超音波撮像支援装置を適用した、診断支援システムの構成を示す概略ブロック図である。なお、図１２において、図１に示す診断支援システムと同じ構成については同じ符号で示してここでの説明は省略し、異なる箇所についてのみ説明する。
　第３の実施形態の３次元超音波撮像支援装置１０－３は、図１２に示すように、速度検出部２８と、第２報知部２９とを備えている。速度検出部２８は、撮像位置取得部２２により取得された撮像位置に基づいて、超音波プローブ５０が予め定められた速度で移動しているか否かを検出する。なお、撮像位置取得部２２は、撮像部６０により超音波プローブ５０及びマーカー部材５２が撮像された時間を記憶しておき、マーカー部材５２の移動距離と撮像された時間とから超音波プローブ５０の移動速度を検出する。
　第２報知部２９は、速度検出部２８が、超音波プローブ５０が予め定められた速度で移動していないことを検出した場合に、予め定められた速度で移動していないことを報知する。報知方法としては、例えば図示しない音声出力部によりアラームを鳴らすことにより報知してもよいし、表示部３０に「予め定められた速度で移動していません」と表示させてもよい。これにより、超音波プローブ５０が予め定められた速度で操作できているか否かを容易に確認できる。これにより、例えば速度が速すぎることにより、撮像すべき撮像位置において観察対象が撮像されない事態等を防ぐことができる。
　本実施形態において、予め定められた速度は、推定部２４によって撮像部位が推定されている場合には、推定された撮像部位毎に予め定められた速度とする。一方、推定部２４によって撮像部位が推定されていない場合には、全ての撮像部位において予め定められた速度のうち、最も遅い速度を予め定められた速度とする。
　次に、第３の実施形態の３次元超音波撮像支援装置について行われる処理について説明する。図１３は本開示の第３の実施形態において行われる処理を示すフローチャートである。なお、図１３に示す処理は、図９及び図１０に示す第１の実施形態の処理、又は図１１に示す第２の実施形態の処理と並行して行われる。
　先ず、速度検出部２８が超音波プローブ５０の速度を検出する（ステップＳＴ４１）。速度検出部２８は、この時点において、推定部２４が撮像部位を推定できているか否かを判定する（ステップＳＴ４２）。撮像部位が推定できている場合には、速度検出部２８は、検出した速度と、推定された撮像部位のガイドラインにおいて規定された速度とを照合する（ステップＳＴ４３）。
　一方、ステップＳＴ４２において、撮像部位が推定できていない場合には、速度検出部２８は、検出した速度と、全ての撮像部位において予め定められた速度のうち最も遅い速度とを照合する（ステップＳＴ４４）。
　そして、速度検出部２８が、超音波プローブ５０が予め定められた速度で移動していないことを検出した場合（ステップＳＴ４５；ＹＥＳ）、第２報知部２９は、超音波プローブ５０が予め定められた速度で移動していないことを報知して（ステップＳＴ４６）、処理を終了する。
　一方、ステップＳＴ４５において、速度検出部２８が、超音波プローブ５０が予め定められた速度で移動していることを検出した場合（ステップＳＴ４５；ＮＯ）、ＣＰＵ１１は、ステップＳＴ４１に処理を移行して、以降の処理を行う。
　第３の実施形態においては、ユーザが、撮像部位毎に予め定められた速度で超音波プローブ５０を操作できているか否かを知ることができる。これにより、ユーザは、撮像部位毎に適切な速度で超音波プローブ５０を移動させることができる。
　なお、上記実施形態においては、撮像位置取得部２２は、撮像部６０に超音波プローブ５０及びマーカー部材５２を撮像させて取得した撮像画像中のマーカー中心５２ａの位置、マーカー５２ｘ，５２ｙ，５２ｚの位置、大きさ、及び傾きから、超音波プローブ５０の撮像位置、及び向きの情報を導出しているが、本開示の技術はこれに限られない。
　撮像位置取得部２２は、例えばＡＲ(Augmented Reality：拡張現実)マーカーを使用することにより超音波プローブ５０の撮像位置、及び向きの情報を取得してもよい。ＡＲマーカーは、決まったパターンの図形で構成された画像である。このＡＲマーカーを超音波プローブ５０の外周面に配設する。そして、撮像部６０により撮像されたＡＲマーカーを含む超音波プローブ５０の画像データに基づいて、マーカーの位置及び向きを検出する公知のプログラムを使用することにより、ＡＲマーカー、すなわち超音波プローブ５０の撮像位置及び、向きの情報を取得するようにしてもよい。
　また、マーカー部材５２に替えて、超音波プローブ５０本体に凸部及び凹部等を設け、この凸部及び凹部等をマーカーとすることにより、超音波プローブ５０の撮像位置、及び向きの情報を導出してもよい。本開示の技術においては、超音波プローブ５０の撮像位置、及び向きを規定するための指標とすることができるマーカーであれば、どのような形状及び形式であってもよく、特に限定されるものではない。
　また、例えば、診断支援システム１は撮像部６０及びマーカー部材５２のかわりにセンサを備えることができる。
　図１４はセンサが設けられた超音波プローブを説明するための図である。なお、図１４においては、センサの超音波プローブ５０への取り付け方は実際の形状とは異なり簡易的に図示されている。
　超音波プローブ５０は、図１４に示すように、超音波プローブ５０の外周面に、センサ７０が取付けられている。センサ７０は、移動方向、向き、回転を検出することができ、さらに移動距離や移動速度などを算出することができる６軸センサである。前後、左右、上下の３方向を検出できる加速度センサと東西南北を検出できる地磁気センサ、または加速度センサと回転の速さを検出できるジャイロセンサを組み合わせることで、６軸センサが実現される。
　撮像位置取得部２２は、センサ７０から出力された出力情報に基づいて撮像位置を取得することができる。
　なお、上記実施形態においては、撮像部６０及びマーカー部材５２のかわりにセンサ７０を設けたが、本開示の技術はこれに限られない。撮像部６０及びマーカー部材５２に加えてセンサ７０を設けてもよい。この場合、センサ７０は超音波プローブ５０の撮像方向を検出するのに適しており、撮像部６０に超音波プローブ５０及びマーカー部材５２を撮像させて取得した撮像画像から撮像位置を算出する方法は、超音波プローブ５０の平行移動を検出するのに適している。そのため、撮像部６０、マーカー部材５２、及びセンサ７０を使用することにより、撮像位置取得部２２はより正確な撮像位置及び撮像方向を取得することができる。
　また、上述した実施形態において、例えば、画像取得部２１、撮像位置取得部２２、３次元超音波画像生成部２３、推定部２４、判定部２５、第１報知部２６、表示制御部２７、速度検出部２８、及び第２報知部２９といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field　Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。
　　　１　　診断支援システム
　　　１０　３次元超音波撮像支援装置
　　　１１　　ＣＰＵ
　　　１２　　一次記憶部
　　　１３　　二次記憶部
　　　１４　　外部Ｉ／Ｆ
　　　１５　　３次元超音波撮像支援プログラム
　　　１６　　バス
　　　１７　　送受信部
　　　２１　　画像取得部
　　　２２　　撮像位置取得部
　　　２３　　３次元超音波画像生成部
　　　２４　　推定部
　　　２５　　判定部
　　　２６　　第１報知部
　　　２７　　表示制御部
　　　２８　　速度検出部
　　　２９　　第２報知部
　　　３０　　表示部
　　　４０　　入力部
　　　５０　　超音波プローブ
　　　６０　　撮像部
　　　７０　　センサ

Claims (11)

  1. 　３次元超音波画像を生成する３次元超音波装置による超音波画像の撮像を支援する３次元超音波撮像支援装置であって、
    　被検体の複数の部位のうちの任意の部位において、異なる位置で超音波プローブにより撮像された複数の２次元超音波画像を取得する画像取得部と、
    　撮像毎に前記超音波プローブの撮像位置を取得する撮像位置取得部と、
    　前記画像取得部により取得された前記複数の２次元超音波画像と、前記撮像位置取得部により取得された撮像毎の前記撮像位置とに基づいて３次元超音波画像を生成する３次元超音波画像生成部と、
    　前記画像取得部により取得された前記２次元超音波画像及び前記３次元超音波画像生成部により生成された前記３次元超音波画像の少なくとも一方に基づいて、前記被検体の前記複数の部位の中から、前記２次元超音波画像及び３次元超音波画像に対応する撮像部位を推定する推定部と、
    　前記被検体の前記部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、前記複数の２次元超音波画像及び前記３次元超音波画像の少なくとも一方において、前記推定部により推定された前記撮像部位について前記ガイドラインにおいて予め規定されている前記複数の撮像対象が全て撮像されているか否かを判定する判定部と、
    　前記判定部において、前記撮像部位について前記ガイドラインにおいて予め規定されている前記複数の撮像対象のうち撮像されていない前記撮像対象があると判定された場合に、撮像されていない前記撮像対象がある旨を報知する第１報知部と、を含む３次元超音波撮像支援装置。
  2. 　前記判定部において、前記撮像部位について前記ガイドラインにおいて予め規定されている前記複数の撮像対象のうち撮像されていない前記撮像対象があると判定された場合に、
    　前記第１報知部は、前記ガイドラインに規定されているが、撮像されていない前記撮像対象を撮像可能な前記撮像位置を報知する請求項１に記載の３次元超音波撮像支援装置。
  3. 　前記第１報知部は、前記撮像位置に加えて、前記撮像位置における前記超音波プローブの向きを報知する請求項２に記載の３次元超音波撮像支援装置。
  4. 　前記ガイドラインには、前記部位毎に前記複数の撮像対象の撮像順も規定されており、かつ、前記複数の２次元超音波画像を用いて、前記ガイドラインにおいて予め規定されている前記複数の撮像対象が全て撮像されているか否かを前記判定部が判定する場合において、
    　前記判定部は、前記２次元超音波画像を撮像する毎に、前記ガイドラインに規定されている前記撮像順に従って撮像が行われているか否かを判定し、
    　前記第１報知部は、判定結果に応じて報知を行う請求項２または３に記載の３次元超音波撮像支援装置。
  5. 　前記撮像位置取得部により取得された前記撮像位置に基づいて、前記超音波プローブが予め定められた速度で移動しているか否かを検出する速度検出部と、
    　前記速度検出部が前記超音波プローブが前記予め定められた速度で移動していないことを検出した場合に、前記予め定められた速度で移動していないことを報知する第２報知部とを含む請求項１から４何れか１項に記載の３次元超音波撮像支援装置。
  6. 　前記速度検出部は、前記推定部により前記撮像部位が推定されている場合に、前記超音波プローブが推定された前記撮像部位毎に予め定められた速度で移動しているか否かを検出する請求項５に記載の３次元超音波撮像支援装置。
  7. 　前記超音波プローブに固定されたマーカー部材と、
    　前記超音波プローブ及び前記マーカー部材を同一撮像範囲内に含めて撮像する撮像部とを備え、
    　前記撮像位置取得部は、前記撮像部により取得された前記超音波プローブ及び前記マーカー部材を含む撮像画像に基づいて前記撮像位置を取得する請求項１から６何れか１項に記載の３次元超音波撮像支援装置。
  8. 　前記超音波プローブに設けられる６軸センサを備え、
    　前記撮像位置取得部は、前記６軸センサから出力された出力情報に基づいて前記撮像位置を取得する請求項１から６何れか１項に記載の３次元超音波撮像支援装置。
  9. 　前記超音波プローブに固定されたマーカー部材、及び前記超音波プローブに設けられる６軸センサと、
    　前記超音波プローブ及び前記マーカー部材を同一撮像範囲内に含めて撮像する撮像部とを備え、
    　前記撮像位置取得部は、前記撮像部により取得された前記超音波プローブ及び前記マーカー部材を含む撮像画像、並びに前記６軸センサから出力された出力情報に基づいて前記撮像位置を取得する請求項１から６何れか１項に記載の３次元超音波撮像支援装置。
  10. 　被検体の複数の部位のうちの任意の部位において、異なる位置で超音波プローブにより撮像された複数の２次元超音波画像を取得し、
    　撮像毎に前記超音波プローブの撮像位置を取得し、
    　取得された前記複数の２次元超音波画像と、取得された撮像毎の前記撮像位置とに基づいて３次元超音波画像を生成する３次元超音波装置による超音波画像の撮像を支援する３次元超音波撮像支援方法であって、
    　取得された前記２次元超音波画像及び生成された前記３次元超音波画像の少なくとも一方に基づいて、前記被検体の前記複数の部位の中から、前記２次元超音波画像及び３次元超音波画像に対応する撮像部位を推定し、
    　前記被検体の前記部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、前記複数の２次元超音波画像及び前記３次元超音波画像の少なくとも一方において、推定された前記撮像部位について前記ガイドラインにおいて予め規定されている前記複数の撮像対象が全て撮像されているか否かを判定し、
    　前記撮像部位について前記ガイドラインにおいて予め規定されている前記複数の撮像対象のうち撮像されていない前記撮像対象があると判定された場合に、撮像されていない撮像対象がある旨を報知する３次元超音波撮像支援方法。
  11. 　３次元超音波画像を生成する３次元超音波装置による超音波画像の撮像を支援する３次元超音波撮像支援プログラムであって、
    　被検体の複数の部位のうちの任意の部位において、異なる位置で超音波プローブにより撮像された複数の２次元超音波画像を取得する画像取得部と、
    　撮像毎に前記超音波プローブの撮像位置を取得する撮像位置取得部と、
    　前記画像取得部により取得された前記複数の２次元超音波画像と、前記撮像位置取得部により取得された撮像毎の前記撮像位置とに基づいて３次元超音波画像を生成する３次元超音波画像生成部と、
    　前記画像取得部により取得された前記２次元超音波画像及び前記３次元超音波画像生成部により生成された前記３次元超音波画像の少なくとも一方に基づいて、前記被検体の前記複数の部位の中から、前記２次元超音波画像及び３次元超音波画像に対応する撮像部位を推定する推定部と、
    　前記被検体の前記部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、前記複数の２次元超音波画像及び前記３次元超音波画像の少なくとも一方において、前記推定部により推定された前記撮像部位について前記ガイドラインにおいて予め規定されている前記複数の撮像対象が全て撮像されているか否かを判定する判定部と、
    　前記判定部において、前記撮像部位について前記ガイドラインにおいて予め規定されている前記複数の撮像対象のうち撮像されていない前記撮像対象があると判定された場合に、撮像されていない前記撮像対象がある旨を報知する第１報知部として、
    　コンピュータを機能させる３次元超音波撮像支援プログラム。
PCT/JP2020/019903 2019-06-06 2020-05-20 ３次元超音波撮像支援装置、方法、及びプログラム WO2020246238A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112020002148.3T DE112020002148T5 (de) 2019-06-06 2020-05-20 Unterstützungsvorrichtung für dreidimensionale ultraschallbildgebung, unterstützungsverfahren für dreidimensionale ultraschallbildgebung und unterstützungsprogramm für dreidimensionale ultraschallbildgebung
JP2021524743A JP7104243B2 (ja) 2019-06-06 2020-05-20 ３次元超音波撮像支援装置、方法、及びプログラム
US17/541,250 US20220087652A1 (en) 2019-06-06 2021-12-03 Three-dimensional ultrasound imaging support apparatus, three-dimensional ultrasound imaging support method, and three-dimensional ultrasound imaging support program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019106448 2019-06-06
JP2019-106448 2019-06-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/541,250 Continuation US20220087652A1 (en) 2019-06-06 2021-12-03 Three-dimensional ultrasound imaging support apparatus, three-dimensional ultrasound imaging support method, and three-dimensional ultrasound imaging support program

Publications (1)

Publication Number Publication Date
WO2020246238A1 true WO2020246238A1 (ja) 2020-12-10

Family

ID=73652813

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/019903 WO2020246238A1 (ja) 2019-06-06 2020-05-20 ３次元超音波撮像支援装置、方法、及びプログラム

Country Status (4)

Country Link
US (1) US20220087652A1 (ja)
JP (1) JP7104243B2 (ja)
DE (1) DE112020002148T5 (ja)
WO (1) WO2020246238A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023074511A (ja) * 2021-11-05 2023-05-30 ビフレステック株式会社 超音波プローブの距離・傾き情報遠隔送信システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017094577A1 (ja) * 2015-12-02 2017-06-08 株式会社日立製作所 超音波撮像装置、および画像処理方法
JP2017519579A (ja) * 2014-06-30 2017-07-20 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 解剖学的方向に応じた超音波アレイの並進
US20180150598A1 (en) * 2016-11-30 2018-05-31 General Electric Company Methods and systems for compliance accreditation for medical diagnostic imaging

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5681744A (en) 1979-12-03 1981-07-04 Obayashi Gumi Kk Soil permeating type equally water sprinkling apparatus
CN104168837A (zh) 2011-10-10 2014-11-26 神经束公司 用手持图像设备对组织进行全面检查的方法、装置和系统
WO2014113530A1 (en) 2013-01-17 2014-07-24 Tractus Corporation Method, apparatus and system for complete examination of tissue with hand-held imaging devices having mounted cameras
WO2017158998A1 (ja) 2016-03-14 2017-09-21 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
JP6956483B2 (ja) * 2016-11-16 2021-11-02 キヤノンメディカルシステムズ株式会社 超音波診断装置、及び走査支援プログラム
JP6657132B2 (ja) 2017-02-27 2020-03-04 富士フイルム株式会社 画像分類装置、方法およびプログラム
EP3485816A1 (en) * 2017-11-21 2019-05-22 Koninklijke Philips N.V. Method and apparatus for guiding an ultrasound probe
CN108634985A (zh) * 2018-05-08 2018-10-12 广州尚医网信息技术有限公司 B超探头无盲区扫查方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017519579A (ja) * 2014-06-30 2017-07-20 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 解剖学的方向に応じた超音波アレイの並進
WO2017094577A1 (ja) * 2015-12-02 2017-06-08 株式会社日立製作所 超音波撮像装置、および画像処理方法
US20180150598A1 (en) * 2016-11-30 2018-05-31 General Electric Company Methods and systems for compliance accreditation for medical diagnostic imaging

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023074511A (ja) * 2021-11-05 2023-05-30 ビフレステック株式会社 超音波プローブの距離・傾き情報遠隔送信システム

Also Published As

Publication number Publication date
JP7104243B2 (ja) 2022-07-20
US20220087652A1 (en) 2022-03-24
DE112020002148T5 (de) 2022-01-05
JPWO2020246238A1 (ja) 2020-12-10

Similar Documents

Publication Publication Date Title
US11730447B2 (en) Haptic feedback for ultrasound image acquisition
JP5127371B2 (ja) 超音波画像診断システム、及びその制御方法
US7925068B2 (en) Method and apparatus for forming a guide image for an ultrasound image scanner
JP2020072937A (ja) エラストグラフィ測定システム及びその方法
EP2807978A1 (en) Method and system for 3D acquisition of ultrasound images
EP2846310A2 (en) Method and apparatus for registering medical images
CN110870792A (zh) 用于超声导航的系统和方法
CN103919573A (zh) 病变诊断设备和方法
CN104584074A (zh) 在3d常规以及对比增强的超声图像中的耦合的分割
KR102273020B1 (ko) 의료 영상 정합 방법 및 그 장치
US11712224B2 (en) Method and systems for context awareness enabled ultrasound scanning
JP7267928B2 (ja) ボリュームレンダリングされる超音波画像
US10952705B2 (en) Method and system for creating and utilizing a patient-specific organ model from ultrasound image data
EP2944258B1 (en) Method and apparatus for registering medical images
CN110072468A (zh) 胎儿超声成像
JP2021029675A (ja) 情報処理装置、検査システム及び情報処理方法
CN112545551A (zh) 用于医学成像设备的方法和系统
CN113116386A (zh) 超声成像引导方法、超声设备及存储介质
JP7104243B2 (ja) ３次元超音波撮像支援装置、方法、及びプログラム
JP5677399B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
CN112022202A (zh) 用于确定超声探头运动的技术
JP6501796B2 (ja) 超音波画像のモデル・ベースのセグメンテーションのための取得方位依存特徴
JP7275261B2 (ja) ３次元超音波画像生成装置、方法、及びプログラム
JP6338510B2 (ja) 情報処理装置、情報処理方法、情報処理システム、及びプログラム
US20210068781A1 (en) Ultrasonic imaging system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20818454

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021524743

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20818454

Country of ref document: EP

Kind code of ref document: A1