WO2020246238A1 - 3次元超音波撮像支援装置、方法、及びプログラム - Google Patents

3次元超音波撮像支援装置、方法、及びプログラム Download PDF

Info

Publication number
WO2020246238A1
WO2020246238A1 PCT/JP2020/019903 JP2020019903W WO2020246238A1 WO 2020246238 A1 WO2020246238 A1 WO 2020246238A1 JP 2020019903 W JP2020019903 W JP 2020019903W WO 2020246238 A1 WO2020246238 A1 WO 2020246238A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
dimensional ultrasonic
image
ultrasonic
unit
Prior art date
Application number
PCT/JP2020/019903
Other languages
English (en)
French (fr)
Inventor
東 高橋
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to DE112020002148.3T priority Critical patent/DE112020002148T5/de
Priority to JP2021524743A priority patent/JP7104243B2/ja
Publication of WO2020246238A1 publication Critical patent/WO2020246238A1/ja
Priority to US17/541,250 priority patent/US20220087652A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4263Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors not mounted on the probe, e.g. mounted on an external reference frame
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Definitions

  • the present disclosure relates to a three-dimensional ultrasonic imaging support device, a method, and a program that support the imaging of an ultrasonic image by a three-dimensional ultrasonic device that generates a three-dimensional ultrasonic image.
  • ultrasonic diagnostic apparatus In the ultrasonic diagnostic apparatus, there is known a technique of generating a three-dimensional ultrasonic image from a two-dimensional ultrasonic image acquired by imaging with an ultrasonic probe and an imaging position of the ultrasonic probe. In this technique, in order to generate a high-resolution three-dimensional ultrasonic image, it is necessary to densely image a plurality of two-dimensional ultrasonic images on a target site of a subject.
  • Patent Document 1 discloses a technique for warning the operator of the ultrasonic probe when the distance between the images captured by the ultrasonic probe exceeds the maximum distance.
  • Patent Document 2 discloses a technique of superimposing a path to be imaged again on an image of a target portion when the distance between images, the speed of an ultrasonic probe, or the like is excessive.
  • Patent Document 3 discloses a technique for navigating the movement of the ultrasonic probe to the imaging target location in the subject.
  • the imaging site is the carotid artery
  • the tomographic image is observed in two directions, the short axis cross section and the long axis cross section of the blood vessel
  • the observation areas are the common carotid artery, carotid sinus, and internal carotid artery on both the left and right sides.
  • the vertebral artery it is specified to be an observable area.
  • the observation area includes the external carotid artery, the subclavian artery, the brachiocephalic artery, the superficial temporal artery, and their branch arteries, if necessary.
  • the imaging target to be imaged such as the common carotid artery and the carotid sinus in the observation area is defined for each part of the subject such as the carotid artery.
  • Patent Documents 1 to 3 it is not described to determine whether or not a plurality of imaging targets to be imaged specified in the guideline are imaged for each part of the subject. Therefore, in order to image all of the plurality of imaging targets specified in the guideline for each part of the subject, it is necessary for the user to operate the ultrasonic probe while checking the guideline for each part to be imaged. Will be required. In addition, when a large number of images must be taken, it may be forgotten to take an image of the image to be imaged.
  • the present disclosure has been made in view of the above circumstances, and an object of the present disclosure is to make it easy to confirm whether or not all imaging targets conforming to the guidelines have been imaged.
  • the three-dimensional ultrasonic imaging support device of the present disclosure is a three-dimensional ultrasonic imaging support device that supports imaging of an ultrasonic image by a three-dimensional ultrasonic device that generates a three-dimensional ultrasonic image.
  • An image acquisition unit that acquires a plurality of two-dimensional ultrasonic images imaged by an ultrasonic probe at different positions at an arbitrary site among a plurality of sites of a subject.
  • An imaging position acquisition unit that acquires the imaging position of the ultrasonic probe for each imaging,
  • a three-dimensional ultrasonic image generation unit that generates a three-dimensional ultrasonic image based on a plurality of two-dimensional ultrasonic images acquired by the image acquisition unit and an imaging position for each imaging acquired by the imaging position acquisition unit.
  • two-dimensional ultrasonic waves are selected from a plurality of parts of the subject.
  • An estimation unit that estimates the imaging site corresponding to the image and the 3D ultrasonic image, Using a guideline that defines a plurality of imaging targets to be imaged for each part of the subject, the guideline for the imaging part estimated by the estimation unit in at least one of the plurality of two-dimensional ultrasonic images and the three-dimensional ultrasonic image.
  • the determination unit determines that there is an imaging target that has not been imaged among a plurality of imaging targets specified in advance in the guideline for the imaging site.
  • the first notification unit is defined in the guideline, it can notify the imaging position where an imaging target that has not been imaged can be imaged.
  • the first notification unit notifies the direction of the ultrasonic probe at the imaging position in addition to the imaging position in the three-dimensional ultrasonic imaging support device of the present disclosure. can do.
  • the guideline also defines the imaging order of a plurality of imaging targets for each part, and the guideline uses a plurality of two-dimensional ultrasonic images.
  • the determination unit determines whether or not all of a plurality of predetermined imaging targets have been imaged.
  • the determination unit captures a two-dimensional ultrasonic image, it determines whether or not the imaging is performed according to the imaging order specified in the guideline.
  • the first notification unit can perform notification according to the determination result.
  • speed detection for detecting whether or not the ultrasonic probe is moving at a predetermined speed based on the imaging position acquired by the imaging position acquisition unit. Department and When the speed detection unit detects that the ultrasonic probe is not moving at a predetermined speed, it can include a second notification unit that notifies that the ultrasonic probe is not moving at a predetermined speed.
  • the speed detection unit uses a predetermined speed for each imaging region where the ultrasonic probe is estimated. It is possible to detect whether or not it is moving.
  • the marker member fixed to the ultrasonic probe and the marker member It is provided with an imaging unit that includes an ultrasonic probe and a marker member within the same imaging range for imaging.
  • the imaging position acquisition unit can acquire the imaging position based on the captured image including the ultrasonic probe and the marker member acquired by the imaging unit.
  • the three-dimensional ultrasonic imaging support device of the present disclosure includes a 6-axis sensor provided in the ultrasonic probe.
  • the imaging position acquisition unit can acquire the imaging position based on the output information output from the 6-axis sensor.
  • a marker member fixed to the ultrasonic probe and a 6-axis sensor provided on the ultrasonic probe are used. It is provided with an imaging unit that includes an ultrasonic probe and a marker member within the same imaging range for imaging.
  • the imaging position acquisition unit can acquire the imaging position based on the captured image including the ultrasonic probe and the marker member acquired by the imaging unit and the output information output from the 6-axis sensor.
  • the three-dimensional ultrasonic imaging support method of the present disclosure acquires a plurality of two-dimensional ultrasonic images imaged by an ultrasonic probe at different positions at any site among a plurality of sites of a subject. Acquire the imaging position of the ultrasonic probe for each imaging, A three-dimensional ultrasonic wave that supports the acquisition of an ultrasonic image by a three-dimensional ultrasonic device that generates a three-dimensional ultrasonic image based on a plurality of acquired two-dimensional ultrasonic images and an imaging position for each acquired imaging. It is an imaging support method Based on at least one of the acquired 2D ultrasound image and the generated 3D ultrasound image, the imaging site corresponding to the 2D ultrasound image and the 3D ultrasound image from among the plurality of sites of the subject.
  • Estimate and Multiple imaging targets to be imaged for each part of the subject are defined in advance in the guideline, and the estimated imaging site in at least one of the plurality of 2D ultrasound images and 3D ultrasound images is predetermined in the guideline. It is determined whether or not all of the plurality of imaging targets being imaged are being imaged, and When it is determined that there is an imaging target that has not been imaged among a plurality of imaging objects specified in advance in the guideline for the imaging site, it is notified that there is an imaging target that has not been imaged.
  • the three-dimensional ultrasonic imaging support program of the present disclosure is a three-dimensional ultrasonic imaging support program that supports imaging of an ultrasonic image by a three-dimensional ultrasonic device that generates a three-dimensional ultrasonic image.
  • An image acquisition unit that acquires a plurality of two-dimensional ultrasonic images imaged by an ultrasonic probe at different positions at an arbitrary site among a plurality of sites of a subject.
  • An imaging position acquisition unit that acquires the imaging position of the ultrasonic probe for each imaging,
  • a three-dimensional ultrasonic image generation unit that generates a three-dimensional ultrasonic image based on a plurality of two-dimensional ultrasonic images acquired by the image acquisition unit and an imaging position for each imaging acquired by the imaging position acquisition unit.
  • two-dimensional ultrasonic waves are selected from a plurality of parts of the subject.
  • An estimation unit that estimates the imaging site corresponding to the image and the 3D ultrasonic image, Using a guideline that defines a plurality of imaging targets to be imaged for each part of the subject, the guideline for the imaging part estimated by the estimation unit in at least one of the plurality of two-dimensional ultrasonic images and the three-dimensional ultrasonic image.
  • a determination unit for determining whether or not all of a plurality of imaging targets defined in advance in When the determination unit determines that there is an image pickup target that has not been imaged among a plurality of image pickup targets specified in advance in the guideline for the image pickup site, the first notification that there is an image pickup target that has not been imaged is notified. As a department Make your computer work.
  • the other three-dimensional ultrasonic imaging support device includes a memory for storing instructions to be executed by a computer and a memory.
  • the processor comprises a processor configured to execute a stored instruction.
  • a plurality of two-dimensional ultrasonic images imaged by an ultrasonic probe at different positions at any part of a plurality of parts of a subject are acquired.
  • Acquire the imaging position of the ultrasonic probe for each imaging A three-dimensional ultrasonic image is generated based on the acquired plurality of two-dimensional ultrasonic images and the acquired imaging position for each imaging.
  • Based on at least one of the acquired 2D ultrasound image and the generated 3D ultrasound image the imaging site corresponding to the 2D ultrasound image and the 3D ultrasound image from among the plurality of sites of the subject.
  • Estimate and Multiple imaging targets to be imaged for each part of the subject are defined in advance in the guideline, and the estimated imaging site in at least one of the plurality of 2D ultrasound images and 3D ultrasound images is predetermined in the guideline. It is determined whether or not all of the plurality of imaging targets being imaged are being imaged, and When it is determined that there is an imaging target that has not been imaged among a plurality of imaging objects defined in advance in the guideline for the imaging site, a process for notifying that there is an imaging target that has not been imaged is executed.
  • the 3D ultrasonic imaging support device, method, and program it can be easily confirmed whether or not all the imaging targets conforming to the guideline are captured.
  • FIG. 1 Schematic block diagram showing the configuration of a diagnostic support system including the three-dimensional ultrasonic imaging support device of the first embodiment of the present disclosure.
  • Conceptual diagram of the diagnostic support system according to the embodiment of the present disclosure The figure for demonstrating the ultrasonic probe to which a marker member was fixed. It is a figure which shows an example of the image acquired by the image pickup unit. The figure for demonstrating the imaging operation by an ultrasonic probe The figure for demonstrating the movement of the marker member 52 in the captured image. The figure which shows an example of the notification by the 1st notification unit The figure which shows another example of the notification by the 1st notification unit A flowchart showing the processing performed in the first embodiment of the present disclosure. A flowchart showing the process A performed in the first embodiment of the present disclosure.
  • a flowchart showing the processing performed in the second embodiment of the present disclosure Schematic block diagram showing the configuration of a diagnostic support system including the three-dimensional ultrasonic imaging support device according to the third embodiment of the present disclosure.
  • a flowchart showing the processing performed in the third embodiment of the present disclosure The figure for demonstrating the ultrasonic probe provided with a sensor.
  • FIG. 1 is a schematic block diagram showing a configuration of a diagnostic support system to which a three-dimensional ultrasonic imaging support device according to an embodiment of the present disclosure is applied.
  • the diagnostic support system 1 includes an ultrasonic probe 50 and an imaging unit 60 configured to be connectable to the three-dimensional ultrasonic imaging support device 10 according to the present embodiment and the three-dimensional ultrasonic imaging support device 10.
  • a display unit 30, and an input unit 40 are examples of the diagnostic support system 1
  • the three-dimensional ultrasonic imaging support device 10 is composed of a computer including a CPU (Central Processing Unit) 11, a primary storage unit 12, a secondary storage unit 13, an external I / F (Interface) 14, and the like.
  • the CPU 11 controls the entire three-dimensional ultrasonic imaging support device 10.
  • the primary storage unit 12 is a volatile memory used as a work area or the like when executing various programs.
  • An example of the primary storage unit 12 is a RAM (Random Access Memory).
  • the secondary storage unit 13 is a non-volatile memory in which various programs, various parameters, and the like are stored in advance, and one embodiment of the three-dimensional ultrasonic imaging support program 15 of the present disclosure is installed.
  • the three-dimensional ultrasonic imaging support program 15 is recorded and distributed on a recording medium such as a DVD (Digital Versatile Disc) and a CD-ROM (Compact Disc Read Only Memory), and is installed on a computer from the recording medium.
  • a recording medium such as a DVD (Digital Versatile Disc) and a CD-ROM (Compact Disc Read Only Memory)
  • the three-dimensional ultrasonic imaging support program 15 is stored in a storage device or network storage of a server computer connected to the network in a state of being accessible from the outside, and is downloaded to the computer in response to a request from the outside. After that, it may be installed.
  • the CPU 11 When the three-dimensional ultrasonic imaging support program 15 is executed by the CPU 11, the CPU 11 has an image acquisition unit 21, an imaging position acquisition unit 22, a three-dimensional ultrasonic image generation unit 23, an estimation unit 24, a determination unit 25, and a third. 1 Functions as a notification unit 26 and a display control unit 27.
  • the secondary storage unit 13 include an EEPROM (Electrically Erasable Programmable Read-Only Memory), a flash memory, and the like.
  • the external I / F 14 controls the transmission and reception of various information between the three-dimensional ultrasonic imaging support device 10 and the external device (not shown).
  • the CPU 11, the primary storage unit 12, the secondary storage unit 13, and the external I / F 14 are connected to a bus line 16 which is a common route for each circuit to exchange data.
  • the display unit 30 and the input unit 40 are also connected to the bus line 16.
  • the display unit 30 is composed of, for example, a liquid crystal display or the like. As will be described later, the display unit 30 displays the two-dimensional ultrasonic image acquired by the image acquisition unit 21 and the three-dimensional ultrasonic image generated by the three-dimensional ultrasonic image generation unit 23. In addition, the captured image acquired by the imaging unit 60 described later is also displayed.
  • the display unit 30 may be configured by a touch panel and may also be used as the input unit 40.
  • the input unit 40 includes a mouse, a keyboard, and the like, and accepts various setting inputs by the user. Further, the transmission / reception unit 17 and the image pickup unit 60 are also connected to the bus line 16. The transmission / reception unit 17 controls transmission / reception of various information with the ultrasonic probe 50 described later.
  • the ultrasonic probe 50 is configured to be connectable to the three-dimensional ultrasonic imaging support device 10.
  • the ultrasonic probe 50 for example, a probe compatible with sector scanning, a probe compatible with linear scanning, a probe compatible with convex scanning, and the like can be used.
  • FIG. 2 is a conceptual diagram of a diagnostic support system according to an embodiment of the present disclosure.
  • the ultrasonic probe 50 has an oscillator array 50a having a plurality of ultrasonic oscillators (not shown) arranged in a one-dimensional direction at the tip.
  • the oscillator array 50a has been described above with an example in which a plurality of ultrasonic oscillators are arranged one-dimensionally, but the present invention is not limited to this.
  • a plurality of ultrasonic oscillators may be arranged two-dimensionally.
  • the ultrasonic probe 50 emits (transmits) ultrasonic waves to the part of the subject M to be measured in a state where the vibrator array 50a is in contact with the body surface of the subject M, which is a living body, and the subject M emits (transmits) ultrasonic waves. Detects (receives) reflected ultrasonic waves that have been reflected and returned.
  • the ultrasonic probe 50 converts a pulsed or continuous wave electric signal output from the transmission / reception unit 17 into an ultrasonic wave and emits it, converts the received reflected ultrasonic wave into an electric signal, and transmits the received reflected ultrasonic wave to the transmission / reception unit 17.
  • the transmission / reception unit 17 transmits a pulsed or continuous wave electric signal for driving a plurality of ultrasonic vibrators included in the ultrasonic probe 50 to the ultrasonic probe 50. Further, the transmission / reception unit 17 receives a plurality of electric signals generated by the plurality of ultrasonic transducers that have received the reflected ultrasonic waves. Then, the transmission / reception unit 17 generates a reception signal by performing amplification and A / D (Analog / Digital) conversion on the received electric signal.
  • a / D Analog / Digital
  • This received signal is, for example, from a plurality of signals arranged in the arrangement direction of the ultrasonic vibrators and the transmission direction of ultrasonic waves and in the direction perpendicular to the arrangement direction of the ultrasonic vibrators (hereinafter referred to as the depth direction). Therefore, each signal is a digital signal representing the amplitude of the reflected ultrasonic wave as a digital value. Then, the transmission process and the reception process are repeatedly and continuously performed to construct a plurality of frame data composed of a plurality of received signals.
  • the frame data includes a set of received signals required for constructing one tomographic image, a signal processed for constructing tomographic image data based on the set data, and this set data. It means either one piece of tomographic image data or tomographic image constructed based on the above, and in the present embodiment, it means one piece of tomographic image data.
  • the constructed tomographic image data is stored in the primary storage unit 12.
  • FIG. 3 is a diagram for explaining an ultrasonic probe 50 to which a marker member is fixed, which is an embodiment of the present disclosure.
  • the fixed portion of the marker member to the ultrasonic probe 50 and the like are shown simply, unlike the actual shape.
  • the ultrasonic probe 50 has a cable 51 that connects to the transmission / reception unit 17. Further, a marker member 52 is fixed to the outer peripheral surface of the ultrasonic probe 50.
  • the marker member 52 includes three spherical markers, that is, a marker 52x, a marker 52y, and a marker 52z, and three axes of x-axis, y-axis, and z-axis whose axial directions are orthogonal to each other.
  • the three markers 52x, the marker 52y, and the marker 52z are provided at one ends of the three axes of the x-axis, the y-axis, and the z-axis with the respective marker center 52a as the center.
  • the other ends of the three axes of x-axis, y-axis, and z-axis are provided on the columns provided on the ultrasonic probe 50. Further, the three markers 52x, the marker 52y, and the marker 52z are, for example, colored differently and can be identified by the color.
  • the marker member 52 is composed of three markers 52x, a marker 52y, and a marker 52z, but the technique of the present disclosure is not limited to this, and markers other than the above three markers are used. May be used. For example, four or five markers may be used. Further, the shape of the marker is not limited to a spherical shape, and may be, for example, a rectangular parallelepiped or a conical shape, and can be appropriately changed.
  • FIG. 4 is a diagram showing an example of an image acquired by the imaging unit 60. As shown in FIG. 4, the image D acquired by the imaging unit 60 is held by the user's hand H and fixed to the ultrasonic probe 50 and the ultrasonic probe 50 that abut on the body surface of the subject M. The marker member 52 is shown.
  • FIG. 5 is a diagram for explaining an imaging operation by the ultrasonic probe 50.
  • imaging can be performed at different positions. Will be done.
  • a plurality of two-dimensional ultrasonic images P are acquired at a plurality of different imaging positions where such imaging is performed.
  • the imaging position is the position on the body surface of the ultrasonic probe 50 for each imaging.
  • the two-dimensional ultrasonic image P is a tomographic image of a cross section extending in the depth direction in the subject from each imaging position.
  • the image acquisition unit 21 acquires the two-dimensional ultrasonic image P captured by the ultrasonic probe 50 at each imaging position.
  • the two-dimensional ultrasonic image P is a tomographic image of a cross section extending in the depth direction in the subject from each imaging position.
  • the ultrasonic probe 50 outputs a plurality of captured two-dimensional ultrasonic images P (tomographic images) to the primary storage unit 12.
  • the image acquisition unit 21 acquires a two-dimensional ultrasonic image P (tomographic image) from the primary storage unit 12.
  • the imaging position acquisition unit 22 acquires the imaging position of the ultrasonic probe 50. Specifically, at each different imaging position, the imaging unit 60 images the ultrasonic probe 50 and the marker member 52. The captured images of the ultrasonic probe 50 and the marker member 52 thus obtained are output to the primary storage unit 12. The imaging position acquisition unit 22 reads an captured image from the primary storage unit 12. Then, the imaging position acquisition unit 22 analyzes the retrieved image to obtain the position, size, and inclination of the marker center 52a and the markers 52x, 52y, and 52z in the captured image, and obtains the ultrasonic probe 50. Information on the imaging position and orientation of the image is derived. The imaging position acquisition unit 22 identifies each of the markers 52x, 52y, and 52z by color. The imaging position acquisition unit 22 acquires information on the imaging position and orientation by such derivation processing.
  • FIG. 6 is a diagram for explaining the movement of the marker member 52 in the captured image.
  • the ultrasonic probe 50 acquires the two-dimensional ultrasonic image P at the imaging position T1 and the imaging position T2
  • the marker member 52 moves in the direction of the arrow T in the captured image, for example, as shown in FIG.
  • the position of the ultrasonic probe 50 in the x direction is derived from the amount of movement of the marker center 52a in the x direction.
  • the position of the ultrasonic probe 50 in the y direction is derived from the amount of change in the magnitude of the markers 52x, 52y, 52z.
  • the amount of rotation of the marker member 52 is detected from the movement locus of the marker center 52a of the markers 52x, 52y, 52z.
  • the direction of the ultrasonic probe 50 is derived based on the amount of rotation.
  • the information on the imaging position and orientation of the derived ultrasonic probe 50 is stored in the primary storage unit 12 in correspondence with the two-dimensional ultrasonic image P acquired at the imaging position.
  • a known technique can be used as a method for acquiring information on the imaging position and orientation of the ultrasonic probe 50 using the marker member 52.
  • the three-dimensional ultrasonic image generation unit 23 captures the two-dimensional ultrasonic image P acquired by the image acquisition unit 21 and the ultrasonic probe 50 stored in the primary storage unit 12 in correspondence with the two-dimensional ultrasonic image P.
  • a three-dimensional ultrasonic image V is generated for a space determined by the mechanical scanning angle range or stroke and the electronic scanning range of the transducer array 50a.
  • a known technique can be used for the method of generating the three-dimensional ultrasonic image V.
  • the information on the imaging position and orientation of the ultrasonic probe 50 may be collectively referred to as the position information of the ultrasonic probe 50.
  • the estimation unit 24 is a plurality of subjects based on at least one of the two-dimensional ultrasonic image P acquired by the image acquisition unit 21 and the three-dimensional ultrasonic image V generated by the three-dimensional ultrasonic image generation unit 23. From the parts, the imaging parts corresponding to the two-dimensional ultrasonic image P and the three-dimensional ultrasonic image V are estimated.
  • a method for estimating the imaging site for example, a plurality of pre-stored imaging sites, for example, blood vessels (carotid artery, jugular vein, etc.), heart, liver, kidney, gallbladder, pancreas, stomach, lung, bladder, thyroid gland, and A plurality of collation patterns associated with each of the generally examined imaging sites such as the breast are prepared in advance. Then, a method of recognizing an imaging site by collating the generated two-dimensional ultrasonic image P or three-dimensional ultrasonic image V using these plurality of collation patterns (for example, described in International Publication No. 2017/158998). (Technology) can be used.
  • a method of recognizing an imaging site by collating the generated two-dimensional ultrasonic image P or three-dimensional ultrasonic image V using these plurality of collation patterns (for example, described in International Publication No. 2017/158998). (Technology) can be used.
  • a learning model learned by inputting a two-dimensional ultrasonic image P and a three-dimensional ultrasonic image V and using an imaging site corresponding to each of the two-dimensional ultrasonic image P and the three-dimensional ultrasonic image V as an output is used. Thereby, the imaging site may be estimated.
  • the determination unit 25 uses a guideline in which a plurality of imaging targets to be imaged for each part of the subject are defined in advance, and the estimation unit 24 is used in at least one of the plurality of two-dimensional ultrasonic images P and the three-dimensional ultrasonic image V. It is determined whether or not all of the plurality of imaging targets specified in advance in the guideline are imaged for the imaging site estimated by.
  • the tomographic image is observed in two directions, the short axis cross section and the long axis cross section of the blood vessel, and the observation areas are the common carotid artery and the carotid sinus on both the left and right sides.
  • the internal carotid artery and the vertebral artery are specified as observable areas. It is also defined that the observation area includes the external carotid artery, the subclavian artery, the brachiocephalic artery, the superficial temporal artery, and their branch arteries, if necessary.
  • a plurality of imaging targets to be imaged such as the common carotid artery and the carotid sinus in the observation area are defined for each site of the subject such as the carotid artery.
  • a list of a plurality of imaging targets to be imaged is created in advance for each imaging site and stored in the primary storage unit 12.
  • the determination unit 25 classifies the structures included in the two-dimensional ultrasonic image P and the three-dimensional ultrasonic image V.
  • the structure is the common carotid artery, carotid sinus, internal carotid artery, vertebral artery, and the like.
  • Japanese Patent Application Laid-Open No. 2018-139693 using a neural network trained using teacher data for a two-dimensional ultrasonic image P in order to classify an imaging site into a plurality of classes.
  • the classification means described in the publication can be used.
  • the determination unit 25 recognizes the imaging target included in the two-dimensional ultrasonic image P by classifying such structures.
  • teacher data a two-dimensional ultrasonic image captured in two directions of a short-axis cross section and a long-axis cross section of the blood vessel, and an image in which direction each two-dimensional ultrasonic image was captured. It is possible to use teacher data that is a set of direction information. Then, by learning the classification means of the determination unit 25 from the teacher data, the imaging direction in the two-dimensional ultrasonic image P can also be classified.
  • the determination unit 25 determines whether or not the plurality of imaging targets included in the two-dimensional ultrasonic image P conform to the guideline. Specifically, the determination unit 25 includes a plurality of imaging targets included in the plurality of two-dimensional ultrasonic images P acquired by the image acquisition unit 21, and a plurality of imaging targets to be imaged defined in the above list. And collate with. Then, the determination unit 25 determines, based on the collation result, whether or not all of a plurality of imaging targets defined in advance in the guideline have been imaged for the imaging region estimated by the estimation unit 24. Further, in the present embodiment, the determination unit 25 makes the above determination at the stage where all of the plurality of two-dimensional ultrasonic images P at one imaging site are imaged.
  • the determination unit 25 determines in the determination unit 25 that there is an image pickup target that has not been imaged among a plurality of image pickup targets that are predetermined in the guideline for the image pickup site, the image pickup target that has not been imaged is Notify that there is.
  • the notification by the first notification unit 26 may be notified by, for example, sounding an alarm by a voice output unit (not shown), or the display unit 30 may display "There is an image pickup target that has not been imaged". ..
  • the user can easily confirm whether or not all the imaging targets conforming to the guideline are captured.
  • the first notification unit 26 may notify an imaging position capable of imaging an imaging target that has not been imaged, although it is defined in the guideline, in addition to the presence or absence of the imaging target.
  • a plurality of imaging targets specified in the guideline are the first imaging target, the second imaging target, and the third imaging target, and are arranged in the order of the first imaging target, the second imaging target, and the third imaging target.
  • the determination unit 25 determines that the second imaging target has not been imaged.
  • the two two-dimensional ultrasonic images including the first imaging target and the third imaging target are associated with the respective imaging positions, that is, the coordinate position information of the marker member 52. Therefore, the determination unit 25 can estimate which imaging target can be imaged when the marker member 52 is located. In the above example, the determination unit 25 estimates an imaging position in which the second imaging target can be imaged.
  • the first notification unit 26 causes the display unit 30 to display the position of the marker member 52 as an imaging position in which the second imaging target can be imaged, which is estimated by the determination unit 25. Further, the first notification unit 26 can notify the direction of the ultrasonic probe 50 at the imaging position in addition to the imaging position. For example, it is assumed that the guideline stipulates that a first imaging target, a second imaging target, and a third imaging target imaged in two directions are required. Then, when the determination unit 25 determines that the second imaging target in the first direction has not been imaged, the determination unit 25 notifies the direction of the ultrasonic probe 50 capable of imaging from the first direction.
  • FIG. 7 and 8 are diagrams showing an example of notification by the first notification unit 26, respectively.
  • an image captured in real time by the imaging unit 60 is displayed on the display unit 30.
  • the first notification unit 26 indicates an imaging position where an imaging target that has not been imaged can be imaged by a mark such as a dotted circle, and "imaging is rough". Is displayed.
  • the orientation to be imaged is displayed using a simple image schematically showing the ultrasonic probe 50.
  • the simple image shows the posture of the ultrasonic probe 50 corresponding to the direction to be imaged. As a result, the user can confirm the imaging position and orientation in which the imaging target to be imaged can be imaged, so that the ultrasonic probe 50 can be easily moved to the target position.
  • a two-dimensional ultrasonic image captured in real time by the ultrasonic probe 50 is displayed on the display unit 30.
  • the first notification unit 26 is defined in the guideline, but when the image is rough, it displays a dotted circle and displays "imaging is rough".
  • the cause of the rough image is considered to be insufficient pushing of the ultrasonic probe 50 in the depth direction. Therefore, an arrow indicating the direction in which the ultrasonic probe 50 is moved in the depth direction and a simplified image of the ultrasonic probe 50 are displayed.
  • the user can visually recognize the direction in which the ultrasonic probe 50 should move, so that the ultrasonic probe 50 can be easily moved to a target position.
  • the display control unit 27 causes the display unit 30 to display at least one of the two-dimensional ultrasonic image P and the three-dimensional ultrasonic image V imaged by the ultrasonic probe 50. Further, the display control unit 27 causes the display unit 30 to display the image captured by the image pickup unit 60. The display control unit 27 displays at least one of the two-dimensional ultrasonic image P and the three-dimensional ultrasonic image V captured by the ultrasonic probe 50 and the image captured by the imaging unit 60 on one display unit 30. If there are two display units 30, they may be displayed on each display unit 30.
  • FIG. 9 is a flowchart showing the processing performed in the first embodiment of the present disclosure.
  • the image acquisition unit 21 acquires a two-dimensional ultrasonic image P imaged by operating the ultrasonic probe 50 with the ultrasonic probe 50 in contact with the body surface of the subject M (step). ST1). At this time, the imaging position acquisition unit 22 acquires the imaging position of the ultrasonic probe 50.
  • the imaging site is estimated from the acquired two-dimensional ultrasonic image P (step ST2).
  • the CPU 11 shifts the process to step ST1 and operates the ultrasonic probe 50 at a different position to capture the two-dimensional ultrasonic image P. Is acquired, and the subsequent processing is performed. Further, the process of A is further performed in parallel. The process of A will be described later.
  • the determination unit 25 collates with the imaging target defined in the guideline of the imaging site estimated in the two-dimensional ultrasonic image P (step ST4). ).
  • a three-dimensional ultrasonic image V is generated based on the imaging position of the ultrasonic probe 50 during imaging of P (step ST6), and the process is completed.
  • step ST5 when all the specified imaging targets are not imaged (step ST5; NO), that is, when there is an imaging target that has not been imaged, the first notification unit 26 has an imaging target that has not been imaged. Notify that effect (step ST7).
  • the image acquisition unit 21 acquires the two-dimensional ultrasonic image P imaged by operating the ultrasonic probe 50 (step ST8), and the CPU 11 shifts the process to step S4 to perform subsequent processes. ..
  • the first notification unit 26 notifies the imaging position where the imaging target that has not been imaged can image.
  • FIG. 10 is a flowchart showing the process A performed in the first embodiment of the present disclosure.
  • the three-dimensional ultrasonic image generation unit 23 includes the imaging position of the ultrasonic probe 50 during imaging of the two-dimensional ultrasonic image P and the two-dimensional ultrasonic image P acquired by the image acquisition unit 21.
  • a three-dimensional ultrasonic image V is generated based on (step ST21).
  • the imaging site is estimated in the acquired three-dimensional ultrasonic image V (step ST22).
  • the determination unit 25 collates the imaging site estimated by the three-dimensional ultrasonic image V with the imaging target specified in the guideline (step ST23).
  • step ST24; YES the process ends.
  • step ST24; NO the specified imaging targets are not imaged
  • the first notification unit 26 has an imaging target that has not been imaged. Notify that effect (step ST25).
  • the CPU 11 shifts the process to step ST8 of FIG. 9 and performs the subsequent processes.
  • the imaged portion can be specified in the three-dimensional ultrasonic image V even when the imaged portion cannot be estimated in the two-dimensional ultrasonic image P. Therefore, when the imaging region cannot be estimated in the two-dimensional ultrasonic image P, by specifying the imaging region in the three-dimensional ultrasonic image V, the determination unit 25 can perform the imaging target based on the guideline for each imaging region. Can be collated with. As a result, the determination unit 25 can determine whether or not all of the plurality of imaging targets defined in advance in the guideline for the imaging region have been imaged.
  • the process A shown in FIG. 10 when the imaging site could not be estimated in the two-dimensional ultrasonic image P, the process A shown in FIG. 10 was performed, but the technique of the present disclosure is not limited to this. .. Even when the imaged portion can be estimated in the two-dimensional ultrasonic image P, the process A shown in FIG. 10 may be performed. By estimating the imaging site in both the two-dimensional ultrasonic image P and the three-dimensional ultrasonic image V, the imaging site can be estimated with higher accuracy.
  • the three-dimensional ultrasonic imaging support device of the second embodiment creates a list in which a plurality of imaging targets to be imaged in advance are arranged in the order to be imaged for each imaging site based on the guideline, and is primary. It is stored in the storage unit 12.
  • the three-dimensional ultrasonic imaging support device of the second embodiment can have the same configuration as the three-dimensional ultrasonic imaging support device 10 of the first embodiment shown in FIG. Therefore, the description here will be omitted, and only the processing performed on the three-dimensional ultrasonic imaging support device of the second embodiment will be described.
  • FIG. 11 is a flowchart showing the processing performed in the second embodiment of the present disclosure. Since the processing of steps ST31 to ST33 in FIG. 11 is the same as the processing of steps ST1 to ST3 in FIG. 9, the description thereof is omitted here.
  • step ST33 when the imaging region can be estimated in step ST33 (step ST33; YES), every time the image acquisition unit 21 acquires the two-dimensional ultrasonic image P, the determination unit 25 acquires it. It is collated whether or not the obtained two-dimensional ultrasonic image P is imaged in the imaging order of the imaging target defined in the guideline of the estimated imaging site (step ST34).
  • step ST35 When the images are not taken according to the specified imaging order (step ST35; NO), that is, when there is an imaged object that has not been imaged, the first notification unit 26 notifies that there is an imaged object that has not been imaged. (Step ST36).
  • the image acquisition unit 21 acquires the two-dimensional ultrasonic image P imaged by operating the ultrasonic probe 50 (step ST37), and the CPU 11 shifts the process to step S34 to perform subsequent processes. ..
  • the first notification unit 26 notifies the imaging position where the imaging target that has not been imaged can image.
  • the determination unit 25 determines whether or not all the specified imaging targets have been imaged (step ST38). Then, in the case of being imaged (step ST38; YES), the three-dimensional ultrasonic image generation unit 23 is capturing the two-dimensional ultrasonic image P and the two-dimensional ultrasonic image P acquired by the image acquisition unit 21. A three-dimensional ultrasonic image V is generated based on the imaging position of the ultrasonic probe 50 (step ST39), and the process is completed.
  • step ST38 when all the specified imaging targets are not imaged (step ST38; NO), that is, when there is an imaging target that has not been imaged, the first notification unit 26 has an imaging target that has not been imaged. Notify the fact (step ST36), and perform the subsequent processing.
  • each time a two-dimensional ultrasonic image P is acquired it is determined whether or not the imaging is performed according to the imaging order specified in the guideline, and the imaging is not performed according to the imaging order. In this case, it is notified that the imaging is not performed according to the imaging order. Therefore, the user can recognize that an imaging position to be imaged, that is, an imaging target exists between the current imaging position and the previous imaging position, and at the time of recognition.
  • the ultrasonic probe 50 can be returned in the direction opposite to the traveling direction to image the observation target at the position to be imaged.
  • FIG. 12 is a schematic block diagram showing a configuration of a diagnostic support system to which the three-dimensional ultrasonic imaging support device according to the third embodiment is applied.
  • the same configuration as the diagnostic support system shown in FIG. 1 is indicated by the same reference numerals, the description thereof will be omitted, and only different parts will be described.
  • the three-dimensional ultrasonic imaging support device 10-3 of the third embodiment includes a speed detection unit 28 and a second notification unit 29.
  • the speed detection unit 28 detects whether or not the ultrasonic probe 50 is moving at a predetermined speed based on the image pickup position acquired by the image pickup position acquisition unit 22.
  • the imaging position acquisition unit 22 stores the time when the ultrasonic probe 50 and the marker member 52 are imaged by the imaging unit 60, and the ultrasonic probe 50 is based on the moving distance of the marker member 52 and the imaged time. Detect the moving speed.
  • the second notification unit 29 notifies that the ultrasonic probe 50 is not moving at a predetermined speed.
  • the notification may be performed by sounding an alarm by a voice output unit (not shown), or the display unit 30 may display "not moving at a predetermined speed". This makes it possible to easily confirm whether or not the ultrasonic probe 50 can be operated at a predetermined speed. This makes it possible to prevent a situation in which the observation target is not imaged at the imaging position to be imaged, for example, because the speed is too high.
  • the predetermined speed is a predetermined speed for each estimated imaging site when the imaging site is estimated by the estimation unit 24.
  • the slowest speed among the predetermined speeds in all the imaging regions is set as the predetermined speed.
  • FIG. 13 is a flowchart showing the processing performed in the third embodiment of the present disclosure. The process shown in FIG. 13 is performed in parallel with the process of the first embodiment shown in FIGS. 9 and 10 or the process of the second embodiment shown in FIG.
  • the speed detection unit 28 detects the speed of the ultrasonic probe 50 (step ST41). At this point, the speed detection unit 28 determines whether or not the estimation unit 24 has been able to estimate the imaging region (step ST42). When the imaging site can be estimated, the speed detection unit 28 collates the detected speed with the speed specified in the guideline of the estimated imaging site (step ST43).
  • the speed detection unit 28 collates the detected speed with the slowest speed among the predetermined speeds in all the imaging sites (step ST44). ).
  • step ST45 When the speed detection unit 28 detects that the ultrasonic probe 50 is not moving at a predetermined speed (step ST45; YES), the second notification unit 29 determines the ultrasonic probe 50 in advance. Notifying that the vehicle is not moving at the same speed (step ST46), the process ends.
  • step ST45 when the speed detection unit 28 detects in step ST45 that the ultrasonic probe 50 is moving at a predetermined speed (step ST45; NO), the CPU 11 shifts the process to step ST41. , Perform the subsequent processing.
  • the user can know whether or not the ultrasonic probe 50 can be operated at a predetermined speed for each imaging site. As a result, the user can move the ultrasonic probe 50 at an appropriate speed for each imaging site.
  • the imaging position acquisition unit 22 is the position of the marker center 52a in the captured image acquired by having the imaging unit 60 image the ultrasonic probe 50 and the marker member 52, and the markers 52x, 52y, 52z.
  • Information on the imaging position and orientation of the ultrasonic probe 50 is derived from the position, size, and inclination, but the technique of the present disclosure is not limited to this.
  • the imaging position acquisition unit 22 may acquire information on the imaging position and orientation of the ultrasonic probe 50 by using, for example, an AR (Augmented Reality) marker.
  • the AR marker is an image composed of figures having a fixed pattern. This AR marker is arranged on the outer peripheral surface of the ultrasonic probe 50. Then, by using a known program for detecting the position and orientation of the marker based on the image data of the ultrasonic probe 50 including the AR marker imaged by the imaging unit 60, the AR marker, that is, the ultrasonic probe 50 Information on the imaging position and orientation may be acquired.
  • convex portions and concave portions are provided in the ultrasonic probe 50 main body, and the convex portions and concave portions are used as markers to derive information on the imaging position and orientation of the ultrasonic probe 50. You may. In the technique of the present disclosure, any shape and type may be used as long as it is a marker that can be used as an index for defining the imaging position and orientation of the ultrasonic probe 50, and is particularly limited. is not.
  • diagnosis support system 1 can be provided with a sensor instead of the imaging unit 60 and the marker member 52.
  • FIG. 14 is a diagram for explaining an ultrasonic probe provided with a sensor.
  • the method of attaching the sensor to the ultrasonic probe 50 is shown simply, unlike the actual shape.
  • the ultrasonic probe 50 has a sensor 70 attached to the outer peripheral surface of the ultrasonic probe 50.
  • the sensor 70 is a 6-axis sensor that can detect the moving direction, the direction, and the rotation, and can further calculate the moving distance, the moving speed, and the like.
  • a 6-axis sensor is realized by combining an acceleration sensor that can detect three directions of front-back, left-right, and up-down with a geomagnetic sensor that can detect north, south, east, and west, or an acceleration sensor and a gyro sensor that can detect the speed of rotation.
  • the imaging position acquisition unit 22 can acquire the imaging position based on the output information output from the sensor 70.
  • the senor 70 is provided instead of the image pickup unit 60 and the marker member 52, but the technique of the present disclosure is not limited to this.
  • a sensor 70 may be provided in addition to the image pickup unit 60 and the marker member 52.
  • the sensor 70 is suitable for detecting the imaging direction of the ultrasonic probe 50, and the method of calculating the imaging position from the captured image acquired by having the imaging unit 60 image the ultrasonic probe 50 and the marker member 52. , Suitable for detecting the translation of the ultrasonic probe 50. Therefore, by using the imaging unit 60, the marker member 52, and the sensor 70, the imaging position acquisition unit 22 can acquire a more accurate imaging position and imaging direction.
  • various processors shown below can be used as the hardware structure of the processing unit that executes various processes such as the detection unit 28 and the second notification unit 29, various processors shown below can be used.
  • the various processors include a CPU, which is a general-purpose processor that executes software (program) and functions as various processing units, and a circuit after manufacturing an FPGA (Field Programmable Gate Array) or the like.
  • Dedicated electricity which is a processor with a circuit configuration specially designed to execute specific processing such as programmable logic device (PLD), ASIC (Application Specific Integrated Circuit), which is a processor whose configuration can be changed. Circuits and the like are included.
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). ) May be configured. Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by combining one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the various processors as a hardware structure.
  • an electric circuit in which circuit elements such as semiconductor elements are combined can be used.
  • Diagnosis support system 10 3D ultrasonic imaging support device 11 CPU 12 Primary storage 13 Secondary storage 14 External I / F 15 3D ultrasonic imaging support program 16 Bus 17 Transmission / reception unit 21 Image acquisition unit 22 Imaging position acquisition unit 23 3D ultrasonic image generation unit 24 Estimate unit 25 Judgment unit 26 1st notification unit 27 Display control unit 28 Speed detection unit 29 2nd notification unit 30 Display unit 40 Input unit 50 Ultrasonic probe 60 Imaging unit 70 Sensor

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

3次元超音波撮像支援装置、方法、及びプログラムにおいて、ガイドラインに適合した全ての撮像対象が撮像されているか否かを容易に確認できるようにする。3次元超音波撮像支援装置は、被検体の任意の部位において、異なる位置で超音波プローブにより撮像された複数の2次元超音波画像と、各撮像毎の超音波プローブの撮像位置とに基づいて3次元超音波画像を生成する3次元超音波画像生成部と、2次元超音波画像及び3次元超音波画像に対応する撮像部位を推定する推定部と、被検体の部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、推定部により推定された撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象が全て撮像されているか否かを判定する判定部と、撮像されていない撮像対象があると判定された場合に、撮像されていない撮像対象がある旨を報知する第1報知部と、を含む。

Description

3次元超音波撮像支援装置、方法、及びプログラム
 本開示は、3次元超音波画像を生成する3次元超音波装置による超音波画像の撮像を支援する3次元超音波撮像支援装置、方法、及びプログラムに関する。
 近年、CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、及び超音波診断装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。超音波診断装置においては、超音波プローブにより撮像して取得した2次元超音波画像と、超音波プローブの撮像位置とから3次元超音波画像を生成する技術が知られている。この技術において、高解像度な3次元超音波画像を生成するためには、被検体の対象部位に対して複数の2次元超音波画像を密に撮像する必要がある。しかしながら、被検体の体表面には凹凸があるため、一様に、密に複数の2次元超音波画像を撮像することは難しい。そこで、特許文献1には、超音波プローブにより撮像された画像間の距離が最大距離を超える場合に、超音波プローブの操作者に警告する技術が開示されている。また、特許文献2には、画像間の距離、及び超音波プローブの速度等が過剰である場合に、再度撮像すべき経路を対象部位の画像に重ねて表示させる技術が開示されている。また、特許文献3には、被検体内の撮影対象箇所まで、超音波プローブの移動をナビゲーションする技術が開示されている。
特表2014-528347号公報 特表2016-506781号公報 特許6323335号公報
 一方、超音波診断においては、被検体の各部位について、各々の部位毎に検査方法が詳細に規定されたガイドラインが設けられている。例えば、撮像部位が頸動脈である場合には、断層像による観察は、血管短軸断面と血管長軸断面の2方向で行い、観察領域は左右共に総頸動脈、頸動脈洞、内頸動脈及び椎骨動脈で、観察可能な領域とすることが規定されている。また、観察領域は、必要に応じて外頸動脈、鎖骨下動脈、腕頭動脈、浅側頭動脈、及びそれらの分枝動脈なども含むことも規定されている。このように、ガイドラインにおいては、頸動脈といった被検体の部位毎に、観察領域内の総頸動脈及び頸動脈洞といった撮像すべき撮像対象が規定されている。
 上記特許文献1~3に記載の技術においては、被検体の部位毎にガイドラインで規定された撮像すべき複数の撮像対象が撮像されているか否かを判別することは記載されていない。そのため、被検体の部位毎にガイドラインで規定された撮像すべき複数の撮像対象を全て撮像するためには、撮像する部位毎にユーザがガイドラインを確認しながら超音波プローブを操作する必要があり手間を要してしまう。また、多数の撮像を行わなければならない場合、撮像すべき撮像対象を撮像し忘れてしまう場合もある。
 本開示は上記事情に鑑みなされたものであり、ガイドラインに適合した全ての撮像対象が撮像されているか否かを容易に確認できるようにすることを目的とする。
 本開示の3次元超音波撮像支援装置は、3次元超音波画像を生成する3次元超音波装置による超音波画像の撮像を支援する3次元超音波撮像支援装置であって、
 被検体の複数の部位のうちの任意の部位において、異なる位置で超音波プローブにより撮像された複数の2次元超音波画像を取得する画像取得部と、
 撮像毎に超音波プローブの撮像位置を取得する撮像位置取得部と、
 画像取得部により取得された複数の2次元超音波画像と、撮像位置取得部により取得された撮像毎の撮像位置とに基づいて3次元超音波画像を生成する3次元超音波画像生成部と、
 画像取得部により取得された2次元超音波画像及び3次元超音波画像生成部により生成された3次元超音波画像の少なくとも一方に基づいて、被検体の複数の部位の中から、2次元超音波画像及び3次元超音波画像に対応する撮像部位を推定する推定部と、
 被検体の部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、複数の2次元超音波画像及び3次元超音波画像の少なくとも一方において、推定部により推定された撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象が全て撮像されているか否かを判定する判定部と、
 判定部において、撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象のうち撮像されていない撮像対象があると判定された場合に、撮像されていない撮像対象がある旨を報知する第1報知部と、を含む。
 なお、本開示の3次元超音波撮像支援装置においては、判定部において、撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象のうち撮像されていない撮像対象があると判定された場合に、
 第1報知部は、ガイドラインに規定されているが、撮像されていない撮像対象を撮像可能な撮像位置を報知することができる。
 また、本開示の3次元超音波撮像支援装置においては、第1報知部は、本開示の3次元超音波撮像支援装置においては、撮像位置に加えて、撮像位置における超音波プローブの向きを報知することができる。
 また、本開示の3次元超音波撮像支援装置においては、ガイドラインには、部位毎に複数の撮像対象の撮像順も規定されており、かつ、複数の2次元超音波画像を用いて、ガイドラインにおいて予め規定されている複数の撮像対象が全て撮像されているか否かを判定部が判定する場合において、
 判定部は、2次元超音波画像を撮像する毎に、ガイドラインに規定されている撮像順に従って撮像が行われているか否かを判定し、
 第1報知部は、判定結果に応じて報知を行うことができる。
 また、本開示の3次元超音波撮像支援装置においては、撮像位置取得部により取得された撮像位置に基づいて、超音波プローブが予め定められた速度で移動しているか否かを検出する速度検出部と、
 速度検出部が超音波プローブが予め定められた速度で移動していないことを検出した場合に、予め定められた速度で移動していないことを報知する第2報知部とを含むことができる。
 また、本開示の3次元超音波撮像支援装置においては、速度検出部は、推定部により撮像部位が推定されている場合に、超音波プローブが推定された撮像部位毎に予め定められた速度で移動しているか否かを検出することができる。
 また、本開示の3次元超音波撮像支援装置においては、超音波プローブに固定されたマーカー部材と、
 超音波プローブ及びマーカー部材を同一撮像範囲内に含めて撮像する撮像部とを備え、
 撮像位置取得部は、撮像部により取得された超音波プローブ及びマーカー部材を含む撮像画像に基づいて撮像位置を取得することができる。
 また、本開示の3次元超音波撮像支援装置においては、超音波プローブに設けられる6軸センサを備え、
 撮像位置取得部は、6軸センサから出力された出力情報に基づいて撮像位置を取得することができる。
 また、本開示の3次元超音波撮像支援装置においては、超音波プローブに固定されたマーカー部材、及び超音波プローブに設けられる6軸センサと、
 超音波プローブ及びマーカー部材を同一撮像範囲内に含めて撮像する撮像部とを備え、
 撮像位置取得部は、撮像部により取得された超音波プローブ及びマーカー部材を含む撮像画像、並びに6軸センサから出力された出力情報に基づいて撮像位置を取得することができる。
 本開示の3次元超音波撮像支援方法は、被検体の複数の部位のうちの任意の部位において、異なる位置で超音波プローブにより撮像された複数の2次元超音波画像を取得し、
 撮像毎に超音波プローブの撮像位置を取得し、
 取得された複数の2次元超音波画像と、取得された撮像毎の撮像位置とに基づいて3次元超音波画像を生成する3次元超音波装置による超音波画像の撮像を支援する3次元超音波撮像支援方法であって、
 取得された2次元超音波画像及び生成された3次元超音波画像の少なくとも一方に基づいて、被検体の複数の部位の中から、2次元超音波画像及び3次元超音波画像に対応する撮像部位を推定し、
 被検体の部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、複数の2次元超音波画像及び3次元超音波画像の少なくとも一方において、推定された撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象が全て撮像されているか否かを判定し、
 撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象のうち撮像されていない撮像対象があると判定された場合に、撮像されていない撮像対象がある旨を報知する。
 本開示の3次元超音波撮像支援プログラムは、3次元超音波画像を生成する3次元超音波装置による超音波画像の撮像を支援する3次元超音波撮像支援プログラムであって、
 被検体の複数の部位のうちの任意の部位において、異なる位置で超音波プローブにより撮像された複数の2次元超音波画像を取得する画像取得部と、
 撮像毎に超音波プローブの撮像位置を取得する撮像位置取得部と、
 画像取得部により取得された複数の2次元超音波画像と、撮像位置取得部により取得された撮像毎の撮像位置とに基づいて3次元超音波画像を生成する3次元超音波画像生成部と、
 画像取得部により取得された2次元超音波画像及び3次元超音波画像生成部により生成された3次元超音波画像の少なくとも一方に基づいて、被検体の複数の部位の中から、2次元超音波画像及び3次元超音波画像に対応する撮像部位を推定する推定部と、
 被検体の部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、複数の2次元超音波画像及び3次元超音波画像の少なくとも一方において、推定部により推定された撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象が全て撮像されているか否かを判定する判定部と、
 判定部において、撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象のうち撮像されていない撮像対象があると判定された場合に、撮像されていない撮像対象がある旨を報知する第1報知部として、
 コンピュータを機能させる。
 本開示による他の3次元超音波撮像支援装置は、コンピュータに実行させるための命令を記憶するメモリと、
 記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
 被検体の複数の部位のうちの任意の部位において、異なる位置で超音波プローブにより撮像された複数の2次元超音波画像を取得し、
 撮像毎に超音波プローブの撮像位置を取得し、
 取得された複数の2次元超音波画像と、取得された撮像毎の撮像位置とに基づいて3次元超音波画像を生成し、
 取得された2次元超音波画像及び生成された3次元超音波画像の少なくとも一方に基づいて、被検体の複数の部位の中から、2次元超音波画像及び3次元超音波画像に対応する撮像部位を推定し、
 被検体の部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、複数の2次元超音波画像及び3次元超音波画像の少なくとも一方において、推定された撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象が全て撮像されているか否かを判定し、
 撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象のうち撮像されていない撮像対象があると判定された場合に、撮像されていない撮像対象がある旨を報知する処理を実行する。
 3次元超音波撮像支援装置、方法、及びプログラムによれば、ガイドラインに適合した全ての撮像対象が撮像されているか否かを容易に確認できる。
本開示の第1の実施形態の3次元超音波撮像支援装置を含む診断支援システムの構成を示す概略ブロック図 本開示の一実施形態である診断支援システムの概念図 マーカー部材が固定された超音波プローブを説明するための図 撮像部により取得された画像の一例を示す図である。 超音波プローブによる撮像動作を説明するための図 撮像画像中のマーカー部材52の移動を説明するための図 第1報知部による報知の一例を示す図 第1報知部による報知の他の一例を示す図 本開示の第1の実施形態において行われる処理を示すフローチャート 本開示の第1の実施形態において行われるAの処理を示すフローチャート 本開示の第2の実施形態において行われる処理を示すフローチャート 本開示の第3の実施形態の3次元超音波撮像支援装置を含む診断支援システムの構成を示す概略ブロック図 本開示の第3の実施形態において行われる処理を示すフローチャート センサが設けられた超音波プローブを説明するための図
 以下、図面を参照して本開示の実施形態について説明する。図1は本開示の一実施形態による3次元超音波撮像支援装置を適用した、診断支援システムの構成を示す概略ブロック図である。図1に示すように、診断支援システム1は、本実施形態による3次元超音波撮像支援装置10、並びに3次元超音波撮像支援装置10と接続可能に構成された超音波プローブ50、撮像部60、表示部30、及び入力部40を備えている。
 3次元超音波撮像支援装置10は、CPU(Central Processing Unit)11、一次記憶部12、二次記憶部13及び外部I/F(Interface)14等を備えたコンピュータから構成される。CPU11は、3次元超音波撮像支援装置10の全体を制御する。一次記憶部12は、各種プログラムの実行時のワークエリア等として用いられる揮発性のメモリである。一次記憶部12の一例としては、RAM(Random Access Memory)が挙げられる。二次記憶部13は、各種プログラム及び各種パラメータ等を予め記憶した不揮発性のメモリであり、本開示の3次元超音波撮像支援プログラム15の一実施形態がインストールされている。
 3次元超音波撮像支援プログラム15は、DVD(Digital Versatile Disc)及びCD-ROM(Compact Disc Read Only Memory)などの記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。又は、3次元超音波撮像支援プログラム15は、ネットワークに接続されたサーバコンピュータの記憶装置もしくはネットワークストレージに対して、外部からアクセス可能な状態で記憶され、外部からの要求に応じてコンピュータにダウンロードされた後に、インストールされるようにしてもよい。
 この3次元超音波撮像支援プログラム15がCPU11により実行されることによって、CPU11は、画像取得部21、撮像位置取得部22、3次元超音波画像生成部23、推定部24、判定部25、第1報知部26、及び表示制御部27として機能する。二次記憶部13の一例としては、EEPROM(Electrically Erasable Programmable Read-Only Memory)又はフラッシュメモリ等が挙げられる。
 外部I/F14は、3次元超音波撮像支援装置10と外部装置(図示せず)との間の各種情報の送受信を司る。CPU11、一次記憶部12、二次記憶部13、及び外部I/F14は、各々の回路がデータを交換するための共通の経路であるバスライン16に接続されている。
 また、バスライン16には、表示部30と入力部40も接続されている。表示部30は、例えば液晶ディスプレイ等で構成される。表示部30は、後述するように、画像取得部21により取得された2次元超音波画像及び3次元超音波画像生成部23により生成された3次元超音波画像を表示する。また、後述する撮像部60によって取得された撮像画像も表示する。なお、表示部30をタッチパネルによって構成し、入力部40と兼用してもよい。入力部40は、マウス及びキーボード等を備えたものであり、ユーザによる種々の設定入力を受け付ける。また、バスライン16には、送受信部17と撮像部60も接続されている。送受信部17は、後述する超音波プローブ50との間の各種情報の送受信を司る。
 超音波プローブ50は、3次元超音波撮像支援装置10に接続可能に構成されている。超音波プローブ50としては、例えばセクタ走査対応のプローブ、リニア走査対応のプローブ、及びコンベックス走査対応のプローブ等を使用することができる。図2は、本開示の一実施形態である診断支援システムの概念図である。超音波プローブ50は、図2に示すように、先端に、1次元方向に配列された複数の超音波振動子(図示せず)を有する振動子アレイ50aを有する。なお、振動子アレイ50aは、上記では、複数の超音波振動子が一次元に配列されている例について説明したが、これには限定されない。振動子アレイ50aにおいて、複数の超音波振動子が二次元に配列されていてもよい。
 超音波プローブ50は振動子アレイ50aを生体である被検体Mの体表面に当接させた状態で、被検体Mの計測したい部位に対して超音波を出射(送信)し、被検体Mで反射して戻って来た反射超音波を検出(受信)する。超音波プローブ50は、送受信部17から出力されたパルス状又は連続波の電気信号を超音波に変換して出射し、受信した反射超音波を電気信号に変換して送受信部17に送信する。
 送受信部17は、超音波プローブ50が有する複数の超音波振動子を駆動させる、パルス状又は連続波の電気信号を超音波プローブ50へ送信する。また、送受信部17は、反射超音波を受信した複数の超音波振動子で生成される複数の電気信号を受信する。そして、送受信部17は、受信した電気信号に対して、増幅とA/D(Analog/Digital)変換とを行うことにより受信信号を生成する。この受信信号は、例えば、超音波振動子の配列方向と超音波の送信方向であって超音波振動子の配列方向と垂直な方向(以下、深度方向とする。)とに並ぶ複数の信号からなり、各信号は反射超音波の振幅をデジタル値で表したデジタル信号である。そして、この送信処理および受信処理を繰り返し連続して行い、複数の受信信号からなるフレームデータを複数構築する。
 なお、本開示においてフレームデータは、1枚の断層画像を構築する上で必要な受信信号の集合データ、この集合データに基づいて断層画像データを構築するために処理された信号、及びこの集合データに基づいて構築された1枚の断層画像データ或いは断層画像の何れかのことをいい、本実施形態においては1枚の断層画像データのことをいう。構築された断層画像データは一次記憶部12に記憶される。
 また、本実施形態においては、超音波プローブ50には、マーカー部材が固定されている。図3は、本開示の一実施形態であるマーカー部材が固定された超音波プローブ50を説明するための図である。なお、図3においては、マーカー部材の超音波プローブ50への固定箇所等は実際の形状とは異なり簡易的に図示されている。
 超音波プローブ50は、図3に示すように、送受信部17と接続するケーブル51を有している。また、超音波プローブ50の外周面には、マーカー部材52が固定されている。マーカー部材52は、球状の3つのマーカー、すなわちマーカー52x、マーカー52y、及びマーカー52zと、軸方向が互いに直交するx軸、y軸、及びz軸の3軸とを備えている。3つのマーカー52x、マーカー52y、及びマーカー52zは、各々のマーカー中心52aを中心として、x軸、y軸、及びz軸の3軸の一端に設けられている。x軸、y軸、及びz軸の3軸の他端は、超音波プローブ50に設けられた支柱に設けられている。また、3つのマーカー52x、マーカー52y、及びマーカー52zは、例えば、異なる色が付されており、色によって識別可能である。
 なお、本実施形態においては、マーカー部材52は、3つのマーカー52x、マーカー52y、及びマーカー52zで構成されるものとしたが、本開示の技術はこれに限られず、上記3つのマーカー以外のマーカーを使用してもよい。例えば4つ、5つ等のマーカーを使用してもよい。またマーカーの形状は球状に限られず、例えば直方体であってもよいし、円錐状であってもよいし、適宜変更することができる。
 図2に示す撮像部60は、超音波プローブ50とマーカー部材52とを同一撮像範囲内に含めて撮像可能な位置に設置されている。図4は撮像部60により取得された画像の一例を示す図である。図4に示すように、撮像部60により取得された画像Dには、ユーザの手Hに把持され、被検体Mの体表面に当接する超音波プローブ50、及び超音波プローブ50に固定されたマーカー部材52が写っている。
 図5は超音波プローブ50による撮像動作を説明するための図である。図5に示すように、ユーザが超音波プローブ50を被検体Mの体表面に当接させた状態で、超音波プローブ50を例えば矢印Sで示す方向に移動させることにより、異なる位置において撮像が行われる。こうした撮像が行われる異なる複数の撮像位置において、複数の2次元超音波画像Pが取得される。撮像位置は、撮像毎の超音波プローブ50の体表面上の位置である。2次元超音波画像Pは、各撮像位置から被検体内の深度方向に延びる断面の断層画像である。
 図2に戻り、画像取得部21は、超音波プローブ50が各撮像位置で撮像した2次元超音波画像Pを取得する。2次元超音波画像Pは、各撮像位置から被検体内の深度方向に延びる断面の断層画像である。超音波プローブ50は、撮像した複数の2次元超音波画像P(断層画像)を一次記憶部12に出力する。画像取得部21は一次記憶部12から2次元超音波画像P(断層画像)を取得する。
 撮像位置取得部22は、超音波プローブ50の撮像位置を取得する。具体的には、異なる各撮像位置において、撮像部60は超音波プローブ50及びマーカー部材52を撮像する。こうして得た超音波プローブ50及びマーカー部材52の撮像画像は一次記憶部12に出力される。撮像位置取得部22は、一次記憶部12から撮像画像を読み出す。そして、撮像位置取得部22は、読み出した撮像画像を画像解析することにより、撮像画像中のマーカー中心52aの位置、マーカー52x,52y,52zの位置、大きさ、及び傾きから、超音波プローブ50の撮像位置、及び向きの情報を導出する。撮像位置取得部22は、マーカー52x,52y,52zの各マーカーを色によって識別する。撮像位置取得部22は、こうした導出処理によって、撮像位置及び向きの情報を取得する。
 図6は撮像画像中のマーカー部材52の移動を説明するための図である。超音波プローブ50が撮像位置T1及び撮像位置T2において2次元超音波画像Pを取得した場合、例えば図6に示すように、マーカー部材52は撮像画像において、矢印Tの方向に移動する。この場合、マーカー中心52aのx方向の移動量から、超音波プローブ50のx方向の位置が導出される。また、マーカー52x,52y,52zの大きさの変化量から超音波プローブ50のy方向の位置を導出する。また、マーカー52x,52y,52zのマーカー中心52aの移動軌跡から、マーカー部材52の回転量が検出される。そして、回転量に基づいて超音波プローブ50の向きが導出される。そして、導出した超音波プローブ50の撮像位置、及び向きの情報は、当該撮像位置において取得された2次元超音波画像Pに対応させて一次記憶部12に記憶される。なお、マーカー部材52を使用した超音波プローブ50の撮像位置及び向きの情報を取得する方法は、公知の技術を使用することができる。
 3次元超音波画像生成部23は、画像取得部21が取得した2次元超音波画像P、及び、2次元超音波画像Pに対応させて一次記憶部12に記憶された超音波プローブ50の撮像位置、及び向きの情報を用いることにより、振動子アレイ50aの機械的走査の角度範囲あるいはストロークと電子的な走査範囲によって決定される空間に対する3次元超音波画像Vを生成する。なお、3次元超音波画像Vの生成方法については公知の技術を使用することができる。ここで、超音波プローブ50の撮像位置及び向きの情報を総称して、超音波プローブ50の位置情報という場合がある。
 推定部24は、画像取得部21により取得された2次元超音波画像P及び3次元超音波画像生成部23により生成された3次元超音波画像Vの少なくとも一方に基づいて、被検体の複数の部位の中から、2次元超音波画像P及び3次元超音波画像Vに対応する撮像部位を推定する。
 撮像部位の推定方法としては、例えば、予め記憶された複数の撮像部位、例えば、血管(頸動脈、頸静脈等)、心臓、肝臓、腎臓、胆嚢、膵臓、胃、肺、膀胱、甲状腺、及び乳房等の一般的に検査される撮像部位にそれぞれ関連付けられた複数の照合パターンを予め用意しておく。そして、これら複数の照合パターンを用いて、生成された2次元超音波画像P又は3次元超音波画像Vを照合することで撮像部位を認識する方法(例えば、国際公開第2017/158998号に記載の技術)を使用することができる。また、2次元超音波画像P及び3次元超音波画像Vを入力とし、各々の2次元超音波画像P及び3次元超音波画像Vに対応する撮像部位を出力として学習された学習モデルを使用することにより、撮像部位を推定してもよい。
 判定部25は、被検体の部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、複数の2次元超音波画像P及び3次元超音波画像Vの少なくとも一方において、推定部24により推定された撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象が全て撮像されているか否かを判定する。
 ガイドラインにおいては、例えば、撮像部位が頸動脈である場合には、断層像による観察は、血管短軸断面と血管長軸断面の2方向で行い、観察領域は左右共に総頸動脈、頸動脈洞、内頸動脈及び椎骨動脈で、観察可能な領域とすることが規定されている。また、観察領域は、必要に応じて外頸動脈、鎖骨下動脈、腕頭動脈、浅側頭動脈、及びそれらの分枝動脈なども含むことも規定されている。このように、ガイドラインにおいては、頸動脈といった被検体の部位毎に、観察領域内の総頸動脈及び頸動脈洞といった撮像すべき複数の撮像対象が規定されている。本実施形態においては、上記ガイドラインに基づいて、撮像部位毎に、予め撮影すべき複数の撮像対象のリストを作成して一次記憶部12に記憶させておく。
 また、本実施形態においては、判定部25は、2次元超音波画像P及び3次元超音波画像Vに含まれる構造物を分類する。例えば、撮像部位が頸動脈である場合には、構造物は総頸動脈、頸動脈洞、内頸動脈及び椎骨動脈等である。構造物の分類方法としては、一例として、撮像部位を複数のクラスに分類するために、2次元超音波画像Pについての教師データを用いて学習がなされたニューラルネットワークを使用した特開2018-139693号公報に記載の分類手段を使用することができる。判定部25は、このような構造物の分類を行うことにより、2次元超音波画像Pに含まれている撮像対象を認識する。
 また、教師データとして、血管短軸断面と血管長軸断面の2方向で撮像された2次元超音波画像と、各々の2次元超音波画像がどちらの方向で撮像された画像であるかについての方向情報とを組とする教師データを用いることがきる。そしてかかる教師データを判定部25の分類手段を学習させることにより、2次元超音波画像Pにおける撮影方向についても分類することができる。
 そして、判定部25は、2次元超音波画像Pに含まれる複数の撮像対象が、ガイドラインに適合しているか否かを判定する。具体的には、判定部25は、画像取得部21により取得された複数の2次元超音波画像Pに含まれる複数の撮像対象と、上述したリストに規定されている撮像すべき複数の撮像対象とを照合する。そして、判定部25は、照合結果に基づいて、推定部24により推定された撮像部位についてガイドラインに予め規定されている複数の撮像対象が全て撮像されているか否かを判定する。また、本実施形態においては、判定部25は、1つの撮像部位における複数の2次元超音波画像Pをすべて撮像した段階で、上記判定を行う。
 第1報知部26は、判定部25において、撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象のうち撮像されていない撮像対象があると判定された場合に、撮像されていない撮像対象がある旨を報知する。なお、第1報知部26による報知は、例えば図示しない音声出力部によりアラームを鳴らすことにより報知してもよいし、表示部30に「撮像されていない撮像対象があります」と表示させてもよい。これにより、ユーザはガイドラインに適合した全ての撮像対象が撮像されているか否かを容易に確認できる。
 また、第1報知部26は、撮像対象の有無に加えて、ガイドラインに規定されているが、撮像されていない撮像対象を撮像可能な撮像位置を報知してもよい。例えば、ガイドラインにおいて規定されている複数の撮像対象が、第1撮像対象、第2撮像対象、第3撮像対象であり、第1撮像対象、第2撮像対象、第3撮像対象の順に並んでいるとする。そして、判定部25が、第2撮像対象が撮像されていないと判定したとする。この場合、第1撮像対象と第3撮像対象が各々に含まれる2枚の2次元超音波画像には、各々の撮像位置、すなわちマーカー部材52の座標位置情報が対応付けられている。そのため、判定部25は、マーカー部材52がどこに位置した場合に、どの撮像対象を撮像可能なのかを推定することができる。上記例では、判定部25は、第2撮像対象を撮像可能な撮像位置を推定する。
 第1報知部26は、判定部25によって推定された、第2撮像対象を撮像可能な撮像位置として、マーカー部材52の位置を表示部30に表示させる。また、さらに、第1報知部26は、撮像位置に加えて、撮像位置における超音波プローブ50の向きを報知することができる。例えば、2方向で撮像された第1撮像対象、第2撮像対象、第3撮像対象が必要であるとガイドラインで規定されているとする。そして、判定部25が、第1方向の第2撮像対象が撮像されていないと判定した場合に、第1方向から撮像可能な超音波プローブ50の向きを報知する。
 図7及び図8は各々第1報知部26による報知の一例を示す図である。図7においては、撮像部60によりリアルタイムで撮像されている画像が表示部30に表示されている。
第1報知部26は、図7に示すように、ガイドラインに規定されているが、撮像されていない撮像対象を撮像可能な撮像位置を、点線の円などのマークで示し、かつ「撮像が粗いです」といったメッセージを表示させる。さらに、撮像すべき向きは、超音波プローブ50を模式的に示した簡易画像を用いて表示される。簡易画像には、撮像すべき向きに対応した超音波プローブ50の姿勢が示されている。これにより、ユーザは撮像すべき撮像対象が撮像可能な撮像位置及び向きを確認することができるので、超音波プローブ50を目的の位置まで容易に移動させることができる。
 また、図8においては、超音波プローブ50によりリアルタイムで撮像されている2次元超音波画像が表示部30に表示されている。第1報知部26は、図8に示すように、ガイドラインに規定されているが、画像が粗い場合、点線の円を表示させ、かつ「撮像が粗いです」と表示させる。一般に、画像が粗い原因は、超音波プローブ50の深度方向への押し込み不足と考えられる。そのため、超音波プローブ50を深度方向に移動させる方向を表す矢印と超音波プローブ50の簡易画像とを表示させる。これにより、ユーザは超音波プローブ50の移動すべき方向を視認することができるので、超音波プローブ50を目的の位置まで容易に移動させることができる。
 図2に戻り、表示制御部27は、超音波プローブ50により撮像された2次元超音波画像P及び3次元超音波画像Vの少なくとも一方を表示部30に表示させる。また、表示制御部27は、撮像部60により撮像された画像を表示部30に表示させる。なお、表示制御部27は1つの表示部30に超音波プローブ50により撮像された2次元超音波画像P及び3次元超音波画像Vの少なくとも一方と、撮像部60により撮像された画像とを表示させてもよいし、表示部30が2つある場合には、各々に表示させてもよい。
 次いで、本実施形態において行われる処理について説明する。図9は本開示の第1の実施形態において行われる処理を示すフローチャートである。
 画像取得部21は、ユーザが超音波プローブ50を被検体Mの体表面に当接させた状態で、超音波プローブ50を操作することにより撮像された2次元超音波画像Pを取得する(ステップST1)。この際、撮像位置取得部22は、超音波プローブ50の撮像位置を取得する。
 次いで、取得した2次元超音波画像Pにおいて撮像部位を推定する(ステップST2)。撮像部位が推定できなかった場合(ステップST3;NO)には、CPU11は、ステップST1に処理を移行して、異なる位置において超音波プローブ50を操作することにより撮像された2次元超音波画像Pを取得し、以降の処理を行う。また、さらにAの処理を並行して行う。なお、Aの処理については後で説明する。
 次いで、撮像部位が推定できた場合(ステップST3;YES)には、判定部25が、2次元超音波画像Pにおいて推定された撮像部位のガイドラインに規定された撮像対象とを照合する(ステップST4)。規定された撮像対象が全て撮像されている場合(ステップST5;YES)には、3次元超音波画像生成部23が画像取得部21により取得された2次元超音波画像Pと2次元超音波画像Pを撮像中の超音波プローブ50の撮像位置とに基づいて3次元超音波画像Vを生成して(ステップST6)、処理を終了する。
 一方、規定された撮像対象が全て撮像されていない場合(ステップST5;NO)、すなわち、撮像されていない撮像対象がある場合には、第1報知部26が、撮像されていない撮像対象がある旨を報知する(ステップST7)。
 次いで、画像取得部21が、超音波プローブ50を操作することにより撮像された2次元超音波画像Pを取得し(ステップST8)、CPU11は、ステップS4に処理を移行して以降の処理を行う。なお、上記撮像の際に、第1報知部26が上述したように、撮像されていない撮像対象が撮像可能な撮像位置を報知する。
 次に、ステップST3にて、撮像部位が推定できなかった場合(ステップST3;NO)のAの処理について説明する。図10は本開示の第1の実施形態において行われるAの処理を示すフローチャートである。
 図10に示すように、3次元超音波画像生成部23は、画像取得部21により取得された2次元超音波画像Pと2次元超音波画像Pを撮像中の超音波プローブ50の撮像位置とに基づいて3次元超音波画像Vを生成する(ステップST21)。そして、取得した3次元超音波画像Vにおいて撮像部位を推定する(ステップST22)。
 次いで、判定部25が、3次元超音波画像Vで推定された撮像部位においてガイドラインに規定された撮像対象とを照合する(ステップST23)。規定された撮像対象が全て撮像されている場合(ステップST24;YES)には、処理を終了する。一方、規定された撮像対象が全て撮像されていない場合(ステップST24;NO)、すなわち、撮像されていない撮像対象がある場合には、第1報知部26が、撮像されていない撮像対象がある旨を報知する(ステップST25)。そして、CPU11は、図9のステップST8に処理を移行して、以降の処理を行う。
 一般的に、2次元超音波画像Pにおいて撮像部位が推定できなかった場合であっても、3次元超音波画像Vにおいては撮像部位が特定することができることが知られている。そのため、2次元超音波画像Pにおいて撮像部位が推定できなかった場合に、3次元超音波画像Vにおいては撮像部位を特定することにより、判定部25は、撮像部位毎のガイドラインに基づいた撮像対象との照合を行うことができる。これにより、判定部25は、撮像部位についてガイドラインにおいて予め規定されている複数の撮像対象が全て撮像されているか否かを判定することができる。
 なお、上記第1の実施形態においては、2次元超音波画像Pにおいて撮像部位が推定できなかった場合に、図10に示すAの処理を行ったが、本開示の技術はこれに限られない。2次元超音波画像Pにおいて撮像部位が推定できた場合であっても、図10に示すAの処理を行ってもよい。2次元超音波画像Pと3次元超音波画像Vの両方において、撮像部位を推定することにより、より高精度で撮像部位を推定することができる。
 次に、第2の実施形態の3次元超音波撮像支援装置について説明する。第2の実施形態の3次元超音波撮像支援装置は、ガイドラインに基づいて、撮像部位毎に、予め撮影すべき複数の撮像対象を、撮像すべき順序に沿って並べたリストを作成し、一次記憶部12に記憶させておく。なお、第2の実施形態の3次元超音波撮像支援装置は、図1に示す第1の実施形態の3次元超音波撮像支援装置10と同じ構成とすることができる。そのため、ここでの説明は省略し、第2の実施形態の3次元超音波撮像支援装置について行われる処理についてのみ説明する。図11は本開示の第2の実施形態において行われる処理を示すフローチャートである。なお、図11のステップST31からステップST33の処理は、図9のステップST1からステップST3の処理と同じであるため、ここでの説明は省略する。
 図11に示すように、ステップST33において、撮像部位が推定できた場合(ステップST33;YES)には、画像取得部21が2次元超音波画像Pを取得する毎に、判定部25は、取得された2次元超音波画像Pが、推定された撮像部位のガイドラインに規定された撮像対象の撮像順に沿って撮像されているか否かを照合する(ステップST34)。
 規定された撮像順に従って撮像されていない場合(ステップST35;NO)、すなわち、撮像されていない撮像対象がある場合には、第1報知部26が、撮像されていない撮像対象がある旨を報知する(ステップST36)。
 次いで、画像取得部21が、超音波プローブ50を操作することにより撮像された2次元超音波画像Pを取得し(ステップST37)、CPU11は、ステップS34に処理を移行して以降の処理を行う。なお、上記撮像の際に、第1報知部26が上述したように、撮像されていない撮像対象が撮像可能な撮像位置を報知する。
 一方、規定された撮像順に従って撮像されている場合(ステップST35;YES)、判定部25は、規定された撮像対象が全て撮像されたか否かを判定する(ステップST38)。そして、撮像されている場合(ステップST38;YES)には、3次元超音波画像生成部23が画像取得部21により取得された2次元超音波画像Pと2次元超音波画像Pを撮像中の超音波プローブ50の撮像位置とに基づいて3次元超音波画像Vを生成して(ステップST39)、処理を終了する。
 一方、規定された撮像対象が全て撮像されていない場合(ステップST38;NO)、すなわち、撮像されていない撮像対象がある場合には、第1報知部26が、撮像されていない撮像対象がある旨を報知し(ステップST36)、以降の処理を行う。
 第2の実施形態においては、2次元超音波画像Pを取得する毎に、ガイドラインに規定されている撮像順に従って撮像が行われているか否かを判定し、撮像順に従って撮像が行われていない場合に、撮像順に従って撮像が行われていないことが報知される。そのため、ユーザは、現在の撮像位置と、1つ前の撮像位置との間に、撮像すべき撮像位置、すなわち、撮像対象が存在していることを認識することができるので、認識した時点で超音波プローブ50を進行方向とは逆方向に戻して上記撮像すべき位置において観察対象を撮像することができる。
 以下、図面を参照して本開示の実施形態について説明する。図12は第3の実施形態による3次元超音波撮像支援装置を適用した、診断支援システムの構成を示す概略ブロック図である。なお、図12において、図1に示す診断支援システムと同じ構成については同じ符号で示してここでの説明は省略し、異なる箇所についてのみ説明する。
 第3の実施形態の3次元超音波撮像支援装置10-3は、図12に示すように、速度検出部28と、第2報知部29とを備えている。速度検出部28は、撮像位置取得部22により取得された撮像位置に基づいて、超音波プローブ50が予め定められた速度で移動しているか否かを検出する。なお、撮像位置取得部22は、撮像部60により超音波プローブ50及びマーカー部材52が撮像された時間を記憶しておき、マーカー部材52の移動距離と撮像された時間とから超音波プローブ50の移動速度を検出する。
 第2報知部29は、速度検出部28が、超音波プローブ50が予め定められた速度で移動していないことを検出した場合に、予め定められた速度で移動していないことを報知する。報知方法としては、例えば図示しない音声出力部によりアラームを鳴らすことにより報知してもよいし、表示部30に「予め定められた速度で移動していません」と表示させてもよい。これにより、超音波プローブ50が予め定められた速度で操作できているか否かを容易に確認できる。これにより、例えば速度が速すぎることにより、撮像すべき撮像位置において観察対象が撮像されない事態等を防ぐことができる。
 本実施形態において、予め定められた速度は、推定部24によって撮像部位が推定されている場合には、推定された撮像部位毎に予め定められた速度とする。一方、推定部24によって撮像部位が推定されていない場合には、全ての撮像部位において予め定められた速度のうち、最も遅い速度を予め定められた速度とする。
 次に、第3の実施形態の3次元超音波撮像支援装置について行われる処理について説明する。図13は本開示の第3の実施形態において行われる処理を示すフローチャートである。なお、図13に示す処理は、図9及び図10に示す第1の実施形態の処理、又は図11に示す第2の実施形態の処理と並行して行われる。
 先ず、速度検出部28が超音波プローブ50の速度を検出する(ステップST41)。速度検出部28は、この時点において、推定部24が撮像部位を推定できているか否かを判定する(ステップST42)。撮像部位が推定できている場合には、速度検出部28は、検出した速度と、推定された撮像部位のガイドラインにおいて規定された速度とを照合する(ステップST43)。
 一方、ステップST42において、撮像部位が推定できていない場合には、速度検出部28は、検出した速度と、全ての撮像部位において予め定められた速度のうち最も遅い速度とを照合する(ステップST44)。
 そして、速度検出部28が、超音波プローブ50が予め定められた速度で移動していないことを検出した場合(ステップST45;YES)、第2報知部29は、超音波プローブ50が予め定められた速度で移動していないことを報知して(ステップST46)、処理を終了する。
 一方、ステップST45において、速度検出部28が、超音波プローブ50が予め定められた速度で移動していることを検出した場合(ステップST45;NO)、CPU11は、ステップST41に処理を移行して、以降の処理を行う。
 第3の実施形態においては、ユーザが、撮像部位毎に予め定められた速度で超音波プローブ50を操作できているか否かを知ることができる。これにより、ユーザは、撮像部位毎に適切な速度で超音波プローブ50を移動させることができる。
 なお、上記実施形態においては、撮像位置取得部22は、撮像部60に超音波プローブ50及びマーカー部材52を撮像させて取得した撮像画像中のマーカー中心52aの位置、マーカー52x,52y,52zの位置、大きさ、及び傾きから、超音波プローブ50の撮像位置、及び向きの情報を導出しているが、本開示の技術はこれに限られない。
 撮像位置取得部22は、例えばAR(Augmented Reality:拡張現実)マーカーを使用することにより超音波プローブ50の撮像位置、及び向きの情報を取得してもよい。ARマーカーは、決まったパターンの図形で構成された画像である。このARマーカーを超音波プローブ50の外周面に配設する。そして、撮像部60により撮像されたARマーカーを含む超音波プローブ50の画像データに基づいて、マーカーの位置及び向きを検出する公知のプログラムを使用することにより、ARマーカー、すなわち超音波プローブ50の撮像位置及び、向きの情報を取得するようにしてもよい。
 また、マーカー部材52に替えて、超音波プローブ50本体に凸部及び凹部等を設け、この凸部及び凹部等をマーカーとすることにより、超音波プローブ50の撮像位置、及び向きの情報を導出してもよい。本開示の技術においては、超音波プローブ50の撮像位置、及び向きを規定するための指標とすることができるマーカーであれば、どのような形状及び形式であってもよく、特に限定されるものではない。
 また、例えば、診断支援システム1は撮像部60及びマーカー部材52のかわりにセンサを備えることができる。
 図14はセンサが設けられた超音波プローブを説明するための図である。なお、図14においては、センサの超音波プローブ50への取り付け方は実際の形状とは異なり簡易的に図示されている。
 超音波プローブ50は、図14に示すように、超音波プローブ50の外周面に、センサ70が取付けられている。センサ70は、移動方向、向き、回転を検出することができ、さらに移動距離や移動速度などを算出することができる6軸センサである。前後、左右、上下の3方向を検出できる加速度センサと東西南北を検出できる地磁気センサ、または加速度センサと回転の速さを検出できるジャイロセンサを組み合わせることで、6軸センサが実現される。
 撮像位置取得部22は、センサ70から出力された出力情報に基づいて撮像位置を取得することができる。
 なお、上記実施形態においては、撮像部60及びマーカー部材52のかわりにセンサ70を設けたが、本開示の技術はこれに限られない。撮像部60及びマーカー部材52に加えてセンサ70を設けてもよい。この場合、センサ70は超音波プローブ50の撮像方向を検出するのに適しており、撮像部60に超音波プローブ50及びマーカー部材52を撮像させて取得した撮像画像から撮像位置を算出する方法は、超音波プローブ50の平行移動を検出するのに適している。そのため、撮像部60、マーカー部材52、及びセンサ70を使用することにより、撮像位置取得部22はより正確な撮像位置及び撮像方向を取得することができる。
 また、上述した実施形態において、例えば、画像取得部21、撮像位置取得部22、3次元超音波画像生成部23、推定部24、判定部25、第1報知部26、表示制御部27、速度検出部28、及び第2報知部29といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
 1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせまたはCPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
 複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアとの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
 さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。
   1  診断支援システム
   10 3次元超音波撮像支援装置
   11  CPU
   12  一次記憶部
   13  二次記憶部
   14  外部I/F
   15  3次元超音波撮像支援プログラム
   16  バス
   17  送受信部
   21  画像取得部
   22  撮像位置取得部
   23  3次元超音波画像生成部
   24  推定部
   25  判定部
   26  第1報知部
   27  表示制御部
   28  速度検出部
   29  第2報知部
   30  表示部
   40  入力部
   50  超音波プローブ
   60  撮像部
   70  センサ

Claims (11)

  1.  3次元超音波画像を生成する3次元超音波装置による超音波画像の撮像を支援する3次元超音波撮像支援装置であって、
     被検体の複数の部位のうちの任意の部位において、異なる位置で超音波プローブにより撮像された複数の2次元超音波画像を取得する画像取得部と、
     撮像毎に前記超音波プローブの撮像位置を取得する撮像位置取得部と、
     前記画像取得部により取得された前記複数の2次元超音波画像と、前記撮像位置取得部により取得された撮像毎の前記撮像位置とに基づいて3次元超音波画像を生成する3次元超音波画像生成部と、
     前記画像取得部により取得された前記2次元超音波画像及び前記3次元超音波画像生成部により生成された前記3次元超音波画像の少なくとも一方に基づいて、前記被検体の前記複数の部位の中から、前記2次元超音波画像及び3次元超音波画像に対応する撮像部位を推定する推定部と、
     前記被検体の前記部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、前記複数の2次元超音波画像及び前記3次元超音波画像の少なくとも一方において、前記推定部により推定された前記撮像部位について前記ガイドラインにおいて予め規定されている前記複数の撮像対象が全て撮像されているか否かを判定する判定部と、
     前記判定部において、前記撮像部位について前記ガイドラインにおいて予め規定されている前記複数の撮像対象のうち撮像されていない前記撮像対象があると判定された場合に、撮像されていない前記撮像対象がある旨を報知する第1報知部と、を含む3次元超音波撮像支援装置。
  2.  前記判定部において、前記撮像部位について前記ガイドラインにおいて予め規定されている前記複数の撮像対象のうち撮像されていない前記撮像対象があると判定された場合に、
     前記第1報知部は、前記ガイドラインに規定されているが、撮像されていない前記撮像対象を撮像可能な前記撮像位置を報知する請求項1に記載の3次元超音波撮像支援装置。
  3.  前記第1報知部は、前記撮像位置に加えて、前記撮像位置における前記超音波プローブの向きを報知する請求項2に記載の3次元超音波撮像支援装置。
  4.  前記ガイドラインには、前記部位毎に前記複数の撮像対象の撮像順も規定されており、かつ、前記複数の2次元超音波画像を用いて、前記ガイドラインにおいて予め規定されている前記複数の撮像対象が全て撮像されているか否かを前記判定部が判定する場合において、
     前記判定部は、前記2次元超音波画像を撮像する毎に、前記ガイドラインに規定されている前記撮像順に従って撮像が行われているか否かを判定し、
     前記第1報知部は、判定結果に応じて報知を行う請求項2または3に記載の3次元超音波撮像支援装置。
  5.  前記撮像位置取得部により取得された前記撮像位置に基づいて、前記超音波プローブが予め定められた速度で移動しているか否かを検出する速度検出部と、
     前記速度検出部が前記超音波プローブが前記予め定められた速度で移動していないことを検出した場合に、前記予め定められた速度で移動していないことを報知する第2報知部とを含む請求項1から4何れか1項に記載の3次元超音波撮像支援装置。
  6.  前記速度検出部は、前記推定部により前記撮像部位が推定されている場合に、前記超音波プローブが推定された前記撮像部位毎に予め定められた速度で移動しているか否かを検出する請求項5に記載の3次元超音波撮像支援装置。
  7.  前記超音波プローブに固定されたマーカー部材と、
     前記超音波プローブ及び前記マーカー部材を同一撮像範囲内に含めて撮像する撮像部とを備え、
     前記撮像位置取得部は、前記撮像部により取得された前記超音波プローブ及び前記マーカー部材を含む撮像画像に基づいて前記撮像位置を取得する請求項1から6何れか1項に記載の3次元超音波撮像支援装置。
  8.  前記超音波プローブに設けられる6軸センサを備え、
     前記撮像位置取得部は、前記6軸センサから出力された出力情報に基づいて前記撮像位置を取得する請求項1から6何れか1項に記載の3次元超音波撮像支援装置。
  9.  前記超音波プローブに固定されたマーカー部材、及び前記超音波プローブに設けられる6軸センサと、
     前記超音波プローブ及び前記マーカー部材を同一撮像範囲内に含めて撮像する撮像部とを備え、
     前記撮像位置取得部は、前記撮像部により取得された前記超音波プローブ及び前記マーカー部材を含む撮像画像、並びに前記6軸センサから出力された出力情報に基づいて前記撮像位置を取得する請求項1から6何れか1項に記載の3次元超音波撮像支援装置。
  10.  被検体の複数の部位のうちの任意の部位において、異なる位置で超音波プローブにより撮像された複数の2次元超音波画像を取得し、
     撮像毎に前記超音波プローブの撮像位置を取得し、
     取得された前記複数の2次元超音波画像と、取得された撮像毎の前記撮像位置とに基づいて3次元超音波画像を生成する3次元超音波装置による超音波画像の撮像を支援する3次元超音波撮像支援方法であって、
     取得された前記2次元超音波画像及び生成された前記3次元超音波画像の少なくとも一方に基づいて、前記被検体の前記複数の部位の中から、前記2次元超音波画像及び3次元超音波画像に対応する撮像部位を推定し、
     前記被検体の前記部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、前記複数の2次元超音波画像及び前記3次元超音波画像の少なくとも一方において、推定された前記撮像部位について前記ガイドラインにおいて予め規定されている前記複数の撮像対象が全て撮像されているか否かを判定し、
     前記撮像部位について前記ガイドラインにおいて予め規定されている前記複数の撮像対象のうち撮像されていない前記撮像対象があると判定された場合に、撮像されていない撮像対象がある旨を報知する3次元超音波撮像支援方法。
  11.  3次元超音波画像を生成する3次元超音波装置による超音波画像の撮像を支援する3次元超音波撮像支援プログラムであって、
     被検体の複数の部位のうちの任意の部位において、異なる位置で超音波プローブにより撮像された複数の2次元超音波画像を取得する画像取得部と、
     撮像毎に前記超音波プローブの撮像位置を取得する撮像位置取得部と、
     前記画像取得部により取得された前記複数の2次元超音波画像と、前記撮像位置取得部により取得された撮像毎の前記撮像位置とに基づいて3次元超音波画像を生成する3次元超音波画像生成部と、
     前記画像取得部により取得された前記2次元超音波画像及び前記3次元超音波画像生成部により生成された前記3次元超音波画像の少なくとも一方に基づいて、前記被検体の前記複数の部位の中から、前記2次元超音波画像及び3次元超音波画像に対応する撮像部位を推定する推定部と、
     前記被検体の前記部位毎に撮像すべき複数の撮像対象が予め規定されたガイドラインを用い、前記複数の2次元超音波画像及び前記3次元超音波画像の少なくとも一方において、前記推定部により推定された前記撮像部位について前記ガイドラインにおいて予め規定されている前記複数の撮像対象が全て撮像されているか否かを判定する判定部と、
     前記判定部において、前記撮像部位について前記ガイドラインにおいて予め規定されている前記複数の撮像対象のうち撮像されていない前記撮像対象があると判定された場合に、撮像されていない前記撮像対象がある旨を報知する第1報知部として、
     コンピュータを機能させる3次元超音波撮像支援プログラム。
PCT/JP2020/019903 2019-06-06 2020-05-20 3次元超音波撮像支援装置、方法、及びプログラム WO2020246238A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112020002148.3T DE112020002148T5 (de) 2019-06-06 2020-05-20 Unterstützungsvorrichtung für dreidimensionale ultraschallbildgebung, unterstützungsverfahren für dreidimensionale ultraschallbildgebung und unterstützungsprogramm für dreidimensionale ultraschallbildgebung
JP2021524743A JP7104243B2 (ja) 2019-06-06 2020-05-20 3次元超音波撮像支援装置、方法、及びプログラム
US17/541,250 US20220087652A1 (en) 2019-06-06 2021-12-03 Three-dimensional ultrasound imaging support apparatus, three-dimensional ultrasound imaging support method, and three-dimensional ultrasound imaging support program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019106448 2019-06-06
JP2019-106448 2019-06-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/541,250 Continuation US20220087652A1 (en) 2019-06-06 2021-12-03 Three-dimensional ultrasound imaging support apparatus, three-dimensional ultrasound imaging support method, and three-dimensional ultrasound imaging support program

Publications (1)

Publication Number Publication Date
WO2020246238A1 true WO2020246238A1 (ja) 2020-12-10

Family

ID=73652813

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/019903 WO2020246238A1 (ja) 2019-06-06 2020-05-20 3次元超音波撮像支援装置、方法、及びプログラム

Country Status (4)

Country Link
US (1) US20220087652A1 (ja)
JP (1) JP7104243B2 (ja)
DE (1) DE112020002148T5 (ja)
WO (1) WO2020246238A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023074511A (ja) * 2021-11-05 2023-05-30 ビフレステック株式会社 超音波プローブの距離・傾き情報遠隔送信システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017094577A1 (ja) * 2015-12-02 2017-06-08 株式会社日立製作所 超音波撮像装置、および画像処理方法
JP2017519579A (ja) * 2014-06-30 2017-07-20 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 解剖学的方向に応じた超音波アレイの並進
US20180150598A1 (en) * 2016-11-30 2018-05-31 General Electric Company Methods and systems for compliance accreditation for medical diagnostic imaging

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5681744A (en) 1979-12-03 1981-07-04 Obayashi Gumi Kk Soil permeating type equally water sprinkling apparatus
CA2851590A1 (en) 2011-10-10 2013-04-18 Tractus Corporation Method, apparatus and system for complete examination of tissue with hand-held imaging devices
WO2014113530A1 (en) 2013-01-17 2014-07-24 Tractus Corporation Method, apparatus and system for complete examination of tissue with hand-held imaging devices having mounted cameras
EP3431009A4 (en) 2016-03-14 2019-04-17 FUJIFILM Corporation ULTRASOUND DIAGNOSIS DEVICE AND METHOD FOR CONTROLLING THE ULTRASONIC DIAGNOSIS DEVICE
JP6956483B2 (ja) * 2016-11-16 2021-11-02 キヤノンメディカルシステムズ株式会社 超音波診断装置、及び走査支援プログラム
JP6657132B2 (ja) 2017-02-27 2020-03-04 富士フイルム株式会社 画像分類装置、方法およびプログラム
EP3485816A1 (en) 2017-11-21 2019-05-22 Koninklijke Philips N.V. Method and apparatus for guiding an ultrasound probe
CN108634985A (zh) 2018-05-08 2018-10-12 广州尚医网信息技术有限公司 B超探头无盲区扫查方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017519579A (ja) * 2014-06-30 2017-07-20 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 解剖学的方向に応じた超音波アレイの並進
WO2017094577A1 (ja) * 2015-12-02 2017-06-08 株式会社日立製作所 超音波撮像装置、および画像処理方法
US20180150598A1 (en) * 2016-11-30 2018-05-31 General Electric Company Methods and systems for compliance accreditation for medical diagnostic imaging

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023074511A (ja) * 2021-11-05 2023-05-30 ビフレステック株式会社 超音波プローブの距離・傾き情報遠隔送信システム

Also Published As

Publication number Publication date
JPWO2020246238A1 (ja) 2020-12-10
US20220087652A1 (en) 2022-03-24
JP7104243B2 (ja) 2022-07-20
DE112020002148T5 (de) 2022-01-05

Similar Documents

Publication Publication Date Title
US11730447B2 (en) Haptic feedback for ultrasound image acquisition
JP5127371B2 (ja) 超音波画像診断システム、及びその制御方法
US7925068B2 (en) Method and apparatus for forming a guide image for an ultrasound image scanner
JP2020072937A (ja) エラストグラフィ測定システム及びその方法
EP2807978A1 (en) Method and system for 3D acquisition of ultrasound images
EP2846310A2 (en) Method and apparatus for registering medical images
CN110870792A (zh) 用于超声导航的系统和方法
CN103919573A (zh) 病变诊断设备和方法
CN105392428A (zh) 用于映射超声剪切波弹性成像测量的系统和方法
CN104584074A (zh) 在3d常规以及对比增强的超声图像中的耦合的分割
KR102273020B1 (ko) 의료 영상 정합 방법 및 그 장치
US11712224B2 (en) Method and systems for context awareness enabled ultrasound scanning
JP7267928B2 (ja) ボリュームレンダリングされる超音波画像
US10952705B2 (en) Method and system for creating and utilizing a patient-specific organ model from ultrasound image data
EP2944258B1 (en) Method and apparatus for registering medical images
CN110072468A (zh) 胎儿超声成像
JP2021029675A (ja) 情報処理装置、検査システム及び情報処理方法
CN113116386A (zh) 超声成像引导方法、超声设备及存储介质
JP7104243B2 (ja) 3次元超音波撮像支援装置、方法、及びプログラム
CN112545551A (zh) 用于医学成像设备的方法和系统
JP5677399B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
CN112022202A (zh) 用于确定超声探头运动的技术
CN104412123B (zh) 用于3d超声体积测量的系统和方法
JP6501796B2 (ja) 超音波画像のモデル・ベースのセグメンテーションのための取得方位依存特徴
JP7275261B2 (ja) 3次元超音波画像生成装置、方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20818454

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021524743

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20818454

Country of ref document: EP

Kind code of ref document: A1