WO2012161088A1 - 超音波診断装置 - Google Patents

超音波診断装置 Download PDF

Info

Publication number
WO2012161088A1
WO2012161088A1 PCT/JP2012/062664 JP2012062664W WO2012161088A1 WO 2012161088 A1 WO2012161088 A1 WO 2012161088A1 JP 2012062664 W JP2012062664 W JP 2012062664W WO 2012161088 A1 WO2012161088 A1 WO 2012161088A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
ultrasonic
probe
position information
dimensional position
Prior art date
Application number
PCT/JP2012/062664
Other languages
English (en)
French (fr)
Inventor
健一 市岡
重光 中屋
智久 今村
Original Assignee
株式会社東芝
東芝メディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東芝, 東芝メディカルシステムズ株式会社 filed Critical 株式会社東芝
Priority to CN201280000669.XA priority Critical patent/CN102905623B/zh
Publication of WO2012161088A1 publication Critical patent/WO2012161088A1/ja
Priority to US14/065,927 priority patent/US20140058261A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077—Measuring of profiles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4263—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors not mounted on the probe, e.g. mounted on an external reference frame
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/462—Displaying means of special interest characterised by constructional features of the display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A61B8/5253—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode combining overlapping images, e.g. spatial compounding
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/007—Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format

Definitions

  • Embodiments of the present invention relate to an ultrasonic diagnostic apparatus.
  • the ultrasonic diagnostic apparatus plays an important role in today's medical care because it can generate and display in real time an ultrasonic image depicting the tissue immediately under the ultrasonic probe.
  • the “mark” is a mark (referred to as a body mark or pictogram) indicating an organ to be examined, or a mark (referred to as a probe mark) indicating an ultrasonic scanning position in the organ.
  • the observer can read the position information and the scanning direction of the ultrasonic probe by referring to the probe mark on the body mark displayed together with the ultrasonic image on the monitor.
  • the information read from the “mark” displayed on the monitor is two-dimensional information. Therefore, an observer of the monitor reads three-dimensional information related to the operation of the ultrasonic probe performed on the body surface of the subject by an operator such as a laboratory technician in order to capture an ultrasonic image suitable for interpretation. I can't.
  • the problem to be solved by the present invention is to provide an ultrasonic diagnostic apparatus capable of presenting three-dimensional information related to the operation of an ultrasonic probe.
  • the ultrasonic diagnostic apparatus includes a display unit, an image generation unit, an acquisition unit, a rendering processing unit, and a control unit.
  • the display unit displays a parallax image group that is a parallax image having a predetermined number of parallaxes, and displays a stereoscopic image that is stereoscopically recognized by an observer.
  • the image generation unit generates an ultrasonic image based on the reflected wave received by the ultrasonic probe that is in contact with the body surface of the subject.
  • the acquisition unit acquires three-dimensional position information of the ultrasonic probe at the time of capturing the ultrasonic image.
  • the rendering processing unit performs a volume rendering process on a probe image group that is a parallax image group for virtually recognizing the ultrasonic probe as a stereoscopic image based on the three-dimensional position information acquired by the acquisition unit. Generate.
  • the control unit includes at least one of the ultrasound image and a contact surface image indicating a contact surface of the subject with which the ultrasound probe is contacted as a feature image indicating a feature of an imaging state, and the probe image group Are displayed on the display unit in a positional relationship based on the three-dimensional position information.
  • FIG. 1 is a diagram for explaining a configuration example of an ultrasonic diagnostic apparatus according to the first embodiment.
  • FIG. 2A is a diagram (1) illustrating an example of a stereoscopic display monitor that performs stereoscopic display using two parallax images.
  • FIG. 2B is a diagram (2) illustrating an example of a stereoscopic display monitor that performs stereoscopic display using two parallax images.
  • FIG. 3 is a diagram for explaining an example of a stereoscopic display monitor that performs stereoscopic display using nine parallax images.
  • FIG. 4 is a diagram for explaining an example of a volume rendering process for generating a parallax image group.
  • FIG. 5A is a diagram (1) for explaining the acquisition device.
  • FIG. 5A is a diagram (1) for explaining the acquisition device.
  • FIG. 5B is a diagram (2) for explaining the acquisition device.
  • FIG. 6 is a diagram (3) for explaining the acquisition device.
  • FIG. 7A is a diagram (4) for explaining the acquisition device.
  • FIG. 7B is a diagram (5) for explaining the acquisition device.
  • FIG. 7C is a diagram (6) for explaining the acquisition device.
  • FIG. 8 is a diagram (1) for explaining an example of display control of the control unit according to the first embodiment.
  • FIG. 9 is a diagram (2) for explaining an example of the display control of the control unit according to the first embodiment.
  • FIG. 10 is a diagram (1) for explaining another form of display control of the control unit according to the first embodiment described with reference to FIGS. 8 and 9.
  • FIG. 11 is a diagram (2) illustrating another form of display control of the control unit according to the first embodiment described with reference to FIGS.
  • FIG. 12 is a flowchart for explaining processing of the ultrasonic diagnostic apparatus according to the first embodiment.
  • FIG. 13 is a diagram for explaining a modification of the method for acquiring three-dimensional position information.
  • FIG. 14 is a diagram for explaining the second embodiment.
  • FIG. 15 is a flowchart for explaining processing of the ultrasonic diagnostic apparatus according to the second embodiment.
  • FIG. 16A is a diagram (1) for explaining the third embodiment.
  • FIG. 16B is a diagram (2) for explaining the third embodiment.
  • FIG. 17 is a diagram (3) for explaining the third embodiment.
  • FIG. 18 is a flowchart for explaining processing of the ultrasonic diagnostic apparatus according to the third embodiment.
  • FIG. 19 is a diagram (1) for explaining a modification of the first to third embodiments.
  • FIG. 20 is a diagram (2) for explaining a modification of the first to third embodiments.
  • a “parallax image group” is an image generated by performing volume rendering processing by moving a viewpoint position by a predetermined parallax angle with respect to volume data. It is a group. That is, the “parallax image group” includes a plurality of “parallax images” having different “viewpoint positions”.
  • the “parallax angle” is a predetermined position in the space represented by the volume data and an adjacent viewpoint position among the viewpoint positions set to generate the “parallax image group” (for example, the center of the space) It is an angle determined by.
  • the “parallax number” is the number of “parallax images” necessary for stereoscopic viewing on the stereoscopic display monitor.
  • the “9 parallax images” described below is a “parallax image group” composed of nine “parallax images”.
  • the “two-parallax image” described below is a “parallax image group” composed of two “parallax images”.
  • a “stereoscopic image” is an image stereoscopically viewed by an observer who refers to a stereoscopic display monitor that displays a “parallax image group”.
  • FIG. 1 is a diagram for explaining a configuration example of an ultrasonic diagnostic apparatus according to the first embodiment.
  • the ultrasonic diagnostic apparatus according to the first embodiment includes an ultrasonic probe 1, a monitor 2, an input device 3, an acquisition device 4, and a device body 10.
  • the ultrasonic probe 1 includes a plurality of piezoelectric vibrators, and the plurality of piezoelectric vibrators generate ultrasonic waves based on a drive signal supplied from a transmission unit 11 included in the apparatus main body 10 to be described later.
  • the ultrasonic probe 1 receives a reflected wave from the subject P and converts it into an electrical signal.
  • the ultrasonic probe 1 includes a matching layer provided in the piezoelectric vibrator, a backing material that prevents propagation of ultrasonic waves from the piezoelectric vibrator to the rear, and the like.
  • the ultrasonic probe 1 is detachably connected to the apparatus main body 10.
  • the transmitted ultrasonic waves are transmitted from the ultrasonic probe 1 to the subject P
  • the transmitted ultrasonic waves are reflected one after another at the discontinuous surface of the acoustic impedance in the body tissue of the subject P
  • the ultrasonic probe is used as a reflected wave signal. 1 is received by a plurality of piezoelectric vibrators.
  • the amplitude of the received reflected wave signal depends on the difference in acoustic impedance at the discontinuous surface where the ultrasonic wave is reflected.
  • the reflected wave signal when the transmitted ultrasonic pulse is reflected by the moving blood flow or the surface of the heart wall depends on the velocity component of the moving object in the ultrasonic transmission direction due to the Doppler effect. And undergoes a frequency shift.
  • the ultrasonic probe 1 is an ultrasonic probe that scans the subject P in two dimensions with ultrasonic waves
  • the ultrasonic probe that scans the subject P in three dimensions Even if it is, it is applicable.
  • the ultrasonic probe 1 that scans the subject P in three dimensions the subject P is swung at a predetermined angle (oscillation angle) by swinging a plurality of ultrasonic transducers that scan the subject P in two dimensions.
  • a plurality of ultrasonic transducers are arranged in a matrix so that the subject P can be ultrasonically scanned three-dimensionally 2.
  • Dimensional ultrasonic probe Note that the two-dimensional ultrasonic probe can also scan the subject P two-dimensionally by focusing and transmitting ultrasonic waves.
  • the ultrasonic probe 1 is an ultrasonic probe that scans the subject P two-dimensionally with ultrasonic waves.
  • the input device 3 includes a mouse, a keyboard, a button, a panel switch, a touch command screen, a foot switch, a trackball, a joystick, a force sense presentation device, etc., and accepts various setting requests from an operator of the ultrasonic diagnostic apparatus, The received various setting requests are transferred to the apparatus main body 10.
  • the monitor 2 displays a GUI (Graphical User Interface) for an operator of the ultrasonic diagnostic apparatus to input various setting requests using the input device 3, and displays an ultrasonic image generated in the apparatus main body 10. To do.
  • GUI Graphic User Interface
  • the monitor 2 displays a parallax image group that is a parallax image having a predetermined number of parallaxes, and displays a stereoscopic image that is stereoscopically recognized by an observer (hereinafter, a stereoscopic display monitor). ).
  • a stereoscopic display monitor displays a stereoscopic image that is stereoscopically recognized by an observer.
  • the stereoscopic display monitor will be described.
  • an apparatus that outputs an image to the general-purpose monitor needs to display two parallax images that can be viewed stereoscopically by the observer in parallel by the parallel method or the intersection method. is there.
  • an apparatus that outputs an image to a general-purpose monitor uses an after-color method with an eyeglass that has a red cellophane attached to the left eye portion and a blue cellophane attached to the right eye portion. It is necessary to display a stereoscopically viewable image.
  • a stereoscopic display monitor there is a monitor (hereinafter referred to as a “two-parallax monitor”) that enables stereoscopic viewing by binocular parallax by displaying a two-parallax image (also referred to as a binocular parallax image).
  • FIGS. 2A and 2B are diagrams for explaining an example of a stereoscopic display monitor that performs stereoscopic display using two parallax images.
  • An example shown in FIGS. 2A and 2B is a stereoscopic display monitor that performs stereoscopic display by a shutter method, and shutter glasses are used as stereoscopic glasses worn by an observer who observes the monitor.
  • Such a stereoscopic display monitor emits two parallax images alternately on the monitor.
  • the monitor shown in FIG. 2A alternately emits a left-eye image and a right-eye image at 120 Hz.
  • the monitor is provided with an infrared emitting unit, and the infrared emitting unit controls the emission of infrared rays in accordance with the timing at which the image is switched.
  • the infrared light emitted from the infrared light emitting unit is received by the infrared light receiving unit of the shutter glasses shown in FIG. 2A.
  • a shutter is attached to each of the left and right frames of the shutter glasses, and the shutter glasses alternately switch the transmission state and the light shielding state of the left and right shutters according to the timing when the infrared light receiving unit receives the infrared rays.
  • the switching process between the transmission state and the light shielding state in the shutter will be described.
  • each shutter has an incident-side polarizing plate and an output-side polarizing plate, and further has a liquid crystal layer between the incident-side polarizing plate and the output-side polarizing plate.
  • the incident-side polarizing plate and the outgoing-side polarizing plate are orthogonal to each other.
  • the light passing through the incident-side polarizing plate is rotated 90 degrees by the action of the liquid crystal layer, and the outgoing-side polarizing plate is To Penetrate. That is, a shutter to which no voltage is applied is in a transmissive state.
  • the infrared emitting unit emits infrared rays while the image for the left eye is displayed on the monitor.
  • the infrared light receiving unit applies a voltage to the right-eye shutter without applying a voltage to the left-eye shutter during a period of receiving the infrared light.
  • the right-eye shutter is in a light-shielding state and the left-eye shutter is in a transmissive state, so that an image for the left eye enters the left eye of the observer.
  • the infrared ray emitting unit stops emitting infrared rays while the right-eye image is displayed on the monitor.
  • the infrared light receiving unit applies a voltage to the left-eye shutter without applying a voltage to the right-eye shutter during a period in which no infrared light is received. Accordingly, the left-eye shutter is in a light-shielding state and the right-eye shutter is in a transmissive state, so that an image for the right eye enters the right eye of the observer.
  • the stereoscopic display monitor illustrated in FIGS. 2A and 2B displays an image that can be viewed stereoscopically by the observer by switching the image displayed on the monitor and the state of the shutter in conjunction with each other.
  • the two-parallax monitor there are a device that performs stereoscopic display by the polarized glasses method, a device that performs stereoscopic display by the parallax barrier method, and the like in addition to a device that performs stereoscopic display by the shutter method.
  • a stereoscopic display monitor that allows a viewer to stereoscopically view a multi-parallax image such as a 9-parallax image with the naked eye by using a light controller such as a lenticular lens.
  • a light controller such as a lenticular lens.
  • Such a stereoscopic display monitor enables stereoscopic viewing based on binocular parallax, and also enables stereoscopic viewing based on motion parallax that also changes the image observed in accordance with the viewpoint movement of the observer.
  • FIG. 3 is a diagram for explaining an example of a stereoscopic display monitor that performs stereoscopic display with nine parallax images.
  • a light beam controller is arranged on the front surface of a flat display surface 200 such as a liquid crystal panel.
  • a vertical lenticular sheet 201 whose optical aperture extends in the vertical direction is attached to the front surface of the display surface 200 as a light beam controller.
  • the vertical lenticular sheet 201 is pasted so that the convex portion of the vertical lenticular sheet 201 becomes the front surface, but the convex portion of the vertical lenticular sheet 201 is pasted so as to face the display surface 200. There may be.
  • the display surface 200 has an aspect ratio of 3: 1 and pixels in which three sub-pixels, red (R), green (G), and blue (B), are arranged in the vertical direction. 202 are arranged in a matrix.
  • the stereoscopic display monitor shown in FIG. 3 converts a nine-parallax image composed of nine images into an intermediate image arranged in a predetermined format (for example, a lattice shape), and then outputs it to the display surface 200. That is, the stereoscopic display monitor shown in FIG. 3 assigns and outputs nine pixels at the same position in nine parallax images to nine columns of pixels 202.
  • the nine columns of pixels 202 constitute a unit pixel group 203 that simultaneously displays nine images with different viewpoint positions.
  • the nine-parallax images simultaneously output as the unit pixel group 203 on the display surface 200 are emitted as parallel light by, for example, an LED (Light Emitting Diode) backlight, and further emitted in multiple directions by the vertical lenticular sheet 201.
  • an LED Light Emitting Diode
  • the light incident on the right eye and the left eye of the observer changes in conjunction with the position of the observer (viewpoint position). That is, the parallax angle between the parallax image incident on the right eye and the parallax image incident on the left eye differs depending on the viewing angle of the observer.
  • the observer can visually recognize the photographing object in three dimensions at each of the nine positions shown in FIG. 3, for example.
  • the observer can view the image three-dimensionally in a state of facing the object to be imaged at the position “5” shown in FIG. 3, and at each position other than “5” shown in FIG. It can be visually recognized in a three-dimensional manner with the direction of the object changed.
  • the stereoscopic display monitor shown in FIG. 3 is merely an example.
  • the stereoscopic display monitor that displays a nine-parallax image may be a horizontal stripe liquid crystal of “RRR..., GGG..., BBB. .. ”” May be used.
  • FIG. 3 may be a vertical lens system in which the lenticular sheet is vertical as shown in FIG. 3 or a diagonal lens system in which the lenticular sheet is diagonal. There may be.
  • the stereoscopic display monitor described with reference to FIG. 3 is referred to as a 9-parallax monitor.
  • the two-parallax monitor displays a stereoscopic image that is stereoscopically recognized by the observer by displaying a parallax image group (two-parallax images) that are two parallax images having a predetermined parallax angle between images.
  • the 9-parallax monitor displays a stereoscopic image that is stereoscopically recognized by the observer by displaying a parallax image group (9-parallax image) that is nine parallax images having a predetermined parallax angle between images.
  • 3D display monitor displays a stereoscopic image that is stereoscopically recognized by the observer by displaying a parallax image group (two-parallax image) that is nine parallax images having a predetermined parallax angle between images.
  • the first embodiment can be applied even when the monitor 2 is a two-parallax monitor or a nine-parallax monitor.
  • the monitor 2 is a 9-parallax monitor.
  • the acquisition device 4 acquires the three-dimensional position information of the ultrasonic probe 1.
  • the acquisition device 4 is a device that acquires three-dimensional position information of the ultrasonic probe 1 at the time of imaging an ultrasonic image. More specifically, the acquisition device 4 is a device that acquires the three-dimensional position information of the ultrasonic probe 1 with respect to the contact surface of the subject P with which the ultrasonic probe 1 is in contact during imaging of an ultrasonic image. is there.
  • the ultrasonic probe 1 is a body surface type probe, the contact surface becomes the body surface of the subject P.
  • the acquisition device 4 acquires the three-dimensional position information of the ultrasonic probe 1 with respect to the body surface of the subject P when the ultrasonic image is captured.
  • the ultrasound probe 1 is an intracavity probe such as a TEE probe used for transesophageal echocardiography
  • the contact surface is a tube of the subject P into which the ultrasound probe 1 is inserted. It becomes the inner wall of the cavity.
  • the acquisition device 4 acquires the three-dimensional position information of the ultrasonic probe 1 with respect to the inner wall of the subject P at the time of imaging the ultrasonic image.
  • the three-dimensional position information of the ultrasonic probe 1 acquired by the acquisition apparatus 4 is not limited to the three-dimensional position information of the ultrasonic probe 1 with respect to the contact surface.
  • a “sensor or a transmitter that transmits a magnetic signal” for setting a reference position is attached to an ultrasonic diagnostic apparatus or a bed, and the position of the ultrasonic probe 1 with respect to the attached sensor or transmitter is determined.
  • the three-dimensional position information of the ultrasonic probe 1 may be used.
  • the acquisition device 4 includes a sensor group 41 that is a position sensor attached to the ultrasonic probe 1, a transmitter 42, and a signal processing unit 43.
  • the sensor group 41 is a position sensor, for example, a magnetic sensor.
  • the transmitter 42 is disposed at an arbitrary position, and forms a magnetic field toward the outside centering on its own device.
  • the sensor group 41 detects the three-dimensional magnetic field formed by the transmitter 42, converts the detected magnetic field information into a signal, and outputs the signal to the signal processing unit 43. Based on the signal received from the sensor group 41, the signal processing unit 43 calculates the position (coordinates) of the sensor group 41 in the space with the transmitter 42 as the origin, and outputs the calculated position to the control unit 18 described later. Note that imaging of the subject P is performed in a magnetic field area in which the sensor group 41 attached to the ultrasonic probe 1 can accurately detect the magnetic field of the transmitter 42.
  • the sensor group 41 of the first embodiment will be described in detail later.
  • An apparatus body 10 shown in FIG. 1 is an apparatus that generates ultrasonic image data based on a reflected wave received by an ultrasonic probe 1, and includes a transmission unit 11, a reception unit 12, a B-mode processing unit 13, and a Doppler.
  • a processing unit 14, an image generation unit 15, a rendering processing unit 16, an image memory 17, a control unit 18, and an internal storage unit 19 are included.
  • the transmission unit 11 includes a trigger generation circuit, a transmission delay circuit, a pulser circuit, and the like, and supplies a drive signal to the ultrasonic probe 1.
  • the pulsar circuit repeatedly generates rate pulses for forming transmission ultrasonic waves at a predetermined rate frequency.
  • the transmission delay circuit also sets the delay time for each piezoelectric vibrator necessary for determining the transmission directivity by converging the ultrasonic wave generated from the ultrasonic probe 1 into a beam shape at each rate at which the pulsar circuit generates. Give to pulse.
  • the trigger generation circuit applies a drive signal (drive pulse) to the ultrasonic probe 1 at a timing based on the rate pulse. In other words, the delay circuit arbitrarily adjusts the transmission direction from the piezoelectric vibrator surface by changing the delay time given to each rate pulse.
  • the transmission unit 11 has a function capable of instantaneously changing a transmission frequency, a transmission drive voltage, and the like in order to execute a predetermined scan sequence based on an instruction from the control unit 18 described later.
  • the change of the transmission drive voltage is realized by a linear amplifier type transmission circuit capable of instantaneously switching its value or a mechanism for electrically switching a plurality of power supply units.
  • the receiving unit 12 includes an amplifier circuit, an A / D converter, an adder, and the like, and performs various processes on the reflected wave signal received by the ultrasonic probe 1 to generate reflected wave data.
  • the amplifier circuit amplifies the reflected wave signal for each channel and performs gain correction processing.
  • the A / D converter performs A / D conversion on the gain-corrected reflected wave signal and gives a delay time necessary for determining reception directivity to the digital data.
  • the adder performs an addition process of the reflected wave signal processed by the A / D converter to generate reflected wave data. By the addition processing of the adder, the reflection component from the direction corresponding to the reception directivity of the reflected wave signal is emphasized.
  • the transmission unit 11 and the reception unit 12 control transmission directivity and reception directivity in transmission / reception of ultrasonic waves.
  • the transmission unit 11 can also transmit a three-dimensional ultrasonic beam from the ultrasonic probe 1 to the subject P, and the reception unit 12.
  • the three-dimensional reflected wave data can be generated from the three-dimensional reflected wave signal received by the ultrasonic probe 1.
  • the B-mode processing unit 13 receives the reflected wave data from the receiving unit 12, performs logarithmic amplification, envelope detection processing, and the like, and generates data (B-mode data) in which the signal intensity is expressed by brightness. .
  • the Doppler processing unit 14 performs frequency analysis on velocity information from the reflected wave data received from the receiving unit 12, extracts blood flow, tissue, and contrast agent echo components due to the Doppler effect, and moving body information such as average velocity, dispersion, and power. Is generated for multiple points (Doppler data).
  • the B-mode processing unit 13 and the Doppler processing unit 14 can process both two-dimensional reflected wave data and three-dimensional reflected wave data. That is, the B-mode processing unit 13 can generate two-dimensional B-mode data from two-dimensional reflected wave data, and can also generate three-dimensional B-mode data from three-dimensional reflected wave data. The Doppler processing unit 14 can also generate two-dimensional Doppler data from two-dimensional reflected wave data, and can generate three-dimensional Doppler data from three-dimensional reflected wave data.
  • the image generation unit 15 generates an ultrasonic image based on the reflected wave received by the ultrasonic probe 1 in contact with the body surface of the subject P. That is, the image generation unit 15 generates ultrasonic image data from the data generated by the B mode processing unit 13 and the Doppler processing unit 14. Specifically, the image generation unit 15 generates B-mode image data in which the intensity of the reflected wave is expressed by luminance from the two-dimensional B-mode data generated by the B-mode processing unit 13. Further, the image generation unit 15 generates color Doppler image data as an average velocity image, a dispersed image, a power image, or a combination image representing the moving body information from the two-dimensional Doppler data generated by the Doppler processing unit 14. To do.
  • the image generation unit 15 generally converts (scan converts) a scanning line signal sequence of ultrasonic scanning into a scanning line signal sequence of a video format represented by a television or the like, and displays ultrasonic waves for display. Generate image data. Specifically, the image generation unit 15 generates ultrasonic image data for display by performing coordinate conversion in accordance with the ultrasonic scanning mode of the ultrasonic probe 1. Further, the image generation unit 15 synthesizes character information, scales, body marks, and the like of various parameters with the ultrasonic image data.
  • the image generation unit 15 can also generate three-dimensional ultrasonic image data. That is, the image generation unit 15 can generate three-dimensional B-mode image data by performing coordinate conversion on the three-dimensional B-mode data generated by the B-mode processing unit 13. The image generation unit 15 can also generate three-dimensional color Doppler image data by performing coordinate conversion on the three-dimensional Doppler data generated by the Doppler processing unit 14.
  • the rendering processing unit 16 performs various rendering processes on the volume data. Specifically, the rendering processing unit 16 applies volume data that is three-dimensional ultrasound image data generated by imaging the subject P in real space, or virtual volume data set in the virtual space. It is a processing unit that performs various rendering processes. For example, the rendering processing unit 16 renders 3D ultrasound image data to generate 2D ultrasound image data for display. The rendering processing unit 16 generates two-dimensional image data to be superimposed on the two-dimensional ultrasonic image data for display by rendering the virtual volume data.
  • the rendering processing performed by the rendering processing unit 16 includes processing for reconstructing an MPR image by performing a cross-section reconstruction method (MPR: Multi Planer Reconstruction).
  • MPR Multi Planer Reconstruction
  • the rendering processing performed by the rendering processing unit 16 includes processing for performing “Curved MPR” on volume data and processing for performing “Intensity Projection” on volume data.
  • the rendering processing performed by the rendering processing unit 16 includes volume rendering processing for generating a two-dimensional image reflecting three-dimensional information. That is, the rendering processing unit 16 generates a parallax image group by performing volume rendering processing from a plurality of viewpoints centered on the reference viewpoint on the three-dimensional ultrasonic image data and virtual volume data. Specifically, since the monitor 2 is a 9-parallax monitor, the rendering processing unit 16 generates a 9-parallax image by performing volume rendering processing from 9 viewpoints centering on the reference viewpoint on the volume data. To do.
  • the rendering processing unit 16 generates a nine-parallax image by performing a volume rendering process shown in FIG. 4 under the control of the control unit 18 described later.
  • FIG. 4 is a diagram for explaining an example of a volume rendering process for generating a parallax image group.
  • the rendering processing unit 16 accepts the parallel projection method as a rendering condition, and further, the reference viewpoint position (5) and the parallax angle “1”. ”Degree”. In this case, the rendering processing unit 16 translates the position of the viewpoint from (1) to (9) so that the parallax angle is every “1 degree”, and uses the parallel projection method to change the parallax angle (between the gaze directions). Nine parallax images with different angles are generated by 1 degree.
  • the rendering processing unit 16 sets a light source that emits parallel light rays from infinity along the line-of-sight direction.
  • the rendering processing unit 16 accepts a perspective projection method as a rendering condition, and further, the position (5) of the reference viewpoint and the parallax angle “1”. ”Degree”. In such a case, the rendering processing unit 16 rotationally moves the viewpoint position from (1) to (9) so that the parallax angle is “1 degree” around the center (center of gravity) of the volume data, and the fluoroscopy is performed.
  • the viewpoint position from (1) to (9) so that the parallax angle is “1 degree” around the center (center of gravity) of the volume data, and the fluoroscopy is performed.
  • Nine parallax images having different parallax angles by 1 degree are generated by the projection method.
  • the rendering processing unit 16 sets a point light source and a surface light source that radiate light in a three-dimensional manner around the line-of-sight direction at each viewpoint.
  • the viewpoints (1) to (9) may be moved in parallel depending on the rendering conditions.
  • the rendering processing unit 16 irradiates light two-dimensionally radially around the line-of-sight direction with respect to the vertical direction of the displayed volume rendering image, and with respect to the horizontal direction of the displayed volume rendering image.
  • the volume rendering process using both the parallel projection method and the perspective projection method may be performed by setting a light source that emits parallel light rays from infinity along the line-of-sight direction.
  • the nine parallax images generated in this way are a group of parallax images. That is, the parallax image group is an image group for stereoscopic display generated from the volume data.
  • the rendering processing unit 16 When the monitor 2 is a two-parallax monitor, the rendering processing unit 16 generates a two-parallax image by setting two viewpoints with a parallax angle “1 degree”, for example, with the reference viewpoint as the center. To do.
  • the rendering processing unit 16 also has a drawing function for generating a two-dimensional image in which a predetermined shape is drawn.
  • the rendering processing unit 16 generates a parallax image group by volume rendering processing not only from three-dimensional ultrasound image data but also from virtual volume data. Then, the image generation unit 15 generates a composite image group in which the ultrasonic image data and the parallax image group generated by the rendering processing unit 16 are combined.
  • the parallax image group generated from the virtual volume data by the rendering processing unit 16 according to the first embodiment and the composite image group generated by the image generation unit 15 according to the first embodiment will be described in detail later.
  • the image memory 17 is a memory for storing image data generated by the image generation unit 15 and the rendering processing unit 16.
  • the image memory 17 can also store data generated by the B-mode processing unit 13 and the Doppler processing unit 14.
  • the internal storage unit 19 stores a control program for performing ultrasonic transmission / reception, image processing and display processing, diagnostic information (for example, patient ID, doctor's findings, etc.), various data such as a diagnostic protocol and various body marks. To do.
  • the internal storage unit 19 is also used for storing image data stored in the image memory 17 as necessary.
  • the internal storage unit 19 uses the offset information for the acquisition device 4 to acquire the position information of the sensor group 41 as the three-dimensional position information of the ultrasonic probe 1 with respect to the contact surface (for example, the body surface) of the subject P.
  • the offset information will be described later in detail.
  • the control unit 18 controls the entire processing of the ultrasonic diagnostic apparatus. Specifically, the control unit 18 is based on various setting requests input from the operator via the input device 3 and various control programs and various data read from the internal storage unit 19. 12. Control processing of the B-mode processing unit 13, the Doppler processing unit 14, the image generation unit 15, and the rendering processing unit 16. For example, the control unit 18 controls the volume rendering process of the rendering processing unit 16 based on the three-dimensional position information of the ultrasonic probe 1 acquired by the acquisition device 4.
  • control unit 18 performs control so that the display 2 displays ultrasonic image data for display stored in the image memory 17 or the internal storage unit 19.
  • control unit 18 converts the 9-parallax image into an intermediate image arranged in a predetermined format (for example, a lattice shape), and outputs the intermediate image to the monitor 2 as a stereoscopic display monitor.
  • a stereoscopic image recognized stereoscopically by an observer is displayed.
  • the ultrasonic diagnostic apparatus according to the first embodiment performs the following processing to present three-dimensional information related to the operation of the ultrasonic probe 1.
  • the acquisition device 4 acquires the three-dimensional position information of the ultrasonic probe 1 at the time of imaging an ultrasonic image. Specifically, the acquisition device 4 acquires three-dimensional position information using a position sensor (sensor group 41) attached to the ultrasonic probe 1. 5A, FIG. 5B, FIG. 5C, FIG. 6, FIG. 7A, FIG. 7B and FIG.
  • the sensor group 41 For example, on the surface of the ultrasonic probe 1, as shown in FIG. 5A, as the sensor group 41, three magnetic sensors of a magnetic sensor 41a, a magnetic sensor 41b, and a magnetic sensor 41c are attached. As shown in FIG. 5A, the magnetic sensor 41a and the magnetic sensor 41b are attached in parallel to the direction in which the vibrators are arranged. The magnetic sensor 41c is attached in the vicinity of the upper end of the ultrasonic probe 1 as shown in FIG. 5A.
  • the internal storage unit 19 stores, for example, offset information (L1 to L4) shown in FIG. 5B as position information to which the sensor group 41 is attached.
  • the distance “L1” is a distance between a straight line connecting positions where the magnetic sensor 41a and the magnetic sensor 41b are attached and a position where the magnetic sensor 41c is attached.
  • the distance “L2” is a distance between a straight line connecting positions where the magnetic sensor 41a and the magnetic sensor 41b are attached to the array surface of the vibrator.
  • the distance “L2” is the distance between the straight line connecting the positions where the magnetic sensor 41a and the magnetic sensor 41b are attached and the contact surface (for example, the body surface of the subject P). Become.
  • the distance “L3” is a distance in the transducer arrangement direction between the magnetic sensor 41a and the magnetic sensor 41c, as shown in FIG. 5B.
  • the distance “L4” is a distance in the transducer arrangement direction between the magnetic sensor 41b and the magnetic sensor 41c, as shown in FIG. 5B.
  • the operator moves the ultrasonic probe 1 in various directions as shown in FIG. 6 in a state where the operator touches the body surface of the subject P in order to capture an optimal B-mode image for diagnostic imaging.
  • the signal processing unit 43 of the acquisition device 4 uses the offset information shown in FIG. 5B to obtain the body of the subject P of the ultrasonic probe 1 at the time of imaging shown in FIG. 6 from the acquired position (coordinates) of the sensor group 41. Three-dimensional position information for the table can be acquired.
  • the operator can select an acquisition pattern of the three-dimensional position information as necessary when the acquisition device 4 acquires the three-dimensional position information of the ultrasonic probe 1. For example, when performing imaging while moving the ultrasonic probe 1 in a state where the angle with respect to the subject P is fixed, the operator can select only one magnetic sensor position in the sensor group 41 or the sensor group 41. Is selected when the acquisition device 4 acquires the center of gravity position (first acquisition pattern). When the first acquisition pattern is selected, the acquisition device 4 acquires the three-dimensional position information in the real space of the ultrasonic probe 1 as one trajectory as illustrated in FIG. 7A.
  • the three-dimensional position information shown in FIG. 7A is the position information of the body surface and the inner wall of the subject P with which the ultrasonic probe 1 is in contact.
  • the three-dimensional position information is not a relationship with the subject P but is represented as position information in absolute coordinates.
  • the first acquisition pattern is selected when the operator moves the ultrasonic probe 1 up and down in the vertical direction with respect to the body surface, for example, when performing ultrasonic elastography.
  • the operator selects, for example, the acquisition device 4 to acquire the positions of the magnetic sensor 41a and the magnetic sensor 41b (second acquisition pattern).
  • the acquisition device 4 acquires the three-dimensional position information in the real space of the ultrasonic probe 1 as two trajectories as illustrated in FIG. 7B.
  • the three-dimensional position information illustrated in FIG. 7B is position information regarding the body surface of the subject P with which the ultrasonic probe 1 is in contact, the position of the inner wall of the lumen, and the azimuth direction of the ultrasonic beam.
  • the acquisition device 4 can also acquire three-dimensional position information of the rotational movement of the ultrasonic probe 1 by the operator.
  • the operator selects when the acquisition device 4 acquires all positions of the sensor group 41 (third acquisition pattern).
  • the acquisition device 4 acquires three-dimensional position information of the ultrasonic probe 1 in the real space as three trajectories.
  • the acquisition device 4 can also acquire three-dimensional position information related to the degree of inclination of the ultrasonic probe 1 by the operator.
  • the acquisition device 4 determines the position of the body surface and lumen inner wall of the subject P in contact with the ultrasonic probe 1, the azimuth direction of the ultrasonic beam, and the depth of the ultrasonic beam. This is position information regarding the vertical direction.
  • the third acquisition pattern is a pattern selected in general imaging, and is selected, for example, when imaging the apex four-chamber image by the apex approach.
  • the acquisition device 4 acquires the three-dimensional position information of the ultrasonic probe 1 that moves on the body surface of the subject P by being operated by the operator. Then, the acquisition device 4 notifies the control unit 18 of the acquired three-dimensional position information.
  • the control unit 18 acquires three-dimensional position information with respect to the body surface of the ultrasonic probe 1 at the time of imaging from the acquisition device 4, and renders the virtual volume data of the ultrasonic probe 1 based on the acquired three-dimensional position information. Control to perform processing.
  • the rendering processing unit 16 is a probe image group that is a parallax image group for virtually recognizing the ultrasound probe 1 as a stereoscopic image based on the three-dimensional position information acquired by the acquisition device 4. Is generated by volume rendering processing. For example, the rendering processing unit 16 translates or rotationally moves virtual volume data (hereinafter referred to as virtual probe 3D data) of the ultrasonic probe 1 set in the virtual space based on the three-dimensional position information. To do. Then, the rendering processing unit 16 sets a reference viewpoint for the moved virtual probe 3D data. For example, the reference viewpoint is set at a position facing the captured B-mode image. Then, the rendering processing unit 16 sets nine viewpoints whose parallax angles are every other degree with respect to the center of gravity of the virtual probe 3D data, for example, with the reference viewpoint as the center.
  • virtual probe 3D data virtual volume data
  • the rendering processing unit 16 sets a reference viewpoint for the moved virtual probe 3D data. For example, the reference viewpoint is set at a position facing the captured B
  • the rendering processing unit 16 performs volume rendering processing using the perspective projection method from nine viewpoints toward the center of gravity of the virtual probe 3D data, thereby performing the probe image group “probe images (1) to (9)”. Is generated.
  • the control unit 18 includes at least an ultrasonic image generated by the image generation unit 15 and a contact surface image indicating the contact surface of the subject P with which the ultrasonic probe 1 is in contact as a feature image indicating the characteristics of the imaging situation. Control is performed so that one and the probe image group are displayed on the monitor 2 in a positional relationship based on the three-dimensional positional information.
  • the contact surface image is a body surface image indicating the body surface of the subject P.
  • the ultrasonic image as the feature image is a B-mode image generated from the reflected wave received by the ultrasonic probe 1 when the three-dimensional position information used for generating the probe image group is acquired. is there.
  • the body surface image which is a contact surface image as a feature image
  • the body surface image as the feature image is a rendering image generated from a 3D body mark in which the imaging region is three-dimensionally depicted or volume data of the imaging region.
  • the rendering image as the body surface image is, for example, a surface rendering image of mammary gland tissue that is an imaging region.
  • the rendered image as the body surface image is, for example, an MPR image of mammary gland tissue that is an imaging region.
  • the rendered image as the body surface image is, for example, an image obtained by synthesizing an MPR image that is one section of the mammary gland tissue with a surface rendered image of the mammary gland tissue that is the imaging region.
  • the control unit 18 When performing the above-described display control, for example, the control unit 18 combines the “probe images (1) to (9)” with the B-mode image synthesized in the positional relationship based on the three-dimensional position information.
  • the group “composite images (1) to (9)” is generated by the image generation unit 15.
  • the control unit 18 displays the B-mode image and the body surface image (the 3D body mark of the breast and the rendered image of the breast tissue) as the three-dimensional position information.
  • the image generation unit 15 generates a composite image group “composite images (1) to (9)” that are combined with each other based on the positional relationship.
  • control unit 18 displays the composite image group “composite images (1) to (9)” on each of the nine columns of pixels 202 (see FIG. 3), thereby causing the monitor 2 to display the three-dimensional image of the composite image group. Display an image. Further, the control unit 18 stores the composite image group (probe image group and feature image) displayed on the monitor 2 in the image memory 17 or the internal storage unit 19. For example, the control unit 18 stores the examination ID in association with the composite image group displayed on the monitor 2.
  • FIGS. 8 and 9 are diagrams for explaining an example of display control of the control unit according to the first embodiment.
  • the monitor 2 displays the probe image group and the B-mode image “F1” as three-dimensional position information as shown in FIG.
  • a synthesized image group synthesized with the positional relationship based on the is displayed.
  • the monitor 2 controls the display of the control unit 18 so that the probe 2 and the B-mode image are displayed as shown in FIG.
  • a composite image group in which “F1” and the rendering image “F2” of the mammary gland tissue are combined in a positional relationship based on the three-dimensional positional information is displayed.
  • FIGS. 8 and 9 are diagrams for explaining another form of display control of the control unit according to the first embodiment described with reference to FIGS. 8 and 9.
  • the image generation unit 15 generates a plurality of ultrasonic images along the time series based on the reflected waves received by the ultrasonic probe 1 along the time series. Specifically, the image generation unit 15 is configured to perform a plurality of time-series operations during the period in which the operator operates the ultrasonic probe 1 in order to capture a B-mode image in which the tumor site of the breast is clearly depicted. A B-mode image is generated. For example, the image generation unit 15 generates a B-mode image “F1 (t1)” at time “t1” and a B-mode image “F1 (t2)” at time “t2”.
  • the acquisition device 4 acquires the three-dimensional position information along the time series in association with the time information at the time of shooting. Specifically, the acquisition device 4 acquires the three-dimensional position information at the time of capturing each of the plurality of ultrasonic images along the time series in association with the time information at the time of capturing. For example, the acquisition device 4 acquires the three-dimensional position information acquired at the time “t1”, and notifies the control unit 18 of the acquired three-dimensional position information in association with the time information “t1”. For example, the acquisition device 4 acquires the three-dimensional position information acquired at time “t2”, and notifies the control unit 18 of the acquired three-dimensional position information in association with the time information “t2”.
  • the rendering processing unit 16 generates a plurality of probe image groups along the time series based on the three-dimensional position information and the time information along the time series. Specifically, the rendering processing unit 16 generates a plurality of probe image groups along the time series based on the three-dimensional position information and time information at the time of capturing each of the plurality of ultrasonic images along the time series. . For example, the rendering processing unit 16 is based on the three-dimensional position information acquired at time “t1”, and “3DP” is a stereoscopic image of the ultrasound probe 1 at time “t1” (hereinafter referred to as 3D probe image). A “probe image group (t1)” for displaying “(t1)” is generated.
  • the rendering processing unit 16 displays a “probe image” for displaying “3DP (t2)” that is a 3D probe image at the time “t2” based on the three-dimensional position information acquired at the time “t2”.
  • Group (t2) "is generated.
  • the control unit 18 performs control so that each of the plurality of probe image groups along the time series and each of the plurality of ultrasonic images along the time series as the feature images are displayed on the monitor 2.
  • the image generation unit 15 converts the “probe image group (t1)”, the B-mode image “F1 (t1)”, and the rendering image “F2” of the mammary gland tissue to the time “t1”.
  • “Composite image group (t1)” synthesized by the positional relationship based on the three-dimensional position information acquired in ".”
  • the image generation unit 15 obtains the “probe image group (t2)”, the B-mode image “F1 (t2)”, and the rendering image “F2” of the mammary gland tissue at the time “t2”.
  • a “composite image group (t2)” synthesized by the positional relationship based on the positional information is generated.
  • the control unit 18 causes the monitor 2 to display the composite image group generated by the image generation unit 15.
  • the monitor 2 displays the “3D probe image 3DP (t1)” and the B-mode image “F1 (t1)” on the rendered image “F2” of the mammary gland tissue as shown in FIG.
  • a “3D probe image 3DP (t2)” and a B-mode image “F1 (t2)” are displayed on the tissue rendering image “F2”.
  • the 3D probe image and the B-mode image at each time are superimposed and displayed.
  • the stereoscopic image of the ultrasonic probe 1 at each time is
  • the B mode image may be displayed as a moving image or displayed in parallel.
  • the rendering processing unit 16 changes the shape of the body surface image, which is the contact surface image, in time series based on the three-dimensional position information and time information by using the two-dimensional image drawing function.
  • a plurality of body surface images which are a plurality of contact surface images along the line are generated.
  • the rendering processing unit 16 uses the two-dimensional image drawing function to determine the shape of the body surface image based on the three-dimensional position information and time information at the time of photographing each of the plurality of time-series ultrasonic images. Is changed along the time series to generate a plurality of body surface images along the time series.
  • the control unit 18 controls the monitor 2 to display each of the plurality of probe image groups along the time series and each of the plurality of body surface images along the time series as the feature images.
  • the rendering processing unit 16 generates a body mark along the time series in which the appearance that the body surface of the subject P is compressed is drawn based on the three-dimensional position information acquired at the time of elastography imaging. Then, under the control of the control unit 18, the image generation unit 15 acquires each of the plurality of probe image groups along the time series and each of the plurality of body marks along the time series at the corresponding time. A plurality of synthesized image groups are generated along a time series synthesized by the positional relationship based on the dimensional position information.
  • the control unit 18 causes the monitor 2 to display the composite image group generated by the image generation unit 15. As a result, the monitor 2 displays a three-dimensional image indicating the compression state of the body surface by the operation using the ultrasonic probe 1 as shown in FIG. Although not shown in FIG. 11, the control unit 18 may display the elastography generated by the image generation unit 15 together with the probe image group and the body mark.
  • FIG. 12 is a flowchart for explaining processing of the ultrasonic diagnostic apparatus according to the first embodiment.
  • processing after imaging of an ultrasound image is started in a state where the ultrasound probe 1 is applied to the subject P will be described.
  • the control unit 18 of the ultrasonic diagnostic apparatus determines whether or not the three-dimensional position information is acquired by the acquisition apparatus 4 (step S101). If the three-dimensional position information is not acquired (No at Step S101), the control unit 18 waits until the three-dimensional position information is acquired.
  • the rendering processing unit 16 when the three-dimensional position information is acquired (Yes at Step S101), the rendering processing unit 16 generates a probe image group under the control of the control unit 18 (Step S102). In parallel with the generation of the probe image group, the image generation unit 15 generates an ultrasonic image.
  • the image generation unit 15 generates a composite image group of the probe image group and the feature image (step S103). Then, under the control of the control unit 18, the monitor 2 displays the composite image group (step S104).
  • control unit 18 stores the composite image group in the image memory 17 (step S105) and ends the process.
  • control unit 18 continues the determination process in step S101.
  • the deformed body mark is generated by the rendering processing unit 16 together with the probe image group in step S102.
  • the observer of the monitor 2 can select the B mode image “when the ultrasonic probe 1 is in any operation state. It is possible to grasp three-dimensionally whether “F1” has been shot.
  • the observer of the monitor 2 can apply the ultrasonic probe 1 to the body surface of the subject P in any direction and angle. It is possible to grasp three-dimensionally whether the B-mode image “F1” has been captured.
  • the observer of the monitor 2 can check the three-dimensional operation status of the ultrasonic probe 1 when the B-mode image “F1” is captured. Can be confirmed.
  • the observer of the monitor 2 operates the ultrasonic probe 1 in a three-dimensional manner in a state where it is applied to the body surface of the subject P. Thus, it can be grasped along a time series whether an ultrasonic image for image diagnosis is taken.
  • the observer of the monitor 2 can determine how much the elastography generated by the image generation unit 15 presses the body surface of the subject P with the ultrasonic probe 1. It is possible to grasp whether the image is a photographed image.
  • the observer of the monitor 2 can perform a three-dimensional operation state of the ultrasonic probe 1 at the time of image capturing. Can be confirmed.
  • the ultrasonic diagnostic apparatus according to the first embodiment, the quality of information provided to the ultrasonic image reader is improved, the reproducibility quality at the time of re-examination is improved, and the variation of the inspection procedure by the operator is reduced. It can contribute to improvement of diagnostic quality by reduction.
  • FIG. 13 is a diagram for explaining a modification of the method for acquiring three-dimensional position information.
  • a marker is attached to the surface of the ultrasonic probe 1 as shown in FIG.
  • the distance between the marker and the transducer array surface, the distance between the marker and the end of the ultrasonic probe 1, and the like are stored in the internal storage unit 19 as offset information.
  • the control unit 18 acquires the three-dimensional position information by analyzing a plurality of images captured using the offset information.
  • the three-dimensional position information may be acquired by an acceleration sensor.
  • the control unit 18 acquires three-dimensional position information via the input device 2 instead of the acquisition device 4.
  • the control unit 18 is configured to display 3 at the time of capturing the ultrasonic image based on the input information input via the input device 3 by the observer who refers to the ultrasonic image generated in the past by the image generation unit 15. Get dimension position information.
  • FIG. 14 is a diagram for explaining the second embodiment.
  • the monitor 2 displays a past ultrasonic image (past image) designated by the observer as shown in FIG. 14 under the control of the control unit 18, and the past image designated by the observer is displayed.
  • a rendering image showing the imaging region is displayed.
  • the observer refers to the monitor 2 and, for example, operates the haptic presentation device 3a in which the acceleration sensor included in the input device 3 is built, or the joystick 3b, thereby taking an ultrasonic image taken by the observer in the past.
  • the direction and angle of the ultrasonic probe 1 at the time are input.
  • the control unit 18 acquires three-dimensional position information at the time of past image shooting, and the rendering processing unit 16 generates a probe image group using the three-dimensional position information based on the input information.
  • control unit 18 causes the monitor 2 to display a stereoscopic image as illustrated in FIG. Further, the control unit 18 stores a composite image group used for displaying a stereoscopic image as illustrated in FIG. 9 in, for example, the image memory 17.
  • the input information related to the three-dimensional position information may be input using the mouse or keyboard of the input device 3.
  • the input information related to the above three-dimensional position information may be acquired by the acquisition device 4 using the ultrasonic probe 1 to which the sensor group 41 described in the first embodiment is attached as an input device. .
  • FIG. 15 is a flowchart for explaining processing of the ultrasonic diagnostic apparatus according to the second embodiment. In the following, processing after a past ultrasonic image is displayed on the monitor 2 will be described.
  • the control unit 18 of the ultrasonic diagnostic apparatus determines whether or not input information regarding three-dimensional position information is input from the observer of the monitor 2 via the input device 3. Is determined (step S201).
  • the control unit 18 waits until it is input.
  • Step S201 when input information related to the three-dimensional position information is input (Yes at Step S201), the rendering processing unit 16 generates a probe image group under the control of the control unit 18 (Step S202).
  • the image generation unit 15 generates a composite image group of the probe image group and the feature image (step S203). Then, under the control of the control unit 18, the monitor 2 displays the composite image group (step S204).
  • control unit 18 stores the composite image group in the image memory 17 (step S205), and ends the process.
  • the probe image group can be synthesized and displayed from the input information of the observer referring to the ultrasonic images taken in the past. Therefore, in the second embodiment, three-dimensional information related to the operation of the ultrasonic probe 1 can be presented for ultrasonic images taken in the past.
  • the second embodiment may be a case where a plurality of probe image groups along the time series are generated with reference to a plurality of ultrasonic images taken along the time series taken in the past.
  • FIG. 16A, FIG. 16B, FIG. 17, etc. in the case of using the composite image group described in the first embodiment in order to perform imaging of the same part as an ultrasound image captured in the past. Will be described.
  • FIG. 16A, FIG. 16B, and FIG. 17 are diagrams for explaining the third embodiment.
  • the control unit 18 displays the past ultrasonic image and probe image group of the subject P acquired from the image memory 17 in the first area in the display area of the monitor 2. Specifically, when the operator designates a past examination ID of the subject P, the control unit 18 acquires a composite image group of the designated examination ID from the image memory 17.
  • a past composite image group that is a composite image group of the designated examination ID is referred to as a past image group.
  • the acquired past image group includes the B-mode image along the past time series illustrated in FIG. 10, the rendered image indicating the imaging region, and the probe image group of the ultrasonic probe 1 at the time of the past image capturing.
  • a plurality of past image groups in time series the operator refers to the moving images of a plurality of past image groups in time series, and selects the past image group in which the past tumor site “T”, which is a characteristic site to be followed up, is most clearly depicted. specify.
  • the monitor 2 displays the past image group in which the past tumor site “T” is depicted in the first region of FIG. 16A.
  • the control part 18 which concerns on 3rd Embodiment displays the ultrasonic image image
  • FIG. 16A With this display control, the operator of the ultrasonic probe 1 who is an observer of the monitor 2 operates the ultrasonic probe 1 to which the sensor group 41 is attached, and the current tumor corresponding to the past tumor site “T”.
  • a B-mode image including the part “T ′” is displayed in the second region (see FIG. 16A).
  • control part 18 which concerns on 3rd Embodiment is the past ultrasonic image and probe image which corresponded to the three-dimensional position information of the ultrasonic probe 1 at the time of imaging
  • Control is performed so that the group is displayed in the first region. That is, as shown in FIG. 16B, the acquisition device 4 acquires the three-dimensional position information of the ultrasonic probe 1 at the time of capturing an ultrasonic image at the present time (hereinafter, the current image). Then, the control unit 18 selects the past image group in which the probe image group matching the three-dimensional position information is combined from “a plurality of past image groups in time series” and displays the selected group in the first area. That is, as shown in FIG. 16B, the control unit 18 displays a past image group that matches the three-dimensional position information.
  • the operator of the ultrasonic probe 1 can place the current tumor site “T” at a position substantially similar to the past tumor site “T”.
  • the ultrasonic probe 1 is operated until the current image in which “T ′” is drawn is displayed.
  • the monitor 2 displays the current image in which the current tumor site “T ′” is depicted at the same position as the past tumor site “T” in the second region.
  • the current image displayed in the second area is stored in the image memory 17 by the control unit 18 when the operator performs a confirmation input by pressing the confirmation button of the input device 3, for example.
  • the rendering processing unit 16 Depending on the current operation state of the ultrasound probe 1, it is not possible to select a past image group in which probe image groups that match the three-dimensional position information are synthesized from “a plurality of past image groups in time series”. There is a case. In such a case, the rendering processing unit 16 newly generates a probe image group that matches the three-dimensional position information. Further, the rendering processing unit 16 generates an ultrasonic image that matches the three-dimensional position information by interpolation processing.
  • control unit 18 selects two past ultrasonic images generated when the past three-dimensional position information having coordinates close to the coordinates of the current three-dimensional position information is acquired. Then, the rendering processing unit 16 newly generates an ultrasonic image that matches the current three-dimensional position information by interpolation processing using the depth information of each of the two ultrasonic images selected by the control unit 18. Accordingly, the image generation unit 15 newly generates a composite image group that matches the current three-dimensional position information as a past image group.
  • FIG. 18 is a flowchart for explaining processing of the ultrasonic diagnostic apparatus according to the third embodiment.
  • a process after a plurality of past image groups in time series in the first area of the monitor 2 are displayed as moving images will be described.
  • the control unit 18 of the ultrasonic diagnostic apparatus determines whether or not a past image group in which a characteristic part is most clearly depicted has been designated (step S301).
  • the control unit 18 waits until it is designated.
  • the monitor 2 displays the designated past image group and the current image in parallel under the control of the control unit 18 (Step S302).
  • the control unit 18 determines whether or not the acquisition device 4 has acquired the current three-dimensional position information (step S303). If not acquired (No at Step S303), the control unit 18 waits until the current three-dimensional position information is acquired. On the other hand, when the current three-dimensional position information is acquired (Yes at Step S303), the control unit 18 determines whether there is a past image group that matches the current three-dimensional position information (Step S304). ).
  • control unit 18 selects the matching past image group, and selects the selected past image group and the current image. Parallel display is performed (step S305).
  • step S304 when there is no past image group that matches the current three-dimensional position information (No in step S304), the rendering processing unit 16 and the image generation unit 15 cooperate with each other under the control of the control unit 18. A past image group matching the three-dimensional position information is newly generated by interpolation processing (step S306). Then, the control unit 18 displays the newly generated past image group and the current image in parallel (step S307).
  • step S305 or step S307 the control unit 18 determines whether or not a confirmed input has been received from the operator (step S308).
  • the control unit 18 returns to Step S303 and determines whether or not the current three-dimensional position information has been acquired.
  • the control unit 18 stores the ultrasonic image (current image) at the time of the confirmed input (Step S309), and ends the process.
  • the observer of the monitor 2 when the follow-up observation of the characteristic part of the ultrasonic image at the time of the past examination is performed, the observer of the monitor 2 does not match the superordinate that matches the current three-dimensional position information. While referring to a stereoscopic image of the acoustic probe 1 and a past ultrasonic image captured with the current three-dimensional position information, an ultrasonic image captured at the present time can be referred to. That is, the observer of the monitor 2 can perform the follow-up observation of the characteristic part at the present time by operating the ultrasonic probe 1 while grasping the past three-dimensional operation state of the ultrasonic probe 1. Therefore, in the third embodiment, the reproducibility quality at the time of re-inspection can be further improved.
  • the monitor 2 is a 9-parallax monitor.
  • the first to third embodiments described above are applicable even when the monitor 2 is a two-parallax monitor.
  • the ultrasonic image synthesized with the probe image group is a B-mode image
  • the first to third embodiments described above may be cases where the ultrasonic image combined with the probe image group is a color Doppler image.
  • the ultrasonic image synthesized with the probe image group may be a parallax image group generated from three-dimensional ultrasonic image data.
  • FIGS. 19 and 20 are diagrams for explaining modifications of the first to third embodiments.
  • a virtual endoscopy (VE) image capable of observing a lumen is generated and displayed from volume data including the lumen.
  • a display method of the VE image there is a flythrough display in which the VE image is displayed as a moving image by moving the viewpoint along the core line of the lumen.
  • the operator touches the breast of the subject P with an ultrasonic probe 1 (such as a mechanical scan probe) capable of three-dimensional scanning.
  • an ultrasonic probe 1 such as a mechanical scan probe
  • the rendering processing unit 16 extracts a lumen region from the volume data by extracting a pixel (voxel) having a luminance value corresponding to the luminance value of the lumen. Then, for example, the rendering processing unit 16 extracts the core line of the lumen by thinning the extracted lumen region. For example, the rendering processing unit 16 generates a VE image from the viewpoint on the core line by a perspective projection method. Note that the rendering processing unit 16 generates a plurality of fly-through display VE images by moving the viewpoint along the lumen core line.
  • the acquisition device 4 acquires the three-dimensional position information of the ultrasonic probe 1 at the time of volume data collection used to generate the VE image. Then, the control unit 18 displays the composite image group of the feature image and each of the probe images constituting the probe image group on the monitor 2 by performing the control process described in the first embodiment, and the image memory 17 to store.
  • FIG. 19 shows an example of an image displayed on the monitor 2 under the control of the control unit 18 when fly-through display is performed.
  • An image 100 shown in FIG. 19 is a 3D probe image that allows the observer to observe the ultrasonic probe 1 in three dimensions as a result of displaying on the monitor 2 a group of probe images generated by the rendering processing unit 16 based on the three-dimensional position information. is there.
  • an image 101 shown in FIG. 19 is a body surface image as a contact surface image, and is, for example, a 3D body mark that three-dimensionally depicts a breast that is an imaging region.
  • an image 102 shown in FIG. 19 is an image of an area including a lumen area used for fly-through display in volume data.
  • an image 102 illustrated in FIG. 19 is a lumen image generated by the rendering processing unit 16 in the cavity mode in which the luminance value is reversed in black and white. By reversing the luminance value in black and white, the visibility of the lumen can be improved.
  • an image 104 shown in FIG. 19 is a VE image displayed in a fly-through manner.
  • the images 101 to 104 are feature images.
  • the images 100 to 103 are displayed on the monitor 2 in a positional relationship based on the three-dimensional position information under the control of the control unit 18.
  • the image 104 is arranged under the images 100 to 103 under the control of the control unit 18.
  • control unit 18 may arrange the image 103 instead of the image 102.
  • the image 102 may be a volume rendering image generated from the volume data by the rendering processing unit 16 using one viewpoint.
  • the image 102 may be a stereoscopic image in which the rendering processor 16 displays nine parallax images generated from volume data using nine viewpoints. Further, as described in the second embodiment, the image 100 may be generated based on information input by an observer.
  • the observer can grasp the three-dimensional operation state of the ultrasonic probe 1 performed for the fly-through display of the image 103. Further, the composite image group generated to display the stereoscopic image illustrated in FIG. 19 is stored, and the image 103 displayed fly-through in the past examination is performed by performing the processing described in the third embodiment, for example. Fly-through display using a group of VE images at substantially the same position can be performed.
  • the control processing described in the first to third embodiments can be applied even when an intracavity probe is used.
  • the upper left diagram of FIG. 20 shows an example of the TEE probe. Magnetic sensors 50a, 50b and 50c are attached to the tip of the TEE probe as shown in the lower left diagram of FIG.
  • positioning of the magnetic sensors 50a, 50b, and 50c shown in the lower left figure of FIG. 20 is an example to the last. If the three-dimensional position information of the TEE probe as the ultrasonic probe 1 can be acquired, the magnetic sensors 50a, 50b, and 50c can be arranged at arbitrary positions.
  • the operator inserts the TEE probe into the esophagus of the subject P as shown in the upper right diagram of FIG. 20, and performs the two-dimensional scanning or three-dimensional scanning of the heart by bringing the tip of the TEE probe into contact with the inner wall of the esophagus.
  • the acquisition device 4 acquires the three-dimensional position information of the TEE probe at the time when the data of the region including the heart is collected.
  • the control unit 18 displays the composite image group of the feature image and each of the probe images constituting the probe image group on the monitor 2 by performing the control process described in the first embodiment, and the image memory 17 to store.
  • An image 200 shown in the lower right diagram of FIG. 20 is a 3D probe image in which the observer can stereoscopically observe the TEE probe as a result of displaying the probe image group generated by the rendering processing unit 16 based on the three-dimensional position information on the monitor 2. It is.
  • An image 201 shown in the lower right diagram of FIG. 20 is a contact surface image, which is a body mark indicating the inner wall of the esophagus.
  • the contact surface image a 3D body mark in which the heart that is the imaging region is three-dimensionally drawn or a surface rendering image of the heart may be used together with the image 201.
  • a contact surface image the case where a human body model as shown in the upper right figure of FIG. 20 is used may be used, for example.
  • 20 is an MPR image generated by the rendering processor 16 from volume data including the heart.
  • the image 201 and the image 202 are feature images.
  • the images 200 to 202 are displayed on the monitor 2 in a positional relationship based on the three-dimensional position information under the control of the control unit 18.
  • the image 202 may be a volume rendering image generated from the volume data by the rendering processing unit 16 using one viewpoint.
  • the image 202 may be a stereoscopic image in which the rendering processing unit 16 displays nine parallax images generated from volume data using nine viewpoints.
  • the image 200 may be generated based on information input by an observer.
  • the observer can grasp the three-dimensional operation status of the TEE probe performed for displaying the image 202.
  • the composite image group generated to display the stereoscopic image illustrated in the lower right diagram of FIG. 20 is stored, and for example, the image displayed in the past examination is performed by performing the processing described in the third embodiment.
  • Ultrasonic images at substantially the same position as 203 can be displayed.
  • the acquisition device 4 can also acquire information such as the length and depth of insertion of the TEE probe using the positional relationship between the transmitter 42 and the subject P.
  • the control unit 18 can also add such information to the information of the composite image group. Thereby, it is possible to more accurately provide the operation status of the TEE probe that is necessary for collecting the image 202.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

　実施形態の超音波診断装置は、モニタ（２）と、画像生成部（１５）と、取得装置（４）と、レンダリング処理部（１６）と、制御部（１８）とを備える。モニタ（２）は、視差画像群を表示し、観察者により立体的に認識される立体画像を表示する。画像生成部（１５）は、被検体Ｐの体表に当接された超音波プローブ（１）が受信した反射波に基づいて超音波画像を生成する。取得装置（４）は、撮影時における超音波プローブ（１）の３次元位置情報を取得する。レンダリング処理部（１６）は、３次元位置情報に基づいて、超音波プローブ（１）が立体画像として仮想的に認識されるための視差画像群であるプローブ画像群を生成する。制御部（１８）は、撮影状況の特徴を示す特徴画像とプローブ画像群とが、３次元位置情報に基づく位置関係でモニタ（２）に表示されるように制御する。

Description

超音波診断装置
　本発明の実施形態は、超音波診断装置に関する。
　超音波診断装置は、超音波プローブを当てた直下の組織が描出された超音波画像をリアルタイムで生成表示できることから、今日の医療において重要な役割を果たしている。
　また、読影医への情報提供や再検査時の再現性に寄与するために、撮影部位の情報を示す「印」をモニタ上に自動的に表示する技術も知られている。ここで、「印」とは、検査対象となる臓器を示すマーク（ボディーマークやピクトグラムと呼ばれる）や、当該臓器における超音波の走査位置などを示すマーク（プローブマークと呼ばれる）である。
　観察者（読影医や検査技師）は、モニタにて超音波画像とともに表示されるボディーマーク上のプローブマークを参照することで、超音波プローブの位置情報とスキャン方向を読み取ることができる。しかし、モニタ上に表示される「印」から読み取られる情報は、２次元の情報である。このため、モニタの観察者は、読影に適した超音波画像を撮影するために、検査技師等の操作者が被検体の体表上で行なった超音波プローブの操作に関する３次元情報を読み取ることができない。
特開２０１０－２０１０４９号公報
　本発明が解決しようとする課題は、超音波プローブの操作に関する３次元的な情報を提示することができる超音波診断装置を提供することである。
　実施形態の超音波診断装置は、表示部と、画像生成部と、取得部と、レンダリング処理部と、制御部とを備える。表示部は、所定視差数の視差画像である視差画像群を表示し、観察者により立体的に認識される立体画像を表示する。画像生成部は、被検体の体表に当接された超音波プローブが受信した反射波に基づいて超音波画像を生成する。取得部は、前記超音波画像の撮影時における前記超音波プローブの３次元位置情報を取得する。レンダリング処理部は、前記取得部により取得された前記３次元位置情報に基づいて、前記超音波プローブが立体画像として仮想的に認識されるための視差画像群であるプローブ画像群をボリュームレンダリング処理により生成する。制御部は、撮影状況の特徴を示す特徴画像として、前記超音波画像及び前記超音波プローブが当接された前記被検体の当接面を示す当接面画像の少なくとも１つと、前記プローブ画像群とが、前記３次元位置情報に基づく位置関係で前記表示部にて表示されるように制御する。
図１は、第１の実施形態に係る超音波診断装置の構成例を説明するための図である。 図２Ａは、２視差画像により立体表示を行なう立体表示モニタの一例を説明するための図（１）である。 図２Ｂは、２視差画像により立体表示を行なう立体表示モニタの一例を説明するための図（２）である。 図３は、９視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。 図４は、視差画像群を生成するためのボリュームレンダリング処理の一例を説明するための図である。 図５Ａは、取得装置を説明するための図（１）である。 図５Ｂは、取得装置を説明するための図（２）である。 図６は、取得装置を説明するための図（３）である。 図７Ａは、取得装置を説明するための図（４）である。 図７Ｂは、取得装置を説明するための図（５）である。 図７Ｃは、取得装置を説明するための図（６）である。 図８は、第１の実施形態に係る制御部の表示制御の一例を説明するための図（１）である。 図９は、第１の実施形態に係る制御部の表示制御の一例を説明するための図（２）である。 図１０は、図８及び図９を用いて説明した第１の実施形態に係る制御部の表示制御の別形態を説明するための図（１）である。 図１１は、図８及び図９を用いて説明した第１の実施形態に係る制御部の表示制御の別形態を説明するための図（２）である。 図１２は、第１の実施形態に係る超音波診断装置の処理を説明するためのフローチャートである。 図１３は、３次元位置情報の取得方法の変形例を説明するための図である。 図１４は、第２の実施形態を説明するための図である。 図１５は、第２の実施形態に係る超音波診断装置の処理を説明するためのフローチャートである。 図１６Ａは、第３の実施形態を説明するための図（１）である。 図１６Ｂは、第３の実施形態を説明するための図（２）である。 図１７は、第３の実施形態を説明するための図（３）である。 図１８は、第３の実施形態に係る超音波診断装置の処理を説明するためのフローチャートである。 図１９は、第１～第３の実施形態の変形例を説明するための図（１）である。 図２０は、第１～第３の実施形態の変形例を説明するための図（２）である。
　以下、添付図面を参照して、超音波診断装置の実施形態を詳細に説明する。
　最初に、以下の実施形態で用いる用語について説明すると、「視差画像群」とは、ボリュームデータに対して、所定の視差角ずつ視点位置を移動させてボリュームレンダリング処理を行なうことで生成された画像群のことである。すなわち、「視差画像群」は、「視点位置」が異なる複数の「視差画像」から構成される。また、「視差角」とは、「視差画像群」を生成するために設定された各視点位置のうち隣接する視点位置とボリュームデータによって表される空間内の所定位置（例えば、空間の中心）とにより定まる角度のことである。また、「視差数」とは、立体表示モニタにて立体視されるために必要となる「視差画像」の数のことである。また、以下で記載する「９視差画像」とは、９つの「視差画像」から構成される「視差画像群」のことである。また、以下で記載する「２視差画像」とは、２つの「視差画像」から構成される「視差画像群」のことである。また、「立体画像」とは、「視差画像群」を表示する立体表示モニタを参照する観察者により立体視される画像のことである。
（第１の実施形態）
　まず、第１の実施形態に係る超音波診断装置の構成について説明する。図１は、第１の実施形態に係る超音波診断装置の構成例を説明するための図である。図１に示すように、第１の実施形態に係る超音波診断装置は、超音波プローブ１と、モニタ２と、入力装置３と、取得装置４と、装置本体１０とを有する。
　超音波プローブ１は、複数の圧電振動子を有し、これら複数の圧電振動子は、後述する装置本体１０が有する送信部１１から供給される駆動信号に基づき超音波を発生する。また、超音波プローブ１は、被検体Ｐからの反射波を受信して電気信号に変換する。また、超音波プローブ１は、圧電振動子に設けられる整合層と、圧電振動子から後方への超音波の伝播を防止するバッキング材等を有する。なお、超音波プローブ１は、装置本体１０と着脱自在に接続される。
　超音波プローブ１から被検体Ｐに超音波が送信されると、送信された超音波は、被検体Ｐの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号として超音波プローブ１が有する複数の圧電振動子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが、移動している血流や心臓壁等の表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して、周波数偏移を受ける。
　なお、第１の実施形態は、超音波プローブ１が、超音波により被検体Ｐを２次元で走査する超音波プローブである場合であっても、被検体Ｐを３次元で走査する超音波プローブである場合であっても適用可能である。被検体Ｐを３次元で走査する超音波プローブ１としては、被検体Ｐを２次元で走査する複数の超音波振動子を所定の角度（揺動角度）で揺動させることで、被検体Ｐを３次元で走査するメカニカルスキャンプローブがある。また、被検体Ｐを３次元で走査する超音波プローブ１としては、複数の超音波振動子がマトリックス状に配置されることで、被検体Ｐを３次元で超音波走査することが可能な２次元超音波プローブである。なお、２次元超音波プローブは、超音波を集束して送信することで、被検体Ｐを２次元で走査することも可能である。
　以下では、超音波プローブ１が、超音波により被検体Ｐを２次元で走査する超音波プローブである場合について説明する。
　入力装置３は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティック、力覚提示装置等を有し、超音波診断装置の操作者からの各種設定要求を受け付け、装置本体１０に対して受け付けた各種設定要求を転送する。
　モニタ２は、超音波診断装置の操作者が入力装置３を用いて各種設定要求を入力するためのＧＵＩ（Graphical　User　Interface）を表示したり、装置本体１０において生成された超音波画像等を表示したりする。
　ここで、第１の実施形態に係るモニタ２は、所定視差数の視差画像である視差画像群を表示し、観察者により立体的に認識される立体画像を表示するモニタ（以下、立体表示モニタ）である。以下、立体表示モニタについて説明する。
　現在最も普及している一般的な汎用モニタは、２次元画像を２次元で表示するものであり、２次元画像を立体表示することができない。仮に、観察者が汎用モニタにて立体視を要望する場合、汎用モニタに対して画像を出力する装置は、平行法や交差法により観察者が立体視可能な２視差画像を並列表示させる必要がある。又は、汎用モニタに対して画像を出力する装置は、例えば、左目用の部分に赤色のセロハンが取り付けられ、右目用の部分に青色のセロハンが取り付けられたメガネを用いて余色法により観察者が立体視可能な画像を表示する必要がある。
　一方、立体表示モニタとしては、２視差画像（両眼視差画像とも称する）を表示することで、両眼視差による立体視を可能とするモニタ（以下、２視差モニタと記載する）がある。
　図２Ａ及び図２Ｂは、２視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。図２Ａ及び図２Ｂに示す一例は、シャッター方式により立体表示を行なう立体表示モニタであり、モニタを観察する観察者が装着する立体視用メガネとしてシャッターメガネが用いられる。かかる立体表示モニタは、モニタにて２視差画像を交互に出射する。例えば、図２Ａに示すモニタは、左目用の画像と右目用の画像を、１２０Ｈｚにて交互に出射する。ここで、モニタには、図２Ａに示すように、赤外線出射部が設置され、赤外線出射部は、画像が切り替わるタイミングに合わせて赤外線の出射を制御する。
　また、赤外線出射部から出射された赤外線は、図２Ａに示すシャッターメガネの赤外線受光部により受光される。シャッターメガネの左右それぞれの枠には、シャッターが取り付けられており、シャッターメガネは、赤外線受光部が赤外線を受光したタイミングに合わせて左右のシャッターそれぞれの透過状態及び遮光状態を交互に切り替える。以下、シャッターにおける透過状態及び遮光状態の切り替え処理について説明する。
　各シャッターは、図２Ｂに示すように、入射側の偏光板と出射側の偏光板とを有し、更に、入射側の偏光板と出射側の偏光板との間に液晶層を有する。また、入射側の偏光板と出射側の偏光板とは、図２Ｂに示すように、互いに直交している。ここで、図２Ｂに示すように、電圧が印加されていない「ＯＦＦ」の状態では、入射側の偏光板を通った光は、液晶層の作用により９０度回転し、出射側の偏光板を透過する。すなわち、電圧が印加されていないシャッターは、透過状態となる。
　一方、図２Ｂに示すように、電圧が印加された「ＯＮ」の状態では、液晶層の液晶分子による偏光回転作用が消失するため、入射側の偏光板を通った光は、出射側の偏光板で遮られてしまう。すなわち、電圧が印加されたシャッターは、遮光状態となる。
　そこで、例えば、赤外線出射部は、モニタ上に左目用の画像が表示されている期間、赤外線を出射する。そして、赤外線受光部は、赤外線を受光している期間、左目のシャッターに電圧を印加せず、右目のシャッターに電圧を印加させる。これにより、図２Ａに示すように、右目のシャッターが遮光状態となり、左目のシャッターが透過状態となるため、観察者の左目に左目用の画像が入射する。一方、赤外線出射部は、モニタ上に右目用の画像が表示されている期間、赤外線の出射を停止する。そして、赤外線受光部は、赤外線が受光されない期間、右目のシャッターに電圧を印加せず、左目のシャッターに電圧を印加させる。これにより、左目のシャッターが遮光状態となり、右目のシャッターが透過状態であるため、観察者の右目に右目用の画像が入射する。このように、図２Ａ及び図２Ｂに示す立体表示モニタは、モニタに表示される画像とシャッターの状態を連動させて切り替えることで、観察者が立体視可能な画像を表示させる。
　なお、２視差モニタとしては、シャッター方式により立体表示を行なう装置以外にも、偏光メガネ方式により立体表示を行なう装置や、視差バリア方式により立体表示を行なう装置等がある。
　更に、近年実用化された立体表示モニタとしては、レンチキュラーレンズ等の光線制御子を用いることで、例えば、９視差画像等の多視差画像を観察者が裸眼にて立体視可能とするものがある。かかる立体表示モニタは、両眼視差による立体視を可能とし、更に、観察者の視点移動に合わせて観察される映像も変化する運動視差による立体視も可能とする。
　図３は、９視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。図３に示す立体表示モニタには、液晶パネル等の平面状の表示面２００の前面に、光線制御子が配置される。例えば、図３に示す立体表示モニタには、光線制御子として、光学開口が垂直方向に延びる垂直レンチキュラーシート２０１が表示面２００の前面に貼り付けられている。なお、図３に示す一例では、垂直レンチキュラーシート２０１の凸部が前面となるように貼り付けられているが、垂直レンチキュラーシート２０１の凸部が表示面２００に対向するように貼り付けられる場合であっても良い。
　表示面２００には、図３に示すように、縦横比が３：１であり、縦方向にサブ画素である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つが配置された画素２０２がマトリクス状に配置される。図３に示す立体表示モニタは、９つの画像により構成される９視差画像を、所定フォーマット（例えば格子状）に配置した中間画像に変換したうえで、表示面２００に出力する。すなわち、図３に示す立体表示モニタは、９視差画像にて同一位置にある９つの画素それぞれを、９列の画素２０２に割り振って出力させる。９列の画素２０２は、視点位置の異なる９つの画像を同時に表示する単位画素群２０３となる。
　表示面２００において単位画素群２０３として同時に出力された９視差画像は、例えば、ＬＥＤ（Light　Emitting　Diode）バックライトにより平行光として放射され、更に、垂直レンチキュラーシート２０１により、多方向に放射される。９視差画像の各画素の光が多方向に放射されることにより、観察者の右目及び左目に入射する光は、観察者の位置（視点の位置）に連動して変化する。すなわち、観察者の見る角度により、右目に入射する視差画像と左目に入射する視差画像とは、視差角が異なる。これにより、観察者は、例えば、図３に示す９つの位置それぞれにおいて、撮影対象を立体的に視認できる。また、観察者は、例えば、図３に示す「５」の位置において、撮影対象に対して正対した状態で立体的に視認できるとともに、図３に示す「５」以外それぞれの位置において、撮影対象の向きを変化させた状態で立体的に視認できる。なお、図３に示す立体表示モニタは、あくまでも一例である。９視差画像を表示する立体表示モニタは、図３に示すように、「ＲＲＲ・・・、ＧＧＧ・・・、ＢＢＢ・・・」の横ストライプ液晶である場合であっても良いし、「ＲＧＢＲＧＢ・・・」の縦ストライプ液晶である場合であっても良い。また、図３に示す立体表示モニタは、図３に示すように、レンチキュラーシートが垂直となる縦レンズ方式である場合であっても良いし、レンチキュラーシートが斜めとなる斜めレンズ方式である場合であっても良い。以下、図３を用いて説明した立体表示モニタを９視差モニタと記載する。
　すなわち、２視差モニタは、画像間の視差角が所定角度となる２つの視差画像である視差画像群（２視差画像）を表示することで、観察者により立体的に認識される立体画像を表示する立体表示モニタである。また、９視差モニタは、画像間の視差角が所定角度となる９つの視差画像である視差画像群（９視差画像）を表示することで、観察者により立体的に認識される立体画像を表示する立体表示モニタである。
　なお、第１の実施形態は、モニタ２が２視差モニタである場合であっても、９視差モニタである場合であっても適用可能である。以下では、モニタ２が９視差モニタである場合について説明する。
　図１に戻って、取得装置４は、超音波プローブ１の３次元位置情報を取得する。具体的には、取得装置４は、超音波画像の撮影時における超音波プローブ１の３次元位置情報を取得する装置である。より具体的には、取得装置４は、超音波画像の撮影時において、超音波プローブ１が当接される被検体Ｐの当接面に対する超音波プローブ１の３次元位置情報を取得する装置である。ここで、超音波プローブ１が体表式プローブである場合、当接面は、被検体Ｐの体表となる。かかる場合、取得装置４は、超音波画像の撮影時における被検体Ｐの体表に対する超音波プローブ１の３次元位置情報を取得する。また、超音波プローブ１が経食道心エコー検査（transesophageal　echocardiography）に用いられるＴＥＥプローブ等のように体腔内プローブである場合、当接面は、超音波プローブ１が挿入される被検体Ｐの管腔の内壁となる。かかる場合、取得装置４は、超音波画像の撮影時における被検体Ｐの管腔内壁に対する超音波プローブ１の３次元位置情報を取得する。なお、本実施形態に係る取得装置４が取得する超音波プローブ１の３次元位置情報は、当接面に対する超音波プローブ１の３次元位置情報に限定されるものではない。本実施形態では、例えば、超音波診断装置やベッド等に、基準位置を設定するための「センサや、磁気信号を送信するトランスミッター」を取り付け、取り付けたセンサやトランスミッターに対する超音波プローブ１の位置を、超音波プローブ１の３次元位置情報としても良い。
　例えば、取得装置４は、超音波プローブ１に取り付けられた位置センサであるセンサ群４１と、トランスミッター４２と、信号処理部４３とを有する。センサ群４１は、位置センサであり、例えば、磁気センサである。トランスミッター４２は、任意の位置に配置され、自装置を中心として外側に向かって磁場を形成する。
　センサ群４１は、トランスミッター４２によって形成された３次元の磁場を検出して、検出した磁場の情報を信号に変換して、信号処理部４３に出力する。信号処理部４３は、センサ群４１から受信した信号に基づいて、トランスミッター４２を原点とする空間におけるセンサ群４１の位置（座標）を算出し、算出した位置を後述する制御部１８に出力する。なお、被検体Ｐの撮影は、超音波プローブ１に装着されたセンサ群４１が、トランスミッター４２の磁場を正確に検出することが可能な磁場エリア内で行われる。
　第１の実施形態のセンサ群４１については、後に詳述する。
　図１に示す装置本体１０は、超音波プローブ１が受信した反射波に基づいて超音波画像データを生成する装置であり、送信部１１と、受信部１２と、Ｂモード処理部１３と、ドプラ処理部１４と、画像生成部１５と、レンダリング処理部１６と、画像メモリ１７と、制御部１８と、内部記憶部１９とを有する。
　送信部１１は、トリガ発生回路、送信遅延回路及びパルサ回路等を有し、超音波プローブ１に駆動信号を供給する。パルサ回路は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。また、送信遅延回路は、超音波プローブ１から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルサ回路が発生する各レートパルスに対し与える。また、トリガ発生回路は、レートパルスに基づくタイミングで、超音波プローブ１に駆動信号（駆動パルス）を印加する。すなわち、遅延回路は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面からの送信方向を任意に調整する。
　なお、送信部１１は、後述する制御部１８の指示に基づいて、所定のスキャンシーケンスを実行するために、送信周波数、送信駆動電圧等を瞬時に変更可能な機能を有している。特に、送信駆動電圧の変更は、瞬間にその値を切り替え可能なリニアアンプ型の発信回路、または、複数の電源ユニットを電気的に切り替える機構によって実現される。
　受信部１２は、アンプ回路、Ａ／Ｄ変換器、加算器等を有し、超音波プローブ１が受信した反射波信号に対して各種処理を行なって反射波データを生成する。アンプ回路は、反射波信号をチャンネルごとに増幅してゲイン補正処理を行なう。Ａ／Ｄ変換器は、ゲイン補正された反射波信号をＡ／Ｄ変換し、デジタルデータに受信指向性を決定するのに必要な遅延時間を与える。加算器は、Ａ／Ｄ変換器によって処理された反射波信号の加算処理を行なって反射波データを生成する。加算器の加算処理により、反射波信号の受信指向性に応じた方向からの反射成分が強調される。
　このように、送信部１１及び受信部１２は、超音波の送受信における送信指向性と受信指向性とを制御する。
　ここで、超音波プローブ１が３次元走査可能である場合、送信部１１は、超音波プローブ１から被検体Ｐに対して３次元の超音波ビームを送信させることも可能であり、受信部１２は、超音波プローブ１が受信した３次元の反射波信号から３次元の反射波データを生成することも可能である。
　Ｂモード処理部１３は、受信部１２から反射波データを受信し、対数増幅、包絡線検波処理等を行なって、信号強度が輝度の明るさで表現されるデータ（Ｂモードデータ）を生成する。
　ドプラ処理部１４は、受信部１２から受信した反射波データから速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、平均速度、分散、パワー等の移動体情報を多点について抽出したデータ（ドプラデータ）を生成する。
　なお、第１の実施形態に係るＢモード処理部１３及びドプラ処理部１４は、２次元の反射波データ及び３次元の反射波データの両方について処理可能である。すなわち、Ｂモード処理部１３は、２次元の反射波データから２次元のＢモードデータを生成し、３次元の反射波データから３次元のＢモードデータを生成することも可能である。また、ドプラ処理部１４は、２次元の反射波データから２次元のドプラデータを生成し、３次元の反射波データから３次元のドプラデータを生成することも可能である。
　画像生成部１５は、被検体Ｐの体表に当接された超音波プローブ１が受信した反射波に基づいて超音波画像を生成する。すなわち、画像生成部１５は、Ｂモード処理部１３及びドプラ処理部１４が生成したデータから超音波画像データを生成する。具体的には、画像生成部１５は、Ｂモード処理部１３が生成した２次元のＢモードデータから反射波の強度を輝度にて表したＢモード画像データを生成する。また、画像生成部１５は、ドプラ処理部１４が生成した２次元のドプラデータから移動体情報を表す平均速度画像、分散画像、パワー画像、又は、これらの組み合わせ画像としてのカラードプラ画像データを生成する。
　ここで、画像生成部１５は、一般的には、超音波走査の走査線信号列を、テレビなどに代表されるビデオフォーマットの走査線信号列に変換（スキャンコンバート）し、表示用の超音波画像データを生成する。具体的には、画像生成部１５は、超音波プローブ１による超音波の走査形態に応じて座標変換を行なうことで、表示用の超音波画像データを生成する。また、画像生成部１５は、超音波画像データに、種々のパラメータの文字情報、目盛り、ボディーマーク等を合成する。
　更に、画像生成部１５は、３次元の超音波画像データを生成することも可能である。すなわち、画像生成部１５は、Ｂモード処理部１３が生成した３次元のＢモードデータに対して座標変換を行なうことで、３次元のＢモード画像データを生成することも可能である。また、画像生成部１５は、ドプラ処理部１４が生成した３次元のドプラデータに対して座標変換を行なうことで、３次元のカラードプラ画像データを生成することも可能である。
　レンダリング処理部１６は、ボリュームデータに対して各種レンダリング処理を行なう。具体的には、レンダリング処理部１６は、実空間における被検体Ｐを撮影することで生成された３次元の超音波画像データであるボリュームデータや、仮想空間に設定された仮想ボリュームデータに対して各種レンダリング処理を行なう処理部である。例えば、レンダリング処理部１６は、３次元の超音波画像データをレンダリング処理することで、表示用の２次元超音波画像データを生成する。また、レンダリング処理部１６は、仮想ボリュームデータをレンダリング処理することで、表示用の２次元超音波画像データに重畳される２次元画像データを生成する。
　レンダリング処理部１６が行なうレンダリング処理としては、断面再構成法（ＭＰＲ：Multi　Planer　Reconstruction）を行なってＭＰＲ画像を再構成する処理がある。また、レンダリング処理部１６が行なうレンダリング処理としては、ボリュームデータに対して「Curved　MPR」を行なう処理や、ボリュームデータに対して「Intensity　Projection」を行なう処理がある。
　更に、レンダリング処理部１６が行なうレンダリング処理としては、３次元の情報を反映した２次元画像を生成するボリュームレンダリング処理がある。すなわち、レンダリング処理部１６は、３次元の超音波画像データや仮想ボリュームデータに対して基準視点を中心とする複数視点からボリュームレンダリング処理を行なうことで視差画像群を生成する。具体的には、レンダリング処理部１６は、モニタ２が９視差モニタであることから、ボリュームデータに対して基準視点を中心とする９つの視点からボリュームレンダリング処理を行なうことで、９視差画像を生成する。
　レンダリング処理部１６は、後述する制御部１８の制御の下、図４に示すボリュームレンダリング処理を行なうことで９視差画像を生成する。図４は、視差画像群を生成するためのボリュームレンダリング処理の一例を説明するための図である。
　例えば、レンダリング処理部１６が、図４の「９視差画像生成方式（１）」に示すように、レンダリング条件として、平行投影法を受け付け、更に、基準視点の位置（５）と視差角「１度」とを受け付けたとする。かかる場合、レンダリング処理部１６は、視差角が「１度」おきとなるように、視点の位置を（１）～（９）に平行移動して、平行投影法により視差角（視線方向間の角度）が１度ずつ異なる９つの視差画像を生成する。なお、平行投影法を行なう場合、レンダリング処理部１６は、視線方向に沿って無限遠から平行な光線を照射する光源を設定する。
　或いは、レンダリング処理部１６が、図４の「９視差画像生成方式（２）」に示すように、レンダリング条件として、透視投影法を受け付け、更に、基準視点の位置（５）と視差角「１度」とを受け付けたとする。かかる場合、レンダリング処理部１６は、ボリュームデータの中心（重心）を中心に視差角が「１度」おきとなるように、視点の位置を（１）～（９）に回転移動して、透視投影法により視差角が１度ずつ異なる９つの視差画像を生成する。なお、透視投影法を行なう場合、レンダリング処理部１６は、視線方向を中心に光を３次元的に放射状に照射する点光源や面光源を各視点にて設定する。また、透視投影法を行なう場合、レンダリング条件によっては、視点（１）～（９）は、平行移動される場合であってもよい。
　なお、レンダリング処理部１６は、表示されるボリュームレンダリング画像の縦方向に対しては、視線方向を中心に光を２次元的に放射状に照射し、表示されるボリュームレンダリング画像の横方向に対しては、視線方向に沿って無限遠から平行な光線を照射する光源を設定することで、平行投影法と透視投影法とを併用したボリュームレンダリング処理を行なってもよい。
　このようにして生成された９つの視差画像が、視差画像群である。すなわち、視差画像群は、ボリュームデータから生成された立体表示用の画像群である。
　なお、モニタ２が２視差モニタである場合、レンダリング処理部１６は、基準視点を中心にして、例えば、視差角が「１度」となる２つの視点を設定することで、２視差画像を生成する。
　また、レンダリング処理部１６は、所定の形状が描出された２次元画像を生成するための描画機能も有する。
　ここで、上述したように、レンダリング処理部１６は、３次元の超音波画像データだけでなく、仮想ボリュームデータからもボリュームレンダリング処理により、視差画像群を生成する。そして、画像生成部１５は、超音波画像データと、レンダリング処理部１６が生成した視差画像群それぞれとを合成した合成画像群を生成する。なお、第１の実施形態に係るレンダリング処理部１６が仮想ボリュームデータから生成する視差画像群や、第１の実施形態に係る画像生成部１５が生成する合成画像群については、後に詳述する。
　画像メモリ１７は、画像生成部１５及びレンダリング処理部１６が生成した画像データを記憶するメモリである。また、画像メモリ１７は、Ｂモード処理部１３やドプラ処理部１４が生成したデータを記憶することも可能である。
　内部記憶部１９は、超音波送受信、画像処理及び表示処理を行なうための制御プログラムや、診断情報（例えば、患者ＩＤ、医師の所見等）や、診断プロトコルや各種ボディーマーク等の各種データを記憶する。また、内部記憶部１９は、必要に応じて、画像メモリ１７が記憶する画像データの保管等にも使用される。
　更に、内部記憶部１９は、取得装置４が、センサ群４１の位置情報を被検体Ｐの当接面（例えば、体表）に対する超音波プローブ１の３次元位置情報として取得するためのオフセット情報を記憶する。なお、オフセット情報については、後に詳述する。
　制御部１８は、超音波診断装置の処理全体を制御する。具体的には、制御部１８は、入力装置３を介して操作者から入力された各種設定要求や、内部記憶部１９から読込んだ各種制御プログラム及び各種データに基づき、送信部１１、受信部１２、Ｂモード処理部１３、ドプラ処理部１４、画像生成部１５及びレンダリング処理部１６の処理を制御する。例えば、制御部１８は、取得装置４が取得した超音波プローブ１の３次元位置情報に基づいて、レンダリング処理部１６のボリュームレンダリング処理を制御する。
　また、制御部１８は、画像メモリ１７や内部記憶部１９が記憶する表示用の超音波画像データをモニタ２にて表示するように制御する。具体的には、第１の実施形態に係る制御部１８は、９視差画像を所定フォーマット（例えば格子状）に配置した中間画像に変換し、立体表示モニタとしてのモニタ２に出力することで、観察者（超音波診断装置の操作者）により立体的に認識される立体画像を表示させる。
　以上、第１の実施形態に係る超音波診断装置の全体構成について説明した。かかる構成のもと、第１の実施形態に係る超音波診断装置は、超音波プローブ１の操作に関する３次元的な情報を提示するために、以下の処理を行なう。
　すなわち、上述したように、取得装置４は、超音波画像の撮影時における超音波プローブ１の３次元位置情報を取得する。具体的には、取得装置４は、超音波プローブ１に取り付けられた位置センサ（センサ群４１）を用いて３次元位置情報を取得する。図５Ａ、図５Ｂ、図５Ｃ、図６、図７Ａ、図７Ｂ及び図７Ｃは、取得装置を説明するための図である。
　例えば、超音波プローブ１の表面には、図５Ａに示すように、センサ群４１として、磁気センサ４１ａ、磁気センサ４１ｂ及び磁気センサ４１ｃの３つの磁気センサが取り付けられる。磁気センサ４１ａ及び磁気センサ４１ｂは、図５Ａに示すように振動子が配列される方向に平行に取り付けられる。また、磁気センサ４１ｃは、図５Ａに示すように超音波プローブ１の上端近傍に、取り付けられる。
　ここで、内部記憶部１９は、センサ群４１が取り付けられる位置情報として、例えば、図５Ｂに示すオフセット情報（Ｌ１～Ｌ４）を記憶する。距離「Ｌ１」は、図５Ｂに示すように、磁気センサ４１ａ及び磁気センサ４１ｂそれぞれが取り付けられる位置を結ぶ直線と、磁気センサ４１ｃが取り付けられる位置との距離である。
　また、距離「Ｌ２」は、磁気センサ４１ａ及び磁気センサ４１ｂそれぞれが取り付けられる位置を結ぶ直線と、振動子の配列面との距離である。換言すると、距離「Ｌ２」は、図５Ｂに示すように、磁気センサ４１ａ及び磁気センサ４１ｂそれぞれが取り付けられる位置を結ぶ直線と、当接面（例えば、被検体Ｐの体表）との距離となる。
　また、距離「Ｌ３」は、図５Ｂに示すように、磁気センサ４１ａと磁気センサ４１ｃとの振動子配列方向における距離である。また、距離「Ｌ４」は、図５Ｂに示すように、磁気センサ４１ｂと磁気センサ４１ｃとの振動子配列方向における距離である。
　操作者は、例えば、画像診断用に最適なＢモード画像を撮影するために、被検体Ｐの体表に当てた状態で、図６に示すように、超音波プローブ１を様々な方向に移動させる。取得装置４の信号処理部４３は、図５Ｂに示すオフセット情報を用いることで、取得したセンサ群４１の位置（座標）から、図６に示す撮影時の超音波プローブ１の被検体Ｐの体表に対する３次元位置情報を取得することができる。
　なお、操作者は、取得装置４に超音波プローブ１の３次元位置情報を取得させる際、必要に応じて、３次元位置情報の取得パターンを選択することができる。例えば、被検体Ｐに対する角度を固定した状態で、超音波プローブ１を平行移動して撮影を行なう場合、操作者は、センサ群４１の中で１つの磁気センサの位置のみ、或いは、センサ群４１の重心位置を取得装置４に取得させると選択する（第１の取得パターン）。第１の取得パターンが選択された場合、取得装置４は、図７Ａに示すように、超音波プローブ１の実空間における３次元位置情報を、１本の軌跡として取得する。図７Ａに示す３次元位置情報は、超音波プローブ１が接触している被検体Ｐの体表や管腔内壁の位置情報となる。なお、基準位置を、ベッドや超音波診断装置本体に設定している場合は、３次元位置情報は、被検体Ｐとの関係ではなく、絶対座標における位置情報として表される。第１の取得パターンは、例えば、超音波エラストグラフィー法を行なう際に、操作者が超音波プローブ１を体表に対して垂直方向に上下移動させる際に選択される。
　また、例えば、被検体Ｐに対する角度を固定した状態で、超音波プローブ１を任意方向で移動して撮影を行なう場合がある。かかる場合、操作者は、例えば、磁気センサ４１ａ及び磁気センサ４１ｂの位置を取得装置４に取得させると選択する（第２の取得パターン）。第２の取得パターンが選択された場合、取得装置４は、図７Ｂに示すように、超音波プローブ１の実空間における３次元位置情報を、２本の軌跡として取得する。図７Ｂに示す３次元位置情報は、超音波プローブ１が接触している被検体Ｐの体表や管腔内壁の位置及び超音波ビームの方位方向に関する位置情報となる。第２の取得パターンが選択された場合、取得装置４は、操作者による超音波プローブ１の回転移動の３次元位置情報も取得することができる。
　また、例えば、超音波プローブ１を任意角度及び任意方向で移動して撮影を行なう場合がある。かかる場合、操作者は、センサ群４１すべての位置を取得装置４に取得させると選択する（第３の取得パターン）。第３の取得パターンが選択された場合、取得装置４は、超音波プローブ１の実空間における３次元位置情報を、３本の軌跡として取得する。これにより、取得装置４は、図７Ｂに示すように、操作者による超音波プローブ１の傾きの度合いに関する３次元位置情報も取得することができる。第３の取得パターンが選択された場合、取得装置４は、超音波プローブ１が接触している被検体Ｐの体表や管腔内壁の位置、超音波ビームの方位方向及び超音波ビームの深さ方向に関する位置情報となる。例えば、第３の取得パターンは、一般的な撮影にて選択されるパターンであり、例えば、心尖部アプローチによる心尖部四腔像の撮影をする際に選択される。
　以下では、第３の取得パターンが選択されたうえで、Ｂモード画像の撮影が行なわれる場合について説明する。また、以下では、体表式プローブである超音波プローブ１により超音波走査が行なわれる場合について説明する。すなわち、以下では、当接面が被検体Ｐの体表である場合について説明する。かかる場合、取得装置４は、操作者が操作することで、被検体Ｐの体表上で移動する超音波プローブ１の３次元位置情報を取得する。そして、取得装置４は、取得した３次元位置情報を制御部１８に通知する。制御部１８は、取得装置４から撮影時の超音波プローブ１の体表に対する３次元位置情報を取得し、取得した３次元位置情報に基づいて、超音波プローブ１の仮想ボリュームデータに対してレンダリング処理を行なうように制御する。
　具体的には、レンダリング処理部１６は、取得装置４により取得された３次元位置情報に基づいて、超音波プローブ１が立体画像として仮想的に認識されるための視差画像群であるプローブ画像群をボリュームレンダリング処理により生成する。一例を挙げると、レンダリング処理部１６は、３次元位置情報に基づいて、仮想空間上に設定した超音波プローブ１の仮想ボリュームデータ（以下、仮想プローブ３Ｄデータと記載する）を平行移動や回転移動する。そして、レンダリング処理部１６は、移動した仮想プローブ３Ｄデータに対して、基準視点を設定する。例えば、基準視点は、撮影されたＢモード画像に対して正対する位置に設定される。そして、レンダリング処理部１６は、基準視点を中心として、例えば、仮想プローブ３Ｄデータの重心に対して、視差角が１度おきとなる９つの視点を設定する。
　そして、レンダリング処理部１６は、例えば、９つの視点から仮想プローブ３Ｄデータの重心に向かって透視投影法を用いたボリュームレンダリング処理を行なうことで、プローブ画像群「プローブ画像（１）～（９）」を生成する。
　制御部１８は、撮影状況の特徴を示す特徴画像として、画像生成部１５が生成した超音波画像及び超音波プローブ１が当接された被検体Ｐの当接面を示す当接面画像の少なくとも１つと、プローブ画像群とが、３次元位置情報に基づく位置関係でモニタ２にて表示されるように制御する。本実施形態では、当接面画像は、被検体Ｐの体表を示す体表画像となる。例えば、特徴画像としての超音波画像は、プローブ画像群を生成するために用いられた３次元位置情報が取得された時点で、超音波プローブ１が受信した反射波から生成されたＢモード画像である。或いは、特徴画像としての当接面画像である体表画像は、具体的には、超音波画像の撮影部位を模式的に示すボディーマークである。より具体的には、特徴画像としての体表画像は、撮影部位を立体的に描出した３Ｄボディーマークや、撮影部位のボリュームデータから生成されたレンダリング画像である。体表画像としてのレンダリング画像は、例えば、撮影部位である乳腺組織のサーフェースレンダリング画像である。或いは、体表画像としてのレンダリング画像は、例えば、撮影部位である乳腺組織のＭＰＲ画像である。或いは、体表画像としてのレンダリング画像は、例えば、撮影部位である乳腺組織のサーフェースレンダリング画像に対して、乳腺組織の一断面であるＭＰＲ画像を合成した画像である。
　上記の表示制御を行なう場合、例えば、制御部１８は、「プローブ画像（１）～（９）」それぞれに対して、Ｂモード画像が３次元位置情報に基づく位置関係にて合成された合成画像群「合成画像（１）～（９）」を画像生成部１５に生成させる。或いは、例えば、制御部１８は、「プローブ画像（１）～（９）」それぞれに対して、Ｂモード画像及び体表画像（乳房の３Ｄボディーマークや乳腺組織のレンダリング画像）が３次元位置情報に基づく位置関係にて合成された合成画像群「合成画像（１）～（９）」を画像生成部１５に生成させる。そして、制御部１８は、合成画像群「合成画像（１）～（９）」を、９列の画素２０２（図３を参照）それぞれにて表示させることで、モニタ２に合成画像群の立体画像を表示させる。更に、制御部１８は、モニタ２に表示させた合成画像群（プローブ画像群及び特徴画像）を画像メモリ１７、又は、内部記憶部１９に格納する。例えば、制御部１８は、モニタ２に表示させた合成画像群に、検査ＩＤを対応付けて格納する。
　図８及び図９は、第１の実施形態に係る制御部の表示制御の一例を説明するための図である。例えば、特徴画像としてＢモード画像が指定されている場合、制御部１８の表示制御により、モニタ２は、図８に示すように、プローブ画像群とＢモード画像「Ｆ１」とが３次元位置情報に基づく位置関係にて合成された合成画像群を表示する。
　或いは、例えば、特徴画像としてＢモード画像及び撮影部位を示すレンダリング画像が指定されている場合、制御部１８の表示制御により、モニタ２は、図９に示すように、プローブ画像群とＢモード画像「Ｆ１」と乳腺組織のレンダリング画像「Ｆ２」とが３次元位置情報に基づく位置関係にて合成された合成画像群を表示する。
　また、上記で説明した一例では、特定の超音波画像の撮影時における合成画像群が表示され、格納される場合について説明した。しかし、本実施形態は、複数の超音波画像の撮影時における複数の合成画像群が表示され、格納される場合であっても良い。図１０及び図１１は、図８及び図９を用いて説明した第１の実施形態に係る制御部の表示制御の別形態を説明するための図である。
　画像生成部１５は、超音波プローブ１が時系列に沿って受信した反射波に基づいて時系列に沿った複数の超音波画像を生成する。具体的には、画像生成部１５は、乳房の腫瘍部位が明瞭に描出されたＢモード画像を撮影するために操作者が超音波プローブ１を操作している期間、時系列に沿った複数のＢモード画像を生成する。例えば、画像生成部１５は、時間「ｔ１」のＢモード画像「Ｆ１（ｔ１）」や、時間「ｔ２」のＢモード画像「Ｆ１（ｔ２）」を生成する。
　取得装置４は、時系列に沿った３次元位置情報を当該撮影時の時間情報に対応付けて取得する。具体的には、取得装置４は、時系列に沿った複数の超音波画像それぞれの撮影時における３次元位置情報を当該撮影時の時間情報に対応付けて取得する。例えば、取得装置４は、時間「ｔ１」に取得された３次元位置情報を取得するとともに、取得した３次元位置情報に時間情報「ｔ１」を対応付けて制御部１８に通知する。また、例えば、取得装置４は、時間「ｔ２」に取得された３次元位置情報を取得するとともに、取得した３次元位置情報に時間情報「ｔ２」を対応付けて制御部１８に通知する。
　レンダリング処理部１６は、時系列に沿った３次元位置情報及び時間情報に基づいて、時系列に沿った複数のプローブ画像群を生成する。具体的には、レンダリング処理部１６は、時系列に沿った複数の超音波画像それぞれの撮影時における３次元位置情報及び時間情報に基づいて、時系列に沿った複数のプローブ画像群を生成する。例えば、レンダリング処理部１６は、時間「ｔ１」に取得された３次元位置情報に基づいて、時間「ｔ１」における超音波プローブ１の立体画像（以下、３Ｄプローブ画像と記載する）である「３ＤＰ（ｔ１）」を表示するための「プローブ画像群（ｔ１）」を生成する。また、例えば、レンダリング処理部１６は、時間「ｔ２」に取得された３次元位置情報に基づいて、時間「ｔ２」における３Ｄプローブ画像である「３ＤＰ（ｔ２）」を表示するための「プローブ画像群（ｔ２）」を生成する。
　制御部１８は、時系列に沿った複数のプローブ画像群それぞれと、特徴画像としての時系列に沿った複数の超音波画像それぞれとがモニタ２にて表示されるように制御する。
　例えば、制御部１８の制御により、画像生成部１５は、「プローブ画像群（ｔ１）」と、Ｂモード画像「Ｆ１（ｔ１）」と、乳腺組織のレンダリング画像「Ｆ２」とを、時間「ｔ１」に取得された３次元位置情報に基づく位置関係にて合成した「合成画像群（ｔ１）」を生成する。また、画像生成部１５は、「プローブ画像群（ｔ２）」と、Ｂモード画像「Ｆ１（ｔ２）」と、乳腺組織のレンダリング画像「Ｆ２」とを、時間「ｔ２」に取得された３次元位置情報に基づく位置関係にて合成した「合成画像群（ｔ２）」を生成する。
　制御部１８は、画像生成部１５が生成した合成画像群をモニタ２に表示させる。これにより、モニタ２は、図１０に示すように、乳腺組織のレンダリング画像「Ｆ２」上に「３Ｄプローブ画像３ＤＰ（ｔ１）」及びＢモード画像「Ｆ１（ｔ１）」を表示し、更に、乳腺組織のレンダリング画像「Ｆ２」上に「３Ｄプローブ画像３ＤＰ（ｔ２）」及びＢモード画像「Ｆ１（ｔ２）」を表示する。なお、図１０に示す表示形態の一例では、各時間の３Ｄプローブ画像とＢモード画像とが、まとめて重畳表示されているが、本実施形態は、各時間の超音波プローブ１の立体画像とＢモード画像とが動画表示される場合や、並列表示される場合であっても良い。
　或いは、時系列に沿った複数のプローブ画像群が生成される場合、以下の処理が行なわれても良い。すなわち、レンダリング処理部１６は、２次元画像の描画機能により、３次元位置情報及び時間情報に基づいて、当接面画像である体表画像の形状を時系列に沿って変化させることで時系列に沿った複数の当接面画像である複数の体表画像を生成する。具体的には、レンダリング処理部１６は、２次元画像の描画機能により、時系列に沿った複数の超音波画像それぞれの撮影時における３次元位置情報及び時間情報に基づいて、体表画像の形状を時系列に沿って変化させることで時系列に沿った複数の体表画像を生成する。そして、制御部１８は、時系列に沿った複数のプローブ画像群それぞれと、特徴画像としての時系列に沿った複数の体表画像それぞれとがモニタ２にて表示されるように制御する。
　例えば、レンダリング処理部１６は、エラストグラフィー撮影時に取得した３次元位置情報に基づいて、被検体Ｐの体表が圧迫される様相が描出されたボディーマークを時系列に沿って生成する。そして、制御部１８の制御により、画像生成部１５は、時系列に沿った複数のプローブ画像群それぞれと、時系列に沿った複数のボディーマークとそれぞれとを、該当する時間に取得された３次元位置情報に基づく位置関係にて合成した時系列に沿った複数の合成画像群を生成する。
　制御部１８は、画像生成部１５が生成した合成画像群をモニタ２に表示させる。これにより、モニタ２は、図１１に示すように、超音波プローブ１を用いた操作による体表の圧迫状況を示す立体画像を表示する。なお、図１１には図示しないが、制御部１８は、画像生成部１５が生成したエラストグラフィーをプローブ画像群及びボディーマークとともに表示させても良い。
　次に、図１２を用いて、第１の実施形態に係る超音波診断装置の処理について説明する。図１２は、第１の実施形態に係る超音波診断装置の処理を説明するためのフローチャートである。なお、以下では、超音波プローブ１が被検体Ｐに当てられた状態で、超音波画像の撮影が開始された後の処理について説明する。
　図１２に示すように、第１の実施形態に係る超音波診断装置の制御部１８は、取得装置４により３次元位置情報が取得されたか否かを判定する（ステップＳ１０１）。ここで、３次元位置情報が取得されない場合（ステップＳ１０１否定）、制御部１８は、３次元位置情報が取得されるまで待機する。
　一方、３次元位置情報が取得された場合（ステップＳ１０１肯定）、制御部１８の制御により、レンダリング処理部１６は、プローブ画像群を生成する（ステップＳ１０２）。なお、プローブ画像群の生成と並行して、画像生成部１５は、超音波画像を生成する。
　そして、制御部１８の制御により、画像生成部１５は、プローブ画像群と特徴画像との合成画像群を生成する（ステップＳ１０３）。そして、制御部１８の制御により、モニタ２は、合成画像群を表示する（ステップＳ１０４）。
　そして、制御部１８は、合成画像群を画像メモリ１７に格納し（ステップＳ１０５）、処理を終了する。なお、合成画像群を時系列に沿って生成する場合、制御部１８は、引き続き、ステップＳ１０１の判定処理を行なう。また、特徴画像として変形したボディーマークを表示する際には、変形ボディーマークは、ステップＳ１０２にてプローブ画像群とともに、レンダリング処理部１６により生成される。
　上述してきたように、第１の実施形態では、例えば、図８に示す立体画像を参照することで、モニタ２の観察者は、超音波プローブ１が如何なる操作状態である時に、Ｂモード画像「Ｆ１」が撮影されたかを３次元的に把握することができる。また、第１の実施形態では、例えば、図９に示す立体画像を参照することで、モニタ２の観察者は、超音波プローブ１が被検体Ｐの体表に対して如何なる方向及び角度で当てられている時に、Ｂモード画像「Ｆ１」が撮影されたかを３次元的に把握することができる。また、画像メモリ１７等に格納された合成画像群の表示要求を行なうことで、モニタ２の観察者は、Ｂモード画像「Ｆ１」の撮影時における超音波プローブ１の３次元的な操作状況を確認することができる。
　また、図１０に示す立体画像を参照することで、モニタ２の観察者は、被検体Ｐの体表に当てた状態で、超音波プローブ１を操作者がどのように３次元的に操作することで、画像診断用の超音波画像を撮影したのかを時系列に沿って把握することができる。また、図１１に示す立体画像を参照することで、モニタ２の観察者は、画像生成部１５が生成したエラストグラフィーが、超音波プローブ１により被検体Ｐの体表をどの程度圧迫することで撮影された画像であるのかを把握することができる。また、画像メモリ１７等に格納された時系列に沿った複数の合成画像群の表示要求を行なうことで、モニタ２の観察者は、画像撮影時における超音波プローブ１の３次元的な操作状況を確認することができる。
　従って、第１の実施形態によれば、超音波プローブ１の操作に関する３次元的な情報を提示することができる。また、第１の実施形態に係る超音波診断装置を用いることで、超音波画像読影者への提供情報の品質向上や、再検査時の再現性品質の向上、検査手技の操作者によるばらつきの低減による診断品質の向上等に寄与することができる。
　なお、上記では、磁気センサを用いて３次元位置情報を取得する場合について説明したが、３次元位置情報の取得方法は、これに限定されるものではない。図１３は、３次元位置情報の取得方法の変形例を説明するための図である。例えば、変形例では、超音波プローブ１の表面には、図１３に示すように、マーカーが取り付けられる。また、かかる場合、図１３に示すように、マーカーと振動子配列面との距離や、マーカーと超音波プローブ１の端部との距離等がオフセット情報として内部記憶部１９に格納される。
　そして、撮影時において、複数のカメラによりマーカーを複数方向から撮影する。そして、例えば、制御部１８は、オフセット情報を用いて撮影された複数の画像を解析することで３次元位置情報を取得する。また、３次元位置情報は、加速度センサにより取得される場合であっても良い。
（第２の実施形態）
　第２の実施形態では、過去に撮影された超音波画像に対して、プローブ画像群を生成する場合について説明する。
　例えば、第２の実施形態では、制御部１８は、取得装置４ではなく、入力装置２を介して、３次元位置情報を取得する。すなわち、制御部１８は、画像生成部１５により過去に生成された超音波画像を参照する観察者が、入力装置３を介して入力した入力情報に基づいて、当該超音波画像の撮影時における３次元位置情報を取得する。
　図１４は、第２の実施形態を説明するための図である。一例を挙げると、モニタ２は、制御部１８の制御により、図１４に示すように、観察者が指定した過去の超音波画像（過去画像）を表示するとともに、観察者が指定した過去画像の撮影部位を示すレンダリング画像を表示する。観察者は、モニタ２を参照して、例えば、入力装置３が有する加速度センサが内蔵された力覚提示装置３ａや、ジョイスティック３ｂを操作することで、自身が過去に撮影した超音波画像の撮影時における超音波プローブ１の向きや角度を入力する。かかる入力情報を用いて、制御部１８は、過去画像撮影時における３次元位置情報を取得し、レンダリング処理部１６は、入力情報に基づく３次元位置情報を用いて、プローブ画像群を生成する。
　これにより、制御部１８は、図９に例示したような立体画像をモニタ２に表示させる。更に、制御部１８は、図９に例示したような立体画像を表示するために用いた合成画像群を、例えば、画像メモリ１７に格納する。
　なお、上記の３次元位置情報に関する入力情報は、入力装置３のマウスやキーボードを用いて入力される場合であっても良い。或いは、上記の３次元位置情報に関する入力情報は、第１の実施形態で説明したセンサ群４１が取り付けられた超音波プローブ１を入力装置として用い、取得装置４が取得する場合であっても良い。
　次に、図１５を用いて、第２の実施形態に係る超音波診断装置の処理について説明する。図１５は、第２の実施形態に係る超音波診断装置の処理を説明するためのフローチャートである。なお、以下では、モニタ２にて過去の超音波画像が表示された後の処理について説明する。
　図１５に示すように、第２の実施形態に係る超音波診断装置の制御部１８は、モニタ２の観察者から入力装置３を介して、３次元位置情報に関する入力情報が入力されたか否かを判定する（ステップＳ２０１）。ここで、３次元位置情報に関する入力情報が入力されない場合（ステップＳ２０１否定）、制御部１８は、入力されるまで待機する。
　一方、３次元位置情報に関する入力情報が入力された場合（ステップＳ２０１肯定）、制御部１８の制御により、レンダリング処理部１６は、プローブ画像群を生成する（ステップＳ２０２）。
　そして、制御部１８の制御により、画像生成部１５は、プローブ画像群と特徴画像との合成画像群を生成する（ステップＳ２０３）。そして、制御部１８の制御により、モニタ２は、合成画像群を表示する（ステップＳ２０４）。
　そして、制御部１８は、合成画像群を画像メモリ１７に格納し（ステップＳ２０５）、処理を終了する。
　上述してきたように、第２の実施形態では、過去に撮影された超音波画像を参照した観察者の入力情報からプローブ画像群を合成表示できる。従って、第２の実施形態では、過去に撮影された超音波画像についても、超音波プローブ１の操作に関する３次元的な情報を提示することができる。なお、第２の実施形態は、過去に撮影された時系列に沿った複数の超音波画像を参照して、時系列に沿った複数のプローブ画像群が生成される場合であっても良い。
（第３の実施形態）
　第３の実施形態では、過去に撮影された超音波画像と同一部位の撮影を行なうために、第１の実施形態で説明した合成画像群を用いる場合について、図１６Ａ、図１６Ｂ及び図１７等を用いて説明する。図１６Ａ、図１６Ｂ及び図１７は、第３の実施形態を説明するための図である。
　第３の実施形態に係る制御部１８は、画像メモリ１７から取得した被検体Ｐの過去の超音波画像及びプローブ画像群をモニタ２の表示領域における第１領域に表示させる。具体的には、制御部１８は、操作者が被検体Ｐの過去の検査ＩＤを指定すると、指定された検査ＩＤの合成画像群を画像メモリ１７から取得する。以下、指定された検査ＩＤの合成画像群である過去の合成画像群を、過去画像群と記載する。
　例えば、取得される過去画像群は、図１０に例示した、過去の時系列に沿ったＢモード画像と、撮影部位を示すレンダリング画像と、当該過去画像撮影時の超音波プローブ１のプローブ画像群との「時系列に沿った複数の過去画像群」である。かかる場合、操作者は、時系列に沿った複数の過去画像群の動画を参照して、経過観察をしたい特徴部位である過去の腫瘍部位「Ｔ」が最も明瞭に描出された過去画像群を指定する。これにより、モニタ２は、図１６Ａの第１領域にて、過去の腫瘍部位「Ｔ」が描出された過去画像群を表示する。
　そして、第３の実施形態に係る制御部１８は、被検体Ｐの現時点で撮影される超音波画像をモニタ２の表示領域における第２領域に表示させる。かかる表示制御により、モニタ２の観察者である超音波プローブ１の操作者は、センサ群４１が取り付けられた超音波プローブ１を操作して、過去の腫瘍部位「Ｔ」に該当する現在の腫瘍部位「Ｔ’」が含まれるＢモード画像を第２領域に表示させる（図１６Ａを参照）。
　そして、第３の実施形態に係る制御部１８は、取得装置４が取得した現時点での超音波画像の撮影時における超音波プローブ１の３次元位置情報に合致した過去の超音波画像及びプローブ画像群が第１領域にて表示されるように制御する。すなわち、取得装置４は、図１６Ｂに示すように、現時点での超音波画像（以下、現在画像）の撮影時における超音波プローブ１の３次元位置情報を取得する。そして、制御部１８は、３次元位置情報に合致したプローブ画像群が合成されている過去画像群を「時系列に沿った複数の過去画像群」から選択して第１領域に表示させる。すなわち、制御部１８は、図１６Ｂに示すように、３次元位置情報に合致した過去画像群を表示させる。
　上記の表示制御により第１領域及び第２領域に表示される画像を参照することで、超音波プローブ１の操作者は、過去の腫瘍部位「Ｔ」と略同様の位置に現在の腫瘍部位「Ｔ’」が描出される現在画像が表示されるまで、超音波プローブ１を操作する。
　これにより、モニタ２は、図１７に示すように、過去の腫瘍部位「Ｔ」と同じ位置に現在の腫瘍部位「Ｔ’」が描出された現在画像を第２領域に表示する。第２領域に表示された現在画像は、操作者が、例えば、入力装置３の確定ボタンを押下して確定入力を行なうことで、制御部１８により画像メモリ１７に格納される。
　なお、現時点での超音波プローブ１の操作状況によっては、「時系列に沿った複数の過去画像群」から、３次元位置情報に合致したプローブ画像群が合成されている過去画像群を選択できない場合がある。かかる場合、レンダリング処理部１６は、３次元位置情報に合致したプローブ画像群を新規に生成する。更に、レンダリング処理部１６は、３次元位置情報に合致した超音波画像を、補間処理により生成する。
　例えば、制御部１８は、現時点での３次元位置情報の座標に近い座標を有する過去の３次元位置情報が取得された際に生成された過去の超音波画像を２つ選択する。そして、レンダリング処理部１６は、制御部１８が選択した２つの超音波画像それぞれの奥行き情報用いて、補間処理により、現時点での３次元位置情報に合致する超音波画像を新規に生成する。これにより、画像生成部１５は、現時点での３次元位置情報に合致した合成画像群を過去画像群として新規に生成する。
　次に、図１８を用いて、第３の実施形態に係る超音波診断装置の処理について説明する。図１８は、第３の実施形態に係る超音波診断装置の処理を説明するためのフローチャートである。なお、以下では、モニタ２の第１領域にて時系列に沿った複数の過去画像群が動画表示された後の処理について説明する。
　図１８に示すように、第３の実施形態に係る超音波診断装置の制御部１８は、特徴部位が最も明瞭に描出された過去画像群が指定されたか否かを判定する（ステップＳ３０１）。ここで、過去画像群が指定されない場合（ステップＳ３０１否定）、制御部１８は、指定されるまで待機する。
　一方、過去画像群が指定された場合（ステップＳ３０１肯定）、制御部１８の制御により、モニタ２は、指定された過去画像群と現在画像とを並列表示する（ステップＳ３０２）。
　そして、制御部１８は、取得装置４が現時点での３次元位置情報を取得したか否かを判定する（ステップＳ３０３）。ここで、取得していない場合（ステップＳ３０３否定）、制御部１８は、現時点での３次元位置情報が取得されるまで待機する。一方、現時点での３次元位置情報が取得された場合（ステップＳ３０３肯定）、制御部１８は、現時点での３次元位置情報に合致する過去画像群が存在するか否かを判定する（ステップＳ３０４）。
　ここで、現時点での３次元位置情報に合致する過去画像群が存在する場合（ステップＳ３０４肯定）、制御部１８は、合致する過去画像群を選択し、選択した過去画像群と現在画像とを並列表示させる（ステップＳ３０５）。
　一方、現時点での３次元位置情報に合致する過去画像群が存在しない場合（ステップＳ３０４否定）、制御部１８の制御により、レンダリング処理部１６及び画像生成部１５は、協同して、現時点での３次元位置情報に合致する過去画像群を補間処理により新規に生成する（ステップＳ３０６）。そして、制御部１８は、新規に生成された過去画像群と現在画像とを並列表示させる（ステップＳ３０７）。
　ステップＳ３０５、又は、ステップＳ３０７の後、制御部１８は、操作者から確定入力を受け付けたか否かを判定する（ステップＳ３０８）。ここで、確定入力を受け付けない場合（ステップＳ３０８否定）、制御部１８は、ステップＳ３０３に戻って、現時点での３次元位置情報を取得したか否かを判定する。
　一方、確定入力を受け付けた場合（ステップＳ３０８肯定）、制御部１８は、確定入力時の超音波画像（現在画像）を格納し（ステップＳ３０９）、処理を終了する。
　上述してきたように、第３の実施形態では、過去の検査時における超音波画像の特徴部位の経過観察をする際に、モニタ２の観察者は、現時点での３次元位置情報に合致する超音波プローブ１の立体画像及び現時点での３次元位置情報で撮影された過去の超音波画像を参照しながら、現時点で撮影されている超音波画像を参照することができる。すなわち、モニタ２の観察者は、過去の超音波プローブ１の３次元的な操作状況を把握しながら超音波プローブ１を操作することで、現時点での特徴部位の経過観察を行なうことができる。従って、第３の実施形態では、再検査時の再現性品質をより向上させることができる。
　なお、上述した第１～第３の実施形態では、モニタ２が９視差モニタである場合について説明した。しかし、上述した第１～第３の実施形態は、モニタ２が２視差モニタである場合であっても適用可能である。
　また、上述した第１～第３の実施形態では、プローブ画像群に合成される超音波画像がＢモード画像である場合について説明した。しかし、上述した第１～第３の実施形態は、プローブ画像群に合成される超音波画像がカラードプラ画像である場合であっても良い。また、上述した第１～第３の実施形態は、プローブ画像群に合成される超音波画像が、３次元の超音波画像データから生成された視差画像群である場合であっても良い。
　以下、プローブ画像群に合成される超音波画像の変形例について、図１９及び図２０を用いて説明する。図１９及び図２０は、第１～第３の実施形態の変形例を説明するための図である。
　近年、管腔を含むボリュームデータから、管腔内の観察が可能な仮想内視鏡（ＶＥ：Virtual　Endoscopy）画像を生成表示することが行なわれている。ＶＥ画像の表示方法としては、管腔の芯線に沿って視点を移動することで、ＶＥ画像を動画表示するフライスルー（Flythrough）表示がある。例えば、超音波診断装置を用いて、乳腺のフライスルー表示を行なう場合、操作者は、３次元走査が可能な超音波プローブ１（メカニカルスキャンプローブ等）を被検体Ｐの乳房に当接して「乳腺を含むボリュームデータ」を収集する。そして、例えば、図１に示すレンダリング処理部１６は、管腔の輝度値に対応する輝度値を有する画素（ボクセル）を抽出することで、ボリュームデータから管腔領域を抽出する。そして、例えば、レンダリング処理部１６は、抽出した管腔領域を細線化処理することで、管腔の芯線を抽出する。そして、例えば、レンダリング処理部１６は、透視投影法により、芯線上の視点からのＶＥ画像を生成する。なお、レンダリング処理部１６は、管腔の芯線に沿って視点を移動することで、フライスルー表示用の複数のＶＥ画像を生成する。
　フライスルー表示が行なわれる場合、取得装置４は、ＶＥ画像を生成するために用いられたボリュームデータ収集時における超音波プローブ１の３次元位置情報を取得する。そして、制御部１８は、上述した第１の実施形態で説明した制御処理を行なうことで、特徴画像とプローブ画像群を構成するプローブ画像それぞれとの合成画像群をモニタ２に表示させ、画像メモリ１７に格納させる。図１９は、フライスルー表示が行なわれる場合に、制御部１８の制御によりモニタ２に表示される画像の一例を示している。図１９に示す画像１００は、レンダリング処理部１６が３次元位置情報に基づいて生成したプローブ画像群をモニタ２に表示した結果、観察者が超音波プローブ１を立体的に観察できる３Ｄプローブ画像である。
　また、図１９に示す画像１０１は、当接面画像としての体表画像であり、例えば、撮影部位である乳房を立体的に描出した３Ｄボディーマークである。また、図１９に示す画像１０２は、ボリュームデータにおいて、フライスルー表示に用いられた管腔領域を含む領域の画像である。例えば、図１９に示す画像１０２は、輝度値を白黒反転させたcavityモードにより、レンダリング処理部１６が生成した管腔画像である。輝度値を白黒反転させることで、管腔の視認性を向上させることができる。また、図１９に示す点線で構成される画像１０３は、３次元位置情報及び超音波走査条件に基づいて、レンダリング処理部１６が生成した３次元の超音波走査範囲を模式的に示すものである。また、図１９に示す画像１０４は、フライスルー表示されるＶＥ画像である。画像１０１～画像１０４は、特徴画像となる。ここで、図１９に示す一例では、制御部１８の制御により、画像１００～画像１０３が、３次元位置情報に基づく位置関係でモニタ２にて表示される。また、図１９に示す一例では、制御部１８の制御により、画像１００～画像１０３の下に、画像１０４が配置される。
　なお、制御部１８は、画像１０２の代わりに、画像１０３を配置しても良い。また、画像１０２は、１つの視点を用いてレンダリング処理部１６がボリュームデータから生成したボリュームレンダリング画像であっても良い。また、画像１０２は、レンダリング処理部１６が９つの視点を用いてボリュームデータから生成した９視差画像を表示した立体画像であっても良い。また、画像１００は、第２の実施形態で説明したように、観察者が入力した情報により生成される場合であっても良い。
　図１９に例示する立体画像を参照することで、観察者は、画像１０３のフライスルー表示のために行なわれた超音波プローブ１の３次元的な操作状況を把握することができる。また、図１９に例示する立体画像を表示するために生成された合成画像群を保存し、例えば第３の実施形態で説明した処理を行なうことで、過去の検査でフライスルー表示された画像１０３と略同じ位置のＶＥ画像群を用いたフライスルー表示を行なうことができる。
　また、上述した第１～第３の実施形態で説明した制御処理は、体腔内プローブを用いる場合でも適用可能である。図２０の左上図は、ＴＥＥプローブの一例を示している。このＴＥＥプローブの先端部には、図２０の左下図に示すように、磁気センサ５０ａ、５０ｂ及び５０ｃが取り付けられている。なお、図２０の左下図に示す磁気センサ５０ａ、５０ｂ及び５０ｃの配置は、あくまでも一例である。超音波プローブ１としてのＴＥＥプローブの３次元位置情報が取得可能であるならば、磁気センサ５０ａ、５０ｂ及び５０ｃは、任意の位置に配置可能である。
　操作者は、図２０の右上図に示すように、ＴＥＥプローブを被検体Ｐの食道に挿入し、ＴＥＥプローブの先端を食道の内壁に当接して心臓の２次元走査や３次元走査を行なう。かかる状態で、取得装置４は、心臓を含む領域のデータを収集した時点におけるＴＥＥプローブの３次元位置情報を取得する。そして、制御部１８は、上述した第１の実施形態で説明した制御処理を行なうことで、特徴画像とプローブ画像群を構成するプローブ画像それぞれとの合成画像群をモニタ２に表示させ、画像メモリ１７に格納させる。図２０の右下図は、経食道心エコー検査が行なわれる場合に、制御部１８の制御によりモニタ２に表示される画像の一例を示している。図２０の右下図に示す画像２００は、レンダリング処理部１６が３次元位置情報に基づいて生成したプローブ画像群をモニタ２で表示した結果、観察者がＴＥＥプローブを立体的に観察できる３Ｄプローブ画像である。また、図２０の右下図に示す画像２０１は、当接面画像であり、食道内壁を示すボディーマークである。なお、当接面画像として、画像２０１とともに、撮影部位である心臓を立体的に描出した３Ｄボディーマークや、心臓のサーフェースレンダリング画像が用いられる場合であっても良い。また、当接面画像としては、例えば、図２０の右上図に示すような、人体モデルが用いられる場合であっても良い。また、図２０の右下図に示す画像２０２は、心臓を含むボリュームデータからレンダリング処理部１６が生成したＭＰＲ画像である。画像２０１及び画像２０２は、特徴画像となる。ここで、図２０の右下図に示す一例では、制御部１８の制御により、画像２００～画像２０２が３次元位置情報に基づく位置関係でモニタ２にて表示される。
　なお、画像２０２は、１つの視点を用いてレンダリング処理部１６がボリュームデータから生成したボリュームレンダリング画像であっても良い。また、画像２０２は、レンダリング処理部１６が９つの視点を用いてボリュームデータから生成した９視差画像を表示した立体画像であっても良い。また、画像２００は、第２の実施形態で説明したように、観察者が入力した情報により生成される場合であっても良い。
　図２０の右下図に例示する画像を参照することで、観察者は、画像２０２の表示を行なうために行なわれたＴＥＥプローブの３次元的な操作状況を把握することができる。また、図２０の右下図に例示する立体画像を表示するために生成された合成画像群を保存し、例えば第３の実施形態で説明した処理を行なうことで、過去の検査で表示された画像２０３と略同じ位置の超音波画像の表示を行なうことができる。なお、取得装置４は、トランスミッター４２と被検体Ｐとの位置関係等を用いて、ＴＥＥプローブが挿入された長さや深さ等の情報も取得することができる。制御部１８は、かかる情報も、合成画像群の情報に加えることが可能である。これにより、画像２０２を収集するために必要となるＴＥＥプローブの操作状況をより正確に提供することができる。
　以上、説明したとおり、第１～第３の実施形態及び変形例によれば、超音波プローブの操作に関する３次元的な情報を提示することができる。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、請求の範囲に記載された発明とその均等の範囲に含まれるものである。

Claims (7)

  1. 　所定視差数の視差画像である視差画像群を表示し、観察者により立体的に認識される立体画像を表示する表示部と、
    　被検体に当接された超音波プローブが受信した反射波に基づいて超音波画像を生成する画像生成部と、
    　前記超音波画像の撮影時における前記超音波プローブの３次元位置情報を取得する取得部と、
    　前記取得部により取得された前記３次元位置情報に基づいて、前記超音波プローブが立体画像として仮想的に認識されるための視差画像群であるプローブ画像群をボリュームレンダリング処理により生成するレンダリング処理部と、
    　撮影状況の特徴を示す特徴画像として、前記超音波画像及び前記超音波プローブが当接された前記被検体の当接面を示す当接面画像の少なくとも１つと、前記プローブ画像群とが、前記３次元位置情報に基づく位置関係で前記表示部にて表示されるように制御する制御部と、
    　を備える、超音波診断装置。
  2. 　前記画像生成部は、前記超音波プローブが時系列に沿って受信した反射波に基づいて時系列に沿った複数の超音波画像を生成し、
    　前記取得部は、前記時系列に沿った３次元位置情報を撮影時の時間情報に対応付けて取得し、
    　前記レンダリング処理部は、前記３次元位置情報及び前記時間情報に基づいて、時系列に沿った複数のプローブ画像群を生成し、
    　前記制御部は、前記時系列に沿った複数のプローブ画像群それぞれと、前記特徴画像としての前記時系列に沿った複数の超音波画像それぞれとが前記表示部にて表示されるように制御する、請求項１に記載の超音波診断装置。
  3. 　前記レンダリング処理部は、前記３次元位置情報及び前記時間情報に基づいて、前記当接面画像の形状を時系列に沿って変化させることで時系列に沿った複数の当接面画像を生成し、
    　前記制御部は、前記時系列に沿った複数のプローブ画像群それぞれと、前記特徴画像としての前記時系列に沿った複数の当接面画像それぞれとが前記表示部にて表示されるように制御する、請求項２に記載の超音波診断装置。
  4. 　前記取得部は、前記超音波プローブに取り付けられた位置センサを用いて前記３次元位置情報を取得する、請求項１に記載の超音波診断装置。
  5. 　前記取得部は、前記画像生成部により過去に生成された超音波画像を参照する観察者が所定の入力部を介して入力した入力情報に基づいて、当該超音波画像の撮影時における３次元位置情報を取得し、
    　前記レンダリング処理部は、前記入力情報に基づく３次元位置情報を用いて、前記プローブ画像群を生成する、請求項１に記載の超音波診断装置。
  6. 　前記制御部は、前記表示部にて表示された前記プローブ画像群及び前記特徴画像を所定の記憶部に格納する、請求項１に記載の超音波診断装置。
  7. 　前記制御部は、
    　前記所定の記憶部から取得した被検体の過去の超音波画像及びプローブ画像群を前記表示部の第１表示領域に表示させ、当該被検体の現時点で撮影される超音波画像を前記表示部の第２表示領域に表示させ、
    　更に、前記制御部は、
    　前記取得部が取得した現時点での超音波画像の撮影時における前記超音波プローブの３次元位置情報に合致した過去の超音波画像及びプローブ画像群が前記第１表示領域にて表示されるように制御する、請求項６に記載の超音波診断装置。
PCT/JP2012/062664 2011-05-26 2012-05-17 超音波診断装置 WO2012161088A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201280000669.XA CN102905623B (zh) 2011-05-26 2012-05-17 超声波诊断装置
US14/065,927 US20140058261A1 (en) 2011-05-26 2013-10-29 Ultrasonic diagnostic apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-118328 2011-05-26
JP2011118328 2011-05-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/065,927 Continuation US20140058261A1 (en) 2011-05-26 2013-10-29 Ultrasonic diagnostic apparatus

Publications (1)

Publication Number Publication Date
WO2012161088A1 true WO2012161088A1 (ja) 2012-11-29

Family

ID=47217166

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/062664 WO2012161088A1 (ja) 2011-05-26 2012-05-17 超音波診断装置

Country Status (4)

Country Link
US (1) US20140058261A1 (ja)
JP (1) JP6058283B2 (ja)
CN (1) CN102905623B (ja)
WO (1) WO2012161088A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112716521A (zh) * 2014-11-18 2021-04-30 C·R·巴德公司 具有自动图像呈现的超声成像系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103736614A (zh) * 2013-12-20 2014-04-23 河北汉光重工有限责任公司 喷涂设备的无线智能控制技术
CN104013423B (zh) * 2014-05-09 2016-07-13 杨松 B超扫描探头、b超扫描系统和b超扫描方法
KR101621309B1 (ko) 2014-07-04 2016-05-16 한국디지털병원수출사업협동조합 3차원 초음파 진단기용 영상 이미지 왜곡 보정 시스템
US10667796B2 (en) * 2014-09-22 2020-06-02 General Electric Company Method and system for registering a medical image with a graphical model
CN107847214B (zh) * 2015-08-04 2021-01-01 深圳迈瑞生物医疗电子股份有限公司 三维超声流体成像方法及系统
JP6670607B2 (ja) * 2015-12-28 2020-03-25 キヤノンメディカルシステムズ株式会社 超音波診断装置
EP3513733A1 (en) * 2018-01-23 2019-07-24 Koninklijke Philips N.V. Ultrasound imaging apparatus and method
WO2020082219A1 (zh) * 2018-10-22 2020-04-30 深圳迈瑞生物医疗电子股份有限公司 一种超声成像方法、系统
WO2020217860A1 (ja) * 2019-04-26 2020-10-29 テルモ株式会社 診断支援装置及び診断支援方法
US11883241B2 (en) * 2019-09-30 2024-01-30 Canon Medical Systems Corporation Medical image diagnostic apparatus, ultrasonic diagnostic apparatus, medical imaging system, and imaging control method
JP7453400B2 (ja) * 2020-09-24 2024-03-19 富士フイルム株式会社 超音波システムおよび超音波システムの制御方法
CN112155595B (zh) * 2020-10-10 2023-07-07 达闼机器人股份有限公司 超声波诊断设备、超声探头、图像的生成方法及存储介质
CN112656446A (zh) * 2021-01-13 2021-04-16 北海市景泰达科技有限公司 一种基于5g技术应用的b超装置
CN114209354A (zh) * 2021-12-20 2022-03-22 深圳开立生物医疗科技股份有限公司 一种超声图像的显示方法、装置、设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1024036A (ja) * 1996-07-10 1998-01-27 Ge Yokogawa Medical Syst Ltd 超音波画像表示方法および超音波診断装置
JP2004057379A (ja) * 2002-07-26 2004-02-26 Aloka Co Ltd 超音波診断装置
JP2009022788A (ja) * 1997-09-25 2009-02-05 Toshiba Corp 超音波診断装置
JP2011011001A (ja) * 2009-07-06 2011-01-20 Toshiba Corp 超音波診断装置およびその処理プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5709206A (en) * 1995-11-27 1998-01-20 Teboul; Michel Imaging system for breast sonography
JP4263579B2 (ja) * 2003-10-22 2009-05-13 アロカ株式会社 超音波診断装置
US7563228B2 (en) * 2005-01-24 2009-07-21 Siemens Medical Solutions Usa, Inc. Stereoscopic three or four dimensional ultrasound imaging
US9084556B2 (en) * 2006-01-19 2015-07-21 Toshiba Medical Systems Corporation Apparatus for indicating locus of an ultrasonic probe, ultrasonic diagnostic apparatus
JP2009072412A (ja) * 2007-09-21 2009-04-09 Fujifilm Corp 画像表示システム及び画像表示装置並びに画像表示方法
JP2009089736A (ja) * 2007-10-03 2009-04-30 Toshiba Corp 超音波診断装置
JP5537171B2 (ja) * 2009-02-27 2014-07-02 株式会社東芝 超音波撮影装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2010201049A (ja) * 2009-03-05 2010-09-16 Aloka Co Ltd 超音波診断装置
JP5508765B2 (ja) * 2009-06-03 2014-06-04 株式会社東芝 ３次元超音波診断装置
US20120108960A1 (en) * 2010-11-03 2012-05-03 Halmann Menachem Nahi Method and system for organizing stored ultrasound data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1024036A (ja) * 1996-07-10 1998-01-27 Ge Yokogawa Medical Syst Ltd 超音波画像表示方法および超音波診断装置
JP2009022788A (ja) * 1997-09-25 2009-02-05 Toshiba Corp 超音波診断装置
JP2004057379A (ja) * 2002-07-26 2004-02-26 Aloka Co Ltd 超音波診断装置
JP2011011001A (ja) * 2009-07-06 2011-01-20 Toshiba Corp 超音波診断装置およびその処理プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112716521A (zh) * 2014-11-18 2021-04-30 C·R·巴德公司 具有自动图像呈现的超声成像系统
CN112716521B (zh) * 2014-11-18 2024-03-01 C·R·巴德公司 具有自动图像呈现的超声成像系统

Also Published As

Publication number Publication date
JP2013006020A (ja) 2013-01-10
JP6058283B2 (ja) 2017-01-11
CN102905623A (zh) 2013-01-30
US20140058261A1 (en) 2014-02-27
CN102905623B (zh) 2015-05-06

Similar Documents

Publication Publication Date Title
JP6058283B2 (ja) 超音波診断装置
JP6242569B2 (ja) 医用画像表示装置及びｘ線診断装置
JP6058282B2 (ja) 医用画像診断装置及び画像処理装置
JPWO2006059668A1 (ja) 超音波装置、超音波撮像プログラム及び超音波撮像方法
WO2014129425A1 (ja) 超音波診断装置及び医用画像処理装置
US9262823B2 (en) Medical image generating apparatus and medical image generating method
KR102002408B1 (ko) 초음파 영상 생성 장치 및 방법
JP5868026B2 (ja) 超音波診断装置
EP2732769B1 (en) Method and apparatus for displaying medical image
JP6125256B2 (ja) 超音波診断装置、画像処理装置及び画像処理プログラム
JP6670607B2 (ja) 超音波診断装置
JP5460547B2 (ja) 医用画像診断装置、及び医用画像診断装置の制御プログラム
JP4740695B2 (ja) 超音波診断装置
JP2014064913A (ja) 超音波診断装置、医用画像処理装置及び画像処理プログラム
JP4865575B2 (ja) 超音波診断装置
WO2012161054A1 (ja) 医用画像診断装置、画像処理装置及び超音波診断装置
US10004477B2 (en) Medical imaging apparatus and method of providing medical images
JP2009100996A (ja) 超音波診断システム
JP2013121453A (ja) 超音波診断装置及び画像処理装置
JP2011024733A (ja) 超音波診断装置
JP2013097772A (ja) 医用画像診断装置及び画像処理装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280000669.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12789118

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12789118

Country of ref document: EP

Kind code of ref document: A1