WO2005104955A1 - 超音波診断装置 - Google Patents

超音波診断装置 Download PDF

Info

Publication number
WO2005104955A1
WO2005104955A1 PCT/JP2005/007926 JP2005007926W WO2005104955A1 WO 2005104955 A1 WO2005104955 A1 WO 2005104955A1 JP 2005007926 W JP2005007926 W JP 2005007926W WO 2005104955 A1 WO2005104955 A1 WO 2005104955A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image data
dimensional
ultrasonic
data
Prior art date
Application number
PCT/JP2005/007926
Other languages
English (en)
French (fr)
Inventor
Tomonao Kawashima
Saori Obata
Shun Yokoi
Original Assignee
Olympus Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corporation filed Critical Olympus Corporation
Priority to EP05737168.4A priority Critical patent/EP1741390B8/en
Publication of WO2005104955A1 publication Critical patent/WO2005104955A1/ja
Priority to US11/589,601 priority patent/US7736316B2/en

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053—Display arrangements
    • G01S7/52057—Cathode ray tube displays
    • G01S7/52074—Composite displays, e.g. split-screen displays; Combination of multiple images or of images and alphanumeric tabular information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/445—Details of catheter construction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/56—Details of data transmission or power supply
    • A61B8/565—Details of data transmission or power supply involving data transmission via a network

Definitions

  • the present invention irradiates an ultrasonic wave radially into a living body, receives an echo of the ultrasonic wave, scans the ultrasonic wave, and performs the scan based on the ultrasonic image data obtained by the scan.
  • the present invention relates to an ultrasonic diagnostic apparatus for displaying and outputting an ultrasonic image of a body. Background art
  • an ultrasonic diagnostic apparatus that irradiates an ultrasonic wave into a living body and performs a sector scan for receiving an ultrasonic echo from the living tissue to generate and output an ultrasonic image of the living body.
  • the surgeon considers the known anatomical positional relationship of each organ and each tissue in the living body in advance and determines the biopsy position in the living body that is currently being observed. Estimate and observe the ultrasonic image to make a medical diagnosis of this living body.
  • an ultrasonic diagnostic apparatus has been proposed which displays and outputs a guide image for guiding an anatomical position in a living body observed by an ultrasonic image.
  • the ultrasonic diagnostic apparatus includes an extracorporeal ultrasonic probe for irradiating an ultrasonic wave into a living body of an examinee and an anatomical chart database storing anatomical illustration images. Detects the position and posture of the ultrasonic transducer provided in the ultrasonic probe, and selects an illustration image that matches the anatomical position and posture based on the detected position and posture in the anatomical map database. It is configured to display and output. Further, the ultrasonic diagnostic apparatus allows the operator to set the contact position and the contact posture of the ultrasonic probe before starting the diagnosis so that the scanning plane of the ultrasonic probe matches the predetermined cross section (reference plane) of the living body. By adjusting, the anatomical chart database force illustration image can be automatically selected according to the position and posture of the ultrasonic transducer (see Patent Document 1).
  • the ultrasonic diagnostic apparatus As a method of matching the reference plane with the scanning plane, the ultrasonic diagnostic apparatus is used for the inspection. A skeletal map composed based on the physique information of the patient is displayed and output. There is a method of adjusting the contact position and contact posture of the sound wave probe. Alternatively, the ultrasonic diagnostic apparatus outputs and displays a skeleton diagram corresponding to the current contact state of the ultrasonic probe, and the operator inputs the coordinates of the reference plane that matches the scanning plane of the ultrasonic probe on the skeleton diagram. There is a way to specify.
  • the ultrasonic diagnostic apparatus matches the running surface of the ultrasonic probe with the reference plane on the skeletal diagram based on these methods, and thereby, the coordinate system of the ultrasonic probe (recognized by the ultrasonic diagnostic apparatus). (Coordinate system) and the coordinate system on the living body.
  • Patent Document 1 JP-A-2002-263101
  • the ultrasonic diagnostic device described in Patent Document 1 described above has the following problems.
  • this ultrasonic diagnostic apparatus is configured to automatically select and display the closest to the observation position from the database containing multiple illustration images. Unless stored in the anatomical chart database in advance, the illustration image may not exactly match the position of the scanning plane by the ultrasonic transducer. Therefore, there is a problem that the selected illustration image is not a guide image accurately representing the observation position.
  • the ultrasonic diagnostic apparatus is configured according to the physique information of a subject as a first specific method for matching a scanning plane to a specific cross section (reference plane) of a living body.
  • a skeleton diagram is displayed on the screen, a reference plane is arbitrarily specified on the skeleton diagram, and the contact of the probe is adjusted so that the running plane matches the reference plane.
  • the coordinates that match the scanning plane in the current contact state of the probe are designated on the skeleton diagram.
  • Patent Document 1 does not disclose what the coordinate system of the probe is and the coordinate system on the living body. Also, the probe coordinate system The specific calculation method that matches the coordinate system with the living body coordinate system is disclosed! In other words, it cannot be said that this ultrasonic diagnostic apparatus does not eliminate the inaccuracy in exactly matching the scanning plane to the reference plane or specifying coordinates that match the scanning plane. Therefore, as a result, similarly to the first problem, there was a problem that the selected illustration image could not be said to be a guide image accurately representing the observation position.
  • the present invention has been made in view of the above circumstances, and provides an ultrasonic diagnostic apparatus capable of displaying and outputting a guide image that anatomically accurately corresponds to an ultrasonic image for observing the inside of a subject.
  • the purpose is to provide.
  • the present invention provides a method for performing scanning within a body of a subject to obtain two-dimensional image data in the body and obtaining the two-dimensional image data.
  • An ultrasonic diagnostic apparatus that detects the position and orientation of the scan surface of the scan and generates and outputs a two-dimensional ultrasonic image of the body based on the detected position and orientation and the two-dimensional image data.
  • Image processing control means for generating a guide image corresponding to the anatomical position and orientation of the two-dimensional ultrasound image based on anatomical image data stored in advance as anatomical image data of a human body
  • display means for simultaneously displaying and outputting a plurality of various images including the guide image and the two-dimensional ultrasonic image.
  • input means for instructing and inputting a feature point indicating an anatomically characteristic position on the anatomical image data
  • Sample point detecting means for detecting a corresponding sample force of the subject's positional force
  • the image processing control means comprises the characteristic point, the sample point, and the detected position and orientation.
  • the guide image corresponds to an anatomical position and orientation of the two-dimensional ultrasonic image.
  • the image processing control means may be configured to determine a cutting plane of the anatomical image data based on the characteristic point, the sample point, and the detected position and orientation. Calculating, generating cross-sectional image data corresponding to the cross-sectional image of the cutting plane based on the anatomical image data, and generating the guide image based on the cutting plane and the cross-sectional image data. It is characterized by the following.
  • the input means inputs at least four of the feature points
  • the sample point detecting means anatomically deviates to at least four of the feature points. The method is characterized in that at least four corresponding sample points are detected.
  • the present invention according to the above invention, further comprising a probe inserted into a body cavity, wherein the sample point detecting means is provided at a tip of the probe, and detects a sample point from inside the body cavity of the subject. It is characterized by the following.
  • the probe includes optical observation means for obtaining an optical image of the inside of the body cavity of the subject, and the display means displays the optical image obtained by the optical observation means.
  • the sample point is displayed, and the sample point is detected from the body cavity of the subject while the display means is displaying the optical image.
  • the image processing control means sets a feature point three-axis coordinate system on the anatomical image data based on the feature points, and A sample point three-axis coordinate system anatomically corresponding to the feature point three-axis coordinate system is set on the two-dimensional image data, and the detected position and orientation are defined on the sample point three-axis coordinate system.
  • the position and orientation are converted into the position and orientation, and the converted position and orientation are converted into the position and orientation on the feature point three-axis coordinate system.
  • the cutting plane is calculated.
  • the anatomical image data is a plurality of slice image data corresponding to each slice image of a human body transverse section perpendicular to a body axis
  • the input unit includes: The feature points are instructed and input on the slice image displayed as an anatomical image, and the image processing control means interpolates an intersection line between the cutting plane and the plurality of slice image data to form the cross section. It is characterized in that image data is created.
  • the sample point detecting means is arranged on a body surface of the subject and corresponds to an anatomical characteristic position near the body surface.
  • Reference sample point detecting means for detecting the sample points, and the image processing control means includes a sample point three-axis coordinate system whose origin is a reference sample point detected by the reference sample point detecting means among the sample points. It is characterized by setting.
  • the sample point detection means may include the reference sample check. Further detecting the orientation of the reference sample point detected by the outputting means, the image processing control means
  • the coordinates of the four sample points and the change in the body position of the subject are calculated. It is characterized in that the coordinates of the four sample points that fluctuate due to the above are respectively corrected.
  • an image generating means for generating the anatomical image data using a desired human body and the anatomical image data is transmitted from the image generating means to the image processing control means.
  • the anatomical image data is anatomical three-dimensional image data of a human body
  • the input means designates a cutting position of the three-dimensional image data.
  • the image processing control means cuts the three-dimensional image data at the cutting plane to create the cross-sectional image data It is characterized by doing.
  • the present invention is characterized in that, in the above invention, the image generating means includes an X-ray CT device, an MRI device, or a PET device.
  • the present invention is characterized in that, in the above invention, the sample point anatomically corresponds to any one of four forces of the xiphoid process, the right end of the pelvis, the pylorus, the duodenal papilla, and the cardia. I do.
  • the present invention is characterized in that, in the above invention, the anatomical image data is classified in advance by region.
  • the present invention is characterized in that, in the above invention, the anatomical image data is classified by color in advance for each region.
  • the input means inputs a rotation angle of the two-dimensional ultrasonic image or the guide image having a rotation center at an image center
  • the image processing control means includes: The two-dimensional ultrasonic image forming the rotation angle is sequentially generated and output in a direction perpendicular to the normal direction without changing the normal direction of the two-dimensional ultrasonic image.
  • a guide image forming the rotation angle is sequentially generated and output in a direction perpendicular to the normal direction without changing the line direction.
  • the image processing control means includes: The guide image forming the rotation angle is sequentially generated and output in a direction perpendicular to the normal direction without changing the normal direction of the two-dimensional ultrasonic image, and the normal direction of the two-dimensional ultrasonic image is not changed.
  • the method is characterized in that a two-dimensional ultrasonic image having the rotation angle is sequentially generated and output in a direction perpendicular to the normal direction.
  • the present invention is characterized in that, in the above invention, the input means inputs a rotation angle that changes according to an input amount of the input means.
  • the scan is a radial scan
  • a center position and a normal direction of a scanning surface of the radial scan are detected, and default orientation data regarding a direction perpendicular to the normal direction is detected.
  • the image processing control means based on the rotation angle, based on the detected center position and normal direction and the default orientation data.
  • the orientation is anatomically matched with the orientation of the guide image.
  • the input means further inputs specific information for specifying the two-dimensional ultrasonic image
  • the image processing control means performs the input for each of the input specific information.
  • the specific information is associated with the two-dimensional ultrasonic image and the guide image
  • a two-dimensional ultrasonic image is searched based on the input specific information
  • the searched two-dimensional ultrasonic image and the two-dimensional ultrasonic image are associated with each other.
  • a guide image associated with the three-dimensional ultrasonic image is displayed on the display means.
  • the present invention according to the above invention, further comprising an insertion shape detecting means for detecting an insertion shape of the insertion portion of the probe for performing the scan into the body, wherein the image processing control means indicates the insertion shape.
  • An insertion shape image is displayed on the display means together with the two-dimensional ultrasonic image and the guide image.
  • a plurality of ultrasonic transducers are arranged in a ring, and the electronic radial scan type of transmitting and receiving ultrasonic waves in a predetermined order in the body to perform the scan.
  • a probe is provided.
  • two-dimensional image data obtained by imaging a cross section of the inside of a subject, and guide image data that anatomically accurately corresponds to the position and orientation of the two-dimensional image data are obtained.
  • the two-dimensional ultrasound image corresponding to the two-dimensional image data can be easily created in real time. It is possible to realize an ultrasonic diagnostic apparatus capable of sequentially displaying and outputting corresponding guide images in real time.
  • the operator can simultaneously check the two-dimensional ultrasonic image and the guide image, and refer to, for example, a color-coded organ image or the like indicated by the guide image. It is possible to accurately and easily recognize which position of the subject is anatomically indicated by the current two-dimensional ultrasound image, and thereby, the interest of a lesion or the like in the subject can be recognized. This makes it possible to easily find a region and accurately observe the region of interest, thereby providing an effect that medical diagnosis of a subject can be performed accurately and efficiently. This is because the extracorporeal force of the subject is much more medically useful than an ultrasonic diagnostic device that irradiates ultrasonic waves, especially for shortening the examination time for the subject and learning the operator's beginners. The time is greatly reduced.
  • FIG. 1 is a block diagram illustrating a configuration example of an ultrasonic diagnostic apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a schematic diagram schematically illustrating one embodiment of a marker coil and one embodiment of a plate.
  • FIG. 3 is a schematic diagram schematically illustrating a setting state of a rectangular coordinate system in a receiving coil.
  • FIG. 4 is a flowchart illustrating processing steps until a two-dimensional ultrasonic image and a guide image are arranged and displayed on the same screen and output.
  • FIG. 5 is a schematic diagram schematically showing a display example in which a two-dimensional ultrasonic image and a guide image are displayed and output side by side on the same screen.
  • FIG. 6 is a flowchart exemplifying processing steps until a feature point setting process is achieved.
  • FIG. 7 is a schematic diagram illustrating an operation of setting a feature point in slice image data.
  • FIG. 8 is a flowchart illustrating processing steps until a sample point setting process is achieved; It is.
  • FIG. 9 is a flowchart illustrating processing steps up to achieving guide image creation processing.
  • FIG. 10 is a schematic diagram illustrating a relationship between a two-dimensional image plane and a three-axis coordinate system based on sample points.
  • FIG. 11 is a schematic diagram illustrating an operation of calculating a guide image plane and its position data.
  • FIG. 12 is a block diagram showing an example of a configuration example of an ultrasonic diagnostic apparatus according to Embodiment 2 of the present invention.
  • FIG. 13 is a flowchart exemplifying a processing flow up to achieving feature point setting processing using volume data.
  • FIG. 14 is a schematic diagram illustrating an operation of setting a cross section of volume data.
  • FIG. 15 is a schematic diagram schematically illustrating a state in which volume data and a cross-sectional image are displayed and output side by side on the same screen.
  • FIG. 16 is a block diagram showing an example of a configuration example of an ultrasonic diagnostic apparatus according to Embodiment 3 of the present invention.
  • FIG. 17 is a schematic diagram schematically illustrating a state in which a guide image and a two-dimensional ultrasonic image subjected to rotation processing are displayed and output on the same screen.
  • FIG. 18 is a schematic diagram schematically illustrating a state in which a two-dimensional ultrasonic image and a guide image subjected to a rotation process are output and displayed on the same screen.
  • FIG. 19 is a schematic diagram schematically illustrating a state in which a two-dimensional ultrasound image subjected to rotation processing and a guide image subjected to rotation processing are displayed and output on the same screen.
  • FIG. 20 is a block diagram showing an example of a configuration example of an ultrasonic diagnostic apparatus according to Embodiment 4 of the present invention.
  • FIG. 21 is a block diagram showing an example of a configuration example of an ultrasonic diagnostic apparatus according to Embodiment 5 of the present invention.
  • FIG. 22 is a block diagram showing an example of a configuration example of an ultrasonic diagnostic apparatus according to Embodiment 6 of the present invention.
  • FIG. 23 is a schematic diagram schematically illustrating a screen display example of a two-dimensional ultrasonic image, a guide image, and an insertion shape image at the same timing.
  • FIG. 24 is a block diagram illustrating an example of a configuration of an ultrasonic diagnostic apparatus according to Embodiment 7 of the present invention.
  • FIG. 25 is a schematic diagram schematically illustrating one configuration of the tip of an electronic radial scan probe.
  • FIG. 1 is a block diagram illustrating a configuration example of an ultrasonic diagnostic apparatus according to Embodiment 1 of the present invention.
  • an ultrasonic diagnostic apparatus 1 includes a probe 2 having an insertion section 3 inserted into a subject and an operation section 4 for operating the insertion section 3, an ultrasonic observation apparatus 5, and position data.
  • Calculation device 6 transmission coil 7 having a plurality of coil forces, marker coil 8, plate 9 having a plurality of coils, reception coil 10, input device 11, display device 12, image processing device 13 and an optical observation device 17.
  • An ultrasonic transducer 3a is rotatably incorporated at the insertion-side end of the insertion section 3, and an operation section 4 is disposed at the rear end of the insertion section 3.
  • a transmission coil 7 is detachably disposed near the ultrasonic transducer 3a.
  • the insertion section 3 has a shaft 3b serving as a rotation axis of the ultrasonic transducer 3a, and the operation section 4 has a motor 4a and a rotary encoder 4b.
  • Motor 4a is connected to ultrasonic transducer 3a via shaft 3b Is done.
  • the rotary encoder 4b is connected to the motor 4a.
  • the ultrasonic observation device 5 is electrically connected to the ultrasonic transducer 3a, the motor 4a, and the rotary encoder 4b via a power switch (not shown) provided on the operation unit 4, a cable, and the like.
  • the position data calculation device 6 is electrically connected to the transmission coil 7, the marker coil 8, the plate 9, and the reception coil 10 via a cable or the like. Furthermore, the probe 2 has an optical observation window 3c realized using a cover glass, a lens 3d, and a CCD (Charge
  • a Coupled Device camera 3e an illumination light irradiating window (not shown) for irradiating illumination light into the body cavity, and the like are provided.
  • the CCD camera 3e is electrically connected to the optical observation device 17 via a cable or the like.
  • the image processing device 13 is electrically connected to the ultrasonic observation device 5, the position data calculation device 6, the input device 11, the display device 12, and the optical observation device 17 via a cable or the like.
  • the probe 2 radially moves inside the subject by rotating the ultrasonic transducer 3a and repeatedly transmitting and receiving ultrasonic waves while the insertion section 3 is inserted into the subject. Perform a scan.
  • the insertion section 3 is realized using a flexible member, and has an elongated cylindrical shape suitable for insertion into a subject.
  • the ultrasonic vibrator 3a is realized by using a piezoelectric ceramic such as norium titanate or lead zirconate titanate, and converts a pulse-shaped voltage applied from the ultrasonic observation device 5 into ultrasonic waves by an inverse piezoelectric effect.
  • the shaft 3b is a flexible shaft, and functions as a flexible rotating shaft that transmits the rotational drive by the motor 4a to the ultrasonic vibrator 3a. That is, the ultrasonic vibrator 3a rotates around a direction substantially coaxial with the direction in which the insertion section 3 is inserted into the subject.
  • the operation unit 4 includes a distal end of the insertion unit 3 including a portion where the ultrasonic vibrator 3a and the transmission coil 7 are arranged according to an operation of an operator, that is, an operator who performs in-vivo observation or diagnosis of the subject. Has the function of bending
  • the operation unit 4 is turned on by an operator operating a power switch of the operation unit 4 and by a predetermined command input from the input device 11 and passing through the image processing device 13 and the ultrasonic observation device 15.
  • the ultrasonic transducer 3a, the motor 4a, and the rotary encoder 4b are electrically connected to the ultrasonic observation device 5.
  • the ultrasonic observation device 5 can apply a pulse voltage (pulse voltage) of about 100 [V] to the ultrasonic transducer 3a and apply a DC drive voltage of about 12 [V] to the motor 4a. Further, it can receive an electric signal from the rotary encoder 4b.
  • the motor 4a performs a rotational drive using the DC drive voltage applied from the ultrasonic observation device 5, and transmits the rotational drive to the ultrasonic transducer 3a via the shaft 3b.
  • the motor 4a rotates the ultrasonic transducer 3a around the shaft 3b as a rotation axis.
  • the rotary encoder 4b detects the rotation angle of the rotation drive by the motor 4a and outputs an electric signal (angle detection signal) corresponding to the detected rotation angle to the ultrasonic observation device 5.
  • the optical observation window 3c is arranged near the ultrasonic transducer 3a or the transmission coil 7, for example, at a position about 0.5 cm away from the transmission coil 7. Illumination light is emitted from the above-described illumination light irradiation window (not shown) to illuminate the inside of the subject.
  • the image of the lumen surface in the body of the subject is formed on the CCD camera 3e from the optical observation window 3c via the lens 3d.
  • the CCD camera 3e outputs an electric signal (CCD signal) corresponding to the formed image through an optical observation device 17.
  • the optical observation device 17 creates image data of the lumen surface inside the body cavity of the subject based on the CCD signal from the CCD camera 3e, and uses this data as optical image data in the control unit in the image processing device 13. Output to section 16.
  • the ultrasonic observation device 5 is configured using a detection circuit, an amplification circuit, an AZD conversion circuit, a coordinate conversion circuit, and the like.
  • the ultrasonic observation device 5 uses the scan signal sequentially received from the ultrasonic transducer 3a and the angle detection signal received from the rotary encoder 4b, and performs envelope detection processing, logarithmic amplification processing, AZD conversion processing, and orthogonal processing from the polar coordinate system. Performs well-known processes such as a coordinate conversion process to a coordinate system. Thereby, the ultrasonic observation apparatus 5 creates one two-dimensional image data for each sequentially received scan signal, that is, for each of the above-described radial scans.
  • the ultrasonic observation device 5 sequentially transmits the created two-dimensional image data to the image processing device 13.
  • the two-dimensional image data is digital image data corresponding to a two-dimensional ultrasonic image of the inside of the subject by this radial scan, and a reference based on the angle detection signal described above in a direction parallel to the two-dimensional image plane.
  • the direction is set.
  • the reference direction will be described as the 12:00 direction, that is, the upward direction of the two-dimensional ultrasonic image.
  • the position data calculation device 6 excites each coil constituting each of the transmission coil 7, the marker coil 8, and the plate 9 at a different frequency, and then transmits the transmission coil 7, the marker coil 8, and the An electric signal corresponding to each alternating magnetic field in which each coil force that forms each of the plates 9 is also generated is received from the receiving coil 10.
  • the receiving coil 10 detects each alternating magnetic field generated from each coil constituting each of the transmitting coil 7, the marker coil 8, and the plate 9, converts the detected alternating magnetic field into an electric signal, and outputs the electric signal.
  • the signal is transmitted to the position data calculation device 6 as a position detection signal.
  • the position data calculation device 6 decomposes each position detection signal received from the reception coil 10 for each frequency, thereby decomposing each received position detection signal for each alternating magnetic field. That is, the position data calculation device 6 decomposes the position detection signal resulting from the alternating magnetic field from each of the coils constituting the transmission coil 7, the marker coil 8, and the plate 9 from the received position detection signals. obtain. Then, the position data calculating device 6 calculates and calculates data (position data) on each position and each orientation of the transmission coil 7, the marker coil 8, and the plate 9 based on the obtained position detection signals. The position data is transmitted to the image processing device 13.
  • the transmission coil 7 includes a first coil having a coil winding axis (coil axis) fixed in the direction of the insertion axis of the insertion section 3 into the subject, that is, the direction of the rotation axis of the ultrasonic transducer 3a. This is realized by using a second coil whose coil axis is fixed in the reference direction based on the angle detection signal from the rotary encoder 4b in the direction perpendicular to the insertion axis direction, that is, in the 12:00 direction of the two-dimensional ultrasonic image.
  • the transmitting coil 7 is fixed so that the distance and the orientation with respect to the ultrasonic transducer 3a are substantially constant, each position and each orientation of the first coil and the second coil are applied to the ultrasonic transducer 3a. On the other hand, it is almost fixed.
  • the transmission coil 7 generates an alternating magnetic field when the position data calculation device 6 supplies a current to the first coil and the second coil.
  • the device 6 obtains position data on the position and orientation of the ultrasonic transducer 3a based on each position detection signal corresponding to each alternating magnetic field of the first coil and the second coil force. be able to.
  • the transmitting coil 7 When the transmitting coil 7 is disposed near the ultrasonic transducer 3a, it may be removably disposed on the outer wall of the insertion section 3, but is preferably removably inserted into the insertion section 3. .
  • the marker coil 8 has one built-in coil for converting a current supplied from the position data calculation device 6 into a predetermined alternating magnetic field, and has a stick shape. This coil is provided on the tip side of the stick shape of the marker coil 8.
  • the marker coil 8 generates an alternating magnetic field indicating a position near the body surface when a current is supplied from the position data calculation device 6 in a state of being in contact with the body surface of the subject.
  • the position data calculation device 6 can obtain position data relating to the contact position of the body surface of the subject based on the position detection signal corresponding to the alternating magnetic field from the marker coil 8.
  • the plate 9 has three built-in coils for converting a current supplied from the position data calculating device 6 into a predetermined alternating magnetic field, and has a plate shape such as an elliptical shape that easily adheres to the body surface of the subject. .
  • the plate 9 When a current is supplied from the position data calculating device 6 while the plate 9 is in contact with the body surface of the subject, the plate 9 generates an alternating magnetic field indicating a position near the body surface.
  • the three coils of the plate 9 are arranged in the plate 9 such that the respective coil axes are aligned with each other!
  • the plate 9 has a rectangular coordinate system x "y" z ⁇ at the origin 0 ⁇ at which the X "axis, the y" axis, and the z "axis are orthogonal.
  • the rectangular coordinate system x'V “z” is fixed to the plate 9, and when the plate 9 itself moves, the rectangular coordinate system x'V “z” also moves. The setting of the coordinate system x "y" z ⁇ will be described later.
  • the receiving coil 10 is realized by using a plurality of coils, and detects each alternating magnetic field generated from the transmitting coil 7, the marker coil 8, and the plate 9 as described above, and positions the detected alternating magnetic field.
  • the position data is converted into a detection signal and transmitted to the position data calculation device 6.
  • a rectangular coordinate system xyz of an origin O at which three axes of the X axis, the y axis, and the z axis are orthogonal is set.
  • This orthogonal coordinate system xyz is fixed to the receiving coil 10. Since the receiving coil 10 does not move in the subsequent operation, this rectangular coordinate system xyz And a coordinate system whose orientation is fixed in space.
  • the orthogonal coordinate system xyz is based on the position data calculated by the position data calculation device 6, that is, each position in the subject's body detected using the transmission coil 7, the marker coil 8, and the plate 9, and the ultrasonic vibration.
  • This is an orthogonal coordinate system for expressing the position and orientation of the child 3a.
  • the setting of the orthogonal coordinate system xyz for the receiving coil 10 will be described later.
  • the input device 11 is realized by using a keyboard, a touch panel, a trackball, a mouse, a joystick, or the like singly or in combination, and performs the above-described radial scan or ultrasonic waves such as various image displays on the display device 12.
  • Input to device 13 For example, when using a keyboard or a touch panel, the user can enter or select desired instruction information or coordinate information, or directly enter an information menu or coordinate position displayed on the screen of the display device 12 or the touch panel. Is input.
  • the information menu displayed on the screen of the display device 12 can also be used to select the desired instruction information or directly change the coordinate position displayed on the screen of the display device 12.
  • desired instruction information or coordinate information is input. Specifically, by operating a trackball, a mouse, or a joystick, a cursor or the like displayed on the screen of the display device 12 is moved to a selected option or coordinate position of desired instruction information, and a click operation is performed. Desired instruction information or coordinate information is input.
  • the image processing device 13 is realized by using a well-known computer, and has an image storage unit 14, a display circuit 15, and a control unit 16.
  • the image storage unit 14 is realized using various types of IC memories such as an EEPROM or a flash memory, a hard disk drive, or various types of storage devices capable of writing and reading data, such as a magneto-optical disk drive.
  • the image storage unit 14 stores, under the control of the control unit 16, various image data such as two-dimensional image data input from the control unit 16 or guide image data to be described later. At this time, under the control of the control unit 16, the image storage unit 14 stores various images such as two-dimensional image data or guide image data. Each position data of the image data can be stored in association with the image data. Also
  • the image storage unit 14 transmits the stored various image data and the like to the control unit 16 under the control of the control unit 16.
  • the image storage unit 14 stores in advance a slice image data group including a plurality of slice image data, which are anatomical image data of a biological section.
  • this slice image data group an orthogonal coordinate system x'y'z 'of an origin O' where three axes of x 'axis, y' axis, and z 'axis are orthogonal is set in advance. That is, the slice image data group is stored in the image storage unit 14 in a state of being arranged on the orthogonal coordinate system x'y'z '.
  • the control unit 16 can read out the slice image data or the slice image data group associated with the rectangular coordinate system x'y'z '.
  • the slice image data is, for example, square photograph data of about 40 cm on a side obtained by slicing a frozen human body other than the subject in parallel at lmm pitch, and using pixels of the photograph data as organs. These are image data obtained by separately classifying and then color-coding by organ. The reason that one side of this photographic data was set to about 40 cm was a force large enough to cover the entire cross section of the human body perpendicular to the body axis.
  • the display circuit 15 performs DZA conversion processing or the like on various image data input from the control unit 16 under the control of the control unit 16, and displays the input various image data on the display device 12 To an image signal that can be displayed on the screen. After that, the display circuit 15 transmits this image signal to the display device 12.
  • the display device 12 displays and outputs one or more of various images corresponding to the various image data by arranging or switching the images based on the image signal received from the display circuit 15. For example, the display device 12 displays the two-dimensional ultrasonic image corresponding to the two-dimensional image data by receiving an image signal corresponding to the two-dimensional image data created by the ultrasonic observation device 5 from the display circuit 15. Output.
  • the display device 12 receives an image signal corresponding to the optical image data created by the optical observation device 17 from the display circuit 15, and thereby, for example, a surface of a luminal surface in the subject corresponding to the optical image data. Display and output the optical image. Under the control of the control unit 16, this optical image is displayed and output singly or plurally or arranged or switched.
  • the control unit 16 includes a ROM in which various data such as a processing program is stored in advance, and an operation parameter.
  • the storage unit 16a is realized by using a RAM for temporarily storing data and the like, and is realized by using a CPU that executes this processing program.
  • the control unit 16 controls various operations of the ultrasonic diagnostic apparatus 1 and the image display operation of the display device 12 regarding the radial scan described above.
  • the control unit 16 performs information input / output control for various types of information input from the ultrasonic observation device 5, the position data calculation device 6, or the input device 11, and operates and performs image processing of the ultrasonic observation device 5.
  • the operation of each component of the device 13 is controlled.
  • the storage unit 16a temporarily stores various image data, various types of information input from the input device 11, or various types of position data input from the position data calculation device 6 under the control of the control unit 16. You. .
  • the control unit 16 further includes a timer 16b, an image composition unit 16c, a mixing unit 16d, and a correction unit 16e.
  • the timer 16b functions to notify the control unit 16 of a time t at a predetermined timing under the control of the control unit 16.
  • the timer 16 b controls the time at which the control unit 16 receives the sample point setting instruction information described below from the input device 11 or the control unit 16 transmits the sample point setting instruction information to the ultrasonic observation device 5.
  • the control unit 16 is notified of the time of receiving the two-dimensional image data.
  • the image forming unit 16c converts the coordinate information input from the input device 11 into the orthogonal coordinate system x'y'z 'set in the slice image data group described above. It works to set points based on them (hereinafter, feature points). Specifically, the operator inputs the feature point coordinate information using the input device 11 while checking the slice image on the display device 12, and the control unit 16 detects the input feature point coordinate information. At this time, under the control of the control unit 16, the image construction unit 16c sets a feature point at coordinates on the orthogonal coordinate system x'y'z 'based on the feature point coordinate information.
  • the image forming unit 16c uses the four points (feature points P ′, P ′, P ′, P ′) among the plurality of feature points set to at least four points, and the three-axis coordinate system P′P′P ′ Set.
  • Control unit 1
  • the feature points are set as points indicating anatomically distinct sites, such as the xiphoid process, the right or left end of the pelvis, the pylorus, the duodenal papilla (the exit of the common bile duct into the duodenum), It is desirable to set the anatomical characteristic site such as the cardia.
  • the specific point coordinate information is coordinate information for setting this feature point as a point on the orthogonal coordinate system xV'z '.
  • the three-axis coordinate system P 'P' P ' is one of the four feature points (only
  • the feature point P ') and the remaining feature points P', P ', P' are determined by vectors connecting the respective points.
  • the three axes are not necessarily orthogonal to each other.
  • the image forming unit 16c sets a point based on information input from the input device 11 on the rectangular coordinate system xyz set for the receiving coil 10 described above. It works. Specifically, the operator uses the input device 11 while touching the marker coil 8 and the plate 9 to the surface of the subject or operating the probe 2 and checking the optical image on the display device 12. The instruction information (sample point setting instruction information) for instructing the point setting is input, and the control unit 16 detects the input sample point setting instruction information. At this time, under the control of the control unit 16, the image forming unit 16c uses the position data input from the position data calculating device 6 to determine this point (hereinafter, sample point) based on the sample point setting instruction information. Set on the rectangular coordinate system xyz. After that, the image forming unit 16c sets the three-axis coordinate system PPP using at least four of the set sample points (sample points P 1, P 2, P 2, and P 3).
  • sample points P 1, P 2, P 3, and P 2 correspond to the feature points P ′, P ′, P ′, and P ′ described above.
  • sample point P 0 1 2 3 0 1 2 3
  • 1 ′ is a point indicating the right end of the pelvis in the slice image data group. If the sample point P is the subject's pylorus, the feature point P ′ is the slice image data.
  • this sample point is a coordinate component corresponding to the position data by the transmission coil 7, that is, the position data of the ultrasonic transducer 3 a, the position data by the marker coil 8, or the position data by the plate 9 on the orthogonal coordinate system xyz. Have. Furthermore, the three-axis coordinate system P P P P
  • This coordinate system is a three-axis coordinate system with one point (for example, sample point P) of the 1 2 3 sample points as the origin.
  • the axis is a solid connecting the origin (ie, sample point P) and the remaining sample points P 1, P 2, and P 3, respectively. Determined by Torr. That is, the three axes are not necessarily orthogonal to each other.
  • the image forming unit 16c when the control unit 16 receives the two-dimensional image data from the ultrasonic observation apparatus 5 as a trigger, controls the two-dimensional image data and the position under the control of the control unit 16. It is associated with the position data from the data calculation device 6. For example, image composition part 1
  • the image forming unit 16c associates the position data received from the position data calculation device 6 with the two-dimensional image data at substantially the same timing as the control unit 16 receives the two-dimensional image data from the ultrasonic observation device 5.
  • the image forming unit 16c can set the position and the orientation of the two-dimensional image data.
  • the position data calculation device 6 uses the position detection signal based on the alternating magnetic field from the transmission coil 7 to calculate the position of the position C (t) of the first coil among the transmission coils 7.
  • Each direction component of the direction vector V (corresponding to the above-described coil axis direction of the second coil fixed at 12 o'clock with respect to each orthogonal coordinate system xyz is calculated.
  • the position data calculation device 6 calculates the direction vector V (t) and the direction vector V (t).
  • the position data calculating device 6 calculates each of the obtained position vector OC (t), direction vector V (t), and direction vector V (t).
  • the 12-direction components are transmitted to the control unit 16 as position data.
  • the image forming unit 16c associates the two-dimensional image data received by the control unit 16 at substantially the same timing with the position data.
  • the two-dimensional image plane of the two-dimensional image data corresponds to the above-described radial scan running surface.
  • the position vector OC (t) can be considered as a position vector of the rotation center of the ultrasonic transducer 3a.
  • the first coil has the coil axis direction fixed to the insertion axis direction, so the direction vector V (t) is the vector in the direction perpendicular to the two-dimensional ultrasonic image, that is, the normal vector. Can be considered.
  • the direction vector V (t) is Think of it as a vector.
  • center position c (t), the position vector oc (t), the direction vector v (t), and the direction vector V (t) is the coordinate, position vector, normal vector, and 12:00 at time t, respectively.
  • This is a direction vector, and the coordinate or the directional component of each vector changes in accordance with the change in the position or orientation of the tip of the insertion section 3 with the passage of time t.
  • the image construction unit 16c also stores the slice image data group read from the image storage unit 14 and various position data input from the position data calculation device 6. At the same time, it functions to create guide image data. Specifically, the image forming unit 16c uniquely identifies the position vector OC (t), the direction vector V (t), and the direction vector V (t).
  • the image forming unit 16c determines a plane having the same position and orientation as the three-axis coordinate system P′P′P ′ (hereinafter referred to as a guide image plane).
  • the control unit 16 reads a part of the slice image data group corresponding to the guide image plane from the image storage unit 14.
  • the image forming unit 16c performs an interpolation process or a coordinate conversion process on the read data, and corresponds to a cross-sectional image obtained by cutting the slice image data group of the image storage unit 14 on the guide image plane. Create guide image data. Thereafter, the guide image data is input to the mixing unit 16d.
  • the guide image data is image data of a section of a living body anatomically corresponding to the two-dimensional image data created by the ultrasound observation apparatus 5.
  • the guide image output and displayed on the display device 12 based on the guide image data includes the position and orientation of the displayed and output organs and the anatomical image with the two-dimensional ultrasonic image corresponding to the two-dimensional image data. It almost matches.
  • the image forming unit 16c anatomically converts the two-dimensional image data into As the corresponding image data, guide image data showing a cross section of the spleen head with duodenal capping is created.
  • the reason for this match is as follows. First, the anatomical structures and organ shapes of the human body are almost the same, although there are differences between the bodies, but there is no gender difference in the abdomen. Second, the four sample points P 1, P 2, P 3, and P 4 taken from the actual body surface or body lumen surface of the subject are slice image data, respectively.
  • the relationship between the position and the orientation with respect to the image plane is the same.
  • the corresponding point R 'having the same position address as the arbitrary point R on the guide image data with respect to the arbitrary point R on the two-dimensional image data is anatomically the same organ, the same organ Or the same biological tissue. Therefore, it can be said that the two-dimensional image data and the guide image data correspond anatomically.
  • the slice image data group used by the image forming unit 16c to generate the guide image data is color-coded in advance for each organ as described above. Therefore, the guide image data is color-coded for each organ similarly to the slice image data.
  • the mixing unit 16d uses the two-dimensional image data input from the ultrasonic observation device 5 and the guide image data created by the image forming unit 16c to generate two-dimensional image data. It creates image data (mixed image data) for displaying and outputting a two-dimensional ultrasonic image corresponding to the image and a guide image corresponding to the guide image data on the same screen of the display device 12 side by side.
  • the mixed image data created by the mixing unit 16d is output to the display circuit 15 under the control of the control unit 16.
  • the display circuit 15 converts and outputs an image signal corresponding to the mixed image data under the control of the control unit 16 as described above.
  • the display device 12 displays and outputs a two-dimensional ultrasonic image and a guide image corresponding to the mixed image data on the same screen based on the image signal received from the display circuit 15.
  • the correction unit 16e functions to correct the coordinate data of the sample points that have changed with the passage of time t.
  • the correction unit 16e converts the coordinate data of the sample point at the time t into the coordinate data of the subsequent time, that is, the current sample point, by this correction processing. Then, the coordinate data of the current sample point changed from the previous sample point force is obtained.
  • the image forming unit 16c uses the corrected coordinate data of the current sample point to generate the above-described three-axis coordinate system P P P P P
  • FIG. 2 is a schematic diagram schematically illustrating one embodiment of the marker coil 8 and one embodiment of the plate 9.
  • the marker coil 8 has a stick shape as shown in FIG. Also, Marco As described above, the coil 8 incorporates one coil on the tip side of the stick shape.
  • the plate 9 has a plate shape such as an ellipse that easily adheres to the body surface of the subject, and as shown in FIG. 2, the body 9 is a surface that adheres to the body surface of the subject. It has a front contact surface. Further, the above-described rectangular coordinate system x "y" z "is set for the plate 9. As shown in FIG.
  • the origin O "of the orthogonal coordinate system x" y "z" is set at a position on the plate 9 where the positional relationship with the plate 9 is fixed, and is set, for example, at a reference position L on the plate 9.
  • this reference position L is the center of gravity of the three coil positions in plate 9, the midpoint of a straight line connecting the midpoint of the two coil positions in plate 9, and the remaining coil position, or the body of plate 9. Table Set near the center of the contact surface and at the position where one coil is provided.
  • the unit vector i ⁇ is set on the X "axis
  • the unit vector j ⁇ ⁇ ⁇ ⁇ is set on the y" axis
  • the z "axis is set on the z" axis.
  • the unit vector vector is set.
  • FIG. 3 is a schematic diagram schematically illustrating a setting state of the orthogonal coordinate system xyz in the receiving coil 10.
  • the origin O of the receiving coil 10 is set at a position on the receiving coil 10 in which the positional relationship with the receiving coil 10 is fixed, for example, near the center axis of the alternating magnetic field receiving surface 10a of the receiving coil 10.
  • the z-axis is set in the normal direction of the alternating magnetic field receiving surface 10a, and the X axis and the y-axis are set parallel to the alternating magnetic field receiving surface 10a. In this way, the rectangular coordinate system xyz is set in the receiving coil 10.
  • the orthogonal coordinate system xyz is set as a spatial coordinate system in the actual space where the operator examines the subject.
  • a unit vector i is set on the X axis
  • a unit vector j is set on the y axis
  • a unit vector k is set on the z axis.
  • the receiving coil 10 in which the orthogonal coordinate system xyz is set detects the alternating magnetic fields from the transmitting coil 7, the master coil 8, and the plate 9 as described above, and outputs the position detection signal to the position data. To the data calculation device 6.
  • the position data calculation device 6 calculates the position vector OC (t) of the center position C (t) of the 2D image plane of the 2D image data, the direction vector V (t) of the 2D image plane of the 2D image data, V (t), position vector OL (t) of reference position L (t) of plate 9,
  • the rotation matrix T (t) indicating the orientation of the plate 9 and the direction components of the orthogonal coordinate system xyz of the position vector OM (t) of the position M (t) of the marker coil 8 are calculated.
  • the reference position L (t), the position vector OL (t), the rotation matrix T (t), the position M (t), and the position vector OM (t) are the position, vector, or This is a rotation matrix, and changes due to a change in the position and orientation of the tip of the insertion section 3 with the passage of time t.
  • the rotation matrix T (t) is a rotation matrix indicating the orientation of the plate 9 in the rectangular coordinate system xyz, and its (f, g) component is t (t). Is the rotation matrix of. Plate 9 is fg
  • the integers f and g are any of 1 to 3.
  • the unit vector ⁇ is the unit vector i described above
  • the unit vector e is the unit vector j described above
  • the unit vector e is the unit vector e described above.
  • unit vector e is the unit vector j ⁇ described above, and the unit vector e" is the unit vector e "described above.
  • the rotation matrix T (t) uses so-called Euler angles ⁇ , ⁇ , and ⁇ to rotate the angle ⁇ around the z-axis, rotate the angle ⁇ around the y-axis, A matrix that assumes that when a rotation of the surrounding angle ⁇ ⁇ is applied to the orthogonal coordinate system xyz in this order, it matches the orthogonal coordinate system x "y" z "set on the plate 9; If the subject changes his or her body position over time t, the Euler angles ⁇ , ⁇ , and ⁇ change with this change in posture.
  • control unit 16 sets the three-axis coordinate system P′P′P ′ based on the feature points on the rectangular coordinate system x′y′z ′.
  • the coordinates of four points of the xiphoid process, the right end of the pelvis, the pylorus, and the duodenal papilla in the slice image data group are acquired as the feature points, and the sample points.
  • a description will be given of an example of acquiring the coordinates of four points of the xiphoid process, the right end of the pelvis, the pylorus, and the duodenal papilla of the subject, but the present invention is not limited to this.
  • FIG. 4 is a diagram showing a process performed by the control unit 16 until the two-dimensional ultrasound image corresponding to the two-dimensional image data and the guide image corresponding to the guide image data are displayed side by side on the same screen of the display device 12. It is a flowchart which illustrates a processing process.
  • the operator operates the input device 11 at the positions of the xiphoid process, the right end of the pelvis, the pylorus, and the papilla of the duodenum on the slice image displayed on the display device 12, and detects the feature points.
  • the control unit 16 detects the feature point coordinate information for each of the xiphoid process, the right end of the pelvis, the pylorus, and the duodenal papilla, and controls the image forming unit 16c. Under the control of the control unit 16, the image construction unit 16c performs a feature point setting process of setting each feature point based on the input feature point coordinate information on the orthogonal coordinate system xV'z '(see FIG. Step S101). Thereafter, the control unit 16 associates the coordinate data of each feature point set by the image configuration unit 16c with the above-described slice image data group and stores the coordinate data in the image storage unit 14.
  • the image forming unit 16c places a feature based on this feature point coordinate information on an orthogonal coordinate system x′y′z ′ corresponding to a xiphoid process on a slice image.
  • a feature point P ′ based on the feature point coordinate information is set on an orthogonal coordinate system xV′z ′ corresponding to the right end of the pelvis on the slice image.
  • the image composing section 16 c
  • a feature point P based on the feature point coordinate information is placed on an orthogonal coordinate system xV'z 'corresponding to the pylorus on the slice image.
  • the feature point P based on this feature point coordinate information is placed on the orthogonal coordinate system x'y'z' corresponding to the duodenal papilla on the slice image.
  • Control unit 1
  • the operator uses the probe 2, the marker coil 8, or the plate 9 and the plate 9 and the input device 11 to sample the xiphoid process, the right end of the pelvis, the pylorus, and the duodenal papilla of the subject.
  • the control unit 16 detects the sample point setting instruction information for each of the xiphoid process, the right end of the pelvis, the pylorus, and the duodenal papilla, and determines the position at the detected timing.
  • the position data received from the data calculation device 6 is recognized as position data for each sample point, and the image forming unit 16 is controlled. Further, the control unit 16 detects the time t detected for each sample point setting instruction information from the timer 16b.
  • the image forming unit 16c uses each position data recognized as the position data for each sample point, and calculates each sample point based on these input sample point setting instruction information in rectangular coordinates.
  • a sample point setting process to be set on each of the systems xyz is performed (step S102).
  • the image forming unit 16c is based on the sample point setting instruction information and the position data on the orthogonal coordinate system xyz corresponding to the xiphoid process of the subject.
  • the time t when the sample point setting instruction information is detected is detected as the time tl when the sample points P and P are set.
  • the image forming unit 16c places a sample based on the sample point setting instruction information and the position data on the orthogonal coordinate system xyz corresponding to the pylorus of the subject.
  • Point P
  • the sample point P based on this sample point setting instruction information and this position data.
  • control unit 16 sets the time t at which the sample point setting instruction information is detected to the sample points P and P, respectively.
  • the control unit 16 stores the sample points set by the image composition unit 16c.
  • the coordinate data of P 1, P 2, P 1, and P 2 are stored in the storage unit 16a.
  • Step S103 the control unit 16 does not detect the scan start instruction information (step S103, No), Step 103 is repeated. That is, the control section 16 constantly monitors the force / no-force input of the scan start instruction information from the input device 11.
  • the control unit 16 detects the scan start instruction information (Step S103, Yes), and A radial scan start instruction is given to the ultrasonic observation device 5 based on the can start instruction information (step S104).
  • the ultrasonic observation apparatus 5 drives and controls the ultrasonic vibrator 3a and the motor 4a to start radial scanning.
  • the control unit 16 acquires two-dimensional image data from the ultrasonic observation apparatus 5 (step S105), and detects a time ts from the timer 16b as the acquired time.
  • the image forming unit 16c associates the two-dimensional image data with the position data received from the position data calculating device 6 at substantially the same timing as the acquired timing (time ts).
  • this position data is the position data based on the alternating magnetic field from the transmitting coil 7, and is the coordinate data of the position vector OC (ts) of the center position C (ts) and the coordinate data of the direction vector V (ts).
  • the two-dimensional image data is converted into a position vector OC (ts) of the center position C (ts) of the image plane, a direction vector V (ts) of the image plane, and a direction vector V (ts ts) is associated.
  • the control unit 16 has a center position C (ts),
  • Each coordinate data of the system xyz is stored in the storage unit 16a.
  • the reference position L (t) of the plate 9 is always set so as to always overlap the xiphoid position of the subject.
  • the correction unit 16e is set at the above-described times tl to t3, triggered by detecting the passage of the time t in steps S102 to S106 based on the time t detected by the control unit 16 from the timer 16b. Sample points P to P And the difference between each coordinate component of sample points P to P at time ts (that is,
  • a correction process for each correction is performed (step S107).
  • the correction unit 16e calculates the coordinate components of the sample points P to P and the rotation matrix T (
  • the correction unit 16e replaces the sample points P to P set at the times tl to t3 with the sample points P to
  • the correction unit 16e calculates the coordinate components of the sample point P at time tl and the position vector OL (ts).
  • the position vector OP (ts) corresponding to the sample point P is considered to be the same as the position vector OL (ts).
  • the correction unit 16e calculates the coordinate components of the sample point P at time tl and the coordinate components of each sample point P at time tl and ts.
  • the position vector OP (tl) on xyz is placed on the rectangular coordinate system xyz of the sample point P at time ts.
  • the position vector OP (ts) is expressed by the following equation (6).
  • the transposed matrix tT (ts) is a transposed matrix of the rotation matrix T (ts) and is calculated based on the rotation matrix T (ts).
  • correction unit 16e calculates the coordinate components of the sample point P at time t2 and the sample points P at time t2 and ts.
  • Y (ts), y (ts), ⁇ (ts) are defined by the following equation (7).
  • the position vector OP (ts) is expressed by the following equation (8).
  • the correction unit 16e calculates the coordinate components of the sample point P at time t3 and the coordinate components of each sample point P at times t3 and ts.
  • the position vector OP (t3) on xyz is placed on the rectangular coordinate system xyz of the sample point P at time ts.
  • the sample point P (corresponding to the right end of the subject's pelvis at time tl)
  • the correction unit 16e sets the sample point P (corresponding to the subject's pylorus at time t2) set at time t2 to the time
  • the image construction unit 16c performs various kinds of position data of the two-dimensional image data acquired by the control unit 16 at time ts, for example, the position vector OC (ts), the direction vector V (ts), and direction vector V (ts),
  • guide image creation processing for creating guide image data anatomically corresponding to the two-dimensional image data at time ts is performed (step S108).
  • This guide image data is created as image data at time ts anatomically corresponding to the two-dimensional image data at time ts, and its position data is represented on the above-described orthogonal coordinate system x'y'z 'by:
  • the position vector O'C '(ts) of the center position C' (ts) of the guide image plane, the direction vector V '(ts), and the direction vector V' (ts) are associated with each other. That is, the position vector O'C '(t
  • direction vector V '(ts), and direction vector V' (ts) are the position vector OC (ts),
  • the mixing unit 16d creates the two-dimensional image data associated with the position data at the time ts in step S106 and the step S108.
  • the mixing unit 16d uses the guide image data at the time ts to create mixed image data for displaying and outputting the two-dimensional image data and the guide image data at the time ts side by side on the same screen of the display device 12 is created.
  • the mixed image data created by the mixing unit 16d is output to the display circuit 15 under the control of the control unit 16.
  • the display circuit 15 converts and outputs an image signal corresponding to the mixed image data under the control of the control unit 16 as described above.
  • Display device 12 On the basis of the image signal received from the display circuit 15, a two-dimensional ultrasonic image at time ts and a guide image at time ts corresponding to the mixed image data are arranged and output on the same screen. That is, the control unit 16 transmits the mixed image data to the display circuit 15, so that the display device 12 displays the two-dimensional ultrasonic image at time ts and the guide image at time ts on the same screen. They are displayed side by side (step S109).
  • the control unit 16 detects the scan end instruction information (Step S110, Yes), Based on the scan end instruction information, the ultrasonic observation apparatus 5 is instructed to end the radial scan.
  • the ultrasonic observation apparatus 5 performs drive control for terminating the radial scan on the ultrasonic transducer 3a and the motor 4a under the control of the control unit 16.
  • the control unit 16 repeats the above-described processing steps after step S103 without detecting the scan end instruction information (step S110, No).
  • FIG. 5 is a schematic diagram schematically showing a display example in which a two-dimensional ultrasonic image and a guide image are displayed side by side on the same screen of the display device 12 and output.
  • the two-dimensional ultrasound image UG corresponds to the two-dimensional image data at time ts described above
  • the guide image GG corresponds to the guide image data at time ts described above.
  • the two-dimensional ultrasound image UG shows the vicinity of the confluence of the subject's splenic duct and bile duct, and the splenic duct (Pancreas
  • the center of the image corresponds to the rotation center of the ultrasonic transducer 3a, that is, the center position C (ts), and the normal direction corresponds to the direction vector V (ts).
  • the 12:00 direction of the two-dimensional ultrasonic image UG, that is, the upward direction in FIG. 5 corresponds to the direction vector V (ts), and the 3 o'clock direction of the two-dimensional ultrasonic image UG, that is, the right direction in FIG.
  • the center of the image corresponds to the center position C ′ (ts), and the normal direction corresponds to the direction vector V ′ (ts).
  • the 12 o'clock direction of the guide image GG that is, the upward direction in FIG. 5 corresponds to the direction solid V ′ (ts)
  • the 3 o'clock direction of the guide image GG that is, the right direction in FIG.
  • control unit 16 determines the image direction based on the direction vector V (ts), the image direction based on the direction vector V '(ts), the image direction based on the direction vector V (ts), and the direction vector V' (ts Image by
  • the two-dimensional ultrasound image UG and the guide image GG By aligning the image directions anatomically, the two-dimensional ultrasound image UG and the guide image GG, in which the position and orientation of the organs and the like correspond anatomically accurately, are displayed side by side on the same screen and output. Can be.
  • the guide image GG is displayed on the display device 12 in a state where the guide image data is color-coded for each organ as described above.
  • the guide image GG indicates the conjunctiva of the splenic duct and bile duct as illustrated in FIG. 5, and the indicator organs such as splenic duct PD, common bile duct CBD, and portal vein PV are color-coded, respectively.
  • the control unit 16 controls the mixing unit 16d to superimpose an abbreviation for each organ such as PD, CBD, or PV on the guide image GG
  • the abbreviation for each organ as an annotation for example,
  • the guide image GG on which the PD, CBD, and PV illustrated in FIG. 5 are superimposed can be displayed on the display device 12.
  • the annotation information on the abbreviation for each organ is stored in advance in the image storage unit 14 in a linked manner with the slice image data group.
  • control unit 16 repeats the processing steps of steps S103 to S110 described above to obtain the two-dimensional image data and its position data and the guide image anatomically corresponding to the two-dimensional image data.
  • the data and its position data can be sequentially acquired, and the two-dimensional ultrasonic image and the guide image corresponding to the acquired two-dimensional image data and the guide image data are sequentially updated and displayed on the same screen of the display device 12. Display them side by side.
  • the control unit 16 repeats the processing steps of steps S103 to S110 described above.
  • the guide image and the two-dimensional ultrasonic image are sequentially updated in real time and displayed on the display device 12.
  • the operator confirms the two-dimensional ultrasound image and the guide image together on the display device 12 to refer to the color-coded organ images and the like of the guide image and display the currently displayed image.
  • What position of the subject is anatomically observed in the two-dimensional ultrasound image? Can be accurately and easily recognized, and medical diagnosis of the subject can be performed accurately and efficiently.
  • the surgeon can easily recognize the yellow area as the spleen and observe the two-dimensional ultrasound image, or observe the insertion section 3 By moving the tip, the scanning plane of the ultrasonic transducer 3a is changed to search for the spleen.
  • FIG. 6 is a flowchart illustrating processing steps until the control unit 16 achieves the above-described feature point setting processing.
  • FIG. 7 is a schematic diagram illustrating an operation of setting a feature point in slice image data stored in the image storage unit 14 in advance.
  • the operator uses the slice image data group S DG stored in the image storage unit 14 to obtain a slice showing anatomically distinct points. Select image data. That is, when the operator performs an input operation of the image display instruction information for instructing the display output of the slice image using the input device 11, the control unit 16 detects the input image display instruction information.
  • Step S201, Yes on the basis of the detected image display instruction information, read out one slice image data from the slice image data group SDG in the image storage unit 14, and extract a slice image corresponding to the read slice image data.
  • a slice image display process to be displayed and output on the display device 12 is performed (step S202).
  • the control unit 16 does not detect the image display instruction information (Step S201, No), and repeats the process of Step S201. That is, the control unit 16 constantly monitors the force / non-force input of the image display instruction information from the input device 11.
  • this slice image data group SDG is composed of N (N: integer) slice image data SD to SD arranged on the above-described orthogonal coordinate system xV′z ′.
  • Image data group N N: integer slice image data SD to SD arranged on the above-described orthogonal coordinate system xV′z ′.
  • the orthogonal coordinate system xV'z ' has an origin O' at the corner of the first sliced image data SD and the image planes of the sliced image data SD to SD
  • 1 1 N It is set to be a plane with the x 'axis and the y' axis. Further, in the rectangular coordinate system xV'z ', as shown in Fig. 7, a unit vector i' is set on the x 'axis, a unit vector j' is set on the y 'axis, and a unit vector is set on the z' axis. The vector k 'is set.
  • the control unit 16 reads out the slice image data SD from the image storage unit 14 based on the image display instruction information detected in step S201, and Display image data SD on display circuit 15
  • the display circuit 15 corresponds to the slice image data SD as described above.
  • the display device 12 Converts and outputs image signals.
  • the display device 12 receives the image signal from the display circuit 15 and displays and outputs a slice image corresponding to the slice image data SD.
  • step S203 when the operator performs an input operation of the image display instruction information using the input device 11, the control unit 16 detects the input image display instruction information (step S203, Yes). ), The above-described processing steps after step S202 are repeated. In this case, the control unit 16 sequentially reads the slice image data SD to SD from the image storage unit 14 for each of the detected screen display instruction information based on the screen display instruction information detected in step S203.
  • the slice image data SD to SD are sequentially updated on the display device 12.
  • control unit 16 repeats the processing steps of steps S201 to S203 described above, so that the surgeon can slice each of the slice image data SD to SD.
  • N source images can be sequentially confirmed on the display device 12.
  • the surgeon may select an anatomically distinct site on the slice image SG corresponding to the n-th (n: an integer from l to N) slice image data SD of the slice image data group SDG, such as the xiphoid process and the pelvis. Find the right edge, pylorus, and duodenal papillae.
  • the operator uses the input device 11 to specify the characteristic point in this part, and obtains the characteristic point coordinate information of the characteristic point. Perform input operation.
  • the control unit 16 detects the input feature point coordinate information (Step S204, Yes) without detecting the image display instruction information (Step S203, No), and the image forming unit 16c
  • the coordinate data based on the detected feature point coordinate information is set as slice image data SD, that is, the coordinate data of the feature point on the orthogonal coordinate system xV'z '(step S205).
  • a slice image SG force displays a xiphoid process of a rib H.
  • the control unit 16 detects the input feature point coordinate information, and the image forming unit 16c converts the coordinate data based on the detected feature point coordinate information into the feature point P ′ under the control of the control unit 16.
  • step S206 No
  • step S203 the processing steps after step S203 described above are repeated. This allows the surgeon to determine the feature point P 'of the xiphoid process.
  • Characteristic point coordinate information can be designated and input for each of the other characteristic parts in substantially the same manner as 0.
  • the image construction unit 16c sequentially sets the feature points on the orthogonal coordinate system x'y'z 'based on each feature point coordinate information input for each of the characteristic parts. .
  • the image forming unit 16c calculates the orthogonal coordinates respectively corresponding to the right end of the pelvis, the pylorus, and the duodenal papilla based on the characteristic point coordinate information on the characteristic pelvis right end, the pylorus, and the duodenal papilla.
  • the control unit 16 detects the input feature point end instruction information (Step S206, Yes). Then, the processing steps after step S102 described above are performed. When the feature point coordinate information is not detected in step S204 described above (step S204, No), the control unit 16 repeats the processing steps from step S203 described above.
  • the image forming unit 16c converts the feature points P 'to P' into the rectangular coordinate system x'y'z '.
  • ⁇ ' ⁇ ' ⁇ ' i '+ y + ⁇ V--(14)
  • the direction components x ', y', and ⁇ ' are the ⁇ ⁇ ⁇ ⁇ ' -axis direction and the y'-axis direction of the position vector ⁇ ' ⁇ ', respectively.
  • y ', z' are the x'-axis direction, y'-axis direction, and z'-axis direction of the position vector O'P ', respectively.
  • P3 P3 P3 These are coordinate components in the three directions, the y'-axis direction, and the z'-axis direction.
  • each image plane of the slice image data SD to SD has a side of 40c.
  • the image forming unit 16c calculates the directional components of the position vectors ⁇ ' ⁇ ', O'P', O'P ', O'P'
  • the control unit 16 calculates the position vector ⁇ ' ⁇ ', O'P
  • FIG. 8 is a flowchart illustrating processing steps until the control unit 16 achieves the above-described sample point setting processing.
  • the surgeon uses the input device 11 while touching the marker coil 8 and the plate 9 to the surface of the subject or operating the probe 2 and checking the optical image on the display device 12. Enter the point setting instruction information.
  • the content of this sample setting instruction information is based on the information from the position data calculation device 6 that is used to simply set the sample data.
  • or instruction information for the position data acquisition source such as whether to simultaneously acquire the position data of the transmission coil 7 and the plate 9 from the position data calculation device 6.
  • the operator uses the input device 11 while the marker coil 8 and the plate 9 are in contact with the body surface near the right end of the subject's pelvis and the body surface near the xiphoid process, respectively.
  • the control unit 16 Without detecting the optical image display instruction information (step S301, No), this sample point setting instruction information is detected (step S304, Yes), and the current time is detected from the timer 16b.
  • the image forming unit 16c Using the position data input from the position data calculation device 6, a sample point based on the sample point setting instruction information is set on the orthogonal coordinate system xyz (step S305).
  • the control unit 16 stores the position data of the sample points set by the image forming unit 16c, that is, each coordinate data on the orthogonal coordinate system xyz in the storage unit 16a.
  • the content of the sample point setting instruction information is the instruction information of "set the sample point” and "obtain simultaneously the position data of the marker coil 8 and the plate 9 from the position data calculation device 6".
  • the control unit 16 detects the time tl from the timer 16b, and detects the position data based on the alternating magnetic field from the plate 9 (plate position data) and the position data based on the alternating magnetic field from the marker coil 8 (marker coil position). ) Is received from the position data calculation device 6.
  • the plate position data is the coordinate data of the position vector OL (tl) of the above-described reference position L (tl) and the rotation matrix T (tl).
  • the force coil position data is coordinate data of the position vector OM (tl) of the position M (tl) described above.
  • the image forming unit 16c sets coordinate data based on the plate position data at time tl as coordinate data of the sample point P on the orthogonal coordinate system xyz.
  • the coordinate data based on the marker coil position data at the time tl is set as the coordinate data of the sample point P on the rectangular coordinate system xy z.
  • the coordinate data of the sample point P at the time tl is the coordinate data of the position vector OL (tl).
  • the coordinate data of the sample point P at the time tl is the coordinate data of the position vector OM (tl).
  • Step S301 the control unit 16 detects the input optical image display instruction information (Step S301, Yes), and detects the detected optical image display instruction information.
  • Optical image data from the optical observation device 17 is obtained based on the instruction information (Step S302).
  • the control section 16 outputs the obtained optical image data to the display circuit 15.
  • the display circuit 15 converts and outputs an image signal corresponding to the optical image data input from the control unit 16 under the control of the control unit 16 as described above.
  • the display device 12 displays and outputs an optical image corresponding to the optical image data based on the image signal received from the display circuit 15. That is, the control unit 16 causes the display device 12 to display and output the optical image by transmitting the optical image data to the display circuit 15 (step S303).
  • the operator checks the optical image of the display device 12 and inserts the distal end of the insertion portion 3, that is, the ultrasonic vibrator 3 a, the transmission coil 7, and the light into the anatomically characteristic site in the subject.
  • the control unit 16 detects the sample point setting instruction information (step S304). , Yes), the current time is detected from the timer 16b.
  • the image forming unit 16c uses the position data input from the position data calculating device 6, and converts the sample points based on the sample point setting instruction information into the rectangular coordinate system xyz.
  • the control unit 16 stores the position data of the set sampling points. That is, each coordinate data on the orthogonal coordinate system xyz is stored in the storage unit 16a.
  • the control unit 16 repeats the processing steps of steps S301 to S306 described above until detecting the sample point end instruction information input from the input device 11.
  • the content of the sample point setting instruction information is instruction information such as "set a sample point” and "obtain simultaneously the position data of the transmission coil 7 and the plate 9 from the position data calculation device 6". If there is, the control unit 16 detects the time t2 from the timer 16b and receives from the position data calculation device 6 position data (transmit coil position data) based on the alternating magnetic field from the transmission coil 7 and plate position data. I do. At time t2, if the distal end of the insertion section 3 is in contact with the vicinity of the pylorus in the subject, the control section 16 receives the transmission coil position data as coordinate data corresponding to the pylorus.
  • the transmission coil position data at the time t2 includes the coordinate data of the position vector OC (t2) of the center position C (t2), the coordinate data of the direction vector V (t2), and the direction vector V (t2 ) Coordinate data
  • the plate position data at the time t2 is the coordinate data of the position vector OL (t2) and the rotation matrix T (t2) of the reference position L (t2) described above.
  • the image forming unit 16c sets the coordinate data based on the transmission coil position data at the time t2 as the coordinate data of the sample point P on the rectangular coordinate system xyz.
  • the image forming unit 16c sets the sample point P corresponding to the pylorus of the subject
  • the image forming unit 16c calculates the position vector OP (t2) of the sample point P at time t2.
  • This position vector OP (t2) is represented by the following equation (17).
  • Equation (17) the direction components X (t2), y (t2), and ⁇ (t2) are
  • the position vector OP (t2) and the rotation matrix T (t2) described above are calculated in the above-described step S107.
  • the coordinate data of the sample point P at the time t2 is the coordinate data of the position vector OC (t2).
  • the position vector OP (t2) of the sample point P at the time t2 in the rectangular coordinate system xyz Is considered to be the same as the position vector OC (t2), and is represented by the following equation (18).
  • control unit 16 detects time t3 from timer 16b, and receives transmission coil position data and plate position data at time t3 from position data calculation device 6. At time t3, if the distal end of the insertion section 3 is in contact with the vicinity of the duodenal papilla in the subject, the control section 16 receives the transmission coil position data at time t3 as coordinate data corresponding to the duodenal papilla. .
  • the transmission coil position data at time t3 is the coordinate data of the position vector OC (t3) of the center position C (t3), the coordinate data of the direction vector V (t3), and the coordinate data of the direction vector V (t3). It is coordinate data. Also, at this time t3
  • the plate position data is the coordinate data of the position vector OL (t3) of the above-described reference position L (t3) and the rotation matrix T (t3).
  • the image forming unit 16c sets coordinate data based on the transmission coil position data at time t3 as coordinate data of the sample point P on the orthogonal coordinate system xyz.
  • the image forming unit 16c has set the sample point P corresponding to the duodenal papilla of the subject on the orthogonal coordinate system xyz. At the same time, the image composition unit 16c
  • This position vector OP (t3) is represented by the following equation (19).
  • Equation (19) the direction components x (t3), y (t3), and z (t3) are
  • the coordinate data of the sample point P at time t3 is the coordinate data of the position vector OC (t3).
  • the position vector OP (t3) of the sample point P at the time t3 in the rectangular coordinate system xyz Is considered to be the same as the position vector OC (t3), and is expressed by the following equation (20).
  • Step S306, Yes the control unit 16 sets the sample point end instruction The information is detected (Step S306, Yes), and the processing steps after Step S103 described above are performed. If the control unit 16 does not detect the sample point setting instruction information in step S304 (No in step S304), the control unit 16 repeats the processing steps in step S306 and thereafter.
  • FIG. 9 is a flowchart illustrating processing steps until the control unit 16 achieves the guide image creation processing described above.
  • FIG. 10 is a schematic diagram illustrating the relationship between the two-dimensional image plane of the two-dimensional image data at time ts and the three-axis coordinate system P P P by the sample points P to P in FIG.
  • FIG. 11 is a schematic diagram illustrating an operation in which the image forming unit 16c calculates a guide image plane at time ts and position data of the guide image plane.
  • Fig. 9- In L1, after the control unit 16 performs the above-described step S107, the image forming unit 16c sets the four feature points P 'to ⁇ ' set in the above-described step S101, This step S1
  • the guide image plane GF of the guide image data at time ts is calculated based on the two-dimensional image data of ts and the position data associated therewith (step S401).
  • the guide image plane GF in step S401 is conceptually calculated as follows.
  • the image composition unit 16c uses the feature points P 'to ⁇ '
  • the 3-axis coordinate system PPP described above is set on the rectangular coordinate system xyz. At this time, the image composition unit 16c
  • the image forming unit 16c uses the three-axis coordinate system P 'P' P '
  • a three-axis coordinate system P P P whose axis direction anatomically corresponds to 1 2 3 is set.
  • the image forming unit 16c sets the sample point P based on the above-described plate position data as the origin of the three-axis coordinate system PPP. Therefore, in the following,
  • the image forming unit 16c determines the guide image plane GF as follows. First, using the position data associated with the two-dimensional image data in step S106 described above, the arbitrary point R (ts) on the two-dimensional image plane UF shown in FIG. Find the coordinates of
  • the image forming unit 16c has calculated the position and orientation relationship between the two-dimensional image plane UF and the three-axis coordinate system PPP.
  • a corresponding point R ′ (ts) on the three-axis coordinate system P′P′P ′ shown in FIG. 11 corresponding to the arbitrary point R (ts) represented by the coordinates is obtained,
  • a set of corresponding points R '(ts) is defined as a guide image GF.
  • the image forming unit 16c can determine the position and arrangement with the three-axis coordinate system P'P'P '.
  • the orientation relationship is the same as the relationship between the position and orientation between the two-dimensional image plane UF and the three-axis coordinate system P P P.
  • the two-dimensional image plane UF and the guide image plane GF are anatomically identical. This is because the anatomical structure or organ shape of the human body is considered to be almost the same without any gender differences in the abdomen, although there is a difference in body size.
  • the image forming unit 16c obtains the guide image plane GF as follows.
  • To calculate the guide image plane GF means that the position vector O'C '(ts) of the center position C' (ts) of the guide image plane GF and the direction vector V 'indicating the normal direction of the guide image plane GF (ts) and the direction vector V '(ts) indicating the 12 o'clock direction of the guide image plane GF.
  • the image forming unit 16c sets each of these three positions at the center position C (ts) of the two-dimensional image plane UF.
  • the image construction unit 16c does not actually find the corresponding point R '(ts) as described above for every arbitrary point R (ts) on the two-dimensional image plane UF.
  • the concept of the method of obtaining the guide image plane GF will be described first, and the center position, the normal direction, and the The calculation method of the 12 o'clock direction will be described.
  • the concept of the method for determining the guide image plane GF describes a plurality of mathematical expressions. This is a mathematical formula.
  • the image forming unit 16c performs a numerical operation for obtaining the guide image plane GF based on the mathematical expression described in the actual method of obtaining the guide image plane GF.
  • the position vector P R (ts) between the plate 9 and the arbitrary point R (ts) is obtained by calculating appropriate real numbers a, b, and c.
  • the directional component can be expressed on a three-axis coordinate system P P P as in the following equation (21).
  • P R (ts) aP P (ts) + bP P (ts) + cP P (ts)
  • the feature points P ′, P ′, P ′, P ′ are anatomically the same as the sample points P 1, P 2, P 3, P 3
  • P 'R' (ts) aP 'P' (ts) + bP 'P' (ts) + cP 'P' (ts)
  • each direction component of the orthogonal coordinate system xyz of the position vector OR (ts) of the arbitrary point R (ts) is represented by x (
  • O'R '(ts) — O'P' a (0'P '- ⁇ ' ⁇ ,) + b (0'P' ⁇ ' ⁇ ')
  • the anatomical corresponding point R of the arbitrary point R (ts) on the two-dimensional image plane UF on the orthogonal coordinate system xyz is analytically based on Equations (24) and (35).
  • the position vector O'R '(ts) of' (ts) and the directional components x '(ts), y' (ts), z '(ts) of the orthogonal coordinate system xV'z' were obtained. That is, for the arbitrary point R (ts) on the two-dimensional image plane UF, the control unit 16 stores the coordinate data of the feature point stored in the image storage unit 14 in the above-described step S101 and the control in step S102 described above.
  • the set of corresponding points R '(ts) that can be used and calculated by equations (24) and (35) is the guide image plane GF.
  • the position data associated with the two-dimensional image data at the time ts that is, the center vector of the two-dimensional image plane UF, the position vector of the C (ts) OC (ts), direction vector V (ts), direction vector V (ts)
  • the image forming unit 16c calculates the above-described three-axis coordinate system PPP, P'P'P 'and the position vector OC (ts).
  • a coordinate transformation process substantially similar to the above equation (35) is performed to calculate a position vector O′C ′ (t s). Since the center position C (ts) is set on the orthogonal coordinate system xyz, the position vector OC (ts) is expressed by the following equation (36). In addition, since the center position C ′ (ts) is set on the orthogonal coordinate system x′y′z ′, the position vector O′C ′ (ts) is expressed by the following equation (37).
  • the direction components X ′ (ts), y ′ (ts), ⁇ ′ (ts) are position vectors O′C ′ (t c c c
  • the following equation (38) is obtained.
  • the image forming unit 16c sets the center positions C (ts) and C '(ts) on the two-dimensional image plane UF and the guide image plane GF, respectively, as shown in FIGS.
  • the center positions are determined so that the two-dimensional image plane UF and the guide image plane GF anatomically correspond to each other.
  • a direction vector V ′ (ts) of the guide image plane GF is derived using (ts).
  • this position vector OR (ts) is expressed by the following equation.
  • a unit point R '(ts) anatomically corresponding to the unit point R (ts) is defined on the orthogonal coordinate system x'y'z'.
  • the position vector OR (ts) of the unit point R (ts) is equal to the position vector OC (ts) and the direction vector.
  • the direction vector V (ts) is obtained by using the position vector OR (ts) and OC (ts) as follows:
  • V (ts) OR (ts) -OC (ts)--(43)
  • the image forming unit 16c standardizes the difference between the position vector O'C '(ts) and the position vector O'R' (ts) to the unit length. To obtain the direction vector V '(ts).
  • V, (ts) (0, R, (ts) —O'C '(ts)) /, (ts) —O'C
  • the image forming unit 16c outputs the direction vectors V (ts) and V (ts).
  • the direction vector V ′ (ts) is, as described above, the position vector O′R ′ (ts) and the position vector
  • the direction vector V (ts) is expressed by the following equation (46) using the direction components XV (ts), yv (ts), and zv (ts).
  • V (ts) xv (ts) i + yv (ts) j + zv (ts) k
  • the direction vector V '(ts) is obtained by combining the above-described position vector O'R' (ts) and position vector O'C '(ts).
  • V '(ts) xv, (ts) i, +, (ts) j, + zv, (ts) k,
  • the image forming unit 16c calculates, as a normal vector, that is, a direction vector V ′ (ts), a vector orthogonal to all vectors formed by arbitrary points on the guide image plane GF anatomically corresponding to the two-dimensional image plane UF. Two arbitrary points R (ts), R on the 2D image plane UF
  • OR (ts) and OR (ts) are represented by the following equations (50) and (51), respectively.
  • each position vector O'R '(ts), O'R' (ts) of the corresponding point R '(ts), R' (ts) is
  • the direction components X ′ (ts), y ′ (ts), z ′ (ts) are These are coordinate components of O'R '(ts) in the X'-axis direction, the y'-axis direction, and the Z'-axis direction. Further, based on the above equation (35), each coordinate data of the position vector OR (ts), OR (ts)
  • the direction vector V (ts) of the two-dimensional image plane UF is calculated using the directional components xv (ts), yv (ts), and zv (ts) in the respective axial directions of the orthogonal coordinate system xyz. 58).
  • V (ts) xv (ts) i + y v (ts) j + zv (ts) k... (58)
  • this direction vector V (ts) is the two-dimensional image data at time ts, that is, the normal vector of the two-dimensional image plane UF
  • the direction vector V (ts) is orthogonal to the vector RR (ts) connecting the arbitrary points R (ts) and R (ts).
  • equation (59) the inner product V (ts) ⁇ R R (ts) is the inner product of the direction vector V (ts) and the vector R R (ts).
  • the direction vector V '(ts) of the guide image plane GF is defined by the directional components xv' (ts), yv '(ts), zv' (ts) in each axis direction of the rectangular coordinate system xV'z '. And is represented by the following equation (61).
  • V '(ts) xv' (ts) i '+ yv' (ts) j '+ zv' (ts) k '--(61)
  • V '(ts) -R' R '(ts) 0 "-(64)
  • this equation (64) means that the direction vector V '(ts) is orthogonal to all vectors connecting arbitrary points on the guide image plane GF. That is, the direction vector V ′ (ts) based on the above-described equations (61) and (62) is a normal vector that determines the normal direction of the guide image plane GF. Therefore, the image forming unit 16c can calculate the direction vector V ′ (ts) that determines the normal direction of the guide image plane GF based on the above-described equations (61) and (62). Accordingly, the image forming unit 16c sets the direction vectors V (ts) and V '(ts) in the two-dimensional image plane UF and the guide image plane GF, respectively, as shown in FIGS. Each normal direction is determined such that the two-dimensional image plane UF and the guide image plane GF anatomically correspond to each other.
  • the image forming unit 16c adjusts the orientation (center position, normal direction, 12:00 direction) of the guide image plane GF calculated in step S401 described above.
  • the image forming unit 16c can set the guide image plane GF in which the orientation is associated as the image plane anatomically corresponding to the two-dimensional image plane UF.
  • the control unit 16 notifies the image composition unit 16c that this guide image plane GF has been set.
  • a slice image data group corresponding to the guide image plane GF is read from the image storage unit 14 (step S402). Specifically, the control unit 16 obtains each slice image data of the slice image data group and the guide image based on the position data regarding the position and orientation of the guide image plane GF obtained by performing the above-described step S401. Reads image data on the line of intersection with plane GF. The image forming unit 16c performs an interpolation process or a coordinate conversion process on the read slice image data group on the intersection line, and cuts the slice image data group in the image storage unit 14 along the guide image plane GF. Guide image data corresponding to the image is created (step S403). After that, the control unit 16 performs the processing step of step S109 described above.
  • the control unit 16 sets the feature points on the slice image data based on the coordinate information of the feature points input by the operator using the input device 11.
  • the present invention is not limited to this. If the region of interest of the inspection is determined in advance (the protocol has been determined!), A set of several types of feature points can be used as the default coordinate data together with the slice image data group at the time of factory shipment.
  • the control unit 16 reads out the default coordinate data of the feature point from the image storage unit 14 and sets it as a feature point based on the instruction information on the selection of the feature point input from the input device 11 and stored in the storage unit 14. You may do so.
  • the control unit 16 when setting the feature points, sets the control unit 16 based on the image display instruction information sequentially input from the input device 11 by the operator's input operation.
  • a power source configured to sequentially read out the slice image data arranged at the beginning of the slice image data group and to sequentially display the slice image data arranged at the rear of the slice image data group and to sequentially output the image on the screen of the display device 12.
  • the present invention is not limited to this.
  • the slice image data group may be collectively read out based on the image display instruction information, and the list of the slice images may be displayed on the screen of the display device 12.
  • the plate 9 or the marker coil 8 is attached to a plurality of predetermined positions such as the xiphoid process or the pelvis of the subject to change the position of the subject or change the position of the subject. After compensating for differences in various position data due to differences in physique, etc., this plate 9 is left on the subject's body surface, the marker coil 8 is removed, and the alternating magnetic field from the remaining plate 9 is applied. The difference between the coordinate data of the sample points due to the change in the body position of the subject under examination is corrected based on the position data based on the position data.
  • the present invention is not limited to this.
  • the sample points may be sequentially set based on the position data based on the alternating magnetic field from the marker coil 8, and The correction of the coordinate data of the sample point may not be performed. Also, based on the alternating magnetic fields output from the plate 9 and the marker coil 8 attached to the body surface of the subject during the examination, the coordinate data of the sample points due to the change in the body position of the subject are calculated. You may comprise so that it may correct. According to the powerful configuration, by attaching the marker coil 8 to an appropriate place, the accuracy of the guide image anatomically corresponding to the two-dimensional ultrasonic image is increased.
  • the guide image plane is set by calculating the position and orientation (center position, normal direction, 12 o'clock direction) of the guide image plane.
  • the present invention is not limited to this.
  • the coordinate points at the four corners of the acquired two-dimensional image data are detected, and based on the above equation (35), the coordinate points at the four corners are anatomically assigned to the four coordinate points, respectively.
  • the corresponding four coordinate points may be obtained, and the guide image plane may be calculated based on the four coordinate points.
  • designation information relating to the size of the guide image for example, numerical information or selection information in which the display size and display magnification are considered in advance is input or selected from the input device 11 so that the input specification information is input.
  • the configuration may be such that the size of the guide image plane is determined based on the guide image plane.
  • the first coil and the second coil of transmission coil 7 are provided orthogonal to ultrasonic vibrator 3a, and one of the coil directions is two-dimensionally oriented.
  • the normal direction of the image data and the other coil axis direction are set to the 12:00 direction of the two-dimensional image data.
  • the present invention is not limited to this. Is in a fixed positional relationship with respect to the ultrasonic transducer 3a, the coil axis direction of the first coil or the coil axis direction of the second coil is oriented in a known direction.
  • the normal direction and the 12 o'clock direction of the image data may be corrected and calculated based on the positional relationship based on the known direction.
  • the first coil and the second coil are provided obliquely. With this configuration in which the data normal direction and the 12:00 o'clock direction can be corrected and calculated, the insertion portion 3 of the probe 2 can be made thinner.
  • the reception coil 10 receives the alternating magnetic field from the transmission coil 7 provided in the probe 2 to detect the position data on the ultrasonic transducer 3a.
  • the receiving coil 10 is provided in the probe 2 and the transmitting coil 7 is provided in the position data calculating device 6, and the transmitting coil 7 generates an alternating magnetic field of the receiving coil of the probe 2.
  • the position data on the ultrasonic transducer 3a may be detected by the reception of the signal by the.
  • the position and orientation of the two-dimensional image data are detected based on the acceleration based on the relative position change between the ultrasonic transducer 3a and the subject. May be.
  • the origin O of the orthogonal coordinate system xyz is set at a predetermined position of the receiving coil 10, for example, near the center axis of the alternating magnetic field receiving surface.
  • the origin O may be set at a desired position where the relative positional relationship with the receiving coil 10 does not change.
  • a guide image is created by using slice image data created in advance based on photographic data that is a cross-sectional image of a frozen human body other than the subject.
  • the present invention is not limited to this.
  • a two-dimensional image data group is obtained by a radial scan performed by the ultrasonic diagnostic apparatus 1 or a similar ultrasonic diagnostic apparatus on a subject or a human body other than the subject.
  • a color-coded image data group obtained by color-coding the two-dimensional image data group by organ is stored in the image storage unit 14 in advance, and this color-coded image data group may be used instead of the above-described slice image data group.
  • PET Pierositron
  • 3D image data obtained in advance using another modality such as Emission Tomography or an extracorporeal ultrasonic diagnostic apparatus that irradiates ultrasonic waves from outside the body is stored in the image storage unit 14 in advance.
  • Feature points may be set using three-dimensional image data, and a guide image may be created.
  • a slice image data group that is anatomical image data color-coded for each organ is stored in advance, and the orthogonal coordinate system of the slice image data group is stored.
  • Set a feature point on xV'z 'and anatomically correspond to the feature point of the bracket A sample point is set on the subject's rectangular coordinate system xyz, and two-dimensional image data inside the subject obtained by performing a radial scan and the position related to the position and orientation of the two-dimensional image plane Data, and coordinate data of four characteristic points out of at least four points, and four points anatomically corresponding to these four points out of at least four sample points.
  • the past target is corrected. Since this point is configured to be updated to the current sample point, it is possible to accurately obtain guide image data anatomically corresponding to the two-dimensional image data sequentially acquired in real time. The accuracy of the anatomical correspondence of the guide image displayed and output together with the sound image can be improved.
  • two coordinate data sets of two coordinate points are placed near the body surface of the subject, for example, at the xiphoid process and the right end of the pelvis of the subject, respectively.
  • From the transmission coil located in random order in the subject for example, near the pylorus and near the duodenal papilla of the subject.
  • the contamination of the probe before operation Less time to clean Can.
  • the movement of the probe is The sample point can be set at a position in the body that is displaced in accordance with the movement of the target region of interest in the body, and the sample point can be set at a position in the body near the target region of interest.
  • the accuracy of the anatomical correspondence of the guide image to the two-dimensional ultrasound image can be improved.
  • the pylorus or duodenal papilla may move along with the spleen head as the probe insert moves, the anatomical accuracy of the guide image can be improved by setting these points as sample points. Can be enhanced.
  • the operator can simultaneously check the two-dimensional ultrasonic image and the guide image. For example, referring to the color-coded organ image or the like indicated by the guide image, the surgeon can check the current image. It is possible to accurately and easily recognize which position of the subject is anatomically indicated by the two-dimensional ultrasound image of the subject, thereby making it possible to identify a region of interest such as a lesion in the subject. This makes it easy to find out and accurately observe this region of interest, so that medical diagnosis of the subject can be performed accurately and efficiently. This is because the extracorporeal force of the subject is much more medically useful than an ultrasonic diagnostic device that irradiates ultrasonic waves, especially in reducing the examination time for the subject and the time for the operator's beginner learning. Significant contribution to mitigation.
  • the force that creates the guide image data using the slice image data group previously stored in the image storage unit 14 In the second embodiment, the three-dimensional MRI (Magnetic Resonance Imaging) or X-ray 3D helical CT (Computer Tomography) Acquire anatomical image data created by an image diagnostic device via a network, and use the acquired anatomical image data It is configured to create guide image data.
  • the three-dimensional MRI Magnetic Resonance Imaging
  • X-ray 3D helical CT Computer Tomography
  • FIG. 12 is a block diagram illustrating a configuration example of an ultrasonic diagnostic apparatus according to Embodiment 2 of the present invention.
  • This ultrasonic diagnostic apparatus 21 is an image processing apparatus in place of the image processing apparatus 13.
  • the device 22 is arranged.
  • the image processing device 22 is provided with a control unit 23 instead of the control unit 16, and further includes a communication circuit 24.
  • the communication circuit 24 is electrically connected to the control unit 23, and is further communicably connected to a 3D MRI apparatus 25 and an X-ray 3D helical CT apparatus 26 via a network 27.
  • Other configurations are the same as those of the first embodiment, and the same components are denoted by the same reference numerals.
  • the control unit 23 has the same configuration and function as the above-described control unit 16, further controls the communication circuit 24, and controls the 3D MRI apparatus 25 or the X-ray 3D helical CT via the network 27. It functions to perform an information communication process with the device 26.
  • the control unit 23 performs an input operation of the acquisition instruction information for instructing the operator to acquire anatomical image data using the input device 11 and the selection instruction information for selecting and transmitting the transmission source of the anatomical image information. If this is performed, the input acquisition instruction information and selection instruction information are detected, and based on the acquisition instruction information and selection instruction information, leverage information communication processing is performed, and the information is processed via the communication circuit 24 and the network 27.
  • anatomical image data from a 3D MRI device 25 or an X-ray 3D helical CT device 26 Obtain anatomical image data from a 3D MRI device 25 or an X-ray 3D helical CT device 26.
  • the control unit 23 acquires three-dimensional volume data as the anatomical image data, and acquires the anatomical information from the X-ray three-dimensional helical CT apparatus 26.
  • a two-dimensional CT image data group including a plurality of two-dimensional CT image data is acquired as this anatomic image data.
  • this volume data is a set of button cells identified by monochrome or color luminance or the like and a unit, and covers the entire three-dimensional area of the subject or another subject.
  • the two-dimensional CT image data group is a two-dimensional tomographic image data group of the subject or another subject, and is arranged in substantially the same manner as the above-described slice image data group.
  • the communication circuit 24 is realized by using a large-capacity and high-speed communication modem or the like. Under the control of the control unit 23, the communication circuit 24 performs a three-dimensional communication via a predetermined optical communication or high-speed telephone line communication network 27. Receives volume data from the MRI device 25 and sends this volume data to the control unit 23, or receives two-dimensional CT image data from the X-ray three-dimensional helical CT device 26 and controls the two-dimensional CT image data Send to Part 23. [0206] When receiving the two-dimensional CT image data group from the communication circuit 24, the control unit 23 sets the two-dimensional CT image group in substantially the same manner as the association of the rectangular coordinate system xV'z 'with the slice image data group described above.
  • the image data group is associated with the orthogonal coordinate system xV'z ', and the associated two-dimensional CT image data group is stored in the image storage unit 14.
  • the control unit 23 performs the above-described steps S101 to S110 using the two-dimensional CT image data group instead of the slice image data group.
  • the control unit 23 uses the two-dimensional CT image data group instead of the above-described slice image data group, performs the processing steps of steps S201 to S206 described above, sets the above-described feature points, and performs the above-described steps.
  • the guide image data described above is created by performing the processing steps of S401 to S403.
  • the control unit 23 when receiving the volume data from the communication circuit 24, the control unit 23 sets the predetermined position of the volume data, for example, at the position where the corner of the frame indicating the outer frame of the volume data coincides with the origin O '.
  • the rectangular coordinate system xV'z ' is set, and the volume data associated with the rectangular coordinate system XV'z' is stored in the image storage unit 14. Thereafter, the control unit 23 performs the above-described processing steps of steps S101 to S110 using the volume data instead of the above-described slice image data group.
  • FIG. 13 is a flowchart illustrating a processing flow until the control unit 23 sets the above-described feature points using the volume data.
  • FIG. 14 is a schematic diagram illustrating the operation of the control unit 23 for setting the cross section of the volume data. 13 and 14, this volume data VD has a frame VF corresponding to its outer frame and an image information plane marker FM corresponding to its cross-sectional position and translating in the volume data VD. As described above, the rectangular coordinate system x'y'z 'is set in the volume data VD such that the predetermined corner of the frame VF matches the origin O'.
  • the control unit 23 causes the display device 12 to display and output the volume data VD based on the instruction information input from the input device 11, and in this state, uses the volume data VD and replaces the above-described steps S201 to S206 with FIG. The following feature point setting process is performed.
  • Step S501 when the operator performs an input operation of the cross-section specification information for specifying the cross-section of the volume data VD using the input device 11, the control unit 23 detects the input cross-section specification information ( (Step S501, Yes), based on the detected section designation information, the volume data In addition to setting the cross-section of the data VD, the cross-sectional image data of the volume data VD in the set cross-section is read from the image storage unit 14, and the cross-sectional image corresponding to the read cross-sectional image data is displayed on the display device 12. Image display processing is performed (step S502).
  • the operator operates the input device 11 to move the cursor K1 displayed on the display device 12 to a desired position in the volume data VD, for example, as shown in FIG.
  • the input operation of the designated information is achieved, and the position of the image information plane marker FM is designated to the control unit 23.
  • the control unit 23 sets a section whose position and orientation match the image information plane marker FM based on the section specifying information as a section of the volume data VD.
  • the control unit 23 reads out the cross-sectional image data of the volume data VD corresponding to the set cross-section from the image storage unit 14, and then transmits the read-out cross-sectional image data to the display circuit 15.
  • the display circuit 15 outputs an image signal corresponding to the received cross-sectional image data to the display device 12, similarly to the above-described slice image data.
  • the control unit 23 achieves a cross-sectional image display process using the cross-sectional image data, and arranges and outputs the volume data VD and the cross-sectional image on the same screen of the display device 12.
  • the control unit 23 does not detect the section designation information (step S501, No), and repeats the processing step of step S501.
  • the control unit 23 transmits the input cross-section designation information.
  • the information is detected (Step S503, Yes), and the above-described processing steps after Step S502 are repeated.
  • the control unit 23 sequentially reads out the cross-sectional image data of the volume data VD for each of the detected cross-section designation information based on the cross-section designation information detected in step S503, and The image data is sequentially transmitted to the display circuit 15, and the display device 12 sequentially updates each slice image of the slice image data and causes the display device 12 to output the slice image data.
  • the surgeon can obtain an anatomically distinct site such as a xiphoid process, as in the case of the slice image data described above.
  • anatomically distinct site such as a xiphoid process, as in the case of the slice image data described above.
  • Right pelvis, pylorus, and ten The duodenal papilla can be found.
  • the control unit 23 detects the input feature point coordinate information (Step S504, Yes) without detecting the section designation information (Step S503, No).
  • the coordinate data based on the detected feature point coordinate information is set as the coordinate data of the feature point on the orthogonal coordinate system x'y'z '(step S505).
  • the control unit 23 switches from a mode for setting a section of the volume data VD (section setting mode) to a mode for setting a feature point (feature point setting mode) in response to detection of feature point coordinate information. .
  • step S506 No the control unit 23 does not detect the feature point end instruction information (step S506, No), and performs the processing after step S503 described above. Repeat the process.
  • the surgeon can obtain the anatomical features such as the xiphoid process, the right edge of the pelvis, the pylorus, and the duodenal papilla in almost the same manner as in the slice image data described above.
  • Each feature point coordinate information can be specified and input sequentially. Based on the sequentially designated and input feature point coordinate information, the control unit 23 performs an orthogonal coordinate system corresponding to the xiphoid process, the right end of the pelvis, the pylorus, and the duodenal papilla in substantially the same manner as in the first embodiment.
  • control unit 23 determines in step S503 that the sectional finger
  • the detection of the cross-section designation information is used as a trigger to switch from the above-described feature point setting mode to the above-described cross-section setting mode, and repeat the above-described processing steps from step S502.
  • Step S506 when the operator performs the input operation of the feature point end instruction information using the input device 11, the control unit 23 detects the input feature point end instruction information (Step S506, Yes). Then, the processing steps after step S102 described above are performed by using the volume data VD as necessary instead of the slice image data group SDG described above. If the control unit 23 does not detect the feature point coordinate information in step S504 described above (step S504, No), The processing steps after step S503 described above are repeated.
  • FIG. 15 is a schematic diagram schematically illustrating a state in which the volume data VD and the cross-sectional image of the cross section corresponding to the image information plane marker FM are displayed side by side on the same screen and output.
  • a cross-sectional image DG showing the xiphoid process of rib H is shown.
  • the control unit 23 causes the volume data VD and the cross-sectional image (for example, the cross-sectional image DG) of the cross section corresponding to the image information plane force FM to be displayed side by side on the same screen of the display device 12 as described above. . That is, as shown in FIG. 15, the control unit 23 arranges and outputs the volume data VD having the frame VF and the image information plane marker FM and the cross-sectional image DG on the same screen. Further, as shown in FIG. 15, the control unit 23 superimposes the movable cursor K1 on the volume data VD in the above-described cross section setting mode, and performs the above-mentioned feature point setting mode on the cross section image DG. The movable cursor K2 is superimposed.
  • the control unit 23 superimposes the movable cursor K1 on the volume data VD in the above-described cross section setting mode, and performs the above-mentioned feature point setting mode on the cross section image DG.
  • the movable cursor K2 is
  • the control unit 23 moves the force solver K1 to a position based on the above-described section designation information, and moves the image information plane force FM to the position to which the cursor K1 moves. .
  • the control unit 23 matches the position based on the section designation information with the position of the image information plane marker FM.
  • the control unit 23 displays and outputs both the volume data VD and the cross-sectional image DG.
  • the control unit 23 moves the cursor K2 to a position based on the above-described feature point coordinate information, and sets a feature point at a position to which the cursor K1 is moved. Accordingly, the control unit 23 sets the feature point P ′ at a position based on the feature point coordinate information, for example, the position of the xiphoid process of the rib H, as shown in FIG.
  • a two-dimensional CT image data group acquired from an X-ray three-dimensional CT scanner 26 as anatomical image data is the same as the slice image data group described above.
  • the two-dimensional CT image data group is used to superimpose each two-dimensional CT image data or interpolate between the two-dimensional CT image data. Processing, etc., to create three-dimensional CT image data based on this two-dimensional CT image data group.
  • the feature point may be set and a guide image may be created in the same manner as in the first embodiment.
  • Embodiment 2 of the present invention two-dimensional CT image data acquired from the three-dimensional MRI apparatus 25 or two-dimensional CT image data acquired from the X-ray three-dimensional helical CT apparatus 26 is used as anatomical image information.
  • the above-described feature points are set and a guide image is created, the present invention is not limited to this, and has the same function as the ultrasonic diagnostic apparatus 1 of the above-described first embodiment.
  • the two-dimensional image data group acquired by the ultrasonic diagnostic apparatus is color-coded in advance for each organ, and the color-coded two-dimensional image data group is acquired from the ultrasonic diagnostic apparatus via the network 27, and the acquired two-dimensional image is acquired.
  • a feature point may be set using a data group and a guide image may be created.
  • PET Pierositron
  • 3D image data acquired in advance using another modality such as Emission Tomography or an extracorporeal ultrasonic diagnostic apparatus that irradiates ultrasonic waves from outside the body is acquired via the network 27.
  • a guide image may be created by setting feature points using the acquired three-dimensional image data.
  • the control unit 23 converts the luminance data of the volume data acquired from the three-dimensional MRI apparatus 25 or the two-dimensional CT image data group acquired from the X-ray three-dimensional helical CT apparatus 26 via the network 27 into the brightness value of the data.
  • the guide image may be color-coded for each organ and stored in the image storage unit 14, and the color-separated guide image may be created in the same manner as the slice image data group described above.
  • anatomical image data such as anatomical image data from the outside is transmitted by optical communication or high-speed telephone line communication.
  • the system is configured to acquire two-dimensional CT image data or volumetric data as three-dimensional image data and create a guide image using the acquired anatomical image data.
  • Anatomical image data can be used as the original data of the guide image data, and the anatomical image data of the desired range according to the target region of interest can be obtained while enjoying the operation and effect of the first embodiment.
  • a guide image indicating anatomical correspondence can be created and output more accurately with respect to the displayed and output two-dimensional ultrasonic image of the subject.
  • Embodiment 1 described above
  • the two-dimensional ultrasonic image and the guide image anatomically corresponding to the two-dimensional ultrasonic image are displayed and output side by side on the same screen. At least one of the sound image and the guide image can be further rotated.
  • FIG. 16 is a block diagram illustrating a configuration example of an ultrasonic diagnostic apparatus according to Embodiment 3 of the present invention.
  • the ultrasonic diagnostic apparatus 31 includes an image processing device 32 instead of the image processing device 13.
  • the image processing device 32 is provided with a control unit 33 instead of the control unit 16.
  • the control unit 33 has the configuration and functions of the control unit 16 described above, and further includes a rotation processing unit 33a.
  • Other configurations are the same as those of the first embodiment, and the same components are denoted by the same reference numerals.
  • the control unit 33 performs the operation based on the mode switching instruction information input by the input operation. Switch the operation mode to the 2D image rotation mode. If the operation mode of the control unit 33 is the two-dimensional image rotation mode, the rotation processing unit 33a outputs a display to the display device 12 based on the angle information input from the input device 11 under the control of the control unit 33. With respect to the two-dimensional image data of the two-dimensional ultrasound image, each coordinate point of the two-dimensional image plane is rotated around the center position C of the two-dimensional image plane as the rotation center.
  • This angle information is information relating to the angle of rotation of the two-dimensional ultrasonic image around the center of the image.
  • the control unit 33 transmits the rotated two-dimensional image data to the display circuit 15, and the display circuit 15 transmits an image signal corresponding to the two-dimensional image data to the display device 12. Accordingly, the control unit 33 can cause the display device 12 to display and output a two-dimensional ultrasonic image corresponding to the two-dimensional image data on which the rotation process has been performed.
  • the rotation processing unit 33a rotates each coordinate point of the two-dimensional image data according to the direction and the angle based on the angle information input from the input device 11.
  • the input device 11 inputs the angle information to the control unit 33 in addition to the above-described various information such as the instruction information and the coordinate information. For example, when using a keyboard or a touch panel, a numerical value corresponding to the angle information is input or selected, or a cursor or the like superimposed on the two-dimensional ultrasonic image of the display device 12 is moved in a predetermined direction. Key operation By doing so, this angle information is input.
  • the input device 11 shifts the two-dimensional ultrasonic image in the positive direction by an angle corresponding to the amount of movement.
  • the angle information for rotating the two-dimensional ultrasonic image in the negative direction by an angle corresponding to the amount of movement is input to the control unit 33.
  • the input device 11 rotates the two-dimensional ultrasonic image in the positive direction by an angle corresponding to the amount of movement when the operator performs a drag operation or a key operation and the cursor moves rightward on the screen.
  • the control unit 33 receives angle information for rotating the two-dimensional ultrasonic image in the negative direction by an angle corresponding to the amount of movement. input.
  • FIG. 17 is a schematic diagram schematically illustrating a state in which a guide image and a two-dimensional ultrasonic image that has been subjected to a rotation process are displayed and output side by side on the same screen.
  • FIG. 17 illustrates the above-described two-dimensional ultrasonic image UG as the two-dimensional ultrasonic image.
  • the guide image GG described above is exemplified as the guide image. Note that the two-dimensional ultrasonic image UG and the guide image GG anatomically correspond to each other as described above.
  • the cursor K is superimposed on the two-dimensional ultrasonic image UG.
  • the control unit 33 moves, for example, a cursor K on a screen in a predetermined direction based on the angle information input from the input device 11 in the two-dimensional image rotation mode described above.
  • the rotation processing unit 33a uses the angle information and, for example, an angle corresponding to the amount of movement of the cursor K, and generates a two-dimensional ultrasonic image in a rotation direction corresponding to the movement direction of the cursor K. Rotate each coordinate point of 2D image data of UG.
  • the control unit 33 uses the two-dimensional image data subjected to the rotation processing to generate an angle corresponding to the amount of movement of the cursor K in the rotation direction corresponding to the movement direction of the force sol K as shown in FIG.
  • control unit 33 can substantially match the actual body orientation of the subject visually recognized by the operator with the up, down, left, and right directions of the two-dimensional ultrasonic image of the subject. This allows the operator to easily understand the association between the two-dimensional ultrasound image on the screen and the actual subject, and promotes the efficiency of medical diagnosis for the subject.
  • the control unit 33 performs the operation based on the mode switching instruction information input by the input operation. Then, the operation mode is switched to the guide image rotation mode.
  • the rotation processing unit 33a outputs a guide to the display device 12 based on the angle information input from the input device 11 under the control of the control unit 33.
  • each coordinate point on the guide image plane is rotated around the center position C 'of the guide image plane as the rotation center.
  • the angle information input in the guide image rotation mode is information on an angle at which the guide image is rotated around the center of the image.
  • the angle information of the guide image rotation mode is input to the control unit 33 by the operator performing an input operation using the input device 11 in the same manner as in the two-dimensional image rotation mode described above.
  • control unit 33 transmits the guide image data on which the rotation processing has been performed to the display circuit 15, and the display circuit 15 transmits an image signal corresponding to the guide image data to the display device 12. Accordingly, the control unit 33 can cause the display device 12 to display and output a guide image corresponding to the guide image data on which the rotation process has been performed.
  • FIG. 18 is a schematic diagram schematically illustrating a state in which a two-dimensional ultrasonic image and a guide image on which a rotation process has been performed are output side by side on the same screen.
  • FIG. 18 illustrates the above-described two-dimensional ultrasonic image UG as the two-dimensional ultrasonic image.
  • the guide image GG described above is exemplified as the guide image.
  • the cursor K is superimposed on the guide image GG.
  • the control unit 33 moves, for example, the cursor K on the screen in a predetermined direction based on the angle information input from the input device 11.
  • the rotation processing unit 33a uses the angle information and, for example, uses an angle corresponding to the amount of movement of the cursor K to guide the rotation in a rotation direction corresponding to the movement direction of the cursor K.
  • the controller 33 uses the rotated guide image data to rotate the cursor K in the rotation direction corresponding to the movement direction of the cursor K by an angle corresponding to the amount of movement of the cursor K, as shown in FIG.
  • the displayed guide image GG can be displayed and output. Accordingly, the control unit 33 can substantially match the actual body orientation of the subject observed by the operator with the vertical and horizontal directions of the guide image. This allows the operator to easily understand the association between the guide image on the screen and the actual subject.
  • the control unit 33 performs the operation based on the mode switching instruction information input by the input operation. Then, the operation mode is switched to the image-linked rotation mode.
  • the rotation processing unit 33a outputs a display to the display device 12 based on the angle information input from the input device 11 under the control of the control unit 33.
  • the two-dimensional image data of the two-dimensional ultrasonic image is subjected to rotation processing on each coordinate point of the two-dimensional image plane using the center position C of the two-dimensional image plane as a center of rotation, and at the same time, displayed on the display device 12. With respect to the guide image data of the output guide image, each coordinate point of the guide image plane is rotated around the center position C 'of the guide image plane as the center of rotation.
  • the angle information input in the image-linked rotation mode is information on the angle at which the two-dimensional ultrasonic image is rotated about the image center and information on the angle at which the guide image is rotated about the image center. is there.
  • the angle information of the image-linked rotation mode is input to the control unit 33 by the operator performing the same input operation as the two-dimensional image rotation mode or the guide image rotation mode using the input device 11.
  • FIG. 19 is a schematic diagram schematically illustrating a state in which a two-dimensional ultrasound image on which rotation processing has been performed and a guide image on which rotation processing has been performed are displayed side by side on the same screen and output.
  • the above-described two-dimensional ultrasonic image UG is illustrated as the two-dimensional ultrasonic image
  • the above-described guide image GG is illustrated as the guide image.
  • the cursor K is superimposed on the guide image GG, the cursor K moves according to the input operation of the angle information by the operator, and the two-dimensional ultrasonic image UG rotates together with the guide image GG.
  • the present invention is not limited to this.
  • a cursor K is superimposed on the two-dimensional ultrasound UG, and the cursor K moves in response to an input operation of angle information by the operator, and the two-dimensional ultrasound image UG
  • the guide image GG may be rotated.
  • the control unit 33 moves the cursor K on the screen, for example, in a predetermined direction based on the angle information input from the input device 11 in the image-linked rotation mode described above.
  • the rotation processing unit 33a uses the angle information and, for example, an angle corresponding to the amount of movement of the cursor to generate the guide image GG in the rotation direction corresponding to the movement direction of the cursor K.
  • Each coordinate point of the guide image data is rotated.
  • the rotation processing unit 33a uses the same angle as the rotation angle of each coordinate point of the guide image data based on the angle information.
  • Each coordinate point of the two-dimensional image data of the two-dimensional ultrasonic image UG is rotated in the same rotation direction as the rotation direction of each coordinate point.
  • the control unit 33 can move the cursor K in the rotation direction corresponding to the movement direction of the cursor K, as shown in FIG.
  • the guide image GG rotated by an angle corresponding to the amount of movement of the cursor K and the two-dimensional ultrasonic image UG rotated by the same angle in the same rotation direction as the guide image GG can be displayed and output. Accordingly, the control unit 33 determines the actual body orientation of the subject visually recognized by the operator, the vertical and horizontal directions of the two-dimensional ultrasonic image of the subject, and the vertical and horizontal directions of the guide image. Can be almost matched.
  • an input operation of angle information using input device 11, for example, a drag operation, a key operation, or an operation of inputting or selecting a numerical value corresponding to an angle and a rotation direction The present invention is not limited to this.
  • the force configured to input information on the angle and direction of rotation of each coordinate point of at least one of the two-dimensional image data and the guide image data is not limited to this.
  • a unit angle and a rotation direction for rotating each coordinate point of at least one of the two-dimensional image data and the guide image data are input. At least one coordinate point of the image data and the guide image data may be sequentially rotated by the unit angle in the rotation direction.
  • the configuration and function of the first embodiment described above are combined with the rotation direction of at least one of the two-dimensional ultrasonic image and the guide image. Based on angle information corresponding to the angle, at least one coordinate point of at least one of two-dimensional image data corresponding to the two-dimensional ultrasonic image and guide image data corresponding to the guide image is rotated, and the rotation is performed. Display and output a processed 2D ultrasound image, a guide image that has been rotated, or a 2D ultrasound image and a guide image that have been rotated using the same rotation direction and the same angle.
  • An ultrasonic diagnostic apparatus can be realized.
  • the operator can move the 12 o'clock direction of the ultrasonic vibrator and the ultrasonic observation apparatus due to the torsion of the shaft that flexibly connects the ultrasonic vibrator and the motor. Even if there is an angle deviation from the 12 o'clock direction detected by the camera, observe at least one of the two-dimensional ultrasonic image and the guide image according to the body position of the subject. Can. For example, when the right edge of the pelvis of the subject under examination is located at the top in the subject's body position, the surgeon positions the right edge of the pelvis at the top of the image on at least one of the 2D ultrasound image and the guide image. Thus, the orientation of at least one of the two-dimensional ultrasound image and the guide image can be visually matched with the actual orientation of the subject.
  • the position data on the two-dimensional image plane of the two-dimensional image data is detected based on the alternating magnetic field from the transmission coil 7 provided with the first coil and the second coil.
  • position data on the rotation axis direction and the rotation center position of the ultrasonic transducer 3a is detected, and the detected position data and default position data set in advance are detected.
  • the two-dimensional image plane and the guide image plane are configured to be initially set.
  • FIG. 20 is a block diagram illustrating a configuration example of an ultrasonic diagnostic apparatus according to Embodiment 4 of the present invention.
  • the ultrasonic diagnostic apparatus 31 includes an image processing device 42 in place of the image processing device 32, a transmission coil 44 in place of the transmission coil 7, and a position data calculation device 45 in place of the position data calculation device 6. Is arranged.
  • the image processing device 42 is provided with a control unit 43 instead of the control unit 33.
  • the control unit 43 has substantially the same configuration and function as the control unit 33 described above. Other configurations are the same as those of the third embodiment, and the same components are denoted by the same reference numerals.
  • the transmission coil 44 is realized using a first coil whose coil axis is fixed in the direction of the insertion axis of the insertion section 3 into the subject, that is, in the direction of the rotation axis of the ultrasonic transducer 3a. In substantially the same manner as the transmission coil 7, it is detachably disposed near the ultrasonic transducer 3a.
  • the transmission coil 44 generates an alternating magnetic field indicating the position of the ultrasonic transducer 3a and the direction of the rotation axis when the position data calculation device 45 supplies a current to the first coil.
  • the position data calculation device 45 has substantially the same configuration and function as the position data calculation device 6 described above, and default position data 45a is set in advance. This default location
  • the data 45a is vector data set in advance on the orthogonal coordinate system xyz as default position data indicating the initial 12:00 direction on the two-dimensional image plane.
  • the position data calculation device 45 receives a position detection signal based on the alternating magnetic field from the transmission coil 44 from the reception coil 10, and determines the rotation center and the rotation axis direction of the ultrasonic transducer 3a based on the received position detection signal. Is calculated. After that, the position data calculation device 45 transmits the calculated position data and the default position data 45a to the control unit 43.
  • the control unit 43 performs the processing steps of steps S101 to S110 described above, and based on the calculated position data and the default position data 45a, a two-dimensional ultrasonic image (default two-dimensional ultrasonic image) and a guide image. (Default guide image) is displayed on the display device 12.
  • the image forming unit 16c combines the two-dimensional image data acquired from the ultrasonic observation device 5 with the position data and the default position received from the position data calculation device 45 at the same timing. Correlate with data.
  • the image forming unit 16c uses the center position C (t) and the direction vector V (t) based on the position data and the default position data as information for determining the position and orientation of the two-dimensional image data. And the direction vector V (t) based on. Based on this, the control unit 43 uses the position data
  • Two-dimensional image data (default two-dimensional image data) having a center position C (t), a direction vector V (t), and a direction vector V (t) based on the default position data 45a.
  • Guide image data (default guide image) having a center position C ′ (t) and a direction vector V ′ (t) based on the position data and a direction vector V ′ (t) based on the default position data 45a.
  • the control unit 43 changes the operation mode based on the input mode switching instruction information to the two-dimensional image rotation mode or the guide image. Switch to rotation mode. If the control unit 43 is in the two-dimensional image rotation mode or the guide image rotation mode, the rotation processing unit 33a performs the default processing based on the angle information input from the input device 11, as in the third embodiment. Rotate each coordinate point on the 2D image plane of 2D image data or each coordinate point on the guide image plane of this default guide image data. Thereafter, as in the third embodiment described above, the control unit 43 executes the secondary processing by rotating the default two-dimensional ultrasonic image by this rotation processing. The original ultrasound image or the guide image obtained by rotating the default guide image by this rotation processing is updated and displayed on the display device 12.
  • control unit 43 determines the default 2D image data of the 2D image data based on the input update instruction information.
  • the direction vector in the hour direction (12:00 direction vector) is updated to the 12:00 direction vector of the two-dimensional image data obtained by this rotation processing.
  • the control unit 43 updates the 12:00 direction vector of the default guide image data to the 12:00 direction vector of the guide image data obtained by the rotation processing based on the update instruction information.
  • the image forming unit 16c generates the updated 12:00 direction vector and the center position and the direction vector of the normal direction (normal vector) based on the above-described position data. And two-dimensional image data acquired sequentially. Further, under the control of the control unit 43, the image forming unit 16c creates guide image data using the updated 12:00 direction vector, the center position based on the above-described position data, and the normal vector. Alternatively, under the control of the control unit 43, the image forming unit 16c converts the 12 o'clock direction vector of the updated guide image data into a 12 o'clock direction vector on the orthogonal coordinate system xyz, and obtains the obtained 12 o'clock direction vector.
  • the time direction vector, the center position and the normal vector based on the position data described above, and the two-dimensional image data to be sequentially acquired may be associated with each other.
  • the Examiner Since the image and the default guide image are displayed and output, and the default 2D ultrasound image or the default guide image is rotated at each coordinate point to update the 12 o'clock direction by the default position data, the Examiner The insertion part to be inserted into the body can be made thinner, and a two-dimensional ultrasonic image of the subject and a guide image anatomically corresponding to the two-dimensional ultrasonic image can be displayed on the same screen.
  • An ultrasonic diagnostic apparatus suitable for an ultrasonic examination capable of displaying and outputting, enjoying the operation and effect of the above-described third embodiment, and reducing the pain of the subject when inserting the probe into the subject is provided. Real Can be manifested.
  • Embodiments 1 to 4 described above each time a radial scan is performed to acquire two-dimensional image data of a subject, a two-dimensional ultrasonic image corresponding to the two-dimensional image data and the two-dimensional ultrasonic image
  • a guide image corresponding to the anatomical image is displayed and output in the fifth embodiment
  • the fifth embodiment further associates the identification information for identifying the acquired two-dimensional ultrasonic image with the two-dimensional image data. It is configured to be able to search and display and output 2D ultrasound images based on this specific information.
  • FIG. 21 is a block diagram illustrating a configuration example of an ultrasonic diagnostic apparatus according to Embodiment 5 of the present invention.
  • an image processing device 52 is provided instead of the image processing device 32.
  • the image processing device 52 is provided with a control unit 53 instead of the control unit 33.
  • the control unit 53 has substantially the same configuration and function as the above-described control unit 33, and further includes an image search unit 53a.
  • Other configurations are the same as those of the third embodiment, and the same components are denoted by the same reference numerals.
  • the control unit 53 performs the processing steps of steps S101 to S110 described above to create two-dimensional image data to be sequentially acquired and guide image data anatomically corresponding to each two-dimensional image data, Each two-dimensional ultrasonic image corresponding to each two-dimensional image data and each guide image corresponding to each guide image data are sequentially displayed and output on the display device 12. At this time, the control unit 53 stores the position data corresponding to the position and orientation of each two-dimensional image data in the image storage unit 14 in association with each two-dimensional image data, and Each position data corresponding to the position and the orientation is stored in the image storage unit 14 in association with each guide image data.
  • the control unit 53 changes the operation mode based on the input mode switching instruction information to the two-dimensional image rotation mode and the guide image. Switch to rotation mode or image-linked rotation mode.
  • the rotation processing unit 33a receives the input from the input device 11 as in the third embodiment. Based on the obtained angle information, at least one coordinate point of the two-dimensional image plane of the two-dimensional image data and the guide image plane of the guide image data is rotated.
  • the control unit 53 sets the same angle in the same rotation direction as the two-dimensional ultrasonic image subjected to the rotation processing, the guide image subjected to the rotation processing, or the same rotation direction.
  • the two-dimensional ultrasonic image and the guide image that have been subjected to the rotation process are updated and displayed on the display device 12.
  • the control unit 53 performs a rotation process on the position data related to the two-dimensional image data based on the input update instruction information.
  • the position data of the guide image data is updated to the position data of the guide image data subjected to the rotation processing.
  • control unit 53 stores the updated position data of the two-dimensional image data in the image storage unit 14 in association with the two-dimensional image data, or stores the updated position data of the guide image data in the guide image data.
  • the images are stored in the image storage unit 14 in association with each other.
  • the control unit 53 detects the input specific information, and also detects the input specific information.
  • the two-dimensional image data and the specific information are stored in the image storage unit 14 in association with each other. That is, when the specific information is sequentially input for each two-dimensional ultrasonic image from the input device 11, the control unit 53 sequentially detects each of the input specific information and simultaneously executes the two-dimensional ultrasonic image of the two-dimensional ultrasonic image.
  • the dimensional image data and the sequentially input specific information are stored in the storage unit 16a or the image storage unit 14 in association with each other.
  • control unit 53 determines, for each two-dimensional ultrasound image for which the specific information has been specified and input, the respective two-dimensional image data and the respective position data, and the respective guide image data anatomically corresponding to the two-dimensional image data.
  • the respective position data and the respective specific information can be associated with each other. Further, if the above-described rotation processing is performed, the control unit 53 transmits the angle information for each performed rotation processing or the position data for each updated two-dimensional image data or each guide image data to the above-described two-dimensional data. Further correspondence is made for each sound image.
  • the specific information is information for specifying each of the displayed and output two-dimensional ultrasonic images.
  • the name, identification symbol, or two-dimensional ultrasonic image of the two-dimensional ultrasonic image is used. And the like related to the subject.
  • the control unit 53 may cause the display device 12 to display and output the input specific information in association with each two-dimensional ultrasonic image!
  • the control unit 53 In addition, the input specific information is detected, and the image search unit 53a is controlled.
  • the image search unit 53a uses the associated specific information input from the input device 11 under the control of the control unit 53, and generates the two-dimensional image data associated with the associated specific information and the two-dimensional image data.
  • the position data, the guide image data, and each position data are retrieved from the image storage unit 14 or the storage unit 16a.
  • the image search unit 53a updates the angle information of the performed rotation processing or updates the rotation information.
  • Each position data of the two-dimensional image data or each position data of the updated guide image data is further searched from the image storage unit 14 or the storage unit 16a.
  • control unit 53 uses the various types of information retrieved by the image retrieval unit 53a to display the two-dimensional ultrasonic image and the guide image associated with the associated specific information on the display device 12. Display output. At this time, the control unit 53 controls the image processing apparatus 52 so that the current two-dimensional ultrasonic image acquired by the radial scan and the retrieved two-dimensional ultrasonic image are displayed and output on the same screen.
  • the configuration and function of searching for a two-dimensional ultrasonic image and a guide image and displaying and outputting the two-dimensional ultrasonic image and the guide image are added to the configuration and function of the third embodiment.
  • the diagnostic apparatus has been exemplified, the present invention is not limited to the configuration and the function of the first embodiment described above, and further includes a configuration and a function of searching for a two-dimensional ultrasonic image and a guide image and displaying and outputting them.
  • the added ultrasonic diagnostic apparatus may be used. That is, the rotation processing unit 33a may not be provided.
  • the ultrasonic diagnostic apparatus may further include a configuration and a function of searching and displaying and outputting a two-dimensional ultrasonic image and a guide image in addition to the configuration and the function of the second embodiment
  • An ultrasonic diagnostic apparatus may further include a configuration and a function of searching for a two-dimensional ultrasonic image and a guide image and displaying and outputting the two-dimensional ultrasonic image and the guide image in addition to the configuration and functions of the fourth embodiment.
  • each two-dimensional image data and each position data, and each guide image anatomically corresponding to these two-dimensional image data
  • the data, its position data, and its specific information are stored in association with each other, and if necessary, each angle information for each rotation process or each position data for each updated 2D image data or each guide image data is stored.
  • the two-dimensional image data and its position data, the guide image data and the corresponding two-dimensional image data are stored based on the input associated specific information.
  • the position data and the position data of the updated two-dimensional image data or the position data of the guide image data are retrieved as necessary.
  • the target two-dimensional ultrasonic image and the guide image can be searched, displayed and output, and the operation and effect of any one of Embodiments 1 to 4 described above can be obtained.
  • a diagnostic device can be realized.
  • the surgeon can compare the two-dimensional ultrasonic image displayed and output after the image search with the specific information input for the image search and the two-dimensional ultrasonic image. In comparison, it is possible to easily understand which part of the subject is viewed from which direction in the two-dimensional ultrasonic image. Furthermore, the surgeon can easily compare the target 2D ultrasound image displayed by the image search with the current 2D ultrasound image, and efficiently check the progress of the disease and the state of recovery. be able to.
  • the force for calculating the position data regarding the ultrasonic transducer 3a using the position detection signal based on the alternating magnetic field from the transmission coil 7 In the sixth embodiment, the subject It is configured to detect the insertion shape of the insertion section 3 inserted into the body and output the display.
  • FIG. 22 is a block diagram illustrating a configuration example of an ultrasonic diagnostic apparatus according to Embodiment 6 of the present invention. It is a lock figure.
  • an image processing apparatus 62 is provided instead of the image processing apparatus 52 of the ultrasonic diagnostic apparatus 51 described above, and a transmission coil 64 is further provided.
  • the image processing device 62 is provided with a control unit 63 instead of the control unit 53.
  • the control section 63 has substantially the same configuration and function as the control section 53 described above, and is provided with an image forming section 63a instead of the image forming section 16c.
  • the transmission coil 64 is electrically connected to the position data calculation device 6 and is also electrically connected to the transmission coil 7. That is, the position data calculation device 6 and the transmission coil 7 are electrically connected via the transmission coil 64.
  • Other configurations are the same as those of the fifth embodiment, and the same components are denoted by the same reference numerals.
  • the transmission coil 64 is realized using a plurality of coils, and is arranged on the rear end side of the insertion unit 3 with respect to the transmission coil 7, that is, on the side where the operation unit 4 is arranged. At this time, the plurality of coils W 1, W 2,..., W (m: an integer of 2 or more) contained in the transmission coil 64 are transmitted from the transmission coil 7 side.
  • the entrance 3 is arranged substantially linearly toward the rear end side. Accordingly, the plurality of coils W 1, W 2,..., W are sequentially arranged in the longitudinal direction of the insertion portion 3 following the first coil of the transmission coil 7 described above.
  • the number be 10 or more (for example, about 10 or more).
  • the transmission coil 64 outputs an alternating magnetic field having a different frequency for each of the built-in coils when the current is supplied from the position data calculation device 6.
  • the receiving coil 10 receives the alternating magnetic field from the transmitting coil 64 in the same manner as the alternating magnetic field of the transmitting coil 7 and the like, and transmits a position detection signal based on the alternating magnetic field to the position data calculating device 6.
  • the position data calculation device 6 receives the position detection signal from the receiving coil 10, based on the received position detection signal, the position data calculation device 6 generates a plurality of coils W 1, W 2, W 3,. , W
  • the position data calculating device 6 calculates the position of each of the calculated coils W 1, W 2,.
  • the position data calculation device 6 transmits the transmission coil position data by the transmission coil 7, the marker coil position data by the marker coil 8, and the plate 9
  • the plate position data is transmitted to the control unit 63, and the insertion unit position data is transmitted to the control unit 63.
  • the control unit 63 performs the processing steps of steps S101 to S110 described above to create two-dimensional image data to be sequentially acquired and guide image data anatomically corresponding to each two-dimensional image data, Each two-dimensional ultrasonic image corresponding to each two-dimensional image data and each guide image corresponding to each guide image data are sequentially displayed and output on the display device 12. Further, when the insertion section position data is input from the position data calculation device 6, the control section 63 detects the insertion section position data, detects the time t at which the insertion section position data was detected from the timer 16b, and It controls the component 63a.
  • the image forming unit 63a has substantially the same configuration and function as the image forming unit 16c described above, and further has an insertion shape image corresponding to the insertion shape image indicating the insertion shape of the insertion unit 3 in the subject. Works to create data. Under the control of the control unit 63, the image construction unit 63a inserts the insertion part position data input from the position data calculation device 6, that is, the directional components of the position vectors OU, OU,. Each coordinate of image data
  • the image forming unit 63a determines each of the position vectors OU (t), OU (t), ⁇ , OU (t) as the coordinate data of the inserted shape image data at the time t.
  • the image forming unit 63a extracts only the direction component of the position vector OC (t) of the center position C (t) of the time t from the transmission coil position data at the time t. Obtained as insertion part position data at time t.
  • the image forming unit 63a calculates the directional components of the position vectors OU (t), OU (t), ..., OU (t) and the position vector OC ( t)
  • the image forming unit 63a starts with the coordinate points based on the directional components of the position vector OC (t), and sets the position vectors OU (t), OU (t),
  • the insertion shape image data at time t can be created.
  • the inserted shape image data at time t is represented by a mark corresponding to each coordinate point based on each position vector acquired at time t, and a line shape connecting these marks sequentially, that is, time t. It corresponds to an insertion shape image expressing an insertion shape line indicating the insertion shape of the insertion section 3 in the insertion section.
  • the mixing unit 16d combines the inserted shape image data at this time t, the two-dimensional image data acquired at the same timing, that is, at time t, Inserted shape image data, two-dimensional image data, and guide image data created as various image data at the same timing based on the guide image data at time t anatomically corresponding to the two-dimensional image data
  • Mixed image data for displaying and outputting the inserted shape image, the two-dimensional ultrasonic image, and the guide image respectively corresponding to the images on the same screen of the display device 12 is created. Thereafter, the mixed image data is output to the display circuit 15 under the control of the control unit 63.
  • the display circuit 15 converts and outputs an image signal corresponding to the mixed image data under the control of the control unit 63 as described above.
  • the display device 12 arranges, on the same screen, a two-dimensional ultrasound image, a guide image, and an insertion shape image corresponding to the mixed image data at the same timing based on the image signal received from the display circuit 15. Display output.
  • FIG. 23 is a schematic diagram schematically illustrating a screen display example in which a two-dimensional ultrasonic image, a guide image, and an insertion shape image at the same timing are displayed side by side on the same screen.
  • the controller 64 outputs to the display circuit 15 mixed image data based on the same timing, for example, the two-dimensional image data at time ts, the guide image data at time ts, and the insertion shape image data at time ts.
  • a two-dimensional ultrasonic image UG at time ts, a guide image GG at time ts, and an insertion shape image IG at time ts can be displayed side by side on the same screen of the display device 12. Note that the two-dimensional ultrasound image UG and the guide image GG anatomically correspond to each other as described above.
  • the insertion shape image IG is inserted into the subject at the insertion shape of the insertion portion 3 of the probe 2 that has detected the two-dimensional image data corresponding to the two-dimensional ultrasonic image UG, that is, at time ts.
  • 3 shows the insertion shape of the insertion section 3. That is, as shown in FIG. 23, the position vectors OC (ts), OU (ts), OU (ts), OU (ts), OU (ts),
  • each mark dl, d2, ⁇ , dm corresponding to each coordinate point based on 2 m (however, marks dl to d8 are shown), and between these marks dl, d2, ⁇ , dm And an insertion shape line in which are sequentially connected.
  • the mark dl indicates the position at the time t, for example, the time ts when the insertion portion position data was acquired.
  • the marks d2, d3, ..., dm corresponding to the coordinate points based on the direction component of the position vector OC (ts) and successively following the mark dl are the position vectors OU (ts )
  • OU (ts),..., OU (ts) correspond to the respective coordinate points based on the respective directional components.
  • the marks dl to dm When the marks dl to dm are displayed in the insertion shape image, the marks dl and the marks d2 to dm may be displayed in another mode. This makes the position of the probe tip in the insertion shape image easier to understand.
  • control unit 63 every time the control unit 63 acquires the two-dimensional image data, the control unit 63 sequentially creates the respective guide image data anatomically corresponding to the acquired two-dimensional image data, and further generates the two-dimensional image data.
  • Each insertion shape image data is sequentially created based on each insertion portion position data sequentially acquired at the same timing as the data is sequentially acquired.
  • the control unit 63 sequentially updates the two-dimensional ultrasonic image of the display device 12 based on the sequentially acquired two-dimensional image data, Then, the guide image of the display device 12 is sequentially updated based on the data, and at the same time, the insertion shape image of the display device 12 is updated based on the sequentially created insertion shape image data. That is, when the operator searches the region of interest of the subject while repeatedly causing the ultrasound diagnostic apparatus 61 to perform the above-described radial scan, the control unit 63 transmits the two-dimensional ultrasound image, the guide image, and the insertion shape image in real time. Are sequentially updated and displayed on the display device 12.
  • an ultrasonic diagnostic apparatus in which a configuration and a function of displaying and outputting an inserted shape image are further added to the configuration and the function of the fifth embodiment described above is described.
  • the present invention is not limited to this, and may be an ultrasonic diagnostic apparatus in which a configuration and a function of displaying and outputting an insertion shape image are further added to the configurations and functions of the above-described third and fourth embodiments. That is, the image search unit 53a may not be provided.
  • the ultrasonic diagnostic apparatus may further include a configuration and a function of displaying and outputting an insertion shape image in addition to the configurations and functions of the first and second embodiments. That is, the rotation processing unit 33a and the image search unit 53a are provided, but need not be provided.
  • Embodiment 6 of the present invention every time two-dimensional image data is acquired, two-dimensional ultrasonic images are sequentially updated based on the sequentially acquired two-dimensional image data, and the two-dimensional ultrasonic images are sequentially created.
  • the guide images are sequentially updated based on the created guide image data, and although the inserted shape image is updated based on the inserted shape image data, the present invention is not limited to this.
  • the two-dimensional ultrasonic image is sequentially updated based on the sequentially obtained two-dimensional image data, and the sequentially generated guide image data is used.
  • the guide images may be sequentially updated, and at the same time, the insert shape image may be updated based on the sequentially created insert shape image data.
  • the insertion of the probe insertion portion inserted into the subject is performed. Insertion part position data corresponding to the shape is sequentially acquired, and based on each insertion part position data acquired at the same timing as the two-dimensional image data is sequentially acquired, the insertion shape image data indicating this insertion shape And sequentially update the 2D ultrasound images based on the sequentially acquired 2D image data, and sequentially update the guide images based on the sequentially created guide image data.
  • the inserted shape image was updated based on the inserted shape image data.
  • a two-dimensional ultrasonic image of the inside of the subject a guide image anatomically corresponding to the two-dimensional ultrasonic image, and a probe insertion portion for detecting two-dimensional image data of the two-dimensional ultrasonic image are obtained.
  • the inserted shape image can be displayed and output on the same screen in real time, so that the operator can easily understand the current inserted shape of the probe insertion portion that has been inserted into the subject.
  • An ultrasonic diagnostic apparatus capable of enjoying the operation and effect of any one of the above-described first to fourth embodiments and improving the operation efficiency until displaying and outputting a two-dimensional ultrasonic image of a target region of interest. Can be realized.
  • the operator can easily understand the current insertion shape of the probe insertion portion that has been inserted into the body of the subject.
  • the digital scan scanning plane can be accurately and easily positioned on the target region of interest, and a two-dimensional ultrasonic image of the target region of interest can be efficiently observed.
  • the ultrasonic vibrator 3a provided near the tip of the insertion portion 3 is driven to rotate. Radial scanning of the body of the subject was performed by repeatedly transmitting and receiving ultrasonic waves in a radial manner.
  • an ultrasonic transducer group in which a plurality of ultrasonic transducers are arranged in a ring is used.
  • An electronic radial scan of the body of the subject is performed by using the electronic radial scan.
  • FIG. 24 is a block diagram illustrating a configuration example of an ultrasonic diagnostic apparatus according to Embodiment 7 of the present invention.
  • a probe 72 is provided instead of the probe 2 of the ultrasonic diagnostic apparatus 51 described above.
  • the probe 72 is provided with an insertion section 73 instead of the insertion section 3, an operation section 74 instead of the operation section 4, and a transmission coil 75 instead of the transmission coil 7.
  • an ultrasonic transducer group 73a is provided instead of the ultrasonic transducer 3a.
  • Other configurations are the same as those of the fifth embodiment, and the same components are denoted by the same reference numerals.
  • FIG. 25 is a schematic diagram schematically illustrating one configuration of the distal end of the insertion portion 73 of the probe 72.
  • the probe 72 is realized by using an electronic radial scan type ultrasonic endoscope, and has the insertion section 73 and the operation section 74 to be inserted into the subject as described above.
  • An ultrasonic transducer group 73a and a transmission coil 75 are provided at the tip of the insertion section 73.
  • the ultrasonic transducer group 73a has a plurality of ultrasonic transducers obtained by finely cutting into a strip shape and arranged in a circle around the insertion axis direction into the subject, for example, 360 ° around the entire circumference. It is composed of Further, each of the ultrasonic transducers constituting the ultrasonic transducer group 73a is electrically connected to the ultrasonic observation device 5 via the signal line 73b and the operation unit 74.
  • the operation unit 74 bends the distal end of the insertion unit 73 including the portion where the ultrasonic transducer group 73a and the transmission coil 75 are provided in accordance with the operation of the operator, in substantially the same manner as the operation unit 4 described above. Has functions. Further, the operation unit 74 electrically connects the ultrasonic transducer group 73a and the ultrasonic observation device 5 when the operator turns on the power switch of the operation unit 74.
  • the transmission coil 75 has a structure in which two coils having coil axes in two orthogonal directions are integrated, and the two coils and the position data calculation device 6 are electrically connected to each other. Further, as shown in FIG. 25, the transmission coil 75 is provided on the distal end side of the insertion section 73 of the ultrasonic transducer group 73a. At this time, it is desirable that the transmitting coil 75 be provided so that its outer shape does not protrude from the cross section of the ultrasonic transducer group 73a. As a result, the diameter of the insertion portion 73 is reduced. More / J, can be reduced.
  • one coil axis direction corresponds to the insertion axis direction of the insertion unit 73 into the subject, and the other coil axis direction corresponds to the ultrasonic wave direction.
  • This corresponds to the scanning surface of the electronic radial scan by the oscillator group 73a, that is, the 12:00 direction of the radial scan plane RH shown in FIG.
  • the transmission coil 75 has one coil axis direction corresponding to the normal direction of the two-dimensional image data, that is, the direction vector V (t) described above, and The coil axis direction corresponds to the 12:00 direction of the two-dimensional image data, that is, the above-described direction vector V (t).
  • the control unit 53 sends a control signal to the ultrasonic observation device 5 based on the input start instruction information.
  • the ultrasonic observation device 5 transmits each excitation signal to each ultrasonic transducer of the ultrasonic transducer group 73a via the operation unit 74 and the signal line 73b based on the control signal received from the control unit 53.
  • a pulse voltage of about 100 [V] is applied to each of the ultrasonic vibrators of the ultrasonic vibrator group 73a.

Abstract

　被検者の体内を走査して該体内の２次元画像データを得るとともに該２次元画像データを得た走査面の位置および配向を検出し、検出した該走査面の位置および配向と前記２次元画像データとをもとに前記体内の２次元超音波画像を生成出力する超音波診断装置において、ガイド画像を生成する画像処理制御手段を有する画像処理装置と、前記ガイド画像と前記２次元超音波画像とを含む各種画像を複数同時に表示出力する表示装置とを備える。前記画像処理制御手段は、人体の解剖学的な画像データとして予め記憶したスライス画像データ群をもとに、前記２次元超音波画像の解剖学的な位置および配向に対応した前記ガイド画像を生成する。

Description

明 細 書
超音波診断装置
技術分野
[0001] 本発明は、生体内に超音波を放射状に照射するとともにこの超音波のエコーを受 波してスキャンを行い、このスキャンによって得られた超音波画像データをもとに、こ の生体内の超音波画像を表示出力する超音波診断装置に関するものである。 背景技術
[0002] 従来から、生体内に超音波を照射するとともにこの生体糸且織からの超音波エコーを 受波するセクタスキャンを行ってこの生体内の超音波画像を生成出力する超音波診 断装置は、生体内の様子をリアルタイムに観察するための医療用診断装置として普 及している。術者は、超音波診断装置を用いる際、生体内の各器官および各組織の 既知の解剖学的な位置関係を予め念頭に置きながら現在観察している生体内の解 剖学上の位置を推定して超音波画像を観察し、この生体に対する医学的な診断を 行っている。このような診断を支援するために、超音波画像にて観察している生体内 の解剖学上の位置を案内するガイド画像を表示出力する超音波診断装置が提案さ れている。
[0003] たとえば、この超音波診断装置は、被検者の体外力 その生体内に超音波を照射 する体外式の超音波プローブと解剖学的なイラストイメージを格納した解剖図データ ベースとを備え、この超音波プローブに設けられた超音波振動子の位置および姿勢 を検出し、この検出した位置および姿勢に基づく解剖学的な位置および姿勢に合つ たイラストイメージをこの解剖図データベース力 選択して表示出力するように構成さ れている。さらに、この超音波診断装置は、この生体の所定断面 (基準面）に超音波 プローブの走査面が合致するように術者が診断開始前に予め超音波プローブの当 接位置および当接姿勢を調整することによって、この超音波振動子の位置および姿 勢に応じて解剖図データベース力 イラストイメージを自動選択できるように構成され ている (特許文献 1参照)。
[0004] なお、この基準面と走査面とを合致させる方法として、この超音波診断装置が被検 者の体格情報に基づき構成される骨格図を表示出力し、術者が、この骨格図上にこ の基準面を任意に指定し、その後、この基準面と走査面とが合致するように超音波プ ローブの当接位置および当接姿勢を調整する方法がある。あるいは、この超音波診 断装置が現在の超音波プローブの当接状態に対応する骨格図を表示出力し、術者 力 この超音波プローブの走査面と合致する基準面の座標をこの骨格図上に指定す る方法がある。この超音波診断装置は、これらの方法に基づき超音波プローブの走 查面と骨格図上の基準面とを合致させ、これによつて、超音波プローブの座標系（超 音波診断装置が認識する座標系）と生体上の座標系とを合致させる。
[0005] 特許文献 1 :特開 2002— 263101号公報
発明の開示
発明が解決しょうとする課題
[0006] しかしながら、上述した特許文献 1に記載された超音波診断装置には、以下の課題 がある。第 1に、この超音波診断装置は、複数のイラストイメージを含んだデータべ一 スから観察位置に一番近 ヽイラストイメージを自動選択して表示するように構成した ため、適当なイラストイメージが予め解剖図データベース内に格納されていなければ 、イラストイメージが超音波振動子による走査面の位置と厳密に一致しない可能性が あった。そのため、選択されたイラストイメージが観察位置を正確に表現したガイド画 像であるとは言えな ヽと 、う課題があった。
[0007] 第 2に、この超音波診断装置は、生体の特定の断面 (基準面）に走査面を合致させ る際の具体的な第 1の方法として、被検者の体格情報に従って構成される骨格図を 画面上に表示し、その骨格図上において基準面を任意に指定し、その基準面に走 查面が合致するようにプローブの当接を調整するよう構成していた。また、第 2の方法 として、プローブの現在の当接状態においてその走査面に合致する座標を前記骨格 図上において指定するよう構成していた。この両方法を実施する際に、術者は、当然 、超音波の走査面そのものや体内の様子を目視で見ることができな力つた。それ故、 基準面に走査面を厳密に合致させることが困難であり、また、走査面に合致する座 標の正確さに欠けていた。さらに、上述した特許文献 1には、プローブの座標系と生 体上の座標系とがいかなるものであるか開示されていない。また、プローブの座標系 と生体上の座標系とを合致させる具体的な計算方法にっ 、ては、開示されて!、な!/ヽ 。つまり、この超音波診断装置では、基準面に走査面を厳密に合致させたり、走査面 に合致する座標を指定したりする際の正確さが欠けるという点が払拭されているとは 言えない。故に、結果として、第 1の課題と同様、やはり、選択されたイラストイメージ が観察位置を正確に表現したガイド画像であるとは言えな 、と ヽぅ課題があった。
[0008] 本発明は、上記事情に鑑みてなされたものであって、被検者体内を観察する超音 波画像と解剖学的に正確に対応するガイド画像を表示出力できる超音波診断装置 を提供することを目的とする。
課題を解決するための手段
[0009] 上述した課題を解決し、目的を達成するために、本発明は、被検者の体内にてスキ ヤンを行って該体内の 2次元画像データを得るとともに該 2次元画像データを得たス キャンの走査面の位置および配向を検出し、該検出した位置および配向と前記 2次 元画像データとをもとに前記体内の 2次元超音波画像を生成出力する超音波診断 装置において、人体の解剖学的な画像データとして予め記憶された解剖学的画像 データをもとに、前記 2次元超音波画像の解剖学的な位置および配向に対応したガ イド画像を生成する画像処理制御手段と、前記ガイド画像と前記 2次元超音波画像と を含む各種画像を複数同時に表示出力する表示手段と、を備えたことを特徴とする。
[0010] また、本発明は、上記発明において、前記解剖学的画像データ上に解剖学的に特 徴的な位置を示す特徴点を指示入力する入力手段と、前記特徴点に解剖学的に対 応する前記被検者の位置力 標本点を検出する標本点検出手段と、を備え、前記画 像処理制御手段は、前記特徴点と前記標本点と前記検出した位置および配向とをも とに、前記ガイド画像を前記 2次元超音波画像の解剖学的な位置および配向に対応 させることを特徴とする。
[0011] また、本発明は、上記発明において、前記画像処理制御手段は、前記特徴点と前 記標本点と前記検出した位置および配向とをもとに前記解剖学的画像データの切断 平面を算出するとともに、前記解剖学的画像データをもとに前記切断平面の断面画 像に対応する断面画像データを生成し、前記切断平面と前記断面画像データとをも とに前記ガイド画像を生成することを特徴とする。 [0012] また、本発明は、上記発明において、前記入力手段は、少なくとも 4点の前記特徴 点を入力し、前記標本点検出手段は、少なくとも 4点の前記特徴点に解剖学的にそ れぞれ対応する少なくとも 4点の前記標本点を検出することを特徴とする。
[0013] また、本発明は、上記発明において、体腔内に挿入されるプローブを備え、前記標 本点検出手段が前記プローブ先端に設けられ、前記被検者の体腔内から標本点を 検出することを特徴とする。
[0014] また、本発明は、上記発明において、前記プローブは前記被検者の体腔内の光学 画像を得る光学観察手段を備え、前記表示手段は前記光学観察手段によって得ら れた光学画像を表示し、前記標本点検出手段は前記表示手段が前記光学画像を表 示中に前記被検者の体腔内から標本点を検出することを特徴とする。
[0015] また、本発明は、上記発明において、前記画像処理制御手段は、前記特徴点をも とに前記解剖学的画像データ上に特徴点 3軸座標系を設定し、かつ前記標本点をも とに前記特徴点 3軸座標系に解剖学的に対応する標本点 3軸座標系を前記 2次元 画像データ上に設定し、前記検出した位置および配向を前記標本点 3軸座標系上 の位置および配向に換算するとともに、該換算した位置および配向を前記特徴点 3 軸座標系上の位置および配向に換算し、該換算した特徴点 3軸座標系上の位置お よび配向をもとに前記切断平面を算出することを特徴とする。
[0016] また、本発明は、上記発明において、前記解剖学的画像データは、体軸に垂直な 人体横断面の各スライス画像に対応する複数のスライス画像データであり、前記入力 手段は、前記解剖学的画像として表示された前記スライス画像上に前記特徴点を指 示入力し、前記画像処理制御手段は、前記切断平面と前記複数のスライス画像デー タとの交線上を補間して前記断面画像データを作成することを特徴とする。
[0017] また、本発明は、上記発明において、前記標本点検出手段は、前記被検者の体表 に配置され該体表近傍の解剖学的に特徴的な位置に対応する基準の標本点を検 出する基準標本点検出手段を備え、前記画像処理制御手段は、前記標本点のうち 前記基準標本点検出手段によって検出された基準の標本点を原点とする前記標本 点 3軸座標系を設定することを特徴とする。
[0018] また、本発明は、上記発明において、前記標本点検出手段は、前記基準標本点検 出手段が検出する基準の標本点の配向をさらに検出し、前記画像処理制御手段は
、前記 4点の標本点の各位置と該 4点の標本点のうちの基準の標本点の配向とをもと に、前記 4点の標本点の各座標と前記被検者の体位変化に起因して変動した該 4点 の標本点の各座標をそれぞれ補正することを特徴とする。
[0019] また、本発明は、上記発明において、所望の人体を用いて前記解剖学的画像デー タを生成する画像生成手段と、前記画像生成手段から前記画像処理制御手段に前 記解剖学的画像データを送信する通信手段と、を備えたことを特徴とする。
[0020] また、本発明は、上記発明において、前記解剖学的画像データは、人体の解剖学 的な 3次元画像データであり、前記入力手段は、前記 3次元画像データの切断位置 を指示し、かつ該切断位置に対応する 3次元画像データ上に前記特徴点を指示入 力し、前記画像処理制御手段は、前記切断平面にて前記 3次元画像データを切断 して前記断面画像データを作成することを特徴とする。
[0021] また、本発明は、上記発明において、前記画像生成手段は、 X線 CT装置、 MRI装 置、または PET装置を備えたことを特徴とする。
[0022] また、本発明は、上記発明において、前記標本点は、剣状突起、骨盤右端、幽門、 十二指腸乳頭、および噴門のうちのいずれ力 4つに解剖学的に対応することを特徴 とする。
[0023] また、本発明は、上記発明において、前記解剖学的画像データは、領域別に予め 分類されて ヽることを特徴とする。
[0024] また、本発明は、上記発明において、前記解剖学的画像データは、前記領域別に 予め色分けして分類されて 、ることを特徴とする。
[0025] また、本発明は、上記発明において、前記入力手段は、画像中心を回転中心とす る前記 2次元超音波画像または前記ガイド画像の回転角度を入力し、前記画像処理 制御手段は、前記 2次元超音波画像の法線方向を変化させずに該法線方向に垂直 な方向につ!、て前記回転角度をなす 2次元超音波画像を逐次生成出力しまたは前 記ガイド画像の法線方向を変化させずに該法線方向に垂直な方向にっ 、て前記回 転角度をなすガイド画像を逐次生成出力することを特徴とする。
[0026] また、本発明は、上記発明において、前記画像処理制御手段は、前記ガイド画像 の法線方向を変化させずに該法線方向に垂直な方向にっ 、て前記回転角度をなす ガイド画像を逐次生成出力するとともに、前記 2次元超音波画像の法線方向を変化 させずに該法線方向に垂直な方向につ!、て前記回転角度をなす 2次元超音波画像 を逐次生成出力することを特徴とする。
[0027] また、本発明は、上記発明において、前記入力手段は、当該入力手段の入力量に 応じて変化する回転角度を入力することを特徴とする。
[0028] また、本発明は、上記発明において、前記スキャンがラジアルスキャンであり、該ラ ジァルスキャンの走査面の中心位置および法線方向を検出し、該法線方向に垂直な 方向に関するデフォルト配向データが予め設定された位置検出手段を備え、前記画 像処理制御手段は、前記回転角度をもとに、前記検出した中心位置および法線方 向と前記デフォルト配向データとによる 2次元超音波画像の配向と前記ガイド画像の 配向とを解剖学的に合わせることを特徴とする。
[0029] また、本発明は、上記発明において、前記入力手段は、前記 2次元超音波画像を 特定する特定情報をさらに入力し、前記画像処理制御手段は、前記入力された特定 情報毎に該特定情報と前記 2次元超音波画像と前記ガイド画像とを対応付け、入力 された前記特定情報をもとに 2次元超音波画像を検索するとともに、該検索した 2次 元超音波画像と該 2次元超音波画像に対応付けられたガイド画像とを前記表示手段 に表示させることを特徴とする。
[0030] また、本発明は、上記発明において、前記スキャンを行うプローブの前記体内への 挿入部の挿入形状を検出する挿入形状検出手段を備え、前記画像処理制御手段 は、前記挿入形状を示す挿入形状画像を前記 2次元超音波画像および前記ガイド 画像とともに前記表示手段に表示させることを特徴とする。
[0031] また、本発明は、上記発明において、複数の超音波振動子が環状に配列され、前 記体内に所定の順序にて超音波を送受信して前記スキャンを行う電子ラジアルスキ ヤン型のプローブを備えたことを特徴とする。
発明の効果
[0032] 本発明によれば、被検者体内の断面を撮像した 2次元画像データと、この 2次元画 像データの位置および配向につ 、て解剖学的に正確に対応するガイド画像データと をリアルタイムにて容易に作成でき、この 2次元画像データに対応する 2次元超音波 画像と、臓器別に予め色分けされ、臓器等の位置および配向についてこの 2次元超 音波画像に解剖学的に正確に対応するガイド画像とをリアルタイムにて順次表示出 力できる超音波診断装置を実現することができるという効果を奏する。
[0033] この超音波診断装置を用いることによって、術者は、この 2次元超音波画像とこのガ イド画像とを同時に確認でき、たとえばこのガイド画像が示す色分けされた臓器画像 等を参照してこの現在の 2次元超音波画像が解剖学的に被検者のどの位置を示し ているのかを正確かつ容易に認識することができ、これによつて、被検者体内の病変 部等の関心領域を容易に捜し出せるとともにこの関心領域を正確に観察でき、被検 者への医学的診断を正確かつ効率的に行うことができるという効果を奏する。このこ とは、被検者の体外力も超音波を照射するタイプの超音波診断装置よりも医学的な 有用性がはるかに大きぐ特に被検者に対する検査時間の短縮と術者の初心者学 習の時間軽減とに対する寄与が大きい。
図面の簡単な説明
[0034] [図 1]図 1は、本発明の実施の形態 1である超音波診断装置の一構成例を例示する ブロック図である。
[図 2]図 2は、マーカコイルの一形態とプレートの一形態とを模式的に例示する模式 図である。
[図 3]図 3は、受信コイルにおける直交座標系の設定状態を模式的に例示する模式 図である。
[図 4]図 4は、 2次元超音波画像とガイド画像とを同一画面上に並べて表示出力する までの処理工程を例示するフローチャートである。
[図 5]図 5は、 2次元超音波画像とガイド画像とを同一画面上に並べて表示出力した 表示例を模式的に示す模式図である。
[図 6]図 6は、特徴点設定処理を達成するまでの処理工程を例示するフローチャート である。
[図 7]図 7は、スライス画像データに特徴点を設定する動作を説明する模式図である。
[図 8]図 8は、標本点設定処理を達成するまでの処理工程を例示するフローチャート である。
[図 9]図 9は、ガイド画像作成処理を達成するまでの処理工程を例示するフローチヤ ートである。
[図 10]図 10は、 2次元画像平面と標本点による 3軸座標系との関係を説明する模式 図である。
[図 11]図 11は、ガイド画像平面およびその位置データを算出する動作を説明する模 式図である。
[図 12]図 12は、本発明の実施の形態 2である超音波診断装置の一構成例を例示す るブロック図である。
[図 13]図 13は、ボリュームデータを用 、た特徴点設定処理を達成するまでの処理フ ローを例示するフローチャートである。
圆 14]図 14は、ボリュームデータの断面を設定する動作を説明する模式図である。
[図 15]図 15は、ボリュームデータと断面画像とを同一画面上に並べて表示出力した 状態を模式的に例示する模式図である。
[図 16]図 16は、本発明の実施の形態 3である超音波診断装置の一構成例を例示す るブロック図である。
[図 17]図 17は、ガイド画像と回転処理が行われた 2次元超音波画像とを同一画面上 に表示出力した状態を模式的に例示する模式図である。
[図 18]図 18は、 2次元超音波画像と回転処理が行われたガイド画像とを同一画面上 に表示出力した状態を模式的に例示する模式図である。
[図 19]図 19は、回転処理が行われた 2次元超音波画像と回転処理が行われたガイド 画像とを同一画面上に表示出力した状態を模式的に例示する模式図である。
[図 20]図 20は、本発明の実施の形態 4である超音波診断装置の一構成例を例示す るブロック図である。
[図 21]図 21は、本発明の実施の形態 5である超音波診断装置の一構成例を例示す るブロック図である。
[図 22]図 22は、本発明の実施の形態 6である超音波診断装置の一構成例を例示す るブロック図である。 [図 23]図 23は、同じタイミングの 2次元超音波画像とガイド画像と揷入形状画像との 画面表示例を模式的に例示する模式図である。
[図 24]図 24は、本発明の実施の形態 7である超音波診断装置の一構成例を例示す るブロック図である。
[図 25]図 25は、電子ラジアルスキャン型のプローブ先端の一構成を模式的に例示す る模式図である。
符号の説明
1， 21, 31, 41, 51， 61， 71 超音波診断装置
2, 72 プローブ
3, 73 挿入部
3a 超音波振動子
3b シャフト
3c 光学観察窓
3d レンズ
3e CCDカメラ
4, 74 操作部
4a モータ
4b ロータリーエンコーダ
5 超音波観測装置
6, 45 位置データ算出装置
7, 44, 64, 75 送信コイル
8 マーカコイル
9 プレート
10 受信コイル
11 入力装置
12 表示装置
13, 22, 32, 42, 52, 62 画像処理装置
14 画像記憶部 15 表示回路
16, 23, 33, 43, 53, 63 制御部 16a 記憶部
16b タイマ
16c, 63a 画像構成部
16d 混合部
16e 補正部
17 光学観察装置
24 通信回路
25 3次元 MRI装置
26 X線 3次元ヘリカル CT装置 27 ネットワーク
33a 回転処理部
45a デフォルト位置データ
53a 画像検索部
73a 超音波振動子群
73b 信号線
C (ts) , C' (ts) 中心位置
CBD, CBD 総胆管
0
dl〜(！ 8 マーク
DG 断面画像
FM 画像情報平面マーカ
GF ガイド画像平面
GG ガイド画像
H 肋骨
1
IG 挿入形状画像
K, Kl, K2 カーソル
P , P , P , P 標本点 P ', P ', P ', P '特徴点
0 1 2 3
PD, PD 脾管
0
PV, PV 門脈
0
RH ラジアノレスキャン平面
R(ts) , R' (ts) 任意点
SD〜SD , SD , SD スライス画像データ
1 4 n N
SDG スライス画像データ群
SGn スライス画像
UF 2次元画像平面
UG 2次元超音波画像
V(t) , V (ts) , V' (ts) , V (t) , V (ts) , V ，（ts) 方向べクトノレ
12 12 12
VD ボリュームデータ
VF フレーム
発明を実施するための最良の形態
[0036] 以下、添付図面を参照して、本発明にかかる超音波診断装置の好適な実施の形態 を詳細に説明する。なお、この実施の形態によって、本発明が限定されるものではな い。
[0037] (実施の形態 1)
図 1は、本発明の実施の形態 1である超音波診断装置の一構成例を例示するプロ ック図である。図 1において、この超音波診断装置 1は、被検者体内に挿入される挿 入部 3と挿入部 3を操作する操作部 4とを備えたプローブ 2と、超音波観測装置 5と、 位置データ算出装置 6と、複数のコイル力 なる送信コイル 7と、マーカコイル 8と、複 数のコイルを備えたプレート 9と、受信コイル 10と、入力装置 11と、表示装置 12と、画 像処理装置 13と、光学観察装置 17とを有する。挿入部 3の挿入側先端には超音波 振動子 3aが回転自在に組み込まれ、挿入部 3の後端には操作部 4が配置される。超 音波振動子 3aの近傍には、送信コイル 7が着脱可能に配置される。また、挿入部 3は 超音波振動子 3aの回転軸となるシャフト 3bを有し、操作部 4はモータ 4aおよびロータ リーエンコーダ 4bを有する。モータ 4aは、シャフト 3bを介して超音波振動子 3aと接続 される。ロータリーエンコーダ 4bは、モータ 4aに接続される。超音波観測装置 5は、 操作部 4に設けられた電源スィッチ（図示せず)およびケーブル等を介して、超音波 振動子 3a、モータ 4a、およびロータリーエンコーダ 4bと電気的に接続される。位置デ ータ算出装置 6は、ケーブル等を介して、送信コイル 7、マーカコイル 8、プレート 9、 および受信コイル 10と電気的に接続される。さらに、プローブ 2は、カバーガラスを用 いて実現された光学観察窓 3cと、レンズ 3dと、 CCD (Charge
Coupled Device)カメラ 3eと、体腔内に照明光を照射する照明光照射窓（図示せず） と力待設けられる。 CCDカメラ 3eは、ケーブル等を介して光学観察装置 17と電気的に 接続される。画像処理装置 13は、ケーブル等を介して、超音波観測装置 5、位置デ ータ算出装置 6、入力装置 11、表示装置 12、および光学観察装置 17と電気的に接 続される。
[0038] プローブ 2は、被検者体内に挿入部 3が挿入された状態において超音波振動子 3a が回転するとともに超音波の送受波を放射状に繰り返し行うことによって、被検者体 内に対するラジアルスキャンを行う。挿入部 3は、可撓性部材を用いて実現され、被 検者体内への挿入に好適な細長い筒形状を有する。超音波振動子 3aは、チタン酸 ノリウムまたはチタン酸ジルコン酸鉛等の圧電セラミックを用いて実現され、超音波観 測装置 5から印加されたパルス状の電圧を逆圧電効果によって超音波に変換する機 能と、この超音波の反射波 (エコー)を圧電効果によって電気信号 (スキャン信号）に 変換するとともにこの電気信号を超音波観測装置 5に出力する機能とを有する。シャ フト 3bは、フレキシブルなシャフトであり、モータ 4aによる回転駆動を超音波振動子 3 aに伝達する可撓自在な回転軸として機能する。すなわち、超音波振動子 3aは、挿 入部 3の被検者体内への挿入方向とほぼ同軸方向を回転軸として回転する。
[0039] 操作部 4は、操作者すなわち被検者の生体内観察または診断を行う術者の操作に 応じ、超音波振動子 3aおよび送信コイル 7が配置される部位を含む挿入部 3の先端 を湾曲させる機能を有する。また、操作部 4は、術者が操作部 4の電源スィッチを操 作しかつ入力装置 11から入力され画像処理装置 13と超音波観測装置 15とを経由し た所定の命令によって電源をオン状態にすれば、超音波振動子 3a、モータ 4a、およ びロータリーエンコーダ 4bと超音波観測装置 5とを電気的に接続する。この状態にお いて、超音波観測装置 5は、超音波振動子 3aに 100[V]程度のパルス状の電圧 (パ ルス電圧）を印加するとともにモータ 4aに 12[V]程度の直流駆動電圧を印加でき、さ らにロータリーエンコーダ 4bからの電気信号を受信できる。モータ 4aは、超音波観測 装置 5から印加された直流駆動電圧を用いて回転駆動を行うとともに、シャフト 3bを 介してこの回転駆動を超音波振動子 3aに伝達する。これによつて、モータ 4aは、シャ フト 3bを回転軸として、超音波振動子 3aを回転させる。また、ロータリーエンコーダ 4 bは、このモータ 4aによる回転駆動の回転角度を検出するとともに、この検出した回 転角度に対応する電気信号 (角度検出信号)を超音波観測装置 5に出力する。
[0040] 光学観察窓 3cは、超音波振動子 3aまたは送信コイル 7の近傍、たとえば送信コィ ル 7から 0. 5cm程度離れた位置に配置される。上述した照明光照射窓（図示せず） からは照明光が照射され、被検者の体内を照明する。この被検者の体内の管腔表面 の像は、光学観察窓 3cからレンズ 3dを経由して CCDカメラ 3eに結像する。 CCDカメ ラ 3eは、この結像された像に対応する電気信号 (CCD信号)を光学観察装置 17〖こ 出力する。光学観察装置 17は、 CCDカメラ 3eからの CCD信号をもとに被検者の体 腔内の管腔表面の画像のデータを作成し、このデータを光学画像データとして画像 処理装置 13内の制御部 16に出力する。
[0041] 超音波観測装置 5は、検波回路、増幅回路、 AZD変換回路、および座標変換回 路等を用いて構成される。超音波観測装置 5は、超音波振動子 3aから順次受信した スキャン信号とロータリーエンコーダ 4bから受信した角度検出信号とを用い、包絡線 検波処理、対数増幅処理、 AZD変換処理、および極座標系から直交座標系への 座標変換処理等の周知の各処理を行う。これによつて、超音波観測装置 5は、順次 受信したスキャン信号毎すなわち上述したラジアルスキャン毎に、一つの 2次元画像 データを作成する。その後、超音波観測装置 5は、作成した 2次元画像データを画像 処理装置 13に順次送信する。なお、この 2次元画像データは、このラジアルスキャン による被検者体内の 2次元超音波画像に対応するデジタル画像データであり、その 2 次元画像平面に平行な方向について上述した角度検出信号に基づく基準方向が設 定される。この実施の形態 1では、以後、この基準方向を 2次元超音波画像の 12時 方向すなわち上方向として説明する。 [0042] 位置データ算出装置 6は、術者が位置データ算出装置 6に設けられた電源スィッチ (図示せず)をオン状態にすれば、ケーブル等を介して送信コイル 7とマーカコイル 8 とプレート 9とに電流を供給するとともに、受信コイル 10からの電気信号を受信する。 具体的には、位置データ算出装置 6は、送信コイル 7、マーカコイル 8、およびプレー ト 9のそれぞれを構成する各コイルを異なる周波数にて励磁し、その後、送信コイル 7 、マーカコイル 8、およびプレート 9のそれぞれを構成する各コイル力も発生した各交 番磁場に対応する電気信号を受信コイル 10から受信する。この際、受信コイル 10は 、送信コイル 7、マーカコイル 8、およびプレート 9のそれぞれを構成する各コイルから 発生した各交番磁場を検出し、検出した交番磁場を電気信号に変換するとともにこ の電気信号を位置検出信号として位置データ算出装置 6に送信する。
[0043] また、位置データ算出装置 6は、受信コイル 10から受信した各位置検出信号を周 波数毎に分解することによって、この受信した各位置検出信号をこの交番磁場毎に 分解する。すなわち、位置データ算出装置 6は、この受信した各位置検出信号から、 送信コイル 7、マーカコイル 8、およびプレート 9のそれぞれを構成する各コイルからの 交番磁場に起因する位置検出信号を分解して得る。そして、位置データ算出装置 6 は、得られた各位置検出信号をもとに、送信コイル 7、マーカコイル 8、およびプレート 9の各位置および各配向に関するデータ (位置データ)を算出し、算出した位置デー タを画像処理装置 13に送信する。
[0044] 送信コイル 7は、挿入部 3の被検者体内への挿入軸方向すなわち超音波振動子 3a の回転軸方向にコイルの卷線の軸（コイル軸）が固定された第 1コイルと該揷入軸方 向に垂直な方向であってロータリーエンコーダ 4bからの角度検出信号に基づく基準 方向すなわち 2次元超音波画像の 12時方向にコイル軸が固定された第 2コイルとを 用いて実現され、上述したように、超音波振動子 3aの近傍、たとえば、超音波振動子 3aから 0. 5〜1 [cm]程度離れた位置に着脱可能に配置される。この際、送信コイル 7は超音波振動子 3aに対する距離および配向がほぼ一定になるように固定されるの で、第 1コイルおよび第 2コイルの各位置および各配向は、超音波振動子 3aに対して ほぼ一定に固定される。送信コイル 7は、位置データ算出装置 6が第 1コイルおよび 第 2コイルに電流を供給することによって、交番磁場を発生する。位置データ算出装 置 6は、上述したように、この第 1コイルおよび第 2コイル力 の各交番磁場に対応す る各位置検出信号をもとに、超音波振動子 3aの位置および配向に関する位置デー タを得ることができる。なお、送信コイル 7は、超音波振動子 3aの近傍に配置される 際、挿入部 3の外壁に着脱可能に配置されてもよいが、挿入部 3内部に着脱可能に 挿入されることが望ましい。
[0045] マーカコイル 8は、位置データ算出装置 6から供給される電流を所定の交番磁場に 変換する 1つのコイルが内蔵され、スティック形状を有する。このコイルは、マーカコィ ル 8のスティック形状の先端側に設けられる。マーカコイル 8は、被検者の体表に接触 した状態にて位置データ算出装置 6から電流が供給されれば、この体表近傍の位置 を示す交番磁場を発生する。位置データ算出装置 6は、上述したように、このマーカ コイル 8からの交番磁場に対応する位置検出信号をもとに、被検者の体表の接触位 置に関する位置データを得ることができる。
[0046] プレート 9は、位置データ算出装置 6から供給される電流を所定の交番磁場に変換 する 3つのコイルが内蔵され、被検者の体表に付着し易い楕円形等のプレート形状 を有する。プレート 9は、被検者の体表に接触した状態にて位置データ算出装置 6か ら電流が供給されれば、この体表近傍の位置を示す交番磁場を発生する。また、こ のプレート 9の 3つのコイルは、各コイル軸が互いに一直線上にな!、ようにプレート 9 内に配置される。また、この 3つのコイルの配置状態に依存して、プレート 9には、 X" 軸、 y"軸、および z"軸の 3軸が直交する原点 0〃の直交座標系 x"y"z〃が予め設定さ れる。この直交座標系 x'V"z"はプレート 9に固定され、プレート 9自身が動くと、直交 座標系 x'V"z"も一緒に動く。なお、プレート 9に対する直交座標系 x"y"z〃の設定に ついては、後述する。
[0047] 受信コイル 10は、複数のコイルを用いて実現され、上述したように、送信コイル 7、 マーカコイル 8、およびプレート 9から発生した各交番磁場を検出し、検出した交番磁 場を位置検出信号に変換するとともにこの位置検出信号を位置データ算出装置 6に 送信する。また、受信コイル 10には、 X軸、 y軸、および z軸の 3軸が直交する原点 O の直交座標系 xyzが設定される。この直交座標系 xyzは、受信コイル 10に固定され る。以後の作用では受信コイル 10が移動しないので、この直交座標系 xyzは、位置 および配向が空間に固定された座標系である。また、この直交座標系 xyzは、位置 データ算出装置 6が算出する位置データすなわち送信コイル 7、マーカコイル 8、およ びプレート 9を用いて検出される被検者体内の各位置と超音波振動子 3aの位置およ び配向とを表現するための直交座標系である。なお、受信コイル 10に対する直交座 標系 xyzの設定については、後述する。
[0048] 入力装置 11は、キーボード、タツチパネル、トラックボール、マウス、またはジョイス ティック等を単一または組み合わせて用いることによって実現され、上述したラジアル スキャンまたは表示装置 12への各種画像表示等の超音波診断装置 1が行う各種処 理または動作の開始、終了、あるいは切替に関する指示情報、受信コイル 10に設定 された 3軸直交座標系における座標情報、または後述する特徴点の座標情報等を画 像処理装置 13に入力する。たとえば、キーボードまたはタツチパネルを用いる場合に は、所望の指示情報または座標情報を入力しまたは選択し、あるいは、表示装置 12 またはタツチパネルに画面表示された情報メニューまたは座標位置を直接入力する ことによって、所望の指示情報または座標情報の入力が行われる。一方、トラックボ ール、マウス、またはジョイスティックを用いる場合には、表示装置 12に画面表示され た情報メニュー力も所望の指示情報を選択することによって、あるいは表示装置 12 に画面表示された座標位置を直接指定することによって、所望の指示情報または座 標情報の入力が行われる。具体的には、トラックボール、マウス、またはジョイステイツ クを操作して、表示装置 12に画面表示されたカーソル等を所望の指示情報の選択 肢または座標位置に移動させ、クリック操作を行うことによって所望の指示情報また は座標情報の入力が行われる。
[0049] 画像処理装置 13は、周知のコンピュータを用いて実現され、画像記憶部 14と表示 回路 15と制御部 16とを有する。画像記憶部 14は、 EEPROMまたはフラッシュメモリ 等の各種 ICメモリ、ハードディスクドライブ、あるいは光磁気ディスクドライブ等のデー タの書き込みおよび読み出しが可能な各種記憶装置を用いて実現される。画像記憶 部 14は、制御部 16の制御のもと、制御部 16から入力された 2次元画像データまたは 後述するガイド画像データ等の各種画像データを記憶する。この際、画像記憶部 14 は、制御部 16の制御のもと、 2次元画像データまたはガイド画像データ等の各種画 像データの各位置データをその画像データに対応付けて記憶することができる。また
、画像記憶部 14は、制御部 16の制御のもと、記憶した各種画像データ等を制御部 1 6に送信する。
[0050] また、画像記憶部 14は、生体断面の解剖学的な画像データであるスライス画像デ ータを複数含むスライス画像データ群が予め記憶される。このスライス画像データ群 には、 x'軸、 y'軸、および z'軸の 3軸が直交する原点 O'の直交座標系 x'y'z'が予め 設定される。すなわち、このスライス画像データ群は、この直交座標系 x'y'z'上に配 列された状態で画像記憶部 14に記憶される。これによつて、制御部 16は、直交座標 系 x'y'z'に対応付けられたスライス画像データまたはスライス画像データ群を読み出 すことができる。
[0051] なお、このスライス画像データは、たとえば被検者以外の凍結人体を lmmピッチで 平行にスライスして撮像した一辺が 40cm程度の正方形の写真データを用い、この写 真データの画素を臓器別に分類した後、臓器別に色分けして得られた画像データで ある。また、この写真データの一辺を 40cm程度にしたのは、体軸に垂直な人体の横 断面全体がほぼ入る大きさだ力もである。
[0052] 表示回路 15は、制御部 16の制御のもと、制御部 16から入力された各種画像デー タに対して DZA変換処理等を行 ヽ、この入力された各種画像データを表示装置 12 に画面表示可能な画像信号に変換する。その後、表示回路 15は、この画像信号を 表示装置 12に送信する。表示装置 12は、表示回路 15から受信した画像信号をもと に、この各種画像データに対応する各種画像を一つあるいは複数並べてまたは切り 替えて表示出力する。たとえば、表示装置 12は、超音波観測装置 5が作成した 2次 元画像データに対応する画像信号を表示回路 15から受信することによって、この 2 次元画像データに対応する 2次元超音波画像を表示出力する。また、表示装置 12 は、光学観察装置 17が作成した光学画像データに対応する画像信号を表示回路 1 5から受信することによって、この光学画像データに対応する被検者体内のたとえば 管腔表面の光学画像を表示出力する。この光学画像は、制御部 16の制御のもと、単 一あるいは複数並べてまたは切り替えて表示出力される。
[0053] 制御部 16は、処理プログラム等の各種データが予め記憶された ROMと演算パラメ 一タ等を一時的に記憶する RAMとを用いて実現される記憶部 16aと、この処理プロ グラムを実行する CPUとを用いて実現される。制御部 16は、上述したラジアルスキヤ ンに関する超音波診断装置 1の各種動作および表示装置 12の画像表示動作を制 御する。また、制御部 16は、超音波観測装置 5、位置データ算出装置 6、または入力 装置 11から入力される各種情報についての情報入出力制御を行い、かつ超音波観 測装置 5の動作および画像処理装置 13の各構成部の動作を制御する。また、記憶 部 16aは、制御部 16の制御のもと、各種画像データ、入力装置 11から入力された各 種情報、または位置データ算出装置 6から入力された各種位置データ等を一時的に feす。。
[0054] また、制御部 16は、タイマ 16b、画像構成部 16c、混合部 16d、および補正部 16e をさらに有する。タイマ 16bは、制御部 16の制御のもと、所定のタイミングにおける時 刻 tを制御部 16に知らせるように機能する。たとえば、タイマ 16bは、制御部 16の制 御のもと、制御部 16が入力装置 11から後述する標本点設定指示情報を受信したタ イミングの時刻または制御部 16が超音波観測装置 5から 2次元画像データを受信し たタイミングの時刻を制御部 16に知らせる。
[0055] 画像構成部 16cは、制御部 16の制御のもと、上述したスライス画像データ群に設定 された直交座標系 x'y'z'上に、入力装置 11から入力された座標情報に基づく点 (以 下、特徴点)を設定するように機能する。具体的には、術者が表示装置 12のスライス 画像を確認しながら入力装置 11を用いて特徴点座標情報を入力し、制御部 16がこ の入力された特徴点座標情報を検知する。このとき、画像構成部 16cは、制御部 16 の制御のもと、この特徴点座標情報に基づく直交座標系 x'y'z'上の座標に特徴点を 設定する。その後、画像構成部 16cは、少なくとも 4点設定した複数の特徴点のうち の 4点（特徴点 P ', P ', P ', P ')を用いて 3軸座標系 P 'P 'P 'を設定する。制御部 1
0 1 2 3 1 2 3
6は、画像構成部 16cが設定した特徴点の座標データを上述したスライス画像データ 群に対応付けるとともに画像記憶部 14に記憶する。
[0056] なお、この特徴点は、解剖学的に特徴的な部位を示す点として設定され、たとえば 剣状突起、骨盤の右端または左端、幽門、十二指腸乳頭 (総胆管の十二指腸への 出口）、および噴門等の解剖学的に特徴的な部位に設定されることが望ましい。また 、この特定点座標情報は、この特徴点を直交座標系 xV'z'上の点として設定するた めの座標情報である。さらに、 3軸座標系 P 'P 'P 'は、 4点の特徴点のうちの 1点（た
1 2 3
とえば特徴点 P ')を原点とする 3軸の座標系であり、この 3軸は、この原点（すなわち
0
特徴点 P ')と残りの特徴点 P ', P ', P 'とをそれぞれ結ぶベクトルによって決定する。
0 1 2 3
すなわち、この 3軸は、互いに直交するとは限らない。
[0057] また、画像構成部 16cは、制御部 16の制御のもと、上述した受信コイル 10に設定さ れた直交座標系 xyz上に、入力装置 11からの情報入力に基づく点を設定するよう〖こ 機能する。具体的には、術者が、マーカコイル 8およびプレート 9を被検者体表に接 触させながらあるいはプローブ 2を操作するとともに表示装置 12の光学画像を確認し ながら、入力装置 11を用いて点を設定指示する指示情報 (標本点設定指示情報)を 入力し、制御部 16が、この入力された標本点設定指示情報を検知する。このとき、画 像構成部 16cは、制御部 16の制御のもと、位置データ算出装置 6から入力された位 置データを用いて標本点設定指示情報に基づくこの点 (以下、標本点)を直交座標 系 xyz上に設定する。その後、画像構成部 16cは、少なくとも 4点設定した標本点のう ちの 4点 (標本点 P , P , P , P )を用いて 3軸座標系 P P Pを設定する。
0 1 2 3 1 2 3
[0058] なお、この標本点標本点 P , P , P , Pは、上述した特徴点 P ', P ', P ', P 'にそ
0 1 2 3 0 1 2 3 れぞれ解剖学的に対応する部位を示す点であって、被検者の体表または体内管腔 表面上の部位を示す点である。たとえば、標本点 P
0が被検者の剣状突起であれば、 特徴点 P
0 'はスライス画像データ群の中の剣状突起を示す点である。同様に、標本点
P
1が被検者の骨盤右端であれば、特徴点 P
1 'はスライス画像データ群の中の骨盤右 端を示す点であり、標本点 Pが被検者の幽門であれば、特徴点 P 'はスライス画像デ
2 2
ータ群の中の幽門を示す点であり、標本点 pが被検者の十二指腸乳頭であれば、
3
特徴点 P
3 'はスライス画像データ群の中の十二指腸乳頭を示す点である。また、この 標本点は、直交座標系 xyz上において、送信コイル 7による位置データすなわち超 音波振動子 3aに関する位置データ、マーカコイル 8による位置データ、またはプレー ト 9による位置データに対応する座標成分を有する。さらに、 3軸座標系 P P Pは、 4
1 2 3 点の標本点のうちの 1点（たとえば標本点 P )を原点とする 3軸の座標系であり、この 3
0
軸は、この原点（すなわち標本点 P )と残りの標本点 P , P , Pとをそれぞれ結ぶベタ トルによって決定する。すなわち、この 3軸は、互いに直交するとは限らない。
[0059] さらに、画像構成部 16cは、制御部 16が超音波観測装置 5から 2次元画像データ を受信したことをトリガーとして、制御部 16の制御のもと、この 2次元画像データと位 置データ算出装置 6からの位置データとの対応付けを行う。たとえば、画像構成部 1
6cは、制御部 16が超音波観測装置 5から 2次元画像データを受信したタイミングとほ ぼ同じタイミングにて位置データ算出装置 6から受信した位置データをこの 2次元画 像データと対応付ける。これによつて、画像構成部 16cは、 2次元画像データの位置 および配向を設定することができる。
[0060] 具体的には、位置データ算出装置 6が、送信コイル 7からの交番磁場に基づく位置 検出信号を用い、送信コイル 7のうち、上述した第 1コイルの位置 C (t)の位置べタト ル OC (t)と、この第 1コイルのコイル軸方向に対応する方向ベクトル V (t)と、コイル軸 力 一タリーエンコーダ 4bからの角度検出信号に基づく基準方向すなわち 2次元超 音波画像の 12時方向に固定された上述した第 2コイルのコイル軸方向に対応する方 向ベクトル V ( との、それぞれの直交座標系 xyzに対する各方向成分を算出する。
12
ただし、位置データ算出装置 6は、方向ベクトル V (t)および方向ベクトル V (t)をそ
12 れぞれ単位長のベクトルとして規格ィ匕し出力する。その後、位置データ算出装置 6は 、得られた位置ベクトル OC (t)、方向ベクトル V (t)、および方向ベクトル V (t)の各
12 方向成分を位置データとして制御部 16に送信する。画像構成部 16cは、制御部 16 がほぼ同じタイミングで受信した 2次元画像データとこの位置データとを対応付ける。
[0061] なお、この 2次元画像データの 2次元画像平面は、上述したラジアルスキャンの走 查面に相当する。また、送信コイル 7が上述したように超音波振動子 3aの近傍に配 置されるので、位置ベクトル OC (t)は超音波振動子 3aの回転中心の位置ベクトルと 考えることができる。さら〖こ、送信コイル 7のうち、第 1コイルはコイル軸方向が挿入軸 方向に固定されているので、方向ベクトル V(t)は 2次元超音波画像に鉛直な方向の ベクトルすなわち法線ベクトルと考えることができる。また、この第 2コイルは、上述した ように、そのコイル軸方向が 2次元超音波画像の 12時方向に固定されているので、 方向ベクトル V (t)は、 2次元画像データの 12時方向ベクトルと考えることができる。
12
また、中心位置 c (t)、位置ベクトル oc (t)、方向ベクトル v(t)、および方向ベクトル V (t)は、それぞれ時刻 tにおける座標、位置ベクトル、法線ベクトル、および 12時
12
方向ベクトルであり、時刻 tの経過にともなう挿入部 3の先端の位置または配向の変化 に応じて、この座標または各ベクトルの方向成分が変化する。
[0062] また、画像構成部 16cは、制御部 16の制御のもと、画像記憶部 14から読み出され たスライス画像データ群と、位置データ算出装置 6から入力された各種位置データと をもとに、ガイド画像データを作成するように機能する。具体的には、画像構成部 16c は、位置ベクトル OC (t)、方向ベクトル V(t)、および方向ベクトル V (t)で一意的に
12
決まる直交座標系 xyz上の 2次元画像平面と 3軸座標系 P P Pとの位置および配向
1 2 3
の関係を算出する。つぎに、画像構成部 16cは、この算出結果をもとに、 3軸座標系 P 'P 'P 'と同じ位置および配向の関係になるような平面（以下、ガイド画像平面と呼
1 2 3
ぶ）を直交座標系 xV'z'上で求める。制御部 16は、このガイド画像平面に対応するス ライス画像データ群上の一部のデータを画像記憶部 14から読み出す。画像構成部 1 6cは、この読み出されたデータに対して補間処理または座標変換処理等を行い、画 像記憶部 14のスライス画像データ群をこのガイド画像平面にて切断した断面画像に 対応するガイド画像データを作成する。その後、このガイド画像データは、混合部 16 dに入力される。
[0063] ここで、このガイド画像データは、超音波観測装置 5が作成した 2次元画像データに 解剖学的に対応する生体断面の画像データである。すなわち、ガイド画像データを もとに表示装置 12に表示出力されたガイド画像は、表示出力された臓器等の位置お よび向きについて、 2次元画像データに対応する 2次元超音波画像と解剖学的にほ ぼ合致する。たとえば、超音波観測装置 5から入力された 2次元画像データが十二指 腸からみた脾臓頭部の断面の画像データであれば、画像構成部 16cは、この 2次元 画像データに解剖学的に対応する画像データとして、十二指腸カゝらみた脾臓頭部の 断面を示すガイド画像データを作成する。この合致の理由は、次のとおりである。第 1 に、人体の解剖学的な構造や臓器の形状は、体各の差はあるものの、腹部について は性差がなくおおよそ同じと考えられる。第 2に、実際の被検者の体表または体内管 腔表面上から取られた 4つの標本点 P , P , P , Pは、それぞれ、スライス画像データ
0 1 2 3
群に設定された 4つの特徴点 P ', P ', P ', P 'と解剖学的に対応している。第 3に、 4 つの標本点 P , P , P , P力 なる 3軸座標系 P P Pと 2次元画像平面との位置およ
0 1 2 3 1 2 3
び配向の関係と、 4つの特徴点 P ', P ', P ', P 'からなる 3軸座標系 P 'P 'P 'とガイド
0 1 2 3 1 2 3 画像平面との位置および配向の関係とは同じである。この 3つの理由により、 2次元 画像データ上の任意点 Rに対し、ガイド画像データ上で任意点 Rと同じ位置ゃァドレ スを持った対応点 R'は、解剖学的に同じ臓器、同じ器官、もしくは同じ生体組織に対 応する。したがって、 2次元画像データとガイド画像データとが解剖学的に対応して いると言える訳である。なお、画像構成部 16cがガイド画像データを作成するために 用いるスライス画像データ群は、上述したように臓器別に予め色分けされている。した がって、このガイド画像データは、このスライス画像データと同様に臓器別に色分けさ れる。
[0064] 混合部 16dは、制御部 16の制御のもと、超音波観測装置 5から入力された 2次元 画像データと画像構成部 16cが作成したガイド画像データとを用い、 2次元画像デー タに対応する 2次元超音波画像とガイド画像データに対応するガイド画像とを表示装 置 12の同一画面上に並べて表示出力するための画像データ (混合画像データ）を 作成する。混合部 16dが作成した混合画像データは、制御部 16の制御のもと、表示 回路 15に出力される。表示回路 15は、上述したように、制御部 16の制御のもと、この 混合画像データに対応する画像信号を変換出力する。表示装置 12は、この表示回 路 15から受信した画像信号をもとに、この混合画像データに対応する 2次元超音波 画像とガイド画像とを同一画面上に並べて表示出力する。
[0065] 補正部 16eは、制御部 16の制御のもと、時刻 tの経過とともに変化した標本点の座 標データを補正するように機能する。補正部 16eは、この補正処理によって、時刻 tに おける標本点の座標データをその後の時刻すなわち現在の標本点の座標データに 換算し、時刻 tの経過にともなう被検者の体位変化に起因して以前の標本点力ゝら変 化した現在の標本点の座標データを求める。この補正処理にともない、画像構成部 1 6cは、補正された現在の標本点の座標データを用いて上述した 3軸座標系 P P Pを
1 2 3 更新する。
[0066] 図 2は、マーカコイル 8の一形態とプレート 9の一形態とを模式的に例示する模式図 である。マーカコイル 8は、図 2に示すように、スティック形状を有する。また、マーカコ ィル 8は、上述したように、このスティック形状の先端側に 1つのコイルが内蔵される。 一方、プレート 9は、上述したように、被検者の体表に付着し易い楕円形等のプレート 形状を有し、図 2に示すように被検者の体表への付着面である体表接触面を有する 。また、プレート 9には、上述した直交座標系 x"y"z"が設定される。この直交座標系 X ν'ζ'Ίま、図 2に示すように、プレート 9の体表接触面を下に向けた状態において上 方向に ζ"軸を有し、この体表接触面に対して平行に X"軸と y"軸とが設定される。また 、この直交座標系 x"y"z"の原点 O"は、プレート 9と位置関係が固定されたプレート 9 上の位置に設定され、たとえばプレート 9における基準位置 Lに設定される。ただし、 この基準位置 Lは、プレート 9内の 3つのコィノレ位置の重心、プレート 9内の 2つのコィ ル位置の中点と残り 1つのコイル位置とを結ぶ直線の中点、またはプレート 9の体表 接触面の中央近傍であって 1つのコイルが設けられた位置に設定される。なお、この 直交座標系 x"y"z〃には、図 2に示すように、 X"軸に単位ベクトル i〃が設定され、 y"軸 に単位ベクトル j〃が設定され、 z"軸に単位ベクトルビが設定される。
[0067] 図 3は、受信コイル 10における直交座標系 xyzの設定状態を模式的に例示する模 式図である。図 3に示すように、受信コイル 10には、受信コイル 10と位置関係が固定 された受信コイル 10上の位置たとえば受信コイル 10の交番磁場受信面 10aの中心 軸近傍に原点 Oが設定される。また、この原点 Oを基準として、交番磁場受信面 10a の法線方向に z軸が設定され、交番磁場受信面 10aに平行に X軸と y軸とが設定され る。このようにして、直交座標系 xyzが受信コイル 10に設定される。これとともに、この 直交座標系 xyzは、術者が被検者を検査する実際の空間上の空間座標系として設 定されたことになる。なお、この直交座標系 xyzには、図 3に示すように、 X軸に単位 ベクトル iが設定され、 y軸に単位ベクトル jが設定され、 z軸に単位ベクトル kが設定さ れる。
[0068] この直交座標系 xyzが設定された受信コイル 10は、上述したように送信コイル 7、マ 一力コイル 8、およびプレート 9からの各交番磁場を検出し、位置検出信号を位置デ ータ算出装置 6へ送信する。位置データ算出装置 6は、 2次元画像データの 2次元画 像平面の中心位置 C (t)の位置ベクトル OC (t)、 2次元画像データの 2次元画像平 面の方向ベクトル V(t) , V (t)、プレート 9の基準位置 L (t)の位置ベクトル OL (t)、 プレート 9の配向を示す回転行列 T(t)、およびマーカコイル 8の位置 M (t)の位置べ タトル OM (t)の直交座標系 xyzの各方向成分を算出する。
[0069] なお、中心位置 C (t)、位置ベクトル OC (t)、方向ベクトル V(t)、方向ベクトル V (t
12
)、基準位置 L (t)、位置ベクトル OL (t)、回転行列 T (t)、位置 M (t)、および位置べ タトル OM (t)は、時刻 tにおいて検出される位置、ベクトル、または回転行列であり、 時刻 tの経過にともなう挿入部 3の先端の位置および配向の変化に起因して変化す る。
[0070] ここで、回転行列 T(t)は、直交座標系 xyzにおけるプレート 9の配向を示す回転行 列であって、その（f, g)成分が t (t)である 3行 3列の回転行列である。プレート 9は、 fg
上述したように、直交座標系 x"y"z〃が設定されているので、この t (t)は、次式（1)に fg
よって定義される。
t (t) =e" -e
fg f g
ただし、整数 f, gは 1〜3のいずれかである。また、単位ベクトル Θιは上述した単位べ タトル iであり、単位ベクトル eは上述した単位ベクトル jであり、単位ベクトル eは上述
2 3 した単位ベクトル kである。これと同様に、単位ベクトル e"は上述した単位ベクトル Γ
1
であり、単位ベクトル e"は上述した単位ベクトル j〃であり、単位ベクトル e"は上述した
2 3 単位ベクトルビである。また、式（1)の e" -eは、単位ベクトル e"と単位ベクトル eとの f g f g 内積である。このように回転行列 T(t)を定義すると、次式（2)が成り立つ。
(ijk) = (i'TV/)T(t) - {2)
[0071] また、一般に、回転行列 T(t)は、所謂オイラー角 θ , φ , φを用い、 z軸の周りの角 度 φの回転、 y軸の周りの角度 φの回転、 X軸の周りの角度 Θの回転をこの順序で直 交座標系 xyzに対して施したとき、プレート 9上に設定された直交座標系 x"y"z"と一 致することを想定した行列であり、次式 (3)でも表現される。なお、被検者が時刻 tの 経過とともに体位を変えれば、オイラー角 θ , φ , φはこの体位変化にともなって変 化する。
[0072] [数 1] cos ψ cos ψ cos ψ sin ψ - sin ψ
T(t) : sin Θ sin ψ cos ψ - cos Θ sin ψ sin Θ sin ψ sin ψ + cos Θ cos ψ sin Θ cos ψ cos Θ sin ψ cos ψ + sin Θ sin ψ cos Θ sin ψ sin ψ— sin Θ cos ψ cos Θ cos ψ
■(3)
[0073] つぎに、制御部 16が、直交座標系 x'y'z'上に特徴点による 3軸座標系 P 'P 'P 'を
2 3 設定しかつ直交座標系 xyz上に標本点による 3軸座標系 P P Pを設定し、さらに、上
2 3
述した位置データを対応付けた 2次元画像データと 3軸座標系 P P P , P 'P 'P 'とス
1 2 3 1 2 3 ライス画像データ群とをもとに上述したガイド画像データを作成し、その後、この 2次 元画像データに対応する 2次元超音波画像およびこのガイド画像データに対応する ガイド画像を表示装置 12の同一画面上に並べて表示出力させるまでの処理工程に ついて詳細に説明する。なお、以下の説明では、被検者に対する脾臓検査を例にと り、特徴点としてスライス画像データ群における剣状突起、骨盤右端、幽門、および 十二指腸乳頭の 4点の座標を取得し、標本点として被検者の剣状突起、骨盤右端、 幽門、および十二指腸乳頭の 4点の座標を取得する例について説明するが、本発明 はこれに限定されるものではな!/、。
[0074] 図 4は、制御部 16が、 2次元画像データに対応する 2次元超音波画像とガイド画像 データに対応するガイド画像とを表示装置 12の同一画面上に並べて表示出力させ るまでの処理工程を例示するフローチャートである。図 4において、術者が、表示装 置 12に表示されたスライス画像上の剣状突起、骨盤右端、幽門、および十二指腸乳 頭の各位置にっ ヽて、入力装置 11を操作して特徴点座標情報をそれぞれ指示入力 すれば、制御部 16は、これら剣状突起、骨盤右端、幽門、および十二指腸乳頭の各 位置について特徴点座標情報を検知し、画像構成部 16cを制御する。画像構成部 1 6cは、制御部 16の制御のもと、これら入力された各特徴点座標情報に基づく各特徴 点を直交座標系 xV'z'上にそれぞれ設定する特徴点設定処理を行う（ステップ S 101 )。その後、制御部 16は、画像構成部 16cが設定した各特徴点の座標データを上述 したスライス画像データ群に対応付けるとともに画像記憶部 14に記憶する。
[0075] たとえば、画像構成部 16cは、制御部 16の制御のもと、スライス画像上の剣状突起 に対応する直交座標系 x'y'z'上に、この特徴点座標情報に基づく特徴点 P 'を設定 し、スライス画像上の骨盤右端に対応する直交座標系 xV'z'上に、この特徴点座標 情報に基づく特徴点 P 'を設定する。これと同様に、画像構成部 16cは、制御部 16の
1
制御のもと、スライス画像上の幽門に対応する直交座標系 xV'z'上に、この特徴点座 標情報に基づく特徴点 P
2 'を設定し、スライス画像上の十二指腸乳頭に対応する直 交座標系 x'y'z'上に、この特徴点座標情報に基づく特徴点 P
3 'を設定する。制御部 1
6は、画像構成部 16cが設定した特徴点 P '〜Ρ 'の各座標データを上述したスライス
0 3
画像データ群に対応付けるとともに画像記憶部 14に記憶する。
[0076] つぎに、術者が、被検者の剣状突起、骨盤右端、幽門、および十二指腸乳頭の各 位置について、プローブ 2、マーカコイル 8、またはプレート 9と入力装置 11とを用い て標本点設定指示情報をそれぞれ入力すれば、制御部 16は、これら剣状突起、骨 盤右端、幽門、および十二指腸乳頭の各位置について標本点設定指示情報を検知 するとともに、この検知したタイミングにて位置データ算出装置 6から受信した各位置 データを標本点毎の位置データとして認識し、画像構成部 16を制御する。また、制 御部 16は、標本点設定指示情報毎に検知した時刻 tをタイマ 16bから検出する。画 像構成部 16cは、制御部 16の制御のもと、標本点毎の位置データとして認識された 各位置データを用い、これら入力された各標本点設定指示情報に基づく各標本点を 直交座標系 xyz上にそれぞれ設定する標本点設定処理を行う（ステップ S102)。
[0077] たとえば、画像構成部 16cは、制御部 16の制御のもと、被検者の剣状突起に対応 する直交座標系 xyz上に、この標本点設定指示情報とこの位置データとに基づく標 本点 P
0を設定し、被検者の骨盤右端に対応する直交座標系 xyz上に、この標本点設 定指示情報とこの位置データとに基づく標本点 Pを設定する。このとき、制御部 16は
1
、標本点設定指示情報を検知した時刻 tを標本点 P , Pを設定した時刻 tlとして検
0 1
出する。これと同様に、画像構成部 16cは、制御部 16の制御のもと、被検者の幽門 に対応する直交座標系 xyz上に、この標本点設定指示情報とこの位置データとに基 づく標本点 P
2を設定し、被検者の十二指腸乳頭に対応する直交座標系 xyz上に、こ の標本点設定指示情報とこの位置データとに基づく標本点 P
3を設定する。このとき、 制御部 16は、標本点設定指示情報を検知した時刻 tを標本点 P , Pをそれぞれ設
2 3
定した時刻 t2, t3として検出する。制御部 16は、画像構成部 16cが設定した標本点 P , P , P , Pの各座標データを記憶部 16aに記憶する。
0 1 2 3
[0078] その後、制御部 16は、術者が入力装置 11を用いてスキャン開始指示情報の入力 操作を行わない場合、スキャン開始指示情報を検知せず (ステップ S 103, No)、この ステップ S 103の処理工程を繰り返す。すなわち、制御部 16は、このスキャン開始指 示情報が入力装置 11から入力された力否力を常時監視する。
[0079] 一方、術者が入力装置 11を用いてスキャン開始指示情報の入力操作を行った場 合、制御部 16は、このスキャン開始指示情報を検知し (ステップ S 103, Yes)、このス キャン開始指示情報に基づき、超音波観測装置 5に対してラジアルスキャンを開始指 示する (ステップ S104)。超音波観測装置 5は、制御部 16の制御のもと、超音波振動 子 3aとモータ 4aとを駆動制御してラジアルスキャンを開始する。
[0080] つぎに、制御部 16は、超音波観測装置 5からの 2次元画像データを取得し (ステツ プ S105)、この取得した時刻として時刻 tsをタイマ 16bから検出する。画像構成部 16 cは、制御部 16の制御のもと、この 2次元画像データと、この取得したタイミング（時刻 ts)とほぼ同じタイミングにて位置データ算出装置 6から受信した位置データとを対応 付ける (ステップ S 106)。ただし、この位置データは、送信コイル 7からの交番磁場に 基づく位置データであって、上述した中心位置 C (ts)の位置ベクトル OC (ts)の座標 データ、方向ベクトル V(ts)の座標データ、および方向ベクトル V (ts)の座標データ
12
である。この 2次元画像データは、このステップ S106によって、この画像平面の中心 位置 C (ts)の位置ベクトル OC (ts)、この画像平面の方向ベクトル V (ts)、およびこの 画像平面の方向ベクトル V (ts)が対応付けられる。制御部 16は、中心位置 C (ts)、
12
位置ベクトル OC (ts)、方向ベクトル V(ts)、および方向ベクトル V (ts)の直交座標
12
系 xyzの各座標データを記憶部 16aに記憶する。
[0081] つぎに、補正部 16eによる補正処理を説明する力 この補正処理として、以下、プレ ート 9の基準位置 L (t)が常に被検者の剣状突起位置に重なるようにして、術者がプ レート 9を被検者に付着固定し、被検者の体位変化とともにプレート 9の位置および 配向が変化する場合について説明する。補正部 16eは、制御部 16がタイマ 16bから 検出した時刻 tをもとに上述したステップ S102〜ステップ S106における時刻 tの経 過を検知したことをトリガーとして、上述した時刻 tl〜t3にて設定した標本点 P〜P の各座標成分と時刻 ts (すなわち現在）の標本点 P〜Pの各座標成分との差分をそ
0 3
れぞれ補正する補正処理を行う（ステップ S107)。このとき、補正部 16eは、制御部 1 6の制御のもと、この時刻 tl〜t3における標本点 P〜Pの各座標成分と回転行列 T(
0 3
tl)〜T(t3)と、時刻 tsにおいて位置データ算出装置 6から入力された位置データた とえばプレート 9の基準位置 L (ts)の位置ベクトル OL (ts)およびプレート 9の配向を 示す回転行列 T(ts)とをもとに、この補正処理を行う。これによつて、補正部 16eは、 この時刻 tl〜t3にて設定した標本点 P〜Pを時刻 ts (すなわち現在）の標本点 P〜
0 3 0
P
3に更新する。
[0082] たとえば、補正部 16eは、時刻 tlの標本点 Pの座標成分と位置ベクトル OL (ts)の
0
方向成分とを用いて、時刻 tlの標本点 Pの直交座標系 xyz上における位置ベクトル
0
OP (tl)を時刻 tsの標本点 Pの直交座標系 xyz上における位置ベクトル OP (ts)に
0 0 0 更新する。この標本点 Pが常にプレート 9の基準位置 L (t)と一致するので、時刻 tsの
0
標本点 Pに対応する位置ベクトル OP (ts)は、位置ベクトル OL (ts)と同一と考えら
0 0
れ、次式 (4)によって表される。
OP (ts) =x (ts) i+y (ts)j + z (ts) k
0 P0 P0 P0
= OL (ts) - -- (4)
なお、この式 (4)において、方向成分 X (ts) , y (ts) , ζ (ts)は、それぞれ位置べ
P0 P0 P0
タトル OP (ts)の X軸方向、 y軸方向、および z軸方向の座標成分である。
0
[0083] また、補正部 16eは、時刻 tlの標本点 Pの座標成分と時刻 tl, tsの各標本点 Pの
1 0 各座標成分と回転行列 T(tl) , T(ts)とを用いて、時刻 tlの標本点 Pの直交座標系
1
xyz上における位置ベクトル OP (tl)を時刻 tsの標本点 Pの直交座標系 xyz上にお
1 1
ける位置ベクトル OP (ts)に更新する。このとき、位置ベクトル OP (ts)の X軸方向、 y
1 1
軸方向、および z軸方向の各方向成分 X (ts) , y (ts) , ζ (ts)は、次式（5)によつ
PI PI PI
て表され、位置ベクトル OP (ts)は、次式（6)によって表される。
1
[0084] [数 2]
、
Figure imgf000030_0001
OP (ts) =x (ts)i+y (ts)j + z (ts)k
1 PI PI PI
ー(6)
なお、この転置行列 tT(ts)は、回転行列 T(ts)の転置行列であって、回転行列 T(ts )をもとに算出される。
[0085] さらに、補正部 16eは、時刻 t2の標本点 Pの座標成分と時刻 t2, tsの各標本点 P
2 0 の各座標成分と回転行列 T(t2), T(ts)とを用いて、時刻 t2の標本点 Pの直交座標
2
系 xyz上における位置ベクトル OP (t2)を時刻 tsの標本点 Pの直交座標系 xyz上に
2 2
おける位置ベクトル OP (ts)に更新する。このとき、位置ベクトル OP (ts)の X軸方向
2 2
、 y軸方向、および z軸方向の各方向成分 X (ts) , y (ts) , ζ (ts)は、次式（7)によ
P2 P2 P2
つて表され、位置ベクトル OP (ts)は、次式（8)によって表される。
2
[0086] [数 3] -xP。(t2))
-yP0(t2) ■(7) -z
Figure imgf000031_0002
Figure imgf000031_0001
P0(t2)
OP (ts) =x (ts)i+y (ts)j + z (ts)k
2 P2 P2 P2
…
[0087] また、補正部 16eは、時刻 t3の標本点 Pの座標成分と時刻 t3, tsの各標本点 Pの
3 0 各座標成分と回転行列 T(t3), T(ts)とを用いて、時刻 t3の標本点 Pの直交座標系
3
xyz上における位置ベクトル OP (t3)を時刻 tsの標本点 Pの直交座標系 xyz上にお
3 3
ける位置ベクトル OP (ts)に更新する。このとき、位置ベクトル OP (ts)の X軸方向、 y
3 3
軸方向、および z軸方向の各方向成分 X (ts) , y (ts) , ζ (ts)は、次式（9)によつ て表され、位置ベクトル OP (ts)は、次式（10)によって表される。
[0088] [数 4]
,Xp3(t3)- xP。(t3)、
+lT(ts)T(t3) yp3(t3)-yP0(t3) ■(9)
Zp
Figure imgf000031_0003
3(t3)-zP0(t3)
OP (ts) =x (ts)i+y (ts)j + z (ts)k "-(10) [0089] このようにして、補正部 16eは、時刻 tlにて設定した標本点 P (時刻 tlにおける被
0
検者の剣状突起に対応)と標本点 P (時刻 tlにおける被検者の骨盤右端に対応)と
1
を時刻 tsにおける標本点 P (時刻 tsにおける被検者の剣状突起に対応）と標本点 P
0 1
(時刻 tsにおける被検者の骨盤右端に対応）とにそれぞれ更新する。また、補正部 1 6eは、時刻 t2にて設定した標本点 P (時刻 t2における被検者の幽門に対応）を時刻
2
tsにおける標本点 P (時刻 tsにおける被検者の幽門に対応）に更新し、時刻 t3にて
2
設定した標本点 P (時刻 t3における被検者の十二指腸乳頭に対応）を時刻 tsにおけ
3
る標本点 P (時刻 tsにおける被検者の十二指腸乳頭に対応）に更新する。
3
[0090] つぎに、画像構成部 16cは、制御部 16の制御のもと、制御部 16が時刻 tsにおいて 取得した 2次元画像データの各種位置データたとえば位置ベクトル OC (ts)、方向べ タトル V (ts)、および方向ベクトル V (ts)と、上述したステップ S107によって更新し
12
た時刻 tsの標本点 P〜Pの各座標成分と、画像記憶部 14から読み出されたスライス
0 3
画像データ群とをもとに、この時刻 tsにおける 2次元画像データに解剖学的に対応 するガイド画像データを作成するガイド画像作成処理を行う (ステップ S 108)。このガ イド画像データは、この時刻 tsの 2次元画像データに解剖学的に対応する時刻 tsの 画像データとして作成され、その位置データとして、上述した直交座標系 x'y'z'上に 、このガイド画像平面の中心位置 C' (ts)の位置ベクトル O'C' (ts)、方向ベクトル V' ( ts)、および方向ベクトル V ' (ts)が対応付けられる。すなわち、位置ベクトル O'C' (t
12
s)、方向ベクトル V' (ts)、および方向ベクトル V ' (ts)は、位置ベクトル OC (ts)、方
12
向ベクトル V (ts)、および方向ベクトル V (ts)に対し、それぞれ解剖学的に対応する
12
[0091] その後、混合部 16dは、制御部 16の制御のもと、上述したステップ S 106にて時刻 t sの位置データと対応付けられた 2次元画像データと、このステップ S 108によって作 成された時刻 tsのガイド画像データとを用い、この時刻 tsの 2次元画像データとガイド 画像データとを表示装置 12の同一画面上に並べて表示出力するための混合画像 データを作成する。この混合部 16dが作成した混合画像データは、制御部 16の制御 のもと、表示回路 15に出力される。表示回路 15は、上述したように、制御部 16の制 御のもと、この混合画像データに対応する画像信号を変換出力する。表示装置 12は 、この表示回路 15から受信した画像信号をもとに、この混合画像データに対応する 時刻 tsの 2次元超音波画像と時刻 tsのガイド画像とを同一画面上に並べて表示出力 する。すなわち、制御部 16は、この混合画像データを表示回路 15に送信すること〖こ よって、表示装置 12に対し、この時刻 tsの 2次元超音波画像と時刻 tsのガイド画像と を同一画面上に並べて表示出力させる（ステップ S 109)。
[0092] この状態において、術者が入力装置 11を用いてスキャン終了指示情報の入力操 作を行った場合、制御部 16は、このスキャン終了指示情報を検知し (ステップ S 110 , Yes)、このスキャン終了指示情報に基づき、超音波観測装置 5に対してラジアルス キャンを終了指示する。超音波観測装置 5は、制御部 16の制御のもと、超音波振動 子 3aとモータ 4aとに対してラジアルスキャンを終了させる駆動制御を行う。一方、術 者力スキャン終了指示情報の入力操作を行わない場合、制御部 16は、スキャン終了 指示情報を検知せずに (ステップ S 110, No)、上述したステップ S103以降の処理 工程を繰り返す。
[0093] 図 5は、 2次元超音波画像とガイド画像とを表示装置 12の同一画面上に並べて表 示出力した表示例を模式的に示す模式図である。この 2次元超音波画像 UGは上述 した時刻 tsの 2次元画像データに対応し、このガイド画像 GGは上述した時刻 tsのガ イド画像データに対応する。図 5において、 2次元超音波画像 UGは、被検者の脾管 胆管合流部近傍を表し、脾管 (Pancreas
Duct) PD、総胆管（Common Bile Duct) CBD、および門脈（Portal Vein) PVが表
0 0 0 示されている。また、 2次元超音波画像 UGは、画像中心が超音波振動子 3aの回転 中心すなわち中心位置 C (ts)に相当し、法線方向が方向ベクトル V(ts)に相当する 。また、 2次元超音波画像 UGの 12時方向すなわち図 5の上方向は、方向ベクトル V (ts)に相当し、 2次元超音波画像 UGの 3時方向すなわち図 5の右方向は、方向べ
12
クトル V (ts)と方向ベクトル V (ts)との外積 V (ts) XV(ts)に相当する。一方、ガイ
12 12
ド画像 GGは、画像中心が中心位置 C' (ts)に相当し、法線方向が方向ベクトル V' (ts )に相当する。また、ガイド画像 GGの 12時方向すなわち図 5の上方向は、方向べタト ル V ' (ts)に相当し、ガイド画像 GGの 3時方向すなわち図 5の右方向は、方向べタト
12
ル V ' (ts)と方向ベクトル V' (ts)との外積 V ' (ts) XV' (ts)に相当する。 [0094] ここで、制御部 16は、方向ベクトル V(ts)による画像方向と方向ベクトル V' (ts)によ る画像方向、方向ベクトル V (ts)による画像方向と方向ベクトル V ' (ts)による画像
12 12
方向、および外積 V (ts) XV (ts)による画像方向と外積 V ' (ts) XV' (ts)〖こよる画
12 12
像方向とをそれぞれ解剖学的に合致させることによって、臓器等の位置および向き が解剖学的に正確に対応した 2次元超音波画像 UGとガイド画像 GGとを同一画面 上に並べて表示出力させることができる。
[0095] また、ガイド画像 GGは、このガイド画像データが上述したように臓器別に色分けさ れているので、臓器別に色分けされた状態で表示装置 12に表示出力される。たとえ ば、ガイド画像 GGは、図 5に例示するように脾管胆管合流部を表し、脾管 PD、総胆 管 CBD、および門脈 PV等の指標となる器官がそれぞれ色分けされている。さらに、 制御部 16は、混合部 16dに対してガイド画像 GG上に PD、 CBD、または PV等の臓 器毎の略語を重畳するように制御すれば、ァノテーシヨンとして臓器別毎に略語 (たと えば図 5に例示する PD、 CBD、および PV)が重畳されたガイド画像 GGを表示装置 12に表示出力させることができる。なお、この臓器別の略語に関するァノテーシヨン 情報は、予め画像記憶部 14内において、スライス画像データ群とリンクされて格納さ れている。
[0096] さらに、制御部 16は、上述したステップ S103〜S 110の処理工程を繰り返すことに よって、 2次元画像データおよびその位置データと、この 2次元画像データに解剖学 的に対応するガイド画像データとその位置データとを順次取得することができ、取得 した 2次元画像データおよびガイド画像データにそれぞれ対応する 2次元超音波画 像およびガイド画像を順次更新するとともに表示装置 12の同一画面上に並べて表 示出力させる。たとえば、術者が超音波診断装置 1に上述したラジアルスキャンを繰 り返し行わせながら被検者の関心領域を探すとき、制御部 16は、上述したステップ S 103〜S110の処理工程を繰り返すことによって、リアルタイムにガイド画像と 2次元 超音波画像とを順次更新して表示装置 12に表示出力させることになる。
[0097] したがって、術者は、この 2次元超音波画像およびこのガイド画像を表示装置 12に てともに確認することによって、このガイド画像の色分けされた臓器像等を参照し、現 在表示された 2次元超音波画像が解剖学的に被検者のどの位置を観察しているの かを正確かつ容易に認識することができ、被検者への医学的診断を正確かつ効率 的に行うことができる。たとえば、脾臓がガイド画像上に黄色で表現されていれば、術 者は、おおよそ、その黄色のあたりを脾臓であると容易に認識して 2次元超音波画像 を観察し、または挿入部 3の先端を動かすことによって超音波振動子 3aの走査面を 変化させ、脾臓を探す訳である。
[0098] つぎに、上述したステップ S101の特徴点設定処理について詳細に説明する。図 6 は、制御部 16が上述した特徴点設定処理を達成するまでの処理工程を例示するフ ローチャートである。図 7は、画像記憶部 14に予め記憶されたスライス画像データに 特徴点を設定する動作を説明する模式図である。図 6, 7において、術者は、被検者 体内を観察するに先立ち、画像記憶部 14に記憶されているスライス画像データ群 S DGから、解剖学的に特徴のある点が映っているスライス画像データを選択する。す なわち、術者が入力装置 11を用いてスライス画像の表示出力を指示する画像表示 指示情報の入力操作を行った場合、制御部 16は、この入力された画像表示指示情 報を検知し (ステップ S 201, Yes)、この検知した画像表示指示情報に基づき、画像 記憶部 14内のスライス画像データ群 SDGから 1つのスライス画像データを読み出す とともに、読み出したスライス画像データに対応するスライス画像を表示装置 12に表 示出力させるスライス画像表示処理を行う（ステップ S202)。一方、術者が画像表示 指示情報の入力操作を行わない場合、制御部 16は、画像表示指示情報を検知せ ず (ステップ S201, No)、このステップ S201の処理工程を繰り返す。すなわち、制御 部 16は、この画像表示指示情報が入力装置 11から入力された力否力を常時監視す る。
[0099] なお、このスライス画像データ群 SDGは、図 7に示すように、 N個（N :整数）のスライ ス画像データ SD〜SDが上述した直交座標系 xV'z'上に配列された画像データ群
1 N
である。また、この直交座標系 xV'z'は、図 7に示すように、先頭のスライス画像デー タ SDの角部に原点 O'が位置しかつスライス画像データ SD〜SDの各画像平面が
1 1 N x'軸と y'軸とによる平面になるように設定される。さらに、この直交座標系 xV'z'には、 図 7に示すように、 x'軸に単位ベクトル i'が設定され、 y'軸に単位ベクトル j'が設定さ れ、 z'軸に単位ベクトル k'が設定される。 [0100] 上述したステップ S202のスライス画像表示処理において、制御部 16は、上述した ステップ S201にて検知した画像表示指示情報に基づき、画像記憶部 14からスライ ス画像データ SDを読み出すとともに、このスライス画像データ SDを表示回路 15に
1 1
送信する。表示回路 15は、上述したように、このスライス画像データ SDに対応する
1
画像信号を変換出力する。表示装置 12は、表示回路 15からこの画像信号を受信し 、このスライス画像データ SDに対応するスライス画像を表示出力する。
1
[0101] この状態において、術者が入力装置 11を用いて画像表示指示情報の入力操作を 行った場合、制御部 16は、この入力された画像表示指示情報を検知し (ステップ S2 03, Yes)、上述したステップ S202以降の処理工程を繰り返す。この場合、制御部 1 6は、このステップ S203にて検知した画面表示指示情報に基づき、画像記憶部 14 からスライス画像データ SD〜SDをこの検知した画面表示指示情報毎に順次読み
2 N
出すとともに、読み出したスライス画像データ SD〜SDを表示回路 15に順次送信し
2 N
、表示装置 12に対し、スライス画像データ SD〜SDの各スライス画像を順次更新す
2 N
るとともに表示出力させる。すなわち、制御部 16が上述したステップ S201〜S203の 処理工程を繰り返すことによって、術者は、スライス画像データ SD〜SDの各スライ
1 N ス画像を表示装置 12にて順次確認できる。たとえば、術者は、スライス画像データ群 SDGの n番目（n: l〜Nの整数）のスライス画像データ SDに対応するスライス画像 S G上に解剖学的に特徴的な部位たとえば剣状突起、骨盤右端、幽門、および十二 指腸乳頭等を見つけ出す。
[0102] 術者は、スライス画像 SG上に解剖学的に特徴的な部位を見つければ、この部位 に特徴点を指定するために、入力装置 11を用いてこの特徴点に関する特徴点座標 情報の入力操作を行う。この場合、制御部 16は、画像表示指示情報を検知せずに（ ステップ S203, No)、この入力された特徴点座標情報を検知し (ステップ S 204, Ye s)、画像構成部 16cは、この検知した特徴点座標情報に基づく座標データをスライス 画像データ SDすなわち直交座標系 xV'z'上の特徴点の座標データとして設定する (ステップ S205)。
[0103] たとえば、スライス画像 SG力 図 7に示すように、肋骨 Hの剣状突起を表示してい n 1
れば、術者は、入力装置 11を操作して表示装置 12上のカーソル Kをこの剣状突起 の位置に移動させ、クリック操作等を行って特徴点座標情報を入力する。制御部 16 は、この入力された特徴点座標情報を検知し、画像構成部 16cは、制御部 16の制御 のもと、この検知した特徴点座標情報に基づく座標データを特徴点 P 'の
0 座標データ として設定する。これによつて、特徴点 P 'は、図 7に示すように、スライス画像 SG上
0 n の肋骨 Hの剣状突起に対応する直交座標系 xV'z'上の座標点として設定される。
1
[0104] その後、術者が特徴点設定処理を終了指示する特徴点終了指示情報の入力操作 を行わなければ、制御部 16は、特徴点終了指示情報を検知せず (ステップ S206, N o)、上述したステップ S203以降の処理工程を繰り返す。これによつて、術者は、剣 状突起の特徴点 P '
0とほぼ同様の方法にて他の特徴的な部位毎に特徴点座標情報 を指定入力できる。画像構成部 16cは、制御部 16の制御のもと、この特徴的な部位 毎に入力された各特徴点座標情報に基づき、直交座標系 x'y'z'上に特徴点を順次 設定する。たとえば、画像構成部 16cは、特徴的な部位である骨盤右端、幽門、およ び十二指腸乳頭に関する各特徴点座標情報に基づき、骨盤右端、幽門、および十 二指腸乳頭にそれぞれ対応する直交座標系 xV'z'上の各座標点として特徴点 1^'〜 Ρ
3 'を順次設定する。
[0105] 一方、術者が入力装置 11を用いて特徴点終了指示情報の入力操作を行った場合 、制御部 16は、この入力された特徴点終了指示情報を検知し (ステップ S206, Yes) 、上述したステップ S 102以降の処理工程を行う。また、制御部 16は、上述したステツ プ S204において特徴点座標情報を検知しない場合 (ステップ S204, No)、上述し たステップ S203以降の処理工程を繰り返す。
[0106] ここで、画像構成部 16cは、上述したように、特徴点 P '〜 P 'を直交座標系 x'y'z'
0 3
上に設定したので、特徴点 P，の位置ベクトル O'P '、特徴点 P 'の位置ベクトル O'P，
0 0 1 1
、特徴点 P 'の位置ベクトル O'P '、および特徴点 P 'の位置ベクトル O'P 'は、直交座
2 2 3 3
標系 x'y'z'につ 、て、次式（ 11)〜（14)によってそれぞれ表される。
O'P ' =χ 'i' + y
0 Ρ0 Ρ0 + ζ Ρ0 'k' ' (ll)
Ο'Ρ ' = χ 'i' + y
Ρ1 Ρ1 + ζ V - - (12)
1 Ρ1
Ο'Ρ ' = χ 'i' + y
2 Ρ2 Ρ2 + ζ V - - (13)
Ρ2
Ο'Ρ ' = χ 'i' + y + ζ V - -- (14) なお、方向成分 x ', y ', ζ 'は、それぞれ位置ベクトル Ο'Ρ 'の χ'軸方向、 y'軸方向
P0 P0 P0 0
、および z'軸方向の座標成分である。方向成分 X ' , y ' , z 'は、それぞれ位置べク
PI PI P1
トル O'P 'の x'軸方向、 y'軸方向、および z'軸方向の座標成分である。方向成分 X '
1 P2
, y ', z 'は、それぞれ位置ベクトル O'P 'の x'軸方向、 y'軸方向、および z'軸方向
P2 P2 2
の座標成分である。方向成分 X ' , y ' , z 'は、それぞれ位置ベクトル O'P 'の x'軸
P3 P3 P3 3 方向、 y'軸方向、および z'軸方向の座標成分である。
[0107] また、スライス画像データ SD〜SDの各画像平面は、上述したように、一辺が 40c
1 N
mの正方形であり、 1mmピッチにて平行に配列されている。したがって、画像構成部 16cは、このことに基づき、位置ベクトル Ο'Ρ ', O'P ', O'P ', O'P 'の各方向成分を
0 1 2 3
演算できる。制御部 16は、画像構成部 16cが演算出力した位置ベクトル Ο'Ρ ', O'P
0
', O'P ', O'P 'の各方向成分を取得する。
1 2 3
[0108] つぎに、上述したステップ S 102の標本点設定処理について詳細に説明する。図 8 は、制御部 16が上述した標本点設定処理を達成するまでの処理工程を例示するフ ローチャートである。術者は、上述したように、マーカコイル 8およびプレート 9を被検 者体表に接触させながらあるいはプローブ 2を操作するとともに表示装置 12の光学 画像を確認しながら、入力装置 11を用いて標本点設定指示情報を入力する。この標 本設定指示情報の内容は、単に「標本点を設定する」という指示情報だけでなぐ標 本点を設定するために、「位置データ算出装置 6からマーカコイル 8およびプレート 9 の各位置データを同時に取得する」の力、もしくは「位置データ算出装置 6から送信コ ィル 7およびプレート 9の各位置データを同時に取得する」のかという位置データの取 得元に対する指示情報をも含む。
[0109] 図 8において、術者が、被検者の骨盤右端近傍の体表および剣状突起近傍の体 表にマーカコイル 8およびプレート 9をそれぞれ接触させた状態において、入力装置 11を用い、上述した光学画像の表示装置 12への表示出力を指示する指示情報 (光 学画像表示指示情報)の入力操作を行なわずに標本点設定指示情報の入力操作を 行った場合、制御部 16は、光学画像表示指示情報を検知せずに (ステップ S301, No)、この標本点設定指示情報を検知し (ステップ S304, Yes)、タイマ 16bから現 在の時刻を検出する。これと同時に、画像構成部 16cは、制御部 16の制御のもと、 位置データ算出装置 6から入力された位置データを用い、この標本点設定指示情報 に基づく標本点を直交座標系 xyz上に設定する (ステップ S305)。制御部 16は、画 像構成部 16cが設定した標本点の位置データすなわち直交座標系 xyz上の各座標 データを記憶部 16aに記憶する。
[0110] たとえば、この標本点設定指示情報の内容が「標本点を設定する」かつ「位置デー タ算出装置 6からマーカコイル 8およびプレート 9の各位置データを同時に取得する」 という指示情報であった場合、制御部 16は、タイマ 16bから時刻 tlを検出するととも に、プレート 9からの交番磁場に基づく位置データ（プレート位置データ）とマーカコィ ル 8からの交番磁場に基づく位置データ（マーカコイル位置データ）とを位置データ 算出装置 6から受信する。なお、このプレート位置データは、上述した基準位置 L (tl )の位置ベクトル OL (tl)の座標データ、および回転行列 T(tl)である。また、このマ 一力コイル位置データは、上述した位置 M (tl)の位置ベクトル OM (tl)の座標デー タである。
[0111] 画像構成部 16cは、制御部 16の制御のもと、この時刻 tlにおけるプレート位置デ ータに基づく座標データを直交座標系 xyz上の標本点 Pの座標データとして設定し
0
、この時刻 tlにおけるマーカコイル位置データに基づく座標データを直交座標系 xy z上の標本点 Pの座標データとして設定する。これによつて、画像構成部 16cは、被
1
検者の剣状突起に対応する標本点 P
0と骨盤右端に対応する標本点 P
1とを直交座標 系 xyz上に設定したことになる。
[0112] なお、この時刻 tlの標本点 Pの座標データは、位置ベクトル OL (tl)の座標データ
0
に基づくので、直交座標系 xvzにおける時刻 tlの標本点 Pの位置ベクトル OP (tl)
0 0 は、位置ベクトル OL (tl)と同一と考えられ、次式（15)によって表される。
OP (tl) =x (tl) i+y (tl)j + z (tl) k
0 P0 P0 P0
= OL (tl) "- (15)
なお、この式（15)において、方向成分 x (tl) , y (tl) , z (tl)は、それぞれ位置
P0 P0 P0
ベクトル OP (tl)の x軸方向、 y軸方向、および z軸方向の座標成分である。また、こ
0
の位置ベクトル OP (tl)および上述した回転行列 T(tl)は、上述したステップ S107
0
の補正処理にお!/、て用いられる。 [0113] また、この時刻 tlの標本点 Pの座標データは、位置ベクトル OM (tl)の座標デー
1
タに基づくので、直交座標系 xvzにおける時刻 tlの標本点 Pの位置ベクトル OP (tl
1 1
)は、位置ベクトル OM (tl)と同一と考えられ、次式（16)によって表される。
OP (tl) =x (tl) i+y (tl)j + z (tl) k
1 PI PI PI
= OM (tl) "- (16)
なお、この式（16)において、方向成分 x (tl) , y (tl) , z (tl)は、それぞれ位置
PI PI PI
ベクトル OP (tl)の x軸方向、 y軸方向、および z軸方向の座標成分である。
1
[0114] その後、術者が標本点設定処理を終了指示する標本点終了指示情報の入力操作 を行わない場合、制御部 16は、標本点終了指示情報を検知せずに (ステップ S306 , No)、上述したステップ S301以降の処理工程を繰り返す。この状態において、術 者が光学画像表示指示情報の入力操作を行った場合、制御部 16は、この入力され た光学画像表示指示情報を検知し (ステップ S301, Yes)、この検知した光学画像 表示指示情報に基づき、光学観察装置 17からの光学画像データを取得する (ステツ プ S302)。
[0115] つぎに、制御部 16は、この取得した光学画像データを表示回路 15に出力する。表 示回路 15は、上述したように、制御部 16の制御のもと、制御部 16から入力された光 学画像データに対応する画像信号を変換出力する。表示装置 12は、この表示回路 15から受信した画像信号をもとに、この光学画像データに対応する光学画像を表示 出力する。すなわち、制御部 16は、この光学画像データを表示回路 15に送信するこ とによって、表示装置 12に対し、この光学画像を表示出力させる (ステップ S303)。
[0116] その後、術者が、表示装置 12の光学画像を確認しながら被検者体内の解剖学的 に特徴的な部位に挿入部 3先端すなわち超音波振動子 3a、送信コイル 7、および光 学観察窓 3cの近傍を当接させた状態において、入力装置 11を用いて標本点設定 指示情報の入力操作を行った場合、制御部 16は、この標本点設定指示情報を検知 し (ステップ S304, Yes)、タイマ 16bから現在の時刻を検出する。これと同時に、画 像構成部 16cは、制御部 16の制御のもと、位置データ算出装置 6から入力された位 置データを用い、この標本点設定指示情報に基づく標本点を直交座標系 xyz上に 設定する (ステップ S305)。制御部 16は、この設定した標本点の位置データすなわ ち直交座標系 xyz上の各座標データを記憶部 16aに記憶する。なお、制御部 16は、 入力装置 11から入力される標本点終了指示情報を検知するまで、上述したステップ S301〜S306の処理工程を繰り返す。
[0117] たとえば、この標本点設定指示情報の内容が「標本点を設定する」かつ「位置デー タ算出装置 6から送信コイル 7およびプレート 9の各位置データを同時に取得する」と いう指示情報であった場合、制御部 16は、タイマ 16bから時刻 t2を検出するとともに 、送信コイル 7からの交番磁場に基づく位置データ (送信コイル位置データ）とプレー ト位置データとを位置データ算出装置 6から受信する。この時刻 t2において、挿入部 3先端が被検者体内の幽門近傍に当接していれば、制御部 16は、この幽門に対応 する座標データとしてこの送信コイル位置データを受信する。なお、この時刻 t2の送 信コイル位置データは、上述した中心位置 C (t2)の位置ベクトル OC (t2)の座標デ ータ、方向ベクトル V(t2)の座標データ、および方向ベクトル V (t2)の座標データ
12
である。また、この時刻 t2のプレート位置データは、上述した基準位置 L (t2)の位置 ベクトル OL (t2)の座標データおよび回転行列 T (t2)である。
[0118] 画像構成部 16cは、制御部 16の制御のもと、この時刻 t2における送信コイル位置 データに基づく座標データを直交座標系 xyz上の標本点 Pの座標データとして設定
2
する。これによつて、画像構成部 16cは、被検者の幽門に対応する標本点 Pを直交
2 座標系 xyz上に設定したことになる。これと同時に、画像構成部 16cは、この時刻 t2 のプレート位置データに基づき、時刻 t2における標本点 Pの位置ベクトル OP (t2)
0 0 を取得する。この位置ベクトル OP (t2)は、次式（17)によって表される。
0
OP (t2) =x (t2) i+y (t2)j + z (t2) k
0 P0 P0 P0
= OL (t2) - -- (17)
なお、この式（17)において、方向成分 X (t2) , y (t2) , ζ (t2)は、それぞれ位置
P0 P0 P0
ベクトル OP (t2)の X軸方向、 y軸方向、および z軸方向の座標成分である。また、こ
0
の位置ベクトル OP (t2)および上述した回転行列 T(t2)は、上述したステップ S 107
0
の補正処理にぉ 、て用いられる。
[0119] また、この時刻 t2の標本点 Pの座標データは、位置ベクトル OC (t2)の座標データ
2
に基づくので、直交座標系 xyzにおける時刻 t2の標本点 Pの位置ベクトル OP (t2) は、位置ベクトル OC (t2)と同一と考えられ、次式（18)によって表される。
OP (t2) =x (t2) i+y (t2)j + z (t2) k
2 P2 P2 P2
= OC (t2) - -- (18)
なお、この式（18)において、方向成分 X (t2) , y (t2) , ζ (t2)は、それぞれ位置
P2 P2 P2
ベクトル OP (t2)の X軸方向、 y軸方向、および z軸方向の座標成分である。
2
[0120] さらに、制御部 16は、タイマ 16bから時刻 t3を検出するとともに、時刻 t3における送 信コイル位置データとプレート位置データとを位置データ算出装置 6から受信する。 この時刻 t3において、挿入部 3先端が被検者体内の十二指腸乳頭近傍に当接して いれば、制御部 16は、この十二指腸乳頭に対応する座標データとしてこの時刻 t3の 送信コイル位置データを受信する。なお、この時刻 t3の送信コイル位置データは、上 述した中心位置 C (t3)の位置ベクトル OC (t3)の座標データ、方向ベクトル V(t3)の 座標データ、および方向ベクトル V (t3)の座標データである。また、この時刻 t3の
12
プレート位置データは、上述した基準位置 L (t3)の位置ベクトル OL (t3)の座標デー タおよび回転行列 T (t3)である。
[0121] 画像構成部 16cは、制御部 16の制御のもと、この時刻 t3における送信コイル位置 データに基づく座標データを直交座標系 xyz上の標本点 Pの座標データとして設定
3
する。これによつて、画像構成部 16cは、被検者の十二指腸乳頭に対応する標本点 Pを直交座標系 xyz上に設定したことになる。これと同時に、画像構成部 16cは、こ
3
の時刻 t3のプレート位置データに基づき、時刻 t3における標本点 Pの位置ベクトル
0
OP (t3)を取得する。この位置ベクトル OP (t3)は、次式（19)によって表される。
0 0
OP (t3) =x (t3) i+y (t3)j + z (t3) k
0 P0 P0 P0
= OL (t3) - -- (19)
なお、この式（19)において、方向成分 x (t3) , y (t3) , z (t3)は、それぞれ位置
P0 P0 P0
ベクトル OP (t3)の x軸方向、 y軸方向、および z軸方向の座標成分である。また、こ
0
の位置ベクトル OP (t3)および上述した回転行列 T(t3)は、上述したステップ S 107
0
の補正処理にぉ 、て用いられる。
[0122] また、この時刻 t3の標本点 Pの座標データは、位置ベクトル OC (t3)の座標データ
3
に基づくので、直交座標系 xyzにおける時刻 t3の標本点 Pの位置ベクトル OP (t3) は、位置ベクトル OC (t3)と同一と考えられ、次式（20)によって表される。
OP (t3) =x (t3) i+y (t3)j + z (t3) k
3 P3 P3 P3
= OC (t3) - -- (20)
なお、この式（20)において、方向成分 X (t3) , y (t3) , ζ (t3)は、それぞれ位置
P3 P3 P3
ベクトル OP (t3)の X軸方向、 y軸方向、および z軸方向の座標成分である。
3
[0123] 一方、上述したステップ S305の処理工程が行われた後、術者が入力装置 11を用 いて標本点終了指示情報の入力操作を行った場合、制御部 16は、この標本点終了 指示情報を検知し (ステップ S306, Yes)、上述したステップ S 103以降の処理工程 を行う。また、制御部 16は、上述したステップ S304において標本点設定指示情報を 検知しなかった場合 (ステップ S304, No)、上述したステップ S306以降の処理工程 を繰り返す。
[0124] つぎに、上述したステップ S 108のガイド画像作成処理について詳細に説明する。
図 9は、制御部 16が上述したガイド画像作成処理を達成するまでの処理工程を例示 するフローチャートである。図 10は、画像構成部 16cが時刻 tsの 2次元画像データの 2次元画像平面と標本点 P〜Pによる 3軸座標系 P P Pとの関係を説明する模式図
0 3 1 2 3
である。図 11は、画像構成部 16cが時刻 tsのガイド画像平面およびこのガイド画像 平面の位置データを算出する動作を説明する模式図である。
[0125] 図 9〜： L 1において、制御部 16が上述したステップ S107を行った後、画像構成部 1 6cは、上述したステップ S101にて設定した 4つの特徴点 P '〜Ρ 'と、このステップ S1
0 3
07にて補正し更新した 4つの標本点 Ρ〜Ρと、上述したステップ S 106において時刻
0 3
tsの 2次元画像データと応付けた位置データとをもとに、時刻 tsのガイド画像データ のガイド画像平面 GFを算出する (ステップ S401)。
[0126] ここで、ステップ S401によるガイド画像平面 GFは、概念として、次のように算出され る。画像構成部 16cは、制御部 16の制御のもと、特徴点 P '〜Ρ 'を用いて上述した 3
0 3
軸座標系 P 'P 'P 'を直交座標系 x'y'z'上に設定し、かつ標本点 P〜Pを用いて上
1 2 3 0 3
述した 3軸座標系 P P Pを直交座標系 xyz上に設定する。このとき、画像構成部 16c
1 2 3
は、特徴点 P '〜Ρ 'のうちのいずれか 1点を原点とする 3軸座標系を設定すればよい
0 3
力 図 11に示すように、上述したプレート位置データに基づく標本点 Ρに解剖学的 に対応する特徴点 P 'を 3軸座標系 P 'P 'P 'の原点とすることが望ましい。そのため、
0 1 2 3
以下では、そのように説明する。また、画像構成部 16cは、この 3軸座標系 P 'P 'P '
1 2 3 に対してその軸方向が解剖学的に対応する 3軸座標系 P P Pを設定する。すなわち
1 2 3
、画像構成部 16cは、図 10に示すように、上述したプレート位置データに基づく標本 点 Pを 3軸座標系 P P Pの原点とすることが望ましい。そのため、以下では、そのよう
0 1 2 3
に説明する。
[0127] 画像構成部 16cは、概念上、次のようにガイド画像平面 GFを求める。第 1に、上述 したステップ S106にて 2次元画像データと対応付けた位置データを用いて、図 10に 示した 2次元画像平面 UF上の任意点 R (ts)の 3軸座標系 P P P上での座標を求め
1 2 3
る。この座標を求めることによって、画像構成部 16cは、 2次元画像平面 UFと 3軸座 標系 P P Pとの位置および配向の関係を算出したことになる。
1 2 3
[0128] 第 2に、上記座標によって表される任意点 R(ts)に対応する図 11に示した 3軸座標 系 P 'P 'P '上での対応点 R' (ts)を求め、対応点 R' (ts)の集合をガイド画像 GFとす
1 2 3
る。こうすることによって、画像構成部 16cは、 3軸座標系 P 'P 'P 'との位置および配
1 2 3
向の関係が 2次元画像平面 UFと 3軸座標系 P P Pとの位置および配向の関係と同
1 2 3
じになるガイド画像平面 GFを算出したことになる。
[0129] このようにガイド画像平面 GFを求めると、 2次元画像平面 UFとガイド画像平面 GF とが解剖学的に一致する。何故なら、人体の解剖学的な構造または臓器の形状は、 体格差はあるものの、腹部については性差がなくおおよそ同じと考えられ、実際の被 検者の体表または体内管腔表面上から取られた 4つの標本点 P , P , P , Pは、そ
0 1 2 3 れぞれ、スライス画像データ群に設定された 4つの特徴点 P ', P ', P ', P 'と解剖学
0 1 2 3 的に対応して 、る力 である。
[0130] ただし、実際上は、画像構成部 16cは、つぎのようにガイド画像平面 GFを求める。
ガイド画像平面 GFを算出するということは、結局、ガイド画像平面 GFの中心位置 C' (ts)の位置ベクトル O'C' (ts)、ガイド画像平面 GFの法線方向を示す方向ベクトル V ' (ts)、およびガイド画像平面 GFの 12時方向を示す方向ベクトル V ' (ts)の 3つを直
12
交座標系 x'y'z'上にて算出することに他ならない。何故なら、この 3つを算出すること ができれば、ガイド画像平面 GFは、直交座標系 x'y'z'上にて一意的に定まるからで ある。このとき、 2次元画像平面 UFとガイド画像平面 GFとを解剖学的に一致させるた めに、画像構成部 16cは、この 3つをそれぞれ 2次元画像平面 UFの中心位置 C (ts) の位置ベクトル OC (ts)、 2次元画像平面 UFの法線方向を示す方向ベクトル V (ts) 、および 2次元画像平面 UFの 12時方向を示す方向ベクトル V (ts)の 3つと解剖学
12
的に一致させるように算出する。したがって、画像構成部 16cは、 2次元画像平面 UF 上の全ての任意点 R (ts)につ 、て上述したように対応点 R' (ts)を求めることは実際 にはない。
[0131] したがって、以下では、まず、ガイド画像平面 GFを求める方法の概念を説明し、つ ぎに、ガイド画像平面 GFを求める方法の実際としてガイド画像平面 GFの中心位置、 法線方向、および 12時方向の算出方法を説明する。なお、このガイド画像平面 GF を求める方法の概念では複数の数式を述べるが、これらは、全体の概念を説明し、こ のガイド画像平面 GFを求める方法の実際に用いられる数式の背景を説明するため の数式である。実際には、画像構成部 16cは、このガイド画像平面 GFを求める方法 の実際にて述べる数式に基づき、ガイド画像平面 GFを求めるための数値演算処理 を行う。
[0132] 以下に、上述したガイド画像平面 GFを求める方法の概念について詳細に説明する 。なお、ここでは、主に 2次元画像平面 UF上の任意点 R (ts)とガイド画像平面 GF上 の対応点 R' (ts)とを解剖学的に対応させる方法について説明する。
[0133] プレート 9と任意点 R (ts)との間の位置ベクトル P R (ts)は、適当な実数 a, b, cを方
0
向成分にとって次式（21)のとおり 3軸座標系 P P P上にて表現することができる。
1 2 3
P R(ts) =aP P (ts) + bP P (ts) + cP P (ts)
0 0 1 0 2 0 3
ー(21)
[0134] 一方、特徴点 P ', P ', P ', P 'は、それぞれ標本点 P , P , P , Pに解剖学的に同
0 1 2 3 0 1 2 3
じ位置として対応付けられている。さらに、人体の解剖学的な構造または臓器の形状 は、体格の差はあるものの、腹部については性差がなくおおよそ同じと考えられる。 そのため、任意点 R(ts)が 3軸座標系 P P Pに対して特定の位置にあるとすると、 3
1 2 3
軸座標系 P 'P 'P 'に対して同様の位置にある対応点 R' (ts)は、任意点 R(ts)と解剖
1 2 3
学的に同じ臓器もしくは同じ組織上の点に相当すると考えることができる。そのため、 式（21)の実数 a, b, cを 3軸座標系 P P Pの方向成分にとって、次式（22)のように
1 2 3
式 (21)と同様に表現できる直交座標系 x'y'z'上にある点こそが、任意点 R(ts)の解 剖学的な対応点 R' (ts)と言える。
P 'R'(ts) = aP 'P '(ts) + bP 'P '(ts) + cP 'P '(ts)
0 0 1 0 2 0 3
-(22)
[0135] ここで、任意点 R(ts)の位置ベクトル OR (ts)の直交座標系 xyzの各方向成分を x (
R
ts) , y (ts) , ζ (ts)とそれぞれ定義し、対応点 R' (ts)の位置ベクトル O'R' (ts)の直
R R
交座標系 x'y'z'の各方向成分を X '(ts), y '(ts), z '(ts)と定義すると、次式（23),
R R R
(24)がそれぞれ成り立つ。
OR(ts) =x (ts)i+y (ts)j + z (ts)k ·,·(23)
R R R
0'R'(ts) = x '(ts)i'+y '(ts)j' + z '(ts)k' "-(24)
R R R
また、上述した式（21)に基づき、次式（25)が得られる。
OR(ts) OP (ts) =a(OP (ts)— OP (ts))
0 1 0
+ b(OP (ts)— OP (ts))
2 0
+ c(OP (ts)-OP (ts)) ---(25)
3 0
つぎに、この式（25)と上述した式 (4)〜（10)および式（23)とに基づき、次式（26) が得られる。
[0136] [数 5]
(ts)-Xp0(ts) Xp2(ts)-Xp0(ts) xP3(ts)
ypi(ts)-yP0(ts) yP2(ts)-yP0(ts) yP3(ts)-yP0(ts) b
ZP1 (ts) - Zpo (ts) Zp2 (ts)― Zpo (ts) Zp3 (ts) - ZpQ (ts)
Figure imgf000046_0001
八
■■■(26)
[0137] なお、これ以降に示す式を簡略ィ匕するために、ここでは、 3行 3列の行列 Q (ts)を次 式（27)のように定義する。
[0138] [数 6] xP1(ts)-xP0(ts) Xp2(ts)-xP0(tsj Xp3(ts)-xP0(ts) yP1(ts)-yP0(ts) yP2(ts)-yP0(ts) yP3(ts)-yp0(ts) ■(27) Zp,(ts)-zP0(ts) Zp2(ts)— zP0(ts) zP3(ts)-zP0(ts) [0139] これによつて、上述した式（26)は、次式（28)に置き換えられる c
[0140] [数 7]
■(28)
Figure imgf000047_0001
[0141] したがって、次式（29)によって表される実数 a, b, cが得られる。
[0142] [数 8]
■(29)
Figure imgf000047_0002
[0143] 一方、上述した式（22)に基づき、次式（30)が得られる。
O'R'(ts)— O'P ' = a(0'P '-Ο'Ρ，）+b(0'P ' Ο'Ρ ')
0 1 0 2 0
+ c(0'P '-Ο'Ρ ') ---(30)
3 0
つぎに、上述した式（26)の導出と同様に、この式（30)と上述した式（11) （14)お よび式（24)とに基づき、次式（31)が得られる。
[0144] [数 9]
V 、
XP1 ― XP0 ΛΡ2一 ΛΡ0 XP3 ― XP0 a yPi -yP0 yp2 -yP0 yP3 -yP0 b ■(31)
ZP1一 ZP0 ZP2一 ZP0 Zp3 - ZpQ
Figure imgf000047_0003
八 ノ
[0145] なお、これ以降に示す式を簡略ィ匕するために、ここでは、 3行 3列の行列 Q'を次式 (
32)のように定義する。
[0146] [数 10] ί ' ' ' ' ' 'ヽ
― XP0 XP2 一 XP0 XP3 ― XP0
Q'= y?i - yPo yP2 -yP0 yP3 -yP0
ZP1 一 ZP0 P2 — ZP0 ZP3 — ZP0
[0147] これによつて、上述した式（31)は、次式（33)に置き換えられる。
[0148] [数 11]
Figure imgf000048_0001
[0149] したがって、上述した式（29) , (33)に基づき、次式（34)が得られ、これによつて、 次式（35)が得られる。なお、この式（34) , (35)の行列 Q(ts)— 1は、行列 Q (ts)の逆 行列である。
[0150] [数 12]
Figure imgf000048_0002
[0151] [数 13]
Figure imgf000048_0003
[0152] このようにして、解析的に式（24), (35)に基づき、直交座標系 xyz上にある 2次元 画像平面 UF上の任意点 R(ts)の解剖学的な対応点 R' (ts)の位置ベクトル O'R' (ts )とその直交座標系 xV'z'の各方向成分 x '(ts), y '(ts), z '(ts)とが求められた。 つまり、 2次元画像平面 UF上の任意点 R(ts)に対し、上述したステップ S 101におい て制御部 16が画像記憶部 14に記憶した特徴点の座標データと、上述したステップ S 102において制御部 16が記憶部 16aに記憶した標本点の座標データと、上述したス テツプ S 106にお 、て制御部 16が時刻 tsの 2次元画像データに対応付けるとともに 記憶部 16aに記憶した位置データとを用い、式（24) , (35)によって計算できる対応 点 R' (ts)の集合こそがガイド画像平面 GFなのである。
[0153] つぎに、上述したガイド画像平面 GFを求める方法の実際について詳細に説明する 。以下では主に、画像構成部 16cが実際にガイド画像平面 GFを求めるために、時刻 tsの 2次元画像データに対応付けた位置データすなわち 2次元画像平面 UFの中心 位置 C (ts)の位置ベクトル OC (ts)と、方向ベクトル V(ts)と、方向ベクトル V (ts)と
12 を用いて、上述したガイド画像平面 GFの中心位置 C' (ts)と配向とを決定する位置デ ータすなわち直交座標系 x'y'z'における位置ベクトル O'C' (ts)と、方向ベクトル V' (t s)と、方向ベクトル V ' (ts)とを算出する方法について説明する。
12
[0154] 第 1に、位置ベクトル O'C' (ts)を求める方法を説明する。画像構成部 16cは、制御 部 16の制御のもと、上述した 3軸座標系 P P P , P 'P 'P 'と位置ベクトル OC (ts)と
1 2 3 1 2 3
を用い、上述した式（35)とほぼ同様の座標変換処理を行って、位置ベクトル O'C' (t s)を算出する。なお、中心位置 C (ts)は直交座標系 xyz上に設定されるので、位置 ベクトル OC (ts)は、次式（36)によって表される。また、中心位置 C' (ts)は直交座標 系 x'y'z'上に設定されるので、位置ベクトル O'C' (ts)は、次式（37)によって表される
OC(ts)=x (ts)i+y (ts)j + z (ts)k · '· (36)
c c c
0'C'(ts)=x '(ts)i' +y '(ts)j' + z '(ts)k' "' (37)
c c c
ただし、この式（36)において、方向成分 x (ts) , y (ts) , ζ (ts)は、それぞれ位置
C C C
ベクトル OC (ts)の X軸方向、 y軸方向、および z軸方向の座標成分である。また、式（
37)において、方向成分 X ' (ts) , y ' (ts) , ζ ' (ts)は、それぞれ位置ベクトル O'C' (t c c c
s)の x'軸方向、 y'軸方向、および z'軸方向の座標成分である。
[0155] 上述した式（35)において任意点 R(ts)を中心位置 C (ts)に置き換えかつ対応点 R ' (ts)を中心位置 C' (ts)に置き換えることによって、次式（38)が得られ、画像構成部 16cは、この式（38)に基づき、ガイド画像平面 GFの中心位置 C' (ts)の座標データ を求めることができる。これによつて、画像構成部 16cは、図 10, 11に示すように、中 心位置 C(ts) , C'(ts)を 2次元画像平面 UFおよびガイド画像平面 GFにそれぞれ設 定し、 2次元画像平面 UFおよびガイド画像平面 GFが互いに解剖学的に対応するよ うに、各中心位置を決定する。
[0156] [数 14]
,(38)
Figure imgf000050_0001
[0157] 第 2に、ガイド画像平面 GFの 12時方向を示す方向ベクトル V ' (ts)を求める方法
12
を説明する。任意点 R(ts)をもとに 2次元画像平面 UF上の中心位置 C (ts)から 12時 方向について単位距離の位置にある単位点 R (ts)を想定し、この想定した単位点 R
12
(ts)を用いてガイド画像平面 GFの方向ベクトル V '(ts)が導出される。なお、単位
12 12
点 R (ts)は直交座標系 xyz上に設定されるので、この位置ベクトル OR (ts)は、次式
12 12
(39)によって表される。
OR (ts)=x (ts)i+v (ts)j + z (ts)k · '· (39)
12 R12 R12 R12
ただし、この式（39)において、方向成分 X (ts), y (ts), z (ts)は、それぞ; ^立置
R12 R12 R12
ベクトル OR (ts)の X軸方向、 y軸方向、および z軸方向の座標成分である。
12
[0158] また、単位点 R (ts)に解剖学的に対応する単位点 R '(ts)は、直交座標系 x'y'z'上
12 12
に設定されるガイド画像平面 GF上の点であるので、この位置ベクトル O'R '(ts)は、
12 次式 (40)によって表される。
O'R '(ts) = x '(ts)i' +y '(ts)j' + z '(ts)k'
12 R12 R12 R12
ー(40)
ただし、この式 (40)において、方向成分 X '(ts), y '(ts), z ，(ts)は、それぞれ位
R12 R12 R12
置ベクトル O'R '(ts)の x'軸方向、 y'軸方向、および z'軸方向の座標成分である。
12
[0159] 上述した式（35)において任意点 R(ts)を単位点 R (ts)に置き換えかつ対応点 R' ( ts)を単位点 R '(ts)に置き換えることによって、次式 (41)が得られ、この式 (40) , (4
12
1)に基づき、ガイド画像平面 GFの単位点 R '(ts)の座標データが求められる。
12
[数 15]
Figure imgf000051_0001
[0161] ここで、単位点 R (ts)の位置ベクトル OR (ts)は、位置ベクトル OC (ts)と方向べクト
12 12
ル V (ts)とを用いて次式 (42)によって表される。
12
OR (ts) = OC(ts)+V (ts) - ·* (42)
12 12
すなわち、方向ベクトル V (ts)は、位置ベクトル OR (ts), OC (ts)を用いて次式 (4
12 12
3)によって表される。
V (ts) = OR (ts)-OC(ts) - -- (43)
12 12
[0162] したがって、画像構成部 16cは、この式 (43)から、位置ベクトル O'C'(ts)と位置べク トル O'R '(ts)との差を単位長に規格ィ匕することによって、方向ベクトル V '(ts)を求
12 12 めることができる。この方向ベクトル V '(ts)は、次式 (44)によって表される。
12
V ，(ts)= (0，R ，(ts)— O'C'(ts))/ ，(ts)— O'C
2 12 I O'R '(ts) |
1 12
ー(44)
これによつて、画像構成部 16cは、図 10, 11に示すように、方向ベクトル V (ts) , V
12 12
'(ts)を 2次元画像平面 UFおよびガイド画像平面 GFにそれぞれ設定し、 2次元画像 平面 UFおよびガイド画像平面 GFが互 ヽに解剖学的に対応するように、各 12時方 向を決定する。
[0163] ここで、画像構成部 16cが算出する方向ベクトル V '(ts)の座標データすなわち直
12
交座標系 x'y'z'の各軸方向の方向成分 XV '(ts), yv '(ts), zv '(ts)について詳述
12 12 12
する。方向ベクトル V '(ts)は、上述したように、位置ベクトル O'R '(ts)と位置べクト
12 12
ル O'C'(ts)との差をもとにして算出される。この位置ベクトルの差による座標データは 、上述した式（38) , (41)に基づき、次式 (45)によって表される。 [0164] [数 16]
Figure imgf000052_0001
[0165] また、この式（45)の右辺は、上述した式（43)に基づき、方向べクトノレ V (ts)の座
12 標データすなわち直交座標系 xyzの各軸方向の方向成分 XV (ts), yv (ts), zv (ts)
12 12 12 を用いて表すことができ、これによつて、次式 (47)が得られる。なお、方向ベクトル V (ts)は、この方向成分 XV (ts), yv (ts), zv (ts)を用いて次式 (46)によって表され
12 12 12 12
る。
V (ts) = xv (ts)i+yv (ts)j + zv (ts)k
12 12 12 12
ー（46)
[0166] [数 17]
Figure imgf000052_0002
[0167] 方向ベクトル V '(ts)は、上述した位置ベクトル O'R '(ts)と位置ベクトル O'C'(ts)と
12 12
の差を単位長に規格ィ匕して算出されるので、この式 (47)の右辺を単位長に規格ィ匕 すること〖こよって求められる。このとき、次式 (49)が得られる。なお、方向ベクトル V
12
'(ts)は、この方向成分 XV '(ts), yv '(ts), zv '(ts)を用いて次式 (48)によって表さ
12 12 12
れる。
V '(ts) = xv ，(ts)i，+ ，(ts)j， + zv ，(ts)k，
12 12 12 12
ー(48)
[0168] [数 18]
Figure imgf000053_0001
[0169] 第 3に、ガイド画像平面 GFの法線方向を示す方向ベクトル V' (ts)を求める方法を 説明する。画像構成部 16cは、 2次元画像平面 UFに解剖学的に対応するガイド画 像平面 GF上の任意点による全ベクトルと直交するベクトルを法線ベクトルすなわち 方向ベクトル V'(ts)として算出する。 2次元画像平面 UF上に 2つの任意点 R (ts), R
1 2
(ts)を想定し、任意点 R (ts), R (ts)にそれぞれ解剖学的に対応するガイド画像平面
1 2
上の対応点 R '(ts), R '(ts)を想定する。この任意点 R (ts), R (ts)の各位置ベクトル
1 2 1 2
OR (ts), OR (ts)は、それぞれ次式（50)， （51)によって表される。
1 2
OR (ts) = x (ts)i+v (ts)j + z (ts)k · ' · (50)
1 Rl Rl Rl
OR (ts) = x (ts)i+y (ts)j + z (ts)k - · * (51)
2 R2 R2 2
ただし、この式（50)において、方向成分 x (ts), y (ts), z (ts)は、それぞ; ^立置べ
Rl Rl R1
タトル OR (ts)の X軸方向、 y軸方向、および z軸方向の座標成分である。また、この式
1
(51)において、方向成分 X (ts), y (ts), z (ts)は、それぞ 立置ベクトル OR (ts)
2 2 R2 2 の χ軸方向、 y軸方向、および z軸方向の座標成分である。
[0170] また、この対応点 R '(ts), R '(ts)の各位置ベクトル O'R '(ts), O'R '(ts)は、それぞ
1 2 1 2
れ次式（52) , (53)によって表される。
0'R '(ts) = x '(ts)i' +y '(ts)j' + z '(ts)k'
1 Rl Rl Rl
- (52)
O'R '(ts) = x '(ts)i' +y '(ts)j' + z '(ts)k'
2 2 2 2
•••(53)
ただし、この式（52)において、方向成分 x '(ts), y '(ts), z '(ts)は、それぞれ位置
Rl Rl Rl
ベクトル O'R '(ts)の x'軸方向、 y'軸方向、および z'軸方向の座標成分である。また、
1
この式（53)において、方向成分 X '(ts), y '(ts), z '(ts)は、それぞ 立置ベクトル O'R '(ts)の X'軸方向、 y'軸方向、および Z'軸方向の座標成分である。 さらに、上述した式（35)に基づき、位置ベクトル OR (ts), OR (ts)の各座標データ
1 2
と位置ベクトル O'R '(ts), O'R '(ts)の各座標データを用い、次式（54) , (55)が得ら れる。
[0172] [数 19]
Figure imgf000054_0001
[0173] [数 20]
Figure imgf000054_0002
[0174] その後、この式（54)と式（55)とを両辺差し引くことによって、次式（56)が得られる
[0175] [数 21]
■(56)
Figure imgf000054_0003
[0176] また、この式（56)の両辺に左から Q (ts) Q' を乗算することによって、次式（57)が 得られる。
[0177] [数 22]
Figure imgf000055_0001
[0178] なお、 2次元画像平面 UFの方向ベクトル V (ts)は、直交座標系 xyzの各軸方向の 方向成分 xv(ts), yv(ts), zv(ts)を用いて次式（58)によって表される。
V(ts) = xv(ts)i + y v(ts)j + zv(ts)k …（58)
この方向ベクトル V (ts)は、時刻 tsの 2次元画像データすなわち 2次元画像平面 UF の法線ベクトルであるので、任意点 R (ts), R (ts)を結ぶベクトル R R (ts)と直交する
1 2 2 1
。このことに基づき、次式（59)が得られる。なお、この式（59)において、内積 V(ts) · R R (ts)は、方向ベクトル V(ts)とベクトル R R (ts)との内積である。
2 1 2 1
[0179] [数 23]
0 = Vfts) - R^R^ts) = (xvits) w(ts)
Figure imgf000055_0002
■(59)
[0180] さらに、式（57) , (59)に基づき、次式（60)が得られる。
[0181] [数 24]
xvits) yvits) zvits))Qfts)Q' = 0 ■(60)
Figure imgf000055_0003
ここで、ガイド画像平面 GFの方向ベクトル V' (ts)は、直交座標系 xV'z'の各軸方 向の方向成分 xv'(ts), yv'(ts), zv'(ts)を用いて次式（61)によって表される。
V'(ts) = xv'(ts)i' +yv'(ts)j' + zv'(ts)k' - -- (61)
さらに、この方向ベクトル V' (ts)の方向成分 xv'(ts), yv'(ts), zv'(ts)は、次式（62)を 満足するように定義される。
[0183] [数 25]
(xv'(ts) yv'(ts) zv'(ts)) = (xv(ts) w(ts) zv(ts))Q(ts)Q ■(62)
[0184] この定義において、次式（63)が上述した式（60)と式（62)とに基づき得られ、すな わち次式 (64)が得られる。
[0185] [数 26]
(xv'(ts) yv'(ts) = 0 ■(63)
Figure imgf000056_0001
Figure imgf000056_0002
V'(ts)-R 'R '(ts) = 0 "- (64)
2 1
なお、この式（64)において、ベクトル R 'R '(ts)は、ガイド画像平面 GF上の対応点 R
2 1 1
'(ts), R '(ts)を結ぶベクトルである。
2
[0186] ここで、この式（64)は、方向ベクトル V'(ts)がガイド画像平面 GF上の任意点を結ぶ 全ベクトルに直交することを意味する。すなわち、上述した式 (61) , (62)に基づく方 向ベクトル V'(ts)は、ガイド画像平面 GFの法線方向を決定する法線ベクトルである。 したがって、画像構成部 16cは、上述した式 (61) , (62)に基づき、ガイド画像平面 G Fの法線方向を決定する方向ベクトル V'(ts)を算出することができる。これによつて、 画像構成部 16cは、図 10, 11に示すように、方向ベクトル V(ts) , V'(ts)を 2次元画 像平面 UFおよびガイド画像平面 GFにそれぞれ設定し、 2次元画像平面 UFおよび ガイド画像平面 GFが互いに解剖学的に対応するように、各法線方向を決定する。
[0187] このようにして、画像構成部 16cは、制御部 16の制御のもと、上述したステップ S40 1にて算出したガイド画像平面 GFの配向（中心位置、法線方向、 12時方向）を求め ることができ、これによつて、画像構成部 16cは、 2次元画像平面 UFに解剖学的に対 応する画像平面として、この配向を対応付けたガイド画像平面 GFを設定できる。
[0188] つぎに、制御部 16は、画像構成部 16cがこのガイド画像平面 GFを設定したことをト リガ一として、このガイド画像平面 GFに対応するスライス画像データ群を画像記憶部 14から読み出す (ステップ S402)。具体的には、制御部 16は、上述したステップ S4 01を行って得られたガイド画像平面 GFの位置および配向に関する位置データをも とに、このスライス画像データ群の各スライス画像データとガイド画像平面 GFとの交 線上の画像データを読み出す。画像構成部 16cは、この読み出した交線上のスライ ス画像データ群に対して補間処理または座標変換処理等を行って、画像記憶部 14 のスライス画像データ群をガイド画像平面 GFにて切断した断面画像に対応するガイ ド画像データを作成する (ステップ S403)。その後、制御部 16は、上述したステップ S 109の処理工程を行う。
[0189] なお、本発明の実施の形態 1では、術者が入力装置 11を用いて入力した特徴点の 座標情報に基づき制御部 16がスライス画像データ上に特徴点を設定していたが、本 発明はこれに限定されるものではなぐ予め検査の関心領域ゃプロトコールが決まつ て!ヽれば、工場出荷時等に数種類の特徴点のセットをデフォルト座標データとしてス ライス画像データ群とともに画像記憶部 14に記憶させておき、入力装置 11から入力 されるこの特徴点の選択に関する指示情報に基づき制御部 16が画像記憶部 14から この特徴点のデフォルト座標データを読み出すとともに特徴点として設定するようにし てもよい。
[0190] また、本発明の実施の形態 1では、特徴点を設定する際に、術者の入力操作によつ て入力装置 11から順次入力された画像表示指示情報に基づき、制御部 16がスライ ス画像データ群の先頭に配列されたスライス画像データカゝら後ろに配列されたスライ ス画像データに向けて順に読み出すとともに表示装置 12の画面上に順次表示出力 させるように構成していた力 本発明はこれに限定されるものではなぐこの画像表示 指示情報に基づきスライス画像データ群を一括して読み出すようにし、表示装置 12 の画面上にこのスライス画像を一覧表示させてもよ 、。
[0191] さらに、本発明の実施の形態 1では、プレート 9またはマーカコイル 8を被検者の剣 状突起や骨盤等の予め決まった複数の位置に取り付け、被検者の体位の変化また は体格の差等に起因する各種位置データの差分を補正した後、このプレート 9を被 検者体表に残してマーカコイル 8を取り外し、この残したプレート 9からの交番磁場に 基づく位置データをもとに、検査中の被検者の体位の変化による標本点の座標デー タの差分を補正するように構成したが、本発明はこれに限定されるものではなぐ検 查直前に麻酔をかける等の方法によって被検者が体位を変化しない状態にしたうえ で、マーカコイル 8からの交番磁場に基づく位置データをもとに標本点を順次設定し てもよいし、その後の標本点の座標データの補正を行わないようにしてもよい。また、 検査中に被検者体表に付着させたプレート 9とマーカコイル 8とから出力される各交 番磁場をもとに、被検者の体位の変化に起因する標本点の座標データを補正するよ うに構成してもよい。力かる構成によれば、このマーカコイル 8を適切な場所に取り付 けることによって、 2次元超音波画像に解剖学的に対応するガイド画像の正確さが増 す。
[0192] また、本発明の実施の形態 1では、ガイド画像平面の位置と配向（中心位置、法線 方向、 12時方向）とを算出することによってガイド画像平面を設定していたが、本発 明はこれに限定されるものではなぐ取得した 2次元画像データの 4隅の座標点を検 出するとともに、上述した式（35)に基づき、この 4隅の座標点に解剖学的にそれぞれ 対応する 4つの座標点を求め、この 4つの座標点をもとにガイド画像平面を算出して もよい。また、ガイド画像の大きさに関する指定情報たとえば予め表示サイズおよび 表示倍率が考慮された数値情報または選択情報等を入力装置 11から指示入力また は選択入力されるようにし、この入力された指定情報に基づきガイド画像平面の大き さを決定するように構成してもよ ヽ。
[0193] さらに、本発明の実施の形態 1では、超音波振動子 3a近傍に送信コイル 7の第 1コ ィルおよび第 2コイルが直交して設けられ、その一方のコイル軸方向を 2次元画像デ ータの法線方向にしかつ他方のコイル軸方向をこの 2次元画像データの 12時方向 にしていたが、本発明はこれに限定されるものではなぐこの第 1コイルおよび第 2コィ ルが超音波振動子 3aに対して固定された位置関係にある状態において、この第 1コ ィルのコイル軸方向または第 2コイルのコイル軸方向が既知の方向に向くように構成 され、 2次元画像データの法線方向と 12時方向とをこの既知の方向に基づく位置関 係から補正して算出するよう構成してもよい。また、この第 1コイルと第 2コイルとが斜 交して設けられ、この第 1コイルおよび第 2コイルのコイル軸方向をもとに 2次元画像 データの法線方向と 12時方向とを補正して算出してもよぐこの構成によって、プロ ーブ 2の挿入部 3を一層細くすることができる。
[0194] また、本発明の実施の形態 1では、プローブ 2に設けられた送信コイル 7からの交番 磁場を受信コイル 10が受信することによって超音波振動子 3aに関する位置データを 検出していたが、本発明はこれに限定されるものではなぐ受信コイル 10がプローブ 2に設けられかつ位置データ算出装置 6に送信コイル 7が設けられ、この送信コイル 7 力もの交番磁場をこのプローブ 2の受信コイル 10が受信することによって超音波振動 子 3aに関する位置データを検出してもよい。また、送信コイル 7からの交番磁場に代 えて超音波振動子 3aと被検者体内との相対位置変化に基づく加速度等をもとに 2次 元画像データの位置と配向とを検出するよう構成してもよい。
[0195] さらに、本発明の実施の形態 1では、直交座標系 xyzの原点 Oを受信コイル 10の所 定位置たとえば交番磁場受信面の中心軸近傍に設定するよう構成したが、本発明は これに限定されるものではなぐ受信コイル 10と相対的な位置関係が変わらない所望 位置に原点 Oを設定するよう構成してもよい。
[0196] また、本発明の実施の形態 1では、被検者以外の凍結人体の断面画像である写真 データをもとに予め作成したスライス画像データを用いてガイド画像を作成して ヽた 力 本発明はこれに限定されるものではなぐ被検者または被検者以外の人体に対 して超音波診断装置 1または同様の超音波診断装置が行ったラジアルスキャンによ つて 2次元画像データ群を取得し、この 2次元画像データ群を臓器別に色分けした 色分け画像データ群を予め画像記憶部 14に記憶させ、上述したスライス画像データ 群に代えてこの色分け画像データ群を用いてもょ 、し、 PET(Positron
Emission Tomography)のような他のモダリティーまたは体外から超音波を照射する方 式の体外式の超音波診断装置を用いて事前に取得した 3次元画像データを予め画 像記憶部 14に記憶し、この 3次元画像データを用いて特徴点を設定しかつガイド画 像を作成してもよい。
[0197] 以上に説明したように、本発明の実施の形態 1では、臓器別に色分けされた解剖学 的な画像データであるスライス画像データ群を予め記憶し、このスライス画像データ 群の直交座標系 xV'z'上に特徴点を設定しかっこの特徴点に解剖学的に対応する 被検者の直交座標系 xyz上に標本点を設定し、また、ラジアルスキャンを行って得ら れた被検者体内の 2次元画像データとその 2次元画像平面の位置および配向に関 する位置データとを取得し、少なくとも 4点設定したうちの 4点の特徴点の各座標デー タと、少なくとも 4点設定した標本点のうち、この 4点の特徴点に解剖学的に対応する 4点の標本点の各座標データと、この 2次元画像平面の位置データとを用いてこの 2 次元画像平面を直交座標系 xyz上から直交座標系 x'y'z'上に変換することによって 、この 2次元画像平面に解剖学的に対応するガイド画像平面を作成し、このガイド画 像平面の位置および配向に関する位置データとこのスライス画像データ群とをもとに 、この 2次元画像データに解剖学的に対応するガイド画像データを作成するようにし 、この 2次元画像データに対応する 2次元超音波画像とこのガイド画像データに対応 するガイド画像とを同一画面上に並べて表示出力するように構成している。したがつ て、臓器等の位置および配向についてこの 2次元超音波画像に解剖学的に正確に 対応しかつ各臓器の略語等のァノテーシヨンの情報と色分けされた臓器画像とを示 すガイド画像をこの 2次元超音波画像とともにリアルタイムで順次表示出力できる超 音波診断装置を実現することができる。
[0198] また、被検者の体位変化等に起因して現時点以前に設定した過去の標本点と現在 の標本点との間に生じる各座標データの差分を補正することによって、この過去の標 本点を現在の標本点に更新するように構成して 、るので、リアルタイムに順次取得す る 2次元画像データに解剖学的に対応するガイド画像データを正確に得ることができ 、 2次元超音波画像とともに表示出力したガイド画像の解剖学的な対応の正確さを向 上できる。
[0199] さらに、上述した 4点の標本点のうち、 2点の各座標データを被検者の体表近傍たと えば被検者の剣状突起および骨盤右端にそれぞれ配置したプレートおよびマーカコ ィルからの各交番磁場に基づきそれぞれ検出し、残り 2点の各座標データを被検者 の体内たとえば被検者の幽門近傍および十二指腸乳頭近傍に順不同に位置させた 送信コイルからの交番磁場に基づき検出するように構成したので、たとえばこの送信 コイルが内蔵されたプローブのみによって被検者の体表側力 4点の標本点の各座 標データを検出するのと比較して、プローブの術前の汚れを清拭する手間を軽減す ることができる。また、この送信コイルが内蔵されたプローブを被検者の体内に挿入し た状態でこの被検者体内の位置に対応する標本点を設定できるよう構成しているの で、このプローブの動きにともなう目的とする関心領域の体内での動きに応じて変位 した状態の体内位置に標本点を設定することができ、さらに、目的とする関心領域の 近傍の体内位置に標本点を設定することができ、 2次元超音波画像に対するガイド 画像の解剖学的対応の正確さを高めることができる。特に、幽門または十二指腸乳 頭はプローブの挿入部の動きにつれて脾臓頭部と一緒に体内を動く可能性があるた め、これらを標本点として設定できることによって、ガイド画像の解剖学的な正確さを 高めることができる。
[0200] この超音波診断装置を用いることによって、術者は、この 2次元超音波画像および このガイド画像を同時に確認でき、たとえばこのガイド画像が示す色分けされた臓器 画像等を参照してこの現在の 2次元超音波画像が解剖学的に被検者のどの位置を 示しているのかを正確かつ容易に認識することができ、これによつて、被検者体内の 病変部等の関心領域を容易に捜し出せるとともにこの関心領域を正確に観察でき、 被検者への医学的診断を正確かつ効率的に行うことができる。このことは、被検者の 体外力も超音波を照射するタイプの超音波診断装置よりも医学的な有用性がはるか に大きぐ特に被検者に対する検査時間の短縮と術者の初心者学習の時間軽減とに 対する寄与が大きい。
[0201] (実施の形態 2)
つぎに、本発明の実施の形態 2について詳細に説明する。上述した実施の形態 1 では、予め画像記憶部 14に記憶されたスライス画像データ群を用いてガイド画像デ ータを作成するようにしていた力 この実施の形態 2では、 3次元 MRI (Magnetic Resonance Imaging)装置または X線 3次元ヘリカル CT (Computer Tomography)装置 等の画像診断装置によって作成された解剖学的な画像データをネットワークを介して 取得し、この取得した解剖学的な画像データを用いてガイド画像データを作成するよ うに構成している。
[0202] 図 12は、本発明の実施の形態 2である超音波診断装置の一構成例を例示するブ ロック図である。この超音波診断装置 21は、画像処理装置 13に代えて画像処理装 置 22が配置される。画像処理装置 22には、制御部 16に代えて制御部 23が設けら れ、通信回路 24がさらに設けられる。通信回路 24は、制御部 23と電気的に接続され 、さらにネットワーク 27を介して 3次元 MRI装置 25および X線 3次元ヘリカル CT装置 26と通信可能に接続される。その他の構成は実施の形態 1と同じであり、同一構成 部分には同一符号を付している。
[0203] 制御部 23は、上述した制御部 16と同様の構成および機能を有し、さらに、通信回 路 24を制御し、ネットワーク 27を介して 3次元 MRI装置 25または X線 3次元ヘリカル CT装置 26との情報通信処理を行うように機能する。制御部 23は、術者が入力装置 11を用いて解剖学的な画像データを取得指示する取得指示情報とこの解剖学的な 画像情報の送信元を選択指示する選択指示情報との入力操作を行えば、入力され た取得指示情報と選択指示情報とを検知するとともに、この取得指示情報と選択指 示情報とに基づ 、てこの情報通信処理を行 、、通信回路 24およびネットワーク 27を 介して 3次元 MRI装置 25または X線 3次元ヘリカル CT装置 26から解剖学的な画像 データを取得する。制御部 23は、 3次元 MRI装置 25から解剖学的な画像データを 取得する場合、この解剖学的な画像データとして 3次元のボリュームデータを取得し 、 X線 3次元ヘリカル CT装置 26から解剖学的な画像データを取得する場合、この解 剖学的な画像データとして複数の 2次元 CT画像データを含む 2次元 CT画像データ 群を取得する。
[0204] なお、このボリュームデータは、モノクロまたはカラーの輝度等にて識別されたボタ セルと 、う単位の集合であって、当該被検者または別の被検者の 3次元領域全体に 亘る体内画像データに対応する。また、この 2次元 CT画像データ群は、当該被検者 または別の被検者の 2次元の断層画像データ群であって、上述したスライス画像デ ータ群とほぼ同様に配列される。
[0205] 通信回路 24は、大容量かつ高速の通信モデム等を用いて実現され、制御部 23の 制御のもと、所定の光通信または高速の電話回線通信によるネットワーク 27を介して 、 3次元 MRI装置 25からボリュームデータを受信するとともにこのボリュームデータを 制御部 23に送信し、または X線 3次元ヘリカル CT装置 26から 2次元 CT画像データ 群を受信するとともにこの 2次元 CT画像データ群を制御部 23に送信する。 [0206] 制御部 23は、通信回路 24から 2次元 CT画像データ群を受信した場合、上述した スライス画像データ群に対する直交座標系 xV'z'の対応付けとほぼ同様に、この 2次 元 CT画像データ群に直交座標系 xV'z'を対応付けるとともにこの対応付けた 2次元 CT画像データ群を画像記憶部 14に記憶する。その後、制御部 23は、上述したスラ イス画像データ群に代えて 2次元 CT画像データ群を用 、て上述したステップ S 101 〜S 110の処理工程を行う。この場合、制御部 23は、上述したスライス画像データ群 に代えて 2次元 CT画像データ群を用い、上述したステップ S201〜S206の処理工 程を行って上述した特徴点を設定しかつ上述したステップ S401〜S403の処理工 程を行って上述したガイド画像データを作成する。
[0207] 一方、制御部 23は、通信回路 24からボリュームデータを受信した場合、このボリュ ームデータの所定位置たとえばこのボリュームデータの外枠を示すフレームの角部と 原点 O'とが合致する位置に直交座標系 xV'z'を設定するとともに、この直交座標系 X V'z'が対応付けられたボリュームデータを画像記憶部 14に記憶する。その後、制御 部 23は、上述したスライス画像データ群に代えてボリュームデータを用いて上述した ステップ S101〜S110の処理工程を行う。
[0208] 図 13は、制御部 23がこのボリュームデータを用いて上述した特徴点を設定するま での処理フローを例示するフローチャートである。図 14は、制御部 23がこのボリユー ムデータの断面を設定する動作を説明する模式図である。図 13, 14において、この ボリュームデータ VDは、その外枠に対応するフレーム VFと、その断面位置に対応し 、ボリュームデータ VD内を平行移動する画像情報平面マーカ FMとを有する。また ボリュームデータ VDには、上述したように、フレーム VFの所定角部と原点 O'とが合 致するように直交座標系 x'y'z'が設定される。制御部 23は、入力装置 11から入力さ れる指示情報に基づきこのボリュームデータ VDを表示装置 12に表示出力させ、この 状態においてボリュームデータ VDを用い、上述したステップ S201〜S206に代えて 図 13に示す特徴点設定処理を行う。
[0209] すなわち、術者が入力装置 11を用いてボリュームデータ VDの断面を指定する断 面指定情報の入力操作を行った場合、制御部 23は、この入力された断面指定情報 を検知し (ステップ S 501, Yes)、この検知した断面指定情報に基づき、ボリュームデ ータ VDの断面を設定するとともに、設定した断面におけるボリュームデータ VDの断 面画像データを画像記憶部 14から読み出し、読み出した断面画像データに対応す る断面画像を表示装置 12に表示出力させる断面画像表示処理を行う (ステップ S 50 2)。
[0210] この場合、術者は、入力装置 11を操作してたとえば図 14に示すように表示装置 12 に表示されたカーソル K1をボリュームデータ VD内の所望位置に移動させることによ つてこの断面指定情報の入力操作を達成し、画像情報平面マーカ FMの位置を制 御部 23に対して指定する。制御部 23は、この断面指定情報に基づく画像情報平面 マーカ FMと位置および配向が合致する断面をボリュームデータ VDの断面として設 定する。つぎに、制御部 23は、この設定した断面に対応するボリュームデータ VDの 断面画像データを画像記憶部 14から読み出し、その後、この読み出した断面画像デ ータを表示回路 15に送信する。表示回路 15は、上述したスライス画像データとほぼ 同様に、この受信した断面画像データに対応する画像信号を表示装置 12に出力す る。これによつて、制御部 23は、この断面画像データを用いた断面画像表示処理を 達成し、ボリュームデータ VDとこの断面画像とを表示装置 12の同一画面上に並べ て表示出力させる。一方、術者が断面指定情報の入力操作を行わない場合、制御 部 23は、断面指定情報を検知せず (ステップ S501, No)、このステップ S501の処 理工程を繰り返す。
[0211] この断面画像が表示装置 12に表示出力された状態において、術者が入力装置 11 を用いて断面指定情報の入力操作を行った場合、制御部 23は、この入力された断 面指定情報を検知し (ステップ S503, Yes)、上述したステップ S502以降の処理工 程を繰り返す。この場合、制御部 23は、このステップ S503にて検知した断面指定情 報に基づき、画像記憶部 14力もボリュームデータ VDの断面画像データをこの検知 した断面指定情報毎に順次読み出すとともに、読み出した断面画像データを表示回 路 15に順次送信し、表示装置 12に対し、断面画像データの各断面画像を順次更新 するとともに表示出力させる。すなわち、制御部 23が上述したステップ S501〜S503 の処理工程を繰り返すことによって、術者は、上述したスライス画像データのときとほ ぼ同様に、解剖学的に特徴的な部位たとえば剣状突起、骨盤右端、幽門、および十 二指腸乳頭等を見つけ出すことができる。
[0212] 術者は、表示出力された断面画像上に解剖学的に特徴的な部位を見つければ、こ の部位に特徴点を指定するために、入力装置 11を用いてこの特徴点に関する特徴 点座標情報の入力操作を行う。この場合、制御部 23は、断面指定情報を検知せず に (ステップ S503, No)、この入力された特徴点座標情報を検知し (ステップ S504, Yes)、上述したステップ S205とほぼ同様に、この検知した特徴点座標情報に基づく 座標データを直交座標系 x'y'z'上の特徴点の座標データとして設定する (ステップ S 505)。ただし、制御部 23は、特徴点座標情報を検知したことをトリガーとして、このボ リュームデータ VDの断面を設定するモード (断面設定モード)から特徴点を設定する モード (特徴点設定モード）に切り替わる。
[0213] その後、術者が特徴点終了指示情報の入力操作を行わなければ、制御部 23は、 特徴点終了指示情報を検知せず (ステップ S506, No)、上述したステップ S503以 降の処理工程を繰り返す。これによつて、術者は、上述したスライス画像データの時と ほぼ同様に、解剖学的に特徴的な部位たとえば剣状突起、骨盤右端、幽門、および 十二指腸乳頭にそれぞれ対応する各位置にっ ヽて特徴点 P '〜
0
P 'の
3 各特徴点座標情報を順次指定入力できる。制御部 23は、この順次指定入力さ れた各特徴点座標情報に基づき、上述した実施の形態 1とほぼ同様に、剣状突起、 骨盤右端、幽門、および十二指腸乳頭にそれぞれ対応する直交座標系 x'y'z'上の 各座標点として特徴点 P '〜
0
P 'を順次設定する。その後、制御部 23は、上述したステップ S503において断面指
3
定情報を検知すれば、この断面指定情報を検知したことをトリガーとして、上述した特 徴点設定モードから上述した断面設定モードに切り替わるとともに、上述したステップ S502以降の処理工程を繰り返す。
[0214] 一方、術者が入力装置 11を用いて特徴点終了指示情報の入力操作を行った場合 、制御部 23は、この入力された特徴点終了指示情報を検知し (ステップ S506, Yes) 、上述したスライス画像データ群 SDGに代えてボリュームデータ VDを必要に応じて 用い、上述したステップ S 102以降の処理工程を行う。また、制御部 23は、上述した ステップ S504において特徴点座標情報を検知しない場合 (ステップ S504, No)、上 述したステップ S503以降の処理工程を繰り返す。
[0215] 図 15は、ボリュームデータ VDとその画像情報平面マーカ FMに対応する断面の断 面画像とを同一画面上に並べて表示出力した状態を模式的に例示する模式図であ る。なお、この断面画像の一表示例として、肋骨 Hの剣状突起を示す断面画像 DG
1
を示す。制御部 23は、上述したように、ボリュームデータ VDとこの画像情報平面マ 一力 FMに対応する断面の断面画像 (たとえば断面画像 DG)とを表示装置 12の同 一画面上に並べて表示出力させる。すなわち、制御部 23は、図 15に示すように、フ レーム VFおよび画像情報平面マーカ FMを有するボリュームデータ VDと、断面画 像 DGとを同一画面上に並べて表示出力させる。また、制御部 23は、図 15に示すよ うに、ボリュームデータ VD上に上述した断面設定モードにおいて移動可能なカーソ ル K1を重畳し、断面画像 DG上に上述した特徴点設定モードにお 、て移動可能な カーソル K2を重畳する。
[0216] 制御部 23は、断面設定モードにおいて、上述した断面指定情報に基づく位置に力 一ソル K1を移動させるとともに、このカーソル K1の移動先の位置に画像情報平面マ 一力 FMを移動させる。これによつて、制御部 23は、この断面指定情報に基づく位置 と画像情報平面マーカ FMの位置とを合致させる。その後、制御部 23は、図 15に示 すように、ボリュームデータ VDと断面画像 DGとをともに表示出力させる。
[0217] また、制御部 23は、特徴点設定モードにおいて、上述した特徴点座標情報に基づ く位置にカーソル K2を移動させるとともに、このカーソル K1の移動先の位置に特徴 点を設定する。これによつて、制御部 23は、図 15に示すように、この特徴点座標情 報に基づく位置たとえば肋骨 Hの剣状突起の位置に特徴点 P 'を設定するとともに、
1 0
この特徴点 P 'を示すマーカをこの位置に重畳させる。
0
[0218] なお、本発明の実施の形態 2では、解剖学的な画像データとして X線 3次元へリカ ル CT装置 26から取得した 2次元 CT画像データ群を上述したスライス画像データ群 と同様に用いてガイド画像を作成したが、本発明はこれに限定されるものではなぐこ の 2次元 CT画像データ群を用いて各 2次元 CT画像データを重ね合わせまたは各 2 次元 CT画像データ間の補間処理等を行って、この 2次元 CT画像データ群に基づく 3次元 CT画像データを作成し、この 3次元 CT画像データを上述したボリュームデー タと同様に用いて特徴点を設定しかつガイド画像を作成してもよい。
[0219] また、本発明の実施の形態 2では、 3次元 MRI装置 25から取得したボリュームデー タまたは X線 3次元ヘリカル CT装置 26から取得した 2次元 CT画像データ群を解剖 学的な画像情報として用い、上述した特徴点を設定しかつガイド画像を作成して ヽ たが、本発明はこれに限定されるものではなぐ上述した実施の形態 1の超音波診断 装置 1と同様の機能を有する超音波診断装置が取得した 2次元画像データ群を予め 臓器別に色分けし、この色分けされた 2次元画像データ群をこの超音波診断装置か らネットワーク 27を介して取得し、この取得した 2次元画像データ群を用いて特徴点 を設定しかつガイド画像を作成してもよい。さらに、 PET(Positron
Emission Tomography)のような他のモダリティーまたは体外から超音波を照射する方 式の体外式の超音波診断装置を用いて事前に取得した 3次元画像データをネットヮ ーク 27を介して取得し、この取得した 3次元画像データを用いて特徴点を設定しか つガイド画像を作成してもよい。また、制御部 23が、ネットワーク 27を介して 3次元 M RI装置 25から取得したボリュームデータまたは X線 3次元ヘリカル CT装置 26から取 得した 2次元 CT画像データ群を、そのデータの輝度値をもとにして臓器別に色分け して画像記憶部 14に記憶し、上述したスライス画像データ群と同様に用いて、色分 けされたガイド画像を作成してもよ 、。
[0220] 以上に説明したように、本発明の実施の形態 2では、上述した実施の形態 1の構成 および機能に加え、光通信または高速の電話回線通信によって外部から解剖学的 な画像データたとえば 2次元 CT画像データ群または 3次元の画像データであるボリ ユームデータを取得し、この取得した解剖学的な画像データを用いてガイド画像を作 成するように構成したので、被検者自身の解剖学的な画像データをガイド画像デー タの元データとして用いることができ、上述した実施の形態 1の作用効果を享受する とともに、目的とする関心領域に応じた所望範囲の解剖学的な画像データを取得で き、表示出力した被検者の 2次元超音波画像に対してより正確に解剖学的対応を示 すガイド画像を作成出力できる。
[0221] (実施の形態 3)
つぎに、本発明の実施の形態 3について詳細に説明する。上述した実施の形態 1 では、 2次元超音波画像とこの 2次元超音波画像に解剖学的に対応するガイド画像 とを同一画面上に並べて表示出力していた力 この実施の形態 3では、表示出力し た 2次元超音波画像およびガイド画像の少なくとも一つをさらに回転できるように構成 している。
[0222] 図 16は、本発明の実施の形態 3である超音波診断装置の一構成例を例示するブ ロック図である。この超音波診断装置 31は、画像処理装置 13に代えて画像処理装 置 32が配置される。画像処理装置 32には、制御部 16に代えて制御部 33が設けら れる。制御部 33は、上述した制御部 16の構成および機能を有し、さらに回転処理部 33aが設けられる。その他の構成は実施の形態 1と同じであり、同一構成部分には同 一符号を付している。
[0223] 制御部 33は、術者が入力装置 11を用いて 2次元画像回転モードへのモード切替 指示情報の入力操作を行えば、この入力操作によって入力されたモード切替指示情 報に基づき、動作モードを 2次元画像回転モードに切り替える。回転処理部 33aは、 制御部 33の動作モードが 2次元画像回転モードであれば、制御部 33の制御のもと、 入力装置 11から入力された角度情報に基づき、表示装置 12に表示出力している 2 次元超音波画像の 2次元画像データに対し、この 2次元画像平面の中心位置 Cを回 転中心としてこの 2次元画像平面の各座標点を回転処理する。この角度情報は、 2次 元超音波画像をその画像中心にっ 、て回転する角度に関する情報である。その後、 制御部 33は、この回転処理が行われた 2次元画像データを表示回路 15に送信し、 表示回路 15は、この 2次元画像データに対応する画像信号を表示装置 12に送信す る。これによつて、制御部 33は、表示装置 12に対し、この回転処理が行われた 2次 元画像データに対応する 2次元超音波画像を表示出力させることができる。
[0224] ここで、回転処理部 33aは、この回転処理において、入力装置 11から入力された角 度情報に基づく方向および角度に応じて 2次元画像データの各座標点を回転する。 入力装置 11は、上述した指示情報または座標情報等の各種情報の他に、この角度 情報を制御部 33に入力する。たとえば、キーボードまたはタツチパネルを用いる場合 には、角度情報に対応する数値を入力しまたは選択し、あるいは表示装置 12の 2次 元超音波画像に重畳的に表示されたカーソル等を所定方向に移動させるキー操作 することによって、この角度情報の入力が行われる。一方、トラックボール、マウス、ま たはジョイスティックを用いる場合には、角度情報に対応する数値を選択し、あるいは 表示装置 12の 2次元超音波画像に重畳的に表示されたカーソル等をマウスを押し 下げながら所定方向に移動させる操作 (ドラッグ操作)を行うことによって、このドラッ グ操作の移動量に応じた角度情報の入力が行われる。
[0225] たとえば、入力装置 11は、術者がドラッグ操作またはキー操作を行い、カーソノレが 画面の上方向に移動した場合に、この移動量に応じた角度だけ 2次元超音波画像を 正の方向に回転する角度情報を制御部 33に入力し、カーソルが画面の下方向に移 動した場合に、この移動量に応じた角度だけ 2次元超音波画像を負の方向に回転す る角度情報を制御部 33に入力する。あるいは、入力装置 11は、術者がドラッグ操作 またはキー操作を行い、カーソルが画面の右方向に移動した場合に、この移動量に 応じた角度だけ 2次元超音波画像を正の方向に回転する角度情報を制御部 33に入 力し、カーソルが画面の左方向に移動した場合に、この移動量に応じた角度だけ 2 次元超音波画像を負の方向に回転する角度情報を制御部 33に入力する。
[0226] 図 17は、ガイド画像と回転処理が行われた 2次元超音波画像とを同一画面上に並 ベて表示出力した状態を模式的に例示する模式図である。なお、図 17では、この 2 次元超音波画像として、上述した 2次元超音波画像 UGを例示する。また、このガイド 画像として、上述したガイド画像 GGを例示する。なお、 2次元超音波画像 UGとガイ ド画像 GGとは、上述したように、互いに解剖学的に対応する。また、 2次元超音波画 像 UGには、カーソル Kが重畳される。
[0227] 制御部 33は、上述した 2次元画像回転モードにおいて、入力装置 11から入力され た角度情報に基づき、たとえば画面上のカーソル Kを所定方向に移動させる。回転 処理部 33aは、制御部 33の制御のもと、この角度情報に基づき、たとえばカーソル K の移動量に応じた角度を用い、カーソル Kの移動方向に対応する回転方向に 2次元 超音波画像 UGの 2次元画像データの各座標点を回転処理する。制御部 33は、この 回転処理が行われた 2次元画像データを用いることによって、図 17に示すように、力 一ソル Kの移動方向に対応する回転方向にカーソル Kの移動量に応じた角度だけ 回転した 2次元超音波画像 UGを表示出力させることができる。これによつて、制御部 33は、術者が視認する被検者の実際の体の向きと、この被検者の 2次元超音波画像 の上下左右の向きとをほぼ合わせることができる。このことは、画面上の 2次元超音波 画像と実際の被検者との関連付けを術者に容易に理解させることができ、被検者〖こ 対する医学的診断の効率ィ匕を促進する。
[0228] 一方、制御部 33は、術者が入力装置 11を用いてガイド画像回転モードへのモード 切替指示情報の入力操作を行えば、この入力操作によって入力されたモード切替指 示情報に基づき、動作モードをガイド画像回転モードに切り替える。回転処理部 33a は、制御部 33がガイド画像回転モードであれば、制御部 33の制御のもと、入力装置 11から入力された角度情報に基づき、表示装置 12に表示出力して 、るガイド画像 のガイド画像データに対し、このガイド画像平面の中心位置 C'を回転中心としてこの ガイド画像平面の各座標点を回転処理する。なお、このガイド画像回転モードにおい て入力された角度情報は、ガイド画像をその画像中心にっ ヽて回転する角度に関す る情報である。また、このガイド画像回転モードの角度情報は、術者が入力装置 11を 用いて上述した 2次元画像回転モードと同様の入力操作を行うことによって、制御部 33に入力される。
[0229] その後、制御部 33は、この回転処理が行われたガイド画像データを表示回路 15に 送信し、表示回路 15は、このガイド画像データに対応する画像信号を表示装置 12 に送信する。これによつて、制御部 33は、表示装置 12に対し、この回転処理が行わ れたガイド画像データに対応するガイド画像を表示出力させることができる。
[0230] 図 18は、 2次元超音波画像と回転処理が行われたガイド画像とを同一画面上に並 ベて表示出力した状態を模式的に例示する模式図である。なお、図 18では、この 2 次元超音波画像として、上述した 2次元超音波画像 UGを例示する。また、このガイド 画像として、上述したガイド画像 GGを例示する。なお、ガイド画像 GGには、カーソル Kが重畳される。
[0231] 制御部 33は、上述したガイド画像回転モードにおいて、入力装置 11から入力され た角度情報に基づき、たとえば画面上のカーソル Kを所定方向に移動させる。回転 処理部 33aは、制御部 33の制御のもと、この角度情報に基づき、たとえばカーソル K の移動量に応じた角度を用い、カーソル Kの移動方向に対応する回転方向にガイド 画像 GGのガイド画像データの各座標点を回転処理する。制御部 33は、この回転処 理が行われたガイド画像データを用いることによって、図 18に示すように、カーソル K の移動方向に対応する回転方向にカーソル Kの移動量に応じた角度だけ回転した ガイド画像 GGを表示出力させることができる。これによつて、制御部 33は、術者が視 認する被検者の実際の体の向きとガイド画像の上下左右の向きとをほぼ合わせること ができる。このことは、画面上のガイド画像と実際の被検者との関連付けを術者に容 易〖こ理解させることができる。
[0232] 他方、制御部 33は、術者が入力装置 11を用いて画像連動回転モードへのモード 切替指示情報の入力操作を行えば、この入力操作によって入力されたモード切替指 示情報に基づき、動作モードを画像連動回転モードに切り替える。回転処理部 33a は、制御部 33の動作モードが画像連動回転モードであれば、制御部 33の制御のも と、入力装置 11から入力された角度情報に基づき、表示装置 12に表示出力してい る 2次元超音波画像の 2次元画像データに対し、この 2次元画像平面の中心位置 C を回転中心としてこの 2次元画像平面の各座標点を回転処理し、これと同時に、表示 装置 12に表示出力して ヽるガイド画像のガイド画像データに対し、このガイド画像平 面の中心位置 C'を回転中心としてこのガイド画像平面の各座標点を回転処理する。
[0233] なお、この画像連動回転モードにおいて入力された角度情報は、 2次元超音波画 像をその画像中心について回転する角度に関する情報でありかつガイド画像をその 画像中心について回転する角度に関する情報である。また、この画像連動回転モー ドの角度情報は、術者が入力装置 11を用いて上述した 2次元画像回転モードまたは ガイド画像回転モードと同様の入力操作を行うことによって、制御部 33に入力される
[0234] その後、制御部 33は、この回転処理が行われた 2次元画像データとガイド画像デ 一タとを表示回路 15に送信し、表示回路 15は、この 2次元画像データとガイド画像 データとに対応する画像信号を表示装置 12に送信する。これによつて、制御部 33は 、表示装置 12に対し、この回転処理が行われた 2次元画像データに対応する 2次元 超音波画像とこの回転処理が行われたガイド画像データに対応するガイド画像とを 同時に表示出力させることができる。 [0235] 図 19は、回転処理が行われた 2次元超音波画像と回転処理が行われたガイド画像 とを同一画面上に並べて表示出力した状態を模式的に例示する模式図である。なお 、図 19では、この 2次元超音波画像として上述した 2次元超音波画像 UGを例示し、 このガイド画像として上述したガイド画像 GGを例示する。また、図 19では、カーソル Kがガイド画像 GG上に重畳され、術者による角度情報の入力操作に応じてこのカー ソル Kが移動し、ガイド画像 GGとともに 2次元超音波画像 UGが回転する動作を例示 する。しかし、本発明はこれに限定されるものではなぐカーソル Kが 2次元超音波 U G上に重畳され、術者による角度情報の入力操作に応じてこのカーソル Kが移動し、 2次元超音波画像 UGとともにガイド画像 GGが回転してもよい。
[0236] 制御部 33は、上述した画像連動回転モードにおいて、入力装置 11から入力された 角度情報に基づき、たとえば画面上のカーソル Kを所定方向に移動させる。回転処 理部 33aは、制御部 33の制御のもと、この角度情報に基づき、たとえばカーソル の 移動量に応じた角度を用い、カーソル Kの移動方向に対応する回転方向にガイド画 像 GGのガイド画像データの各座標点を回転処理する。これにと同時に、回転処理 部 33aは、制御部 33の制御のもと、この角度情報に基づき、このガイド画像データの 各座標点を回転した角度と同じ角度を用 ヽ、このガイド画像データの各座標点の回 転方向と同じ回転方向に 2次元超音波画像 UGの 2次元画像データの各座標点を回 転処理する。
[0237] この回転処理が行われたガイド画像データと 2次元画像データとを用いることによつ て、制御部 33は、図 17に示すように、カーソル Kの移動方向に対応する回転方向に カーソル Kの移動量に応じた角度だけ回転したガイド画像 GGと、このガイド画像 GG と同じ回転方向に同じ角度だけ回転した 2次元超音波画像 UGを表示出力させること ができる。これによつて、制御部 33は、術者が視認する被検者の実際の体の向きと、 この被検者の 2次元超音波画像の上下左右の向きおよびガイド画像の上下左右の 向きとをほぼ合致させることができる。このことは、画面上の 2次元超音波画像と実際 の被検者との関連付けを術者に容易に理解させるとともに画面上のガイド画像と実 際の被検者との関連付けをも術者に容易に理解させることができ、これによつて、被 検者体内の病変部等の関心領域の観察を容易にし、被検者に対する医学的診断の 効率化を促進する。
[0238] なお、本発明の実施の形態 3では、入力装置 11を用いた角度情報の入力操作たと えばドラッグ操作、キー操作、または角度および回転方向に対応する数値を入力しま たは選択する操作によって、 2次元画像データおよびガイド画像データの少なくとも 一方の各座標点を回転する角度および回転方向に関する情報が入力されるように構 成していた力 本発明はこれに限定されるものではなぐ 2次元画像データおよびガ イド画像データの少なくとも一方の各座標点を回転する単位角度および回転方向を 入力し、 2次元超音波画像またはガイド画像を回転指示する指示情報が入力される 毎に、 2次元画像データおよびガイド画像データの少なくとも一方の各座標点をこの 回転方向にこの単位角度だけ順次回転するように構成してもよ 、。
[0239] 以上に説明したように、本発明の実施の形態 3では、上述した実施の形態 1の構成 および機能にカ卩え、 2次元超音波画像およびガイド画像の少なくとも一方の回転方 向とその角度とに対応する角度情報をもとに、 2次元超音波画像に対応する 2次元画 像データとガイド画像に対応するガイド画像データとの少なくとも一方の各座標点を 回転処理し、この回転処理が行われた 2次元超音波画像、この回転処理が行われた ガイド画像、または互いに同じ回転方向に同じ角度を用いて回転処理が行われた 2 次元超音波画像とガイド画像とを表示出力するように構成したので、術者が視認する 被検者の実際の体の向きと、この被検者の 2次元超音波画像の上下左右の向きおよ びガイド画像の上下左右の向きの少なくとも一方とをほぼ合致させることができ、これ によって、画面上の 2次元超音波画像および実際の被検者の関連付けと画面上のガ イド画像および実際の被検者の関連付けとの少なくとも一方を術者に容易に理解さ せることができ、上述した実施の形態 1の作用効果を享受するとともに、被検者体内 の病変部等の関心領域の観察を容易にしかつ被検者に対する医学的診断の効率 化を促進可能な超音波診断装置を実現することができる。
[0240] この超音波診断装置を用いることによって、術者は、超音波振動子とモータとをフレ キシブルに連結するシャフトのねじれに起因して超音波振動子の 12時方向と超音波 観測装置が検出する 12時方向とに角度ずれが生じたとしても、被検者の体位に合わ せて 2次元超音波画像およびガイド画像の少なくとも一方を適切な向きにして観察す ることができる。たとえば、術者は、検査中の被検者の骨盤右端が被検者の体位にお いて上部に位置する場合には 2次元超音波画像およびガイド画像の少なくとも一方 を画像上部に骨盤右端が位置するように回転させ、 2次元超音波画像およびガイド 画像の少なくとも一方の向きと実際の被検者の向きとを視覚的に合わせることができ る。
[0241] (実施の形態 4)
つぎに、本発明の実施の形態 4について詳細に説明する。上述した実施の形態 3 では、第 1コイルおよび第 2コイルが設けられた送信コイル 7からの交番磁場に基づき 、 2次元画像データの 2次元画像平面に関する位置データを検出していたが、この実 施の形態 4では、送信コイルからの交番磁場に基づき超音波振動子 3aの回転軸方 向と回転中心位置とに関する位置データを検出し、この検出した位置データと予め 設定されたデフォルト位置データとをもとに 2次元画像平面とガイド画像平面とを初期 的に設定するように構成して 、る。
[0242] 図 20は、本発明の実施の形態 4である超音波診断装置の一構成例を例示するブ ロック図である。この超音波診断装置 31は、画像処理装置 32に代えて画像処理装 置 42が配置され、送信コイル 7に代えて送信コイル 44が配置され、位置データ算出 装置 6に代えて位置データ算出装置 45が配置される。画像処理装置 42には、制御 部 33に代えて制御部 43が設けられる。制御部 43は、上述した制御部 33とほぼ同じ 構成および機能を有する。その他の構成は実施の形態 3と同じであり、同一構成部 分には同一符号を付している。
[0243] 送信コイル 44は、挿入部 3の被検者体内への挿入軸方向すなわち超音波振動子 3aの回転軸方向にコイル軸が固定された第 1コイルを用いて実現され、上述した送 信コイル 7とほぼ同様に、超音波振動子 3aの近傍に着脱可能に配置される。また、 送信コイル 44は、送信コイル 44は、位置データ算出装置 45が第 1コイルに電流を供 給することによって、超音波振動子 3aの位置および回転軸方向を示す交番磁場を 発生する。
[0244] 位置データ算出装置 45は、上述した位置データ算出装置 6とほぼ同様の構成およ び機能を有し、デフォルト位置データ 45aが予め設定される。このデフォルト位置デ ータ 45aは、上述した 2次元画像平面の初期の 12時方向を示すデフオル位置データ として直交座標系 xyz上に予め設定されたベクトルデータである。位置データ算出装 置 45は、送信コイル 44からの交番磁場に基づく位置検出信号を受信コイル 10から 受信し、受信した位置検出信号をもとに超音波振動子 3aの回転中心と回転軸方向と に対応する位置データを算出する。その後、位置データ算出装置 45は、この算出し た位置データとデフォルト位置データ 45aとを制御部 43に送信する。
[0245] 制御部 43は、上述したステップ S101〜S110の処理工程を行い、この算出した位 置データとデフォルト位置データ 45aとに基づく 2次元超音波画像 (デフォルト 2次元 超音波画像)とガイド画像 (デフォルトガイド画像)とを表示装置 12に表示出力させる 。この際、画像構成部 16cは、制御部 43の制御のもと、超音波観測装置 5から取得し た 2次元画像データと、同じタイミングにて位置データ算出装置 45から受信した位置 データおよびデフォルト位置データとを対応付ける。すなわち、画像構成部 16cは、 この 2次元画像データの位置と配向とを決定する情報として、この位置データに基づ く中心位置 C (t)および方向ベクトル V(t)と、このデフォルト位置データに基づく方向 ベクトル V (t)とを設定する。このことに基づき、制御部 43は、この位置データに基
12
づく中心位置 C (t)および方向ベクトル V(t)とデフォルト位置データ 45aに基づく方 向ベクトル V (t)とを有する 2次元画像データ (デフォルト 2次元画像データ）と、この
12
位置データに基づく中心位置 C' (t)および方向ベクトル V' (t)とデフォルト位置デー タ 45aに基づく方向ベクトル V ' (t)とを有するガイド画像データ（デフォルトガイド画
12
像データ）とを取得する。
[0246] ここで、制御部 43は、入力装置 11から上述したモード切替指示情報が入力されれ ば、この入力されたモード切替指示情報に基づき動作モードを上述した 2次元画像 回転モードまたはガイド画像回転モードに切り替える。回転処理部 33aは、制御部 4 3が 2次元画像回転モードまたはガイド画像回転モードであれば、上述した実施の形 態 3と同様に、入力装置 11から入力された角度情報に基づき、このデフォルト 2次元 画像データの 2次元画像平面の各座標点またはこのデフォルトガイド画像データの ガイド画像平面の各座標点を回転処理する。その後、制御部 43は、上述した実施の 形態 3と同様に、この回転処理によってデフォルト 2次元超音波画像を回転した 2次 元超音波画像またはこの回転処理によってデフォルトガイド画像を回転したガイド画 像を表示装置 12に更新し表示する。
[0247] さらに、制御部 43は、入力装置 11から位置データの更新に関する指示情報 (更新 指示情報）が入力されれば、この入力された更新指示情報に基づき、デフォルト 2次 元画像データの 12時方向の方向ベクトル（12時方向ベクトル）をこの回転処理によつ て得られた 2次元画像データの 12時方向ベクトルに更新する。または、制御部 43は 、この更新指示情報に基づき、デフォルトガイド画像データの 12時方向ベクトルをこ の回転処理によって得られたガイド画像データの 12時方向ベクトルに更新する。
[0248] その後、画像構成部 16cは、制御部 43の制御のもと、この更新した 12時方向べタト ルならびに上述した位置データに基づく中心位置および法線方向の方向ベクトル（ 法線ベクトル）と順次取得する 2次元画像データとを対応付ける。さらに、画像構成部 16cは、制御部 43の制御のもと、この更新した 12時方向ベクトルと上述した位置デ ータに基づく中心位置および法線ベクトルとを用いてガイド画像データを作成する。 あるいは、画像構成部 16cは、制御部 43の制御のもと、この更新したガイド画像デー タの 12時方向ベクトルを直交座標系 xyz上の 12時方向ベクトルに変換するとともに、 この得られた 12時方向ベクトルならびに上述した位置データに基づく中心位置およ び法線ベクトルと順次取得する 2次元画像データとを対応付けてもよい。
[0249] 以上に説明したように、本発明の実施の形態 4では、上述した実施の形態 3の機能 に加え、超音波振動子 3aの回転軸方向とコイル軸方向とを一致させたコイルを用い て 2次元画像データの中心位置と法線方向とに関する位置データを検出し、この検 出した位置データと予め設定された 12時方向に関するデフォルト位置データとを用 Vヽてデフォルト 2次元超音波画像とデフォルトガイド画像とを表示出力し、このデフォ ルト 2次元超音波画像またはデフォルトガイド画像に関する各座標点の回転処理を 行ってデフォルト位置データによる 12時方向を更新するように構成したので、被検者 体内に挿入する挿入部をさらに細くできるとともに被検者の 2次元超音波画像とこの 2 次元超音波画像に解剖学的に対応するガイド画像とを同一画面上に表示出力でき 、上述した実施の形態 3の作用効果を享受するとともに、被検者体内にプローブを挿 入する際の被検者の苦痛を軽減可能な超音波検査に好適な超音波診断装置を実 現することができる。
[0250] (実施の形態 5)
つぎに、本発明の実施の形態 5について詳細に説明する。上述した実施の形態 1 〜4では、ラジアルスキャンを行って被検者の 2次元画像データを取得する毎に、こ の 2次元画像データに対応する 2次元超音波画像とこの 2次元超音波画像に解剖学 的に対応するガイド画像とを表示出力していたが、この実施の形態 5では、さらに、こ の取得した 2次元超音波画像を特定する特定情報とこの 2次元画像データとを対応 付けて記憶し、この特定情報をもとに 2次元超音波画像を検索し表示出力できるよう に構成している。
[0251] 図 21は、本発明の実施の形態 5である超音波診断装置の一構成例を例示するブ ロック図である。この超音波診断装置 51は、画像処理装置 32に代えて画像処理装 置 52が配置される。画像処理装置 52には、制御部 33に代えて制御部 53が設けら れる。制御部 53は、上述した制御部 33とほぼ同じ構成および機能を有し、画像検索 部 53aがさらに設けられる。その他の構成は実施の形態 3と同じであり、同一構成部 分には同一符号を付している。
[0252] 制御部 53は、上述したステップ S101〜S110の処理工程を行って、順次取得する 2次元画像データと各 2次元画像データに解剖学的に対応する各ガイド画像データ とを作成し、各 2次元画像データに対応する各 2次元超音波画像と各ガイド画像デー タに対応する各ガイド画像とを表示装置 12に順次表示出力させる。この際、制御部 5 3は、各 2次元画像データに関する位置および配向に対応する各位置データを 2次 元画像データ毎に対応付けて画像記憶部 14に記憶し、各ガイド画像データに関す る位置および配向に対応する各位置データをガイド画像データ毎に対応付けて画像 記憶部 14に記憶する。
[0253] また、制御部 53は、入力装置 11から上述したモード切替指示情報が入力されれば 、この入力されたモード切替指示情報に基づき動作モードを上述した 2次元画像回 転モード、ガイド画像回転モード、または画像連動回転モードに切り替える。回転処 理部 33aは、制御部 53が 2次元画像回転モード、ガイド画像回転モード、または画像 連動回転モードであれば、上述した実施の形態 3と同様に、入力装置 11から入力さ れた角度情報に基づき、この 2次元画像データの 2次元画像平面およびガイド画像 データのガイド画像平面の少なくとも一方の各座標点を回転処理する。その後、制御 部 53は、上述した実施の形態 3と同様に、この回転処理が行われた 2次元超音波画 像、この回転処理が行われたガイド画像、または互いに同じ回転方向に同じ角度を 用いて回転処理が行われた 2次元超音波画像とガイド画像とを更新するとともに表示 装置 12に表示出力させる。この際、制御部 53は、入力装置 11から更新指示情報が 入力されれば、この入力された更新指示情報に基づき、 2次元画像データに関する 位置データを回転処理が行われた該 2次元画像データの位置データに更新しまた はガイド画像データに関する位置データを回転処理が行われた該ガイド画像データ の位置データに更新する。その後、制御部 53は、更新した 2次元画像データの位置 データをこの 2次元画像データに対応付けて画像記憶部 14に記憶し、または更新し たガイド画像データの位置データをこのガイド画像データに対応付けて画像記憶部 14に記憶する。
[0254] さらに、制御部 53は、術者が入力装置 11を用いて 2次元超音波画像に関する特定 情報を入力すれば、この入力された特定情報を検知するとともに、この 2次元超音波 画像の 2次元画像データとこの特定情報とを対応付けて画像記憶部 14に記憶する。 すなわち、制御部 53は、入力装置 11から 2次元超音波画像毎に特定情報が順次入 力されれば、この入力された各特定情報を順次検知するとともに、各 2次元超音波画 像の 2次元画像データと順次入力された各特定情報とをそれぞれ対応付けて記憶部 16aまたは画像記憶部 14に記憶する。これによつて、制御部 53は、特定情報が指定 入力された 2次元超音波画像毎に、各 2次元画像データとその各位置データ、これら に解剖学的にそれぞれ対応する各ガイド画像データとその各位置データ、およびそ の各特定情報を対応付けることができる。また、制御部 53は、上述した回転処理が 行われれば、行われた回転処理毎の各角度情報あるいは更新した 2次元画像デー タ毎またはガイド画像データ毎の各位置データを上述した 2次元超音波画像毎にさ らに対応付ける。
[0255] なお、この特定情報は、表示出力された各 2次元超音波画像をそれぞれ特定する 情報であり、たとえば 2次元超音波画像の名称、識別記号、または 2次元超音波画像 に関連する被検者の情報等である。また、制御部 53は、入力された特定情報を 2次 元超音波画像毎に対応付けて表示装置 12に表示出力させてもよ!、。
[0256] ここで、術者が、入力装置 11を用い、目的とする 2次元超音波画像を検索するため の情報として上述した対応付け済みの特定情報の入力操作を行えば、制御部 53は 、この入力された特定情報を検知するとともに、画像検索部 53aを制御する。画像検 索部 53aは、制御部 53の制御のもと、入力装置 11から入力された対応付け済みの 特定情報を用い、この対応付け済みの特定情報と対応付けられた 2次元画像データ およびその位置データとガイド画像データおよび各位置データとを画像記憶部 14ま たは記憶部 16aから検索する。また、画像検索部 53aは、この対応付け済みの特定 情報に関する 2次元画像データまたはガイド画像データに対して上述した回転処理 が行われて 、れば、行われた回転処理の角度情報あるいは更新した 2次元画像デ ータの各位置データまたは更新したガイド画像データの各位置データを画像記憶部 14または記憶部 16aからさらに検索する。
[0257] その後、制御部 53は、画像検索部 53aが検索したこれらの各種情報を用い、この 対応付け済みの特定情報と対応付けられた 2次元超音波画像とガイド画像とを表示 装置 12に表示出力させる。この際、制御部 53は、ラジアルスキャンによって取得した 現在の 2次元超音波画像とこの検索した 2次元超音波画像とを同一画面上に表示出 力するように画像処理装置 52を制御してもよ 、。
[0258] なお、本発明の実施の形態 5では、上述した実施の形態 3の構成および機能に 2次 元超音波画像とガイド画像とを検索し表示出力する構成および機能をさらに加えた 超音波診断装置を例示したが、本発明はこれに限定されるものではなぐ上述した実 施の形態 1の構成および機能に 2次元超音波画像とガイド画像とを検索し表示出力 する構成および機能をさらに加えた超音波診断装置であってもよい。すなわち、回転 処理部 33aが設けられていなくともよい。また、上述した実施の形態 2の構成および 機能に 2次元超音波画像とガイド画像とを検索し表示出力する構成および機能をさ らにカ卩えた超音波診断装置であってもよ 、し、上述した実施の形態 4の構成および 機能に 2次元超音波画像とガイド画像とを検索し表示出力する構成および機能をさ らに加えた超音波診断装置であってもよい。 [0259] 以上に説明したように、本発明の実施の形態 5では、上述した実施の形態 1〜4の V、ずれか一つの構成および機能に加え、 2次元超音波画像毎の特定情報が順次入 力されれば、この順次入力された各特定情報によって特定される 2次元超音波画像 毎に、各 2次元画像データとその各位置データ、これらに解剖学的にそれぞれ対応 する各ガイド画像データとその各位置データ、およびその各特定情報を対応付けて 記憶し、必要に応じて、回転処理毎の各角度情報あるいは更新した 2次元画像デー タ毎またはガイド画像データ毎の各位置データをさらに対応付けて記憶し、この対応 付け済みの特定情報が入力されれば、この入力された対応付け済みの特定情報を もとに、 2次元画像データおよびその位置データと、ガイド画像データおよびその位 置データと、必要に応じて、回転処理毎の角度情報あるいは更新した 2次元画像デ ータの位置データまたはガイド画像データの位置データとを検索するように構成した 。したがって、この特定情報をもとに、目的とする 2次元超音波画像とガイド画像とを 検索し表示出力することができ、上述した実施の形態 1〜4のいずれか一つの作用 効果を享受するとともに、目的とする 2次元超音波画像とガイド画像とを容易に観察 でき、被検者毎または観察位置毎等の所望の検索単位毎に 2次元超音波画像を容 易に管理可能な超音波診断装置を実現することができる。
[0260] この超音波診断装置を用いることによって、術者は、画像検索後に表示出力された 2次元超音波画像について、この画像検索のために入力した特定情報とこの 2次元 超音波画像とを照らし合わせて、この 2次元超音波画像が被検者のどの部位をどの 方向から見た画像であるかを容易に理解することができる。さらに、術者は、画像検 索によって表示された目的とする 2次元超音波画像と現在の 2次元超音波画像とを 容易に比較でき、病気の進み具合や回復の様子を効率的に確認することができる。
[0261] (実施の形態 6)
つぎに、本発明の実施の形態 6について詳細に説明する。上述した実施の形態 1 〜5では、送信コイル 7からの交番磁場に基づく位置検出信号を用いて超音波振動 子 3aに関する位置データを算出していた力 この実施の形態 6では、さらに被検者 体内に挿入された挿入部 3の挿入形状を検出し表示出力するように構成している。
[0262] 図 22は、本発明の実施の形態 6である超音波診断装置の一構成例を例示するブ ロック図である。この超音波診断装置 61は、上述した超音波診断装置 51の画像処 理装置 52に代えて画像処理装置 62が配置され、さらに送信コイル 64が設けられる。 画像処理装置 62には、制御部 53に代えて制御部 63が設けられる。制御部 63は、 上述した制御部 53とほぼ同じ構成および機能を有し、画像構成部 16cに代えて画像 構成部 63aが設けられる。また、送信コイル 64は、位置データ算出装置 6と電気的に 接続されかつ送信コイル 7と電気的に接続される。すなわち、位置データ算出装置 6 と送信コイル 7とは、送信コイル 64を介して電気的に接続される。その他の構成は実 施の形態 5と同じであり、同一構成部分には同一符号を付している。
[0263] 送信コイル 64は、複数のコイルを用いて実現され、送信コイル 7に対し挿入部 3の 後端側すなわち操作部 4が配置された側に配置される。この際、送信コイル 64に内 蔵される複数のコイル W , W , · ··, W (m: 2以上の整数）は、送信コイル 7側から揷
1 2 m
入部 3後端側に向けてほぼ直線状に順次配置される。これによつて、複数のコイル W , W , · ··, Wは、上述した送信コイル 7の第 1コイルに続いて順次、挿入部 3の長手
1 2 m
方向の形状に沿って配置される。なお、これら複数の送信コイル w , w , · ··, W
1 2 mは、
10個以上 (たとえば 10数個程度)であることが望ま 、。
[0264] また、送信コイル 64は、位置データ算出装置 6からの電流が供給されることによつ て、内蔵されたコイル毎に異なる周波数の交番磁場を出力する。受信コイル 10は、 上述した送信コイル 7等の交番磁場と同様に送信コイル 64からの交番磁場を受信し 、この交番磁場に基づく位置検出信号を位置データ算出装置 6に送信する。位置デ ータ算出装置 6は、この位置検出信号を受信コイル 10から受信すれば、この受信し た位置検出信号をもとに、直交座標系 xyz上における複数のコイル W , W , · ··, W
1 2 m の各位置 U， U，…， Uの各位置べクトノレ OU， OU，…， OUの各方向成分をそ
1 2 m 1 2 m れぞれ算出する。
[0265] その後、位置データ算出装置 6は、算出した複数のコイル W , W , · ··, Wの各位
1 2 m 置 U， U，…， Uの各位置べクトノレ OU， OU，…， OUの各方向成分を送信コィ
1 2 m 1 2 m
ル 64からの交番磁場に基づく位置データ (挿入部位置データ）として制御部 63に送 信する。すなわち、位置データ算出装置 6は、上述したように、送信コイル 7による送 信コイル位置データとマーカコイル 8によるマーカコイル位置データとプレート 9による プレート位置データとを制御部 63に送信し、さらに挿入部位置データを制御部 63に 送信する。
[0266] 制御部 63は、上述したステップ S101〜S110の処理工程を行って、順次取得する 2次元画像データと各 2次元画像データに解剖学的に対応する各ガイド画像データ とを作成し、各 2次元画像データに対応する各 2次元超音波画像と各ガイド画像デー タに対応する各ガイド画像とを表示装置 12に順次表示出力させる。また、制御部 63 は、位置データ算出装置 6から挿入部位置データが入力されれば、この挿入部位置 データを検知するとともにこの挿入部位置データを検知した時刻 tをタイマ 16bから検 出し、画像構成部 63aを制御する。
[0267] 画像構成部 63aは、上述した画像構成部 16cとほぼ同じ構成および機能を有し、さ らに揷入部 3の被検者体内における挿入形状を示す挿入形状画像に対応する挿入 形状画像データを作成するように機能する。画像構成部 63aは、制御部 63の制御の もと、位置データ算出装置 6から入力された挿入部位置データすなわち位置ベクトル OU , OU , · ··, OUの各方向成分を時刻 tにおける挿入形状画像データの各座標
1 2 m
データとして設定する。この際、画像構成部 63aは、この時刻 tにおける挿入形状画 像データの各座標データとして、位置ベクトル OU (t) , OU (t) , · ··, OU (t)の各
1 2 m 方向成分を取得する。さら〖こ、画像構成部 63aは、制御部 63の制御のもと、時刻 tの 送信コイル位置データのうち、時刻 tの中心位置 C (t)の位置ベクトル OC (t)の方向 成分のみを時刻 tの挿入部位置データとして取得する。
[0268] また、画像構成部 63aは、時刻 tの挿入部位置データとして取得した位置ベクトル O U (t) , OU (t) , · ··, OU (t)の各方向成分と位置ベクトル OC (t)の方向成分とをも
1 2 m
とに挿入形状画像データを作成する。この際、画像構成部 63aは、位置ベクトル OC ( t)の方向成分に基づく座標点を先頭にして、位置ベクトル OU (t) , OU (t) , · ··, O
1 2
u (t)の各方向成分に基づく各座標点を順次結ぶように内挿補間することによって、 m
時刻 tにおける挿入形状画像データを作成できる。この時刻 tにおける挿入形状画像 データは、時刻 tにお 、て取得した各位置ベクトルに基づく各座標点にそれぞれ対 応する各マークと、これらの各マーク間を順次連結した線形状すなわち時刻 tにおけ る挿入部 3の挿入形状を示す挿入形状線とを表現する挿入形状画像に対応する。 [0269] つぎに、混合部 16dは、制御部 63の制御のもと、この時刻 tにおける挿入形状画像 データと、これと同じタイミングすなわち時刻 tにお 、て取得した 2次元画像データと、 この 2次元画像データに解剖学的に対応する時刻 tのガイド画像データとをもとに、こ れら同じタイミングの各種画像データとして作成された挿入形状画像データ、 2次元 画像データ、およびガイド画像データにそれぞれ対応する挿入形状画像、 2次元超 音波画像、およびガイド画像を表示装置 12の同一画面上に並べて表示出力するた めの混合画像データを作成する。その後、この混合画像データは、制御部 63の制御 のもと、表示回路 15に出力される。表示回路 15は、上述したように、制御部 63の制 御のもと、この混合画像データに対応する画像信号を変換出力する。表示装置 12は 、この表示回路 15から受信した画像信号をもとに、この混合画像データに対応する 同じタイミングの 2次元超音波画像とガイド画像と挿入形状画像とを同一画面上に並 ベて表示出力する。
[0270] 図 23は、同じタイミングの 2次元超音波画像とガイド画像と挿入形状画像とを同一 画面上に並べて表示出力した画面表示例を模式的に例示する模式図である。制御 部 64は、同じタイミングたとえば時刻 tsの 2次元画像データと時刻 tsのガイド画像デ ータと時刻 tsの挿入形状画像データとに基づく混合画像データを表示回路 15に出 力すること〖こよって、図 23に示すように、時刻 tsの 2次元超音波画像 UGと時刻 tsの ガイド画像 GGと時刻 tsの挿入形状画像 IGとを表示装置 12の同一画面上に並べて 表示出力できる。なお、 2次元超音波画像 UGとガイド画像 GGとは、上述したように、 互いに解剖学的に対応する。
[0271] また、挿入形状画像 IGは、 2次元超音波画像 UGに対応する 2次元画像データを 検出したプローブ 2の挿入部 3の挿入形状すなわち時刻 tsにおいて被検者体内に挿 通されている挿入部 3の挿入形状を示す。すなわち、挿入形状画像 IGには、図 23〖こ 示すように、時刻 tsの各位置ベクトル OC (ts) , OU (ts) , OU (ts) , · ··, OU (ts)
1 2 m に基づく各座標点にそれぞれ対応する各マーク dl, d2, · ··, dm (ただしマーク dl〜 d8までを図示する）と、これらのマーク dl, d2, · ··, dmの間を順次連結した挿入形状 線とが示される。
[0272] なお、マーク dlは、挿入部位置データを取得した時刻 tたとえば時刻 tsにおける位 置ベクトル OC (ts)の方向成分に基づく座標点に対応し、このマーク dlに順次続くマ ーク d2, d3, · · ·, dmは、この時刻 tたとえば時刻 tsにおける各位置ベクトル OU (ts)
1
, OU (ts) , · · ·, OU (ts)の各方向成分に基づく各座標点にそれぞれ対応する。ま
2 m
た、マーク dl〜dmは、挿入形状画像内に表示される際に、マーク dlとマーク d2〜d mとを別の態様にて表示してもよい。このことは、挿入形状画像内でのプローブ先端 位置を判り易くする。
[0273] また、制御部 63は、 2次元画像データを取得する毎に、取得した各 2次元画像デー タにそれぞれ解剖学的に対応する各ガイド画像データを順次作成し、さらに 2次元画 像データを順次取得したタイミングと同じタイミングにて順次取得した各挿入部位置 データをもとに各挿入形状画像データを順次作成する。その後、制御部 63は、 2次 元画像データを取得する毎に、順次取得した 2次元画像データをもとに表示装置 12 の 2次元超音波画像を順次更新するとともに、順次作成したガイド画像データをもと に表示装置 12のガイド画像を順次更新し、これと同時に、順次作成した挿入形状画 像データをもとに表示装置 12の挿入形状画像を更新する。すなわち、術者が超音波 診断装置 61に上述したラジアルスキャンを繰り返し行わせながら被検者の関心領域 を探すとき、制御部 63は、リアルタイムに 2次元超音波画像とガイド画像と挿入形状 画像とを順次更新して表示装置 12に表示出力させることになる。
[0274] なお、本発明の実施の形態 6では、上述した実施の形態 5の構成および機能に挿 入形状画像を表示出力する構成および機能をさらに加えた超音波診断装置を例示 したが、本発明はこれに限定されるものではなぐ上述した実施の形態 3, 4の構成お よび機能に挿入形状画像を表示出力する構成および機能をさらに加えた超音波診 断装置であってもよい。すなわち、画像検索部 53aが設けられていなくともよい。また 、上述した実施の形態 1, 2の構成および機能に挿入形状画像を表示出力する構成 および機能をさらに加えた超音波診断装置であってもよい。すなわち、回転処理部 3 3aおよび画像検索部 53aが設けられて 、なくともよ 、。
[0275] また、本発明の実施の形態 6では、 2次元画像データを取得する毎に、順次取得し た 2次元画像データをもとに 2次元超音波画像を順次更新するとともに、順次作成し たガイド画像データをもとにガイド画像を順次更新し、これと同時に、順次作成した挿 入形状画像データをもとに挿入形状画像を更新していたが、本発明はこれに限定さ れるものではなぐ挿入部位置データをもとに算出されるプローブ 2先端の所定の移 動量毎またはタイマ 16bから検出される時刻に基づく所定時間の経過毎に、順次取 得した 2次元画像データをもとに 2次元超音波画像を順次更新するとともに、順次作 成したガイド画像データをもとにガイド画像を順次更新し、これと同時に、順次作成し た挿入形状画像データをもとに挿入形状画像を更新してもよい。
[0276] 以上に説明したように、本発明の実施の形態 6では、上述した実施の形態 1〜5の いずれか一つの構成および機能に加え、被検者体内に挿入したプローブ挿入部の 挿入形状に対応する挿入部位置データを順次取得し、 2次元画像データを順次取 得した各タイミングとそれぞれ同じタイミング毎に取得した各挿入部位置データをもと にこの挿入形状を示す挿入形状画像データを順次作成し、順次取得した 2次元画像 データをもとに 2次元超音波画像を順次更新するとともに、順次作成したガイド画像 データをもとにガイド画像を順次更新し、これと同時に、順次作成した挿入形状画像 データをもとに挿入形状画像を更新するように構成した。したがって、被検者体内の 2次元超音波画像と、この 2次元超音波画像に解剖学的に対応するガイド画像と、こ の 2次元超音波画像の 2次元画像データを検出するプローブ挿入部の挿入形状画 像とをリアルタイムにて同一画面上に表示出力でき、これによつて、被検者体内に挿 通されたプローブ挿入部の現在の挿入形状を術者に容易に理解させることができ、 上述した実施の形態 1〜4のいずれか一つの作用効果を享受するとともに、目的とす る関心領域の 2次元超音波画像を表示出力するまでの操作効率を向上できる超音 波診断装置を実現することができる。
[0277] この超音波診断装置を用いることによって、術者は、被検者体内に挿通したプロ一 ブ揷入部の現在の挿入形状を容易に理解でき、これによつて、プローブ挿入部のラ ジアルスキャン走査面を目的とする関心領域に正確かつ容易に位置させることがで き、目的とする関心領域の 2次元超音波画像を効率的に観察することができる。
[0278] (実施の形態 7)
つぎに、本発明の実施の形態 7について詳細に説明する。上述した実施の形態 1 〜6では、挿入部 3先端近傍に設けられた超音波振動子 3aが回転駆動するとともに 超音波の送受波を放射状に繰り返し行うことによって、被検者体内に対するラジアル スキャンを行っていたが、この実施の形態 7では、複数の超音波振動子を環状に配 列した超音波振動子群を用いて被検者体内に対する電子ラジアルスキャンを行うよう に構成している。
[0279] 図 24は、本発明の実施の形態 7である超音波診断装置の一構成例を例示するブ ロック図である。この超音波診断装置 71は、上述した超音波診断装置 51のプローブ 2に代えてプローブ 72が配置される。プローブ 72は、挿入部 3に代えて挿入部 73が 設けられ、操作部 4に代えて操作部 74が設けられ、さらに送信コイル 7に代えて送信 コイル 75が設けられる。挿入部 73は、超音波振動子 3aに代えて超音波振動子群 73 aが設けられる。その他の構成は実施の形態 5と同じであり、同一構成部分には同一 符号を付している。
[0280] 図 25は、プローブ 72の挿入部 73先端の一構成を模式的に例示する模式図である 。図 24, 25において、プローブ 72は、電子ラジアルスキャン型の超音波内視鏡を用 いて実現され、上述したように、被検者体内に挿入する挿入部 73と操作部 74とを有 する。挿入部 73先端には、超音波振動子群 73aと送信コイル 75とが設けられる。超 音波振動子群 73aは、短冊状に細力べ切断して得られた複数の超音波振動子を被 検者体内への挿入軸方向を中心軸に環状たとえば 360° 全周に配列することによつ て構成される。また、超音波振動子群 73aを構成する各超音波振動子は、信号線 73 bと操作部 74とを介して、それぞれ超音波観測装置 5と電気的に接続される。
[0281] 操作部 74は、上述した操作部 4とほぼ同様に、術者の操作に応じ、超音波振動子 群 73aおよび送信コイル 75が設けられた部位を含む挿入部 73の先端を湾曲させる 機能を有する。また、操作部 74は、術者が操作部 74の電源スィッチをオン状態にす れば、超音波振動子群 73aと超音波観測装置 5とを電気的に接続する。
[0282] 送信コイル 75は、直交する 2方向をコイル軸とする 2つのコイルを一体ィ匕した構造を 有し、これら 2つのコイルと位置データ算出装置 6とがそれぞれ電気的に接続される。 また、送信コイル 75は、図 25に示すように、超音波振動子群 73aの挿入部 73先端 側に設けられる。この際、送信コイル 75は、その外形が超音波振動子群 73aの横断 面からはみ出ないように設けられることが望ましい。これによつて、挿入部 73の直径を より/ J、さくすることができる。
[0283] また、送信コイル 75は、この直交する 2つのコイルのうち、一方のコイル軸方向が揷 入部 73の被検者体内への挿入軸方向に対応し、他方のコイル軸方向が超音波振 動子群 73aによる電子ラジアルスキャンの走査面すなわち図 25に図示するラジアル スキャン平面 RHの 12時方向に対応する。したがって、送信コイル 75は、上述した送 信コイル 7とほぼ同様に、一方のコイル軸方向が 2次元画像データの法線方向すな わち上述した方向ベクトル V (t)に対応し、他方のコイル軸方向が 2次元画像データ の 12時方向すなわち上述した方向ベクトル V (t)に対応する。
12
[0284] ここで、制御部 53は、入力装置 11から電子ラジアルスキャンの開始指示情報が入 力されれば、この入力された開始指示情報に基づき、超音波観測装置 5に対し、制 御信号を送信して電子ラジアルスキャンを開始指示する。超音波観測装置 5は、制 御部 53から受信した制御信号に基づき、操作部 74と信号線 73bとを介して超音波 振動子群 73aの各超音波振動子に各励起信号をそれぞれ送信し、これによつて、超 音波振動子群 73aの各超音波振動子に 100 [V]程度のパルス電圧をそれぞれ印加 する。この際、超音波観測装置 5は、超音波振動子群 73aの各超音波振動子にそれ ぞれ送信する各励起信号に遅延をかけ、送信した各励起信号が超音波振動子群 73 aのそれぞれの超音波振動子に互いに異なる時刻に到着するように送信制御を行う 。これによつて、超音波振動子群 73aの各超音波振動子が放射した各超音波は、被 検者体内にて重ね合わせられたときに一本の超音波ビームを形成するようになる。
[0285] 超音波振動子群 73aの各超音波振動子は、超音波観測装置 5からの励起信号を 受信した超音波振動子から順次、この励起信号を媒体の疎密波である超音波に変 換するとともに、変換した超音波を放射する。超音波振動子群 73aから順次放射され た超音波は、上述したように、超音波ビームとしてプローブ 72から被検者体内に順次 照射され、その後、被検者体内からの各超音波ビームの反射波が、この照射された 超音波ビームと逆の経路を迪つて、それぞれの超音波振動子へ順次戻る。このように して、超音波振動子群 73aは、 1回の電子ラジアルスキャンを達成する。つぎに、超 音波振動子群 73aの各超音波振動子は、この反射波を受信した超音波振動子から 順次、この反射波を上述したスキャン信号に変換するとともに、信号線 73bおよび操 作部 74を介してすなわち上述した励起信号とは逆の信号経路にて、このスキャン信 号を超音波観測装置 5に順次送信する。
[0286] ここで、超音波観測装置 5は、超音波振動子群 73aが上述した超音波ビームを順 次放射することによってラジアルスキャン平面 RH内を電子ラジアルスキャンする際、 超音波振動子群 73aの各超音波振動子のうち、起点として予め設定された超音波振 動子に最初に励起信号を送信し、つぎに、この起点の超音波振動子の所定方向に 順次隣接する各超音波振動子に励起信号を順次送信する。これによつて、超音波振 動子群 73aは、ラジアルスキャン平面 RH内に対し、この起点の超音波振動子による スキャン位置を起点に時計回りまたは反時計回りに超音波ビームを順次放射できる。
[0287] また、超音波観測装置 5は、超音波振動子群 73aの各超音波振動子のうち、どの超 音波振動子がラジアルスキャン平面 RHの 12時方向に超音波ビームを放射する超音 波振動子であるかについて予め設定されている。したがって、超音波観測装置 5は、 この 12時方向の超音波振動子に励起信号を送信すれば、ラジアルスキャン平面 RH の 12時方向の超音波スキャンに対応するスキャン信号として、この超音波振動子か らのスキャン信号を受信し、上述した 2次元画像データの 12時方向を決定する。
[0288] 一方、位置データ算出装置 6は、上述したようにマーカコイル 8とプレート 9とに電流 を供給し、さらに送信コイル 75に電流を供給する。送信コイル 75を構成する 2つのコ ィルは、位置データ算出装置 6から供給された電流をもとに、互いに異なる周波数に て各交番磁場をそれぞれ出力する。受信コイル 10は、上述したマーカコイル 8からの 交番磁場とプレート 9からの交番磁場の他に、送信コイル 75の各コイル力もそれぞれ 出力された各交番磁場をそれぞれ検出し、検出した各交番磁場を上述した位置検 出信号に変換して位置データ算出装置 6に送信する。位置データ算出装置 6は、受 信コイル 10から入力された各位置検出信号を周波数毎に分解することによって、上 述したマーカコイル 8による位置検出信号とプレート 9による位置検出信号との他に、 送信コイル 75の 2つのコイル力もの各交番磁場にそれぞれ基づく各位置検出信号を 分解して得る。
[0289] その後、位置データ算出装置 6は、得られた各位置検出信号をもとに、上述したマ 一力コイル 8に関する位置データとプレート 9に関する位置データとの他に、送信コィ ル 75の 2つのコイルによる各位置データすなわち 2次元画像データの中心位置に関 する座標データ、法線方向に関する座標データ、および 12時方向に関する座標デ ータをそれぞれ算出し、算出した各位置データを制御部 53に送信する。
[0290] なお、本発明の実施の形態 7では、上述した実施の形態 5とほぼ同様の構成および 機能に電子ラジアルスキャンを行う構成および機能をさらに加えた超音波診断装置 を例示したが、本発明はこれに限定されるものではなぐ上述した実施の形態 3, 4と ほぼ同様の構成および機能に電子ラジアルスキャンを行う構成および機能をさらに 加えた超音波診断装置であってもよい。すなわち、画像検索部 53aが設けられてい なくともよい。また、上述した実施の形態 1, 2とほぼ同様の構成および機能に電子ラ ジアルスキャンを行う構成および機能をさらに加えた超音波診断装置であってもよい 。すなわち、回転処理部 33aおよび画像検索部 53aが設けられていなくともよい。さら に、上述した実施の形態 6とほぼ同様の構成および機能に電子ラジアルスキャンを行 う構成および機能をさらに加えた超音波診断装置であってもよい。
[0291] また、本発明の実施の形態 7では、複数の超音波振動子が挿入軸方向を中心軸に 環状すなわち 360° 全周に設けられた超音波振動子群 73aを用いていた力 本発 明はこれに限定されるものではなぐ超音波振動子 73aに代えて、複数の超音波振 動子が挿入軸方向を中心軸に扇状の周囲たとえば 180° または 270° の周囲に設 けられた超音波振動子群を用いてもょ 、。
[0292] さらに、本発明の実施の形態 7では、電子ラジアルスキャン型の超音波内視鏡をプ ローブ 72として構成した力 本発明はこれに限定されるものではなぐプローブ 72に 代えて光学系が設けられて ヽな 、電子ラジアルスキャン型のプローブを用いてもよ！ヽ
[0293] 以上に説明したように、本発明の実施の形態 7では、上述した実施の形態 1〜6の いずれか一つとほぼ同様の構成および機能に加え、電子ラジアルスキャンを行うよう に構成したので、フレキシブルシャフトのねじれに起因する 2次元超音波画像の 12時 方向との角度ずれが生じる可能性がなぐ電子ラジアルスキャンを行って決定する 2 次元画像データの 12時方向と送信コイルからの交番磁場に基づく 2次元画像データ の 12時方向とを確実に合致させることができ、上述した実施の形態 1〜6のいずれか 一つの作用効果を享受するとともに、被検者体内の 2次元超音波画像とこの 2次元 超音波画像に解剖学的に対応するガイド画像とを確実に表示出力できる超音波診 断装置を実現することができる。
産業上の利用可能性
以上のように、本発明にかかる超音波診断装置は、生体内の所望部位の超音波画 像を観察して被検者を検査する行為に有用であり、特に、生体内の病変部等の関心 領域を正確かつ容易に捜し出し、被検者に対して正確な検査をより短時間で行うた めの超音波診断装置として適して ヽる。

Claims

請求の範囲
[1] 被検者の体内にてスキャンを行って該体内の 2次元画像データを得るとともに該 2 次元画像データを得たスキャンの走査面の位置および配向を検出し、該検出した位 置および配向と前記 2次元画像データとをもとに前記体内の 2次元超音波画像を生 成出力する超音波診断装置において、
人体の解剖学的な画像データとして予め記憶された解剖学的画像データをもと〖こ
、前記 2次元超音波画像の解剖学的な位置および配向に対応したガイド画像を生成 する画像処理制御手段と、
前記ガイド画像と前記 2次元超音波画像とを含む各種画像を複数同時に表示出力 する表示手段と、
を備えたことを特徴とする超音波診断装置。
[2] 前記解剖学的画像データ上に解剖学的に特徴的な位置を示す特徴点を指示入力 する入力手段と、
前記特徴点に解剖学的に対応する前記被検者の位置から標本点を検出する標本 点検出手段と、
を備え、前記画像処理制御手段は、前記特徴点と前記標本点と前記検出した位置 および配向とをもとに、前記ガイド画像を前記 2次元超音波画像の解剖学的な位置 および配向に対応させることを特徴とする請求項 1に記載の超音波診断装置。
[3] 前記画像処理制御手段は、前記特徴点と前記標本点と前記検出した位置および 配向とをもとに前記解剖学的画像データの切断平面を算出するとともに、前記解剖 学的画像データをもとに前記切断平面の断面画像に対応する断面画像データを生 成し、前記切断平面と前記断面画像データとをもとに前記ガイド画像を生成すること を特徴とする請求項 2に記載の超音波診断装置。
[4] 前記入力手段は、少なくとも 4点の前記特徴点を入力し、
前記標本点検出手段は、少なくとも 4点の前記特徴点に解剖学的にそれぞれ対応 する少なくとも 4点の前記標本点を検出することを特徴とする請求項 2または 3に記載 の超音波診断装置。
[5] 体腔内に挿入されるプローブを備え、前記標本点検出手段が前記プローブ先端に 設けられ、前記被検者の体腔内から標本点を検出することを特徴とする請求項 2また は 3に記載の超音波診断装置。
[6] 前記プローブは前記被検者の体腔内の光学画像を得る光学観察手段を備え、前 記表示手段は前記光学観察手段によって得られた光学画像を表示し、前記標本点 検出手段は前記表示手段が前記光学画像を表示中に前記被検者の体腔内から標 本点を検出することを特徴とする請求項 5に記載の超音波診断装置。
[7] 前記画像処理制御手段は、前記特徴点をもとに前記解剖学的画像データ上に特 徴点 3軸座標系を設定し、かつ前記標本点をもとに前記特徴点 3軸座標系に解剖学 的に対応する標本点 3軸座標系を前記 2次元画像データ上に設定し、前記検出した 位置および配向を前記標本点 3軸座標系上の位置および配向に換算するとともに、 該換算した位置および配向を前記特徴点 3軸座標系上の位置および配向に換算し 、該換算した特徴点 3軸座標系上の位置および配向をもとに前記切断平面を算出す ることを特徴とする請求項 3に記載の超音波診断装置。
[8] 前記解剖学的画像データは、体軸に垂直な人体横断面の各スライス画像に対応 する複数のスライス画像データであり、前記入力手段は、前記解剖学的画像として表 示された前記スライス画像上に前記特徴点を指示入力し、前記画像処理制御手段 は、前記切断平面と前記複数のスライス画像データとの交線上を補間して前記断面 画像データを作成することを特徴とする請求項 3に記載の超音波診断装置。
[9] 前記標本点検出手段は、前記被検者の体表に配置され該体表近傍の解剖学的に 特徴的な位置に対応する基準の標本点を検出する基準標本点検出手段を備え、前 記画像処理制御手段は、前記標本点のうち前記基準標本点検出手段によって検出 された基準の標本点を原点とする前記標本点 3軸座標系を設定することを特徴とす る請求項 7または 8に記載の超音波診断装置。
[10] 前記標本点検出手段は、前記基準標本点検出手段が検出する基準の標本点の配 向をさらに検出し、
前記画像処理制御手段は、前記 4点の標本点の各位置と該 4点の標本点のうちの 基準の標本点の配向とをもとに、前記 4点の標本点の各座標と前記被検者の体位変 化に起因して変動した該 4点の標本点の各座標をそれぞれ補正することを特徴とす る請求項 9に記載の超音波診断装置。
[11] 所望の人体を用いて前記解剖学的画像データを生成する画像生成手段と、
前記画像生成手段から前記画像処理制御手段に前記解剖学的画像データを送 信する通信手段と、
を備えたことを特徴とする請求項 1〜3のいずれか一つに記載の超音波診断装置。
[12] 前記解剖学的画像データは、人体の解剖学的な 3次元画像データであり、前記入 力手段は、前記 3次元画像データの切断位置を指示し、かつ該切断位置に対応す る 3次元画像データ上に前記特徴点を指示入力し、前記画像処理制御手段は、前 記切断平面にて前記 3次元画像データを切断して前記断面画像データを作成する ことを特徴とする請求項 3に記載の超音波診断装置。
[13] 前記画像生成手段は、 X線 CT装置、 MRI装置、または PET装置を備えたことを特 徴とする請求項 11に記載の超音波診断装置。
[14] 前記標本点は、剣状突起、骨盤右端、幽門、十二指腸乳頭、および噴門のうちの いずれか 4つに解剖学的に対応することを特徴とする請求項 2または 3に記載の超音 波診断装置。
[15] 前記解剖学的画像データは、領域別に予め分類されていることを特徴とする請求 項 1〜3のいずれか一つに記載の超音波診断装置。
[16] 前記解剖学的画像データは、前記領域別に予め色分けして分類されていることを 特徴とする請求項 15に記載の超音波診断装置。
[17] 前記入力手段は、画像中心を回転中心とする前記 2次元超音波画像または前記ガ イド画像の回転角度を入力し、前記画像処理制御手段は、前記 2次元超音波画像の 法線方向を変化させずに該法線方向に垂直な方向につ!、て前記回転角度をなす 2 次元超音波画像を逐次生成出力しまたは前記ガイド画像の法線方向を変化させず に該法線方向に垂直な方向にっ ヽて前記回転角度をなすガイド画像を逐次生成出 力することを特徴とする請求項 2または 3に記載の超音波診断装置。
[18] 前記画像処理制御手段は、前記ガイド画像の法線方向を変化させずに該法線方 向に垂直な方向につ！ヽて前記回転角度をなすガイド画像を逐次生成出力するととも に、前記 2次元超音波画像の法線方向を変化させずに該法線方向に垂直な方向に ついて前記回転角度をなす 2次元超音波画像を逐次生成出力することを特徴とする 請求項 17に記載の超音波診断装置。
[19] 前記入力手段は、当該入力手段の入力量に応じて変化する回転角度を入力する ことを特徴とする請求項 17に記載の超音波診断装置。
[20] 前記スキャンがラジアルスキャンであり、該ラジアルスキャンの走査面の中心位置お よび法線方向を検出し、該法線方向に垂直な方向に関するデフォルト配向データが 予め設定された位置検出手段を備え、前記画像処理制御手段は、前記回転角度を もとに、前記検出した中心位置および法線方向と前記デフォルト配向データとによる 2次元超音波画像の配向と前記ガイド画像の配向とを解剖学的に合わせることを特 徴とする請求項 17に記載の超音波診断装置。
[21] 前記入力手段は、前記 2次元超音波画像を特定する特定情報をさらに入力し、前 記画像処理制御手段は、前記入力された特定情報毎に該特定情報と前記 2次元超 音波画像と前記ガイド画像とを対応付け、入力された前記特定情報をもとに 2次元超 音波画像を検索するとともに、該検索した 2次元超音波画像と該 2次元超音波画像 に対応付けられたガイド画像とを前記表示手段に表示させることを特徴とする請求項 2または 3に記載の超音波診断装置。
[22] 前記スキャンを行うプローブの前記体内への挿入部の挿入形状を検出する挿入形 状検出手段を備え、前記画像処理制御手段は、前記挿入形状を示す挿入形状画像 を前記 2次元超音波画像および前記ガイド画像とともに前記表示手段に表示させる ことを特徴とする請求項 1〜3のいずれか一つに記載の超音波診断装置。
[23] 複数の超音波振動子が環状に配列され、前記体内に所定の順序にて超音波を送 受信して前記スキャンを行う電子ラジアルスキャン型のプローブを備えたことを特徴と する請求項 1〜3のいずれか一つに記載の超音波診断装置。
PCT/JP2005/007926 2004-04-30 2005-04-26 超音波診断装置 WO2005104955A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP05737168.4A EP1741390B8 (en) 2004-04-30 2005-04-26 Ultrasonic diagnosis device
US11/589,601 US7736316B2 (en) 2004-04-30 2006-10-30 Ultrasonic diagnosis apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-135896 2004-04-30
JP2004135896A JP4537756B2 (ja) 2004-04-30 2004-04-30 超音波診断装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/589,601 Continuation US7736316B2 (en) 2004-04-30 2006-10-30 Ultrasonic diagnosis apparatus

Publications (1)

Publication Number Publication Date
WO2005104955A1 true WO2005104955A1 (ja) 2005-11-10

Family

ID=35241396

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/007926 WO2005104955A1 (ja) 2004-04-30 2005-04-26 超音波診断装置

Country Status (4)

Country Link
US (1) US7736316B2 (ja)
EP (1) EP1741390B8 (ja)
JP (1) JP4537756B2 (ja)
WO (1) WO2005104955A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7774045B2 (en) 2006-06-27 2010-08-10 Olympus Medical Systems Corp. Medical guiding system, medical guiding program, and medical guiding method

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8784336B2 (en) 2005-08-24 2014-07-22 C. R. Bard, Inc. Stylet apparatuses and methods of manufacture
JP5226244B2 (ja) * 2007-05-07 2013-07-03 オリンパスメディカルシステムズ株式会社 医用ガイドシステム
EP2036494A3 (en) 2007-05-07 2009-04-15 Olympus Medical Systems Corp. Medical guiding system
JP2008301969A (ja) * 2007-06-06 2008-12-18 Olympus Medical Systems Corp 超音波診断装置
JP5191167B2 (ja) * 2007-06-06 2013-04-24 オリンパスメディカルシステムズ株式会社 医用ガイドシステム
JP4869189B2 (ja) * 2007-09-13 2012-02-08 オリンパスメディカルシステムズ株式会社 医用ガイドシステム
JP2009082402A (ja) 2007-09-28 2009-04-23 Fujifilm Corp 医用画像診断システム、医用撮像装置、医用画像格納装置、及び、医用画像表示装置
KR100971418B1 (ko) 2007-10-29 2010-07-21 주식회사 메디슨 조이스틱을 가지는 초음파 진단장치
US9649048B2 (en) 2007-11-26 2017-05-16 C. R. Bard, Inc. Systems and methods for breaching a sterile field for intravascular placement of a catheter
US10524691B2 (en) 2007-11-26 2020-01-07 C. R. Bard, Inc. Needle assembly including an aligned magnetic element
US10751509B2 (en) 2007-11-26 2020-08-25 C. R. Bard, Inc. Iconic representations for guidance of an indwelling medical device
US9521961B2 (en) * 2007-11-26 2016-12-20 C. R. Bard, Inc. Systems and methods for guiding a medical instrument
ES2651898T3 (es) 2007-11-26 2018-01-30 C.R. Bard Inc. Sistema integrado para la colocación intravascular de un catéter
US10449330B2 (en) 2007-11-26 2019-10-22 C. R. Bard, Inc. Magnetic element-equipped needle assemblies
US8781555B2 (en) 2007-11-26 2014-07-15 C. R. Bard, Inc. System for placement of a catheter including a signal-generating stylet
JP5301197B2 (ja) * 2008-04-11 2013-09-25 富士フイルム株式会社 断面画像表示装置および方法ならびにプログラム
KR20100008217A (ko) * 2008-07-15 2010-01-25 주식회사 메디슨 초음파 영상과 외부 영상을 디스플레이하고 조작하는초음파 시스템 및 그 조작 방법
ES2525525T3 (es) 2008-08-22 2014-12-26 C.R. Bard, Inc. Conjunto de catéter que incluye conjuntos de sensor de ECG y magnético
US8437833B2 (en) 2008-10-07 2013-05-07 Bard Access Systems, Inc. Percutaneous magnetic gastrostomy
US9532724B2 (en) 2009-06-12 2017-01-03 Bard Access Systems, Inc. Apparatus and method for catheter navigation using endovascular energy mapping
US9445734B2 (en) 2009-06-12 2016-09-20 Bard Access Systems, Inc. Devices and methods for endovascular electrography
DE102009030171A1 (de) * 2009-06-24 2010-12-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildgebungsvorrichtung und Bildgebungsverfahren zur Auffindung von Unregelmäßigkeiten in Hohlräumen von Objekten
EP2480286B1 (en) * 2009-09-24 2014-01-08 Koninklijke Philips N.V. High intensity focused ultrasound positioning mechanism
CN102821679B (zh) 2010-02-02 2016-04-27 C·R·巴德股份有限公司 用于导管导航和末端定位的装置和方法
JP5314614B2 (ja) 2010-02-05 2013-10-16 富士フイルム株式会社 医用画像表示装置及び医用画像表示方法並びにプログラム
ES2778041T3 (es) 2010-05-28 2020-08-07 Bard Inc C R Aparato para su uso con sistema de guiado de inserción de aguja
EP2912999B1 (en) 2010-05-28 2022-06-29 C. R. Bard, Inc. Apparatus for use with needle insertion guidance system
WO2012024577A2 (en) 2010-08-20 2012-02-23 C.R. Bard, Inc. Reconfirmation of ecg-assisted catheter tip placement
EP2700351A4 (en) 2012-03-06 2015-07-29 Olympus Medical Systems Corp ENDOSCOPIC SYSTEM
KR20130113775A (ko) * 2012-04-06 2013-10-16 삼성메디슨 주식회사 초음파 프로브 및 초음파 진단 시스템
CN104797196B (zh) * 2012-09-26 2016-11-16 株式会社日立制作所 超声波诊断装置以及超声波二维断层图像生成方法
WO2014162367A1 (ja) * 2013-04-05 2014-10-09 テルモ株式会社 画像診断装置及びプログラム
CN105979868B (zh) 2014-02-06 2020-03-10 C·R·巴德股份有限公司 用于血管内装置的导向和放置的系统和方法
CN106456125B (zh) * 2014-05-02 2020-08-18 皇家飞利浦有限公司 用于将医学图像中的特征链接到解剖结构模型的系统以及其操作方法
WO2015173056A1 (en) * 2014-05-14 2015-11-19 Koninklijke Philips N.V. Acquisition-orientation-dependent features for model-based segmentation of ultrasound images
EP3095377A4 (en) 2014-06-10 2017-09-13 Olympus Corporation Endoscope system and endoscope system operation method
US20150369909A1 (en) * 2014-06-19 2015-12-24 Imperium, Inc. Image sensor for large area ultrasound mapping
EP3153090A1 (en) 2014-07-15 2017-04-12 Olympus Corporation Navigation system and navigation system operation method
KR20160064399A (ko) * 2014-11-28 2016-06-08 삼성전자주식회사 자기공명영상장치
KR102367446B1 (ko) 2014-12-11 2022-02-25 삼성메디슨 주식회사 초음파 진단 장치 및 그 동작 방법
US10973584B2 (en) 2015-01-19 2021-04-13 Bard Access Systems, Inc. Device and method for vascular access
US10824315B2 (en) * 2015-05-29 2020-11-03 Canon Medical Systems Corporation Medical image processing apparatus, magnetic resonance imaging apparatus and medical image processing method
US10349890B2 (en) 2015-06-26 2019-07-16 C. R. Bard, Inc. Connector interface for ECG-based catheter positioning system
US11000207B2 (en) 2016-01-29 2021-05-11 C. R. Bard, Inc. Multiple coil system for tracking a medical device
JP6738631B2 (ja) * 2016-03-29 2020-08-12 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
JP6810587B2 (ja) * 2016-11-30 2021-01-06 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法
CN106898286B (zh) * 2017-03-15 2020-07-03 武汉精测电子集团股份有限公司 基于指定位置的Mura缺陷修复方法及装置
JP7171291B2 (ja) 2018-07-26 2022-11-15 キヤノンメディカルシステムズ株式会社 超音波診断装置及び画像処理プログラム
WO2020081373A1 (en) 2018-10-16 2020-04-23 Bard Access Systems, Inc. Safety-equipped connection systems and methods thereof for establishing electrical connections
JP7210765B2 (ja) * 2019-11-05 2023-01-23 オリンパス株式会社 内視鏡装置、表示用画像出力方法、プログラム、及び内視鏡システム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000023979A (ja) * 1998-07-13 2000-01-25 Olympus Optical Co Ltd 超音波診断装置
JP2000081303A (ja) * 1998-09-04 2000-03-21 Olympus Optical Co Ltd 位置検出装置
JP2001340335A (ja) * 2000-06-01 2001-12-11 Fukuda Denshi Co Ltd 超音波診断装置
JP2002263101A (ja) 2001-03-06 2002-09-17 Aloka Co Ltd 超音波診断装置
EP1354557A1 (en) 2002-04-17 2003-10-22 Olympus Optical Co., Ltd. Ultrasonic diagnostic apparatus and method
US20030231789A1 (en) 2002-06-18 2003-12-18 Scimed Life Systems, Inc. Computer generated representation of the imaging pattern of an imaging device
EP1504721A1 (en) 2002-09-27 2005-02-09 Olympus Corporation Ultrasonograph
EP1543776A1 (en) 2002-09-27 2005-06-22 Olympus Corporation Ultrasonograph

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5474072A (en) * 1993-10-29 1995-12-12 Neovision Corporation Methods and apparatus for performing sonomammography
JP3871747B2 (ja) * 1996-11-25 2007-01-24 株式会社日立メディコ 超音波診断装置
US6248074B1 (en) * 1997-09-30 2001-06-19 Olympus Optical Co., Ltd. Ultrasonic diagnosis system in which periphery of magnetic sensor included in distal part of ultrasonic endoscope is made of non-conductive material
JP2000051217A (ja) * 1998-08-06 2000-02-22 Olympus Optical Co Ltd 超音波診断装置
JP4614548B2 (ja) * 2001-01-31 2011-01-19 パナソニック株式会社 超音波診断装置
JP2002305044A (ja) * 2001-04-03 2002-10-18 Mitsuboshi Denki Seisakusho:Kk 端子台
JP2002363101A (ja) 2001-04-03 2002-12-18 Taisho Pharmaceut Co Ltd 外用剤
JP2003116869A (ja) * 2001-10-18 2003-04-22 Honda Seiki Kk 超音波治療装置および超音波診断装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000023979A (ja) * 1998-07-13 2000-01-25 Olympus Optical Co Ltd 超音波診断装置
JP2000081303A (ja) * 1998-09-04 2000-03-21 Olympus Optical Co Ltd 位置検出装置
JP2001340335A (ja) * 2000-06-01 2001-12-11 Fukuda Denshi Co Ltd 超音波診断装置
JP2002263101A (ja) 2001-03-06 2002-09-17 Aloka Co Ltd 超音波診断装置
EP1354557A1 (en) 2002-04-17 2003-10-22 Olympus Optical Co., Ltd. Ultrasonic diagnostic apparatus and method
US20030231789A1 (en) 2002-06-18 2003-12-18 Scimed Life Systems, Inc. Computer generated representation of the imaging pattern of an imaging device
EP1504721A1 (en) 2002-09-27 2005-02-09 Olympus Corporation Ultrasonograph
EP1543776A1 (en) 2002-09-27 2005-06-22 Olympus Corporation Ultrasonograph

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ARAI O. ET.AL.: "Real-time virtual sonography.", J.MED.ULTRASONICS., vol. 30, 15 April 2003 (2003-04-15), pages 151, XP002990183 *
JEANNETTE L. HERRING ET AL.: "Surface-Based Registration of CT Images to Physical Space for Image-Guided Surgery of the Spine: A Sensitivity Study", IEEE TRANSACTIONS ON MEDICAL IMAGING, vol. 17, no. 5, October 1998 (1998-10-01), pages 743 - 752, XP011035776
OHKUMA K. ET AL.: "Real-time virtual sonography.", J. MED ULTRASONICS., vol. 30, 15 April 2003 (2003-04-15), pages 277, XP002990182 *
ROCH M. COMEAU ET AL.: "Intraoperative US in Interactive Image-guided Neurosurgery", RADIOGRAPHICS: A REVIEW PUBLICATION OF THE RADIOLOGICAL SOCIETY OF. NORTH AMERICA, vol. 18, no. 4, July 1998 (1998-07-01), pages 1019 - 1027

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7774045B2 (en) 2006-06-27 2010-08-10 Olympus Medical Systems Corp. Medical guiding system, medical guiding program, and medical guiding method

Also Published As

Publication number Publication date
EP1741390A1 (en) 2007-01-10
US7736316B2 (en) 2010-06-15
EP1741390B8 (en) 2018-04-04
US20070078343A1 (en) 2007-04-05
EP1741390A4 (en) 2009-08-05
JP4537756B2 (ja) 2010-09-08
JP2005312770A (ja) 2005-11-10
EP1741390B1 (en) 2018-02-21

Similar Documents

Publication Publication Date Title
WO2005104955A1 (ja) 超音波診断装置
JP4868959B2 (ja) 体腔内プローブ装置
JP5208495B2 (ja) 医療用システム
EP2036494A2 (en) Medical guiding system
WO2006057296A1 (ja) 超音波診断装置
JP4875416B2 (ja) 医用ガイドシステム
EP2000087A2 (en) Medical guiding system
JP2005312770A5 (ja)
JPH10192A (ja) 超音波画像診断装置
JP5601684B2 (ja) 医用画像装置
JP2007125179A (ja) 超音波診断装置
KR20170047873A (ko) 초음파 영상 장치 및 그 제어 방법
JP5226244B2 (ja) 医用ガイドシステム
JP4869197B2 (ja) 医用ガイド装置
JP2006087599A (ja) 超音波診断装置
JP4530799B2 (ja) 超音波診断装置
JP4700434B2 (ja) 超音波診断装置
JP4668592B2 (ja) 体腔内プローブ装置
JP5307357B2 (ja) 超音波診断装置
JP4647899B2 (ja) 超音波診断装置
JP2008301969A (ja) 超音波診断装置
JP4843728B2 (ja) 超音波診断装置
JP5854399B2 (ja) 医用システム
JP4707853B6 (ja) 超音波診断装置
JP4707853B2 (ja) 超音波診断装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11589601

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 2005737168

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2005737168

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11589601

Country of ref document: US