WO2014156973A1 - 画像位置合せ表示方法及び超音波診断装置 - Google Patents

画像位置合せ表示方法及び超音波診断装置 Download PDF

Info

Publication number
WO2014156973A1
WO2014156973A1 PCT/JP2014/057807 JP2014057807W WO2014156973A1 WO 2014156973 A1 WO2014156973 A1 WO 2014156973A1 JP 2014057807 W JP2014057807 W JP 2014057807W WO 2014156973 A1 WO2014156973 A1 WO 2014156973A1
Authority
WO
WIPO (PCT)
Prior art keywords
alignment
image
data
ultrasonic
reference image
Prior art date
Application number
PCT/JP2014/057807
Other languages
English (en)
French (fr)
Inventor
孝則 平井
Original Assignee
日立アロカメディカル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立アロカメディカル株式会社 filed Critical 日立アロカメディカル株式会社
Priority to CN201480018835.8A priority Critical patent/CN105101881A/zh
Priority to JP2015508420A priority patent/JP6302893B2/ja
Priority to EP14774646.5A priority patent/EP2979642A4/en
Priority to US14/770,927 priority patent/US20160018520A1/en
Publication of WO2014156973A1 publication Critical patent/WO2014156973A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8977—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using special techniques for image reconstruction, e.g. FFT, geometrical transformations, spatial deconvolution, time deconvolution
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053—Display arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image

Definitions

  • the present invention relates to an image alignment display method and an ultrasonic diagnostic apparatus, and more particularly, to an image alignment display method and an ultrasonic diagnostic apparatus for aligning the positions of diagnostic images captured by different image diagnostic apparatuses and displaying them on a display screen.
  • Patent Document 1 and Patent Document 2 describe a method of aligning an ultrasound image and a reference image.
  • the subject moves or breathes. Since the alignment is shifted when the position is moved, it has been proposed to perform the alignment of these images again.
  • the problem to be solved by the present invention is to simplify the image alignment processing and to shorten the processing time.
  • an image alignment display method of the present invention includes an ultrasonic image generated based on a reflected echo signal of a tomographic surface of a subject received by an ultrasonic probe, and another image.
  • Alignment processing with the reference image captured by the diagnostic apparatus is performed and displayed on the image display unit, and a plurality of alignment results of the alignment processing are stored together with the alignment data and the alignment corresponding image, and the stored
  • a list of alignment corresponding images is displayed on the image display unit, and when one of the displayed alignment corresponding images is selected, the alignment processing is performed based on the alignment data corresponding to the selected alignment corresponding image. It is characterized by performing.
  • the image alignment process can be simplified, and the processing time can be shortened.
  • FIG. 10 is a diagram for explaining the operation of the second embodiment. It is a flowchart of the image alignment display method of Example 3 of this invention.
  • FIG. 10 is a diagram for explaining the operation of the third embodiment. It is a flowchart of the image alignment display method of Example 4 of this invention. It is a figure explaining operation
  • FIG. It is a flowchart of the image alignment display method of Example 5 of this invention. It is a figure explaining operation
  • FIG. 5 is a flowchart of the image alignment display method of Example 1 of this invention.
  • FIG. 1 is a block diagram of an ultrasonic diagnostic apparatus according to an embodiment of the present invention.
  • an ultrasound image reconstruction unit 2 that generates an ultrasound image in real time based on a reflected echo signal of a tomographic plane of the subject received by the ultrasound probe 1, and an ultrasound image reconstruction
  • the image synthesizing unit 3 that synthesizes the ultrasonic image generated by the unit 2 with another image, and the image display unit 4 that displays the synthesized image are provided.
  • volume data memory 5 that stores volume data of a reference image captured by another diagnostic imaging apparatus, and a reference image that reads reference image data corresponding to an ultrasound image from the volume data memory 5 and generates a reference image
  • a reconstruction unit 6 is provided.
  • various modalities such as an X-ray diagnostic apparatus, an MRI diagnostic apparatus, a CT diagnostic apparatus, an ultrasonic diagnostic apparatus, or a PET diagnostic apparatus can be applied to other image diagnostic apparatuses.
  • the volume data is constructed by a plurality of tomographic image data obtained by imaging a plurality of parallel tomographic planes with respect to the diagnosis site of the subject. This volume data is stored in the volume data memory 5 from another image diagnostic apparatus (not shown) via a signal transmission path or a storage medium.
  • the magnetic sensor unit 7 is composed of a magnetic field generator that generates a magnetic field in a space including a subject whose image is diagnosed by the ultrasonic diagnostic apparatus of the present embodiment, and a magnetic sensor attached to the ultrasonic probe 1. ing.
  • the magnetic sensor unit 7 detects the position and tilt angle (hereinafter simply referred to as an angle) of the ultrasonic probe 1 and inputs it to the alignment processing unit 11 of the image alignment unit 10.
  • the alignment processing unit 11 determines the position and inclination of a tomographic plane (scanning plane or scanning plane) formed in the subject by the ultrasonic probe 1 based on the input position and angle of the ultrasonic probe 1. An angle (hereinafter simply referred to as an angle) is calculated. Based on the calculated position and angle of the tomographic plane, the coordinate data of the real-time ultrasonic image displayed on the image display unit 4 is calculated. Next, coordinate data of the reference image corresponding to the ultrasonic image is calculated using a preset coordinate conversion formula for image alignment. That is, as is well known, the coordinate system of the ultrasonic diagnostic apparatus and the coordinate system of another diagnostic imaging apparatus that has captured the reference image are set in association with each other with respect to the subject. In order to associate the coordinate systems of the two image diagnostic apparatuses, a coordinate conversion formula for bidirectionally converting the two coordinate data to be associated is set.
  • the reference image reconstruction unit 6 reads the reference image data corresponding to the coordinate data of the reference image obtained by the alignment processing unit 11 from the volume data memory 5, generates a reference image, and outputs the reference image to the image composition unit 3. .
  • the image synthesis unit 3 synthesizes the ultrasound image output from the ultrasound image reconstruction unit 2 and the reference image output from the reference image reconstruction unit 6 and causes the image display unit 4 to display the synthesized image. In this embodiment, in addition to the example in which both images are displayed side by side in this embodiment, there are cases where both images are superimposed at a set ratio.
  • the image registration unit 10 includes a registration processing unit 11, a registration result memory 12, a captured image generation unit 13, and a registration processing selection unit 14.
  • the alignment processing unit 11 receives a positional deviation adjustment command input from the operation unit 15 by the operator when there is a positional deviation between the ultrasonic image and the reference image associated with each other based on the coordinate conversion equation that is initially set as described above. To adjust the parameters of the coordinate conversion equation. For example, the operator freezes the reference image, changes the position and angle of the ultrasound probe 1, displays a real-time ultrasound image that matches the reference image on the image display unit, and aligns from the operation unit 15. Enter the end command.
  • the alignment processing unit 11 adjusts the parameters of the coordinate conversion formula, and stores the alignment adjustment data in the alignment result memory 12 together with other related alignment data as alignment data.
  • the items of the alignment data stored in the alignment result memory 12 include various conditions related to the alignment, and can be appropriately set as necessary.
  • the alignment result memory 12 stores the alignment adjustment data, the type (modality) of the diagnostic imaging apparatus that captured the reference image, the identification number of the reference image volume data, and the ultrasonic probe (tomographic section) detected by the magnetic sensor.
  • the alignment data output from the alignment processing unit 11 such as the position and angle of the surface
  • the alignment result memory 12 stores correspondence image data (hereinafter referred to as capture image data) of the aligned ultrasonic image and reference image in association with the alignment adjustment data.
  • the capture image generation unit 13 captures the captured image data corresponding to the ultrasonic image and the reference image from the image synthesis unit 3 at the timing when the alignment end command is input from the operation unit 15, and the alignment result is obtained. It is stored in the memory 12.
  • the capture image generation unit 13 generates a capture image that is an alignment comparison image based on the captured image data captured and the capture image data stored in the alignment result memory 12, and A list is displayed on the image display unit 4.
  • the display format of the list can be displayed on the image display unit 4 as a thumbnail image.
  • the image composition unit 3 can display the images together with the ultrasonic image and the reference image at the bottom of the screen of the image display unit 4.
  • the list display is not limited to thumbnail images, and may be any image format as long as it is a mode in which captured images can be confirmed to determine whether alignment is appropriate.
  • the alignment adjustment data can also be displayed on the image display unit 4.
  • the alignment processing selection unit 14 follows the command input from the operation unit 15, that is, according to the alignment data corresponding to one captured image selected from the captured images listed on the image display unit 4 by the operator.
  • a command for performing the alignment process is output to the alignment processing unit 11.
  • the alignment processing unit 11 reads the alignment adjustment data corresponding to the selected captured image from the alignment result memory 12, and obtains the coordinate data of the reference image corresponding to the real-time ultrasonic image, The image is output to the reference image reconstruction unit 6. Thereby, the alignment process according to the alignment result of the captured image selected by the operator is performed.
  • FIG. 2 is a flowchart showing the processing procedure of the image alignment unit 10 according to the first embodiment.
  • the position is adjusted by adjusting the angle (S1). That is, the operator freezes the reference image, changes the position and angle of the ultrasound probe 1, and displays a real-time ultrasound image that matches the reference image on the image display unit.
  • the alignment processing unit 11 acquires position information (position and angle) of the magnetic sensor from the magnetic sensor unit 7 (S2).
  • the alignment processing unit 11 calculates the coordinate data of the real-time ultrasonic image based on the position information of the magnetic sensor, and the coordinate matrix is converted so that the coordinate data of the reference image corresponds to the coordinate data. Alignment calculation for adjusting the parameters is executed (S3). Then, alignment data including parameter adjustment data is stored in the alignment result memory 12 as alignment result data when an operator's alignment end command is input from the operation unit 15 (S4). Further, the capture image generation unit 13 captures capture image data, which is a corresponding image between the ultrasonic image and the reference image after correcting the positional relationship from the image synthesis unit 3, and stores the captured image data in the alignment result memory 12 (S5). Then, the image alignment process is terminated.
  • step S1 the example is described in which the operator freezes the reference image, changes the position and angle of the ultrasound probe 1, and displays a real-time ultrasound image that matches the reference image on the image display unit.
  • the ultrasonic image may be frozen, and the coordinate data of the reference image may be changed to align with the frozen ultrasonic image.
  • the ultrasonic probe 1 is moved to image the diagnosis part of the subject from different positions or angles.
  • the correspondence between the ultrasound image (US image) and the reference image (R image) displayed in real time is shifted as shown in FIG. May occur. Therefore, when the operator determines that the correspondence relationship between the ultrasonic image displayed on the image display unit 4 and the reference image is deviated, the alignment process of FIG. As a result, an R image corresponding to the US image is displayed as shown in FIG.
  • the capture image generation unit 13 generates a capture image based on the capture image data stored in the alignment result memory 12, and the image display unit 4 via the image synthesis unit 3 as shown in FIG. To list. This list display is reduced to the thumbnail image 20 and displayed together with the ultrasonic image and the reference image.
  • the alignment process for obtaining the optimum correspondence between the ultrasonic image and the reference image is repeatedly performed while gradually changing the position and angle of the ultrasonic probe 1. Become.
  • Such an alignment process is complicated in operation and takes a long processing time. Therefore, in this embodiment, as shown in FIG. 2B, by using the past alignment results stored in the alignment result memory 12, it is possible to avoid complicated alignment processing operations.
  • the matching process is simplified and the processing time is shortened. That is, as shown in FIG. 3 (D), among the plurality of thumbnail images 20 displayed as a list on the image display unit 4, there is an appropriate correspondence between the ultrasonic image and the reference image at the operator's discretion. Two thumbnail images are selected (S11). This selection is performed by, for example, adding a mark 21 to the captured image 20 selected by the operation unit 15.
  • the alignment processing selection unit 14 reads out alignment adjustment data corresponding to one captured image selected by the operator from the alignment result memory 12 in accordance with a command input from the operation unit 15 ( S12) and output to the alignment processing unit 11.
  • the alignment processing unit 11 obtains reference image coordinate data corresponding to a real-time ultrasonic image in accordance with the input alignment adjustment data. Then, the obtained coordinate data of the reference image is output to the reference image reconstruction unit 6, and the reference image corresponding to the selected capture image is reconstructed and displayed on the image display unit 4 (S13).
  • the previous captured image is selected by selecting the corresponding captured image. Results can be quickly restored. As a result, it is possible to avoid the complicated alignment processing operation, simplify the alignment processing, and shorten the processing time.
  • the alignment processing selection unit 14 may select the alignment result stored in the alignment result memory 12 based on the detected value of at least one of the position and angle of the ultrasound probe 1. it can.
  • the alignment processing unit 11 can be formed with a function of displaying the alignment adjustment data on the image display unit 4.
  • FIG. 4 is a flowchart showing the processing procedure of the image alignment unit 10 according to the second embodiment.
  • the operator determines that the real-time ultrasonic image (US image) displayed on the image display unit 4 and the reference image (R image) are shifted as shown in FIG. 5A. This is the process to be performed.
  • Steps S21 to S24 and S26 in FIG. 4A correspond to steps S1 to S4 and S5 in FIG.
  • FIG. 5B shows an ultrasonic image (US image) and a reference image (R image) aligned according to the second embodiment.
  • the present embodiment is different from the first embodiment in that the position information of the magnetic sensor is stored in the alignment result memory 12 (S25), the volume data identification number of the reference image to be aligned, and the reference image Is stored in the alignment result memory 12 (S27), and the image alignment process is terminated.
  • FIG. 4B shows the position of the ultrasonic image 1 and the reference image obtained while changing the position and angle of the ultrasonic probe 1 little by little in the course of performing the image alignment process.
  • This is a processing procedure when the alignment processing is repeated, and corresponds to FIG. 2B of the first embodiment.
  • step S31 the ultrasonic probe 1 to which the magnetic sensor is attached by the operation of the operator is moved in the same manner as in the first embodiment.
  • the alignment processing unit 11 acquires position information (position and angle) of the magnetic sensor (S32).
  • step 33 the alignment result stored in the alignment result memory 12 is filtered based on the position information of the magnetic sensor acquired in step S32, the identification number and modality of the volume data of the reference image currently being operated. .
  • step S34 as shown in FIG. 5C, a mark 21 is attached to the captured image 20 selected by the operator from the filtered alignment results. Then, the alignment result of the captured image marked with the mark 21 by the alignment processing selection unit 14 is read from the alignment result memory 12 and output to the alignment processing unit 11.
  • the alignment processing unit 11 obtains the coordinate data of the reference image corresponding to the real-time ultrasonic image according to the input alignment data. Then, the obtained coordinate data of the reference image is output to the reference image reconstruction unit 6 to reconstruct the reference image corresponding to the selected captured image, and as shown in FIG. To display.
  • the registration processing selection unit 14 of the present embodiment stores the type (modality) of another diagnostic imaging apparatus that has captured the reference image and the registration result memory 12 corresponding to the volume data identification number of the reference image. A list of captured images is displayed by extracting the alignment result.
  • FIG. 6 is a flowchart showing the processing procedure of the image alignment unit 10 according to the third embodiment.
  • the procedure related to the alignment processing of the present embodiment is the same as that of the second embodiment, and therefore, the same reference numerals are given to the respective steps and the description thereof is omitted.
  • Steps S41, S42, and S46 of FIG. 6B are the same as the processes of S31, S32, and S35 of FIG.
  • This embodiment is different from the second embodiment in steps S43, S44, and S45 in the flowchart of FIG. 6B. That is, after acquiring the position information of the magnetic sensor in step S42, the alignment processing unit 11 uses the alignment result stored in the alignment result memory 12 based on the command input from the operation unit 15. It is determined whether or not to perform filtering (S43). In the case of filtering, filtering is performed based on the identification number and modality of the volume data currently being operated and the volume number and modality stored in step S27 (S44).
  • step S45 the alignment result memory 12 is searched, and the position information of the magnetic sensor acquired in step S22 and the position information of the magnetic sensor acquired in step S22 are obtained. Compare and read the alignment result from the smallest comparison result.
  • the alignment processing selection unit 14 detects the detected value of at least one of the position and angle of the ultrasonic probe 1 and the ultrasonic probe of the alignment result stored in the alignment result memory 12. The position of the child 1 is compared with the detected value of the angle, and the alignment result corresponding to the detected value with a small difference is selected.
  • the alignment processing unit 11 obtains the coordinate data of the reference image corresponding to the real-time ultrasonic image according to the read alignment result, and outputs the coordinate data to the reference image reconstruction unit 6, and the reference image reconstruction unit 6
  • the reconstructed reference image is displayed on the image display unit 4.
  • FIG. 7A shows an example of a table of alignment result data that is alignment data stored in the alignment result memory 12 according to the third embodiment.
  • volume data identification number n, modality m, magnetic sensor position pi, and alignment adjustment data f (pi) are stored.
  • i is a natural number, for example, assigned as a serial number.
  • the magnetic sensor position pi acquired and stored in step S22 of FIG. 6A is acquired a plurality of times as necessary. Then, the comparison between the current magnetic sensor position pi 'acquired in step S42 in FIG. 6B and pi in step S45 is compared with all p1 to p11 stored in the alignment result memory 12.
  • the alignment processing unit 11 reads the alignment adjustment data f (pi) corresponding to the minimum value pi of the comparison result, and executes the alignment process according to the alignment adjustment data f (pi). As a result, the US image and the R image which are shifted as shown in FIG. 7B are aligned with each other as shown in FIG.
  • FIG. 8 is a flowchart showing the processing procedure of the image alignment unit 10 according to the fourth embodiment.
  • a GUI graphics user
  • steps S51 to S53 are the same processes as S1 to S3 in the first embodiment of FIG.
  • the magnetic field state parameter when the ultrasonic probe 1 is operated and aligned is acquired, and the acquired magnetic field state parameter is stored in the alignment result memory 12. (S54).
  • the magnetic field state parameter for example, a plurality of magnetic sensors are attached to the ultrasonic probe 1, and the distance between the magnetic sensors is continuously calculated.
  • the distance can be used as a magnetic field state parameter, and it can be determined that the magnetic field is disturbed when the magnetic field state parameter is small or large.
  • the alignment processing unit 11 stores the input or obtained magnetic field state parameter in the alignment result memory 12.
  • the alignment processing unit 11 executes the process as shown in the flowchart of FIG. That is, in step S61, the operator moves the ultrasonic probe 1 to which the magnetic sensor is attached, and aligns the ultrasonic image with the frozen reference image as in the first embodiment.
  • the alignment processing unit 11 acquires a magnetic field state parameter (S62). Then, the one or more magnetic field state parameters stored in the alignment result memory 12 are compared with the magnetic field state parameters acquired in step S62, and it is determined whether or not the comparison result exceeds a predetermined threshold value. (S63).
  • the process ends as it is, and if the threshold value is exceeded, a message prompting to perform the alignment process again is displayed as shown in FIG. Displayed on the GUI provided in the operation unit 15, and the process is terminated.
  • FIG. 9 illustrates a specific example in which the suitability of the alignment process is determined based on the magnetic field state parameters of the fourth embodiment.
  • the magnetic field state parameter Pi at that time is stored in a table in correspondence with the alignment number i (continuous number) that is the identification number of the alignment process. Is done. That is, FIG. 9B shows the alignment in different areas 1, 2, and 3, and the alignment numbers 1, 2, and 3 are assigned to the respective areas.
  • the fourth embodiment when the magnetic field formed by the magnetic sensor unit 7 is disturbed, a message prompting to perform the alignment process again is displayed. By deleting the alignment result from the alignment result memory 12, appropriate alignment processing can be performed.
  • FIG. 10 is a flowchart showing the processing procedure of the image alignment unit 10 of the fifth embodiment.
  • Steps S71 to S75 in FIG. 6A are the same as S1 to S5 in the first embodiment, and thus the description thereof is omitted.
  • This embodiment is characterized by the process in step S76. That is, in this embodiment, although not shown, a three-dimensional (3D) body mark image is generated and displayed on the image display unit 4 based on the volume data of the reference image. In particular, a 3D body mark image displaying the cross-sectional position of the reference image after alignment is stored in the alignment result memory 12.
  • FIG. 11A shows a captured image of the alignment result
  • FIG. 11B shows a 3D body mark image of the ultrasonic probe 1 and a simulated image 25 representing the cross-sectional position.
  • a list of captured images and thumbnail images 20 of 3D body mark images are displayed.
  • FIG. 10B by selecting a capture image and a 3D body mark image displayed on the image display unit 4 (S81), FIG. As shown, the selected image 25 is displayed in an enlarged size (S82).

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

【課題】画像位置合せ処理を簡単化でき、その処理時間を短縮する。 【解決手段】超音波探触子で受信された被検体の断層面の反射エコー信号に基づいて生成された超音波画像（ＵＳ像）と、他の画像診断装置で撮像されたリファレンス画像（Ｒ像）との位置合せ処理を行って画像表示部の表示画面２２に表示し、位置合せ処理の複数の結果を位置合せデータ及びキャプチャ画像２０と共に保存し、保存されたキャプチャ画像２０を表示画面２２に一覧表示し、表示されたキャプチャ画像２０の１つが選択されたとき、選択目印２１が付されたキャプチャ画像２０の位置合せデータにより位置合せ処理を行うことを特徴とする。

Description

画像位置合せ表示方法及び超音波診断装置
　本発明は、画像位置合せ表示方法及び超音波診断装置に係り、異なる画像診断装置により撮像された診断画像の位置を合わせて表示画面に表示する画像位置合せ表示方法及び超音波診断装置に関する。
　画像診断の分野では、診断あるいは手術などを支援するため、超音波診断装置によりリアルタイムで取得される超音波画像と、他の画像診断装置で被検体の同一部位を撮像したリファレンス画像とを対比又は重ねて表示することが行われている。例えば、特許文献１及び特許文献２に、超音波画像とリファレンス画像の位置合せを行う方法が記載され、特に、超音波画像とリファレン画像の位置を合わせても、被検体が体動又は呼吸などにより移動すると位置合せがずれるので、それらの画像の位置合せを再度行うことが提案されている。
特開２００８―２４６２６４号公報 特開２００９―９０１２０号公報
　しかし、ある診断部位における画像の位置合せが適切であっても、診断部位を異なる位置に移動すると位置合せがずれる場合がしばしばある。その場合、診断部位の移動のたびに画像の位置合せをその都度行うことになるが、特許文献１，２には、位置合せ処理の煩雑さを解消すること、及び時間を短縮することについて、改善の余地がある。
　本発明が解決しようとする課題は、画像の位置合せ処理を簡単化でき、その処理時間を短縮することにある。
　上記の課題を解決するため、本発明の画像位置合せ表示方法は、超音波探触子で受信された被検体の断層面の反射エコー信号に基づいて生成された超音波画像と、他の画像診断装置で撮像されたリファレンス画像との位置合せ処理を行って画像表示部に表示し、前記位置合せ処理の複数の位置合せ結果を位置合せデータ及び位置合せ対応画像と共に保存し、保存された前記位置合せ対応画像を前記画像表示部に一覧表示し、表示された前記位置合せ対応画像の１つが選択されたとき、選択された前記位置合せ対応画像に対応する前記位置合せデータにより前記位置合せ処理を行うことを特徴とする。
　本発明によれば、画像の位置合せの処理を簡単化でき、その処理時間を短縮することができる。
本発明の画像位置合せ表示方法を適用した一実施形態のブロック構成図である。 本発明の実施例１の画像位置合せ表示方法のフローチャートである。 実施例１の動作を説明する図である。 本発明の実施例２の画像位置合せ表示方法のフローチャートである。 実施例２の動作を説明する図である。 本発明の実施例３の画像位置合せ表示方法のフローチャートである。 実施例３の動作を説明する図である。 本発明の実施例４の画像位置合せ表示方法のフローチャートである。 実施例４の動作を説明する図である。 本発明の実施例５の画像位置合せ表示方法のフローチャートである。 実施例５の動作を説明する図である。
　以下、本発明の画像位置合せ表示方法及びその方法を適用した超音波診断装置の実施形態及び実施例に基づいて説明する。図１は、本発明の超音波診断装置の一実施形態のブロック構成図である。図示のように、超音波探触子１で受信された被検体の断層面の反射エコー信号に基づいて、リアルタイムで超音波画像を生成する超音波画像再構成部２と、超音波画像再構成部２で生成された超音波画像を他の画像と合成する画像合成部３と、合成された画像を表示する画像表示部４を備えている。また、他の画像診断装置で撮像されたリファレンス画像のボリュームデータが格納されるボリュームデータメモリ５と、ボリュームデータメモリ５から超音波画像に対応したリファレンス画像データを読み出してリファレンス画像を生成するリファレンス画像再構成部６を備えている。ここで、他の画像診断装置には、Ｘ線診断装置、ＭＲＩ診断装置、ＣＴ診断装置、超音波診断装置又はＰＥＴ診断装置などの種々のモダリティを適用することができる。ボリュームデータは、被検体の診断部位について平行な複数の断層面で撮像した複数の断層画像データで構築されている。このボリュームデータは、図示していない他の画像診断装置から信号伝送路又は記憶媒体を介してボリュームデータメモリ５に格納される。
　磁気センサユニット７は、本実施形態の超音波診断装置により画像診断される被検体を含む空間に磁場を発生させる磁場発生装置と、超音波探触子１に取り付けられた磁気センサとから構成されている。磁気センサユニット７は、超音波探触子１の位置及び傾き角度（以下、単に角度という。）を検出して、画像位置合せ部１０の位置合せ処理部１１に入力するようになっている。
　位置合せ処理部１１は、入力される超音波探触子１の位置及び角度に基づいて、超音波探触子１が被検体内に形成する断層面（スキャン面ないし走査面）の位置及び傾き角度（以下、単に角度という。）を算出するようになっている。算出した断層面の位置及び角度に基づいて、画像表示部４に表示されているリアルタイムの超音波画像の座標データを算出する。次いで、予め設定されている画像位置合せ用の座標変換式を用いて超音波画像に対応するリファレンス画像の座標データを計算する。すなわち、周知のように、超音波診断装置の座標系と、リファレンス画像を撮像した他の画像診断装置の座標系は、それぞれ被検体を基準にして対応付けて設定されている。そして、２つの画像診断装置の座標系を対応付けるために、対応させる２つの座標データを双方向に変換する座標変換式が設定されている。
　リファレンス画像再構成部６は、位置合せ処理部１１で求められたリファレンス画像の座標データに対応するリファレンス画像データを、ボリュームデータメモリ５から読み出し、リファレンス画像を生成して画像合成部３に出力する。画像合成部３は超音波画像再構成部２から出力される超音波画像と、リファレンス画像再構成部６から出力されるリファレンス画像とを合成して画像表示部４に表示させる。画像合成は、本実施形態では両画像を並べて表示する例の他、両画像を設定された比率で重ねて合成する場合もある。
　次に、本実施形態の特徴部に関連する構成を説明する。画像位置合せ部１０は、位置合せ処理部１１と、位置合せ結果メモリ１２と、キャプチャ画像生成部１３と、位置合せ処理選択部１４を備えて構成される。位置合せ処理部１１は、前述のように初期設定された座標変換式に基づいて対応付けた超音波画像とリファレンス画像に位置ずれがある場合、操作者が操作部１５から入力する位置ずれ調整指令に従って、座標変換式のパラメータを調整する。例えば、操作者はリファレンス画像をフリーズさせ、超音波探触子１の位置及び角度を変えて、リファレンス画像に一致するリアルタイムの超音波像を画像表示部に表示させて、操作部１５から位置合せの終了指令を入力する。これにより、位置合せ処理部１１は、座標変換式のパラメータ等の調整を行い、その位置合せ調整データを位置合せデータとして、関連する他の位置合せデータと共に、位置合せ結果メモリ１２に保存する。ここで、位置合せ結果メモリ１２に保存する位置合せデータの項目には、位置合せに関係する種々の条件を含み、必要に応じて適宜設定することができる。
　例えば、位置合せ結果メモリ１２には、位置合せ調整データ、リファレンス画像を撮像した画像診断装置の種類（モダリティ）、リファレンス画像ボリュームデータの識別番号、磁気センサにより検出された超音波探触子（断層面）の位置及び角度など、位置合せ処理部１１から出力される位置合せデータを保存することができる。さらに、位置合せ結果メモリ１２には、位置合せ調整データに対応付けて、位置合せされた超音波画像とリファレンス画像の対応画像データ（以下、キャプチャ画像データという。）を保存する。キャプチャ画像データは、操作部１５から位置合せの終了指令が入力されたタイミングで、キャプチャ画像生成部１３が画像合成部３から超音波画像とリファレンス画像の対応するキャプチャ画像データを取り込み、位置合せ結果メモリ１２に保存するようになっている。
　また、キャプチャ画像生成部１３は、取り込んだキャプチャ画像データ及び位置合せ結果メモリ１２に保存されているキャプチャ画像データに基づいて、位置合せ対比画像であるキャプチャ画像を生成し、画像合成部３を介して画像表示部４に一覧表示するようになっている。一覧の表示形式は、サムネイル画像により画像表示部４に表示することができる。サムネイル画像を一覧表示する場合は、画像合成部３は、超音波画像とリファレンス画像と共に画像表示部４の画面の下部に並べて表示することができる。しかし、一覧表示は、サムネイル画像に限られるものではなく、要はキャプチャ画像を確認して位置合せの適否を判断できる態様であれば、任意の画像形式でよい。また、画像表示部４の下部に限らず、表示位置を適宜選定することができる。さらに位置合せ調整データを併せて画像表示部４に表示することもできる。
　一方、位置合せ処理選択部１４は、操作部１５から入力される指令に従って、つまり操作者が画像表示部４に一覧表示されたキャプチャ画像から選択した１つのキャプチャ画像に対応する位置合せデータに従って、位置合せ処理を行わせる指令を位置合せ処理部１１に出力する。これに応答して、位置合せ処理部１１は、選択されたキャプチャ画像に対応する位置合せ調整データを位置合せ結果メモリ１２から読み出して、リアルタイムの超音波画像に対応したリファレンス画像の座標データを、リファレンス画像再構成部６に出力する。これにより、操作者が選択したキャプチャ画像の位置合せ結果に従った位置合せ処理を行うようになっている。
　このように構成される一実施形態の超音波診断装置の画像位置合せ部１０について、詳細な構成及び動作を実施例に分けて説明する。
　図２に、実施例１の画像位置合せ部１０の処理手順をフローチャートにして示す。操作者が画像表示部４に表示されたリアルタイムの超音波画像とリアルタイム画像がずれていると判断した場合、同図（Ａ）に示すように、操作者が超音波探触子１の位置と角度を調整して位置合せを行う（Ｓ１）。すなわち、操作者はリファレンス画像をフリーズさせ、超音波探触子１の位置及び角度を変えて、リファレンス画像に一致するリアルタイムの超音波像を画像表示部に表示させる。位置合せ処理部１１は、磁気センサユニット７から磁気センサの位置情報（位置及び角度）を取得する（Ｓ２）。次いで、位置合せ処理部１１は、磁気センサの位置情報に基づいてリアルタイムの超音波画像の座標データを算出し、その座標データにリファレンス画像の座標データが対応するように、座標変換式の変換行列のパラメータを調整する位置合せ計算を実行する（Ｓ３）。そして、操作部１５から操作者の位置合せの終了指令が入力されたときの位置合せ結果データとしてパラメータ調整データを含む位置合せデータを位置合せ結果メモリ１２に保存する（Ｓ４）。さらに、キャプチャ画像生成部１３は、画像合成部３から位置関係を補正した後の超音波画像とリファレンス画像の対応画像であるキャプチャ画像データを取り込み、位置合せ結果メモリ１２に保存して（Ｓ５）、画像位置合せ処理を終了する。
　なお、ステップＳ１において、操作者がリファレンス画像をフリーズさせ、超音波探触子１の位置及び角度を変えて、リファレンス画像に一致するリアルタイムの超音波画像を画像表示部に表示させる例で説明したが、逆に、超音波画像をフリーズし、リファレンス画像の座標データを変更してフリーズされた超音波画像に位置合せするようにしてもよい。
　通常、超音波探触子１を移動して被検体の診断部位を異なる位置あるいは角度から撮像することがある。しかし、超音波探触子１の位置及び角度が変わると、図３（Ａ）に示すようにリアルタイムで表示される超音波画像（ＵＳ像）とリファレンス画像（Ｒ像）との対応関係にずれが生じることがある。そこで、操作者が画像表示部４に表示された超音波画像とリファレンス画像の対応関係がずれていると判断したとき、図２（Ａ）の位置合せ処理を実行する。これにより、図３（Ｂ）に示すように、ＵＳ像に対応したＲ像が表示される。
　このようにして、位置合せ処理を実行する度に、位置合せ調整データとキャプチャ画像データが位置合せ結果メモリ１２に保存される。キャプチャ画像生成部１３は、位置合せ結果メモリ１２に保存されているキャプチャ画像データに基づいてキャプチャ画像を生成し、図３（Ｃ）に示すように、画像合成部３を介して画像表示部４に一覧表示する。この一覧表示は、サムネイル画像２０に縮小して超音波画像とリファレンス画像と共に表示する。
　ところで、画像の位置合せ処理を行う過程で、少しずつ超音波探触子１の位置及び角度を変えながら、超音波画像とリファレンス画像との最適な対応関係を求める位置合せ処理を繰り返し行うことになる。このような位置合せ処理は、操作が煩雑で、処理時間もかかる。そこで、本実施例では、図２（Ｂ）に示すように、位置合せ結果メモリ１２に保存されている過去の位置合せ結果を利用することにより、煩雑な位置合せ処理の操作を回避して位置合せ処理を簡単化するとともに、処理時間を短縮するようにしている。すなわち、図３（Ｄ）に示すように、画像表示部４に一覧表示されている複数のサムネイル画像２０の中から、操作者の判断で適切な超音波画像とリファレンス画像の対応関係にある１つのサムネイル画像を選択する（Ｓ１１）。この選択は、操作部１５により選択したキャプチャ画像２０に、例えば目印２１を付けることにより行う。
　これに応答して、位置合せ処理選択部１４は、操作部１５から入力される指令に従って、操作者が選択した１つのキャプチャ画像に対応する位置合せ調整データを位置合せ結果メモリ１２から読み出して（Ｓ１２）、位置合せ処理部１１に出力する。位置合せ処理部１１は、入力される位置合せ調整データに従って、リアルタイムの超音波画像に対応したリファレンス画像の座標データを求める。そして、求めたリファレンス画像の座標データをリファレンス画像再構成部６に出力して、選択したキャプチャ画像に対応するリファレンス画像を再構成して画像表示部４に表示する（Ｓ１３）。
　本実施例によれば、画像の位置合せ処理を行う過程で、操作者が前回行った位置合せ結果が適切であると判断したとき、それに対応するキャプチャ画像を選択することにより、前回の位置合せ結果に速やかに復元することができる。その結果、煩雑な位置合せ処理の操作を回避して、位置合せ処理を簡単化できるとともに、処理時間を短縮することができる。
　本実施例では、操作者が選択したキャプチャ画像に対応する位置合せ調整データに基づいて位置合せ処理を行う例を説明した。しかし、位置合せ処理選択部１４は、超音波探触子１の位置と角度の少なくとも一方の検出値に基づいて、位置合せ結果メモリ１２に保存された位置合せ結果を選択するようにすることができる。また、位置合せ処理部１１は、位置合せ調整データを画像表示部４に表示する機能を備えて形成することができる。
　図４に、実施例２の画像位置合せ部１０の処理手順をフローチャートにして示す。図４（Ａ）は、操作者が画像表示部４に表示されたリアルタイムの超音波画像（ＵＳ像）とリファレンス画像（Ｒ像）が、図５（Ａ）のように、ずれていると判断した場合に行う処理である。図４（Ａ）のステップＳ２１～Ｓ２4、Ｓ２６は、それぞれ図２のステップＳ１～Ｓ４、Ｓ５対応することから、詳細な説明を省略する。また、図５（Ｂ）は、実施例２による位置合せされた超音波画像（ＵＳ像）とリファレンス画像（Ｒ像）を示している。
　本実施例が実施例１と異なる点は、磁気センサの位置情報を位置合せ結果メモリ１２に保存すること（Ｓ２５）、及び、位置合せ操作対象のリファレンス画像のボリュームデータの識別番号と、リファレンス画像を撮像したモダリティの種類を位置合せ結果メモリ１２に保存して（Ｓ２７）、画像位置合せ処理を終了することである。
　図４（Ｂ）は、画像の位置合せ処理を行う過程で、少しずつ超音波探触子１の位置及び角度を変えながら、超音波画像とリファレンス画像との最適な対応関係を求めて、位置合せ処理を繰り返し行う場合の処理手順であり、実施例１の図２（Ｂ）に対応する処理である。ステップＳ３１で、操作者の操作により磁気センサが貼り付けられている超音波探触子１を移動させることは、実施例１と同じである。次いで、位置合せ処理部１１は、磁気センサの位置情報（位置及び角度）を取得する（Ｓ３２）。そして、ステップ３３において、ステップＳ３２で取得した磁気センサの位置情報と、現在操作中のリファレンス画像のボリュームデータの識別番号、モダリティにより、位置合せ結果メモリ１２に保存されている位置合せ結果をフィルタリングする。すなわち、ボリュームデータの識別番号とモダリティが同じで、磁気センサの位置情報が一定の許容範囲内にある位置合せ結果を抽出する。次いで、ステップＳ３４において、図５（Ｃ）に示すように、フィルタリングされた位置合せ結果の中から操作者により選択されたキャプチャ画像２０に目印２１を付ける。そして、位置合せ処理選択部１４により目印２１が付されたキャプチャ画像の位置合わせ結果を位置合せ結果メモリ１２から読み出して、位置合せ処理部１１に出力する。位置合せ処理部１１は、入力される位置合せデータに従って、リアルタイムの超音波画像に対応したリファレンス画像の座標データを求める。そして、求めたリファレンス画像の座標データをリファレンス画像再構成部６に出力して、選択したキャプチャ画像に対応するリファレンス画像を再構成して、図５（Ｄ）に示すように、画像表示部４に表示する。
　このように構成されることから、実施例２によれば、過去に保存された複数の位置合せ結果を利用するに際し、磁気センサの位置情報と、ボリュームデータの識別番号及びモダリティによりフィルタリングして、フィルタリングされた位置合せ結果のキャプチャ画像を一覧表示しているから、操作者の位置合せ処理が容易になる。すなわち、本実施例の位置合せ処理選択部１４は、リファレンス画像を撮像した他の画像診断装置の種類（モダリティ）及びリファレンス画像のボリュームデータの識別番号が対応する位置合せ結果メモリ１２に保存された位置合せ結果を抽出してキャプチャ画像を一覧表示するようにしている。
　図６に、実施例３の画像位置合せ部１０の処理手順をフローチャートにして示す。図６（Ａ）に示すように、本実施例の位置合せ処理に係る手順は、実施例２と同一であることから、各ステップに同一の符号を付して説明を省略する。図６（Ｂ）のステップＳ４１，Ｓ４２,Ｓ４６は、それぞれ実施例２の図４（Ｂ）のＳ３１、Ｓ３２、Ｓ３５の処理と同一である。本実施例が実施例２と相違する点は、図６（Ｂ）のフローチャートのステップＳ４３、S４４，Ｓ４５にある。すなわち、ステップＳ４２で磁気センサの位置情報を取得した後、位置合せ処理部１１は、操作部１５から入力される指令に基づいて、位置合せ結果メモリ１２に保存されている位置合せ結果を利用するフィルタリングをするか否かの判断する（Ｓ４３）。フィルタリングする場合は、現在操作中のボリュームデータの識別番号、モダリティ及びステップＳ２７で保存したボリューム番号、モダリティでフィルタリングする（Ｓ４４）。
　そして、フィルタリングした場合も、フィルタリングしない場合も、ステップＳ４５に進み、位置合せ結果メモリ１２を検索して、ステップＳ４２で取得した磁気センサの位置情報と、ステップＳ２２で取得した磁気センサの位置情報を比較し、比較結果が最も小さいものから、位置合わせ結果を読み出す。すなわち、本実施例では、位置合せ処理選択部１４は、超音波探触子１の位置と角度の少なくとも一方の検出値と、位置合せ結果メモリ１２に保存された位置合せ結果の超音波探触子１の位置と角度の検出値を比較して、差が小さい検出値に対応する位置合せ結果を選択する。そして、位置合せ処理部１１は、読み出された位置合わせ結果に従って、リアルタイムの超音波画像に対応したリファレンス画像の座標データを求めてリファレンス画像再構成部６に出力し、リファレンス画像再構成部６で再構成されたリファレンス画像を画像表示部４に表示する。
　本実施例３により、位置合わせ結果メモリ１２に保存された位置合せデータである位置合せ結果データのテーブルの一例を図７（Ａ）に示す。図示のように、ボリュームデータの識別番号ｎと、モダリティｍと、磁気センサ位置ｐiと、位置合せ調整データｆ（ｐi）が保存されている。ここで、iは自然数であり、例えば連続番号として付される。図６（Ａ）のステップＳ２２で取得されて保存されている磁気センサ位置ｐiは、必要に応じて複数回取得する。そして、図６（Ｂ）のステップＳ４２で取得される現在の磁気センサ位置ｐi′とステップＳ４５におけるｐｉとの比較は、位置合せ結果メモリ１２に保存されている全てのｐ１～ｐ１１と比較する。しかし、モダリティｍでフィルタリングするときは、モダリティｍがＣＴのときは、ｐ１～ｐ３と比較する。そして、位置合せ処理部１１は、比較の結果が最小値のｐｉに対応する位置合せ調整データｆ（ｐi）を読み出し、この位置合せ調整データｆ（ｐi）に従って、位置合せ処理を実行する。その結果、図７（Ｂ）に示すようにずれていたＵＳ像とＲ像が、同図（Ｃ）に示すようにＵＳ像とＲ像の位置が合わせられる。
　図８に、実施例４の画像位置合せ部１０の処理手順をフローチャートにして示す。本実施例は、磁気センサユニット７の磁場状態を判定し、磁場状態が不適切な場合に行った位置合せ処理を再度行わせるメッセージを画像表示部４又は操作部１５に設けたＧＵＩ（グラフィック　ユーザ　インターフェイス）に表示することを特徴とする。すなわち、図８（Ａ）に示すように、ステップＳ５１～Ｓ５３までは、図２の実施例１のＳ１～Ｓ３と同一の処理である。そして、本実施例４では、ステップＳ５１において、超音波探触子１を操作して位置合わせを行った際の磁場状態パラメータを取得し、取得した磁場状態パラメータを位置合せ結果メモリ１２に保存する（Ｓ５４）。ここで、磁場状態パラメータは、例えば、複数個の磁気センサを超音波探触子１に貼り付けておき、その磁気センサ間の距離を常に計算し続けておく。そして、その距離を磁場状態パラメータとし、磁場状態パラメータが小さく又は大きくなると磁場が乱れていると判定するようにすることができる。そして、位置合せ処理部１１は、入力される又は求めた磁場状態パラメータを位置合せ結果メモリ１２に保存する。
　次に、位置合せ処理を行うときは、位置合せ処理部１１は、図８（Ｂ）のフローチャートのように処理を実行する。すなわち、ステップＳ６１において、操作者が磁気センサが貼り付けられている超音波探触子１を移動させて、実施例１と同様に超音波画像をフリーズされているリファレンス画像に位置合わせする。次いで、位置合せ処理部１１は、磁場状態パラメータを取得する（Ｓ６２）。そして、位置合せ結果メモリ１２に保存しておいた１つ又は複数の磁場状態パラメータと、ステップＳ６２で取得した磁場状態パラメータとを比較し、比較結果が予め定めた閾値を越えるか否か判定する（Ｓ６３）。この判定で、閾値を越えない場合は、そのまま終了し、閾値を越えた場合は、図９（Ｃ）に示すように、位置合わせ処理を再度実施することを促すメッセージを、画像表示部４又は操作部１５に設けたＧＵＩに表示して処理を終了する。
　図９に、実施例４の磁場状態パラメータに基づいて位置合わせ処理の適否を判定するようにした具体例を説明する。位置合せ結果メモリ１２には、図９（Ａ）に示すように、位置合せ処理の識別番号である位置合せ番号i（連続番号）に対応させて、そのときの磁場状態パラメータＰiがテーブルに保存される。つまり、図９（Ｂ）は、異なる領域１，２，３で位置合わせを行い、各領域に合わせて位置合せ番号１，２，３を付して示している。そして、超音波探触子１がＰ′の領域に移動されたとき、Ｐ′の領域の磁場が悪い場合、位置合わせ処理を再度実施することを促すメッセージを表示する。例えば、図９（Ｂ）の領域１に超音波探触子１が存在しているときに漏洩磁場などが発生した場合においても、領域２、３の磁場パラメータの比較結果が閾値を越える場合は、位置合わせ処理を再度実施することを促すメッセージを表示する。
　本実施例４によれば、磁気センサユニット７により形成される磁場が乱れた場合、位置合わせ処理を再度実施することを促すメッセージを表示されるから、磁場が乱れたときに位置合わせをした位置合せ結果を位置合せ結果メモリ１２から削除することにより、適正な位置合せ処理を行うことができる。
　図１０に、実施例５の画像位置合せ部１０の処理手順をフローチャートにして示す。同図（Ａ）のステップＳ７１～Ｓ７５は、実施例１のＳ１～Ｓ５と同一であるから、説明を省略する。本実施例は、ステップＳ７６の処理に特徴がある。すなわち、本実施例では、図示していないが、リファレンス画像のボリュームデータに基づいて、三次元（３Ｄ）ボディマーク画像を生成して画像表示部４に表示するようになっている。特に、位置合せ後のリファレンス画像の断面位置を表示している３Ｄボディマーク画像を、位置合せ結果メモリ１２に保存するようにしている。図１１（Ａ）に位置合せ結果のキャプチャ画像を示し、同図（Ｂ）に３Ｄボディマーク画像に超音波探触子１及び断面位置を表す模擬画像２５を示す。また、同図（Ｃ）に示すように、キャプチャ画像と３Ｄボディマーク画像のサムネイル画像２０が一覧表示される。
　このように構成されることから、図１０（Ｂ）に示すように、画像表示部４に表示されているキャプチャ画像、３Ｄボディマーク画像を選択することにより（Ｓ８1）、図１１（Ｄ）に示すように、選択された画像２５が任意の大きさに拡大して表示されるようになっている（Ｓ８２）。
　１　超音波探触子
　２　超音波画像再構成部
　３　画像合成部
　４　画像表示部
　５　リファレンス画像ボリュームデータメモリ
　６　リファレンス画像再構成部
　７　磁気センサユニット
　１０　画像位置合せ部
　１１　位置合せ処理部
　１２　位置合せ結果メモリ
　１３　キャプチャ画像生成部
　１４　位置合せ処理選択部
　１５　操作部
 

Claims (12)

  1. 　超音波探触子で受信された被検体の断層面の反射エコー信号に基づいて生成された超音波画像と、他の画像診断装置で撮像されたリファレンス画像との位置合せ処理を行って画像表示部に表示し、前記位置合せ処理の複数の位置合せ結果を位置合せデータ及び位置合せ対応画像と共に保存し、保存された前記位置合せ対応画像に対応する前記位置合せデータにより前記位置合せ処理を行うようにしてなる画像位置合せ表示方法。
  2. 　前記保存された前記位置合せ対応画像を前記画像表示部に一覧表示し、表示された前記位置合せ対応画像の１つが選択されたとき、選択された前記位置合せ対応画像に対応する前記位置合せデータにより前記位置合せ処理を行うようにしてなる請求項１に記載の画像位置合せ表示方法。
  3. 　前記位置合せデータは、前記超音波画像と前記リファレンス画像の座標データを双方向に変換する予め設定された座標変換式のパラメータを調整して、前記位置合せ処理を行ったパラメータ調整データを含むことを特徴とする請求項１に記載の画像位置合せ表示方法。
  4. 　前記位置合せデータは、磁気センサにより検出される前記超音波探触子の位置と傾き角度の検出値を含んでおり、
    　前記位置合せ処理は、前記超音波探触子の位置と傾き角度の少なくとも一方の検出値に対応する前記位置合せデータにより前記位置合せ処理を行うようにしてなることを特徴とする請求項１に記載の画像位置合せ表示方法。
  5. 　超音波探触子で受信された被検体の断層面の反射エコー信号に基づいて超音波画像を生成する超音波画像再構成部と、他の画像診断装置で撮像されたリファレンス画像のボリュームデータが格納されたボリュームデータメモリと、位置合せデータに基づいて前記超音波画像に対応する前記リファレンス画像の座標データを求める位置合せ処理部と、前記ボリュームデータメモリから前記位置合せ処理部により求めた座標データに対応するリファレンス画像データを読み出してリファレンス画像を生成するリファレンス画像再構成部と、前記超音波画像と前記リファレンス画像を表示する画像表示部とを備え、
    　前記位置合せ処理部の複数の位置合せ結果を位置合せデータ及び位置合せ対応画像と共に保存する位置合せ結果メモリを有し、
    　前記位置合せ処理部は、前記位置合せ結果メモリに記憶された前記位置合せ対応画像に対応する前記位置合せデータにより前記位置合せ処理を行うようにしてなる超音波診断装置。
  6. 　前記位置合せ結果メモリに保存された前記位置合せ対応画像を前記画像表示部に一覧表示する位置合せ対応画像生成部と、一覧表示された前記位置合せ対応画像の一つを選択する位置合せ処理選択部とを有し、
    　前記位置合せ処理部は、前記位置合せ処理選択部により選択された前記位置合せ対応画像に対応する前記位置合せデータにより前記位置合せ処理を行うようにしてなる請求項５に記載の超音波診断装置。
  7. 　前記位置合せデータは、前記超音波画像と前記リファレンス画像の座標データを双方向に変換する予め設定された座標変換式のパラメータを調整して、前記位置合せ処理を行ったパラメータ調整データを含むことを特徴とする請求項５に記載の超音波診断装置。
  8. 　前記位置合せデータは、磁気センサにより検出される前記超音波探触子の位置と傾き角度の検出値を含んでおり、
    　前記位置合せ処理選択部は、前記超音波探触子の位置と傾き角度の少なくとも一方の検出値に基づいて、前記位置合せ結果メモリに保存された前記位置合せデータを選択することを特徴とする請求項５に記載の超音波診断装置。
  9. 　前記位置合せ処理選択部は、前記超音波探触子の位置と傾き角度の少なくとも一方の検出値と、前記位置合せ結果メモリに保存された前記位置合せデータの対応する検出値を比較して、差が小さい検出値に対応する前記位置合せデータを選択することを特徴とする請求項５に記載の超音波診断装置。
  10. 　前記位置合せデータは、前記他の画像診断装置の種類及び前記リファレンス画像ボリュームデータの識別番号を含んでおり、
    　前記位置合せ処理選択部は、前記他の画像診断装置の種類及び前記リファレンス画像ボリュームデータの識別番号が対応する前記位置合せ結果メモリに保存された前記位置合せデータを抽出して選択することを特徴とする請求項５に記載の超音波診断装置。
  11. 　前記位置合せ処理部は、用いた位置合せデータを前記画像表示部に表示する機能を備えていることを特徴とする請求項５に記載の超音波診断装置。
  12. 　前記位置合せ結果メモリには、前記位置合せ対応画像と共に、該位置合せ対応画像の断層面が描画された三次元ボディマーク画像が保存されることを特徴とする請求項５に記載の超音波診断装置。
PCT/JP2014/057807 2013-03-29 2014-03-20 画像位置合せ表示方法及び超音波診断装置 WO2014156973A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201480018835.8A CN105101881A (zh) 2013-03-29 2014-03-20 图像位置对准显示方法及超声波诊断装置
JP2015508420A JP6302893B2 (ja) 2013-03-29 2014-03-20 画像位置合せ表示方法及び超音波診断装置
EP14774646.5A EP2979642A4 (en) 2013-03-29 2014-03-20 IMAGE ALIGNMENT DISPLAY METHOD AND ULTRASONIC DIAGNOSTIC DEVICE
US14/770,927 US20160018520A1 (en) 2013-03-29 2014-03-20 Image alignment display method and ultrasonic diagnostic apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013074572 2013-03-29
JP2013-074572 2013-03-29

Publications (1)

Publication Number Publication Date
WO2014156973A1 true WO2014156973A1 (ja) 2014-10-02

Family

ID=51623950

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/057807 WO2014156973A1 (ja) 2013-03-29 2014-03-20 画像位置合せ表示方法及び超音波診断装置

Country Status (5)

Country Link
US (1) US20160018520A1 (ja)
EP (1) EP2979642A4 (ja)
JP (1) JP6302893B2 (ja)
CN (1) CN105101881A (ja)
WO (1) WO2014156973A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017136345A (ja) * 2016-01-29 2017-08-10 東芝メディカルシステムズ株式会社 超音波診断装置および医用画像処理装置
WO2019130636A1 (ja) * 2017-12-27 2019-07-04 株式会社日立製作所 超音波撮像装置、画像処理装置、及び方法
JP2019136444A (ja) * 2018-02-15 2019-08-22 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8965076B2 (en) 2010-01-13 2015-02-24 Illumina, Inc. Data processing system and methods
CN108430334B (zh) * 2015-12-21 2021-06-01 皇家飞利浦有限公司 用于检查对象的体积的超声成像装置和超声成像方法
US10417778B2 (en) * 2016-01-29 2019-09-17 Canon Medical Systems Corporation Ultrasonic diagnostic apparatus and medical image processing apparatus
KR101931747B1 (ko) * 2016-10-28 2019-03-13 삼성메디슨 주식회사 생체 검사 장치 및 동작 방법
US10268203B2 (en) * 2017-04-20 2019-04-23 GM Global Technology Operations LLC Calibration validation for autonomous vehicle operations
JP6938232B2 (ja) * 2017-06-09 2021-09-22 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10470825B2 (en) * 2017-08-16 2019-11-12 Synaptive Medical (Barbados) Inc. Method, system and apparatus for surface rendering using medical imaging data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008246264A (ja) 2003-05-08 2008-10-16 Hitachi Medical Corp 超音波診断装置
JP2009090120A (ja) 2007-10-11 2009-04-30 General Electric Co <Ge> 容積式位置揃えのための改良型システム及び方法
JP2010131269A (ja) * 2008-12-05 2010-06-17 Canon Inc 情報処理装置および情報処理方法
US20120262453A1 (en) * 2009-12-18 2012-10-18 Canon Kabushiki Kaisha Information processing apparatus, information processing system, information processing method, and computer-readable recording medium

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6585649B1 (en) * 1998-05-02 2003-07-01 John D. Mendlein Methods and devices for improving ultrasonic measurements using multiple angle interrogation
CN1310617C (zh) * 2001-01-22 2007-04-18 V-目标技术有限公司 可咽下装置
US6824514B2 (en) * 2002-10-11 2004-11-30 Koninklijke Philips Electronics N.V. System and method for visualizing scene shift in ultrasound scan sequence
CN101422378B (zh) * 2003-05-08 2012-07-18 株式会社日立医药 超声诊断设备
US20050148874A1 (en) * 2003-12-19 2005-07-07 Brock-Fisher George A. Ultrasonic imaging aberration correction with microbeamforming
CN1926574B (zh) * 2004-02-20 2013-09-18 皇家飞利浦电子股份有限公司 用于图像的多模式配准的设备和方法
JP5291619B2 (ja) * 2006-05-24 2013-09-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 座標系レジストレーション
US8077943B2 (en) * 2008-03-10 2011-12-13 General Electric Company Method and apparatus for aligning a multi-modality imaging system
KR101121286B1 (ko) * 2009-07-31 2012-03-23 한국과학기술원 센서의 교정을 수행하는 초음파 시스템 및 방법
US9119951B2 (en) * 2009-10-12 2015-09-01 Kona Medical, Inc. Energetic modulation of nerves
CN102651999B (zh) * 2009-12-09 2015-07-22 皇家飞利浦电子股份有限公司 超声和x射线系统的组合
US20120215106A1 (en) * 2010-10-18 2012-08-23 CardioSonic Ltd. Tissue treatment
US9028470B2 (en) * 2011-06-17 2015-05-12 University Of Utah Research Foundation Image-guided renal nerve ablation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008246264A (ja) 2003-05-08 2008-10-16 Hitachi Medical Corp 超音波診断装置
JP2009090120A (ja) 2007-10-11 2009-04-30 General Electric Co <Ge> 容積式位置揃えのための改良型システム及び方法
JP2010131269A (ja) * 2008-12-05 2010-06-17 Canon Inc 情報処理装置および情報処理方法
US20120262453A1 (en) * 2009-12-18 2012-10-18 Canon Kabushiki Kaisha Information processing apparatus, information processing system, information processing method, and computer-readable recording medium

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2979642A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017136345A (ja) * 2016-01-29 2017-08-10 東芝メディカルシステムズ株式会社 超音波診断装置および医用画像処理装置
WO2019130636A1 (ja) * 2017-12-27 2019-07-04 株式会社日立製作所 超音波撮像装置、画像処理装置、及び方法
JP2019115487A (ja) * 2017-12-27 2019-07-18 株式会社日立製作所 超音波撮像装置、画像処理装置、及び方法
JP2019136444A (ja) * 2018-02-15 2019-08-22 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2022164785A (ja) * 2018-02-15 2022-10-27 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7409624B2 (ja) 2018-02-15 2024-01-09 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
US20160018520A1 (en) 2016-01-21
JPWO2014156973A1 (ja) 2017-02-16
EP2979642A1 (en) 2016-02-03
JP6302893B2 (ja) 2018-03-28
EP2979642A4 (en) 2016-11-30
CN105101881A (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
JP6302893B2 (ja) 画像位置合せ表示方法及び超音波診断装置
Prevost et al. 3D freehand ultrasound without external tracking using deep learning
JP5819428B2 (ja) 画像診断装置及び画像補正方法
EP3056151B1 (en) Ultrasound fusion imaging method and ultrasound fusion imaging navigation system
JP5574742B2 (ja) 超音波診断装置
JP4677199B2 (ja) 超音波診断装置
JP5634055B2 (ja) 映像整合を行うシステムおよび方法
RU2659021C2 (ru) Система ультразвуковой визуализации и способ ультразвуковой визуализации
JP2005118142A (ja) 超音波診断装置
US20120126812A1 (en) Magnetic resonance imaging apparatus and magnetic resonance imaging method
JP2006288471A (ja) ３次元超音波診断装置及びボリュームデータ表示領域設定方法
JP6139052B2 (ja) 超音波診断装置及びその制御プログラム
JP2010253254A (ja) ３次元超音波映像を整列させる超音波システムおよび方法
US10722217B2 (en) Ultrasonic diagnostic apparatus and medical image processing apparatus
WO2017195540A1 (ja) 超音波撮像装置、画像処理装置、及びその方法
JP2022111704A (ja) 画像処理装置、医用画像撮像装置、画像処理方法、およびプログラム
JP2014195729A (ja) 超音波診断装置
JP2010253031A (ja) 超音波診断装置
JP2011530366A (ja) 超音波画像化
JP6667676B2 (ja) 超音波撮像システム、超音波撮像装置、超音波撮像方法、及び画像合成プログラム
EP4210577B1 (en) Method for providing a source of secondary medical imaging
JP6382031B2 (ja) 超音波診断装置及びその制御プログラム
JP5645742B2 (ja) 超音波診断装置及びその制御プログラム
JP2018102891A (ja) 超音波画像表示装置及びその制御プログラム
JP2019122842A (ja) 超音波診断装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480018835.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14774646

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14770927

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2014774646

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2015508420

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE