WO2019073681A1 - 放射線撮像装置、画像処理方法及び画像処理プログラム - Google Patents

放射線撮像装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
WO2019073681A1
WO2019073681A1 PCT/JP2018/029762 JP2018029762W WO2019073681A1 WO 2019073681 A1 WO2019073681 A1 WO 2019073681A1 JP 2018029762 W JP2018029762 W JP 2018029762W WO 2019073681 A1 WO2019073681 A1 WO 2019073681A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional
image
unit
deformation
captured
Prior art date
Application number
PCT/JP2018/029762
Other languages
English (en)
French (fr)
Inventor
和喜 松崎
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to US16/650,438 priority Critical patent/US11127153B2/en
Priority to CN201880057606.5A priority patent/CN111093505B/zh
Publication of WO2019073681A1 publication Critical patent/WO2019073681A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/022—Stereoscopic imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A61B6/5264—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A61B6/5264—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion
    • A61B6/527—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion using data from a motion artifact sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Definitions

  • the present invention relates to a radiation imaging apparatus, an image processing method, and an image processing program, and in particular, a radiation imaging apparatus, an image processing method, and an image that acquire a projection image when performing a test or treatment by inserting a treatment tool into a subject. It relates to a processing program.
  • a radiation imaging apparatus (X-ray source and a two-dimensional X-ray detector facing each other) for acquiring a still image or a moving image of the subject while fixing or moving the X-ray source and the two-dimensional X-ray detector
  • X-ray imaging apparatus Only "X-ray imaging apparatus" is known.
  • a technique using a projection X-ray image obtained by an X-ray imaging apparatus when an instrument such as an endoscope or a catheter is inserted into the body for examination and treatment This technique has the advantage that inspection or treatment can be performed while confirming the position and orientation of the device in real time on the projection X-ray image.
  • this projection X-ray image is also used in an examination for performing a definitive diagnosis of lung cancer, that is, when performing a so-called "biopsy" in which a specimen is collected using a bronchoscope.
  • a guide sheath is inserted under bronchoscopy toward the lung peripheral part.
  • a guide sheath is guided and indwelled in the lung peripheral lesion area while confirming the position and orientation of the device with reference to the projection X-ray image.
  • a specimen is collected by allowing a biopsy forceps or cytology brush to reach the lesion through a sheath.
  • a biopsy using such a projection X-ray image it is necessary to collect a sample from a lesion, and for this reason, the operator needs to grasp the positional relationship between the lesion and the treatment instrument with high accuracy. There is.
  • the operator can grasp the position of a treatment tool such as a biopsy forceps or a cytology brush in the projection X-ray image
  • the position in the projection direction Can not accurately grasp. That is, when considering the axis connecting the X-ray tube of the X-ray imaging apparatus and the detector (center), the operator can easily recognize the position and orientation of the treatment tool in the direction perpendicular to the axis in the projection X-ray image can do.
  • it is difficult to accurately recognize the position of the treatment tool since the position and the direction of the treatment tool in the direction parallel to the axis (hereinafter referred to as the depth direction) coincide with the depth direction and the projection direction. That is, even if the lesion and the treatment tool appear to overlap (depicted on the image) on the projection X-ray image, the treatment does not necessarily reach the lesion.
  • the projection X-ray image images the difference in the amount of absorption of the internal material through which the X-ray passes, in general, a bone or the like having a high amount of absorption is easily depicted on the image and the amount of absorption is low.
  • Soft tissue and the like are hard to be drawn on an image. That is, in the projection X-ray image, bones and the like have high contrast, but soft tissues including tumors and the like have low contrast and identification is not easy.
  • a type of cancer called Ground Glass Opacity (GGO) is difficult to recognize on projection X-ray images.
  • the blood vessels and bronchial tubes passing through the treatment tool are also difficult to recognize on the projection X-ray image for the same reason.
  • the lesion on the X-ray image has low visibility in the first place, and furthermore, it is difficult to grasp the positional relationship between the lesion and the treatment tool, or the blood vessel or bronchus and the treatment tool.
  • Patent Document 1 In order to improve the visibility in the image of each treatment tool, for example, according to Patent Document 1, a stereoscopic image based on a three-dimensional image is superimposed on the projection X-ray image acquired by the X-ray imaging apparatus to position the object Medical X-ray devices have been proposed to display. More specifically, in the medical X-ray apparatus of Patent Document 1, the three-dimensional position of the treatment tool is detected and detected using the three-dimensional image captured in advance and the X-ray image acquired during the examination. The movement of the subject is regarded as a constant shift relative to the three-dimensional position, and the position of the treatment instrument is detected by correcting the three-dimensional position of the treatment instrument.
  • Patent No. 5787030 gazette
  • movements such as body movements of the subject become a problem.
  • the body movement of the subject includes, for example, respiratory movement in the lungs and beating around the heart.
  • the inside of the lung has a complex structure such as trachea, bronchi, alveoli and the like and is a soft tissue, complex movements resulting from the insertion of a lesion, a blood vessel, and a treatment tool occur. Therefore, it is necessary to grasp the three-dimensional position in view of these complicated movements.
  • the deformation due to the insertion of the treatment tool described above is considered to be different from the bronchus shape of the three-dimensional image captured in advance, and there is a possibility that the three-dimensional position of the treatment tool recognized from the projection X-ray image may deviate Because of this, it is difficult to grasp the exact position of the treatment tool only by correcting the shift due to the movement due to the respiration.
  • the present invention has been made in view of the above-mentioned circumstances, and an object thereof is to accurately detect a three-dimensional position of a treatment tool and display it on an image with high accuracy.
  • the present invention provides the following means.
  • the present invention relates to an imaging unit configured to capture a plurality of two-dimensional captured images having different imaging angles by moving the position of a radiation source and a detector, and an image acquisition unit configured to acquire a three-dimensional image of the processing object captured in advance. And calculation of the two-dimensional image from the three-dimensional image based on the three-dimensional image and the positions of the radiation source and the detector that captured the two-dimensional image, corresponding to the respective two-dimensional image.
  • a calculation projection image generation unit for generating a projection image, a characteristic part extraction unit for extracting a characteristic part indicating the treatment tool depicted in each of the two-dimensional pickup images, each of the two-dimensional pickup images, and the two-dimensional image
  • the image alignment unit for aligning the corresponding calculated projection image, the two-dimensional captured image, and the calculated projection image corresponding to the two-dimensional image are compared with each other in the two-dimensional captured image Processing target
  • a deformation amount calculation / correction unit that calculates the amount and corrects the position of the characteristic portion based on the deformation amount, the position of the characteristic portion corrected in each of the two-dimensional pickup images, and the two-dimensional pickup image
  • the three-dimensional position calculation unit which calculates the three-dimensional position of the characteristic part from each position of the radiation source and the detector taken, and the anatomical structure information of the processing object acquired from the three-dimensional image
  • An anatomic structure position correction unit that corrects a three-dimensional position of the characteristic portion, and the three-dimensional position of the characteristic portion corrected by
  • the three-dimensional position of the treatment tool can be accurately detected and displayed on the image with high accuracy.
  • FIG. 1 is a block diagram showing a schematic configuration of an X-ray imaging apparatus according to an embodiment of the present invention.
  • an X-ray imaging device concerning an embodiment of the present invention, it is an explanatory view showing an example of a simulated body type in which a three-dimensional image, an X-ray source, and a detector are simulated and arranged.
  • the X-ray imaging apparatus which concerns on embodiment of this invention WHEREIN: It is a reference view which shows an example of the X-ray radiographed image image
  • FIG. 3 is a block diagram showing a schematic configuration of a deformation amount calculation / correction unit of the X-ray imaging apparatus according to the embodiment of the present invention.
  • FIG. 8 is an explanatory diagram for explaining an example of processing for correcting a three-dimensional position of a treatment tool based on anatomical structure information, in the X-ray imaging apparatus according to the embodiment of the present invention.
  • the X-ray imaging apparatus which concerns on embodiment of this invention WHEREIN:
  • the position of the detected treatment tool is superimposed on a three-dimensional image, and it is a reference view which shows an example of a display screen at the time of displaying the superimposed image.
  • It is a flowchart which shows the flow of the process which concerns on the display of the image which drew three-dimensional position, such as a treatment tool in the X-ray imaging device which concerns on embodiment of this invention.
  • a radiation imaging apparatus includes an imaging unit configured to capture a plurality of two-dimensional captured images having different imaging angles by moving the positions of a radiation source and a detector, and a three-dimensional object to be processed in advance. From a three-dimensional image to a two-dimensional image based on an image, an image acquisition unit to acquire, and respective positions of a radiation source and a detector that captured the three-dimensional image and the two-dimensional captured image corresponding to each two-dimensional captured image.
  • a calculation projection image generation unit that generates a calculation projection image
  • a feature part extraction unit that extracts a feature part indicating a treatment tool depicted in each two-dimensional pickup image, each two-dimensional pickup image, and a two-dimensional image
  • the amount of deformation of the processing target in the two-dimensional captured image is calculated by comparing the image alignment unit for aligning each calculated projection image, each two-dimensional captured image, and each calculated projection image corresponding to the two-dimensional image , Based on the amount of deformation
  • the deformation amount calculation / correction unit that corrects the position of the characteristic portion, the position of the characteristic portion corrected in each two-dimensional pickup image, and the positions of the radiation source and detector that captured the two-dimensional pickup image
  • a three-dimensional position calculation unit that calculates a three-dimensional position
  • an anatomic structure position correction unit that corrects a three-dimensional position of the characteristic portion based on the anatomical structure information of the processing target acquired from the three-dimensional image;
  • a radiation imaging apparatus is applied to an X-ray imaging apparatus
  • an X-ray imaging apparatus according to the present embodiment will be described with reference to the drawings.
  • the X-ray imaging apparatus according to the present embodiment is an example of a radiation imaging apparatus, and can also be applied to a radiation imaging apparatus that acquires an image other than X-rays.
  • the X-ray imaging apparatus 101 is connected to the medical image server 110 directly or via a wired or wireless network or can communicate with each other.
  • the medical image server 110 stores various medical images such as, for example, a CT image, an MRI image, a PET image, or an ultrasound image. Communication and storage of these images and information via a network can be realized, for example, by using the DICOM format generally used in the medical field.
  • the medical image server 110 is also connected to an external image processing system 111, stores images and information that are results of processing by the image processing system 111, and outputs the stored images and information to the X-ray imaging apparatus 101. can do.
  • the X-ray imaging apparatus 101 includes an X-ray source 102, a detector 103, an apparatus control unit 104, a display unit 107, a storage unit 108, and a data processing unit 109.
  • the detector 103 detects X-rays emitted from the X-ray source 102 and transmitted through the subject.
  • the apparatus control unit 104 includes a drive unit 105 for driving the X-ray source 102 and the detector 103, and a data collection unit 106 for collecting data detected by the detector 103.
  • the display unit 107 displays the results collected by the data collection unit 106 and processed by the data processing unit 109.
  • the storage unit 108 stores various data collected by the data collection unit 106, results processed by the data processing unit 109, and the like.
  • the data processing unit 109 includes a three-dimensional image acquisition unit 112, a calculation projection image creation unit 113, an image alignment unit 114, a feature part extraction unit 115, a deformation amount calculation / correction unit 116, a three-dimensional position calculation unit 117, an anatomical structure position.
  • a correction unit 118 and a mapping unit 119 are provided.
  • the three-dimensional image acquisition unit 112 acquires a predetermined three-dimensional image from the medical image server 110 and acquires anatomical structure information.
  • a three-dimensional image for example, an image used in advance for diagnosis of a lesion, planning of a route for inserting a treatment tool to the lesion, and the like is applied.
  • a CT image, an MRI image, a PET image or the like can be used as a three-dimensional image, and in addition to this, a three-dimensional image suitable for diagnosis and examination of a lesion can be applied.
  • the anatomical structure information is information indicating the structure of an organ or the like in the subject, and there is, for example, a bronchial structure such as a bronchial tree. This is information obtained from a three-dimensional image.
  • the calculation projection image creation unit 113 generates a two-dimensional calculation projection image based on the three-dimensional image acquired by the three-dimensional image acquisition unit 112. More specifically, the calculation projection image generation unit 113 calculates a two-dimensional calculation projection image based on the positions of the X-ray source 102 and the detector 103 using the three-dimensional image acquired by the three-dimensional image acquisition unit 112 Do.
  • the calculated projection image is a spatial arrangement of the X-ray source 102 and the detector 103 in the X-ray imaging apparatus 101, and a three-dimensional image acquired by the three-dimensional image acquisition unit 112 as shown in FIG.
  • the simulated X-ray source (101) projects simulated X-rays (rays) from the X-ray source 101 to the detector 102, and calculates the detection image (eg, passing distance, pixel value, etc.) by the Image).
  • the calculated projection image is also called, for example, a DRR (Digital Reconstructed Radiograph) image.
  • the three-dimensional position of the X-ray source 102 and the detector 103 when the X-ray image is acquired can be grasped from the configuration of the X-ray imaging apparatus, and the imaging angle of the X-ray image is also known. Therefore, the calculated projection image is calculated from the X-ray source 102, the detector 103 and their rotational angles in an arrangement simulating their respective positional relationships, in consideration of the alignment described later. For example, the calculated projection image is calculated as a value obtained by adding the pixel values of the image as a three-dimensional image in the ray direction, using the ray tracing method as described above. Further, the calculated projection image is calculated at each angle at which the X-ray image is acquired.
  • the image alignment unit 114 first aligns the X-ray imaging image and the calculated projection image. That is, the image alignment unit 114 aligns the two-dimensional X-ray imaging image acquired by the X-ray imaging apparatus 101 with the calculation projection image generated by the calculation projection image generation unit 113 (see FIG. 2).
  • the image alignment unit 114 moves and rotates the calculated projection image to determine the degree of similarity (for example, mutual information amount) between the calculated projection image and the X-ray image.
  • the movement / rotation parameter which is calculated and whose value indicating the similarity is maximum or minimum is determined as a rigid body registration parameter.
  • movement / rotation parameters corresponding to reference parts in the image can be calculated and used as rigid body registration parameters.
  • the image alignment unit 114 uses, as a rigid body alignment parameter for alignment, for example, translation of three degrees of freedom and an imaging direction from alignment of a calculated projection image created from a three-dimensional image and an X-ray image. Calculate 2 degrees of rotation (in-plane rotation) as an axis. Using the calculated parameters, the X-ray imaging image and the calculated projection image are aligned.
  • the calculated projection image can be obtained from the three-dimensional image described above, and the X-ray image and the registration method can be performed by other methods.
  • the three-dimensional image is moved and rotated to create a calculated projection image, and the comparison of pixel values between the calculated projection image and the X-ray image is repeated to search for a parameter that maximizes or minimizes the similarity.
  • a total of six degrees of freedom can be calculated: three degrees of translation (orthogonal axes) and three degrees of rotation around each orthogonal axis.
  • any registration method may be used, and various techniques can be applied.
  • the alignment is so-called rigid alignment in which three parameters of movement and rotation are aligned in a three-dimensional image, and therefore, it is mainly suitable for alignment of rigid regions such as bones.
  • the characteristic part extraction unit 115 extracts one or more characteristic regions indicating a treatment tool or the like in the X-ray image as a characteristic part.
  • a marker provided on the treatment tool, a region indicating the tip of the treatment tool, or the like can be used.
  • FIG. 3 shows an example of an X-ray image taken in a state in which a treatment tool is inserted into a subject. Since the treatment tool is a high X-ray absorption region, as shown in FIG. 3, the X-ray image has a high contrast as compared with the human body structure. By extracting the high contrast area based on the difference in contrast between the area indicating the human body structure on the X-ray image and the area indicating the treatment tool, for example, the forceps tip that is the treatment tool is used as a feature site To detect.
  • the marker provided on the guide sheath is depicted as an area showing luminance different from that of the human body structure or the guide sheath main body in the X-ray imaging image. It can be extracted as a feature site.
  • the deformation amount calculation / correction unit 116 calculates the deformation amount of the subject from the X-ray imaging image and the calculated projection image, and corrects the position of the feature part extracted by the feature part extraction unit 115 in the imaging plane.
  • the X-ray imaging image acquired by the X-ray imaging apparatus and the three-dimensional image captured in advance are different from the apparatus captured and, of course, are not usually captured at the same time. Different posture, environment, etc.
  • deformation due to the above-mentioned body movement may be included between two or more images at different imaging times. There are many.
  • the soft tissue region in the body is generally softer than the treatment tool, so the insertion may cause deformation of the tissue in the body. These deformations hardly occur in hard regions such as bone, so-called rigid regions, but tend to occur in soft regions such as soft tissue regions.
  • the treatment instrument or the like is inserted into the tubular tissue, it is also affected by the movement as well as the soft tissue. Therefore, when the treatment tool is inserted into the body, the X-ray image and the X-ray image may include deformation due to the treatment tool.
  • the deformation that occurs in the subject can be roughly divided into, for example, two types: deformation caused by body movement such as heart movement and respiration, and deformation caused by the treatment instrument being inserted into the body. Therefore, the deformation amount calculation / correction unit 116 corrects these two types of deformation as necessary.
  • the deformation amount calculation / correction unit 116 corrects such deformation, as shown in FIG. 4, the deformation amount calculation / correction unit 116 includes a non-rigid body deformation unit 501, an image comparison unit 502, and a deformation parameter calculation unit. An imaging in-plane position correction unit 504 and a simulated structure addition unit 505 are provided.
  • the non-rigid deformation unit 501 non-rigidly deforms the X-ray image. More specifically, the non-rigid deformation section 501 first sets a grid-like mesh on the X-ray image as shown in FIG. 5, and each grid-like point is along a smooth curve such as a spline function, for example. Assuming that it moves, it moves each point in a grid. Then, the non-rigid deformation unit 501 performs non-rigid deformation by converting pixels according to the movement of each point in a lattice shape. The selection of one or more lattice points to be moved, the amount of movement, and the direction of movement can be appropriately determined in advance.
  • the image comparison unit 502 compares the X-ray radiographed image non-rigidly transformed by the non-rigid body deformation unit 501 with the calculated projection image, and calculates the degree of similarity between the two.
  • the degree of similarity eg, mutual information, etc.
  • the deformation parameter calculation unit 503 calculates, as a non-rigid deformation parameter, a parameter with which the value indicating the similarity is the largest (or the difference is the smallest) among the similarity calculated by the image comparison unit 502.
  • the imaging in-plane position correction unit 504 calculates a deformation movement amount indicating how much the position on the two-dimensional image of the feature portion has moved based on the non-rigid body deformation parameter, and the in-plane feature portion of the X-ray image Correct the position of.
  • the movement amount vector calculated as the deformation movement amount can be obtained from the position of the feature part before the non-rigid body alignment and the position of the feature part after the non-rigid body alignment. It is also possible to calculate a vector connecting the position before alignment and the position after alignment.
  • the pseudo structure addition unit 505 together with the three-dimensional image acquired by the three-dimensional image acquisition unit 112, a shape based on the internal structure of the subject calculated in advance by the image processing system 111 and stored in the medical data server 110;
  • the bronchial region and the insertion route of the treatment tool are obtained, and as shown in FIG. 6, the obtained treatment tool route is added as a pseudo structure.
  • Treatment tool routes along trachea and bronchi can be generated and stored as data of point set and line set. Therefore, the route of the treatment tool can be easily acquired by storing such data in advance in the storage device such as the medical image server 110 or the like.
  • the pseudo structure addition unit 505 adds the information on the treatment tool route to the three-dimensional image as a simulation structure, and superimposes the information, thereby comparing the projection image with the X-ray projection image. And the position of the actual feature (position of the treatment tool) can be compared. Thereby, it is possible to grasp from the displacement of the simulated structure and the position of the characteristic portion whether or not the subject is deformed due to the insertion of the treatment tool.
  • the three-dimensional position calculation unit 117 calculates the three-dimensional position of the characteristic site based on the position of the X-ray source and the position of the characteristic site identified in the X-ray image. Specifically, for example, the position of the treatment tool tip position as the characteristic portion extracted in the X-ray image and the position of the detector 103 corresponding to the treatment tool tip position are obtained. The three-dimensional position of the corresponding detector 103 is obtained from the device configuration of the detector 103 on the X-ray imaging device 101.
  • the treatment tool tip position on the X-ray image is projected from the X-ray source toward the detector 103, so the straight line connecting the X-ray source and the treatment tool tip on the X-ray image
  • the treatment tool tip is located at the three-dimensional position of.
  • the three-dimensional position calculation unit 113 can calculate, for example, three-dimensional positions (D1 and D2 in FIG. 7) on the detector 103 (on the X-ray image) of the extracted forceps tip position.
  • the three-dimensional position calculation unit 117 calculates the three-dimensional position of the detector 103 (on the X-ray image) and the three-dimensional position of the X-ray source. Calculate a straight line connecting two points from. Since the three-dimensional position of the X-ray source 102 can be obtained from the apparatus configuration of the X-ray source 102 in the X-ray imaging apparatus 101, for example, on the detector 103 of the forceps tip position as a characteristic part From the three-dimensional position of (above) and the three-dimensional position of the X-ray source 102, a straight line connecting the two points can be calculated.
  • the three-dimensional position calculation unit 117 may set, for example, the three-dimensional position of the X-ray source and the position of a characteristic portion such as a forceps tip or a guide sheath marker for X-ray images captured at two different angles. Two straight lines connecting the three-dimensional position on the detector 103 (on the X-ray image) are obtained for each feature.
  • the three-dimensional position calculation unit 117 calculates the three-dimensional position of the feature portion indicating the treatment tool from the positional relationship between the two straight lines calculated for each feature portion of the treatment tool in a plurality of X-ray imaging images captured at different angles Do.
  • a straight line L2 connecting the three-dimensional position D2 of the characteristic portion in 2 is a projection of the characteristic portion such as the same forceps tip.
  • the point Q1 on the straight line S1-D1 where the distance between the two straight lines is closest to one another and the point Q2 on the straight line S2-D2 can be determined, and the middle point of the two points can be set as the forceps tip position.
  • the three-dimensional position of the forceps tip position can be calculated using the following equation. (Q1 + Q2) / 2
  • the anatomical structure position correction unit 118 corrects the three-dimensional position of the feature portion calculated by the three-dimensional position calculation unit 117 based on the anatomical structure information of the subject.
  • the correction on the three-dimensional position of the feature part by the anatomical structure position correction unit 118 is performed as follows.
  • the three-dimensional image stored in the medical image server 110 holds all three-dimensional structures of the subject, for example, a bronchial structure into which an endoscope or a treatment tool is inserted as anatomic structure information Can be obtained from a three-dimensional image.
  • anatomical structure information obtained from a three-dimensional image is stored in advance in the medical image server 110 in association with the three-dimensional image, and the three-dimensional image acquisition unit 112 generates a three-dimensional image from the medical image server 110. And anatomical structure information.
  • FIG. 8 shows an example of volume rendering of information related to a bronchial tree as anatomical structure information obtained from a three-dimensional image.
  • a treatment tool is inserted in the bronchus.
  • the characteristic site indicating the treatment tool should be present in the anatomical structure, ie, in the bronchus. Based on this, the three-dimensional position of the characteristic part of the treatment tool is corrected to be located in the anatomical structure.
  • the distance between the bronchial structure, which is anatomical structure information acquired in advance, and the three-dimensional position of the characteristic portion indicating the treatment tool is calculated, and the three-dimensional position of the characteristic portion is the shortest distance from the bronchial structure
  • the three-dimensional position can be corrected to be positioned within the anatomy.
  • the position mapping unit 119 adds, ie, superimposes, the three-dimensional position of the feature portion corrected by the anatomical structure position correction unit 118 to the three-dimensional image acquired by the three-dimensional image acquisition unit 111.
  • the position of the subject in the X-ray image and the position of the subject in the three-dimensional image acquired from the medical image server 110 are aligned by the image alignment unit 114.
  • the three-dimensional position of the treatment tool tip as a characteristic part in the X-ray image can be superimposed on the three-dimensional image.
  • the characteristic portion is a marker of the guide sheath
  • the three-dimensional position of the marker can be superimposed on the three-dimensional image.
  • the position mapping unit 119 outputs the three-dimensional image on which the characteristic portion is superimposed to the display unit 107 and the storage unit 108, for example, causes the display unit 107 to display the three-dimensional image as shown in FIG.
  • a tomographic image is shown as a three-dimensional image, but other two-dimensional images and three-dimensional images such as a three-dimensional image can also be applied.
  • 11A and 11B are examples of displaying an image in which a three-dimensional position of a characteristic part (a treatment tool) is superimposed on a volume rendering image of an anatomical structure. Further, in the three-dimensional image and the volume rendering image, the presence or absence of the correction for the deformation amount is indicated.
  • a flow of processing relating to display of an image depicting a three-dimensional position of a treatment tool or the like in the X-ray imaging apparatus configured as described above will be described according to the flowchart of FIG.
  • the X-ray imaging image a plurality of X-ray imaging images captured at different imaging angles are required.
  • two X-ray imaging images are acquired will be described.
  • step S201 the X-ray imaging apparatus 101 acquires two X-ray radiographed images.
  • the X-ray imaging apparatus 101 drives the X-ray source 102 and the detector 103 by the drive unit 105 of the apparatus control unit 104 to move the X-ray source 102 and the detector 103 to a desired position, and the X-ray tube of the X-ray source 102
  • the detected X-rays are detected by the detector 103, and the detected data are collected by the data acquisition unit 106 to acquire a two-dimensional X-ray image.
  • the radiographed image is sent from the data acquisition unit 106 to the data processing unit 109. Furthermore, the angle or direction is changed by the drive unit 105, and similar imaging is performed to obtain a total of two X-ray radiographed images in combination with the previous processing.
  • step S201 a plurality of two-dimensional images are captured by changing the imaging angle by the X-ray imaging apparatus 101.
  • the acquisition of the images does not necessarily have to be imaging.
  • the data processing unit 109 A plurality of two-dimensional images of different imaging angles captured by another radiation imaging apparatus may be acquired from a predetermined database or the like.
  • step S202 a predetermined three-dimensional image is acquired from the medical image server 110 by the three-dimensional image acquisition unit 112, and a two-dimensional calculation projection image is generated by the calculation projection image generation unit 113 based on this three-dimensional image.
  • step S203 the image alignment unit 114 aligns the two-dimensional X-ray imaging image acquired by the X-ray imaging apparatus 101 with the calculated projection image generated by the calculated projection image generation unit 113, and the next step
  • the characteristic part extraction unit 115 extracts a characteristic part in the X-ray image.
  • step S205 the deformation amount calculation / correction unit 116 calculates the deformation amount of the subject from the X-ray imaging image and the calculated projection image.
  • the flow of processing for calculating the deformation amount will be described later.
  • step S206 using the deformation amount of the object calculated by the deformation amount calculation / correction unit 116 in step S205 and the characteristic portion in the X-ray image extracted by the characteristic portion extraction unit 115 in step S204, an X-ray image Correct the position of the top feature.
  • step S207 the three-dimensional position calculation unit 117 calculates the three-dimensional position on the X-ray photographed image of the characteristic portion extracted in the X-ray photographed image and whose position is corrected based on the deformation amount.
  • step S208 a straight line connecting the three-dimensional position of the feature portion in the X-ray image obtained at step S207 and the three-dimensional position of the X-ray source is calculated (see FIG. 7).
  • a straight line connecting the three-dimensional position on the X-ray image of the characteristic part and the three-dimensional position of the X-ray source is calculated for each characteristic part.
  • each process is performed for each X-ray image in steps S202 to S208. Therefore, for one feature site, two straight lines connecting the three-dimensional position on the X-ray image of the feature site and the three-dimensional position of the X-ray source are obtained.
  • straight lines corresponding to the number of radiographed images can be obtained.
  • step S209 the three-dimensional position calculation unit 117 calculates the three-dimensional position of the feature based on the positional relationship between the two straight lines with respect to the feature obtained in step S208.
  • the anatomic structure position correction unit 118 corrects the three-dimensional position of the feature portion obtained in step S209 based on the anatomical structure information of the subject acquired from the medical image server 110 (see FIG. 8). ).
  • step S211 the position mapping unit 119 superimposes the three-dimensional position of the feature portion on the three-dimensional image, and outputs the superimposed image data to the display unit 10 and the storage unit 108.
  • step S212 the three-dimensional image on which the three-dimensional position of the feature portion acquired from the position mapping unit 119 is superimposed is displayed on the display unit 108 (see FIG. 9) and stored in the storage unit 108.
  • FIG. 11 is a flowchart showing a flow of processing of correcting deformation caused by body movement by the deformation amount calculation / correction unit 116.
  • the non-rigid body deformation unit 501 acquires the X-ray projection image aligned in step S204 of FIG. 10, and in step S602 non-rigidly deforms the X-ray imaging image.
  • the image comparison unit 502 compares the X-ray image non-rigidly transformed by the non-rigid body deformation unit 501 with the calculated projection image of the rigid region and calculates the similarity between the two.
  • step S604 the deformation parameter calculation unit 503 calculates non-rigid deformation parameters based on the similarity calculated by the image comparison unit 502. In the process of step S604, it is determined whether or not the degree of similarity calculated in step S603 is the largest. If not, the process returns to step S602 to repeat the process. If the degree of similarity is the largest, a parameter with the largest value indicating the degree of similarity (or the smallest degree of difference) is calculated as a non-rigid body deformation parameter, and the process proceeds to step S605.
  • step S605 the imaging in-plane position correction unit 504 calculates a deformation movement amount indicating how much the position on the two-dimensional image of the feature portion has moved based on the non-rigid body deformation parameter.
  • FIG. 12 is a flow chart showing a flow of processing of correcting deformation caused by insertion of the treatment tool into the body by the deformation amount calculation / correction unit 116.
  • the pseudo structure addition unit 505 acquires the three-dimensional image acquired from the medical image server 110 by the three-dimensional image acquisition unit 112 in step S801, and acquires the treatment tool route in step S802 (step 802).
  • step S803 the pseudo structure addition unit 505 adds the treatment tool route as a pseudo structure to the three-dimensional image.
  • the calculated projection image generation unit 113 generates a pseudo-calculation projection image for the three-dimensional image to which the pseudo-structure addition unit 505 adds the pseudo-structure.
  • step S805 the non-rigid body deformation unit 501 non-rigidly deforms the X-ray image
  • step S806 the image comparison unit 502 compares the X-ray image and the pseudo-calculation projection image to which the pseudo structure is added. And calculate the similarity between the two.
  • step S807 the deformation parameter calculation unit 503 calculates non-rigid deformation parameters based on the similarity calculated by the image comparison unit 502 in step S806.
  • step S 807 it is determined whether or not the degree of similarity calculated in step S 807 is the largest. If not, the process returns to step S 805 to repeat the process. If the degree of similarity is the largest, the parameter with the largest value indicating the degree of similarity (or the smallest degree of difference) is calculated as a non-rigid deformation parameter, and the process proceeds to step S808.
  • step S 807 in order to compare the X-ray projection image and the pseudo-calculation projection image to which the pseudo structure is added, it is necessary to obtain non-rigid transformation parameters taking into consideration not only body movement but also deformation of the object by treatment tool insertion. Can.
  • the imaging in-plane position correction unit 504 calculates the amount of deformation in the imaging plane using the non-rigid body deformation parameter calculated in step S807. As described above, since deformation of the subject is calculated using an image previously added with the treatment tool route as a pseudo structure, it is possible to correct not only body movement but also deformation of the subject caused by the treatment tool insertion.
  • the three-dimensional position of the treatment tool can be accurately detected and displayed on the image with high accuracy. That is, in the present embodiment, the three-dimensional position of the treatment tool can be detected by using the X-ray image and a three-dimensional image such as a CT image acquired in advance. In particular, a three-dimensional image in which the position of the treatment tool recognized on the X-ray image is recognized in advance due to body deformation such as breathing and pulsation, as well as internal deformation of the subject caused by the insertion of the treatment tool. Since the correction is made by comparison with the above, it is possible to detect the three-dimensional position of the treatment instrument with high accuracy, draw it on the image, and display it.
  • the data processing unit 109 can be configured as a system that includes a part or all of the CPU (central processing unit), memory, and main storage unit, and the functions of the units that constitute the data processing unit 109 are stored in advance. It can be realized by the CPU loading a program stored in the unit into the memory and executing it. In addition, part or all of the functions can be configured by hardware such as an application specific integrated circuit (ASIC) or a field programmable gate array (FPGA).
  • ASIC application specific integrated circuit
  • FPGA field programmable gate array
  • X-ray imaging apparatus 102: X-ray source 103: detector 104: device controller 105: driver 106: data collector 107: 107 Display unit 108 Storage unit 109 Data processing unit 110 Medical image server 111 Image processing system 112 Three-dimensional image (anatomy structure / treatment tool route) Acquisition unit 113 Calculation projection image creation unit 114 Image alignment unit 115 Feature part extraction unit 116 Deformation amount calculation / correction unit 117 Three-dimensional position calculation Unit 118: Anatomy structure position correction unit 119: Position mapping unit 501: Non-rigid deformation unit 502: Image comparison unit 503: Deformation parameter calculation unit 504: In-plane position correction unit 505, with pseudo structure Part

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Pulmonology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Geometry (AREA)

Abstract

処置具の３次元位置を精度よく検出して画像上に高精度に表示する。　撮影角度の異なる複数の２次元撮像画像及び予め撮像された処理対象の３次元画像を取得する画像取得部と、各２次元撮像画像に対応させて３次元画像から２次元の計算投影画像を作成する計算投影画像作成部と、２次元撮像画像に描出された処置具を示す特徴部位を抽出する特徴部位抽出部と、２次元撮像画像と計算投影画像とを位置合せする画像位置合せ部と、２次元撮像画像と計算投影画像とを比較して２次元撮像画像における処理対象の変形量を算出して特徴部位の位置を補正する変形量算出／補正部と、特徴部位の３次元位置を算出する３次元位置算出部と、処理対象の解剖構造情報に基づいて特徴部位の３次元位置を補正する解剖構造位置補正部と、補正後の特徴部位の３次元位置を３次元画像上に重畳させて表示装置に表示させる位置マッピング部とを備えた放射線撮像装置を提供する。

Description

放射線撮像装置、画像処理方法及び画像処理プログラム
　本発明は、放射線撮像装置、画像処理方法及び画像処理プログラムに係り、特に、被検体に処置具を挿入して検査又は治療を行う際の投影画像を取得する放射線撮像装置、画像処理方法及び画像処理プログラムに関する。
　Ｘ線源と２次元Ｘ線検出器を対向設置し、Ｘ線源と２次元Ｘ線検出器と被検体を固定あるいは移動させながら、被検体の静止画像や動画像を取得する放射線撮像装置（以下、単に「Ｘ線撮像装置」という）が知られている。また、内視鏡やカテーテル等の器具を体内に挿入して検査、治療を行う際に、Ｘ線撮像装置によって得られた投影Ｘ線画像を用いる技術が知られている。この技術では、投影Ｘ線画像上で、器具の位置や向きをリアルタイムに確認しながら検査又は治療を行うことができるという利点がある。
　例えば、この投影Ｘ線画像は、肺がんの確定診断を行うための検査、すなわち、気管支内視鏡を用いて検体を採取する、所謂「生検」を行う際にも用いられる。この検査では、肺末梢部へ向けて、気管支内視鏡下でガイドシースを挿入する。特に、気管支内視鏡を挿入することができない肺末梢の気管支については、投影Ｘ線画像を参照して器具の位置や向きを確認しながらガイドシースを肺末梢病変部に誘導、留置し、ガイドシースを介して生検鉗子や細胞診ブラシを病変部へ到達させることにより検体を採取する。このような投影Ｘ線画像を用いた生検では、検体を病変部から採取しなければならず、そのために、術者は病変部である患部と処置具の位置関係を特に精度よく把握する必要がある。
　ところが、術者は、投影Ｘ線画像において、生検鉗子や細胞診ブラシ等の処置具の位置を把握することができるものの、投影Ｘ線画像が２次元画像であることから、投影方向の位置を正確に把握することができない。すなわち、Ｘ線撮像装置のＸ線管と検出器（中心）を結ぶ軸を考えた場合、術者は投影Ｘ線画像において、軸に垂直な方向での処置具の位置や向きは容易に認識することができる。一方、軸と平行な方向（以下、奥行き方向）での処置具の位置や向きは、奥行き方向と投影方向とが一致するため、処置具の位置を正確に認識することは困難である。つまり、投影Ｘ線画像上で、病変部と処置具が重なって見える（画像上に描出されている）場合であっても、必ずしも処置具が病変部に到達しているとは限らない。
　また、投影Ｘ線画像は、Ｘ線が通過する体内物質の吸収量の違いを画像化しているため、一般的に、吸収量の高い骨等は、画像上に描出されやすく、吸収量が低い軟組織等は、画像上に描出されにくい。つまり投影Ｘ線画像では、骨等は高いコントラストを持つが、腫瘍等を含む軟組織は低いコントラストとなり識別が容易ではない。肺がんにおいても、すりガラス陰影（Ｇｒｏｕｎｄ　Ｇｌａｓｓ　Ｏｐａｃｉｔｙ：ＧＧＯ）と呼ばれる種類のがんは、投影Ｘ線画像上では認識が困難である。処置具を通す血管や気管支も同様の理由により投影Ｘ線画像上での認識が困難である。このように、Ｘ線撮影画像上での病変部はそもそも視認性が低く、さらに、病変部と処置具、血管や気管支と処置具の位置関係を把握することは困難である。
　各処置具の画像における視認性を向上させるべく、例えば、特許文献１には、Ｘ線撮像装置において取得された投影Ｘ線画像に３次元画像に基づく立体視画像を重畳させて目的物の位置を表示させる医療用Ｘ線装置が提案されている。より詳しくは、特許文献１の医療用Ｘ線装置では、事前に撮像された３次元画像と検査中に取得されたＸ線撮影画像とを用い、処置具の３次元位置を検出し、検出した３次元位置に対して被検体の体動を一定のシフトとみなし、処置具の３次元位置を補正することで処置具の位置を検出している。
特許第５７８７０３０号公報
　ここで、特に、気管支内視鏡を用いた生検等の検査中には、被検体の体動をはじめとする動きが問題となる。被検体の体動には、例えば、肺には呼吸性の移動があり、心臓周辺には拍動がある。また、肺内は気管、気管支、肺胞等の複雑な構造を成しており、且つ、軟組織であるため、病変、血管、処置具の挿入に起因した複雑な動きが生じる。このため、これらの複雑な動きに鑑みて３次元位置を把握しなければならない。
　しかしながら、特許文献１の医療用Ｘ線装置では、被検体の体動を一定のシフトとみなして処置具の３次元位置を補正しているに過ぎず、上述のような気管、気管支、肺胞等の複雑な動きや、処置具の挿入に起因した変形（シフト）を補正することができない。すなわち、特許文献１の医療用Ｘ線装置では、被検体の体動として、主に呼吸による体動を想定しているに過ぎず、呼吸についても、呼吸によって生じる体内の組織・構造の変動は、局所的な関心領域では無視することができ、変動の大きさは一定とみなしている。つまり、特許文献１では、呼吸に起因する被検体の動きは一定の大きさであるとみなし、また、呼吸以外の複雑な動きについては何ら考慮していない。
　特に、上述した処置具の挿入に起因する変形は、事前に撮像された３次元画像の気管支形状とは異なると考えられ、投影Ｘ線画像から認識した処置具の３次元位置とはずれが生じる虞があるため、呼吸に起因した体動に基づくシフトを補正するのみでは、処置具の正確な位置を把握することは困難である。
　本発明は上記実情に鑑みてなされたものであり、処置具の３次元位置を精度よく検出して画像上に高精度に表示することを目的とする。
　上記課題を解決するために、本発明は以下の手段を提供する。
　本発明は、放射線源及び検出器の位置を移動させることにより撮影角度の異なる複数の２次元撮像画像を撮像する撮像部と、予め撮像された前記処理対象の３次元画像を取得する画像取得部と、各前記２次元撮像画像に対応させて、前記３次元画像と前記２次元撮像画像を撮像した前記放射線源及び前記検出器の各位置とに基づいて、前記３次元画像から２次元の計算投影画像を作成する計算投影画像作成部と、各前記２次元撮像画像に描出された処置具を示す特徴部位を抽出する特徴部位抽出部と、各前記２次元撮像画像と、該２次元画像に対応する各前記計算投影画像とを位置合せする画像位置合せ部と、各前記２次元撮像画像と、該２次元画像に対応する各前記計算投影画像とを比較して前記２次元撮像画像における前記処理対象の変形量を算出し、該変形量に基づいて前記特徴部位の位置を補正する変形量算出／補正部と、各前記２次元撮像画像において補正された前記特徴部位の位置と、前記２次元撮像画像を撮影した前記放射線源及び前記検出器の各位置から、前記特徴部位の３次元位置を算出する３次元位置算出部と、前記３次元画像から取得した前記処理対象の解剖構造情報に基づいて、前記特徴部位の３次元位置を補正する解剖構造位置補正部と、前記解剖構造位置補正部によって補正された特徴部位の前記３次元位置を前記３次元画像上に重畳させ、補正後の特徴部位の前記３次元位置を重畳させた前記３次元画像を表示装置に表示させる位置マッピング部と、を備えた放射線撮像装置を提供する。
　本発明によれば、処置具の３次元位置を精度よく検出して画像上に高精度に表示することができる。
本発明の実施形態に係るＸ線撮像装置の概略構成を示すブロック図である。 本発明の実施形態に係るＸ線撮像装置において、３次元画像とＸ線源と検出器とを模擬的に配置した模擬体型の一例を示す説明図である。 本発明の実施形態に係るＸ線撮像装置において、被検体に処置具が挿入された状態で撮影されたＸ線撮影画像の一例を示す参考図である。 本発明の実施形態に係るＸ線撮像装置の変形量算出／補正部の概略構成を示すブロック図である。 本発明の実施形態に係るＸ線撮像装置の変形量算出／補正部による非剛体変形を説明する説明図である。 本発明の実施形態に係るＸ線撮像装置の疑似構造付加部における疑似構造の付加を説明する説明図である。 本発明の実施形態に係るＸ線撮像装置において、処置具の３次元位置を算出する処理の一例を説明する説明図である。 本発明の実施形態に係るＸ線撮像装置において、解剖構造情報により処置具の３次元位置を補正する処理の一例を説明する説明図である。 本発明の実施形態に係るＸ線撮像装置において、検出した処置具の位置を３次元画像上に重畳させ、重畳させた画像を表示した場合の表示画面の一例を示す参考図である。 本発明の実施形態に係るＸ線撮像装置における処置具等の３次元位置を描出した画像の表示に係る処理の流れを示すフローチャートである。 本発明の実施形態に係るＸ線撮像装置の変形量算出／補正部における体動に起因する変形を補正する処理の流れを示すフローチャートである。 本発明の実施形態に係るＸ線撮像装置の変形量算出／補正部における処置具が体内に挿入されたことに起因する変形を補正する処理の流れを示すフローチャートである。
　本発明の実施形態に係る放射線撮像装置は、放射線源及び検出器の位置を移動させることにより撮影角度の異なる複数の２次元撮像画像を撮像する撮像部と、予め撮像された処理対象の３次元画像と取得する画像取得部と、各２次元撮像画像に対応させて、３次元画像と２次元撮像画像を撮像した放射線源及び検出器の各位置とに基づいて、３次元画像から２次元の計算投影画像を作成する計算投影画像作成部と、各２次元撮像画像に描出された処置具を示す特徴部位を抽出する特徴部位抽出部と、各２次元撮像画像と、２次元画像に対応する各計算投影画像とを位置合せする画像位置合せ部と、各２次元撮像画像と、２次元画像に対応する各計算投影画像とを比較して２次元撮像画像における処理対象の変形量を算出し、変形量に基づいて特徴部位の位置を補正する変形量算出／補正部と、各２次元撮像画像において補正された特徴部位の位置と、２次元撮像画像を撮影した放射線源及び検出器の各位置から、特徴部位の３次元位置を算出する３次元位置算出部と、前記３次元画像から取得した前記処理対象の解剖構造情報に基づいて、前記特徴部位の３次元位置を補正する解剖構造位置補正部と、前記解剖構造位置補正部によって補正された特徴部位の前記３次元位置を前記３次元画像上に重畳させ、補正後の特徴部位の前記３次元位置を重畳させた前記３次元画像を表示装置に表示させる位置マッピング部と、を備えている。
　以下、より詳細に本発明の実施形態について、図面を参照してより詳細に説明する。
　本実施形態では、一実施形態として放射線撮像装置をＸ線撮像装置に適用した例について説明する。以下、本実施形態に係るＸ線撮像装置について、図面を参照して説明する。
　なお、本実施形態に係るＸ線撮像装置は、放射線撮像装置の一例であり、Ｘ線以外によって画像を取得する放射線撮像装置に適用することもできる。
　図１に示すように、Ｘ線撮像装置１０１は、有線又は無線のネットワークを介して又は直接、医用画像サーバ１１０と接続され相互に通信可能となっている。ここで、医用画像サーバ１１０は、例えば、ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像又は超音波画像等の種々の医用画像を保存する。これら画像及び情報のネットワークを介した通信や保存は、例えば、医療分野にて一般的に使用されているＤＩＣＯＭフォーマットを用いることにより実現可能である。また医用画像サーバ１１０は、外部の画像処理システム１１１と接続されており、画像処理システム１１１で処理された結果である画像や情報を保存し、保存した画像や情報をＸ線撮像装置１０１に出力することができる。
　Ｘ線撮像装置１０１は、Ｘ線源１０２、検出器１０３、装置制御部１０４、表示部１０７、記憶部１０８及びデータ処理部１０９を備えている。
　検出器１０３は、Ｘ線源１０２から照射され被検体を透過したＸ線を検出する。装置制御部１０４は、Ｘ線源１０２及び検出器１０３を駆動するための駆動部１０５と、検出器１０３で検出したデータを収集するデータ収集部１０６を備えている。表示部１０７は、データ収集部１０６が収集した及びデータ処理部１０９によって処理された結果を表示する。記憶部１０８は、データ収集部１０６によって収集された各種データ及びデータ処理部１０９によって処理された結果等を記憶する。
　データ処理部１０９は、３次元画像取得部１１２、計算投影画像作成部１１３、画像位置合せ部１１４、特徴部位抽出部１１５、変形量算出／補正部１１６、３次元位置算出部１１７、解剖構造位置補正部１１８及びマッピング部１１９を備えている。
　３次元画像取得部１１２は、医用画像サーバ１１０から所定の３次元画像を取得すると共に、解剖構造情報を取得する。３次元画像としては、例えば、予め病変部の診断や、処置具を病変部まで挿入するルート等を計画するために用いられる画像を適用する。一般的には、３次元画像として、ＣＴ画像、ＭＲＩ画像及びＰＥＴ画像等を用いることができ、この他、病変部の診断や検査に適切な３次元画像を適用することができる。以下の説明においては、一例として、ＣＴ画像を３次元画像として用いた例について説明する。
　ここで、解剖構造情報とは、被検体内の臓器等の構造を示す情報であり、例えば、気管支樹等の気管支構造等がある。これは、３次元画像から得られる情報である。
　計算投影画像作成部１１３は、３次元画像取得部１１２により取得した３次元画像に基づいて２次元の計算投影画像を生成する。より具体的には、計算投影画像作成部１１３は、３次元画像取得部１１２が取得した３次元画像を用い、Ｘ線源１０２及び検出器１０３の位置に基づいて２次元の計算投影画像を計算する。
　ここで、計算投影画像とは、Ｘ線撮像装置１０１におけるＸ線源１０２及び検出器１０３の空間的な配置に、図２に示すような３次元画像取得部１１２によって取得した３次元画像を配置した模擬体系で、Ｘ線源１０１から検出器１０２に模擬Ｘ線（レイ）を投影し、模擬Ｘ線による検出器１０２での検出画像（例えば、通過距離と画素値等）を算出（レイトレース）した画像である。なお、計算投影画像は、例えば、ＤＲＲ（Digital Reconstructed Radiograph）画像とも呼ばれる。
　Ｘ線撮影画像が取得された際のＸ線源１０２及び検出器１０３の３次元位置はＸ線撮像装置の構成から把握することができ、Ｘ線撮影画像の撮像角度も既知である。したがって、後述する位置合わせを考慮して、Ｘ線源１０２、検出器１０３及びこれらの回転角度から、夫々の位置関係を模擬した配置で、計算投影画像を計算する。例えば、計算投影画像は、上述のようなレイトレース法を用いて、３次元画像としての画像の画素値をレイ方向に加算した数値として計算する。さらに、計算投影画像を、Ｘ線撮影画像を取得した各角度で計算する。
　画像位置合せ部１１４は、まず、Ｘ線撮影画像と計算投影画像とを位置合せする。つまり、画像位置合わせ部１１４は、Ｘ線撮像装置１０１により取得した２次元のＸ線撮影画像と計算投影画像作成部１１３により生成された計算投影画像との位置合わせを行う（図２参照）。
　画像位置合わせ部１１４は、２つの画像は共に２次元画像であることから、計算投影画像を移動・回転させ、計算投影画像とＸ線撮影画像との類似度（例えば、相互情報量等）を計算し、類似度を示す値が最大もしくは最小となる移動・回転パラメータを剛体位置合わせパラメータとして求める。また類似度の他に、画像中の基準部位を対応させる移動・回転パラメータを算出し、これを剛体位置合わせパラメータとして利用することもできる。
　画像位置合わせ部１１４は、位置合せのための剛体位置合わせパラメータとして、例えば、３次元画像から作成した計算投影画像と、Ｘ線撮影画像との位置合せから、平行移動３自由度及び撮影方向を軸とする回転（平面内回転）２自由度を算出する。算出したパラメータを用いて、Ｘ線撮影画像と計算投影画像とを位置合わせする。
　３次元画像と２次元画像の位置合せの剛体位置合わせパラメータ算出については、前述の３次元画像から計算投影画像を求め、Ｘ線撮影画像と位置合せ法とは、他の方法で行うこともできる。例えば、３次元画像を移動・回転させて計算投影画像を作成し、計算投影画像とＸ線撮影画像との画素値の比較を繰返し、類似度が最大、もしくは最小となるパラメータを探索することにより平行移動（直交軸）３自由度と及び直交の各軸周りの回転３自由度、計６自由度を算出することができる。
　本実施形態における画像位置合せでは、いずれの位置合せ法を用いてもよく、種々の手法を適用することができる。なお、位置合せは、３次元画像では移動、回転の６パラメータを位置合せする、いわゆる剛体位置合せであるため、主に骨などの剛体領域の位置合せに適している。
　特徴部位抽出部１１５は、Ｘ線撮影画像における処置具等を示す１以上の特徴的な領域を特徴部位として抽出する。特徴部位としては、処置具に設けられたマーカや、処置具の先端等を示す領域を用いることができる。
　図３に、被検体に処置具が挿入された状態で撮影されたＸ線撮影画像の例を示す。処置具はＸ線の高吸収領域であるため、図３に示すように、Ｘ線撮影画像上では人体構造物に比較して高いコントラストを有している。このようなＸ線撮影画像上の人体構造物を示す領域と処置具を示す領域とにおけるコントラストの差異に基づいて、高コントラスト領域を抽出することで例えば、処置具である鉗子先端を特徴部位として検出する。
　また、処置具がガイドシースである場合、ガイドシースに設けられるマーカは、Ｘ線撮影画像において、人体構造物やガイドシース本体とは異なる輝度を示す領域として描出されるため、マーカを処置具の特徴部位として抽出することができる。
　変形量算出／補正部１１６は、Ｘ線撮影画像と計算投影画像から被検体の変形量を算出し、特徴部位抽出部１１５によって抽出された特徴部位の撮影面内における位置を補正する。
　Ｘ線撮像装置で取得されたＸ線撮影画像と、事前に撮像された３次元画像は、撮像した装置が異なり、同一の時刻に撮像されたものではいことは勿論、通常は、撮像時の体勢、環境等が異なる。また、被検体の体動、例えば心臓の動きや、呼吸等により人体は非剛体的に変形するため、撮像時刻が異なる２以上の画像間には上記体動に起因した変形が含まれることが多い。
　更に、処置具を体内に挿入した場合には、体内の軟組織領域は一般的に処置具よりも柔らかいため、挿入によって体内の組織に変形が生じる場合がある。これら変形は、骨などの固い領域、いわゆる剛体領域には殆ど生じないが、軟組織領域のような柔らかい領域において生じやすい。また、処置具等は、管状組織の内部に挿入されるため、軟組織と共に体動の影響も受けることとなる。従って、処置具を体内に挿入した場合には、Ｘ線撮影画像及びＸ線撮影画像間には、処置具に起因した変形が含まれることがある。
　つまり、被検体に生じる変形は、大きく分けて、例えば心臓の動きや呼吸等の体動に起因する変形と、処置具が体内に挿入されたことによって生じる変形との２種類が考えられる。従って、変形量算出／補正部１１６は、これらの２種の変形を必要に応じて補正する。
　変形量算出／補正部１１６は、このような変形を補正するために、図４に示すように、変形量算出／補正部１１６は、非剛体変形部５０１、画像比較部５０２、変形パラメータ算出部５０３、撮影面内位置補正部５０４及び模擬構造付加部５０５を備えている。
　非剛体変形部５０１は、Ｘ線撮影画像を非剛体変形させる。より詳しくは、非剛体変形部５０１は、まず、図５に示すようにＸ線撮影画像上に格子状のメッシュを設定し、格子状の各点が例えばスプライン関数等の滑らかな曲線に沿って移動すると仮定して格子状の各点を移動させる。そして、非剛体変形部５０１は、格子状の各点の移動に応じて画素を変換することにより、非剛体変形させる。なお、移動するひとつ又は複数の格子点の選択、移動量や移動方向は、適宜予め定めることができる。
　画像比較部５０２は、非剛体変形部５０１により非剛体変換したＸ線撮影画像と、計算投影画像とを比較し、両者の類似度を計算する。ここでは、画像位置合わせ部１１４における類似度の計算と同様に、２つの画像は共に２次元画像であることから、計算投影画像を移動・回転させ、非剛体変形したＸ線撮影画像と剛体領域を減弱した計算投影画像との類似度（例えば、相互情報量等）を計算する。
　変形パラメータ算出部５０３は、画像比較部５０２おいて計算した類似度のうち、類似度を示す値が最大（あるいは相違度が最小）となるパラメータを、非剛体変形パラメータとして算出する。
　撮影面内位置補正部５０４は、非剛体変形パラメータに基づいて特徴部位の２次元画像上の位置がどの程度移動したかを表す変形移動量を計算し、Ｘ線撮影画像の面内の特徴部位の位置を補正する。変形移動量として算出する移動量ベクトルは、非剛体位置合せ前の特徴部位の位置と、非剛体位置合せ後の特徴部位の位置から求めることができる。また、位置合せ前の位置と位置合せ後の位置を結ぶベクトルを算出することもできる。
　疑似構造付加部５０５は、３次元画像取得部１１２により取得した３次元画像と共に、画像処理システム１１１により予め算出され医用データサーバ１１０に格納されている被検体の体内構造に基づく形状、例えば気管及び気管支領域、処理具の挿入ルートを取得し、図６に示すように、取得した処置具ルートを疑似構造として付加する。
　３次元画像では体内構造が明瞭であるため、気管及び気管支等の管状構造を把握することが容易であり、気管及び気管支データの作成、病変部までの処置具の挿入ルートを事前に計画し、気管及び気管支に沿った処置具ルートを点集合や線集合のデータとして生成し保存することができる。従って、このようなデータを予め医用画像サーバ１１０等の記憶装置に記憶しておくことで簡易に処置具のルートを取得することができる。
　医用画像サーバ１１０から取得した３次元画像と処置具ルートに関するデータの例を図６中左上に示している。すなわち、疑似構造付加部５０５は、３次元画像に処置具ルートに関する情報を模擬構造として付加、重畳させることで、計算投影画像とＸ線投影画像とを比較した場合に、計算投影画像における模擬構造の位置と実際の特徴部位の位置（処置具の位置）とを比較することができる。これにより、模擬構造と特徴部位の位置のずれから、処置具を挿入したことに起因して被検体に変形が生じているか否かを把握することができる。
　３次元位置算出部１１７は、Ｘ線源の位置とＸ線撮影画像内で特定された特徴部位の位置に基づいて、特徴部位の３次元位置を算出する。
　具体的には、例えば、Ｘ線撮影画像において抽出した特徴部位としての処置具先端位置と、処置具先端位置と対応する検出器１０３の位置を求める。対応する検出器１０３の３次元位置は、Ｘ線撮像装置１０１上における検出器１０３の装置構成から求める。これは、Ｘ線撮影画像上の処置具先端位置は、Ｘ線源から検出器１０３に向け投影されたものであるため、Ｘ線源とＸ線撮影画像上の処置具先端とを結ぶ直線上の３次元位置に処置具先端があるからである。その結果、３次元位置算出部１１３は、例えば、抽出した鉗子先端位置の検出器１０３上（Ｘ線撮影画像上）の３次元位置（図７のＤ１、Ｄ２）を算出することができる。
　さらに、３次元位置算出部１１７は、処置具に対して複数の特徴部位がある場合にはそれぞれについて、検出器１０３上（Ｘ線撮影画像上）の３次元位置とＸ線源の３次元位置から２点を結ぶ直線を算出する。Ｘ線源１０２の３次元位置は、Ｘ線撮像装置１０１におけるＸ線源１０２の装置構成から求めることができるので、例えば特徴部位としての鉗子先端位置の検出器１０３上（２次元Ｘ線撮影画像上）の３次元位置と、Ｘ線源１０２の３次元位置から、その２点を結ぶ直線を算出することができる。
　Ｘ線撮像装置においては、被写体に対して角度を異ならせて複数回の撮像を行うため、複数のＸ線撮影画像が取得される。従って、例えば、３次元位置算出部１１７は、例えば異なる２つの角度で撮影されたＸ線撮影画像について、Ｘ線源の３次元位置と、鉗子先端又はガイドシースのマーカ等の特徴部位の位置の検出器１０３上（Ｘ線撮影画像上）の３次元位置とを結ぶ直線が、各特徴部位に対して２本ずつ得られることになる。３次元位置算出部１１７は、異なる角度で撮像された複数のＸ線撮影画像における処置具の各特徴部位に関して算出された２直線の位置関係から、処置具を示す特徴部位の３次元位置を算出する。
　以下、線撮像装置の実施形態における処置具の３次元位置を算出する例について説明する。
　図７に示すように、Ｘ線源の３次元位置Ｓ１とＸ線撮影画像１における特徴部位の３次元位置Ｄ１を結ぶ直線Ｌ１と、回転したＸ線源の３次元位置Ｓ２とＸ線撮影画像２における特徴部位の３次元位置Ｄ２とを結ぶ直線Ｌ２は、同一の鉗子先端等の特徴部位を投影したものである。このため、直線Ｌ１とＬ２とは、１点で交わることが理想的であるが、実際には計測誤差等によって、必ずしも１点で交わるとは限らない。そこで２つの直線の距離が最も近くなる直線Ｓ１－Ｄ１上の点Ｑ１と、直線Ｓ２－Ｄ２上の点Ｑ２を求め、例えばその２点の中点を鉗子先端位置とすることができる。
　図７に示す点Ｑ１及び点Ｑ２は、以下の式に従って求めることができる。
　Ｑ１＝Ｓ１＋（Ｄ１－Ｄ２＊Ｄｖ）／（１－Ｄｖ＊Ｄｖ）＊ｖ１
　Ｑ２＝Ｓ２＋（Ｄ２－Ｄ１＊Ｄｖ）／（Ｄｖ＊Ｄｖ－１）＊ｖ２
　　但し、
　　　Ｄ１＝（Ｓ２－Ｓ１）ｖ１
　　　Ｄ２＝（Ｓ２－Ｓ１）ｖ２
　　　Ｄｖ＝ｖ１・ｖ２
　上記の式により求めた点Ｑ１及び点Ｑ２の３次元位置から、次式を用いて鉗子先端位置の３次元位置を算出することができる。
　　（Ｑ１＋Ｑ２）／２
　解剖構造位置補正部１１８は、３次元位置算出部１１７により算出した特徴部位の３次元位置を被検体の解剖構造情報に基づいて補正する。
　解剖構造位置補正部１１８による特徴部位の３次元位置に対する補正は以下のように行われる。
　ここで、医用画像サーバ１１０に格納されている３次元画像は、被検体の３次元構造をすべて保持しているため、解剖構造情報として、例えば、内視鏡や処置具が挿入される気管支構造を３次元画像から取得することができる。本実施形態では、３次元画像から得られる解剖構造情報を、当該３次元画像と対応付けて医用画像サーバ１１０に予め記憶しておき、３次元画像取得部１１２が医用画像サーバ１１０から３次元画像と共に解剖構造情報を取得する。
　図８は、３次元画像から得た解剖構造情報としての気管支樹に係る情報をボリュームレンダリングした例を示している。以下、気管支に処置具を挿入している例について説明する。
　図８の場合、処置具を気管支内に挿入するため、処置具を示す特徴部位は解剖構造内つまり気管支内に存在するはずである。これに基づいて、処置具の特徴部位の３次元位置を、解剖構造内に位置するように補正する。より具体的には、例えば、予め取得した解剖構造情報である気管支構造と、処置具を示す特徴部位の３次元位置との距離を算出し、特徴部位の３次元位置が気管支構造から最短距離に位置するように移動させることにより、３次元位置を解剖構造内に位置するように補正することができる。
　位置マッピング部１１９は、３次元画像取得部１１１により取得した３次元画像に解剖構造位置補正部１１８により補正した特徴部位の３次元位置を付加、すなわち重畳させる。
　Ｘ線撮影画像における被検体の位置と、医用画像サーバ１１０から取得した３次元画像における被検体の位置は、画像位置合わせ部１１４により位置合わせされている。
　従って、例えば、Ｘ線撮影画像における特徴部位としての処置具先端の３次元位置を３次元画像に重畳させることができる。同様に特徴部位がガイドシースのマーカである場合も、当該マーカの３次元位置を３次元画像上に重畳させることができる。位置マッピング部１１９は、特徴部位が重畳された３次元画像を表示部１０７及び記憶部１０８に出力し、例えば、図９に示すように表示部１０７に表示させると共に、記憶部１０８に記憶させる。
　なお、図９の例では、３次元画像として断層画像を示しているが、他の２次元画像や立体画像等の３次元画像を適用することもできる。
　図９の例では互いに撮像方向の異なる２枚のＸ線撮影画像１及びＸ線撮影画像２と共に、医用画像サーバ１１０から取得した３次元画像において特徴部位（処置具）の位置を重畳させた画像、解剖構造のボリュームレンダリング画像上に特徴部位（処置具）の３次元位置を重畳させた画像を表示した例である。また、３次元画像及びボリュームレンダリング画像には、変形量に対する補正の有無を示している。
　このように構成されたＸ線撮像装置において、処置具等の３次元位置を描出した画像の表示に係る処理の流れについて、図１０のフローチャートに従って説明する。
　なお、Ｘ線撮影画像においては、撮影角度を異ならせて撮影した複数のＸ線撮影画像が必要であるが、ここでは説明の便宜上、２枚のＸ線撮影画像を取得する場合について説明する。
　ステップＳ２０１において、Ｘ線撮像装置１０１は、２枚のＸ線撮影画像を取得する。
　Ｘ線撮像装置１０１は、装置制御部１０４の駆動部１０５によりＸ線源１０２及び検出器１０３を駆動させて所望の位置へ移動させ、Ｘ線源１０２のＸ線管から照射され被検体を透過したＸ線を検出器１０３によって検出し、検出したデータをデータ収集部１０６により収集し、２次元のＸ線撮影画像を取得する。Ｘ線撮影画像は、データ収集部１０６からデータ処理部１０９へ送られる。さらに、駆動部１０５により角度又は方向を変更して、同様の撮像を行い先の処理と併せて計２枚のＸ線撮影画像を取得する。
　なお、ステップＳ２０１ではＸ線撮像装置１０１により撮影角度を異ならせて複数の２次元画像を撮影することとしているが、画像の取得が必ずしも撮影である必要はなく、例えば、データ処理部１０９が、他の放射線撮像装置において撮影された撮影角度の異なる複数の２次元画像を所定のデータベース等から取得することとしてもよい。
　次にステップＳ２０２において、３次元画像取得部１１２により医用画像サーバ１１０から所定の３次元画像を取得し、この３次元画像に基づいて計算投影画像作成部１１３により２次元の計算投影画像を生成する。
　ステップＳ２０３では、画像位置合せ部１１４により、Ｘ線撮像装置１０１により取得した２次元のＸ線撮影画像と計算投影画像作成部１１３により生成された計算投影画像との位置合わせを行い、次のステップＳ２０４では、特徴部位抽出部１１５によりＸ線撮影画像における特徴部位を抽出する。
　次のステップＳ２０５では、変形量算出／補正部１１６により、Ｘ線撮影画像と計算投影画像から被検体の変形量を算出する。変形量の算出にかかる処理の流れについては後述する。ステップＳ２０６では、ステップＳ２０５において変形量算出／補正部１１６によって算出した被検体の変形量と、ステップＳ２０４において特徴部位抽出部１１５により抽出したＸ線撮影画像における特徴部位を用いて、Ｘ線撮影画像上の特徴部位の位置を補正する。
　次のステップＳ２０７では、３次元位置算出部１１７により、Ｘ線撮影画像において抽出され且つ変形量に基づいて位置が補正された特徴部位の、Ｘ線撮影画像上の３次元位置を算出する。続いて、ステップＳ２０８において、ステップＳ２０７で得られたＸ線撮影画像における特徴部位の３次元位置とＸ線源の３次元位置とを結ぶ直線を算出する（図７参照）。なお、特徴部位が複数個所ある場合には、特徴部位毎に、当該特徴部位のＸ線撮影画像上の３次元位置とＸ線源の３次元位置とを結ぶ直線を算出する。
　本実施形態では、上記ステップＳ２０１において、Ｘ線撮影画像が２枚取得されていることから、ステップＳ２０２～ステップＳ２０８において、各処理はＸ線撮影画像毎に行われる。従って、１つの特徴部位に対して、当該特徴部位のＸ線撮影画像上の３次元位置とＸ線源の３次元位置とを結ぶ直線は２本得られることとなる。Ｘ線撮影画像が複数取得されている場合には、撮影枚数分の直線が得られることとなる。
　ステップＳ２０９では、３次元位置算出部１１７により、上記ステップＳ２０８で得られた特徴部位に対する２本の直線の位置関係に基づいて特徴部位の３次元位置を算出する。次のステップＳ２１０において、解剖構造位置補正部１１８によって、ステップＳ２０９で得られた特徴部位の３次元位置を、医用画像サーバ１１０から取得した被検体の解剖構造情報に基づいて補正する（図８参照）。
　そして、次のステップＳ２１１において、位置マッピング部１１９により、３次元画像上に特徴部位の３次元位置を重畳させ、重畳させた画像データを表示部１０及び記憶部１０８に出力する。ステップＳ２１２において、位置マッピング部１１９から取得した特徴部位の３次元位置が重畳された３次元画像を、表示部１０８に表示させる（図９参照）と共に記憶部１０８に記憶させる。
　続いて、変形量算出／補正部１１６による被検体に生じる、体動に起因する変形と、処置具が体内に挿入されたことによって生じる変形の補正の処理の流れについて図１１及び図１２のフローチャートに従って説明する。
（体動に起因する変形の補正）
　図１１は、変形量算出／補正部１１６による体動に起因する変形を補正する処理の流れを示すフローチャートである。
　ステップＳ６０１において、非剛体変形部５０１が、図１０のステップＳ２０４において位置合わせされたＸ線投影画像を取得し、ステップＳ６０２においてＸ線撮影画像を非剛体変形させる。次のステップＳ６０３において、画像比較部５０２が、非剛体変形部５０１により非剛体変換したＸ線撮影画像と、剛体領域を計算投影画像とを比較し、両者の類似度を計算する。
　ステップＳ６０４では、変形パラメータ算出部５０３により、画像比較部５０２おいて計算した類似度に基づいて非剛体変形パラメータを算出する。ステップＳ６０４の処理は、ステップＳ６０３において算出した類似度が最大であるか否かを判定し、最大でなければ、ステップＳ６０２に戻り処理を繰り返す。類似度が最大である場合には、類似度を示す値が最大（あるいは相違度が最小）となるパラメータを、非剛体変形パラメータとして算出しステップＳ６０５に進む。
　ステップＳ６０５では、撮影面内位置補正部５０４により、非剛体変形パラメータに基づいて特徴部位の２次元画像上の位置がどの程度移動したかを表す変形移動量を計算する。
（処置具が体内に挿入されたことによって生じる変形の補正）
　図１２は、変形量算出／補正部１１６による処置具が体内に挿入されたことによって生じる変形を補正する処理の流れを示すフローチャートである。
　疑似構造付加部５０５により、３次元画像取得部１１２により医用画像サーバ１１０から取得した３次元画像をステップＳ８０１において取得すると共に、ステップＳ８０２において処置具ルートを取得する（ステップ８０２）。
　ステップＳ８０３において、疑似構造付加部５０５により、３次元画像に処置具ルートを疑似構造として付加する。次に、ステップＳ８０４において、疑似構造付加部５０５によって疑似構造が付加された３次元画像に対し、計算投影画像作成部１１３により疑似計算投影画像を生成する。この疑似構造を付加した３次元画像から疑似計算投影画像を作成することにより、疑似構造を付加していない３次元画像からの計算投影画像では描出されなかった、処置具ルートから作成した疑似的な処置具の投影像を描出することができる。
　次のステップＳ８０５において、非剛体変形部５０１により、Ｘ線撮影画像を非剛体変形させ、ステップＳ８０６において、画像比較部５０２により、Ｘ線撮影画像と疑似構造を付加した疑似計算投影画像をと比較し、両者の類似度を計算する。
　ステップＳ８０７では、変形パラメータ算出部５０３により、ステップＳ８０６において画像比較部５０２が計算した類似度に基づいて非剛体変形パラメータを算出する。ステップＳ８０７の処理は、ステップＳ８０７において算出した類似度が最大であるか否かを判定し、最大でなければ、ステップＳ８０５に戻り処理を繰り返す。類似度が最大である場合には、類似度を示す値が最大（あるいは相違度が最小）となるパラメータを、非剛体変形パラメータとして算出しステップＳ８０８に進む。
　なお、ステップＳ８０７では、Ｘ線投影画像と疑似構造を付加した疑似計算投影画像とを比較するため、体動のみならず、処置具挿入による被検体の変形を考慮した非剛体変換パラメータを求めることができる。
　次のステップＳ８０８において、撮影面内位置補正部５０４により、ステップＳ８０７で算出された非剛体変形パラメータを用いて、撮影面内における変形量を算出する。
　このように、処置具ルートを疑似構造として予め付加した画像を用いて被検体の変形を演算するので、体動のみならず、処置具挿入に起因した被検体の変形を補正することができる。
　このように本実施形態によれば、処置具の３次元位置を精度よく検出して画像上に高精度に表示することができる。すなわち、本実施形態では、Ｘ線撮影画像と予め取得したＣＴ画像等の３次元画像とを用いることで、処置具の３次元位置を検出することができる。特に、呼吸や拍動等の体動は勿論、処置具が挿入されたことによる被検体の体内変形に起因してＸ線撮影画像上で認識された処理具位置を、予め取得した３次元画像と比較することにより補正するので、高精度に処置具の３次元位置を検出し、画像上に描画し、これを表示することができる。
　また、３次元画像に基づいて、例えば、処置具の挿入ルートに関する情報を取得してこれを描画、表示させることで、ユーザは、処置具位置の確認及び挿入ルートを容易に確認することができる。
　なお、データ処理部１０９は、その一部又は全部をＣＰＵ（中央処理装置）、メモリ及び主記憶部を含むシステムとして構築することができ、データ処理部１０９を構成する各部の機能は、予め記憶部に格納されたプログラムをＣＰＵがメモリにロードし、実行することにより実現することができる。また機能の一部または全部を、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）や　ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などのハードウェアで構成することも可能である。
１０１・・・Ｘ線撮像装置、１０２・・・Ｘ線源、１０３・・・検出器、１０４・・・装置制御部、１０５・・・駆動部、１０６・・・データ収集部、１０７・・・表示部、１０８・・・記憶部、１０９・・・データ処理部、１１０・・・医用画像サーバ、１１１・・・画像処理システム、１１２・・・３次元画像（解剖構造／処置具ルート）取得部、１１３・・・計算投影画像作成部、１１４・・・画像位置合せ部、１１５・・・特徴部位抽出部、１１６・・・変形量算出／補正部、１１７・・・３次元位置算出部、１１８・・・解剖構造位置補正部、１１９・・・位置マッピング部、５０１・・・非剛体変形部、５０２・・・画像比較部、５０３・・・変形パラメータ算出部、５０４・・・撮影面内位置補正部、５０５・・・疑似構造付加部

Claims (8)

  1. 　放射線源及び検出器の位置を移動させることにより撮影角度の異なる複数の２次元撮像画像を撮像する撮像部と、
    　予め撮像された前記処理対象の３次元画像を取得する画像取得部と、
    　各前記２次元撮像画像に対応させて、前記３次元画像と前記２次元撮像画像を撮像した前記放射線源及び前記検出器の各位置とに基づいて、前記３次元画像から２次元の計算投影画像を作成する計算投影画像作成部と、
    　各前記２次元撮像画像に描出された処置具を示す特徴部位を抽出する特徴部位抽出部と、
    　各前記２次元撮像画像と、該２次元画像に対応する各前記計算投影画像とを位置合せする画像位置合せ部と、
    　各前記２次元撮像画像と、該２次元画像に対応する各前記計算投影画像とを比較して前記２次元撮像画像における前記処理対象の変形量を算出し、該変形量に基づいて前記特徴部位の位置を補正する変形量算出／補正部と、
    　各前記２次元撮像画像において補正された前記特徴部位の位置と、前記２次元撮像画像を撮影した前記放射線源及び前記検出器の各位置から、前記特徴部位の３次元位置を算出する３次元位置算出部と、
    　前記３次元画像から取得した前記処理対象の解剖構造情報に基づいて、前記特徴部位の３次元位置を補正する解剖構造位置補正部と、
    　前記解剖構造位置補正部によって補正された特徴部位の前記３次元位置を前記３次元画像上に重畳させ、補正後の特徴部位の前記３次元位置を重畳させた前記３次元画像を表示装置に表示させる位置マッピング部と、
    を備えた放射線撮像装置。
  2. 　前記位置マッピング部が、前記３次元位置算出部によって算出された特徴部位の前記３次元位置を、補正後の特徴部位の前記３次元位置と共に３次元画像に重畳させる請求項１記載の放射線撮像装置。
  3. 　前記変形量算出／補正部が、
    　前記２次元撮影画像を非剛体変形させる非剛体変形部と、
    　非剛体変換した前記２次元撮影画像と前記計算投影画像とを比較して類似度を算出する画像比較部と、
    　前記類似度が最大となるパラメータを非剛体変形パラメータとして算出する変形パラメータ算出部と、
    　前記変形パラメータに基づいて、前記２次元撮影画像内における前記特徴部位の変形移動量を算出して前記特徴部位の位置を補正する撮影面内位置補正部と、
    　を備える請求項１記載の放射線撮像装置。
  4. 　前記変形量算出／補正部が、
    　前記２次元撮影画像を非剛体変形させる非剛体変形部と、
    　非剛体変換した前記２次元撮影画像と前記計算投影画像とを比較して類似度を算出する画像比較部と、
    　前記類似度が最大となるパラメータを非剛体変形パラメータとして算出する変形パラメータ算出部と、
    　前記変形パラメータに基づいて、前記２次元撮影画像内における前記特徴部位の変形移動量を算出して前記特徴部位の位置を補正する撮影面内位置補正部と、
    　を備える請求項２記載の放射線撮像装置。
  5. 　前記変形量算出／補正部が、前記３次元画像に、前記処理対象の体内構造に基づく形状を示す疑似構造を重畳させる疑似構造付加部をさらに備える請求項３記載の放射線撮像装置。
  6. 　前記変形量算出／補正部が、前記３次元画像に、前記処理対象の体内構造に基づく形状を示す疑似構造を重畳させる疑似構造付加部をさらに備える請求項４記載の放射線撮像装置。
  7. 　放射線源及び検出器の位置を異ならせて処理対象を撮影した撮影角度の異なる複数の２次元撮像画像と、予め撮像された前記処理対象の３次元画像とを取得する画像取得ステップと、
    　各前記２次元撮像画像に対応させて、前記３次元画像と前記２次元撮像画像を撮像した前記放射線源及び前記検出器の各位置とに基づいて、前記３次元画像から２次元の計算投影画像を作成する計算投影画像作成ステップと、
    　各前記２次元撮像画像に描出された処置具を示す特徴部位を抽出する特徴部位抽出ステップと、
    　各前記２次元撮像画像と、該２次元画像に対応する各前記計算投影画像とを位置合せする画像位置合せステップと、
    　各前記２次元撮像画像と、該２次元画像に対応する各前記計算投影画像とを比較して前記２次元撮像画像における前記処理対象の変形量を算出し、該変形量に基づいて前記特徴部位の位置を補正する変形量算出／補正ステップと、
    　各前記２次元撮像画像において補正された前記特徴部位の位置と、前記２次元撮像画像を撮影した前記放射線源及び前記検出器の各位置から、前記特徴部位の３次元位置を算出する３次元位置算出ステップと、
    　前記３次元画像から取得した前記処理対象の解剖構造情報に基づいて、前記特徴部位の３次元位置を補正する解剖構造位置補正ステップと、
    　補正された前記特徴部位の３次元位置を前記３次元画像上に重畳させ、補正後の特徴部位の前記３次元位置を重畳させた前記３次元画像を表示装置に表示させる位置マッピングステップと、
    を備えた画像処理方法。
  8. 　放射線源及び検出器の位置を異ならせて処理対象を撮影した撮影角度の異なる複数の２次元撮像画像と、予め撮像された前記処理対象の３次元画像とを取得する画像取得ステップと、
    　各前記２次元撮像画像の各々に対応させて、前記３次元画像と前記２次元撮像画像を撮像した前記放射線源及び前記検出器の各位置とに基づいて、前記３次元画像から２次元の計算投影画像を作成する計算投影画像作成ステップと、
    　各前記２次元撮像画像に描出された処置具を示す特徴部位を抽出する特徴部位抽出ステップと、
    　各前記２次元撮像画像と、該２次元画像に対応する各前記計算投影画像とを位置合せする画像位置合せステップと、
    　各前記２次元撮像画像と、該２次元画像に対応する各前記計算投影画像とを比較して前記２次元撮像画像における前記処理対象の変形量を算出し、該変形量に基づいて前記特徴部位の位置を補正する変形量算出／補正ステップと、
    　各前記２次元撮像画像において補正された前記特徴部位の位置と、前記２次元撮像画像を撮影した前記放射線源及び前記検出器の各位置から、前記特徴部位の３次元位置を算出する３次元位置算出ステップと、
    　前記３次元画像から取得した前記処理対象の解剖構造情報に基づいて、前記特徴部位の３次元位置を補正する解剖構造位置補正ステップと、
    　補正された前記特徴部位の３次元位置を前記３次元画像上に重畳させ、補正後の特徴部位の前記３次元位置を重畳させた前記３次元画像を表示装置に表示させる位置マッピングステップと、
    をコンピュータに実行させる画像処理プログラム。
PCT/JP2018/029762 2017-10-10 2018-08-08 放射線撮像装置、画像処理方法及び画像処理プログラム WO2019073681A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/650,438 US11127153B2 (en) 2017-10-10 2018-08-08 Radiation imaging device, image processing method, and image processing program
CN201880057606.5A CN111093505B (zh) 2017-10-10 2018-08-08 放射线拍摄装置以及图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017197051A JP6806655B2 (ja) 2017-10-10 2017-10-10 放射線撮像装置、画像データ処理装置及び画像処理プログラム
JP2017-197051 2017-10-10

Publications (1)

Publication Number Publication Date
WO2019073681A1 true WO2019073681A1 (ja) 2019-04-18

Family

ID=66101321

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/029762 WO2019073681A1 (ja) 2017-10-10 2018-08-08 放射線撮像装置、画像処理方法及び画像処理プログラム

Country Status (4)

Country Link
US (1) US11127153B2 (ja)
JP (1) JP6806655B2 (ja)
CN (1) CN111093505B (ja)
WO (1) WO2019073681A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11026641B2 (en) * 2017-10-16 2021-06-08 Mayo Foundation For Medical Education And Research System and method for tomography-based radiomic mass analysis
JP7323128B2 (ja) * 2020-03-12 2023-08-08 東芝エネルギーシステムズ株式会社 医用画像処理装置、医用装置、治療システム、医用画像処理方法、およびプログラム
US11657512B2 (en) * 2021-02-02 2023-05-23 Black Sesame Technologies Inc. Fast instance segmentation
CN116433476B (zh) * 2023-06-09 2023-09-08 有方（合肥）医疗科技有限公司 Ct图像处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005312962A (ja) * 2004-04-27 2005-11-10 Siemens Ag 電気生理学的カテーテル処置の視覚的支援方法および装置
JP2010240253A (ja) * 2009-04-08 2010-10-28 Toshiba Corp Ｘ線診断装置
JP2011050621A (ja) * 2009-09-03 2011-03-17 Hitachi Medical Corp Ｘ線ナビゲーション装置
JP2015503416A (ja) * 2012-01-06 2015-02-02 コーニンクレッカ フィリップス エヌ ヴェ 最適なデバイスナビゲーションのための血管系ビューのリアルタイム表示

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3910239B2 (ja) * 1996-11-14 2007-04-25 東芝医用システムエンジニアリング株式会社 医用画像合成装置
ATE477559T1 (de) * 2003-03-14 2010-08-15 Koninkl Philips Electronics Nv Bewegungskorrigiertes dreidimensionales volumenabbildungsverfahren
JP4710030B2 (ja) * 2005-06-16 2011-06-29 学校法人松本歯科大学 画像処理方法及び画像処理装置並びに画像処理プログラム
EP1868157A1 (en) * 2006-06-14 2007-12-19 BrainLAB AG Shape reconstruction using X-ray images
US20080037843A1 (en) * 2006-08-11 2008-02-14 Accuray Incorporated Image segmentation for DRR generation and image registration
JP5259283B2 (ja) * 2008-07-09 2013-08-07 株式会社東芝 Ｘ線診断装置及びその画像処理プログラム
JP5597399B2 (ja) * 2010-01-08 2014-10-01 株式会社東芝 医用画像診断装置
WO2011128797A1 (en) * 2010-04-15 2011-10-20 Koninklijke Philips Electronics N.V. Instrument-based image registration for fusing images with tubular structures
JP5639925B2 (ja) * 2011-02-25 2014-12-10 株式会社日立ハイテクノロジーズ パターンマッチング装置、及びコンピュータープログラム
CN104244831B (zh) * 2012-03-29 2016-10-19 株式会社岛津制作所 医疗用x射线装置
DE102012224057B4 (de) * 2012-12-20 2016-07-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Bildunterstützung
US10089737B2 (en) * 2013-11-27 2018-10-02 Children's National Medical Center 3D corrected imaging
CN106029171B (zh) * 2014-02-24 2019-01-22 国立研究开发法人量子科学技术研究开发机构 放射线治疗用运动物体跟踪装置、放射线治疗用照射区域决定装置以及放射线治疗装置
JP6020500B2 (ja) * 2014-03-25 2016-11-02 株式会社豊田中央研究所 変形解析装置
JP6472606B2 (ja) * 2014-05-15 2019-02-20 キヤノンメディカルシステムズ株式会社 Ｘ線診断装置
JP6437286B2 (ja) * 2014-11-26 2018-12-12 株式会社東芝 画像処理装置、画像処理プログラム、画像処理方法及び治療システム
JP6349278B2 (ja) * 2015-03-23 2018-06-27 株式会社日立製作所 放射線撮像装置、画像処理方法及びプログラム
JP6637781B2 (ja) * 2016-02-15 2020-01-29 株式会社日立製作所 放射線撮像装置及び画像処理プログラム
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
US10722217B2 (en) * 2016-05-26 2020-07-28 Canon Medical Systems Corporation Ultrasonic diagnostic apparatus and medical image processing apparatus
US20180070902A1 (en) * 2016-09-14 2018-03-15 Carestream Health, Inc. Apparatus and method for 4d x-ray imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005312962A (ja) * 2004-04-27 2005-11-10 Siemens Ag 電気生理学的カテーテル処置の視覚的支援方法および装置
JP2010240253A (ja) * 2009-04-08 2010-10-28 Toshiba Corp Ｘ線診断装置
JP2011050621A (ja) * 2009-09-03 2011-03-17 Hitachi Medical Corp Ｘ線ナビゲーション装置
JP2015503416A (ja) * 2012-01-06 2015-02-02 コーニンクレッカ フィリップス エヌ ヴェ 最適なデバイスナビゲーションのための血管系ビューのリアルタイム表示

Also Published As

Publication number Publication date
JP6806655B2 (ja) 2021-01-06
JP2019069037A (ja) 2019-05-09
US20200226779A1 (en) 2020-07-16
US11127153B2 (en) 2021-09-21
CN111093505A (zh) 2020-05-01
CN111093505B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
US11707241B2 (en) System and method for local three dimensional volume reconstruction using a standard fluoroscope
US20220313190A1 (en) System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US11992349B2 (en) System and method for local three dimensional volume reconstruction using a standard fluoroscope
CN110123449B (zh) 使用标准荧光镜进行局部三维体积重建的系统和方法
CN111093505B (zh) 放射线拍摄装置以及图像处理方法
JP6349278B2 (ja) 放射線撮像装置、画像処理方法及びプログラム
JP6703470B2 (ja) データ処理装置及びデータ処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18865518

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18865518

Country of ref document: EP

Kind code of ref document: A1