WO2019138438A1 - 画像作成装置 - Google Patents

画像作成装置 Download PDF

Info

Publication number
WO2019138438A1
WO2019138438A1 PCT/JP2018/000154 JP2018000154W WO2019138438A1 WO 2019138438 A1 WO2019138438 A1 WO 2019138438A1 JP 2018000154 W JP2018000154 W JP 2018000154W WO 2019138438 A1 WO2019138438 A1 WO 2019138438A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
ray
drr
subject
unit
Prior art date
Application number
PCT/JP2018/000154
Other languages
English (en)
French (fr)
Inventor
▲高▼橋　渉
翔太 押川
Original Assignee
株式会社島津製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社島津製作所 filed Critical 株式会社島津製作所
Priority to US16/959,814 priority Critical patent/US11839501B2/en
Priority to JP2019565087A priority patent/JP6881611B2/ja
Priority to CN201880085992.9A priority patent/CN111601552B/zh
Priority to PCT/JP2018/000154 priority patent/WO2019138438A1/ja
Publication of WO2019138438A1 publication Critical patent/WO2019138438A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/481—Diagnostic techniques involving the use of contrast agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10124—Digitally reconstructed radiograph [DRR]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Definitions

  • the present invention relates to an image creating apparatus that creates an image representing a specific site from an X-ray image using a DRR image.
  • photography of an angiographic image imaging
  • an X-ray image of the subject is generated as a mask image in a state where the contrast agent is not administered.
  • an X-ray image of the subject is generated as a live image in a state where the contrast agent is administered to the blood vessel.
  • poured is created by performing the image processing which subtracts a mask image from a live image (refer patent document 2).
  • JP 2012-245142 A JP, 2015-226694, A JP, 2014-000287, A
  • the present invention has been made to solve the above problems, and it is an object of the present invention to provide an image creating apparatus capable of creating an image representing a specific region from an X-ray image by machine learning using a DRR image. Do.
  • the invention according to claim 1 is a virtual simulation model simulating geometrical fluoroscopy conditions of an X-ray irradiator and an X-ray detector for the subject with respect to CT image data of a region including a specific region of the subject.
  • a DRR image creation unit for creating a first DRR image indicating a region including the specific part and a second DRR image indicating the specific part by performing a perspective projection, and the first DRR image and the first image as a teacher image
  • a learning unit that learns a learning model for recognizing the specific part by performing machine learning using the 2DRR image, and an X-ray image of an area including the specific part of the subject,
  • the image processing apparatus may further include: an image creation unit that creates an image representing the specific part by performing conversion using the learned learning model learned by the learning unit.
  • the invention according to claim 2 is the invention according to claim 1, further comprising: a bone part subtraction unit that subtracts the image representing the bone part from the X-ray image, wherein the specific part is a bone part.
  • the invention according to a third aspect is the invention according to the first aspect, wherein the specific site is an area other than the bone part of the subject.
  • the invention according to a fourth aspect is the invention according to the first aspect, wherein the specific site is a blood vessel into which a contrast agent has been injected.
  • the invention according to claim 5 is the invention according to claim 4, wherein the first DRR image is a DRR image obtained by excluding the blood vessel into which the contrast agent has been injected from the DRR image including blood vessels into which the contrast agent has been injected.
  • the X-ray image is an X-ray image in a state in which a contrast agent is not injected, and the blood vessel addition unit is further provided to add an image representing a blood vessel in which the contrast agent is injected to the X-ray image.
  • the invention according to a sixth aspect is the invention according to the first aspect, wherein the specific site is a stent placed in the body of the subject, and an image representing the stent with respect to the X-ray image. It further comprises a stent adder for adding.
  • the first aspect of the invention it is possible to create an image representing a specific site from a single X-ray image by machine learning using a DRR image.
  • an image of bones is extracted from a single X-ray image, and the X-rays are extracted.
  • the image By subtracting from the image, it is possible to easily obtain an image in which the bones are removed from the X-ray image of the subject. As a result, it is possible to prevent the occurrence of artifacts due to the movement of the subject and to halve the exposure dose required for imaging.
  • an image of a region other than the bone is extracted from a single X-ray image. It becomes possible to easily acquire an image obtained by removing bones from an X-ray image of a subject. As a result, it is possible to prevent the occurrence of artifacts due to the movement of the subject and to halve the exposure dose required for imaging.
  • an image of the blood vessel into which the contrast agent is injected is obtained from a single X-ray image. It is possible to extract and obtain an image of this blood vessel. As a result, it is possible to prevent the occurrence of artifacts due to the movement of the subject and to halve the exposure dose required for imaging.
  • the stent recognizes the X-ray image. Even when it can not be obtained, the position of the stent can be specified from the feature amount around the stent, and the image of the stent can be displayed additionally to the X-ray image.
  • FIG. 1 is a perspective view of an X-ray fluoroscopic apparatus connected to an image creating apparatus according to the present invention and used to perform X-ray fluoroscopic imaging. It is a block diagram showing a control system of an image creation device concerning a 1st embodiment of this invention. It is a schematic diagram for demonstrating the process of detecting a specific site
  • FIG. 6 is an explanatory view schematically showing a state in which a DRR image is created by virtual fluorography that simulates the geometrical fluoroscopic conditions of the X-ray irradiation unit 100 and the X-ray detection unit 200 of the X-ray fluoroscopic imaging apparatus.
  • FIG. 10 is a schematic view of a first DRR image D11 showing a region including a bone 41 and a soft tissue 42.
  • FIG. 16 is a schematic view of a second DRR image D12 showing a bone portion 41. It is a schematic diagram of X-ray image X11 obtained by X-ray fluoroscopy. It is a schematic diagram of X-ray image X12 of bone part 41 obtained by conversion.
  • FIG. 10 is a schematic view of a first DRR image D21 showing a heart 51.
  • FIG. 13 is a schematic view of a second DRR image D22 showing a blood vessel 52 into which a contrast agent has been injected. It is a schematic diagram of X-ray image X21 obtained by X-ray fluoroscopy. It is a schematic diagram of X-ray image X22 of blood vessel 52 into which a contrast agent obtained by conversion is injected. It is a schematic diagram of the 1st DRR picture D21.
  • FIG. 16 is a schematic view of a first DRR image D31 showing a heart 61, a blood vessel 62 and a stent 63.
  • FIG. 21 is a schematic view of a second DRR image D32 showing a stent 63.
  • FIG. 16 is a schematic view of an X-ray image X33 showing a heart 61, a blood vessel 62 and a stent 63.
  • FIG. 1 is a perspective view of an X-ray fluoroscopic apparatus connected to an image forming apparatus according to the present invention and used to perform X-ray fluoroscopic imaging.
  • the X-ray fluoroscopic imaging apparatus is for performing X-ray fluoroscopy and X-ray imaging, and includes an apparatus main body 11 movable by wheels 12.
  • this X-ray fluoroscopic imaging apparatus comprises an X-ray irradiation unit and an X-ray irradiation unit having an X-ray tube 21 and a collimator 23 for limiting an irradiation area of X-rays irradiated from the X-ray tube 21 to form an X-ray irradiation field.
  • an image intensifier (I.I.) 32 for detecting and imaging an X-ray emitted from the X-ray tube 21 and passed through a patient as an object, and an image imaged by the image intensifier 32.
  • a C-arm 13 for supporting the X-ray irradiator and the X-ray detector.
  • the C-arm 13 has an arc shape, and supports the X-ray irradiator and the X-ray detector.
  • the C-arm 13 is slidably supported relative to the arm support 14. Further, the arm support portion 14 is supported movably in the horizontal direction and in the vertical direction with respect to the apparatus main body 11. The movement of the C-arm 13 is performed by the operator holding and moving a handle (not shown).
  • the X-ray fluoroscopic imaging apparatus further comprises a display unit 17 such as an LCD for displaying an X-ray image based on X-rays detected by the X-ray detection unit, and an input unit 16 comprising a retractable keyboard or the like.
  • a monitor unit 15 is provided. The monitor unit 15 is movable by the action of the wheel 18.
  • FIG. 2 is a block diagram showing a control system of the image creating apparatus according to the first embodiment of the present invention.
  • the image creating apparatus is for creating an image obtained by removing a bone from an X-ray image of a region including the bone of a subject, and is a CPU as a processor that executes logical operations.
  • the ROM includes an operation program required to control the apparatus, a RAM that temporarily stores data and the like at the time of control, and the like.
  • the control unit 70 controls the entire apparatus.
  • the control unit 70 is connected to the X-ray fluoroscopic imaging apparatus 71 shown in FIG.
  • the control unit 70 is also connected online or offline to a CT imaging apparatus 72 that executes CT imaging of a subject and stores the CT image.
  • control unit 70 simulates the X-ray irradiation unit and the X-ray detection unit with respect to the CT image data of the region including the bone portion of the subject, simulating the geometrical perspective condition of the X-ray detection unit.
  • a DRR image creation unit 81 for creating a first DRR image of a region including a bone and a second DRR image showing a bone by performing a perspective projection, and using the first DRR image and a second DRR image as a teacher image Learning unit 82 for learning a learning model for recognizing a bone portion by executing machine learning, and learned learning for an X-ray image of an area including a bone portion of a subject by the learning unit 82
  • An image creation unit 83 that creates an image representing a bone by performing conversion using a model, and a bone subtraction unit that subtracts an image representing a bone from an X-ray image of a region including the bone of a subject And 84.
  • the bone area of the subject was detected, and the bone part was removed from the X-ray image of the area including the bone part of the subject The operation of creating an image will be described.
  • FIG. 3 is a schematic view for explaining a process of detecting a specific region of a subject using machine learning by the image creating apparatus according to the present invention.
  • a learning model is learned.
  • a convolutional layer to be used as a learning model is learned by machine learning with a first DRR image including a region of a specific part as an input layer and a second DRR image indicating a specific part as an output layer.
  • the bone area is detected.
  • an X-ray fluoroscopic image is used as an input layer, and conversion is performed using the learned learning model learned earlier to create an image showing a bone region as an output layer.
  • FIG. 4 is a flowchart showing an operation of creating an image in which a bone portion is removed from an X-ray image of a region including a bone portion of a subject by the image creating device according to the first embodiment of the present invention.
  • the DRR image creating unit 81 shown in FIG. 2 applies the four-dimensional CT image data acquired from the CT imaging device 72 to FIG.
  • a second DRR image showing the image is created (step S11).
  • the DRR image is created with the region where the CT value is a certain value or more as the region of the bone portion.
  • a region having a CT value of 200 HU (Hounsfield Unit) or more is recognized as a bone region and a DRR image is created.
  • four-dimensional CT data refers to a group of three-dimensional CT image data of a region including bones that are continuously photographed over time in a plurality of consecutive breathing phases. Instead of using four-dimensional CT data, three-dimensional CT data may be used.
  • FIG. 5 is an explanatory view schematically showing a state in which a DRR image is created by virtual fluorography that simulates the geometrical fluoroscopic conditions of the X-ray irradiation unit 100 and the X-ray detection unit 200 of the X-ray fluoroscopic apparatus. is there.
  • reference numeral 300 denotes CT image data.
  • the CT image data 300 is three-dimensional voxel data which is a set of a plurality of two-dimensional CT image data.
  • the CT image data 300 has, for example, a structure in which about 200 sheets of two-dimensional images of 512 ⁇ 512 pixels are stacked in a direction crossing the subject (direction along the line segment L1 or L2 shown in FIG. 5). .
  • the DRR image creation unit 81 creates a DRR image
  • perspective projection is virtually performed on the CT image data 300.
  • three-dimensional CT image data 300 is arranged on the computer.
  • the geometry which is the geometrical arrangement of the X-ray imaging system, is reproduced on the computer.
  • the X-ray irradiator 100 and the X-ray detector 200 are disposed on both sides of the CT image data 300.
  • the CT image data 300 and the arrangement of the X-ray irradiator 100 and the X-ray detector 200 are the subject when performing X-ray fluoroscopy with the X-ray fluoroscopic apparatus shown in FIG.
  • the geometry is the same as the arrangement of the X-ray irradiator consisting of the collimator 23 and the X-ray detector consisting of the image intensifier 32 and the camera 33.
  • the term “geometry” refers to the geometrical arrangement relationship between the object to be imaged, the X-ray irradiator 100 and the X-ray detector 200.
  • a parameter for creating a DRR image including at least one of projection coordinates and an angle to the CT image data 300 is changed to create a DRR image.
  • image processing is performed which includes at least one of slight translation, rotation, deformation and scaling. The execution of this translation, rotation, deformation, and enlargement / reduction is performed so that, even when the X-ray irradiator and the X-ray detector move when performing X-ray fluoroscopy, the specific region can be tracked more reliably.
  • the frame rate of the CT image data 300 which is the basis of the DRR image is smaller than the frame rate of the X-ray fluoroscopic image
  • the bone portion between the frames in the DRR image is obtained by changing the parameters for creating the DRR image. Can be simulated, and the region of the bone can be detected more accurately.
  • contrast change is performed on the created DRR image.
  • noise addition is performed on the created DRR image.
  • edge enhancement is to absorb the difference in image quality between the DRR image and the X-ray image, and to more reliably recognize the bone region.
  • Change in parameters for DRR image creation such as projection coordinates and angles, or contrast change, noise addition, and edge enhancement, as described above, are modes in which changes are made randomly or at equal intervals within a predetermined range. Will be implemented in Thus, a large amount of DRR images can be created from the CT image data 300 of one subject. For this reason, it is possible to learn a tailor-made learning model corresponding to each patient using a large amount of DRR images created in this way. In addition, it is also possible to learn a learning model using DRR images of many patients.
  • parameters including the projection coordinates and the angle of the geometric perspective condition are changed under the same condition, or the rotation, deformation, and scaling of the image are included. Apply image processing under the same conditions.
  • FIG. 6 is a schematic view of a first DRR image D11 showing a region including the bone portion 41 and the soft tissue 42 created in this manner
  • FIG. 7 is a schematic view of a second DRR image D12 showing the bone portion 41. is there. Note that, as described above, the second DRR image D12 is created by accumulating areas having a CT value of 200 HU or more.
  • Step S12 machine learning is performed by the learning unit 82 using the first DRR image D11 as an input layer and the second DRR image D12 as an output layer to learn a learning model for recognizing the bone portion 41.
  • Step S12 For example, Fully Convolutional Networks (FCN) are used.
  • FCN Fully Convolutional Networks
  • the convolutional neural network used in the FCN is configured as shown in FIG. 3 described above. That is, when learning a learning model, the input layer is the first DRR image D11, and the output layer is the second DRR image D12.
  • FIG. 8 is a schematic view of an X-ray image X11 obtained by the X-ray fluoroscopy.
  • X-ray image X11 a bone 41 and a soft tissue 42 are displayed.
  • X-ray fluoroscopy a plurality of X-ray images are acquired at a predetermined frame rate, but FIG. 8 shows an X-ray image of one of the frames. The same applies to the following description.
  • the image creating unit 83 creates an image of the bone portion 41 by performing conversion using the learning model (convoluted layer) learned in advance (step S14). That is, for the X-ray image obtained at a predetermined frame rate by X-ray fluoroscopy, using the learning model learned earlier, the X-ray image representing the bone 41 as an output layer is used for each frame of the X-ray image. create.
  • FIG. 9 is a schematic view of an X-ray image X12 of the bone portion 41 obtained by the conversion.
  • the bone portion subtraction unit 84 subtracts the X-ray image X12 of the bone portion 41 obtained by the conversion from the X-ray image X11 of the subject (step S15). In this way, it is possible to create an image in which the bone portion is removed from the X-ray image of the region including the bone portion of the subject.
  • FIG. 10 is a schematic view showing an image X13 obtained by removing the bone portion 41 from the X-ray image X11 of the subject.
  • the convolution layer to be used as a learning model is learned by machine learning with the first DRR image D11 as an input layer and the second DRR image D12 as an output layer.
  • the X-ray image X11 is used as an input layer, and conversion is performed using the learned learning model learned earlier to obtain the X-ray image X12 representing the bone 41 as an output layer. It is possible to obtain an image representing the part 41. Then, by subtracting the X-ray image X12 representing the bone portion from the X-ray image X11, it is possible to obtain the image X13 excluding the bone portion.
  • the X-ray fluoroscopic image may be blurred by a Gaussian filter or the like and then input to the learning model.
  • DRR images are created from low resolution CT images, so they have lower resolution compared to fluoroscopic images. For this reason, it is possible to more surely identify a specific part by blurring the X-ray fluoroscopic image and making the X-ray fluoroscopic image have the same resolution as the DRR image at the time of learning while reducing noise.
  • the DRR image and the X-ray fluoroscopic image to be input to the learning model may be input after performing contrast normalization in advance. Also, a local contrast normalization layer or a local response normalization layer may be added to the intermediate layer. The same applies to the following embodiments.
  • FIG. 11 is a block diagram showing a control system of an image creating apparatus according to a modification of the first embodiment of the present invention.
  • symbol is attached
  • the DRR image creation unit 81 in the control unit 70 of the image creation apparatus applies an X-ray irradiator for the subject to CT image data of a region including the bone part of the subject
  • an X-ray irradiator for the subject to CT image data of a region including the bone part of the subject
  • a first DRR image of a region including a bone portion and a second DRR image indicating a region (soft tissue) other than a bone portion are created Do.
  • the learning unit 82 performs machine learning using the first DRR image and the second DRR image as a teacher image, thereby learning a learning model for recognizing an area other than the bone.
  • the image creating unit 83 performs transformation on the X-ray image of the region including the bone portion of the subject using the learned learning model learned by the learning unit 82 to obtain the region other than the bone portion. Create an image to represent.
  • the control unit 70 does not include the bone portion subtraction unit 84 shown in FIG.
  • FIG. 12 is a flowchart showing an operation of creating an image in which a bone portion is removed from an X-ray image of a region including the bone portion of a subject by the image creating device according to this modification.
  • the DRR image creating unit 81 shown in FIG. 2 applies the four-dimensional CT image data acquired from the CT imaging device 72 to FIG.
  • a second DRR image indicating an area other than the area is created (step S21).
  • the DRR image is created with the region where the CT value becomes a predetermined value or less as the region other than the bone portion. For example, a region with a CT value of 200 HU or less is identified as a bone region and a DRR image is created.
  • Step S22 machine learning is performed by the learning unit 82 using the first DRR image as an input layer and the second DRR image as an output layer, thereby learning a learning model for recognizing an area other than the bone portion.
  • machine learning for example, Fully Convolutional Networks (FCN) are used.
  • step S23 X-ray fluoroscopy is started on the subject.
  • the image creating unit 83 uses the learning model (convoluted layer) learned in advance to perform conversion, thereby creating an image of the region other than the bone portion (step S24). That is, for the X-ray image obtained at a predetermined frame rate by X-ray fluoroscopy, the learning model learned earlier is used, and the region other than the bone portion (soft tissue) as an output layer for each frame of the X-ray image Create an X-ray image representing
  • the convolution layer used as a learning model is learned by machine learning with the first DRR image as the input layer and the second DRR image as the output layer, and then By using an X-ray image as an input layer and performing conversion using a learned learning model learned previously, an X-ray image representing an area other than a bone part as an output layer is obtained in real time. It is possible to obtain an image excluding.
  • FIG. 13 is a block diagram showing a control system of the image creating apparatus according to the second embodiment of the present invention.
  • the image creating apparatus is for creating an image of a blood vessel into which a contrast agent of a subject is injected, and controls the entire apparatus as in the image creating apparatus according to the first embodiment.
  • a control unit 70 is connected to the X-ray fluoroscopic imaging apparatus 71 shown in FIG.
  • the control unit 70 is also connected online or offline to a CT imaging apparatus 72 that executes CT imaging of a subject and stores the CT image.
  • control unit 70 is a virtual simulated simulation condition of X-ray irradiator and X-ray detector with respect to CT image data of a region including the blood vessel of the object.
  • a DRR image creation unit 81 that creates a first DRR image indicating a region including a blood vessel and a second DRR image indicating a blood vessel by performing perspective projection, and a machine using a first DRR image and a second DRR image as a teacher image
  • a learning unit 82 that learns a learning model for recognizing a blood vessel by executing learning, and a learned learning model learned by the learning unit 82 for an X-ray image of a region including the blood vessel of a subject
  • the image forming unit 83 generates an image representing a blood vessel by performing transformation
  • the blood vessel adding unit 85 adds an image representing a blood vessel into which a contrast agent has been injected to an X-ray image.
  • the first DRR image is a DRR image in which the blood vessel into which the contrast agent is
  • FIG. 14 is a flowchart showing an operation of creating an image of a blood vessel into which a contrast agent of a subject has been injected by the image creating apparatus according to the second embodiment of the present invention.
  • the basic idea for identifying a blood vessel into which a contrast agent has been injected in a subject is the same as the process of FIG. 3 in the first embodiment described above.
  • the DRR image creating unit 81 shown in FIG. 13 performs four-dimensional CT image data acquired from the CT imaging device 72 as shown in FIG.
  • An image and a second DRR image showing a blood vessel into which a contrast agent has been injected are created (step S31).
  • the CT image used at this time is a CT image (contrast enhanced CT image) after the contrast agent has been injected into the blood vessel.
  • the operator designates a region in which the CT value falls within a predetermined range to create a DRR image.
  • the operator can designate a region of the blood vessel, and the CT value can match this region, and a continuous region can be recognized as the region of the blood vessel.
  • regions of blood vessels may be recognized based on anatomical information.
  • virtual projection shown in FIG. 5 is executed as in the first embodiment.
  • a parameter for creating a DRR image including at least one of projection coordinates and an angle is changed with respect to the CT image data 300 to create a DRR image.
  • image processing is performed which includes at least one of slight translation, rotation, deformation and scaling.
  • at least one of contrast change, noise addition, and edge enhancement is performed on the created DRR image.
  • FIG. 15 is a schematic view of a first DRR image D21 showing the heart 51 generated in this manner
  • FIG. 16 is a schematic view of a second DRR image D22 showing a blood vessel 52 into which a contrast agent has been injected.
  • the first DRR image D21 is a DRR image obtained by excluding the blood vessel 52 into which the contrast agent has been injected from the heart 51 and the blood vessel 52 into which the contrast agent has been injected.
  • machine learning is performed by the learning unit 82 with the first DRR image D21 as the input layer and the second DRR image D22 as the output layer, thereby recognizing the blood vessel 52 into which the contrast agent has been injected.
  • Learn the learning model of step S32.
  • an FCN is used.
  • the convolutional neural network used in the FCN is configured as shown in FIG. 3 described above. That is, in the case of learning a learning model, the input layer is the first DRR image D21 and the output layer is the second DRR image D22.
  • FIG. 17 is a schematic view of an X-ray image X21 obtained by X-ray fluoroscopy. Note that X-ray fluoroscopy is performed in a state where the contrast agent is not injected into the subject. Therefore, the blood vessel is not clearly displayed in the X-ray image X21.
  • the image creating unit 83 uses the learning model (convoluted layer) learned in advance to perform conversion, thereby creating an image of the blood vessel 52 into which the contrast agent has been injected (step S34). That is, for an X-ray image obtained at a predetermined frame rate by X-ray fluoroscopy, a blood vessel 52 in which a contrast agent is injected as an output layer for each frame of the X-ray image using the learning model learned earlier.
  • Create an X-ray image representing FIG. 18 is a schematic view of an X-ray image X22 of the blood vessel 52 into which the contrast agent obtained by the conversion has been injected.
  • the blood vessel addition unit 85 adds the X-ray image X22 of the blood vessel 52 into which the contrast agent obtained by the conversion has been injected to the X-ray image X21 of the subject (step S35). That is, although it is possible to clearly recognize the blood vessel 52 into which the contrast agent has been injected by the X-ray image X22 of the blood vessel 52, it is possible to recognize the blood vessel 52 simultaneously with the heart 51 etc.
  • the X-ray image X22 of the blood vessel 52 into which the contrast agent obtained by the transformation is injected is added. At this time, the blood vessel 52 into which the contrast agent has been injected may be highlighted by coloring the blood vessel 52 into which the contrast agent has been injected.
  • the first DRR image D21 and the X-ray image X21 the one without the blood vessel 52 into which the contrast agent is injected is used.
  • the first DRR image D21 and the X-ray image X21 those in which both the heart 51 and the blood vessel 52 into which the contrast agent has been injected may be used.
  • FIG. 19 is a schematic diagram of the first DRR image D21 at this time.
  • X-ray fluoroscopy is performed in a state in which a contrast agent is present in the body of a subject.
  • FIG. 20 is a schematic view of an X-ray image X21 obtained by X-ray fluoroscopy at this time.
  • the X-ray image X22 of the blood vessel 52 into which the contrast agent has been injected shown in FIG. 18 can be obtained by the same method as the embodiment described above.
  • the blood vessel addition step (step S35) shown in FIG. 14 is unnecessary.
  • FIG. 21 is a block diagram showing a control system of the image creating apparatus according to the third embodiment of the present invention.
  • the image creating apparatus is for creating an image in which a stent such as a bioabsorbable stent indwelled in a subject's body is added to an X-ray image of the subject.
  • the control unit 70 that controls the entire apparatus is provided.
  • the control unit 70 is connected to the X-ray fluoroscopic imaging apparatus 71 shown in FIG.
  • the control unit 70 is also connected online or offline to a CT imaging apparatus 72 that executes CT imaging of a subject and stores the CT image.
  • control unit 70 performs geometrical X-ray irradiation condition and X-ray detection condition of the X-ray irradiation unit on the subject with respect to CT image data of a region including a stent indwelled in the body of the subject.
  • DRR image creation unit 81 that creates a first DRR image indicating a region including a stent and a second DRR image indicating a stent by performing virtual perspective projection that simulates a second DRR image as the first DRR image and a teacher image
  • a learning unit 82 for learning a learning model for recognizing a stent by executing machine learning, and a learning unit for an X-ray image of a region including the stent indwelled in the body of a subject
  • An image creation unit 83 that creates an image representing a stent by performing conversion using the learned learning model learned at 82, and a stent on an X-ray image of a region in which the stent is placed
  • a stent adding section 86 for adding to the X-ray image.
  • FIG. 22 is a flowchart showing an operation of creating an image of a stent indwelled in the body of a subject by the image creating apparatus according to the third embodiment of the present invention.
  • the basic idea for identifying a stent indwelled in the body of a subject is the same as the process of FIG. 3 in the first embodiment described above.
  • the DRR image creating unit 81 shown in FIG. 21 applies the four-dimensional CT image data acquired from the CT imaging device 72 to FIG.
  • virtual perspective projection simulating the geometric perspective conditions of the X-ray irradiation unit and the X-ray detection unit of the X-ray fluoroscopic apparatus shown in FIG.
  • a first DRR image shown and a second DRR image showing a stent indwelled in the subject's body are created (step S41).
  • the operator designates a region in which the CT value falls within a predetermined range to create a DRR image.
  • the operator disposes the single image of the stent on the CT image. By doing this, a second DRR image showing the stent may be created.
  • virtual projection shown in FIG. 5 is executed as in the first embodiment.
  • a parameter for creating a DRR image including at least one of projection coordinates and an angle is changed with respect to the CT image data 300 to create a DRR image.
  • image processing is performed which includes at least one of slight translation, rotation, deformation and scaling.
  • at least one of contrast change, noise addition, and edge enhancement is performed on the created DRR image.
  • FIG. 23 is a schematic view of a first DRR image D31 showing a heart 61, a blood vessel 62 and a stent 63 created in this manner
  • FIG. 24 is a schematic view of a second DRR image D32 showing a stent 63.
  • the stent 63 may not be able to be recognized in the first DRR image D31.
  • the learning unit 82 performs the machine learning with the first DRR image D31 as an input layer and the second DRR image D32 as an output layer, whereby the stent 63 indwelled in the subject's body is obtained.
  • a learning model for recognition is learned (step S42).
  • an FCN is used.
  • the convolutional neural network used in the FCN is configured as shown in FIG. 3 described above. That is, when learning a learning model, the input layer is the first DRR image D31, and the output layer is the second DRR image D32.
  • FIG. 25 is a schematic view of an X-ray image X31 obtained by this X-ray fluoroscopy.
  • the stent 63 is not displayed in this X-ray image X31.
  • an image of the stent 63 indwelled in the body of the subject is created by performing conversion using the learning model (convoluted layer) learned earlier by the image creation unit 83 (step S44). That is, for an X-ray fluoroscopic image obtained at a predetermined frame rate by X-ray fluoroscopy, the learning model learned earlier is used, and is stored in the body of the subject as an output layer for each frame of the X-ray image. An x-ray image representative of the stent 63 is created.
  • FIG. 26 is a schematic view of an X-ray image X32 of the stent 63 indwelled in the body of a subject obtained by conversion.
  • FIG. 27 is a schematic view of an X-ray image X33 showing a heart 61, a blood vessel 62 and a stent 63.
  • the X-ray image X33 in which the stent 63 is superimposed on the X-ray image X31 on which the heart 61 and the blood vessel 62 of the subject are displayed can be obtained. Therefore, even when a stent that can not be recognized by X-ray fluoroscopy, such as a bioabsorbable stent, is used as the stent 63, the position of the stent 63 is identified from the feature amount around the stent 63, and this stent 63 is It becomes possible to recognize on the X-ray image X33 together with the heart 61 of the subject, the blood vessel 62 and the like.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

画像作成装置は、被検者の骨部を含む領域のＸ線画像から骨部を除去した画像を作成するためのものであり、被検者の骨部を含む領域のＣＴ画像データに対して被検者に対するＸ線照射部とＸ線検出部の幾何学的透視条件を模擬した仮想的透視投影を行うことにより骨部を含む領域の第１ＤＲＲ画像と骨部を示す第２ＤＲＲ画像とを作成するＤＲＲ画像作成部８１と、第１ＤＲＲ画像と教師画像としての第２ＤＲＲ画像とを使用して機械学習を実行することにより骨部を認識するための学習モデルを学習する学習部８２と、被検者の骨部を含む領域のＸ線画像に対して学習部８２で学習した学習済学習モデルを利用して変換を行うことにより骨部を表す画像を作成する画像作成部８３と、被検者の骨部を含む領域のＸ線画像から骨部を表す画像を減算する骨部減算部８４とから構成される制御部７０を備える。

Description

画像作成装置
　この発明は、ＤＲＲ画像を利用してＸ線画像から特定部位を表す画像を作成する画像作成装置に関する。
　被検者のＸ線画像から骨部を除去した画像を取得するボーンサプレッション等と呼称される画像処理を実行するときには、従来、デュアルエネルギーサブトラクション撮影が実行されている。このデュアルエネルギーサブトラクションは、被検者に対して異なる管電圧で二度の撮影を実行し、これにより得られたＸ線画像を重みづけして減算することにより、Ｘ線画像から骨部を除去する手法である（特許文献１参照）。
　また、血管造影画像の撮影においては、ＤＳＡ（Ｄｉｇｉｔａｌ  Ｓｕｂｔｒａｃｔｉｏｎ  Ａｎｇｉｏｇｒａｐｈｙ）による撮影が行われる。この撮影を実行するときには、造影剤を投与していない状態において、被検者のＸ線画像をマスク画像として生成する。次に、造影剤を血管に投与した状態において被検体のＸ線画像をライブ画像として生成する。そして、ライブ画像からマスク画像を減算する画像処理を行うことにより、造影剤が注入された血管を示すサブトラクション画像を作成する（特許文献２参照）。
　さらに、被検者の体内のステントをＸ線撮影により表示する場合においては、ステントの画像をより鮮明に表示するため、ステントの画像を積算して表示することも行われている（特許文献３参照）。
特開２０１２－２４５１４２号公報 特開２０１５－２２６６９４号公報 特開２０１４－０００２８７号公報
　ボーンサプレッションや血管造影画像の撮影を行うときには、二枚のＸ線画像を減算する構成であることから、一枚目の撮影時と二枚目の撮影時において被検者の動きによる画像のずれが生じた場合には、アーチファクトが発生するという問題が生ずる。このため、アーチファクトを防止するために被検者の動きを規制したり、アーチファクトの低減のために種々の処理を実行したりする必要があった。
　また、ステントの画像を表示する場合において、生体吸収性ステントを使用した場合には、Ｘ線透視撮影でステントの画像を認識することが出来ないという問題があった。
　この発明は上記課題を解決するためになされたものであり、ＤＲＲ画像を利用した機械学習によりＸ線画像から特定部位を表す画像を作成することが可能な画像作成装置を提供することを目的とする。
　請求項１に記載の発明は、被検者の特定部位を含む領域のＣＴ画像データに対して、前記被検者に対するＸ線照射部とＸ線検出部の幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位を含む領域を示す第１ＤＲＲ画像と、前記特定部位を示す第２ＤＲＲ画像とを作成するＤＲＲ画像作成部と、前記第１ＤＲＲ画像と教師画像としての前記第２ＤＲＲ画像とを使用して機械学習を実行することにより、前記特定部位を認識するための学習モデルを学習する学習部と、前記被検者の特定部位を含む領域のＸ線画像に対して、前記学習部で学習した学習済学習モデルを利用して変換を行うことにより、前記特定部位を表す画像を作成する画像作成部と、を備えたことを特徴とする。
　請求項２に記載の発明は、請求項１に記載の発明において、前記特定部位は、骨部であり、前記Ｘ線画像から前記骨部を表す画像を減算する骨部減算部をさらに備える。
　請求項３に記載の発明は、請求項１に記載の発明において、前記特定部位は、被検者の骨部以外の領域である。
　請求項４に記載の発明は、請求項１に記載の発明において、前記特定部位は、造影剤が注入された血管である。
　請求項５に記載の発明は、請求項４に記載の発明において、前記第１ＤＲＲ画像は造影剤が注入された血管を含むＤＲＲ画像から前記造影剤が注入された血管を除外したＤＲＲ画像であるとともに、前記Ｘ線画像は造影剤が注入されていない状態のＸ線画像であり、前記Ｘ線画像に対して前記造影剤が注入された血管を表す画像を加算する血管加算部をさらに備える。
　請求項６に記載の発明は、請求項１に記載の発明において、前記特定部位は、前記被検者の体内に留置されるステントであり、前記Ｘ線画像に対して前記ステントを表す画像を加算するステント加算部をさらに備える。
　請求項１に記載の発明によれば、ＤＲＲ画像を利用した機械学習により、単一のＸ線画像から特定部位を表す画像を作成することが可能となる。
　請求項２に記載の発明によれば、被検者のＸ線画像から骨部を除去した画像を取得する場合において、単一のＸ線画像から骨部の画像を抽出し、これをＸ線画像から減算することにより、容易に被検者のＸ線画像から骨部を除去した画像を取得することが可能となる。これにより、被検者の動きによるアーチフェクトの発生を防止できるとともに、撮影に必要な被曝線量を半減させることが可能となる。
　請求項３に記載の発明によれば、被検者のＸ線画像から骨部を除去した画像を取得する場合において、単一のＸ線画像から骨部以外の領域の画像を抽出することにより、容易に被検者のＸ線画像から骨部を除去した画像を取得することが可能となる。これにより、被検者の動きによるアーチフェクトの発生を防止できるとともに、撮影に必要な被曝線量を半減させることが可能となる。
　請求項４および請求項５に記載の発明によれば、被検者の造影剤が注入された血管の画像を作成するにおいて、単一のＸ線画像から造影剤が注入された血管の画像を抽出して、この血管の画像を取得することが可能となる。これにより、被検者の動きによるアーチフェクトの発生を防止できるとともに、撮影に必要な被曝線量を半減させることが可能となる。
　請求項６に記載の発明によれば、被検者のＸ線画像に対して被検者の体内に留置されたステントを追加した画像を作成する場合において、ステントがＸ線画像上で認識し得ない場合においても、ステントの周囲の特徴量からステントの位置を特定し、ステントの画像をＸ線画像に対して追加して表示することが可能となる。
この発明に係る画像作成装置に接続されＸ線透視撮影を実行するために使用されるＸ線透視撮影装置の斜視図である。 この発明の第１実施形態に係る画像作成装置の制御系を示すブロック図である。 この発明に係る画像作成装置により機械学習を利用して被検者の特定部位を検出する工程を説明するための模式図である。 この発明に係る画像作成装置により被検者の骨部を含む領域のＸ線画像から骨部を除去した画像を作成する動作を示すフローチャートである。 Ｘ線透視撮影装置のＸ線照射部１００とＸ線検出部２００との幾何学的透視条件を模擬した仮想的透視撮影によりＤＲＲ画像を作成する状態を模式的に示す説明図である。 骨部４１と軟部組織４２を含む領域を示す第１ＤＲＲ画像Ｄ１１の概要図である。 骨部４１を示す第２ＤＲＲ画像Ｄ１２の概要図である。 Ｘ線透視により得られたＸ線画像Ｘ１１の概要図である。 変換により得られた骨部４１のＸ線画像Ｘ１２の概要図である。 被検者のＸ線画像Ｘ１１から骨部４１を除去した画像Ｘ１３を示す概要図である。 この発明の第１実施形態の変形例に係る画像作成装置の制御系を示すブロック図である。 変形例に係る画像作成装置により被検者の骨部を含む領域のＸ線画像から骨部を除去した画像を作成する動作を示すフローチャートである。 この発明の第２実施形態に係る画像作成装置の制御系を示すブロック図である。 この発明の第２実施形態に係る画像作成装置により被検者の造影剤が注入された血管の画像を作成する動作を示すフローチャートである。 心臓５１を示す第１ＤＲＲ画像Ｄ２１の概要図である。 造影剤が注入された血管５２を示す第２ＤＲＲ画像Ｄ２２の概要図である。 Ｘ線透視により得られたＸ線画像Ｘ２１の概要図である。 変換により得られた造影剤が注入された血管５２のＸ線画像Ｘ２２の概要図である。 第１ＤＲＲ画像Ｄ２１の概要図である。 Ｘ線透視により得られたＸ線画像Ｘ２１の概要図である。 この発明の第３実施形態に係る画像作成装置の制御系を示すブロック図である。 この発明の第３実施形態に係る画像作成装置により被検者の体内に留置されたステントの画像を作成する動作を示すフローチャートである。 心臓６１、血管６２およびステント６３を示す第１ＤＲＲ画像Ｄ３１の概要図である。 ステント６３を示す第２ＤＲＲ画像Ｄ３２の概要図である。 Ｘ線透視により得られたＸ線画像Ｘ３１の概要図である。 被検者の体内に留置されたステント６３のＸ線画像Ｘ３２の概要図である。 心臓６１、血管６２およびステント６３を示すＸ線画像Ｘ３３の概要図である。
　以下、この発明の実施の形態を図面に基づいて説明する。図１は、この発明に係る画像作成装置に接続されＸ線透視撮影を実行するために使用されるＸ線透視撮影装置の斜視図である。
　このＸ線透視撮影装置は、Ｘ線透視およびＸ線撮影を実行するためのものであり、車輪１２により移動可能な装置本体１１を備える。また、このＸ線透視撮影装置は、Ｘ線管２１と、このＸ線管２１から照射されるＸ線の照射領域を制限してＸ線照射野を形成するコリメータ２３とを有するＸ線照射部と、Ｘ線管２１から照射され被検体である患者を通過したＸ線を検出して映像化するイメージインテンシファイア（Ｉ．Ｉ．）３２と、イメージインテンシファイア３２で映像化された画像を撮影するカメラ３３からなるＸ線検出部と、これらのＸ線照射部とＸ線検出部を支持するＣ型アーム１３を備える。
　Ｃ型アーム１３は、円弧状の形状を有し、Ｘ線照射部とＸ線検出部とを支持している。このＣ型アーム１３は、アーム支持部１４に対してスライド可能に支持されている。また、アーム支持部１４は、装置本体１１に対して水平方向および上下方向に移動可能に支持されている。このＣ型アーム１３の移動は、オペレータが図示を省略したハンドルを把持して移動させることにより実行される。
　また、このＸ線透視撮影装置は、Ｘ線検出部により検出したＸ線に基づいてＸ線画像を表示するＬＣＤ等の表示部１７と、収納式のキーボード等から成る入力部１６とを備えたモニター部１５を備える。このモニター部１５は、車輪１８の作用により移動可能となっている。
　次に、この発明の第１実施形態に係る画像作成装置の構成について説明する。図２は、この発明の第１実施形態に係る画像作成装置の制御系を示すブロック図である。
　この第１実施形態に係る画像作成装置は、被検者の骨部を含む領域のＸ線画像から骨部を除去した画像を作成するためのものであり、論理演算を実行するプロセッサーとしてのＣＰＵ、装置の制御に必要な動作プログラムが格納されたＲＯＭ、制御時にデータ等が一時的にストアされるＲＡＭ等を備え、装置全体を制御する制御部７０を備える。この制御部７０は、図１に示すＸ線透視撮影装置７１と接続されている。また、この制御部７０は、被検者に対するＣＴ撮影を実行し、そのＣＴ画像を記憶するＣＴ撮影装置７２と、オンラインまたはオフラインにて接続されている。
　この制御部７０は、後述するように、被検者の骨部を含む領域のＣＴ画像データに対して被検者に対するＸ線照射部とＸ線検出部の幾何学的透視条件を模擬した仮想的透視投影を行うことにより骨部を含む領域の第１ＤＲＲ画像と骨部を示す第２ＤＲＲ画像とを作成するＤＲＲ画像作成部８１と、第１ＤＲＲ画像と教師画像としての第２ＤＲＲ画像とを使用して機械学習を実行することにより骨部を認識するための学習モデルを学習する学習部８２と、被検者の骨部を含む領域のＸ線画像に対して学習部８２で学習した学習済学習モデルを利用して変換を行うことにより骨部を表す画像を作成する画像作成部８３と、被検者の骨部を含む領域のＸ線画像から骨部を表す画像を減算する骨部減算部８４と、を備えている。
　次に、以上のような構成を有する画像作成装置を使用することにより、被検者の骨部の領域を検出し、被検者の骨部を含む領域のＸ線画像から骨部を除去した画像を作成する動作について説明する。
　最初に、骨部の位置を特定するための基本的な考え方について説明する。図３は、この発明に係る画像作成装置により機械学習を利用して被検者の特定部位を検出する工程を説明するための模式図である。
　機械学習を利用して骨部の位置を特定するためには、最初に、学習モデルを学習する。この学習モデル学習工程においては、特定部位の領域を含む第１ＤＲＲ画像を入力層とし、特定部位を示す第２ＤＲＲ画像を出力層として、機械学習により、学習モデルとして使用する畳み込み層を学習する。次に、骨部の領域を検出する。この骨部領域検出工程においては、Ｘ線透視画像を入力層とし、先に学習された学習済学習モデルを利用して変換を行うことにより、出力層としての骨部の領域を示す画像を作成する。
　次に、このような工程による特定部位の位置の検出動作について詳細に説明する。図４は、この発明の第１実施形態に係る画像作成装置により被検者の骨部を含む領域のＸ線画像から骨部を除去した画像を作成する動作を示すフローチャートである。
　画像作成動作を実行するときには、被検者に対するＸ線透視を実行するに先だって、図２に示すＤＲＲ画像作成部８１により、ＣＴ撮影装置７２から取得した４次元ＣＴ画像データに対して、図１に示すＸ線透視撮影装置のＸ線照射部とＸ線検出部との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、骨部を含む領域を示す第１ＤＲＲ画像と、骨部を示す第２ＤＲＲ画像とを作成する（ステップＳ１１）。このとき、骨部を示す第２ＤＲＲ画像を作成するときには、ＣＴ値が一定以上の値となる領域を骨部の領域としてＤＲＲ画像を作成する。例えば、ＣＴ値が２００ＨＵ（Ｈｏｕｎｓｆｉｅｌｄ　Ｕｎｉｔ）以上の領域を骨部の領域と認定してＤＲＲ画像を作成する。ここで、４次元ＣＴデータとは、連続する複数の呼吸位相において、経時的に連続して撮影される骨部を含む領域の３次元のＣＴ画像データ群である。なお、４次元ＣＴデータを使用するかわりに、３次元ＣＴデータを使用してもよい。
　図５は、Ｘ線透視撮影装置のＸ線照射部１００とＸ線検出部２００との幾何学的透視条件を模擬した仮想的透視撮影によりＤＲＲ画像を作成する状態を模式的に示す説明図である。
　図５において、符号３００はＣＴ画像データを示している。このＣＴ画像データ３００は、複数の２次元のＣＴ画像データの集合である３次元のボクセルデータである。このＣＴ画像データ３００は、例えば、５１２×５１２ピクセルの２次元画像が被検者を横断する方向（図５に示す線分Ｌ１またはＬ２に沿った方向）に２００枚程度積層された構造を有する。
　ＤＲＲ画像作成部８１によりＤＲＲ画像を作成する時には、ＣＴ画像データ３００に対して仮想的に透視投影を行う。このときには、コンピュータ上に３次元のＣＴ画像データ３００を配置する。そして、コンピュータ上にＸ線撮影系の幾何学的配置であるジオメトリを再現する。この実施形態においては、ＣＴ画像データ３００を挟んで、両側に、Ｘ線照射部１００とＸ線検出部２００を配置する。これらのＣＴ画像データ３００と、Ｘ線照射部１００とＸ線検出部２００の配置は、図１に示すＸ線透視撮影装置でＸ線透視を実行するときの被検者と、Ｘ線管２１およびコリメータ２３からなるＸ線照射部と、イメージインテンシファイア３２およびカメラ３３からなるＸ線検出部との配置と同じジオメトリとなっている。ここで、ジオメトリとは、撮影対象とＸ線照射部１００とＸ線検出部２００の幾何学的配置関係を意味する。
　この状態で、Ｘ線照射部１００と、ＣＴ画像データ３００の各画素を介してＸ線検出部２００の各画素とを結ぶ多数の線分Ｌを設定する。なお、図５においては、説明の便宜上、２本の線分Ｌ１、Ｌ２を図示している。そして、この線分Ｌ上に、各々、複数の計算点を設定する。そして、各計算点のＣＴ値を演算する。このＣＴ値の演算時には、計算点の周囲のＣＴデータボクセルにおけるＣＴ値を利用した補間が実行される。しかる後、線分Ｌ上の各計算点のＣＴ値を累積する。この累積値が、線減弱係数の線積分に変換されて、Ｘ線の減弱を算出することにより、ＤＲＲ画像が作成される。
　このＤＲＲ画像の作成時には、ＣＴ画像データ３００に対して投影座標及び角度の少なくとも一方を含むＤＲＲ画像作成のためのパラメータを変化させてＤＲＲ画像を作成する。あるいは、わずかな平行移動、回転、変形及び拡大縮小の少なくとも１つを含む画像処理を実行する。この平行移動、回転、変形、拡大縮小を実行するのは、Ｘ線透視を実行するときにＸ線照射部とＸ線検出部が移動した場合においても、特定部位をより確実に追跡できるようにするためである。
　ここで、ＤＲＲ画像のもとになるＣＴ画像データ３００のフレームレートはＸ線透視画像のフレームレートより小さいが、ＤＲＲ画像作成のためのパラメータを変化させることにより、ＤＲＲ画像におけるフレーム間の骨部を模擬することが可能となり、骨部の領域をより正確に検出することが可能となる。
　また、作成されたＤＲＲ画像にコントラスト変化、ノイズ付加及びエッジ強調の少なくとも１つを実行する。このコントラスト変化、ノイズ付加、エッジ強調を実行するのは、ＤＲＲ画像とＸ線画像の画質の違いを吸収し、骨部の領域をより確実に認識できるようにするためである。
　上述した、投影座標や角度などのＤＲＲ画像作成のためのパラメータの変化、または、コントラスト変化、ノイズ付加、エッジ強調は、所定の範囲内でランダムに、あるいは、等間隔で様々に変化を与える態様で実施される。これにより、被検者一人のＣＴ画像データ３００から、多量のＤＲＲ画像を作成することができる。このため、このようにして作成された多量のＤＲＲ画像を使用して、各患者に対応したオーダーメイドの学習モデルを学習することが可能となる。なお、多数の患者のＤＲＲ画像を利用して学習モデルの学習を行うことも可能である。
　なお、第１ＤＲＲ画像の作成時と第２ＤＲＲ画像の作成時においては、幾何学的透視条件の投影座標および角度を含むパラメータを同一条件で変化させ、あるいは、画像の回転、変形、拡大縮小を含む画像処理を同一条件で施す。
　図６は、このようにして作成された骨部４１と軟部組織４２を含む領域を示す第１ＤＲＲ画像Ｄ１１の概要図であり、図７は、骨部４１を示す第２ＤＲＲ画像Ｄ１２の概要図である。なお、第２ＤＲＲ画像Ｄ１２は、上述したように、ＣＴ値が２００ＨＵ以上の領域を累積することにより作成される。
　以上の工程が終了すれば、学習部８２により、第１ＤＲＲ画像Ｄ１１を入力層とし、第２ＤＲＲ画像Ｄ１２を出力層として機械学習を実行することにより、骨部４１を認識するための学習モデルを学習する（ステップＳ１２）。この機械学習時には、例えば、ＦＣＮ（Ｆｕｌｌｙ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｔｗｏｒｋｓ）が使用される。ＦＣＮで用いる畳み込みニューラルネットワークは、上述した図３のような構成となる。すなわち、学習モデルを学習する場合においては、入力層は第１ＤＲＲ画像Ｄ１１で、出力層は第２ＤＲＲ画像Ｄ１２である。
　以上の工程により学習モデルが学習されれば、次に、被検者に対してＸ線透視を開始する（ステップＳ１３）。図８は、このＸ線透視により得られたＸ線画像Ｘ１１の概要図である。このＸ線画像Ｘ１１には、骨部４１と軟部組織４２が表示されている。なお、Ｘ線透視においては、所定のフレームレートで複数のＸ線画像が取得されるが、図８においては、そのうちの一つのフレームのＸ線画像を示している。以下の説明においても同様である。
　次に、画像作成部８３により、先に学習した学習モデル（畳み込み層）を利用して変換を行うことにより、骨部４１の画像を作成する（ステップＳ１４）。すなわち、Ｘ線透視により所定のフレームレートで得られるＸ線画像に対して、先に学習した学習モデルを使用し、Ｘ線画像のフレーム毎に、出力層として骨部４１を表すＸ線画像を作成する。図９は、変換により得られた骨部４１のＸ線画像Ｘ１２の概要図である。
　しかる後、骨部減算部８４により、被検者のＸ線画像Ｘ１１から変換により得られた骨部４１のＸ線画像Ｘ１２を減算する（ステップＳ１５）。これにより、被検者の骨部を含む領域のＸ線画像から骨部を除去した画像を作成することができる。図１０は、被検者のＸ線画像Ｘ１１から骨部４１を除去した画像Ｘ１３を示す概要図である。
　以上のように、この発明に係る画像作成装置によれば、第１ＤＲＲ画像Ｄ１１を入力層とし、第２ＤＲＲ画像Ｄ１２を出力層として、機械学習により学習モデルとして使用する畳み込み層を学習し、次に、Ｘ線画像Ｘ１１を入力層とし、先に学習された学習済学習モデルを利用して変換を行うことにより、出力層としての骨部４１を表すＸ線画像Ｘ１２を得ることから、リアルタイムで骨部４１を表す画像を取得することが可能となる。そして、Ｘ線画像Ｘ１１から骨部を表すＸ線画像Ｘ１２を減算することにより、骨部を除外した画像Ｘ１３を得ることが可能となる。
　なお、上述した実施形態において、Ｘ線透視画像をガウスフィルタなどでぼかした後に学習モデルに入力してもよい。一般的に、ＤＲＲ画像は低解像度のＣＴ画像から作成されているため、Ｘ線透視画像と比べると低解像度である。このため、Ｘ線透視画像をぼかして、Ｘ線透視画像を、ノイズを低減しつつ学習時のＤＲＲ画像と同等の解像度とすることにより、より確実に特定部位を識別することが可能となる。また、上述した実施形態において、学習モデルに入力するＤＲＲ画像およびＸ線透視画像はあらかじめコントラスト正規化を行ったうえで入力してもよい。また、中間層に局所コントラスト正規化層または局所応答正規化層を加えてもよい。これらは、以下の実施形態においても同様である。
　上述した実施形態においては、被検者の特定部位として骨部を選択している。しかしながら、これとは逆に、被検者の特定部位として骨部以外の領域を選択してもよい。以下、このような変形例について説明する。図１１は、この発明の第１実施形態の変形例に係る画像作成装置の制御系を示すブロック図である。なお、図２に示す制御系と同様の部材については、同一の符号を付して詳細な説明を省略する。
　この第１実施形態の変形例に係る画像作成装置の制御部７０におけるＤＲＲ画像作成部８１は、被検者の骨部を含む領域のＣＴ画像データに対して被検者に対するＸ線照射部とＸ線検出部の幾何学的透視条件を模擬した仮想的透視投影を行うことにより、骨部を含む領域の第１ＤＲＲ画像と、骨部以外の領域（軟部組織）を示す第２ＤＲＲ画像とを作成する。また、学習部８２は、第１ＤＲＲ画像と教師画像としての第２ＤＲＲ画像とを使用して機械学習を実行することにより、骨部以外の領域を認識するための学習モデルを学習する。そして、画像作成部８３は、被検者の骨部を含む領域のＸ線画像に対して学習部８２で学習した学習済学習モデルを利用して変換を行うことにより、骨部以外の領域を表す画像を作成する。この変形例においては、制御部７０は図２に示す骨部減算部８４を備えていない。
　図１２は、この変形例に係る画像作成装置により被検者の骨部を含む領域のＸ線画像から骨部を除去した画像を作成する動作を示すフローチャートである。
　画像作成動作を実行するときには、被検者に対するＸ線透視を実行するに先だって、図２に示すＤＲＲ画像作成部８１により、ＣＴ撮影装置７２から取得した４次元ＣＴ画像データに対して、図１に示すＸ線透視撮影装置のＸ線照射部とＸ線検出部との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、骨部を含む領域を示す第１ＤＲＲ画像と、骨部以外の領域を示す第２ＤＲＲ画像とを作成する（ステップＳ２１）。このとき、骨部以外の領域を示す第２ＤＲＲ画像を作成するときには、ＣＴ値が一定以下の値となる領域を骨部以外の領域としてＤＲＲ画像を作成する。例えば、ＣＴ値が２００ＨＵ以下の領域を骨部の領域と認定してＤＲＲ画像を作成する。
　以上の工程が終了すれば、学習部８２により、第１ＤＲＲ画像を入力層とし、第２ＤＲＲ画像を出力層として機械学習を実行することにより、骨部以外の領域を認識するための学習モデルを学習する（ステップＳ２２）。この機械学習時においても、例えば、ＦＣＮ（Ｆｕｌｌｙ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｔｗｏｒｋｓ）が使用される。
　以上の工程により学習モデルが学習されれば、次に、被検者に対してＸ線透視を開始する（ステップＳ２３）。
　次に、画像作成部８３により、先に学習した学習モデル（畳み込み層）を利用して変換を行うことにより、骨部以外の領域の画像を作成する（ステップＳ２４）。すなわち、Ｘ線透視により所定のフレームレートで得られるＸ線画像に対して、先に学習した学習モデルを使用し、Ｘ線画像のフレーム毎に、出力層として骨部以外の領域（軟部組織）を表すＸ線画像を作成する。
　以上のように、この変形例に係る画像作成装置によれば、第１ＤＲＲ画像を入力層とし、第２ＤＲＲ画像を出力層として、機械学習により学習モデルとして使用する畳み込み層を学習し、次に、Ｘ線画像を入力層とし、先に学習された学習済学習モデルを利用して変換を行うことにより、出力層としての骨部以外の領域を表すＸ線画像を得ることから、リアルタイムで骨部を除外した画像を得ることが可能となる。
　次に、この発明の第２実施形態に係る画像作成装置の構成について説明する。図１３は、この発明の第２実施形態に係る画像作成装置の制御系を示すブロック図である。
　この第２実施形態に係る画像作成装置は、被検者の造影剤が注入された血管の画像を作成するためのものであり、第１実施形態に係る画像作成装置と同様、装置全体を制御する制御部７０を備える。この制御部７０は、図１に示すＸ線透視撮影装置７１と接続されている。また、この制御部７０は、被検者に対するＣＴ撮影を実行し、そのＣＴ画像を記憶するＣＴ撮影装置７２と、オンラインまたはオフラインにて接続されている。
　この制御部７０は、後述するように、被検者の血管を含む領域のＣＴ画像データに対して被検者に対するＸ線照射部とＸ線検出部の幾何学的透視条件を模擬した仮想的透視投影を行うことにより血管を含む領域を示す第１ＤＲＲ画像と血管を示す第２ＤＲＲ画像とを作成するＤＲＲ画像作成部８１と、第１ＤＲＲ画像と教師画像としての第２ＤＲＲ画像とを使用して機械学習を実行することにより血管を認識するための学習モデルを学習する学習部８２と、被検者の血管を含む領域のＸ線画像に対して学習部８２で学習した学習済学習モデルを利用して変換を行うことにより血管を表す画像を作成する画像作成部８３と、Ｘ線画像に対して造影剤が注入された血管を表す画像を加算する血管加算部８５とを備えている。ここで、第１ＤＲＲ画像は、造影剤が注入された血管を含むＤＲＲ画像から造影剤が注入された血管を除外したＤＲＲ画像となっている。
　次に、以上のような構成を有する画像作成装置を使用することにより、被検者の造影剤が注入された血管の領域を検出し、被検者の造影剤が注入された血管の画像を作成する動作について説明する。図１４は、この発明の第２実施形態に係る画像作成装置により被検者の造影剤が注入された血管の画像を作成する動作を示すフローチャートである。なお、被検者の造影剤が注入された血管を特定するための基本的な考え方は、上述した第１実施形態における図３の工程と同様である。
　画像作成動作を実行するときには、被検者に対するＸ線透視を実行するに先だって、図１３に示すＤＲＲ画像作成部８１により、ＣＴ撮影装置７２から取得した４次元ＣＴ画像データに対して、図１に示すＸ線透視撮影装置のＸ線照射部とＸ線検出部との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、造影剤が注入された血管を含む領域を示す第１ＤＲＲ画像と、造影剤が注入された血管を示す第２ＤＲＲ画像とを作成する（ステップＳ３１）。このときに使用されるＣＴ画像は、血管に造影剤が注入された後のＣＴ画像（造影ＣＴ画像）である。ここで、造影剤が注入された血管を示す第２ＤＲＲ画像を作成するときには、ＣＴ値が所定の範囲となる領域をオペレータが指定してＤＲＲ画像を作成する。このときには、例えば、オペレータが血管の領域を指定し、ＣＴ値がこの領域と一致し、かつ、連続する領域を血管の領域と認識することができる。また、解剖学的な情報を基に血管の領域を認識してもよい。
　この第１、第２ＤＲＲ画像の作成時には、第１実施形態と同様、図５に示す仮想的投影が実行される。このＤＲＲ画像の作成時には、第１実施形態と同様、ＣＴ画像データ３００に対して投影座標及び角度の少なくとも一方を含むＤＲＲ画像作成のためのパラメータを変化させてＤＲＲ画像を作成する。あるいは、わずかな平行移動、回転、変形及び拡大縮小の少なくとも１つを含む画像処理を実行する。また、第１実施形態と同様、作成されたＤＲＲ画像にコントラスト変化、ノイズ付加及びエッジ強調の少なくとも１つを実行する。
　図１５は、このようにして作成された心臓５１を示す第１ＤＲＲ画像Ｄ２１の概要図であり、図１６は、造影剤が注入された血管５２を示す第２ＤＲＲ画像Ｄ２２の概要図である。なお、この第１ＤＲＲ画像Ｄ２１は、心臓５１と造影剤が注入された血管５２から造影剤が注入された血管５２を除外したＤＲＲ画像となっている。
　以上の工程が終了すれば、学習部８２により、第１ＤＲＲ画像Ｄ２１を入力層とし、第２ＤＲＲ画像Ｄ２２を出力層として機械学習を実行することにより、造影剤が注入された血管５２を認識するための学習モデルを学習する（ステップＳ３２）。この機械学習時においても、例えば、ＦＣＮが使用される。ＦＣＮで用いる畳み込みニューラルネットワークは、上述した図３のような構成となる。すなわち、学習モデルを学習する場合においては、入力層は第１ＤＲＲ画像Ｄ２１で、出力層は第２ＤＲＲ画像Ｄ２２である。
　以上の工程により学習モデルが学習されれば、次に、被検者に対してＸ線透視を開始する（ステップＳ３３）。図１７は、Ｘ線透視により得られたＸ線画像Ｘ２１の概要図である。なお、Ｘ線透視は、被検者に造影剤が注入されていない状態において実行される。このため、Ｘ線画像Ｘ２１には、血管は明確には表示されていない。
　次に、画像作成部８３により、先に学習した学習モデル（畳み込み層）を利用して変換を行うことにより、造影剤が注入された血管５２の画像を作成する（ステップＳ３４）。すなわち、Ｘ線透視により所定のフレームレートで得られるＸ線画像に対して、先に学習した学習モデルを使用し、Ｘ線画像の各フレーム毎に、出力層として造影剤が注入された血管５２を表すＸ線画像を作成する。図１８は、変換により得られた造影剤が注入された血管５２のＸ線画像Ｘ２２の概要図である。
　しかる後、血管加算部８５により、被検者のＸ線画像Ｘ２１に対し、変換により得られた造影剤が注入された血管５２のＸ線画像Ｘ２２を加算する（ステップＳ３５）。すなわち、血管５２のＸ線画像Ｘ２２により造影剤が注入された血管５２を明確に認識することは可能ではあるが、これを心臓５１等と同時に認識するため、被検者のＸ線画像Ｘ２１に対し変換により得られた造影剤が注入された血管５２のＸ線画像Ｘ２２を加算する。このときには、造影剤が注入された血管５２を着色することにより、造影剤が注入された血管５２を強調表示してもよい。
　なお、上述した説明においては、第１ＤＲＲ画像Ｄ２１およびＸ線画像Ｘ２１として、造影剤が注入された血管５２が存在しないものを使用している。しかしながら、第１ＤＲＲ画像Ｄ２１およびＸ線画像Ｘ２１として、心臓５１と造影剤が注入された血管５２との両者が存在するものを使用してもよい。
　この場合においては、第１ＤＲＲ画像には、心臓５１と血管５２が表示される。図１９は、このときの第１ＤＲＲ画像Ｄ２１の概要図である。そして、Ｘ線透視撮影は、被検者の体内に造影剤が存在する状態で実行される。図２０は、このときのＸ線透視により得られたＸ線画像Ｘ２１の概要図である。この場合においても上述した実施形態と同様の手法により、図１８に示す造影剤が注入された血管５２のＸ線画像Ｘ２２を得ることができる。なお、造影剤が注入された血管の画像を除外しない場合には、図１４に示す血管加算工程（ステップＳ３５）は不要となる。
　次に、この発明の第３実施形態に係る画像作成装置の構成について説明する。図２１は、この発明の第３実施形態に係る画像作成装置の制御系を示すブロック図である。
　この第３実施形態に係る画像作成装置は、被検者のＸ線画像に対して被検者の体内に留置された生体吸収性ステント等のステントを追加した画像を作成するためのものであり、第１、第２実施形態に係る画像作成装置と同様、装置全体を制御する制御部７０を備える。この制御部７０は、図１に示すＸ線透視撮影装置７１と接続されている。また、この制御部７０は、被検者に対するＣＴ撮影を実行し、そのＣＴ画像を記憶するＣＴ撮影装置７２と、オンラインまたはオフラインにて接続されている。
　この制御部７０は、後述するように、被検者の体内に留置されたステントを含む領域のＣＴ画像データに対して被検者に対するＸ線照射部とＸ線検出部の幾何学的透視条件を模擬した仮想的透視投影を行うことによりステントを含む領域を示す第１ＤＲＲ画像とステントを示す第２ＤＲＲ画像とを作成するＤＲＲ画像作成部８１と、第１ＤＲＲ画像と教師画像としての前記第２ＤＲＲ画像とを使用して機械学習を実行することによりステントを認識するための学習モデルを学習する学習部８２と、被検者の体内に留置されたステントを含む領域のＸ線画像に対して学習部８２で学習した学習済学習モデルを利用して変換を行うことによりステントを表す画像を作成する画像作成部８３と、ステントが留置された領域のＸ線画像にステントを表すＸ線画像を加算するステント加算部８６とを備えている。
　次に、以上のような構成を有する画像作成装置を使用することにより、被検者の体内に留置されたステントの領域を検出し、被検者の体内に留置されたステントの画像を作成する動作について説明する。図２２は、この発明の第３実施形態に係る画像作成装置により被検者の体内に留置されたステントの画像を作成する動作を示すフローチャートである。なお、被検者の体内に留置されたステントを特定するための基本的な考え方は、上述した第１実施形態における図３の工程と同様である。
　画像作成動作を実行するときには、被検者に対するＸ線透視を実行するに先だって、図２１に示すＤＲＲ画像作成部８１により、ＣＴ撮影装置７２から取得した４次元ＣＴ画像データに対して、図１に示すＸ線透視撮影装置のＸ線照射部とＸ線検出部との幾何学的透視条件を模擬した仮想的透視投影を行うことにより、被検者の体内に留置されたステントを含む領域を示す第１ＤＲＲ画像と、被検者の体内に留置されたステントを示す第２ＤＲＲ画像とを作成する（ステップＳ４１）。このとき、被検者の体内に留置されたステントを示す第２ＤＲＲ画像を作成するときには、ＣＴ値が所定の範囲となる領域をオペレータが指定してＤＲＲ画像を作成する。なお、ステントとして生体吸収性ステントを使用した場合のように、ＣＴ画像上でステントの領域を認識することが困難である場合には、例えば、ステントの単独画像をオペレータがＣＴ画像上に配設することにより、ステントを示す第２ＤＲＲ画像を作成すればよい。
　この第１、第２ＤＲＲ画像の作成時には、第１実施形態と同様、図５に示す仮想的投影が実行される。このＤＲＲ画像の作成時には、第１実施形態と同様、ＣＴ画像データ３００に対して投影座標及び角度の少なくとも一方を含むＤＲＲ画像作成のためのパラメータを変化させてＤＲＲ画像を作成する。あるいは、わずかな平行移動、回転、変形及び拡大縮小の少なくとも１つを含む画像処理を実行する。また、第１実施形態と同様、作成されたＤＲＲ画像にコントラスト変化、ノイズ付加及びエッジ強調の少なくとも１つを実行する。
　図２３は、このようにして作成された心臓６１、血管６２およびステント６３を示す第１ＤＲＲ画像Ｄ３１の概要図であり、図２４は、ステント６３を示す第２ＤＲＲ画像Ｄ３２の概要図である。なお、上述したように、第１ＤＲＲ画像Ｄ３１においては、ステント６３が認識し得ないこともある。
　以上の工程が終了すれば、学習部８２により、第１ＤＲＲ画像Ｄ３１を入力層とし、第２ＤＲＲ画像Ｄ３２を出力層として機械学習を実行することにより、被検者の体内に留置されたステント６３を認識するための学習モデルを学習する（ステップＳ４２）。この機械学習時においても、例えば、ＦＣＮが使用される。ＦＣＮで用いる畳み込みニューラルネットワークは、上述した図３のような構成となる。すなわち、学習モデルを学習する場合においては、入力層は第１ＤＲＲ画像Ｄ３１で、出力層は第２ＤＲＲ画像Ｄ３２である。
　以上の工程により学習モデルが学習されれば、次に、被検者に対してＸ線透視を開始する（ステップＳ４３）。図２５は、このＸ線透視により得られたＸ線画像Ｘ３１の概要図である。このＸ線画像Ｘ３１には、ステント６３は表示されていない。
　次に、画像作成部８３により、先に学習した学習モデル（畳み込み層）を利用して変換を行うことにより、被検者の体内に留置されたステント６３の画像を作成する（ステップＳ４４）。すなわち、Ｘ線透視により所定のフレームレートで得られるＸ線透視画像に対して、先に学習した学習モデルを使用し、Ｘ線画像の各フレーム毎に、出力層として被検者の体内に留置されたステント６３を表すＸ線画像を作成する。図２６は、変換により得られた被検者の体内に留置されたステント６３のＸ線画像Ｘ３２の概要図である。
　しかる後、ステント加算部８６により、被検者のＸ線画像Ｘ３１に対し、変換により得られた被検者の体内に留置されたステント６３のＸ線画像Ｘ３２を加算する（ステップＳ４５）。図２７は、心臓６１、血管６２およびステント６３を示すＸ線画像Ｘ３３の概要図である。
　これにより、被検者の心臓６１および血管６２が表示されたＸ線画像Ｘ３１に対してステント６３が重畳されたＸ線画像Ｘ３３を得ることができる。このため、ステント６３として、生体吸収性ステントのようにＸ線透視では認識し得ないステントを使用した場合においても、ステント６３の周囲の特徴量からステント６３の位置を特定し、このステント６３を被検者の心臓６１および血管６２等とともにＸ線画像Ｘ３３上で認識することが可能となる。
　１１　　装置本体
　１３　　Ｃ型アーム
　１５　　モニター部
　１６　　入力部
　１７　　表示部
　２１　　Ｘ線管
　２３　　コリメータ
　４１　　骨部
　４２　　軟部組織
　５１　　心臓
　５２　　血管
　６１　　心臓
　６２　　血管
　６３　　ステント
　７０　　制御部
　７１　　Ｘ線透視撮影装置
　７２　　ＣＴ撮影装置
　８１　　ＤＲＲ画像作成部
　８２　　学習部
　８３　　画像作成部
　８４　　骨部減算部
　８５　　血管加算部
　８６　　ステント加算部
 
 

Claims (6)

  1. 　被検者の特定部位を含む領域のＣＴ画像データに対して、前記被検者に対するＸ線照射部とＸ線検出部の幾何学的透視条件を模擬した仮想的透視投影を行うことにより、前記特定部位を含む領域を示す第１ＤＲＲ画像と、前記特定部位を示す第２ＤＲＲ画像とを作成するＤＲＲ画像作成部と、
    　前記第１ＤＲＲ画像と教師画像としての前記第２ＤＲＲ画像とを使用して機械学習を実行することにより、前記特定部位を認識するための学習モデルを学習する学習部と、
    　前記被検者の特定部位を含む領域のＸ線画像に対して、前記学習部で学習した学習済学習モデルを利用して変換を行うことにより、前記特定部位を表す画像を作成する画像作成部と、
    　を備えたことを特徴とする画像作成装置。
  2. 　請求項１に記載の画像作成装置において、
    　前記特定部位は、骨部であり、
    　前記Ｘ線画像から前記骨部を表す画像を減算する骨部減算部をさらに備える画像作成装置。
  3. 　請求項１に記載の画像作成装置において、
    　前記特定部位は、被検者の骨部以外の領域である画像作成装置。
  4. 　請求項１に記載の画像作成装置において、
    　前記特定部位は、造影剤が注入された血管である画像作成装置。
  5. 　請求項４に記載の画像作成装置において、
    　前記第１ＤＲＲ画像は造影剤が注入された血管を含むＤＲＲ画像から前記造影剤が注入された血管を除外したＤＲＲ画像であるとともに、前記Ｘ線画像は造影剤が注入されていない状態のＸ線画像であり、
    　前記Ｘ線画像に対して前記造影剤が注入された血管を表す画像を加算する血管加算部をさらに備える画像作成装置。
  6. 　請求項１に記載の画像作成装置において、
    　前記特定部位は、前記被検者の体内に留置されるステントであり、
    　前記Ｘ線画像に対して前記ステントを表す画像を加算するステント加算部をさらに備える画像作成装置。
























     
PCT/JP2018/000154 2018-01-09 2018-01-09 画像作成装置 WO2019138438A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/959,814 US11839501B2 (en) 2018-01-09 2018-01-09 Image creation device
JP2019565087A JP6881611B2 (ja) 2018-01-09 2018-01-09 画像作成装置及び学習済モデルの生成方法
CN201880085992.9A CN111601552B (zh) 2018-01-09 2018-01-09 图像制作装置和学习完毕模型的生成方法
PCT/JP2018/000154 WO2019138438A1 (ja) 2018-01-09 2018-01-09 画像作成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/000154 WO2019138438A1 (ja) 2018-01-09 2018-01-09 画像作成装置

Publications (1)

Publication Number Publication Date
WO2019138438A1 true WO2019138438A1 (ja) 2019-07-18

Family

ID=67219439

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/000154 WO2019138438A1 (ja) 2018-01-09 2018-01-09 画像作成装置

Country Status (4)

Country Link
US (1) US11839501B2 (ja)
JP (1) JP6881611B2 (ja)
CN (1) CN111601552B (ja)
WO (1) WO2019138438A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210073909A (ko) * 2019-12-11 2021-06-21 울산대학교 산학협력단 의료영상 처리 장치와 그 학습 방법
JP2021122487A (ja) * 2020-02-05 2021-08-30 富士フイルム株式会社 教師画像生成装置、方法およびプログラム、学習装置、方法およびプログラム、判別器、並びに放射線画像処理装置、方法およびプログラム
WO2021171394A1 (ja) * 2020-02-26 2021-09-02 株式会社島津製作所 学習済みモデルの作成方法、画像生成方法および画像処理装置
WO2022215303A1 (ja) * 2021-04-07 2022-10-13 株式会社島津製作所 Ｘ線撮影装置、画像処理装置、および、画像処理プログラム
WO2023002743A1 (ja) * 2021-07-20 2023-01-26 株式会社島津製作所 Ｘ線撮影システム、および、画像処理方法
JP2023103359A (ja) * 2019-09-13 2023-07-26 株式会社島津製作所 学習装置、ｘ線画像処理システム、および、学習モデルの生成方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
KR102321427B1 (ko) * 2021-01-20 2021-11-04 메디컬아이피 주식회사 의료영상을 이용한 인체성분 분석 방법 및 그 장치
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
WO2024057210A1 (en) 2022-09-13 2024-03-21 Augmedics Ltd. Augmented reality eyewear for image-guided medical intervention

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050100208A1 (en) * 2003-11-10 2005-05-12 University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
JP2011161104A (ja) * 2010-02-12 2011-08-25 Fujifilm Corp 画像生成装置、画像生成方法、及びそのプログラム
JP2016116659A (ja) * 2014-12-19 2016-06-30 株式会社東芝 医用画像処理装置、治療システム、医用画像処理方法、および医用画像処理プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8270695B2 (en) * 2008-10-07 2012-09-18 Carestream Health, Inc. Diagnostic image processing with automatic self image quality validation
JP2012245142A (ja) 2011-05-27 2012-12-13 Shimadzu Corp Ｘ線撮影方法、サブトラクション撮影用データ作成方法、ｘ線撮影装置およびサブトラクション撮影用データを記憶した記憶媒体
JP5867306B2 (ja) 2012-06-20 2016-02-24 株式会社島津製作所 Ｘ線透視撮影装置
JP2015226694A (ja) 2014-06-02 2015-12-17 株式会社島津製作所 Ｘ線撮影装置およびｘ線画像の生成方法
JP6301793B2 (ja) * 2014-09-18 2018-03-28 株式会社島津製作所 Ｄｒｒ画像作成方法およびｄｒｒ画像作成装置
JP6467654B2 (ja) * 2014-11-19 2019-02-13 東芝エネルギーシステムズ株式会社 医用画像処理装置、方法、プログラム及び放射線治療装置
JP6607015B2 (ja) * 2015-12-11 2019-11-20 株式会社島津製作所 Ｘ線撮影装置、被検者の位置決め装置および被検者の位置決め方法
US11045663B2 (en) * 2016-11-02 2021-06-29 Shimadzu Corporation X-ray fluoroscopy device and x-ray fluoroscopy method
JP6813178B2 (ja) * 2016-12-07 2021-01-13 学校法人常翔学園 生体画像処理装置、出力画像製造方法、学習結果製造方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050100208A1 (en) * 2003-11-10 2005-05-12 University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
JP2011161104A (ja) * 2010-02-12 2011-08-25 Fujifilm Corp 画像生成装置、画像生成方法、及びそのプログラム
JP2016116659A (ja) * 2014-12-19 2016-06-30 株式会社東芝 医用画像処理装置、治療システム、医用画像処理方法、および医用画像処理プログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023103359A (ja) * 2019-09-13 2023-07-26 株式会社島津製作所 学習装置、ｘ線画像処理システム、および、学習モデルの生成方法
KR20210073909A (ko) * 2019-12-11 2021-06-21 울산대학교 산학협력단 의료영상 처리 장치와 그 학습 방법
KR102323444B1 (ko) * 2019-12-11 2021-11-09 울산대학교 산학협력단 의료영상 처리 장치와 그 학습 방법
JP2021122487A (ja) * 2020-02-05 2021-08-30 富士フイルム株式会社 教師画像生成装置、方法およびプログラム、学習装置、方法およびプログラム、判別器、並びに放射線画像処理装置、方法およびプログラム
JP7394645B2 (ja) 2020-02-05 2023-12-08 富士フイルム株式会社 教師画像生成装置、方法およびプログラム、学習装置、方法およびプログラム、判別器、並びに放射線画像処理装置、方法およびプログラム
US11978549B2 (en) 2020-02-05 2024-05-07 Fujifilm Corporation Training image generation device, training image generation method, training image generation program, learning device, learning method, learning program, discriminator, radiographic image processing device, radiographic image processing method, and radiographic image processing program
WO2021171394A1 (ja) * 2020-02-26 2021-09-02 株式会社島津製作所 学習済みモデルの作成方法、画像生成方法および画像処理装置
JPWO2021171394A1 (ja) * 2020-02-26 2021-09-02
WO2022215303A1 (ja) * 2021-04-07 2022-10-13 株式会社島津製作所 Ｘ線撮影装置、画像処理装置、および、画像処理プログラム
WO2023002743A1 (ja) * 2021-07-20 2023-01-26 株式会社島津製作所 Ｘ線撮影システム、および、画像処理方法

Also Published As

Publication number Publication date
CN111601552A (zh) 2020-08-28
JPWO2019138438A1 (ja) 2021-01-14
JP6881611B2 (ja) 2021-06-02
CN111601552B (zh) 2023-09-29
US11839501B2 (en) 2023-12-12
US20210030374A1 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
WO2019138438A1 (ja) 画像作成装置
CN108703764B (zh) 血管造影方法、装置、系统、设备及存储介质
JP5702572B2 (ja) Ｘ線撮影装置
CN103156629B (zh) 图像处理设备和图像处理方法
JP7092190B2 (ja) 画像解析方法、セグメンテーション方法、骨密度測定方法、学習モデル作成方法および画像作成装置
JP5595762B2 (ja) Ｘ線診断装置及び画像再構成処理装置
JP4828920B2 (ja) ３次元画像処理装置
WO2012046844A1 (ja) 医用画像処理装置
Breininger et al. Intraoperative stent segmentation in X-ray fluoroscopy for endovascular aortic repair
CN110876627B (zh) X射线摄影装置和x射线图像处理方法
US11963812B2 (en) Method and device for producing a panoramic tomographic image of an object to be recorded
CN115209808A (zh) 学习完毕模型的制作方法、图像生成方法以及图像处理装置
WO2019053935A1 (ja) 放射線撮影装置
CN111789603B (zh) 放射线透视摄影装置
JP2009160100A (ja) 画像処理装置およびｘ線撮影装置
CN113570586A (zh) 神经网络系统的创建、处理ct图像的方法及其装置
JP2009054013A (ja) 画像処理装置
EP4354395A1 (en) Artificial intelligence-based dual energy x-ray image motion correction training method and system
JP2024513735A (ja) サブトラクション撮像
JP2012040204A (ja) Ｘ線画像撮影装置
JP2005034259A (ja) Ｘ線診断装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18899472

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019565087

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18899472

Country of ref document: EP

Kind code of ref document: A1