WO2015025955A1 - 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置 - Google Patents

画像処理装置、方法、及びプログラム、並びに、立体画像表示装置 Download PDF

Info

Publication number
WO2015025955A1
WO2015025955A1 PCT/JP2014/072025 JP2014072025W WO2015025955A1 WO 2015025955 A1 WO2015025955 A1 WO 2015025955A1 JP 2014072025 W JP2014072025 W JP 2014072025W WO 2015025955 A1 WO2015025955 A1 WO 2015025955A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
region
unit
area
candidate
Prior art date
Application number
PCT/JP2014/072025
Other languages
English (en)
French (fr)
Inventor
由紀 岩中
三田　雄志
快行 爰島
Original Assignee
株式会社東芝
東芝メディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東芝, 東芝メディカルシステムズ株式会社 filed Critical 株式会社東芝
Publication of WO2015025955A1 publication Critical patent/WO2015025955A1/ja
Priority to US14/948,588 priority Critical patent/US10304187B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/485—Diagnostic techniques involving fluorescence X-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54—Control of apparatus or devices for radiation diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/264—Image signal generators with monoscopic-to-stereoscopic image conversion using the relative movement of objects in two video frames or fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/30—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from X-rays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/32—Transforming X-rays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/022—Stereoscopic imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • Embodiments described herein relate generally to an image processing device, a method, a program, and a stereoscopic image display device.
  • stereo matching a method in which the same object is photographed using imaging devices provided at a plurality of different positions, and corresponding points of the object in each image are searched based on the acquired images.
  • stereo matching is an attention area (an area including at least one pixel) of the reference image. This means that a reference image area corresponding to is searched.
  • the similarity of image features and the continuity of parallax are optimized for the entire image, and a reference image area corresponding to the attention area is searched. That is, a region having an image feature similar to the attention region in the reference image is searched as a candidate region (optimization of similarity), and the disparity between the candidate region and the pixel (adjacent pixel) adjacent to the attention region in the reference image Are selected as regions corresponding to the attention region (optimization of continuity).
  • image features pixel values, SSD (Some Of Square Distance), SAD (Some Of Absolute Distance) and the like are generally used.
  • a distance value (attention distance value) based on the target pixel and each corresponding point is calculated.
  • a method of selecting a corresponding point that minimizes the difference between distance values (adjacent distance values) of a plurality of pixels around the target pixel (Prior Art 1).
  • a method is known in which parallax continuity is not evaluated in a region having a high edge strength so that parallax continuity is not evaluated across the boundary of an object (prior art 2).
  • a method is also conceivable in which a region of an object is detected by image segmentation, and corresponding points are searched within the detected region (Prior Art 3).
  • the conventional techniques 1 and 2 are methods for optimizing the corresponding point positions in the entire image, when the area of the object (object area) in the image is small, the area larger than the object area. It is easy to be affected by an error (error due to noise or the like) generated in the background area occupying. Thereby, the corresponding point position of the object region may not be obtained correctly.
  • the problem to be solved by the present invention is to provide an image processing device, a method, a program, and a stereoscopic image display device capable of searching a region of another parallax image corresponding to an object region of one parallax image with high accuracy. Is to provide.
  • the image processing apparatus includes a first acquisition unit, a first calculation unit, a second calculation unit, and a selection unit.
  • the first acquisition unit acquires a first image obtained by photographing an object in the first photographing direction and a second image obtained by photographing the object in a second photographing direction different from the first photographing direction.
  • the first calculation unit based on the feature information representing the feature of the image, for each of the plurality of pixels included in each of the first image and the second image, the likelihood of whether the pixel is included in the region of the object Is calculated.
  • the second calculation unit calculates a degree of similarity between the attention area in the first image and a candidate area that is a candidate of a corresponding area corresponding to the attention area in the second image, based on the likelihood.
  • the selection unit selects a candidate area as a corresponding area based on the degree of similarity.
  • FIG. 1 is a diagram illustrating a configuration example of an X-ray diagnostic apparatus according to an embodiment.
  • FIG. 2 is a diagram for explaining the first photographing position and the second photographing position of the embodiment.
  • FIG. 3 is a diagram illustrating an example of a reference image according to the embodiment.
  • FIG. 4 is a diagram illustrating an example of a reference image according to the embodiment.
  • FIG. 5 is a diagram illustrating a configuration example of the image processing unit according to the embodiment.
  • FIG. 6 is a diagram illustrating an example of a detailed configuration of the first calculation unit of the embodiment.
  • FIG. 7 is a diagram illustrating an example of the relationship between the pixel value and the likelihood according to the embodiment.
  • FIG. 8 is a diagram illustrating an example of a detailed configuration of the second calculation unit of the embodiment.
  • FIG. 9 is a diagram illustrating a relationship between a region of interest and a candidate region according to the embodiment.
  • FIG. 10 is a diagram for describing weights related to dissimilarity according to the embodiment.
  • FIG. 11 is a diagram for describing weights related to discontinuity in the embodiment.
  • FIG. 12 is a diagram illustrating an example of the rendered blood vessel image according to the embodiment.
  • FIG. 13 is a diagram illustrating an example of a first composite image according to the embodiment.
  • FIG. 14 is a flowchart illustrating an operation example of the image processing unit of the embodiment.
  • FIG. 15 is a diagram illustrating an example of a detailed configuration of a second calculation unit according to a modification.
  • FIG. 1 is a diagram illustrating an example of the configuration of the X-ray diagnostic apparatus 100 according to the present embodiment.
  • the X-ray diagnostic apparatus 100 includes a high voltage generator 11, an X-ray tube 12, an X-ray diaphragm device 13, a top plate 14, a C arm 15, A line detector 16.
  • the X-ray diagnostic apparatus 100 includes a C-arm rotation / movement mechanism 17, a top-plate movement mechanism 18, a C-arm / top-plate mechanism control unit 19, an aperture control unit 20, a system control unit 21, and an input unit. 22 and a display unit 23.
  • the X-ray diagnostic apparatus 100 also includes an image data generation unit 24, a storage unit 25, a mask image generation unit 26, a difference image generation unit 27, and an image processing unit 28.
  • the X-ray diagnostic apparatus 100 further includes an injector 30.
  • the injector 30 is a device for injecting a contrast medium from a catheter (an example of an instrument inserted into a blood vessel) inserted into the subject P.
  • the contrast medium injection from the injector 30 is executed according to the injection instruction received via the system control unit 21 described later.
  • the injector 30 executes a contrast medium injection according to a contrast medium injection condition including a contrast medium injection start instruction, an injection stop instruction, and an injection speed received from the system control unit 21 described later.
  • the injector 30 can also start and stop injection according to an injection instruction directly input to the injector 30 by the operator.
  • the high voltage generator 11 generates a high voltage under the control of the system control unit 21 and supplies the generated high voltage to the X-ray tube 12.
  • the X-ray tube 12 generates X-rays using the high voltage supplied from the high voltage generator 11.
  • the X-ray diaphragm 13 narrows the X-rays generated by the X-ray tube 12 under the control of the diaphragm controller 20 so that the region of interest of the subject P is selectively irradiated.
  • the X-ray diaphragm device 13 has four slidable diaphragm blades.
  • the X-ray diaphragm 13 narrows down the X-rays generated by the X-ray tube 12 and irradiates the subject P by sliding these diaphragm blades under the control of the diaphragm controller 20.
  • the X-ray tube 12 and the X-ray diaphragm device 13 are collectively referred to as an X-ray tube device.
  • the top 14 is a bed on which the subject P is placed, and is placed on a bed (not shown). The subject P is not included in the X-ray diagnostic apparatus 100.
  • the X-ray detector 16 detects X-rays that have passed through the subject P.
  • the X-ray detector 16 has detection elements arranged in a matrix. Each detection element converts X-rays that have passed through the subject P into electrical signals and accumulates them, and transmits projection data generated based on the accumulated electrical signals to the image data generation unit 24.
  • the X-ray detector 16 performs current / voltage conversion, A (Analog) / D (Digital) conversion, and parallel-serial conversion on the stored electrical signal to generate projection data.
  • the X-ray tube 12, the X-ray diaphragm device 13, and the X-ray detector 16 are considered to correspond to an “X-ray fluoroscopic imaging unit” that generates projection data by X-ray fluoroscopy with respect to the subject P. You can also.
  • the C-arm 15 holds the X-ray tube 12, the X-ray diaphragm device 13, and the X-ray detector 16.
  • the X-ray tube 12 and the X-ray diaphragm 13 and the X-ray detector 16 are arranged so as to face each other with the subject P sandwiched by the C arm 15.
  • the C-arm rotation / movement mechanism 17 is a mechanism for rotating and moving the C-arm 15, and the top board movement mechanism 18 is a mechanism for moving the top board 14.
  • the C arm / top plate mechanism control unit 19 controls the C arm rotation / movement mechanism 17 and the top plate movement mechanism 18 under the control of the system control unit 21, thereby rotating and moving the C arm 15 and the top plate 14. Adjust the movement.
  • the aperture control unit 20 controls the irradiation range of the X-rays irradiated to the subject P by adjusting the aperture of the aperture blades of the X-ray aperture device 13 under the control of the system control unit 21. .
  • the C-arm / top plate mechanism control unit 19 drives the C-arm rotation / movement mechanism 17 under the control of the system control unit 21 to image the imaging system (X-ray tube 12, X-ray diaphragm device 13, X-ray).
  • Two imaging positions (first imaging position and second imaging position) suitable for binocular stereoscopic vision are set by reciprocatingly sliding the C-arm 15 equipped with the detector 16) within a predetermined angle range. be able to.
  • FIG. 2A the X-ray detector 16 is attached in the vicinity of the upper end portion, while the X-ray tube 12 and the X-ray diaphragm device 13 (hereinafter sometimes referred to as “X-ray generator”) in the vicinity of the lower end portion.
  • FIG. 2B shows a first photographing position Ra (referred to below) suitable for binocular stereoscopic vision set at this time. In the description, it may be referred to as “first viewpoint”) and the second photographing position Rb (in the following description, it may be referred to as “second viewpoint”).
  • the shooting direction at the first shooting position Ra may be referred to as “first shooting direction”
  • the shooting direction at the second shooting position Rb may be referred to as “second shooting direction”.
  • the C-arm / top plate mechanism control unit 19 drives the C-arm rotation / movement mechanism 17 under the control of the system control unit 21 to perform the reciprocating slide motion of the C-arm 15 within the angle range of ⁇ at high speed.
  • the X-ray generator and the X-ray detector 16 (imaging system) reciprocate at high speed around the subject P together with the C arm 15, for example, at a high-speed reciprocation turning point separated by a predetermined imaging interval ⁇ d.
  • a first shooting position Ra (first viewpoint) and a second shooting position Rb (second viewpoint) are set. The setting of the first viewpoint and the second viewpoint is not limited to this.
  • the image data generation unit 24 generates image data based on the projection data supplied from the X-ray detector 16.
  • the image data generation unit 24 applies projection data supplied from the X-ray detector 16 during X-ray fluoroscopy at the first viewpoint (first imaging position Ra) (when X-ray fluoroscopy in the first imaging direction). Based on this, image data corresponding to the first viewpoint (hereinafter sometimes referred to as “first image data”) is generated, and the generated first image data is stored in image data stored in the storage unit 25 described later. Stored in the unit 51.
  • the image data generation unit 24 is based on projection data supplied from the X-ray detector 16 during X-ray fluoroscopy at the second viewpoint (second imaging position Rb) (when X-ray fluoroscopy in the second imaging direction). Then, image data corresponding to the second viewpoint (hereinafter may be referred to as “second image data”) is generated, and the generated second image data is stored in an image data storage unit 52 included in the storage unit 25 described later. To store.
  • the storage unit 25 stores various data.
  • the storage unit 25 includes a three-dimensional volume data storage unit 40 and image data storage units 51 and 52.
  • the three-dimensional volume data storage unit 40 inserts a device such as a guide wire or a catheter into the coronary artery of the heart, for example, before PCI treatment (preoperatively) to expand the narrowed or clogged portion of the coronary artery.
  • the three-dimensional blood vessel image (blood vessel volume data) generated in advance is stored.
  • the X-ray diagnostic apparatus 100 collects a plurality of two-dimensional projection data for reconstructing a three-dimensional blood vessel image by DA (Digital Angiography) imaging or DSA (Digital Subtraction Angiography) imaging. Data can be reconstructed to generate a three-dimensional blood vessel image. Then, the generated three-dimensional blood vessel image can be stored in the three-dimensional volume data storage unit 40.
  • a 3D blood vessel image acquired from an external apparatus for example, an X-ray CT apparatus
  • DA Digital Angiography
  • DSA Digital Subtraction Angiography imaging means images before and after contrast agent injection based on the X-ray information detected by the X-ray detector before the contrast agent injection and the X-ray information detected after the contrast agent injection. Is created, and an image before injection is subtracted from an angiographic image after injection of the contrast agent, thereby generating an image of only the object (blood vessel in this example) in which the contrast agent is dispersed by digital processing.
  • the image data storage unit 51 stores the first image data generated by the image data generation unit 24.
  • the image data storage unit 51 collects the first image data at regular time intervals and stores them in time series.
  • the image data storage unit 52 stores the second image data generated by the image data generation unit 24.
  • the image data storage unit 52 collects the second image data at regular time intervals and stores them in time series.
  • the mask image generation unit 26 Based on the first image data stored in the image data storage unit 51, the mask image generation unit 26 generates first image data before PCI treatment (a state before an instrument such as a catheter is inserted into the subject P. First image data) is generated as a mask image corresponding to the first viewpoint. Further, the mask image generation unit 26 generates second image data before PCI treatment as a mask image corresponding to the second viewpoint based on the second image data stored in the image data storage unit 52.
  • the difference image generation unit 27 subtracts the mask image corresponding to the first viewpoint generated by the mask image generation unit 26 and the latest first image data stored in the image data storage unit 51 during PCI treatment. By doing so, an image corresponding to the first viewpoint in which only a device (object) such as a catheter is reflected as shown in FIG. 3 (in the following description, it may be referred to as a “reference image”) is generated.
  • This reference image can be regarded as an image obtained by photographing the object in the first photographing direction, and corresponds to the “first image” in the claims.
  • the reference image in the present embodiment includes an image based on projection data generated by X-ray fluoroscopy in the first imaging direction with respect to the subject P in a state where the object is not inserted into the blood vessel, and the object is inserted into the blood vessel. It can be considered that this is a difference image from an image based on projection data generated by X-ray fluoroscopy in the first imaging direction with respect to the subject P in a state.
  • the difference image generation unit 27 subtracts the mask image corresponding to the second viewpoint generated by the mask image generation unit 26 and the latest second image data stored in the image data storage unit 52.
  • an image corresponding to the second viewpoint in which only an instrument such as a catheter is reflected as shown in FIG. 4 (may be referred to as a “reference image” in the following description) is generated.
  • This reference image can be regarded as an image obtained by photographing the object in the second photographing direction, and corresponds to the “second image” in the claims.
  • the reference image in the present embodiment includes an image based on projection data generated by fluoroscopy in the second imaging direction with respect to the subject P in a state where the object is not inserted into the blood vessel, and the object is inserted into the blood vessel.
  • this is a difference image from an image based on projection data generated by X-ray fluoroscopy in the second imaging direction with respect to the subject P in a state.
  • the standard image and the reference image generated by the difference image generation unit 27 as described above are supplied to the image processing unit 28 described later.
  • the image processing unit 28 performs image processing based on the image supplied from the difference image generation unit 27. For example, the image processing unit 28 searches for a reference image area (corresponding area) corresponding to the attention area (an area including at least one pixel) of the standard image, and uses the search result to create a new viewpoint (hereinafter referred to as “viewpoint”).
  • viewpoint a new viewpoint
  • a differential image corresponding to an “intermediate viewpoint” may be generated (in this example, only an instrument such as a catheter is reflected, and in the following description, it may be referred to as an “intermediate image”). You can also Detailed contents of the image processing unit 28 will be described later.
  • the input unit 22 receives various instructions from an operator such as a doctor or engineer who operates the X-ray diagnostic apparatus 100.
  • the input unit 22 includes a mouse, a keyboard, a button, a trackball, a joystick, and the like.
  • the input unit 22 transfers the instruction received from the operator to the system control unit 21.
  • the input unit 22 receives a designation instruction for designating an arbitrary region in the X-ray image.
  • the display unit 23 displays a GUI (Graphical User Interface) for receiving an instruction from the operator, an image generated by the image processing unit 28, and the like.
  • GUI Graphic User Interface
  • the display unit 23 includes a monitor.
  • the display unit 23 may include a plurality of monitors.
  • the system control unit 21 is a device that controls the entire X-ray diagnostic apparatus 100 based on the operation of the operator.
  • the image processing unit 28 according to the present embodiment is a device that searches the reference image area (corresponding area) corresponding to the attention area of the standard image in the above-described standard image and reference image.
  • the attention area is an area including at least one pixel.
  • a general corresponding point search by energy minimization will be described.
  • a policy for searching for corresponding points an area in which an image feature is similar to an attention area and a parallax of an attention area and an area adjacent to the attention area (adjacent area) are close is obtained as a corresponding point position. That is, a region having similar image features is set as a candidate region, and a candidate region in which the parallax of the attention region and the parallax of the adjacent region are smoothed is selected as a corresponding point position (corresponding region). .
  • energy is defined by adding the degree of similarity between the attention area and the candidate area, and the degree of continuity between the disparity of the attention area and the disparity of the adjacent area.
  • the corresponding point position of each attention area is searched so as to be minimized.
  • the degree of similarity is defined by a difference in image features, and pixel values are used as the image features. In the following description, this degree of similarity is described as “dissimilarity”, but may be referred to as “similarity”, for example.
  • the difference between the position of the attention area and the corresponding point position is called parallax
  • the degree of continuity of the parallax is defined by the difference between the parallax of the attention area and the parallax of the adjacent area.
  • the degree of continuity is described as “non-continuity”, but it may be referred to as “continuity”, for example. Therefore, the energy E is defined as the following formula 1.
  • Equation 1 p is a region of interest in the base image
  • p ′ is a candidate region indicating a candidate for a region (corresponding region) corresponding to the region of interest in the reference image
  • P is a whole set of regions of interest in the base image
  • N (p) is the entire set of areas adjacent to the attention area
  • T B (p) is the pixel value of the attention area
  • T R (p ′) is the pixel value of the candidate area
  • D (p) is the parallax of the attention area
  • D (q) indicate the parallax of the region adjacent to the region of interest.
  • the first term on the right side of Equation 1 above is the sum of dissimilarities corresponding to each region of interest (first cost)
  • the second term is the sum of discontinuities corresponding to each region of interest (second cost).
  • the dissimilarity and discontinuity of each region of interest are all evaluated equally. Therefore, when the area of the object included in the image (which may be referred to as “object area” in the following description) is small, the influence of the error generated in the background area showing an area larger than the object area. In some cases, the corresponding point position of the object region is not accurately obtained. Therefore, in the image processing unit 28 according to the present embodiment, in the calculation of the first cost and the second cost, weighting based on the likelihood described later is performed to deal with a region of interest that is highly likely to be included in the target region. The degree of influence of dissimilarity and discontinuity (the degree of influence on the energy function) is increased, and the corresponding point search is performed with high accuracy even when the object region is small. Specific contents will be described below.
  • FIG. 5 is a block diagram showing an example of the configuration of the image processing unit 28 according to the present embodiment.
  • the image processing unit 28 includes a first acquisition unit 101, a first calculation unit 102, a second calculation unit 103, a selection unit 104, a third calculation unit 105, and a setting unit 106.
  • the first generation unit 107, the second acquisition unit 108, the second generation unit 109, the synthesis unit 110, and the display control unit 111 are provided.
  • the first acquisition unit 101 acquires the standard image and the reference image generated by the difference image generation unit 27. Further, the first acquisition unit 101 obtains information for specifying an epipolar line (described later, for example, information indicating the first viewpoint (first photographing position Ra) and the second viewpoint (second photographing position Rb)), For example, it can be acquired from the system control unit 21.
  • information for specifying an epipolar line described later, for example, information indicating the first viewpoint (first photographing position Ra) and the second viewpoint (second photographing position Rb)
  • the first calculation unit 102 for each of a plurality of pixels included in each of the base image and the reference image, based on the feature information that represents the feature of the image, the likelihood (whether the pixel is included in the object region) The degree of possibility that the pixel is included in the object area) is calculated. And the 1st calculation part 102 produces the likelihood map which specified the likelihood of all the pixels. More specifically, it is as follows.
  • FIG. 6 is a diagram illustrating an example of a detailed configuration of the first calculation unit 102.
  • the first calculation unit 102 includes a likelihood calculation unit 201 and a storage unit 202.
  • the likelihood calculating unit 201 calculates, for each of a plurality of pixels included in each of the standard image and the reference image, the likelihood of the pixel based on the pixel value of the pixel (an example of “feature information” in the claims). To do.
  • the storage unit 202 stores the likelihood for the pixel value in advance.
  • the likelihood is a continuous value in the range of 0 to 1, and a large likelihood is set for a pixel value having a high probability of being included in the object region.
  • FIG. 7 is a diagram for explaining an example of the relationship between the pixel value and the likelihood.
  • FIG. 7A is a diagram illustrating the frequency of pixel values.
  • a solid line 401 indicates the frequency of pixel values of pixels included in the object area, and a broken line 402 indicates the frequency of pixel values of pixels included in the background area.
  • FIG. 7B is a diagram illustrating an example of the likelihood function 403 indicating the relationship between the pixel value and the likelihood, and the likelihood is greater than or equal to the pixel value (peak) at which the frequency of the pixel value in the object region is maximized. Is set to be 1.
  • the likelihood is set to be 0 for pixel values that are less than or equal to peak-3 ⁇ , and the likelihood for the pixel value between peak-3 ⁇ and peak Can be obtained by a linear function connecting peak-3 ⁇ and peak shown in the following equation 2.
  • the likelihood function 403 is stored in advance in the storage unit 202, and the first calculation unit 102 uses a plurality of reference images and reference images included in each of the reference image and the reference image based on the likelihood function 403. For each pixel, a likelihood corresponding to the pixel value of the pixel is obtained. In this way, the first calculation unit 102 calculates the likelihood of each pixel included in each of the reference image and the reference image, and can specify the likelihood of each of the plurality of pixels constituting the reference image. And a likelihood map of a reference image that can specify the likelihood of each of a plurality of pixels constituting the reference image.
  • the likelihood calculating unit 201 is described as calculating likelihood based on pixel values.
  • the present invention is not limited to this, and for example, based on feature information representing image features such as gradation values and luminance values.
  • the likelihood may be calculated.
  • the likelihood can be calculated based on information (for example, blood vessel information) specifying an object to which each pixel in the image belongs. In this case, it can be understood that information such as blood vessel information corresponds to “characteristic information” in the claims.
  • facial feature information included in the image for example, information indicating each feature point such as eyes and nose included in the face, information indicating the outline of the face, information indicating the skin color) Etc.
  • the facial feature information corresponds to “feature information” in the claims.
  • the likelihood can be calculated based on user information indicating an area designated by the user as the object area in the image.
  • the user information corresponds to “characteristic information” in the claims.
  • a reference image and a reference image are input from the first acquisition unit 101 to the second calculation unit 103, and the above-described likelihood map is input from the first calculation unit 102.
  • information for example, information indicating the first viewpoint and the second viewpoint
  • an epipolar line (described later) is also input to the second calculation unit 103 from the first acquisition unit 101.
  • the second calculation unit 103 determines whether the attention region in the reference image is not a candidate region that is a candidate for the corresponding region indicating the region corresponding to the attention region in the reference image. Calculate similarity.
  • the second calculation unit 103 performs weighting on the difference between the pixel values of the attention area and the candidate area based on the likelihoods of the reference image and the reference image, and determines whether the attention area and the candidate area are not Calculate similarity. Details will be described below.
  • FIG. 8 is a diagram illustrating an example of a detailed configuration of the second calculation unit 103.
  • the second calculation unit 103 includes a first specification unit 301, a second specification unit 302, a first cost calculation unit 303, a second cost calculation unit 304, a storage unit 305, 3 cost calculation unit 306.
  • the first designation unit 301 designates (sets) an attention area composed of at least one pixel in the reference image input from the first acquisition unit 101. More specifically, the first designation unit 301 designates a plurality of attention areas included in the reference image. In this example, each of the plurality of pixels constituting the reference image corresponds to the attention area, and the first designation unit 301 sequentially sets each of the plurality of pixels constituting the reference image as the attention area (for example, the upper left pixel). (In order of raster scan).
  • the second designating unit 302 designates a plurality of areas existing on the epipolar line determined based on the position of the attention area in the standard image among the reference images as the plurality of candidate areas corresponding to the attention area. More specifically, the epipolar line is determined based on the positional relationship between the first viewpoint and the second viewpoint, and the position of the attention area in the reference image. As described above, the second designating unit 302 designates a plurality of candidate regions corresponding to the target region for each target region specified by the first specifying unit 301.
  • a method for obtaining a plurality of candidate areas corresponding to one attention area will be specifically described.
  • FIG. 9 is a diagram showing the relationship between the attention area and the candidate area.
  • a candidate region p ′ corresponding to the pixel p is obtained on an epipolar line as indicated by a broken line 501.
  • the epipolar line 501 is calculated based on the positional relationship between the first viewpoint and the second viewpoint and the position of the pixel p.
  • the second specification unit 302 can also specify all the pixels on the epipolar line 501 as candidate areas corresponding to the pixels p.
  • the likelihood map of the reference image and the reference image is input from the first calculation unit 102, and the attention area and the candidate area are input from the second designation unit 302.
  • the first cost calculation unit 303 calculates the dissimilarity (may be regarded as the similarity) by performing weighting based on the likelihood for the difference between the pixel values of the attention area and the candidate area, A first cost indicating the total dissimilarity corresponding to the region of interest is calculated.
  • the first cost can be calculated by, for example, the following formula 3.
  • the number of first costs corresponding to the combination of the attention area and the candidate area is calculated.
  • Equation 3 p is a region of interest, p ′ is a candidate region, T B (p) is a pixel value of the region of interest, T R (p ′) is a pixel value of the candidate region, and ⁇ pp ′ is a weight related to dissimilarity Respectively.
  • T B (p) is a pixel value of the region of interest
  • T R (p ′) is a pixel value of the candidate region
  • ⁇ pp ′ is a weight related to dissimilarity Respectively.
  • ⁇ pp ′ is a weight related to dissimilarity Respectively.
  • the first cost calculation unit 303 (second calculation unit 103) performs weighting so that the higher the probability that the region of interest is included in the object region, the greater the weight multiplied by the difference between the pixel values ( It is also possible to set a weight ⁇ pp ′ .
  • the weight ⁇ pp ′ can be calculated by, for example, the following Expression 4.
  • Equation 4 L B (p) indicates the likelihood of the attention area.
  • the weight ⁇ pp ′ represented by the above equation 4 has a large value when the probability that the region of interest is included in the object region is high (the likelihood is high). That is, when the probability that the attention area is included in the target area is high, the weight ⁇ pp ′ becomes large regardless of the likelihood of the candidate area. On the other hand, when the probability that the attention area is included in the background area is high (when the probability that the attention area is included in the target area is low), the weight ⁇ pp ′ is small regardless of the likelihood of the candidate area.
  • an attention area that has a high probability of being included in the object area and a candidate area that should be a corresponding area (the probability of being included in the object area is high, and the pixel value of the attention area is
  • the pixel value of a candidate area having a close pixel value is greatly different.
  • energy (third cost) described later is not minimized in the candidate area.
  • the first cost calculation unit 303 reduces the weight multiplied by the difference between the pixel values as the probability that each of the attention area and the candidate area is included in the object area is higher.
  • Can be weighted (weight ⁇ pp ′ is set).
  • the weight ⁇ pp ′ in the present embodiment can also be calculated by, for example, the following formula 5.
  • the first cost can also be calculated by adopting the weight ⁇ pp ′ represented by the above formula 4, for example.
  • L R (p ′) indicates the likelihood of the candidate region.
  • FIG. 10 is a diagram for explaining the weight ⁇ pp ′ represented by the above equation 5.
  • p 1 and p 2 each indicate a region of interest
  • p 1 ′ and p 2 ′ each indicate a candidate region.
  • Dashed line 601 represents the epipolar lines determined based on the position of the p 1
  • dashed line 602 represents the epipolar lines determined based on the position of the p 2.
  • the weight alpha pp ' is reduced if the candidate region is included in the target region.
  • the region of interest p 2 are included in the background region, even if the candidate region is included in the object region, even if included in the background area, the weight alpha pp 'becomes smaller.
  • the dissimilarity of the attention area having a high probability of being included in the object area is preferentially added to the energy (third cost) described later so that the corresponding point search of the object area can be performed with high accuracy. It can be carried out.
  • the above-described weight ⁇ pp ′ is also a continuous value from 0 to 1.
  • the dissimilarity is the weight ⁇ pp described above with respect to the difference between the pixel value of the attention area and the pixel value of any one of the plurality of candidate areas corresponding to the attention area. It is defined as the result of multiplying ' .
  • the dissimilarity increases as the candidate region increases in weight ⁇ pp ′ even if the pixel value difference from the region of interest is the same.
  • the attention area from the first designation unit 301, the likelihood map of the reference image from the first calculation unit 102, the adjacent region from the storage unit 305 (the region adjacent to the attention region in the reference image) ) Is input.
  • the storage unit 305 holds the parallax of the adjacent area in advance, and outputs the parallax of the adjacent area according to the position of the attention area.
  • the second cost calculation unit 304 calculates disparity of disparity (may be considered as continuity) by performing weighting based on likelihood on the difference in disparity between the attention area and the adjacent area, A second cost indicating the sum of disparity disparity corresponding to each region of interest is calculated.
  • the second cost can be calculated by, for example, the following formula 6.
  • the number of second costs corresponding to the combination of the attention area and the candidate area is calculated.
  • p is the attention area
  • q is the adjacent area
  • P is the entire set of the attention areas in the reference image
  • N (p) is the entire set of adjacent areas
  • D (p) is the parallax of the attention area
  • D ( q) represents the parallax of the adjacent region
  • ⁇ pq represents the weight related to discontinuity.
  • the discontinuity of the parallax of the object region can be largely reflected in energy (third cost) described later. That is, the second cost calculation unit 304 (second calculation unit 103) increases the weight to be multiplied by the parallax difference as the probability that each of the attention area and the adjacent area is included in the object area is higher. It is also possible to perform weighting (set weight ⁇ pq ). ⁇ pq in the present embodiment can also be calculated by, for example, the following Expression 7.
  • L B (p) indicates the likelihood of the attention area
  • L B (q) indicates the likelihood of the adjacent area.
  • the weight ⁇ pq related to discontinuity shows a large value when there is a high probability that each of the attention area and the adjacent area is included in the object area.
  • FIG. 11 is a diagram for explaining the weight ⁇ pq regarding discontinuity.
  • p indicates a region of interest
  • q indicates an adjacent region.
  • the attention area p is included in the object area, and the pixels adjacent to the upper and lower sides of the attention area p are adjacent areas included in the object area, so that the weight ⁇ pq increases, In the adjacent region, the weight ⁇ pq is small.
  • the corresponding point search of the target area can be performed with high accuracy by preferentially adding the disparity of the parallax of the target area to the energy (third cost) described later.
  • the above-described ⁇ pq is also a continuous value from 0 to 1.
  • the discontinuity of the parallax is the result of multiplying the corresponding weight ⁇ pq for each difference between the parallax of the attention area and each parallax of a plurality of areas (adjacent areas) adjacent to the attention area. It can be defined as the sum of the multiplication results.
  • the above-described second cost increases as the attention area is included in the object area and the difference from the parallax of the adjacent area included in the object area is larger.
  • the third cost calculation unit 306 receives the first cost from the first cost calculation unit 303 and the second cost from the second cost calculation unit 304.
  • the third cost calculation unit 306 calculates a third cost based on the first cost and the second cost.
  • the third cost in the present embodiment is obtained by weighted addition of the first cost and the second cost, and can be calculated by, for example, Expression 8 below.
  • ⁇ represents the weight of the first cost
  • ⁇ represents the weight of the first cost
  • the ratio of the first cost to the third cost increases. For example, when the difference between the pixel value in the background area and the pixel value in the object area is large, the ratio between the first cost and the second cost can be evaluated equally by setting ⁇ small.
  • the second calculation unit 103 includes the first cost indicating the total dissimilarity corresponding to each attention area and the second cost indicating the discontinuity sum corresponding to each attention area.
  • the third cost (energy) based on the above is calculated.
  • the number of third costs corresponding to the combination of the attention area and the candidate area is calculated.
  • the selection unit 104 selects one candidate region for each of a plurality of attention regions so that the third cost (energy) described above is minimized. At this time, the candidate area selected for each attention area is determined as the corresponding area of the attention area.
  • the selection unit 104 selects a candidate region corresponding to each region of interest when the minimum third cost is calculated by the second calculation unit 103 as a corresponding region of the region of interest.
  • the third calculation unit 105 calculates the three-dimensional position (spatial position) of the attention area based on the difference between the position of the attention area and the corresponding area. With a general television, three-dimensional information can be restored from images with different viewpoints.
  • the setting unit 106 acquires shooting information of a desired viewpoint position (a viewpoint different from the first viewpoint and the second viewpoint, which may be referred to as an “intermediate viewpoint” in the following description).
  • the imaging information here includes the imaging angle (arm angle) of the fluoroscopic imaging unit described above.
  • the setting unit 106 may acquire imaging information corresponding to the intermediate viewpoint from the system control unit 21. it can. Then, the setting unit 106 sets parameters including at least the imaging angle of the above-described X-ray fluoroscopic imaging unit.
  • the number of desired viewpoint positions (the number of intermediate viewpoints) can be arbitrarily changed, and may be one or a plurality, for example.
  • the setting unit 106 acquires the shooting information corresponding to the intermediate viewpoints and sets parameters for each intermediate viewpoint.
  • the shooting direction of the intermediate viewpoint may be referred to as “intermediate shooting direction”.
  • the first generation section 107 Based on the spatial position of the attention area obtained by the third calculation section 105 and the parameters set by the setting section 106, the first generation section 107 observes images of all attention areas from the intermediate viewpoint (in the intermediate viewpoint). The image coordinates in the corresponding image) are calculated, and an image corresponding to the intermediate viewpoint (which may be referred to as “intermediate image” in the following description) is generated.
  • the first generation unit 107 in the present embodiment generates an intermediate image in which only an instrument (an example of an object) such as a guide wire or a catheter is reflected. This intermediate image can be regarded as an image obtained by shooting an object in the intermediate shooting direction, and corresponds to an “intermediate image” in the claims.
  • the second acquisition unit 108 acquires the 3D blood vessel image stored in the 3D volume data storage unit 40 described above.
  • the second generation unit 109 receives a three-dimensional blood vessel image from the second acquisition unit 108, receives information indicating the first viewpoint and the second viewpoint from the first acquisition unit 101, and receives an intermediate viewpoint from the setting unit 106. Is input.
  • the second generation unit 109 renders a three-dimensional blood vessel image from each of the first viewpoint (first imaging direction), the second viewpoint (second imaging direction), and the intermediate viewpoint (intermediate imaging direction) (volume). Rendered), a first rendered blood vessel image corresponding to the first viewpoint (first imaging direction), a second rendered blood vessel image corresponding to the second viewpoint (second imaging direction), and an intermediate viewpoint (intermediate imaging direction).
  • a third rendered blood vessel image corresponding to is generated. It should be noted that various known volume rendering techniques can be used when rendering volume data (in this example, a three-dimensional blood vessel image).
  • FIG. 12 is a schematic diagram illustrating an example of a first rendering blood vessel image corresponding to the first viewpoint.
  • the synthesizing unit 110 synthesizes the reference image described above and the first rendering blood vessel image generated by the second generating unit 109 to generate a first synthesized image.
  • FIG. 13 is a schematic diagram illustrating an example of the first composite image.
  • the synthesizing unit 110 synthesizes the above-described reference image and the second rendering blood vessel image generated by the second generating unit 109 to generate a second synthesized image.
  • the synthesizing unit 110 synthesizes the above-described intermediate image and the third rendering blood vessel image generated by the second generating unit 109 to generate a third synthesized image.
  • the display control unit 111 performs control to display a stereoscopic image including the first composite image, the second composite image, and the third composite image on the display unit 23.
  • the “stereoscopic image” is an image including a plurality of parallax images having parallax with each other, and the parallax refers to a difference in appearance when viewed from different directions.
  • the image processing unit 28 of the present embodiment has a hardware configuration including a CPU (Central Processing Unit), a ROM, a RAM, and a communication I / F device.
  • Functions of the respective units of the image processing unit 28 described above are realized by the CPU expanding and executing the program stored in the ROM on the RAM.
  • the present invention is not limited to this, and at least a part of the functions of the above-described units can be realized by a dedicated hardware circuit (for example, a semiconductor integrated circuit).
  • FIG. 14 is a flowchart showing an operation example of the image processing unit 28 of the present embodiment.
  • the first acquisition unit 101 acquires a standard image and a reference image from the difference image generation unit 27 (step S101).
  • the first calculation unit 102 calculates a likelihood for each of a plurality of pixels included in each of the standard image and the reference image based on the pixel value of the pixel (step S102), and calculates the above-described likelihood map. create.
  • the second calculation unit 103 calculates the above-described third cost (energy) based on the standard image and reference image acquired in step S101 and the likelihood map created in step S102 (step S103).
  • the selection unit 104 selects a candidate area corresponding to each of the plurality of attention areas so as to minimize the third cost, and determines a corresponding area for each attention area (step S104).
  • the third calculation unit 105 calculates the three-dimensional position (spatial position) of the attention area based on the difference between the position of the attention area and the position of the corresponding area (step S105).
  • the setting unit 106 sets parameters (including at least a shooting angle) of a desired viewpoint position (intermediate viewpoint) (step S106).
  • the first generation unit 107 generates an intermediate image based on the spatial position of the attention area obtained in step S105 and the parameters set in step S106 (step S107).
  • the second generation unit 109 renders a three-dimensional blood vessel image from each viewpoint (the above-described first viewpoint, second viewpoint, and intermediate viewpoint), and renders a blood vessel image corresponding to each viewpoint (this example)
  • the first rendering blood vessel image, the second rendering blood vessel image, and the third rendering blood vessel image are generated.
  • the synthesizing unit 110 performs a synthesizing process (step S109).
  • the synthesizing unit 110 in the present embodiment generates the first synthesized image by synthesizing the above-described reference image and the first rendering blood vessel image.
  • the synthesizing unit 110 synthesizes the reference image and the second rendered blood vessel image to generate a second synthesized image. Further, the synthesizing unit 110 synthesizes the above intermediate image and the third rendering blood vessel image to generate a third synthesized image.
  • the display control unit 111 performs control to display a stereoscopic image including the combined image (parallax image) obtained by the combining process in step S109 on the display unit 23 (step S110).
  • the dissimilarity of the attention area having a high probability of being included in the object area is reflected in the third cost preferentially, and the disparity of the disparity in the object area is also determined.
  • the corresponding point search of the object region can be performed with high accuracy.
  • the configuration of the present embodiment is intended for devices such as catheters during PCI treatment in which an instrument such as a guide wire or a catheter is inserted into the coronary artery of the heart to expand a narrowed or clogged part of the coronary artery.
  • an instrument such as a guide wire or a catheter
  • a device such as a guide wire or a catheter is inserted into a blood vessel of a non-moving organ such as the brain to widen a narrowed or clogged portion of the blood vessel.
  • the present invention can also be applied when stereoscopically viewing an instrument such as an object.
  • a three-dimensional blood vessel image is reconstructed from a plurality of angiographic images having different collection angles, and blood vessel measurement results (for example, blood vessel length, blood vessel diameter, blood vessel stenosis rate, branch angle) are based on this. It is also applicable to CV-3D (TM) that provides
  • the second calculation unit 801 includes a first designation unit 301, a second designation unit 302, a first cost calculation unit 303, and a third cost calculation unit 802, and includes the above-described first calculation unit 801. Two-cost calculation unit 304 and storage unit 305 may not be included.
  • the first cost is input from the first cost calculation unit 303 to the third cost calculation unit 802, and the third cost calculation unit 802 calculates the third cost based on the first cost.
  • the third cost calculation unit 802 can also calculate the input first cost as the third cost.
  • the present invention can also be applied to a stereoscopic image display device that uses a chroma key technique in which a portion of a specific color (for example, blue) included in an image is replaced with another image.
  • a chroma key technique in which a portion of a specific color (for example, blue) included in an image is replaced with another image.
  • a reference image can be used, and an image other than the reference image can be used as a reference image (an image corresponding to another viewpoint can also be prepared).
  • the dissimilarity of the attention area that has a high probability of being included in the target area is preferentially reflected in the third cost, and the disparity of the target area is not continuous.
  • the corresponding point search of the object region can be performed with high accuracy.
  • a parallax image of the object corresponding to another viewpoint for example, a person existing in front of the blue background
  • the observer who observes this stereoscopic image display apparatus can suitably perform stereoscopic viewing of an object such as a person existing in a region other than the background.
  • the program executed by the image processing unit 28 described above may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. Further, the program executed by the above-described image processing unit 28 may be provided or distributed via a network such as the Internet. Furthermore, the program executed by the above-described image processing unit 28 may be provided by being incorporated in advance in a nonvolatile recording medium such as a ROM.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Vascular Medicine (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

　実施形態の画像処理装置は、第１取得部と第１算出部と第２算出部と選択部とを備える。第１取得部は、第１撮影方向で対象物を撮影した第１画像、および、第１撮影方向とは異なる第２撮影方向で対象物を撮影した第２画像を取得する。第１算出部は、画像の特徴を表す特徴情報に基づいて、第１画像および第２画像の各々に含まれる複数の画素ごとに、当該画素が対象物の領域に含まれるかどうかの尤度を算出する。第２算出部は、尤度に基づいて、第１画像における注目領域と、第２画像のうち注目領域に対応する対応領域の候補である候補領域と、の類似の程度を算出する。選択部は、類似の程度に基づいて、対応領域となる候補領域を選択する。

Description

画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
　本発明の実施形態は、画像処理装置、方法、及びプログラム、並びに、立体画像表示装置に関する。
　従来、複数の異なる位置に設けられた撮像装置を用いて同一の対象物を撮影し、取得した複数の画像に基づいて各々の画像における対象物の対応点を探索する手法（ステレオマッチング）が提案されている。基準となる一の撮像装置により撮影された画像を基準画像、その他の撮像装置で撮影された画像を参照画像と称すると、ステレオマッチングは、基準画像の注目領域（少なくとも１つの画素を含む領域）に対応する参照画像の領域を探索することを意味する。
　一般的なステレオマッチングでは、画像特徴の類似度と視差の連続性を画像全体で最適化して注目領域に対応する参照画像の領域を探索する。すなわち、参照画像において注目領域と画像特徴が似ている領域を候補領域として探索し（類似度の最適化）、候補領域のうち、基準画像における注目領域と隣接する画素（隣接画素）との視差が連続になるような候補領域を、注目領域に対応する領域として選択する（連続性の最適化）。画像特徴としては、一般的に画素値、ＳＳＤ（Some　Of　Square　Distance）、ＳＡＤ（Some　Of　Absolute　Distance）などが用いられる。
　従来技術として、基準画像における１つの画素（注目画素）に対して複数の対応点が探索された場合、注目画素とそれぞれの対応点に基づく距離値（注目距離値）を算出し、注目距離値と注目画素の周囲にある複数画素の距離値（隣接距離値）の差が最小となる対応点を選択する方法が知られている（従来技術１）。また、対象物の境界をまたいで視差の連続性が評価されないように、エッジ強度が高い領域では視差の連続性を評価しない方法が知られている（従来技術２）。さらに、画像のセグメンテーションにより対象物の領域を検出し、その検出領域内で対応点探索を行なう方法も考えられる（従来技術３）。
特開２００９－２０５１９３号公報
Jaesik　Park,　Hyeongwoo　Kim,　Yu-Wing　Tai，　Michael　S.　Brown　and　Inso　Kweon："High　Quality　Depth　Map　Upsampling　for　3D　TOF　Cameras",　Computer　Vision(ICCV),　2011　IEEE　International　Conference,　page.1623-1630,　2011.
　しかしながら、上記従来技術１および２は、画像全体で対応点位置を最適化する方法であるため、画像中の対象物の領域（対象物領域）が小さい場合には、対象物領域よりも大きな面積を占める背景領域に生じた誤差（ノイズ等による誤差）の影響を受け易い。これにより、対象物領域の対応点位置が正しく求められない場合がある。
　また、上記従来技術３のようにセグメンテーションにより対象物領域を検出する方法では、基準画像と参照画像の両方で対象物領域を高精度に抽出することが難しいため、対応点位置が正しく求められない場合がある。
　本発明が解決しようとする課題は、一の視差画像の対象物領域に対応する他の視差画像の領域を高精度に探索可能な画像処理装置、方法、及びプログラム、並びに、立体画像表示装置を提供することである。
　実施形態の画像処理装置は、第１取得部と第１算出部と第２算出部と選択部とを備える。第１取得部は、第１撮影方向で対象物を撮影した第１画像、および、第１撮影方向とは異なる第２撮影方向で対象物を撮影した第２画像を取得する。第１算出部は、画像の特徴を表す特徴情報に基づいて、第１画像および第２画像の各々に含まれる複数の画素ごとに、当該画素が対象物の領域に含まれるかどうかの尤度を算出する。第２算出部は、尤度に基づいて、第１画像における注目領域と、第２画像のうち注目領域に対応する対応領域の候補である候補領域と、の類似の程度を算出する。選択部は、類似の程度に基づいて、対応領域となる候補領域を選択する。
図１は、実施形態のＸ線診断装置の構成例を示す図である。 図２は、実施形態の第１撮影位置及び第２撮影位置を説明するための図である。 図３は、実施形態の基準画像の一例を示す図である。 図４は、実施形態の参照画像の一例を示す図である。 図５は、実施形態の画像処理部の構成例を示す図である。 図６は、実施形態の第１算出部の詳細な構成の一例を示す図である。 図７は、実施形態の画素値と尤度との関係の一例を示す図である。 図８は、実施形態の第２算出部の詳細な構成の一例を示す図である。 図９は、実施形態の注目領域と候補領域との関係を示す図である。 図１０は、実施形態の非類似度に関する重みを説明するための図である。 図１１は、実施形態の非連続性に関する重みを説明するための図である。 図１２は、実施形態のレンダリング血管画像の一例を示す図である。 図１３は、実施形態の第１合成画像の一例を示す図である。 図１４は、実施形態の画像処理部の動作例を示すフローチャートである。 図１５は、変形例の第２算出部の詳細な構成の一例を示す図である。
　以下、添付図面を参照しながら、本発明に係る画像処理装置、方法、及びプログラム、並びに、立体画像表示装置の実施形態を詳細に説明する。以下の実施形態では、冠動脈など血管のＸ線撮影を行うＸ線診断装置に本発明を適用した場合について説明するが、これに限られるものではない。
　図１は、本実施形態に係るＸ線診断装置１００の構成の一例を示す図である。図１の示すように、本実施形態に係るＸ線診断装置１００は、高電圧発生器１１と、Ｘ線管１２と、Ｘ線絞り装置１３と、天板１４と、Ｃアーム１５と、Ｘ線検出器１６とを備える。また、Ｘ線診断装置１００は、Ｃアーム回転・移動機構１７と、天板移動機構１８と、Ｃアーム・天板機構制御部１９と、絞り制御部２０と、システム制御部２１と、入力部２２と、表示部２３とを備える。また、Ｘ線診断装置１００は、画像データ生成部２４と、記憶部２５と、マスク画像生成部２６と、差分画像生成部２７と、画像処理部２８とを備える。また、Ｘ線診断装置１００は、インジェクター３０をさらに備える。
　インジェクター３０は、被検体Ｐに挿入されたカテーテル（血管に挿入される器具の一例）から造影剤を注入するための装置である。ここで、インジェクター３０からの造影剤注入は、後述するシステム制御部２１を介して受信した注入指示に従って実行される。具体的には、インジェクター３０は、後述するシステム制御部２１から受信する造影剤の注入開始指示や、注入停止指示、さらに、注入速度などを含む造影剤注入条件に応じた造影剤注入を実行する。なお、インジェクター３０は、操作者が直接インジェクター３０に対して入力した注入指示に従って注入開始や、注入停止を実行することも可能である。
　高電圧発生器１１は、システム制御部２１による制御の下、高電圧を発生し、発生した高電圧をＸ線管１２に供給する。Ｘ線管１２は、高電圧発生器１１から供給される高電圧を用いて、Ｘ線を発生する。
　Ｘ線絞り装置１３は、絞り制御部２０による制御の下、Ｘ線管１２が発生したＸ線を、被検体Ｐの関心領域に対して選択的に照射されるように絞り込む。例えば、Ｘ線絞り装置１３は、スライド可能な４枚の絞り羽根を有する。Ｘ線絞り装置１３は、絞り制御部２０による制御の下、これらの絞り羽根をスライドさせることで、Ｘ線管１２が発生したＸ線を絞り込んで被検体Ｐに照射させる。なお、Ｘ線管１２と、Ｘ線絞り装置１３とをまとめてＸ線管装置とも呼ぶ。天板１４は、被検体Ｐを載せるベッドであり、図示しない寝台の上に配置される。なお、被検体Ｐは、Ｘ線診断装置１００に含まれない。
　Ｘ線検出器１６は、被検体Ｐを透過したＸ線を検出する。例えば、Ｘ線検出器１６は、マトリックス状に配列された検出素子を有する。各検出素子は、被検体Ｐを透過したＸ線を電気信号に変換して蓄積し、蓄積した電気信号に基づいて生成した投影データを画像データ生成部２４に送信する。例えばＸ線検出器１６は、蓄積した電気信号に対して、電流・電圧変換やＡ（Analog）／Ｄ（Digital）変換、パラレル・シリアル変換を行い、投影データを生成する。
　ここでは、Ｘ線管１２、Ｘ線絞り装置１３、および、Ｘ線検出器１６は、被検体Ｐに対するＸ線透視によって投影データを生成する「Ｘ線透視撮影部」に対応していると考えることもできる。
　Ｃアーム１５は、Ｘ線管１２、Ｘ線絞り装置１３及びＸ線検出器１６を保持する。Ｘ線管１２及びＸ線絞り装置１３とＸ線検出器１６とは、Ｃアーム１５により被検体Ｐを挟んで対向するように配置される。
　Ｃアーム回転・移動機構１７は、Ｃアーム１５を回転及び移動させるための機構であり、天板移動機構１８は、天板１４を移動させるための機構である。Ｃアーム・天板機構制御部１９は、システム制御部２１による制御の下、Ｃアーム回転・移動機構１７及び天板移動機構１８を制御することで、Ｃアーム１５の回転や移動、天板１４の移動を調整する。絞り制御部２０は、システム制御部２１による制御の下、Ｘ線絞り装置１３が有する絞り羽根の開度を調整することで、被検体Ｐに対して照射されるＸ線の照射範囲を制御する。
　ここで、Ｃアーム・天板機構制御部１９は、システム制御部２１による制御の下、Ｃアーム回転・移動機構１７を駆動して撮像系（Ｘ線管１２、Ｘ線絞り装置１３、Ｘ線検出器１６）が装着されたＣアーム１５を所定の角度範囲内で往復スライド移動させることにより、両眼立体視に好適な２つの撮影位置（第１撮影位置、第２撮影位置）を設定することができる。
　図２（ａ）は、上端部近傍にＸ線検出器１６が取り付けられる一方、下端部近傍にＸ線管１２およびＸ線絞り装置１３（以下、「Ｘ線発生器」と称する場合がある）が取り付けられたＣアーム１５の往復スライド移動の方向（矢印）を示したものであり、図２（ｂ）は、このとき設定される両眼立体視に好適な第１撮影位置Ｒａ（以下の説明では「第１視点」と称する場合がある）および第２撮影位置Ｒｂ（以下の説明では「第２視点」と称する場合がある）を示している。以下の説明では、第１撮影位置Ｒａの撮影方向を「第１撮影方向」と称し、第２撮影位置Ｒｂの撮影方向を「第２撮影方向」と称する場合がある。
　すなわち、Ｃアーム・天板機構制御部１９が、システム制御部２１による制御の下、Ｃアーム回転・移動機構１７を駆動して、Δθの角度範囲内におけるＣアーム１５の往復スライド運動を高速で行うことにより、Ｘ線発生器およびＸ線検出器１６（撮像系）は被検体Ｐの周囲でＣアーム１５と共に高速往復移動し、例えば、所定の撮影間隔Δｄだけ離れた高速往復の折り返し点において第１撮影位置Ｒａ（第１視点）および第２撮影位置Ｒｂ（第２視点）が設定される。なお、第１視点および第２視点の設定はこれに限られるものではない。
　図１に戻って説明を続ける。画像データ生成部２４は、Ｘ線検出器１６から供給される投影データに基づいて画像データを生成する。本実施形態における画像データ生成部２４は、第１視点（第１撮影位置Ｒａ）におけるＸ線透視時（第１撮影方向のＸ線透視時）にＸ線検出器１６から供給される投影データに基づいて、第１視点に対応する画像データ（以下、「第１の画像データ」と称する場合がある）を生成し、生成した第１の画像データを、後述の記憶部２５が有する画像データ保存部５１に格納する。また、画像データ生成部２４は、第２視点（第２撮影位置Ｒｂ）におけるＸ線透視時（第２撮影方向のＸ線透視時）にＸ線検出器１６から供給される投影データに基づいて、第２視点に対応する画像データ（以下、「第２の画像データ」と称する場合がある）を生成し、生成した第２の画像データを、後述の記憶部２５が有する画像データ保存部５２に格納する。
　記憶部２５は、各種のデータを記憶する。本発明に関するものとしては、記憶部２５は、３次元ボリュームデータ保存部４０、画像データ保存部５１および５２を有する。
　３次元ボリュームデータ保存部４０は、例えば心臓の冠動脈にガイドワイヤやカテーテルなどの器具を挿入して、冠動脈の狭くなった部分、または、つまっている部分を広げるＰＣＩ治療の前（術前）に、予め生成された３次元血管画像（血管のボリュームデータ）を記憶する。例えばＸ線診断装置１００は、ＤＡ（Ｄｉｇｉｔａｌ　Ａｎｇｉｏｇｒａｐｈｙ）撮影やＤＳＡ（Ｄｉｇｉｔａｌ　Ｓｕｂｔｒａｃｔｉｏｎ　Ａｎｇｉｏｇｒａｐｈｙ）撮影などによって、３次元血管画像を再構成するための複数の２次元投影データを収集し、収集した２次元投影データを再構成して３次元血管画像を生成することもできる。そして、生成した３次元血管画像を３次元ボリュームデータ保存部４０に格納することもできる。なお、これに限らず、例えば外部装置（例えばＸ線ＣＴ装置）から取得した３次元血管画像を３次元ボリュームデータ保存部４０に格納する形態であってもよい。
　なお、ＤＡ（Ｄｉｇｉｔａｌ　Ａｎｇｉｏｇｒａｐｈｙ）撮影とは、Ｘ線検出器が検出したＸ線の情報に基づいて、造影剤により血管および臓器が強調された血管造影画像をデジタル処理により生成する撮影方法を指す。また、ＤＳＡ（Ｄｉｇｉｔａｌ　Ｓｕｂｔｒａｃｔｉｏｎ　Ａｎｇｉｏｇｒａｐｈｙ）撮影とは、Ｘ線検出器が造影剤注入前に検出したＸ線の情報および造影剤注入後に検出したＸ線の情報に基づいて、造影剤注入前後それぞれの画像を作成し、造影剤注入後の血管造影画像からの注入前の画像を差し引くことで、造影剤がいきわたった対象物（この例では血管）のみの画像をデジタル処理により生成する撮影方法を指す。
　画像データ保存部５１は、画像データ生成部２４によって生成された第１の画像データを記憶する。この画像データ保存部５１には、第１の画像データが一定の時間間隔で収集されて、時系列に保存されることとする。
　画像データ保存部５２は、画像データ生成部２４によって生成された第２の画像データを記憶する。この画像データ保存部５２には、第２の画像データが一定の時間間隔で収集されて、時系列に保存されることとする。
　マスク画像生成部２６は、画像データ保存部５１に格納された第１の画像データを元に、ＰＣＩ治療前における第１の画像データ（カテーテルなどの器具が被検体Ｐに挿入される前の状態における第１の画像データ）を、第１視点に対応するマスク画像として生成する。また、マスク画像生成部２６は、画像データ保存部５２に格納された第２の画像データを元に、ＰＣＩ治療前における第２の画像データを、第２視点に対応するマスク画像として生成する。
　差分画像生成部２７は、ＰＣＩ治療時に、マスク画像生成部２６により生成された第１視点に対応するマスク画像と、画像データ保存部５１に格納された最新の第１の画像データとをサブストラクションすることにより、図３のようにカテーテルなどの器具（対象物）のみが映り込んだ第１視点に対応する画像（以下の説明では、「基準画像」と称する場合がある）を生成する。この基準画像は、第１撮影方向で対象物を撮影した画像であると捉えることができ、請求項の「第１画像」に対応している。本実施形態における基準画像は、対象物が血管に挿入されていない状態の被検体Ｐに対する第１撮影方向のＸ線透視により生成された投影データに基づく画像と、対象物が血管に挿入された状態の被検体Ｐに対する第１撮影方向のＸ線透視により生成された投影データに基づく画像との差分画像であると考えることができる。
　また、差分画像生成部２７は、マスク画像生成部２６により生成された第２視点に対応するマスク画像と、画像データ保存部５２に格納された最新の第２の画像データとをサブストラクションすることにより、図４のようにカテーテルなどの器具のみが映り込んだ第２視点に対応する画像（以下の説明では、「参照画像」と称する場合がある）を生成する。この参照画像は、第２撮影方向で対象物を撮影した画像であると捉えることができ、請求項の「第２画像」に対応している。本実施形態における参照画像は、対象物が血管に挿入されていない状態の被検体Ｐに対する第２撮影方向のＸ線透視により生成された投影データに基づく画像と、対象物が血管に挿入された状態の被検体Ｐに対する第２撮影方向のＸ線透視により生成された投影データに基づく画像との差分画像であると考えることができる。以上のようにして差分画像生成部２７によって生成された基準画像および参照画像は、後述の画像処理部２８に供給される。
　画像処理部２８は、差分画像生成部２７から供給された画像に基づく画像処理を行う。例えば、画像処理部２８は、基準画像の注目領域（少なくとも１つの画素を含む領域）に対応する参照画像の領域（対応領域）を探索し、その探索結果を利用して、新たな視点（以下の説明では、「中間視点」と称する場合がある）に対応する差分画像（この例ではカテーテルなどの器具のみが映り込んだ画像、以下の説明では「中間画像」と称する場合がある）を生成することもできる。画像処理部２８の詳細な内容については後述する。
　入力部２２は、Ｘ線診断装置１００を操作する医師や技師などの操作者から各種指示を受け付ける。例えば、入力部２２は、マウス、キーボード、ボタン、トラックボール、ジョイスティックなどを有する。入力部２２は、操作者から受け付けた指示を、システム制御部２１に転送する。例えば、入力部２２は、Ｘ線画像における任意の領域を指定するための指定指示を受け付ける。
　表示部２３は、操作者の指示を受け付けるためのＧＵＩ（Graphical　User　Interface）や、画像処理部２８により生成された画像などを表示する。例えば、表示部２３は、モニタを有する。なお、表示部２３は、複数のモニタを有してもよい。
　システム制御部２１は、操作者の操作に基づいてＸ線診断装置１００全体を制御する装置である。
　次に、本実施形態に係る画像処理部２８について説明する。本実施形態に係る画像処理部２８は、上述の基準画像および参照画像において、基準画像の注目領域に対応する参照画像の領域（対応領域）を探索する装置である。注目領域とは、少なくとも１つの画素を含む領域である。
　まず、エネルギー最小化による一般的な対応点探索について説明する。対応点探索の方針としては、注目領域と画像特徴が類似しており、かつ注目領域の視差と注目領域に隣接する領域（隣接領域）の視差が近くなるような領域を対応点位置として求める。すなわち、画像特徴が類似している領域を候補領域とし、候補領域のうち、注目領域の視差と隣接領域の視差とが滑らかになるような候補領域を、対応点位置（対応領域）として選択する。一般的な対応点探索手法としては注目領域と候補領域との類似の程度と、注目領域の視差と隣接領域の視差との連続の程度との加算によるエネルギーを定義し、画像全体でこのエネルギーが最小となるように各注目領域の対応点位置を探索する。類似の程度とは画像特徴の差で定義され、画像特徴としては画素値などが用いられる。以下の説明では、この類似の程度を「非類似度」と称して説明するが、例えば「類似度」と称しても構わない。また、注目領域の位置とその対応点位置との差は視差と呼ばれ、視差の連続の程度は、注目領域の視差とその隣接領域の視差との差で定義される。以下の説明では、この連続の程度を「非連続性」と称して説明するが、例えば「連続性」と称しても構わない。したがって、エネルギーＥは、以下の式１のように定義される。
Figure JPOXMLDOC01-appb-M000001
　上記式１において、ｐは基準画像における注目領域、ｐ’は、参照画像のうち注目領域に対応する領域（対応領域）の候補を示す候補領域、Ｐは、基準画像中の注目領域の全体集合、Ｎ（ｐ）は注目領域に隣接する領域の全体集合、ＴＢ（ｐ）は注目領域の画素値、ＴＲ（ｐ’）は候補領域の画素値、Ｄ（ｐ）は注目領域の視差、Ｄ（ｑ）は注目領域に隣接する領域の視差をそれぞれ示している。上記式１の右辺における第１項は、各注目領域に対応する非類似度の総和（第１コスト）、第２項は、各注目領域に対応する非連続性の総和（第２コスト）を表す。
　上記式１によって表されるエネルギー関数では、各注目領域の非類似度と非連続性がすべて等しく評価されている。よって、画像に含まれる対象物の領域（以下の説明では、「対象物領域」と称する場合がある）が小さい場合には、対象物領域よりも大きな面積を示す背景領域に生じた誤差の影響を受けやすく、対象物領域の対応点位置が正確に求まらない場合がある。そこで、本実施形態に係る画像処理部２８では、第１コストと第２コストの計算において、後述の尤度に基づく重み付けを行うことで、対象物領域に含まれる可能性が高い注目領域に対応する非類似度と非連続性の影響度（エネルギー関数に対する影響度）を高めて、対象物領域が小さい場合でも対応点探索を高精度に行うことを実現している。以下、具体的な内容を説明する。
　図５は、本実施形態に係る画像処理部２８の構成の一例を示すブロック図である。図５に示すように、画像処理部２８は、第１取得部１０１と、第１算出部１０２と、第２算出部１０３と、選択部１０４と、第３算出部１０５と、設定部１０６と、第１生成部１０７と、第２取得部１０８と、第２生成部１０９と、合成部１１０と、表示制御部１１１とを備える。
　第１取得部１０１は、差分画像生成部２７により生成された基準画像と参照画像とを取得する。また、第１取得部１０１は、後述のエピポーラ線を特定するための情報（例えば上述の第１視点（第１撮影位置Ｒａ）や第２視点（第２撮影位置Ｒｂ）を示す情報）を、例えばシステム制御部２１から取得することもできる。
　第１算出部１０２は、画像の特徴を表す特徴情報に基づいて、基準画像および参照画像の各々に含まれる複数の画素ごとに、当該画素が対象物領域に含まれるかどうかの尤度（当該画素が対象物領域に含まれる可能性の度合い）を算出する。そして、第１算出部１０２は、すべての画素の尤度を特定した尤度マップを作成する。より具体的には以下のとおりである。
　図６は、第１算出部１０２の詳細な構成の一例を示す図である。図６に示すように、第１算出部１０２は、尤度算出部２０１と記憶部２０２とを有する。尤度算出部２０１は、基準画像および参照画像の各々に含まれる複数の画素ごとに、当該画素の画素値（請求項の「特徴情報」の一例）に基づいて、当該画素の尤度を算出する。
　記憶部２０２は、画素値に対する尤度を予め記憶している。この例では、尤度は、０から１の範囲の連続的な値であり、対象物領域に含まれる確率が高い画素値に対して大きな値の尤度が設定される。
　図７は、画素値と尤度との関係の一例を説明するための図である。図７（ａ）は、画素値の頻度を示す図である。実線４０１は、対象物領域に含まれる画素の画素値の頻度を示し、破線４０２は、背景領域に含まれる画素の画素値の頻度を示す。図７（ｂ）は、画素値と尤度との関係を示す尤度関数４０３の一例を示す図であり、対象物領域の画素値の頻度が最大となる画素値（ｐｅａｋ）以上で尤度が１になるように設定されている。また、対象物領域の画素値分布の標準偏差をσとすると、ｐｅａｋ－３σ以下となる画素値では尤度が０になるように設定され、ｐｅａｋ－３σとｐｅａｋの間の画素値に対する尤度は、以下の式２に示すｐｅａｋ－３σとｐｅａｋとを結ぶ１次関数により求めることができる。
Figure JPOXMLDOC01-appb-M000002
　この例では、記憶部２０２には、上記尤度関数４０３が予め記憶されており、第１算出部１０２は、上記尤度関数４０３に基づいて、基準画像および参照画像の各々に含まれる複数の画素ごとに、当該画素の画素値に対応する尤度を求める。このようにして、第１算出部１０２は、基準画像および参照画像の各々に含まれる各画素の尤度を算出し、基準画像を構成する複数の画素の各々の尤度を特定可能な基準画像の尤度マップと、参照画像を構成する複数の画素の各々の尤度を特定可能な参照画像の尤度マップとを作成する。
　なお、以上においては、尤度算出部２０１は、画素値に基づいて尤度を算出すると述べたが、これに限らず、例えば階調値や輝度値などの画像の特徴を表す特徴情報に基づいて尤度を算出してもよい。また、本実施形態のように、カテーテルやガイドワイヤなどの血管に挿入される器具が対象物である場合は、画像中の血管が含まれる領域が対象物領域である可能性が高いと考えることができるので、例えば画像中の各画素が属するオブジェクトを特定する情報（例えば血管情報など）に基づいて尤度を算出することもできる。この場合、血管情報などの情報が請求項の「特徴情報」に対応すると捉えることができる。また、例えば「人物」が対象物である場合は、画像に含まれる顔特徴情報（例えば顔に含まれる眼や鼻などの各特徴点を示す情報、顔の輪郭を示す情報、肌色を示す情報など）などに基づいて尤度を算出することもできる。この場合、例えば顔特徴情報が請求項の「特徴情報」に対応すると捉えることができる。さらに、例えば画像のうち、ユーザが対象物領域として指定した領域を示すユーザ情報に基づいて尤度を算出することもできる。この場合、上記ユーザ情報が請求項の「特徴情報」に対応すると捉えることができる。
　図５に戻って説明を続ける。第２算出部１０３に対しては、第１取得部１０１より基準画像と参照画像が入力され、第１算出部１０２より上述の尤度マップが入力される。また、この例では、第２算出部１０３に対しては、第１取得部１０１より後述のエピポーラ線を特定するための情報（例えば第１視点や第２視点を示す情報）も入力される。第２算出部１０３は、基準画像と参照画像の尤度に基づいて、基準画像における注目領域と、参照画像のうち、注目領域に対応する領域を示す対応領域の候補である候補領域との非類似度を算出する。より具体的には、第２算出部１０３は、注目領域と候補領域との画素値の差分に対して、基準画像と参照画像の尤度に基づく重み付けを行って注目領域と候補領域との非類似度を算出する。以下、詳細な内容について説明する。
　図８は、第２算出部１０３の詳細な構成の一例を示す図である。図８に示すように、第２算出部１０３は、第１指定部３０１と、第２指定部３０２と、第１コスト算出部３０３と、第２コスト算出部３０４と、記憶部３０５と、第３コスト算出部３０６とを備える。
　第１指定部３０１は、第１取得部１０１より入力された基準画像において、少なくとも１つの画素からなる注目領域を指定（設定）する。より具体的には、第１指定部３０１は、基準画像に含まれる複数の注目領域を指定する。この例では、基準画像を構成する複数の画素の各々が注目領域に相当し、第１指定部３０１は、基準画像を構成する複数の画素の各々を、注目領域として順番に（例えば左上の画素からラスタースキャンの順番に）指定する。
　第２指定部３０２は、参照画像のうち、基準画像における注目領域の位置に基づいて決まるエピポーラ線上に存在する複数の領域を、当該注目領域に対応する複数の前記候補領域として指定する。より具体的には、上記エピポーラ線は、第１視点と第２視点との位置関係、および、基準画像における注目領域の位置に基づいて決定される。以上のようにして、第２指定部３０２は、第１指定部３０１により指定された注目領域ごとに、当該注目領域に対応する複数の候補領域を指定する。以下、一の注目領域に対応する複数の候補領域の求め方について具体的に説明する。
　図９は、注目領域と候補領域の関係を示した図である。第１指定部３０１により画素ｐが注目領域として指定されると、画素ｐに対応する候補領域ｐ’は破線５０１に示すようなエピポーラ線上に求まる。このエピポーラ線５０１は、第１視点と第２視点との位置関係、および、画素ｐの位置に基づいて算出される。図９の例では、第２指定部３０２は、エピポーラ線５０１上のすべての画素を、画素ｐに対応する候補領域として指定することもできる。
　図８に戻って説明を続ける。第１コスト算出部３０３に対しては、第１算出部１０２より基準画像と参照画像の尤度マップが入力され、第２指定部３０２より注目領域と候補領域が入力される。第１コスト算出部３０３は、注目領域と候補領域との画素値の差分に対して、尤度に基づく重み付けを行って非類似度（類似度であると捉えてもよい）を算出し、各注目領域に対応する非類似度の総和を示す第１コストを算出する。第１コストは、例えば以下の式３により算出することができる。ここでは、注目領域と候補領域との組み合わせに応じた数の第１コストが算出されることになる。
Figure JPOXMLDOC01-appb-M000003
　上記式３において、ｐは注目領域、ｐ’は候補領域、ＴＢ（ｐ）は注目領域の画素値、ＴＲ（ｐ’）は候補領域の画素値、αｐｐ’は非類似度に関する重みをそれぞれ示す。ここで、例えば対象物領域に含まれる確率が高い（尤度が高い）注目領域に関しては、当該注目領域と候補領域との画素値の差分に乗算する重みαｐｐ’の値を大きくすることで、当該注目領域に対応する非類似度を後述のエネルギー（第３コスト）へ大きく反映させることもできる。つまり、第１コスト算出部３０３（第２算出部１０３）は、注目領域が対象物領域に含まれる確率が高いほど、上記画素値の差分に乗算される重みが大きくなるように重み付けを行う（重みαｐｐ’を設定する）こともできる。この場合、重みαｐｐ’は、例えば以下の式４により算出することもできる。
Figure JPOXMLDOC01-appb-M000004
　上記式４において、ＬＢ（ｐ）は注目領域の尤度を示す。上記式４で表される重みαｐｐ’は、注目領域が対象物領域に含まれる確率が高い（尤度が高い）場合に大きな値を示す。つまり、注目領域が対象領域に含まれる確率が高い場合は、候補領域の尤度に関わらず、重みαｐｐ’は大きくなる。一方、注目領域が背景領域に含まれる確率が高い場合（注目領域が対象領域に含まれる確率が低い場合）は、候補領域の尤度に関わらず、重みαｐｐ’は小さくなる。
　しかしながら、例えば画像に発生したノイズによって、対象物領域に含まれる確率が高い注目領域と、対応領域とすべき候補領域（対象物領域に含まれる確率が高く、かつ、当該注目領域の画素値に近い画素値を有する候補領域）との画素値が大きく異なる場合もあり得る。このような場合、当該注目領域と、対応領域とすべき候補領域との非類似度が大きくなるために、当該候補領域では後述のエネルギー（第３コスト）を最小にしない場合が発生する。これにより、対応領域とすべき候補領域の代わりに、背景領域に含まれる確率が高く、かつ、当該注目領域の画素値に近い画素値を有する候補領域が、対応領域として選ばれてしまうおそれがある。
　そこで、本実施形態では、注目領域および候補領域の各々が対象物領域に含まれる確率が高い場合には、重みαｐｐ’の値を小さく設定することで、上記問題を解決している。つまり、第１コスト算出部３０３（第２算出部１０３）は、注目領域および候補領域の各々が対象物領域に含まれる確率が高いほど、上記画素値の差分に乗算される重みが小さくなるように重み付けを行う（重みαｐｐ’を設定する）こともできる。本実施形態における重みαｐｐ’は、例えば以下の式５により算出することもできる。なお、これに限らず、例えば上記式４で表される重みαｐｐ’を採用して第１コストを算出することもできる。
Figure JPOXMLDOC01-appb-M000005
　上記式５において、ＬＲ（ｐ’）は候補領域の尤度を示す。図１０は、上記式５により表される重みαｐｐ’を説明するための図である。図１０において、ｐ１，ｐ２はそれぞれ注目領域を示し、ｐ１’，ｐ２’はそれぞれ候補領域を示す。破線６０１は、ｐ１の位置に基づいて決まるエピポーラ線を表し、破線６０２は、ｐ２の位置に基づいて決まるエピポーラ線を表している。図１０の例では、注目領域ｐ１は対象物領域に含まれるので、候補領域が対象領域に含まれる場合に重みαｐｐ’は小さくなる。一方、注目領域ｐ２は背景領域に含まれるので、候補領域が対象物領域に含まれる場合であっても、背景領域に含まれる場合であっても、重みαｐｐ’は小さくなる。
　以上のように、対象物領域に含まれる確率が高い注目領域の非類似度を、優先的に後述のエネルギー（第３コスト）に加味させることによって、対象物領域の対応点探索を高精度に行うことができる。前述したように、尤度は、０から１の連続的な値であるため、上述の重みαｐｐ’も０から１の連続的な値となる。ここでは、非類似度とは、注目領域の画素値と、当該注目領域に対応する複数の候補領域のうちの何れか１つの候補領域の画素値との差分に対して、上述の重みαｐｐ’を乗算した結果であると定義される。そして、注目領域に対応する複数の候補領域のうち、当該注目領域との画素値差が同じであっても重みαｐｐ’が大きくなる候補領域ほど、非類似度は大きくなる。
　図８に戻って説明を続ける。第２コスト算出部３０４に対しては、第１指定部３０１より注目領域、第１算出部１０２より基準画像の尤度マップ、記憶部３０５より隣接領域（基準画像のうち注目領域に隣接する領域）の視差が入力される。ここで、記憶部３０５は、隣接領域の視差を予め保持しており、注目領域の位置に応じて隣接領域の視差を出力する。
　第２コスト算出部３０４は、注目領域と隣接領域との視差の差分に対して、尤度に基づく重み付けを行って視差の非連続性（連続性であると捉えてもよい）を算出し、各注目領域に対応する視差の非連続性の総和を示す第２コストを算出する。第２コストは、例えば以下の式６により算出することができる。ここでは、注目領域と候補領域との組み合わせに応じた数の第２コストが算出されることになる。
Figure JPOXMLDOC01-appb-M000006
　上記式６において、ｐは注目領域、ｑは隣接領域、Ｐは基準画像中の注目領域の全体集合、Ｎ（ｐ）は隣接領域の全体集合、Ｄ（ｐ）は注目領域の視差、Ｄ（ｑ）は隣接領域の視差、βｐｑは非連続性に関する重みをそれぞれ示す。本実施形態では、注目領域および隣接領域の各々が共に対象物領域に含まれる確率が高い場合に、当該注目領域の視差と隣接領域の視差との差分に対して乗算する重みβｐｑの値を大きくする。これにより、対象物領域の視差の非連続性を後述のエネルギー（第３コスト）へ大きく反映させることができる。つまり、第２コスト算出部３０４（第２算出部１０３）は、注目領域および隣接領域の各々が対象物領域に含まれる確率が高いほど、上記視差の差分に乗算される重みが大きくなるように重み付けを行う（重みβｐｑを設定する）こともできる。本実施形態におけるβｐｑは、例えば以下の式７により算出することもできる。
Figure JPOXMLDOC01-appb-M000007
　上記式７において、ＬＢ（ｐ）は注目領域の尤度、ＬＢ（ｑ）は隣接領域の尤度をそれぞれ示す。上記式７からも理解されるように、非連続性に関する重みβｐｑは、注目領域および隣接領域の各々が共に対象物領域に含まれる確率が高い場合に大きな値を示す。図１１は、非連続性に関する重みβｐｑを説明するための図である。図１１において、ｐは注目領域、ｑは隣接領域をそれぞれ示す。図１１の例では、注目領域ｐは対象物領域に含まれ、かつ、注目領域ｐの上下に隣接する画素は、対象物領域に含まれる隣接領域なので、重みβｐｑは大きくなる一方、その他の隣接領域では重みβｐｑは小さくなる。
　以上のように、対象物領域の視差の非連続性を、優先的に後述のエネルギー（第３コスト）に加味させることによって、対象物領域の対応点探索を高精度に行うことができる。前述したように、尤度は、０から１の連続的な値であるため、上述のβｐｑも０から１の連続的な値となる。ここでは、視差の非連続性とは、注目領域の視差と、当該注目領域に隣接する複数の領域（隣接領域）の各々の視差との差分ごとに、対応する重みβｐｑとの乗算結果を求め、その乗算結果を合計したものであると定義することができる。そして、注目領域が対象物領域に含まれ、かつ、対象物領域に含まれる隣接領域の視差との差が大きいほど上述の第２コストは大きくなる。
　図８に戻って説明を続ける。第３コスト算出部３０６に対しては、第１コスト算出部３０３より第１コスト、第２コスト算出部３０４より第２コストが入力される。第３コスト算出部３０６は、第１コストと第２コストに基づいて第３コストを算出する。本実施形態における第３コストは、第１コストと第２コストとの重み付き加算により求められ、例えば以下の式８により算出することもできる。
Figure JPOXMLDOC01-appb-M000008
　上記式８において、ωは第１コストの重みを示しており、ωを大きく設定すると第３コストにおける第１コストの割合が大きくなる。例えば、背景領域の画素値と対象物領域の画素値との差が大きい場合には、ωを小さく設定することで、第１コストと第２コストとの割合を均等に評価することができる。
　以上のように、第２算出部１０３は、各々の注目領域に対応する非類似度の総和を示す第１コストと、各々の注目領域に対応する視差の非連続性の総和を示す第２コストとに基づく第３コスト（エネルギー）を算出する。ここでは、注目領域と候補領域との組み合わせに応じた数の第３コストが算出されることになる。
　図５に戻って説明を続ける。選択部１０４は、上述の第３コスト（エネルギー）が最小になるように、複数の注目領域ごとに一の候補領域を選択する。このとき、注目領域ごとに選択された候補領域が当該注目領域の対応領域として決定される。本実施形態における選択部１０４は、第２算出部１０３により最小の第３コストが算出されたときの各注目領域に対応する候補領域を、当該注目領域の対応領域として選択する。
　第３算出部１０５は、注目領域の位置と対応領域の位置との差に基づいて、注目領域の３次元位置（空間位置）を算出する。一般的なテレビジョンによって、視点の異なる画像から３次元情報を復元することができる。
　設定部１０６は、所望の視点位置（第１視点および第２視点とは異なる視点、以下の説明では「中間視点」と称する場合がある）の撮影情報を取得する。ここでの撮影情報とは、上述のＸ線透視撮影部の撮影角度（アーム角）などを含み、例えば設定部１０６は、システム制御部２１から、中間視点に対応する撮影情報を取得することもできる。そして、設定部１０６は、上述のＸ線透視撮影部の撮影角度を少なくとも含むパラメータを設定する。所望の視点位置の数（中間視点の数）は任意に変更可能であり、例えば１つでもよいし、複数でもよい。例えば複数の中間視点を設定する場合においては、設定部１０６は、中間視点ごとに、当該中間視点に対応する撮影情報を取得してパラメータを設定することになる。以下の説明では、中間視点の撮影方向を、「中間撮影方向」と称する場合がある。
　第１生成部１０７は、第３算出部１０５で求めた注目領域の空間位置と、設定部１０６で設定したパラメータとに基づいて、全ての注目領域に関して、中間視点から観察した画像（中間視点に対応する画像）における画像座標を算出し、中間視点に対応する画像（以下の説明では、「中間画像」と称する場合がある）を生成する。本実施形態における第１生成部１０７は、ガイドワイヤやカテーテルなどの器具（対象物の一例）のみが映り込んだ中間画像を生成することになる。この中間画像は、中間撮影方向で対象物を撮影した画像であると捉えることができ、請求項の「中間画像」に対応している。
　第２取得部１０８は、上述の３次元ボリュームデータ保存部４０に格納された３次元血管画像を取得する。
　第２生成部１０９に対しては、第２取得部１０８より３次元血管画像が入力され、第１取得部１０１より第１視点および第２視点を示す情報が入力され、設定部１０６より中間視点を示す情報が入力される。第２生成部１０９は、上述の第１視点（第１撮影方向）、第２視点（第２撮影方向）、および、中間視点（中間撮影方向）の各々から、３次元血管画像をレンダリング（ボリュームレンダリング）して、第１視点（第１撮影方向）に対応する第１レンダリング血管画像、第２視点（第２撮影方向）に対応する第２レンダリング血管画像、および、中間視点（中間撮影方向）に対応する第３レンダリング血管画像を生成する。なお、ボリュームデータ（この例では３次元血管画像）をレンダリングする際には、公知の様々なボリュームレンダリング技術を利用することができる。図１２は、第１視点に対応する第１レンダリング血管画像の一例を示す模式図である。
　合成部１１０は、上述の基準画像と、第２生成部１０９により生成された第１レンダリング血管画像とを合成して第１合成画像を生成する。図１３は、第１合成画像の一例を示す模式図である。同様に、合成部１１０は、上述の参照画像と、第２生成部１０９により生成された第２レンダリング血管画像とを合成して第２合成画像を生成する。さらに、合成部１１０は、上述の中間画像と、第２生成部１０９により生成された第３レンダリング血管画像とを合成して第３合成画像を生成する。
　表示制御部１１１は、第１合成画像と第２合成画像と第３合成画像とを含む立体画像を表示部２３に表示する制御を行う。ここでは、「立体画像」とは、互いに視差を有する複数の視差画像を含む画像であり、視差とは、異なる方向から見ることによる見え方の差をいう。
　なお、本実施形態の画像処理部２８は、ＣＰＵ（Central　Processing　Unit）、ＲＯＭ、ＲＡＭ、および、通信Ｉ／Ｆ装置などを含んだハードウェア構成となっている。上述した画像処理部２８の各部の機能（第１取得部１０１、第１算出部１０２、第２算出部１０３、選択部１０４、第３算出部１０５、設定部１０６、第１生成部１０７、第２取得部１０８、第２生成部１０９、合成部１１０、および、表示制御部１１１）は、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭ上で展開して実行することにより実現される。また、これに限らず、上述の各部の機能のうちの少なくとも一部を専用のハードウェア回路（例えば半導体集積回路等）で実現することもできる。
　図１４は、本実施形態の画像処理部２８の動作例を示すフローチャートである。図１４に示すように、まず第１取得部１０１は、差分画像生成部２７から基準画像および参照画像を取得する（ステップＳ１０１）。次に、第１算出部１０２は、基準画像および参照画像の各々に含まれる複数の画素ごとに、当該画素の画素値に基づいて尤度を算出し（ステップＳ１０２）、上述の尤度マップを作成する。次に、第２算出部１０３は、ステップＳ１０１で取得した基準画像および参照画像と、ステップＳ１０２で作成した尤度マップとに基づいて、上述の第３コスト（エネルギー）を算出する（ステップＳ１０３）。次に、選択部１０４は、第３コストが最小になるように、複数の注目領域の各々に対応する候補領域を選択し、各注目領域の対応領域を決定する（ステップＳ１０４）。
　次に、第３算出部１０５は、注目領域の位置と対応領域の位置との差に基づいて、注目領域の３次元位置（空間位置）を算出する（ステップＳ１０５）。次に、設定部１０６は、所望の視点位置（中間視点）のパラメータ（少なくとも撮影角度を含む）を設定する（ステップＳ１０６）。次に、第１生成部１０７は、ステップＳ１０５で求めた注目領域の空間位置と、ステップＳ１０６で設定したパラメータとに基づいて、中間画像を生成する（ステップＳ１０７）。次に、第２生成部１０９は、各視点（上述の第１視点、第２視点、および、中間視点）から、３次元血管画像をレンダリングして、各視点に対応するレンダリング血管画像（この例では、第１レンダリング血管画像、第２レンダリング血管画像、および、第３レンダリング血管画像）を生成する（ステップＳ１０８）。次に、合成部１１０は、合成処理を行う（ステップＳ１０９）。前述したように、本実施形態における合成部１１０は、上述の基準画像と、第１レンダリング血管画像とを合成して第１合成画像を生成する。また、合成部１１０は、上述の参照画像と、第２レンダリング血管画像とを合成して第２合成画像を生成する。さらに、合成部１１０は、上述の中間画像と、第３レンダリング血管画像とを合成して第３合成画像を生成する。
　次に、表示制御部１１１は、ステップＳ１０９の合成処理で得られた合成画像（視差画像）を含む立体画像を表示部２３に表示する制御を行う（ステップＳ１１０）。
　以上に説明したように、本実施形態では、対象物領域に含まれる確率が高い注目領域の非類似度を優先的に上述の第３コストに反映させるとともに、対象物領域の視差の非連続性を優先的に上述の第３コストに反映させることによって、対象物領域の対応点探索を高精度に行うことができる。そして、対象物領域の対応点が精度良く求まることにより、他の視点（第１視点および第２視点とは異なる所望の視点）に対応する対象物の視差画像を精度良く作ることができる。したがって、例えばＰＣＩ治療時にカテーテルなどの器具を対象物として立体視したい場合において、本実施形態の構成は格別に有効である。
　なお、本実施形態の構成は、例えば心臓の冠動脈にガイドワイヤやカテーテルなどの器具を挿入して、冠動脈の狭くなった部分、または、つまっている部分を広げるＰＣＩ治療時にカテーテルなどの器具を対象物として立体視する場合の他、例えば脳などの動かない臓器の血管にガイドワイヤやカテーテルなどの器具を挿入して、血管の狭くなった部分、または、つまっている部分を広げるＰＣＩ治療時にカテーテルなどの器具を対象物として立体視する場合においても適用可能である。また、本実施形態の構成は、例えば収集角度の違う複数の血管造影像から３次元血管像を再構成し、これに基づき血管計測結果（例えば血管長、血管径、血管狭窄率、分岐角度）を提供するＣＶ－３Ｄ（ＴＭ）に対しても適用可能である。
　以上、本発明の実施形態を説明したが、上述の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら新規な実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
（変形例）
　以下、変形例を記載する。以下の変形例同士は任意に組み合わせることが可能である。
（１）変形例１
　例えば上述の第３コストの算出において、視差の非連続性が考慮されない形態であってもよい。例えば図１５に示すように、第２算出部８０１は、第１指定部３０１と、第２指定部３０２と、第１コスト算出部３０３と、第３コスト算出部８０２とを備え、上述の第２コスト算出部３０４および記憶部３０５を含まない形態であってもよい。第３コスト算出部８０２に対しては、第１コスト算出部３０３より第１コストが入力され、第３コスト算出部８０２は、第１コストに基づいて第３コストを算出する。例えば第３コスト算出部８０２は、入力された第１コストを、第３コストとして算出することもできる。
（２）変形例２
　上述の実施形態では、本発明が適用される立体画像表示装置として、３Ｄロードマップ画像を表示する機能を有するＸ線診断装置を例に挙げて説明したが、本発明が適用される立体画像表示装置はこれに限られるものではない。
　例えば画像中に含まれた特定の色（例えば青色等）の部分を、他の画像に置換するクロマキー技術を利用する立体画像表示装置に対して本発明を適用することもできる。例えば人物などの対象物を撮影する際に、青色の布などを用いた青い背景（ブルーバック）を用いて、複数の視点から撮影を行って得られた複数の画像のうちの何れかを上記基準画像とし、基準画像以外の他の画像を参照画像とすることもできる（さらに別の視点に対応する画像を用意することもできる）。この場合でも、上述の実施形態と同様に、対象物領域に含まれる確率が高い注目領域の非類似度を優先的に上述の第３コストに反映させるとともに、対象物領域の視差の非連続性を優先的に上述の第３コストに反映させることによって、対象物領域の対応点探索を高精度に行うことができる。そして、対象物領域の対応点が精度良く求まることにより、他の視点に対応する対象物（例えばブルーバックの手前に存在する人物等）の視差画像を精度良く作ることができる。これにより、この立体画像表示装置を観察する観察者は、背景以外の領域に存在する人物等の対象物の立体視を好適に行うことが可能になる。
（プログラム）
　上述の画像処理部２８で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の画像処理部２８で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。さらに、上述の画像処理部２８で実行されるプログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。

Claims (13)

  1. 　第１撮影方向で対象物を撮影した第１画像、および、前記第１撮影方向とは異なる第２撮影方向で前記対象物を撮影した第２画像を取得する第１取得部と、
    　画像の特徴を表す特徴情報に基づいて、前記第１画像および前記第２画像の各々に含まれる複数の画素ごとに、当該画素が前記対象物の領域に含まれるかどうかの尤度を算出する第１算出部と、
    　前記尤度に基づいて、前記第１画像における注目領域と、前記第２画像のうち前記注目領域に対応する対応領域の候補である候補領域と、の類似の程度を算出する第２算出部と、
    　前記類似の程度に基づいて、前記対応領域となる前記候補領域を選択する選択部と、を備える、
    　画像処理装置。
  2. 　前記第２算出部は、前記注目領域と前記候補領域との画素値の差分に対して、前記尤度に基づく重み付けを行って前記類似の程度を算出する、
    　請求項１に記載の画像処理装置。
  3. 　前記第１画像に含まれる複数の前記注目領域を指定する第１指定部と、
    　前記第２画像のうち、前記第１画像における前記注目領域の位置に基づいて決まるエピポーラ線上に存在する複数の領域を、当該注目領域に対応する複数の前記候補領域として指定する第２指定部と、をさらに備え、
    　前記第２算出部は、各々の前記注目領域に対応する前記類似の程度の総和を示す第１コストに基づく第３コストを算出し、
    　前記選択部は、前記第３コストが最小となるように、複数の前記注目領域ごとに一の前記候補領域を選択する、
    　請求項２に記載の画像処理装置。
  4. 　前記第２算出部は、前記注目領域が前記対象物の領域に含まれる確率が高いほど、前記画素値の差分に乗算される重みが大きくなるように重み付けを行う、
    　請求項２に記載の画像処理装置。
  5. 　前記第２算出部は、前記注目領域および前記候補領域の各々が前記対象物の領域に含まれる確率が高いほど、前記画素値の差分に乗算される重みが小さくなるように重み付けを行う、
    　請求項２に記載の画像処理装置。
  6. 　前記第２算出部は、前記注目領域と、前記注目領域に隣接する領域を示す隣接領域との視差の差分に対して、前記尤度に基づく重み付けを行って視差の連続の程度を算出し、
    　前記選択部は、前記類似の程度と前記連続の程度とに基づいて、前記対応領域となる前記候補領域を選択する、
    　請求項１に記載の画像処理装置。
  7. 　前記第１画像に含まれる複数の前記注目領域を指定する第１指定部と、
    　前記第２画像のうち、前記第１画像における前記注目領域の位置に基づいて決まるエピポーラ線上に存在する複数の領域を、当該注目領域に対応する複数の前記候補領域として指定する第２指定部と、をさらに備え、
    　前記第２算出部は、各々の前記注目領域に対応する前記類似の程度の総和を示す第１コストと、各々の前記注目領域に対応する前記連続の程度の総和を示す第２コストとに基づく第３コストを算出し、
    　前記選択部は、前記第３コストが最小となるように、複数の前記注目領域ごとに一の前記候補領域を選択する、
    　請求項６に記載の画像処理装置。
  8. 　前記第２算出部は、前記注目領域および前記候補領域の各々が前記対象物の領域に含まれる確率が高いほど、前記視差の差分に乗算される重みが大きくなるように重み付けを行う、
    　請求項６に記載の画像処理装置。
  9. 　前記対象物は、血管に挿入する器具であり、
    　前記第１画像は、前記対象物が血管に挿入されていない状態の被検体に対する前記第１撮影方向のＸ線透視により生成された投影データに基づく画像と、前記対象物が血管に挿入された状態の前記被検体に対する前記第１撮影方向のＸ線透視により生成された投影データに基づく画像との差分画像であり、
    　前記第２画像は、前記対象物が血管に挿入されていない状態の前記被検体に対する前記第２撮影方向のＸ線透視により生成された投影データに基づく画像と、前記対象物が血管に挿入された状態の前記被検体に対する前記第２撮影方向のＸ線透視により生成された投影データに基づく画像との差分画像である、
    　請求項１に記載の画像処理装置。
  10. 　前記注目領域と前記対応領域との位置の差に基づいて、前記注目領域の３次元位置を算出する第３算出部と、
    　前記被検体に対するＸ線透視によって投影データを生成するＸ線透視撮影部の少なくとも撮影角度を含むパラメータを設定する設定部と、
    　前記３次元位置と前記パラメータとに基づいて、前記第１撮影方向および前記第２撮影方向とは異なる中間撮影方向に対応する前記差分画像を示す中間画像を生成する第１生成部と、
    　前記対象物が血管に挿入されていない状態における血管のボリュームデータを示す３次元血管画像を取得する第２取得部と、
    　前記第１撮影方向、前記第２撮影方向、前記中間撮影方向の各々から、前記３次元血管画像をレンダリングして、前記第１撮影方向に対応する第１レンダリング血管画像、前記第２撮影方向に対応する第２レンダリング血管画像、および、前記第３撮影方向に対応する第３レンダリング血管画像を生成する第２生成部と、
    　前記第１画像と前記第１レンダリング血管画像とを合成した第１合成画像、前記第２画像と前記第２レンダリング血管画像とを合成した第２合成画像、および、前記中間画像と前記第３レンダリング血管画像とを合成した第３合成画像を生成する合成部と、
    　前記第１合成画像と前記第２合成画像と前記第３合成画像とを含む立体画像を表示部に表示する制御を行う表示制御部と、を備える、
    　請求項９に記載の画像処理装置。
  11. 　第１撮影方向で対象物を撮影した第１画像、および、前記第１撮影方向とは異なる第２撮影方向で前記対象物を撮影した第２画像を取得し、
    　画像の特徴を表す特徴情報に基づいて、前記第１画像および前記第２画像の各々に含まれる複数の画素ごとに、当該画素が前記対象物の領域に含まれるかどうかの尤度を算出し、
    　前記尤度に基づいて、前記第１画像における注目領域と、前記第２画像のうち前記注目領域に対応する対応領域の候補である候補領域と、の類似の程度を算出し、
    　前記類似の程度に基づいて、前記対応領域となる前記候補領域を選択する、
    　画像処理方法。
  12. 　コンピュータを、
    　第１撮影方向で対象物を撮影した第１画像、および、前記第１撮影方向とは異なる第２撮影方向で前記対象物を撮影した第２画像を取得する取得手段と、
    　画像の特徴を表す特徴情報に基づいて、前記第１画像および前記第２画像の各々に含まれる複数の画素ごとに、当該画素が前記対象物の領域に含まれるかどうかの尤度を算出する第１算出手段と、
    　前記尤度に基づいて、前記第１画像における注目領域と、前記第２画像のうち前記注目領域に対応する対応領域の候補である候補領域と、の類似の程度を算出する第２算出手段と、
    　前記類似の程度に基づいて、前記対応領域となる前記候補領域を選択する選択手段として機能させる、
    　画像処理プログラム。
  13. 　複数の視差画像を含む立体画像を表示する表示部と、
    第１撮影方向で対象物を撮影した第１画像、および、前記第１撮影方向とは異なる第２撮影方向で前記対象物を撮影した第２画像を取得する第１取得部と、
    　画像の特徴を表す特徴情報に基づいて、前記第１画像および前記第２画像の各々に含まれる複数の画素ごとに、当該画素が前記対象物の領域に含まれるかどうかの尤度を算出する第１算出部と、
    　前記尤度に基づいて、前記第１画像における注目領域と、前記第２画像のうち前記注目領域に対応する対応領域の候補である候補領域と、の類似の程度を算出する第２算出部と、
    　前記類似の程度に基づいて、前記対応領域となる前記候補領域を選択する選択部と、
    　前記注目領域と前記対応領域との位置の差に基づいて、前記注目領域の３次元位置を算出する第３算出部と、
    　前記対象物を撮影する撮影部の少なくとも撮影角度を含むパラメータを設定する設定部と、
    　前記３次元位置と前記パラメータとに基づいて、前記第１撮影方向および前記第２撮影方向とは異なる中間撮影方向で前記対象物を撮影した中間画像を生成する生成部と、
    　前記第１画像と前記第２画像と前記中間画像とを含む前記立体画像を前記表示部に表示する制御を行う表示制御部と、を備える、
    　立体画像表示装置。
PCT/JP2014/072025 2013-08-23 2014-08-22 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置 WO2015025955A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/948,588 US10304187B2 (en) 2013-08-23 2015-11-23 Image processing apparatus and method, computer program product, and stereoscopic image display apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013173883A JP6342128B2 (ja) 2013-08-23 2013-08-23 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
JP2013-173883 2013-08-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/948,588 Continuation US10304187B2 (en) 2013-08-23 2015-11-23 Image processing apparatus and method, computer program product, and stereoscopic image display apparatus

Publications (1)

Publication Number Publication Date
WO2015025955A1 true WO2015025955A1 (ja) 2015-02-26

Family

ID=52483725

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/072025 WO2015025955A1 (ja) 2013-08-23 2014-08-22 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置

Country Status (3)

Country Link
US (1) US10304187B2 (ja)
JP (1) JP6342128B2 (ja)
WO (1) WO2015025955A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109391782A (zh) * 2017-08-07 2019-02-26 佳能株式会社 放射线图像捕获系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6342128B2 (ja) * 2013-08-23 2018-06-13 キヤノンメディカルシステムズ株式会社 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
KR20160089600A (ko) * 2015-01-19 2016-07-28 삼성디스플레이 주식회사 표시 장치
JP6877109B2 (ja) * 2016-04-13 2021-05-26 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN107233106A (zh) * 2017-06-01 2017-10-10 上海交通大学 多角度造影下血管对应位置关系检索方法及系统
CN116245835B (zh) * 2023-02-13 2023-12-01 数坤科技股份有限公司 图像检测方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005536308A (ja) * 2002-08-28 2005-12-02 ジーイー・ヘルスケア・フィンランド・オサケユキテュア 医療用ｘ線撮影方法及び装置
JP2011034178A (ja) * 2009-07-30 2011-02-17 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
JP2011090465A (ja) * 2009-10-21 2011-05-06 Fujitsu Ltd 物体位置推定装置および物体位置推定プログラム
JP2012208759A (ja) * 2011-03-30 2012-10-25 Kddi Corp ３次元形状モデル高精度化方法およびプログラム
JP2013012045A (ja) * 2011-06-29 2013-01-17 Nippon Telegr & Teleph Corp <Ntt> 画像処理方法、画像処理装置及びコンピュータプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5383013A (en) * 1992-09-18 1995-01-17 Nec Research Institute, Inc. Stereoscopic computer vision system
JPH0810246A (ja) 1994-06-30 1996-01-16 Shimadzu Corp 回転型ｘ線撮影装置
FR2751109B1 (fr) * 1996-07-09 1998-10-09 Ge Medical Syst Sa Procede de localisation d'un element d'interet contenu dans un objet tridimensionnel, en particulier lors d'un examen de stereotaxie en mammographie
JP4424797B2 (ja) * 1999-11-26 2010-03-03 富士通株式会社 立体形状検出方法
JP4314001B2 (ja) 2001-11-05 2009-08-12 株式会社日立メディコ 画像表示装置
EP1639548B1 (en) 2003-06-24 2008-10-08 Philips Intellectual Property & Standards GmbH Device to generate a three-dimensional image of a moved object
US7720282B2 (en) * 2005-08-02 2010-05-18 Microsoft Corporation Stereo image segmentation
JP4886716B2 (ja) 2008-02-26 2012-02-29 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP5138431B2 (ja) 2008-03-17 2013-02-06 富士フイルム株式会社 画像解析装置および方法並びにプログラム
JP4934701B2 (ja) * 2009-06-30 2012-05-16 株式会社日立製作所 ステレオ画像処理装置およびステレオ画像処理方法
JP5200042B2 (ja) 2010-02-26 2013-05-15 日本放送協会 視差推定装置およびそのプログラム
CN102959942B (zh) * 2010-06-28 2016-04-20 富士胶片株式会社 立体观看用图像拍摄装置及其控制方法
JP2012247364A (ja) * 2011-05-30 2012-12-13 Panasonic Corp ステレオカメラ装置、ステレオカメラシステム、プログラム
US8867825B2 (en) * 2011-08-30 2014-10-21 Thompson Licensing Method and apparatus for determining a similarity or dissimilarity measure
DE102011083876B4 (de) * 2011-09-30 2018-12-27 Siemens Healthcare Gmbh Verfahren zur Bewegungssteuerung einer Röntgenvorrichtung und Röntgensystem
JP2013076621A (ja) * 2011-09-30 2013-04-25 Nippon Hoso Kyokai <Nhk> 距離指標情報推定装置及びそのプログラム
EP2791904A4 (en) * 2011-12-08 2015-08-05 Intel Corp TECHNIQUES FOR EFFICIENTLY CONNECTING STEREO BLOCKS FOR GESTURE RECOGNITION
JP6342128B2 (ja) * 2013-08-23 2018-06-13 キヤノンメディカルシステムズ株式会社 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
US9392262B2 (en) * 2014-03-07 2016-07-12 Aquifi, Inc. System and method for 3D reconstruction using multiple multi-channel cameras

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005536308A (ja) * 2002-08-28 2005-12-02 ジーイー・ヘルスケア・フィンランド・オサケユキテュア 医療用ｘ線撮影方法及び装置
JP2011034178A (ja) * 2009-07-30 2011-02-17 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
JP2011090465A (ja) * 2009-10-21 2011-05-06 Fujitsu Ltd 物体位置推定装置および物体位置推定プログラム
JP2012208759A (ja) * 2011-03-30 2012-10-25 Kddi Corp ３次元形状モデル高精度化方法およびプログラム
JP2013012045A (ja) * 2011-06-29 2013-01-17 Nippon Telegr & Teleph Corp <Ntt> 画像処理方法、画像処理装置及びコンピュータプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109391782A (zh) * 2017-08-07 2019-02-26 佳能株式会社 放射线图像捕获系统
US10853688B2 (en) 2017-08-07 2020-12-01 Canon Kabushiki Kaisha Radiation image capturing system
CN109391782B (zh) * 2017-08-07 2021-04-16 佳能株式会社 放射线图像捕获系统

Also Published As

Publication number Publication date
JP2015041370A (ja) 2015-03-02
JP6342128B2 (ja) 2018-06-13
US10304187B2 (en) 2019-05-28
US20160078620A1 (en) 2016-03-17

Similar Documents

Publication Publication Date Title
JP6534998B2 (ja) 医療画像を表示する方法及び装置
JP6342128B2 (ja) 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
US9202301B2 (en) Medical image display apparatus and X-ray diagnosis apparatus
US10945708B2 (en) Method and apparatus for registration of medical images
JP7387270B2 (ja) 医用画像処理装置、学習方法、ｘ線診断装置、医用画像処理方法、およびプログラム
JP2012205899A (ja) ３次元的モデルを利用した身体臓器の映像生成方法及び装置並びにコンピュータ読み取り可能な記録媒体
JP6058286B2 (ja) 医用画像診断装置、医用画像処理装置及び方法
US10631810B2 (en) Image processing device, radiation imaging system, image processing method, and image processing program
US10092264B2 (en) Image processing apparatus, image processing method, radiation imaging system, and non-transitory computer-readable storage medium
CN107019522A (zh) 对操作者提供图像支持的方法、x射线装置和计算机程序
JP6274506B2 (ja) Ｘ線診断装置
JP4493436B2 (ja) 画像読影支援方法および装置ならびにプログラム
JP7167564B2 (ja) Ｘ線撮影装置およびｘ線撮影装置の作動方法
JP2007289569A (ja) 医用画像処理装置及び医用画像処理方法
JP6716197B2 (ja) 画像処理装置およびｘ線診断装置
US8103075B2 (en) Method for providing extended possibilities when imaging a patient&#39;s heart
JP6640550B2 (ja) Ｘ線診断装置
KR101876643B1 (ko) 2d 형광 투시 영상과 3d ct 영상 정합 기반의 치료 가이딩 시스템 및 방법
JP2009240723A (ja) 画像処理装置、画像処理方法及びｘ線診断装置
US10535167B2 (en) Method and system for tomosynthesis projection image enhancement and review
KR102534981B1 (ko) 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템
JP6711674B2 (ja) Ｘ線診断装置
JP6548360B2 (ja) Ｘ線診断装置
CN111803111A (zh) 一种脑部血管显示装置及方法
EP3776478A1 (en) Tomographic x-ray image reconstruction

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14838271

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14838271

Country of ref document: EP

Kind code of ref document: A1