WO2014162740A1 - 画像領域対応付け装置、３次元モデル生成装置、画像領域対応付け方法、及び画像領域対応付け用プログラム - Google Patents

画像領域対応付け装置、３次元モデル生成装置、画像領域対応付け方法、及び画像領域対応付け用プログラム Download PDF

Info

Publication number
WO2014162740A1
WO2014162740A1 PCT/JP2014/001925 JP2014001925W WO2014162740A1 WO 2014162740 A1 WO2014162740 A1 WO 2014162740A1 JP 2014001925 W JP2014001925 W JP 2014001925W WO 2014162740 A1 WO2014162740 A1 WO 2014162740A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
luminance
unit
acquisition unit
luminance change
Prior art date
Application number
PCT/JP2014/001925
Other languages
English (en)
French (fr)
Inventor
太一 佐藤
透 中田
浩彦 木村
豊彦 坂井
浩之 指江
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2015509920A priority Critical patent/JP5830626B2/ja
Publication of WO2014162740A1 publication Critical patent/WO2014162740A1/ja
Priority to US14/840,626 priority patent/US9607378B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/481—Diagnostic techniques involving the use of contrast agents
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion

Definitions

  • the present invention relates to an image region association device that associates a plurality of image regions of an X-ray image of a blood vessel imaged from two directions, and a three-dimensional model generation device that generates a three-dimensional model using the image region association device.
  • the present invention relates to an image region association method and an image region association program.
  • a catheter angiography as a test for examining diseases caused by stenosis or occlusion of blood vessels.
  • a contrast agent that is a radiopaque material is used.
  • Patent Document 1 a technique for generating a three-dimensional model of blood vessels from two X-ray images obtained by X-ray imaging from two directions has been researched and developed (for example, see Patent Document 1 and Non-Patent Document 1). Thereby, it becomes easy for a person to grasp the shape of a blood vessel.
  • a non-limiting exemplary embodiment of the present disclosure uses an image region association device and an image region association device that associate a plurality of image regions of an X-ray image of a blood vessel imaged from two directions.
  • a three-dimensional model generation device that generates a three-dimensional model of a blood vessel, an image region association method, and an image region association program are provided.
  • an image region association device that associates a plurality of image regions of a blood vessel having a branch, A first projection image obtained from the first imaging angle by continuously imaging the blood vessel when the contrast agent passes from a first imaging angle and a second imaging angle different from each other; A projection image acquisition unit that acquires a plurality of image sets composed of a second projection image obtained from the second imaging angle; The information on the luminance change of the contrast agent for a predetermined time is acquired for the first image region of the predetermined portion of the branch destination in the first projection image of each image set acquired by the projection image acquisition unit.
  • a second luminance change acquisition unit for acquiring information on luminance changes of the contrast agent for the predetermined time for a plurality of second image regions;
  • a similarity calculation unit that calculates a similarity between each of the luminance change information acquired from the first luminance change acquisition unit and each of the plurality of luminance change information acquired from the second luminance change acquisition unit;
  • a corresponding region determining unit that determines a second image region corresponding to the first image region based on the similarity calculated by the similarity calculating unit;
  • An image region associating device is provided.
  • an image region association apparatus and method for associating a plurality of image regions of a blood vessel X-ray image captured from two directions, and an image region association program A three-dimensional model generation device that generates a three-dimensional model of a blood vessel using an image region association device is provided.
  • FIG. 1 is an explanatory diagram for generating a three-dimensional model of a blood vessel.
  • FIG. 2 is a diagram in the case where there is one candidate point for corresponding points
  • FIG. 3 is a diagram in the case where there are two candidate points for corresponding points
  • FIG. 4 is a block diagram illustrating a functional configuration of the three-dimensional model generation device according to the first embodiment.
  • FIG. 5 is a diagram illustrating an example of information acquired by the first luminance change acquisition unit;
  • FIG. 6 is a diagram showing a state of luminance change in the first image region, FIG.
  • FIG. 7 is an explanatory diagram of a method for calculating the second image region.
  • FIG. 8 is a diagram illustrating an example of information acquired by the second luminance change acquisition unit;
  • FIG. 9 is a diagram showing a state of luminance change in the second image area;
  • FIG. 10 is an explanatory diagram of the similarity calculated by the similarity calculation unit.
  • FIG. 11 is a flowchart illustrating an example of a processing operation of the three-dimensional model generation device according to the first embodiment.
  • FIG. 12 is a graph of luminance changes acquired by the first luminance change acquisition unit and the second luminance change acquisition unit,
  • FIG. 13 is an explanatory diagram showing the reason why the maximum luminance value differs between corresponding areas.
  • FIG. 12 is a graph of luminance changes acquired by the first luminance change acquisition unit and the second luminance change acquisition unit
  • FIG. 13 is an explanatory diagram showing the reason why the maximum luminance value differs between corresponding areas.
  • FIG. 14 is a block diagram illustrating a functional configuration of the three-dimensional model generation device according to the second embodiment.
  • FIG. 15 is a graph of normalized luminance change
  • FIG. 16 is a diagram illustrating an example of a luminance change for a predetermined time normalized for the first image region and one of the second image regions
  • FIG. 17 is a diagram illustrating an example of a luminance change for a predetermined time normalized with respect to the first image region and the other second image region
  • FIG. 18 is a diagram illustrating an example of a luminance change for a predetermined time normalized with respect to the first image region and one of the second image regions
  • FIG. 15 is a graph of normalized luminance change
  • FIG. 16 is a diagram illustrating an example of a luminance change for a predetermined time normalized for the first image region and one of the second image regions
  • FIG. 17 is a diagram illustrating an example of a luminance change for a predetermined time normalized with respect to the first image region and the other
  • FIG. 19 is a diagram illustrating an example of a luminance change for a predetermined time normalized with respect to the first image region and the other second image region;
  • FIG. 20 is a flowchart illustrating an example of a processing operation of the three-dimensional model generation device according to the second embodiment.
  • FIG. 21 is a block diagram showing a functional configuration of the three-dimensional model generation device according to the third embodiment;
  • FIG. 22 is a block diagram showing the configuration of the X-ray imaging system.
  • FIG. 23 is a diagram showing an example of the data structure of the imaging unit information holding unit in the third embodiment.
  • FIG. 24 is a view showing an example of the data structure of the X-ray image holding unit in the third embodiment;
  • FIG. 25 is a diagram showing a configuration of a blood vessel region acquisition unit in the third embodiment
  • FIG. 26 is a diagram illustrating an example of a binary image according to the third embodiment.
  • FIG. 27 is a diagram showing an example of a thin line image (first blood vessel region image) in the third embodiment;
  • FIG. 28 is a flowchart of a blood vessel region acquisition unit in the third embodiment.
  • FIG. 29 is a diagram illustrating an example of a data structure of a blood vessel region holding unit in the third embodiment;
  • FIG. 30 is a diagram illustrating a configuration of the association unit in the third embodiment;
  • FIG. 31 is a flowchart of a corresponding candidate area acquisition unit in the third embodiment.
  • FIG. 32 is a diagram showing an epipolar line L2 in the third embodiment;
  • FIG. 33 is a graph showing a luminance sequence of contrast points Pk and corresponding candidate points Qk_1 to Qk_2 in the third embodiment
  • FIG. 34 is a diagram illustrating an example of a data structure of a luminance column holding unit in the third embodiment
  • FIG. 35 is a diagram showing a configuration of a luminance string evaluation unit in the third embodiment
  • FIG. 36 is a graph showing the normalized luminance sequence of the contrast point Pk, the corresponding point Qk, and the corresponding point Qx in the third embodiment
  • FIG. 37 is a graph showing an evaluation value for the corresponding candidate point Qk_1 in the third embodiment
  • FIG. 38 is a graph showing evaluation values for the corresponding candidate points Qk_2 in the third embodiment
  • FIG. 40 is a diagram illustrating an example of a data structure of a corresponding candidate area holding unit in the third embodiment
  • FIG. 41 is a diagram showing an example of the data structure of the three-dimensional position holding unit in the third embodiment
  • FIG. 42 is a diagram showing a display screen generated by the display screen generation unit in the third embodiment
  • FIG. 43 is a flowchart of the shape restoration device in the third embodiment.
  • FIG. 44 is a graph showing the amount of contrast medium flowing to the three-dimensional point Jk in the third embodiment
  • FIG. 45 is a diagram showing an example of a three-dimensional blood vessel in the third embodiment
  • FIG. 46 is a view showing a cross section of a blood vessel in the third embodiment;
  • FIG. 40 is a diagram illustrating an example of a data structure of a corresponding candidate area holding unit in the third embodiment
  • FIG. 41 is a diagram showing an example of the data structure of the three-dimensional position holding unit in the third embodiment
  • FIG. 42 is a diagram showing a display screen generated by
  • FIG. 47 is a view showing X-ray images 1211 to 1212 obtained by imaging three-dimensional blood vessels in the third embodiment;
  • FIG. 48 is a graph showing a predetermined ratio time in the fourth embodiment.
  • FIG. 49 is a diagram showing a configuration of a shape restoration device in the fourth embodiment;
  • FIG. 50 is a diagram showing the configuration of the association unit in the fourth embodiment;
  • FIG. 51 is a diagram illustrating an example of a data structure of a predetermined ratio time acquisition unit in the fourth embodiment;
  • FIG. 52 is a flowchart of the association unit in the fourth embodiment.
  • FIG. 53 is a diagram showing a configuration of a shape restoring device in the fifth embodiment;
  • FIG. 54 is a diagram showing a configuration of an association unit in the fifth embodiment;
  • FIG. 55 is a diagram showing a configuration of a luminance string evaluation unit in the fifth embodiment
  • FIG. 56 is a diagram illustrating an example of a data structure of a luminance column holding unit in the fifth embodiment
  • FIG. 57 is a graph showing a differential luminance sequence of contrast points Pk and corresponding candidate points Qk_1 to Qk_2 in the fifth embodiment
  • FIG. 58 is a diagram showing a data configuration of a peak time holding unit in the fifth embodiment
  • FIG. 59 is a diagram showing an example of data held by the peak time holding unit in the fifth embodiment
  • FIG. 60 is a flowchart of the association unit in the fifth embodiment.
  • FIG. 61 is a diagram showing an epipolar plane in the sixth embodiment;
  • FIG. 62 is a graph showing luminance sequences of contrast points Pk_1 to Pk_3 and corresponding candidate points Qk_1 to Qk_2 in the sixth embodiment;
  • FIG. 63 is a diagram showing an epipolar plane in the sixth embodiment;
  • FIG. 64 is a diagram showing an epipolar plane in the sixth embodiment;
  • FIG. 65 is a diagram showing an epipolar plane in the sixth embodiment;
  • FIG. 66 is a diagram showing an epipolar plane in the sixth embodiment;
  • FIG. 67 is a diagram showing an epipolar plane in the sixth embodiment;
  • FIG. 68 is a diagram showing a configuration of a shape restoration device in the sixth embodiment;
  • FIG. 69 is a diagram showing a configuration of an association unit in the sixth embodiment;
  • FIG. 70 is a diagram showing an example of grouping acquired by the grouping acquisition unit in the sixth embodiment
  • FIG. 71 is a diagram showing a configuration of a grouping acquisition unit in the sixth embodiment
  • FIG. 72 is a diagram showing an example of grouping performed by the two grouping unit in the sixth embodiment
  • FIG. 73 is a diagram showing a result of grouping performed by the two grouping unit in the sixth embodiment
  • FIG. 74 is a flowchart of the grouping unit in the sixth embodiment.
  • FIG. 75 is a diagram showing an example of the result of grouping performed by the grouping unit in the sixth embodiment
  • FIG. 76 is a diagram showing a configuration of a grouping evaluation unit in the sixth embodiment
  • FIG. 77 is a flowchart of processing performed by the luminance sequence acquisition unit in the sixth embodiment;
  • FIG. 78 is a diagram showing an example of correspondence information added to the correspondence information holding unit in the sixth embodiment;
  • FIG. 79 is a diagram showing an example of correspondence information added to the correspondence information holding unit in the sixth embodiment;
  • FIG. 80 is a diagram showing the configuration of the luminance string evaluation unit of the shape restoration apparatus in the fourth embodiment of FIG.
  • FIG. 1 is an explanatory diagram for generating a three-dimensional model of a blood vessel.
  • a first X-ray image 1101 and a second X-ray image 1102 are obtained by irradiating the blood vessel 1201 with X-rays from two different directions from the X-ray generator 202A and the X-ray generator 202B.
  • the point Jk on the blood vessel 1201 corresponds to the point Pk on the first X-ray image 1101.
  • the three-dimensional position of the point Jk can be specified using the principle of triangulation.
  • a three-dimensional model of the blood vessel 1201 can be generated by specifying a three-dimensional position for each of a plurality of points on the blood vessel 1201.
  • an epipolar line L2 in the second X-ray image 1102 is obtained for the point Pk of the first X-ray image 1101.
  • the epipolar line L2 is a linear range in which the corresponding point of the point Pk can appear on the second X-ray image 1102.
  • the epipolar line L2 is determined from the geometrical positional relationship between the point Pk and the first X-ray image 1101 and the second X-ray image 1102. In FIG. 1, since the candidate point corresponding to the point Pk is only the point Qk, the corresponding point of the point Pk is the point Qk.
  • Fig. 2 shows a diagram when there is one candidate point for the corresponding point.
  • the point Qk is determined as the corresponding point of the point Pk.
  • an image region association device that associates a plurality of image regions of a blood vessel having a branch, A first projection image obtained from the first imaging angle by continuously imaging the blood vessel when the contrast agent passes from a first imaging angle and a second imaging angle different from each other; A projection image acquisition unit that acquires a plurality of image sets composed of a second projection image obtained from the second imaging angle; The information on the luminance change of the contrast agent for a predetermined time is acquired for the first image region of the predetermined portion of the branch destination in the first projection image of each image set acquired by the projection image acquisition unit.
  • a second luminance change acquisition unit for acquiring information on luminance changes of the contrast agent for the predetermined time for a plurality of second image regions;
  • a similarity calculation unit that calculates a similarity between each of the luminance change information acquired from the first luminance change acquisition unit and each of the plurality of luminance change information acquired from the second luminance change acquisition unit;
  • a corresponding region determining unit that determines a second image region corresponding to the first image region based on the similarity calculated by the similarity calculating unit;
  • An image region associating device is provided.
  • the first aspect it is possible to appropriately associate a plurality of image regions of a blood vessel X-ray image taken from two directions.
  • the first luminance change acquisition unit calculates the luminance of the contrast agent at the time at each of a plurality of times for the first image region.
  • the second luminance change acquisition unit acquires the luminance of the contrast agent at each of the plurality of times as information on the luminance change of the contrast agent for the predetermined time for the plurality of second image regions.
  • a luminance normalization unit that performs luminance normalization is further provided,
  • the brightness normalization unit includes: Normalization is performed by calculating a difference value between the reference luminance when the blood vessel is not imaged and each of the luminances acquired from the first luminance change acquisition unit, and the normalized luminance change information is obtained.
  • the similarity calculation unit includes: Information of the luminance change acquired from the first luminance change acquisition unit and the normalized luminance change from the luminance normalization unit; Calculating the degree of similarity with each of the plurality of luminance change information acquired from the second luminance change acquisition unit and normalized from the luminance normalization unit; An image region association apparatus according to a first aspect is provided.
  • the plurality of corresponding point candidates are appropriately selected. A corresponding point can be determined.
  • the first luminance change acquisition unit calculates the luminance of the contrast agent at a plurality of times for the first image region by the predetermined time.
  • the second luminance change acquisition unit acquires, for the plurality of second image areas, the luminances of the plurality of contrast agents at the respective times as information on luminance changes of the contrast agent for the predetermined time.
  • the luminance normalization unit normalizes the luminance change information at each time acquired from the first luminance change acquisition unit and the second luminance change acquisition unit, and acquires normalized luminance change information, respectively.
  • the similarity calculation unit is acquired from the first luminance change acquisition unit and is acquired from the second luminance change acquisition unit for the luminance at each time normalized by the luminance normalization unit, and the By calculating the difference with each of the information on the luminance change at each of the plurality of times normalized by the luminance normalization unit, the total value of the absolute value of the difference for the predetermined time is calculated as the similarity,
  • the corresponding region determination unit is a region that corresponds to the first image region, the second image region having the smallest absolute value of the difference calculated by the similarity calculation unit as the similarity.
  • the luminance of the blood vessel imaged from the first imaging angle is different from the luminance of the blood vessel imaged from the second imaging angle, and noise is included in the luminance at each imaging time. Even in such a case, an appropriate corresponding point can be determined from a plurality of corresponding point candidates.
  • the first luminance change acquisition unit calculates the luminance of the contrast agent at the times of a plurality of times for the first image region for the predetermined time.
  • the second luminance change acquisition unit acquires, for the plurality of second image areas, the luminances of the plurality of contrast agents at the respective times as information on luminance changes of the contrast agent for the predetermined time.
  • the first luminance change acquisition unit acquires, as the information on the luminance change, a graph in which the luminance of the contrast agent is plotted in time series for the first image region
  • the second luminance change acquisition unit acquires, as the information on the luminance change, a graph in which the luminance of the contrast agent is plotted in time series for the plurality of second image regions
  • the luminance normalization unit normalizes each of the graphs acquired from the first luminance change acquisition unit and the second luminance change acquisition unit, and acquires a normalized graph
  • the similarity calculation unit is acquired from the first luminance change acquisition unit, is acquired from the normalized graph acquired from the luminance normalization unit, and the second luminance change acquisition unit, and Calculate the similarity of the shape with each of the normalized plurality of graphs from the luminance normalization unit,
  • the corresponding region determination unit determines that the second image region having the highest similarity of the shape calculated by the similarity calculation unit is a region corresponding to the first image region;
  • the plurality of corresponding point candidates are appropriately selected. A corresponding point can be determined.
  • the similarity calculation unit is obtained from the first luminance change acquisition unit, and is normalized by the luminance normalization unit, and the second luminance change.
  • the difference between the area of each of the plurality of graphs acquired from the acquisition unit and normalized by the luminance normalization unit is calculated as the similarity
  • the corresponding region determining unit determines that the second image region corresponding to the graph having the smallest difference calculated by the similarity calculating unit as the similarity is a region corresponding to the first image region.
  • the luminance of the blood vessel imaged from the first imaging angle is different from the luminance of the blood vessel imaged from the second imaging angle, and noise is included in the luminance at each imaging time. Even in such a case, an appropriate corresponding point can be determined from a plurality of corresponding point candidates.
  • the first luminance change acquisition unit sets the luminance of the contrast agent at each of a plurality of times for the first image region to the luminance of the contrast agent for the predetermined time.
  • the second luminance change acquisition unit acquires, for the plurality of second image areas, the luminances of the plurality of contrast agents at the respective times as information on luminance changes of the contrast agent for the predetermined time.
  • a predetermined ratio time for acquiring a predetermined ratio time, which is a time at which the luminance of a certain point in each of the first image region and the second image region reaches a predetermined ratio with respect to the maximum luminance of the point.
  • the similarity calculation unit determines the second image area having the predetermined ratio time having a high similarity to the predetermined ratio time of the first image area among the plurality of second image areas as the first image area.
  • the plurality of corresponding point candidates are appropriately selected. A corresponding point can be determined.
  • the first luminance change acquisition unit determines the luminance of the contrast agent at the time at each of a plurality of times for the first image region for the predetermined time.
  • the second luminance change acquisition unit acquires, for the plurality of second image areas, the luminances of the plurality of contrast agents at the respective times as information on luminance changes of the contrast agent for the predetermined time.
  • a differential luminance sequence obtained by differentiating the luminance column when the luminance change information normalized by the luminance normalization unit is used as a luminance column.
  • a peak time acquisition unit that acquires the peak time of The peak time acquisition unit acquires the peak time of the differential luminance sequence obtained by differentiating the luminance sequence in each of the first image region and the second image region
  • the similarity calculation unit corresponds the first image area to the second image area having the peak time having a high similarity to the peak time of the first image area among the plurality of second image areas. Decide on the area, An image region association apparatus according to a second aspect is provided.
  • the plurality of corresponding point candidates are appropriately selected. A corresponding point can be determined.
  • the position information of the first X-ray imaging apparatus that images the blood vessel from the first imaging angle and the position of the second X-ray imaging apparatus that images the blood vessel from the second imaging angle An imaging unit information acquisition unit for acquiring relative position information with the information; A blood vessel region acquisition unit for acquiring position information of the first image region on the first projection image; Epipolar that is a plane composed of the first X-ray imaging device, the second X-ray imaging device, and the first image region, based on the position information acquired from the imaging unit information acquisition unit and the position information acquisition unit, respectively.
  • a plane is calculated, an epipolar line that is an intersection line of the calculated epipolar plane and the second projection image is calculated on the second projection image, and the plurality of second image regions are A corresponding candidate area acquisition unit for acquiring position information respectively located on the calculated epipolar line; Further comprising The image region according to any one of claims 1 to 7, wherein the second luminance change acquisition unit acquires the luminance change of the position information of the plurality of second image regions acquired by the corresponding candidate region acquisition unit.
  • An association device is provided.
  • a plurality of second image areas corresponding to the first image area can be determined by calculating epipolar lines.
  • a three-dimensional model generation method for generating a three-dimensional model of a blood vessel having a branch, wherein the projection image acquisition unit performs first imaging of the blood vessel when the contrast agent passes.
  • the first projection image obtained from the first imaging angle and the second projection image obtained from the second imaging angle are configured.
  • a plurality of image sets to be acquired, and a first luminance change acquisition unit acquires a luminance change of the contrast agent for a predetermined time for a first image region of the predetermined portion of the branch destination in the first projection image.
  • the second luminance change acquisition unit is a plurality of second image regions that are image regions of the predetermined portion of the branch destination in the second projection image and that are candidate image regions corresponding to the first image region.
  • the structure for the predetermined time The brightness change of the agent is acquired, and the similarity calculation unit is similar to the brightness change acquired from the first brightness change acquisition unit and the plurality of brightness changes acquired from the second brightness change acquisition unit.
  • the corresponding region determination unit determines that the second image region having the highest similarity calculated by the similarity calculation unit is a region corresponding to the first image region.
  • a three-dimensional model generation method is provided in which a three-dimensional model generation unit generates a three-dimensional model of the blood vessel using information determined by the corresponding region determination unit.
  • an image region association method that associates a plurality of image regions of a blood vessel having a branch.
  • a plurality of image sets composed of the second projection image obtained from the second imaging angle are acquired by the projection image acquisition unit, For the first image area of the predetermined portion of the branch destination in the first projection image of each image set acquired by the projection image acquisition unit, information on the luminance change of the contrast agent for a predetermined time is set to the first luminance.
  • the change acquisition unit It is an image area of the predetermined part of the branch destination in the second projection image of each image set acquired by the projection image acquisition unit, and is a candidate image area corresponding to the first image area.
  • the information on the luminance change of the contrast agent for the predetermined time is respectively acquired by the second luminance change acquisition unit.
  • the similarity calculation unit calculates the similarity between the luminance change information acquired from the first luminance change acquisition unit and each of the plurality of luminance change information acquired from the second luminance change acquisition unit.
  • the corresponding region determination unit determines a second image region corresponding to the first image region. An image region matching method is provided.
  • an image region association program that associates a plurality of image regions of a blood vessel having a branch.
  • a projection image acquisition unit that acquires a plurality of image sets composed of a second projection image obtained from the second imaging angle;
  • the information on the luminance change of the contrast agent for a predetermined time is acquired for the first image region of the predetermined portion of the branch destination in the first projection image of each image set acquired by the projection image acquisition unit.
  • 1 luminance change acquisition unit It is an image area of the predetermined part of the branch destination in the second projection image of each image set acquired by the projection image acquisition unit, and is a candidate image area corresponding to the first image area.
  • a second luminance change acquisition unit for acquiring information on luminance changes of the contrast agent for the predetermined time for a plurality of second image regions;
  • a similarity calculation unit that calculates a similarity between each of the luminance change information acquired from the first luminance change acquisition unit and each of the plurality of luminance change information acquired from the second luminance change acquisition unit;
  • a corresponding region determining unit that determines a second image region corresponding to the first image region based on the similarity calculated by the similarity calculating unit;
  • a program for associating an image area is provided. According to the aspect, it is possible to appropriately associate a plurality of image regions of an X-ray image of a blood vessel imaged from two directions.
  • FIG. 4 shows a functional block diagram of the three-dimensional model generation device 10 having the image region association device 9 in the first embodiment of the present invention.
  • the three-dimensional model generation device 10 includes an image region association device 9 and a three-dimensional model generation unit 16.
  • the image area association device 9 includes a projection image acquisition unit 11, a first luminance change acquisition unit 12, a second luminance change acquisition unit 13, a similarity calculation unit 14, and a corresponding region determination unit 15.
  • the projection image acquisition unit 11 sequentially captures the blood vessel 1201 when the contrast medium passes from the first imaging angle and the second imaging angle, thereby obtaining the first X obtained from the first imaging angle.
  • First luminance change acquisition unit 12 The first luminance change acquisition unit 12 for a predetermined time with respect to the first image region (point or contrast point) Pk of the predetermined part of the branch destination of the blood vessel 1201 in the first X-ray image 1101 acquired by the projection image acquisition unit 11. The information on the brightness change of the contrast medium is acquired.
  • FIG. 5 shows an example of information acquired by the first luminance change acquisition unit 12.
  • the first luminance change acquisition unit 12 acquires from the projection image acquisition unit 11 a first X-ray image sequence that is a sequence of first X-ray images 1101 arranged in time series.
  • the first image region Pk is a fixed region on the first X-ray image 1101, and the position does not change in the first X-ray image sequence.
  • the luminance in the first image region Pk is increased, and when the contrast agent has reached the first image region Pk, the first The luminance in the image area Pk is low.
  • the first luminance change acquisition unit 12 acquires information related to the luminance of the first image region Pk from the first X-ray image sequence. As an example, the first luminance change acquisition unit 12 acquires the luminance of the first image region Pk in chronological order.
  • the first image region Pk is a partial region at the branch destination of the blood vessel 1201 and is not a region including a plurality of other blood vessels 1201.
  • the first image region Pk may be a region including the branch destination blood vessel 1201 (for example, a region where the width of the first image region Pk is larger than the width of the blood vessel 1201), but preferably the branch destination blood vessel.
  • a region included in the region 1201 for example, a region in which the width of the first image region Pk is narrower than the width of the blood vessel 1201).
  • the first image region Pk may be an arbitrary point in a region where blood vessels on the first X-ray image 1101 may exist.
  • FIG. 6 shows how the luminance of the first image area Pk changes.
  • the vertical axis is the difference value from the reference luminance and the horizontal axis is time
  • an example of information on the luminance change of the first image region Pk is a graph as shown in FIG.
  • the vertical axis is the difference value from the reference luminance, but the vertical axis may be the difference between the maximum luminance and the luminance.
  • a method of acquiring and calculating a plurality of second image regions Qk_n, which are candidate image regions corresponding to the first image region Pk, by the second luminance change acquisition unit 13 will be described.
  • FIG. 7 shows an explanatory diagram of a method for calculating the second image region Qk_n.
  • the point Jk on the blood vessel 1201 exists on a straight line K connecting the X-ray generation unit 202A and the point Pk on the first X-ray image 1101. Further, the straight line K becomes an epipolar line L2 on the second X-ray image 1102. That is, the straight line K, that is, the epipolar line L2, is obtained from the position information of the X-ray generation units 202A and 202B and the imaging information of the imaging device that captures the first X-ray image 1101 and the second X-ray image 1102 13 can be calculated. Specifically, the parameter l2 of the epipolar line L2 can be calculated by the second luminance change acquisition unit 13 from Equation 1 and Equation 2. Note that the position information of the X-ray generators 202A and 202B is a translation vector T and a rotation vector R, and the imaging information of the imaging apparatus is an internal parameter A1 and A2.
  • Equation 1 F is a fundamental matrix
  • A1 -T is a transposed matrix of the inverse matrix of the internal parameter A1
  • [T] X is a distortion symmetric matrix of the translation vector T.
  • the second luminance change acquisition unit 13 calculates the intersection of the epipolar line L2 calculated by the second luminance change acquisition unit 13 and the end point of the contrast agent on the second X image 1102. That is, in FIG. 7, the second luminance change acquisition unit 13 calculates Qk_1 and Qk_2 as the second image region.
  • FIG. 8 shows an example of information acquired by the second luminance change acquisition unit 13.
  • the second luminance change acquisition unit 13 acquires from the projection image acquisition unit 11 a second X-ray image sequence that is a sequence of second X-ray images 1102 arranged in time series.
  • the second image region Qk_1 and the second image region Qk_2 are fixed regions on the second X-ray image 1102, and their positions do not change in the second X-ray image sequence.
  • the contrast agent has not yet reached the second image region Qk_1 and the second image region Qk_2, the luminance in the second image region Qk_1 and the second image region Qk_2 is high.
  • the contrast agent reaches the second image region Qk_1 and the second image region Qk_2, the luminance in the second image region Qk_1 and the second image region Qk_2 is low.
  • the second luminance change acquisition unit 13 acquires information on the luminance of each of the second image region Qk_1 and the second image region Qk_2 from the second X-ray image sequence. For example, the second luminance change acquisition unit 13 acquires the luminances of the second image region Qk_1 and the second image region Qk_2 in chronological order.
  • the second image region Qk_1 and the second image region Qk_2 are partial regions different from each other at the branch destination of the blood vessel 1201, and are not regions including a plurality of other blood vessels 1201.
  • the second image region Qk_1 and the second image region Qk_2 may be regions including the branch destination blood vessel 1201, but are preferably regions included in the branch destination blood vessel 1201. Thereby, only the brightness
  • each of the second image region Qk_1 and the second image region Qk_2 may be an arbitrary point on the second X-ray image 1102.
  • FIG. 9 shows information on luminance change information of the second image region Qk_1 and the second image region Qk_2.
  • the information on the luminance change of the second image region Qk_1 and the second image region Qk_2 becomes a graph as shown in FIG. That is, the first luminance change acquisition unit 12 can acquire a graph in which the luminance of the contrast agent is plotted in time series for the first image region as information on the luminance change.
  • the second luminance change acquisition unit can acquire, as the information on the luminance change, a graph in which the luminance of the contrast agent is plotted in time series for a plurality of second image regions. In the graph of FIG. 9, since the contrast agent does not reach the second image region Qk_2 in the section at time t4, the luminance difference value is low.
  • the contrast agent In the section of time t5, the contrast agent reaches the second image region Qk_2, and the contrast agent gradually spreads in the second image region Qk_2. Therefore, the luminance difference value gradually increases. In the interval of time t6, since the contrast agent has reached the second image region Qk_2, the luminance difference value is constant. In the interval of time t7, since the contrast agent has not reached the second image region Qk_1, the luminance difference value is low. In the section of time t8, the contrast agent reaches the second image region Qk_1 and gradually spreads in the second image region Qk_1. Therefore, the luminance difference value gradually increases. In the interval of time t9, the contrast agent has completely reached the second image region Qk_1, and thus the luminance difference value is constant.
  • the branch destination of the blood vessel 1201 When the branch destination of the blood vessel 1201 extends vertically upward, it flows against gravity, so the flow rate of the contrast agent becomes slow. On the other hand, when the branch destination of the blood vessel 1201 extends vertically downward, the flow rate of the contrast agent is increased. That is, the flow rate of the contrast agent differs depending on whether the branch destination of the blood vessel 1201 extends vertically upward or downward. Therefore, since the flow rate of the contrast medium at each time is different for each of the second image region Qk_1 and the second image region Qk_2, the shape of the graph is different.
  • the similarity calculation unit 14 calculates the similarity between the luminance change information acquired from the first luminance change acquisition unit 12 and each of the plurality of luminance change information acquired from the second luminance change acquisition unit 13. To do.
  • FIG. 10 shows an example of an explanatory diagram of the similarity calculated by the similarity calculation unit 14.
  • FIG. 10 is a graph showing information on the luminance change of each of the first image region Pk, the second image region Qk_1, and the second image region Qk_2.
  • a graph indicating information on the luminance change of the first image region Pk is represented by a dotted line.
  • a graph indicating information on the luminance change of each of the second image region Qk_1 and the second image region Qk_2 is represented by a solid line.
  • the similarity calculation unit 14 calculates the similarity between the graph of the second image region Qk_1 and the graph of the second image region Qk_2 with the graph of the first image region Pk. As an example, the similarity calculation unit 14 calculates the absolute value of the difference between each of the second image region Qk_1 and the second image region Qk_2 at each time with the luminance of the first image region Pk, The sum of absolute values of differences for a predetermined time is calculated. The smaller the sum of the absolute values of the differences calculated by the similarity calculation unit 14, the higher the similarity. For example, the luminance at each time is taken at a time interval of once every 1/30 second.
  • the similarity calculation unit 14 calculates, for each of the graph of the second image region Qk_1 and the graph of the second image region Qk_2, the similarity of the shape with the graph of the first image region Pk by a method such as pattern matching.
  • the shape similarity calculating unit 14H (see FIG. 4) may be used.
  • the shape similarity calculation unit 14H may calculate the shape similarity between graphs of normalized luminance change information, which will be described later. Also at this time, when the shapes of the second image region Qk_1 and the first image region Pk are similar, the similarity is a high value.
  • the similarity calculation unit 14 performs a predetermined time for each of the graph of the second image region Qk_1 and the graph of the second image region Qk_2 with respect to the graph of the first image region Pk. The area value of is calculated. Then, the similarity calculation unit 14 calculates the difference between the area values of the second image area Qk_1 and the second image area Qk_2 and the area value of the first image area Pk. The smaller the difference between the area values calculated by the similarity calculation unit 14, the higher the similarity.
  • the similarity calculation unit 14 may calculate the similarity for each graph from the increase / decrease tendency of the difference value between the luminance at each time of each image region and the reference luminance.
  • the corresponding area determining unit 15 determines that the second image area having the highest similarity among the plurality of similarities calculated by the similarity calculating unit 14 is an area corresponding to the first image area Pk. .
  • the corresponding region determination unit 15 determines the luminance change of the first image region Pk with respect to the luminance change information of the second image region Qk_1 and the second image region Qk_2 by the similarity calculation unit 14. Based on the result of calculating the similarity to the information, it is determined whether one of the second image region Qk_1 or the second image region Qk_2 is a region corresponding to the first image region Pk. At this time, the corresponding area determination unit 15 determines that the higher similarity is an area corresponding to the first image area Pk. That is, in FIG. 10, the area corresponding to the first image area Pk is the second image area Qk_1.
  • the corresponding region determination unit 15 first determines that the similarity is higher than the predetermined threshold as an example.
  • the image area Qk_n is determined to be an area corresponding to the first image area Pk. By this determination, it is possible to determine the association between the second image region Qk_n and the first image region Pk.
  • the three-dimensional model generation unit 16 uses the information determined by the corresponding region determination unit 15 to generate a three-dimensional model of blood vessels.
  • the three-dimensional model generation unit 16 uses the triangulation principle to determine the three-dimensional position of the point Jk on the blood vessel 1201. Can be specified. Similarly, the three-dimensional model generation unit 16 can generate a three-dimensional model of the blood vessel 1201 by specifying a three-dimensional position for each of a plurality of points on the blood vessel 1201. Specifically, the three-dimensional model generation unit 16 determines the second image region Qk_2 corresponding to the first image region Pk from the corresponding region determination unit 15, so that the point Jk on the blood vessel 1201 in FIG. The three-dimensional position can be specified.
  • FIG. 11 shows a processing operation flow of the image region association device 9 and the three-dimensional model generation device 10 in the first embodiment.
  • the projection image acquisition unit 11 obtains from the first imaging angle by continuously imaging the blood vessel 1201 when the contrast agent passes from the first imaging angle and the second imaging angle.
  • a plurality of image sets including the first X-ray image 1101 and the second X-ray image 1102 obtained from the second imaging angle are acquired (step S10).
  • the first luminance change acquisition unit 12 has the luminance of the contrast agent for a predetermined time. Change information is acquired (step S11).
  • the second luminance change acquisition unit 13 is an image region of a predetermined portion of the branch destination of the blood vessel 1201 in the second X-ray image 1102 acquired by the projection image acquisition unit 11, and corresponds to the first image region Pk.
  • information on luminance change of the contrast agent for a predetermined time is acquired (step S12). Note that step S11 and step S12 may be performed simultaneously.
  • the similarity calculation unit 14 calculates the similarity between the brightness change information acquired from the first brightness change acquisition unit 12 and each of the plurality of brightness change information acquired from the second brightness change acquisition unit 13. Is calculated (step S13).
  • the corresponding region determination unit 15 selects the second image region Qk_n having the highest similarity among the plurality of similarities calculated by the similarity calculation unit 14 as a region corresponding to the first image region Pk. It is determined that there is (step S14). Up to this point, the processing operation of the image region association device 9 has been described.
  • the three-dimensional model generation unit 16 generates a three-dimensional model of the blood vessel 1201 using the information determined by the corresponding region determination unit 15 (step S15).
  • the corresponding region determining unit 15 can determine the correspondence between the first region on the first X-ray image 1101 and the optimal second region on the second X-ray image 1102.
  • a three-dimensional model of the blood vessel 1201 can be generated based on the image region association result in the image region association device 9.
  • the maximum luminance value acquired from the first luminance change acquisition unit 12 and the second luminance change acquisition unit 13 is the same. Even if they do not match each other, the similarity calculation unit 14 can calculate the similarity.
  • symbol is attached
  • FIG. 12 is a graph showing information on luminance changes acquired by the first luminance change acquisition unit 12 and the second luminance change acquisition unit 13 respectively.
  • the luminance of the first image region Pk acquired by the first luminance change acquisition unit 12 is indicated by a bold line.
  • the brightness of the second image region Qk_1 acquired by the second brightness change acquisition unit 13 is indicated by a thin line.
  • the luminance of the second image region Qk_2 acquired by the second luminance change acquisition unit 13 is indicated by a dotted line.
  • the maximum value of the luminance difference values does not match each of the three graphs. This is because the maximum brightness value of the second image area Qk_1 or the second image area Qk_2, which is the area corresponding to the first image area Pk, is different from the maximum brightness value of the first image area Pk. Means that. The reason for the difference will be described with reference to FIG.
  • FIG. 13 is an explanatory diagram showing the reason why the maximum luminance value differs between corresponding areas.
  • FIG. 13 is a view of FIG. 1 viewed from the Z-axis direction when the cross section of the blood vessel 1201 is elliptical.
  • the thickness d1 of the blood vessel 1201 seen from the first X-ray image 1101 direction is different from the thickness d2 of the blood vessel 1201 seen from the second X-ray image 1102 direction.
  • the amount of X-rays irradiated from the X-ray generators 202A and 202B decreases as the thickness of the blood vessel 1201 increases. That is, in FIG. 13, when the X-ray intensity irradiated by the X-ray generation unit 202A and the X-ray generation unit 202B is the same, the luminance of the first X-ray image 1101 is lower than the luminance of the second X-ray image 1102. Become.
  • the maximum brightness value of the first image area Pk and the maximum brightness value of the second image area Qk corresponding to the first image area Pk do not match.
  • the second embodiment is intended to enable the similarity calculation unit 22 to accurately calculate the similarity even when the cross section of the blood vessel 1201 is elliptical in view of the above circumstances.
  • FIG. 14 shows a functional block diagram of the three-dimensional model generation device 20 having the image region association device 92 in the second embodiment of the present invention.
  • the three-dimensional model generation device 20 includes an image region association device 92 and a three-dimensional model generation unit 16.
  • the image region association device 92 includes a projection image acquisition unit 11, a first luminance change acquisition unit 12, a second luminance change acquisition unit 13, a luminance normalization unit 21, a similarity calculation unit 22, and a corresponding region determination. Part 15.
  • symbol is attached
  • the luminance normalization unit 21 normalizes by obtaining a difference value obtained by dividing the luminance acquired by the first luminance change acquisition unit 12 from the reference luminance (for example, 255) when the blood vessel is not imaged. . Similarly, the luminance normalization unit 21 obtains, by calculation, a difference value obtained by dividing each luminance acquired from the second luminance change acquisition unit 13 from the reference luminance (for example, 255) when the blood vessel is not imaged. To normalize.
  • the luminance normalization unit 21 captures the maximum luminance, for example, the blood vessel 1201, from the luminance of the first image area Pk acquired by the first luminance change acquisition unit 12 for a predetermined time. Determine the reference brightness when not. Thereafter, the luminance normalization unit 21 performs normalization by dividing the luminance at each time of the first image region Pk from the reference luminance to obtain a difference value. Similarly, for the second image region Qk_1 and the second image region Qk_2 acquired by the second luminance change acquisition unit 13, the luminance normalization unit 21 also firstly maximizes the luminance, for example, the blood vessel. After determining the reference brightness when 1201 is not photographed, normalization is performed using the determined reference brightness.
  • FIG. 15 shows an example of a graph of normalized luminance change information.
  • the luminance normalization unit 21 compares the information on the luminance change in the second image region Qk_1 or the second image region Qk_2 with the information on the luminance change in the first image region Pk. Can do.
  • the similarity calculation unit 22 is acquired from the first luminance change acquisition unit 12, and is acquired from the luminance change information normalized by the luminance normalization unit 21, the second luminance change acquisition unit 13, and the luminance. The similarity with each of the information of the plurality of luminance changes normalized by the normalization unit 21 is calculated.
  • FIG. 16 shows a graph of luminance change for a predetermined time normalized for the first image region Pk and the second image region Qk_1.
  • the graph of the luminance change in the first image region Pk is represented by a thick line
  • the graph of the luminance change in the second image region Qk_1 is represented by a thin line.
  • the similarity calculation unit 22 calculates a difference in luminance at each time in the first image region Pk and the second image region Qk_1 as shown in FIG. 16, and calculates a total value of differences for a predetermined time. Specifically, the similarity calculation unit 22 calculates the sum of absolute values of differences as the similarity using Equation 4.
  • H_n is a total value of absolute values of differences for a predetermined time
  • L_Pk_t is a luminance difference value after normalization of the first image region Pk at each time
  • L_Qk_1_t is a second value at each time. This is a luminance difference value after normalization of the image region Qk_1.
  • FIG. 17 shows a graph of luminance change information for a predetermined time normalized for the first image region Pk and the second image region Qk_2.
  • the graph of the luminance change information of the first image region Pk is represented by a thick line
  • the graph of the luminance change information of the second image region Qk_2 is represented by a dotted line.
  • the similarity calculation unit 22 calculates a difference in luminance at each time of the first image region Pk and the second image region Qk_2 as shown in FIG. 17, and calculates a total value of differences for a predetermined time. Specifically, the similarity calculation unit 22 calculates the total difference value using Equation 5.
  • H_n is a total value of absolute values of differences for a predetermined time
  • L_Pk_t is a luminance difference value after normalization of the first image region Pk at each time
  • L_Qk_2_t is a second value at each time. This is a luminance difference value after normalization of the image region Qk_2.
  • the similarity calculation unit 22 calculates the similarity from the difference in luminance at each time using Expression 4 and Expression 5.
  • FIG. 18 shows a graph of luminance change information for a predetermined time normalized with respect to the first image region Pk and the second image region Qk_1.
  • the graph of the luminance change information of the first image region Pk is represented by a bold line
  • the graph of the luminance change information of the second image region Qk_1 is represented by a thin line.
  • the similarity calculation unit 22 calculates the difference in area value between the graph of the first image region Pk and the graph of the second image region Qk_1, as shown in FIG. Specifically, the similarity calculation unit 22 calculates the area value difference using Equation 6.
  • H_n is the absolute value of the difference between the area values for a predetermined time
  • S (Pk) is the area value for the predetermined time of the first image region Pk
  • S (Qk_1) is the second image region. It is an area value for a predetermined time of Qk_1.
  • FIG. 19 shows a graph of luminance change information for a predetermined time normalized for the first image region Pk and the second image region Qk_2.
  • the graph of the luminance change information of the first image region Pk is represented by a thick line
  • the graph of the luminance change information of the second image region Qk_2 is represented by a dotted line.
  • the similarity calculation unit 22 calculates a difference in area value between the area of the normalized graph of the first image region Pk and the area of the normalized graph of the second image region Qk_1. To do. Specifically, the similarity calculation unit 22 calculates an area value difference as the similarity using Expression 7.
  • H_n is the absolute value of the difference between the area values for a predetermined time
  • S (Pk) is the area value for the predetermined time of the first image region Pk
  • S (Qk_2) is the second image region. It is an area value for a predetermined time of Qk_2.
  • the similarity calculation unit 22 calculates the similarity based on the difference of the area values using Expression 6 and Expression 7.
  • FIG. 20 shows a processing operation flow of the image region association device 92 and the three-dimensional model generation device 20 in the second embodiment.
  • the same steps as those in FIG. 11 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • steps S10 to S12 are the same as those in FIG.
  • the luminance normalization unit 21 uses the luminance acquired from the first luminance change acquisition unit 12 as the maximum luminance acquired from the first luminance change acquisition unit 12 (for example, when the blood vessel 1201 is not captured). Normalize by dividing by (reference luminance).
  • each luminance acquired from the second luminance change acquisition unit 13 (for example, a reference luminance when the blood vessel 1201 is not photographed) is set to each maximum luminance (obtained from the second luminance change acquisition unit 13). For example, normalization is performed by dividing by the reference luminance when the blood vessel 1201 is not photographed (step S20).
  • step S21 the similarity calculation unit 22 is acquired from the first luminance change acquisition unit 12 and is acquired from the luminance change information normalized by the luminance normalization unit 21 and the second luminance change acquisition unit 13, And the similarity with each of the some information of the several luminance change normalized by the brightness
  • steps S14 to S15 are the same as those in FIG. Note that up to step S14 is the processing operation of the image region association device 92.
  • the similarity calculation unit 22 can accurately calculate the similarity even when the cross section of the blood vessel 1201 is elliptical.
  • hird embodiment In the third embodiment of the present invention, another aspect of the three-dimensional model generation apparatuses 10 and 20 described in the first embodiment and the second embodiment will be described.
  • symbol is attached
  • FIG. 21 is a diagram illustrating a configuration of a three-dimensional model generation device 1 (hereinafter, also referred to as a shape restoration device 1) having an image region association device 93 according to the third embodiment of the present invention.
  • the shape restoration device 1 includes an image region association device 93, a three-dimensional model generation unit 163, and a display unit 112.
  • the image area associating device 93 for example, the X-ray imaging units 101 to 102, the imaging unit information holding unit 104, the X-ray image acquisition unit 113, the input IF (interface) 114, and the X-ray image holding unit.
  • the X-ray image acquisition unit 113 corresponds to the projection image acquisition unit 11 of the first embodiment.
  • the association unit 107 corresponds as an example of the first luminance change acquisition unit 12, the second luminance change acquisition unit 13 of the first embodiment, the similarity calculation unit 14 of the first embodiment, and the corresponding region determination unit 15.
  • the three-dimensional model generation unit 163 includes a correspondence information holding unit 108, a three-dimensional position acquisition unit 109, a three-dimensional position holding unit 110, and a display screen generation unit 111.
  • the X-ray imaging units 101 to 102 each irradiate a subject's imaging target region with radiation from different angles, and take an X-ray fluoroscopic image or a blood vessel imaged when a contrast agent is injected.
  • a means for acquiring an image for example, called an X-ray angiography apparatus or angiography.
  • the X-ray imaging units 101 to 102 in the third embodiment image a blood vessel that is an object to be imaged.
  • the X-ray imaging units 101 to 102 have the same configuration, and the configuration of the X-ray imaging unit 101 will be described as a representative example.
  • FIG. 22 shows the configuration of the X-ray imaging unit 101.
  • the X-ray imaging unit 101 includes an X-ray generation unit 202, an X-ray detection unit 203, a mechanism unit 206, and a mechanism control unit 205.
  • the X-ray generation unit 202 includes an X-ray tube that generates X-rays using a high voltage, and an X-ray diaphragm that controls an irradiation field by shielding a part of the X-rays.
  • the upper patient 200 is irradiated with X-rays.
  • the X-ray detection unit 203 is a camera that receives X-rays transmitted through the patient 200, records image information, and outputs the recorded image information.
  • the X-ray detection unit 203 is configured as, for example, an FPD (Flat Panel Detector) that arranges an X-ray sensing layer, converts X-rays into digital data, and outputs the digital data.
  • FPD Full Panel Detector
  • the X-ray detection unit 203 outputs image information indicating the irradiated X-ray image to the image acquisition unit 113.
  • the mechanism unit 206 moves the arm 204 and the bed 201 based on the instruction of the mechanism control unit 205 that has received the operator's operation instruction.
  • the mechanism control unit 205 outputs the position of the X-ray generation unit 202 or the X-ray detection unit 203 to the imaging unit information holding unit 104.
  • the X-ray imaging unit 102 also includes the same units as the X-ray imaging unit 101.
  • the former is the X-ray generation unit 202A and the latter is the X-ray generation unit 202B.
  • the X-ray image acquisition unit 113 is a unit that acquires X-ray images (radiation images) from the X-ray imaging units 101 to 102 and stores the acquired images in the X-ray image holding unit 103, respectively. Image acquisition is started and ended at a timing instructed by an input IF 114 described later.
  • the X-ray image acquisition unit 113 starts acquiring an image in response to an instruction from the input IF 114 and stores, for example, the image acquired from the X-ray imaging unit 101 in the X-ray image holding unit 115. Thereafter, the X-ray image acquisition unit 113 acquires an image from the X-ray imaging unit 101 at a timing instructed by the input IF 114 (for example, every predetermined time) until an instruction for termination is received from the input IF 114, and the acquired image is displayed. Stored in the X-ray image holding unit 115.
  • the X-ray image acquisition unit 113 acquires an image at the timing instructed by the input IF 114 (for example, every predetermined time) from the X-ray imaging unit 102, and the acquired image is stored in the X-ray image holding unit 103. Store.
  • the imaging unit information holding unit 104 is a unit that holds information regarding the X-ray imaging units 101 and 102.
  • the photographing unit information holding unit 104 is realized by a storage device such as a CPU register, cache, RAM, or ROM, for example.
  • a storage device such as a CPU register, cache, RAM, or ROM, for example.
  • the imaging unit information holding unit 104 holds the relative position information of the X-ray imaging units 101 and 102 and the internal parameter A of each camera of the X-ray imaging units 101 and 102.
  • FIG. 23 is a diagram illustrating an example of a data structure of the imaging unit information holding unit 104.
  • the imaging unit information holding unit 104 holds a translation vector T, a rotation vector R, and internal parameters A1 and A2.
  • the translation vector T is a vector indicating where the X-ray imaging unit 102 exists with reference to the position of the X-ray imaging unit 101, and position information (first X-ray imaging) of each of the X-ray imaging units 101 and 102. 2 is an example of relative position information of the position information of the apparatus and the position information of the second X-ray imaging apparatus.
  • the rotation vector R indicates the direction of the imaging direction of the X-ray imaging unit 102 with respect to the imaging direction of the X-ray imaging unit 101.
  • the internal parameter A1 is a parameter that represents the positional relationship between the imaging lens provided in the camera of the X-ray imaging unit 101 and the imaging surface of the imaging device.
  • the position of the X-ray detection unit 203 with respect to the X-ray generation unit 202 is fixed, and the values of the internal parameters A1 and A2 are prepared in advance and stored in the imaging unit information holding unit 104. Shall be kept.
  • the imaging unit information holding unit 104 may be configured to acquire the positions of the X-ray imaging apparatus 101 and the X-ray imaging apparatus 102 and calculate the translation vector T and the rotation vector R from the acquired positions. Absent.
  • the input IF 114 is a device for an operator (operator) to input an instruction to the shape restoration device 1.
  • the input IF 114 is realized by a button, a switch, a computer keyboard, a mouse, or the like.
  • the input IF 114 is used to give an instruction to start and end image acquisition to the X-ray image acquisition unit 113.
  • the X-ray image holding unit 103 is a unit that holds the image acquired by the X-ray image acquisition unit 113.
  • FIG. 24 is a diagram illustrating an example of the data structure of the X-ray image holding unit 103.
  • the time when the X-ray image acquisition unit starts image acquisition is set as time 0, the time when image acquisition is completed is set as time END, and images taken by the X-ray imaging units 101 to 102 at each time from image acquisition to start Hold each.
  • an image captured at time n by the X-ray imaging unit 101 is referred to as an image 1_n
  • an image captured at time n by the X-ray imaging unit 102 is referred to as an image 2_n.
  • the image 1_0 and the image 2_0 taken at time 0 are called background images.
  • the blood vessel region acquisition unit 105 is a unit that acquires the region of the blood vessel 1201 into which the contrast agent has been introduced from the image 1_END and the image 2_END. Since the position of the point of the region acquired by the blood vessel region acquisition unit 105 is the position of the region of the blood vessel 1201, the blood vessel region acquisition unit 105 acquires the position of the blood vessel region.
  • FIG. 25 is a diagram illustrating a configuration of the blood vessel region acquisition unit 105.
  • the blood vessel region acquisition unit 105 includes a difference image generation unit 1504, a difference image holding unit 1505, a binarization unit 1501, a binary image holding unit 1502, and a thinning unit 1503.
  • the difference image holding unit 1505 holds the difference image generated by the difference image generation unit.
  • the binarization unit 1501 acquires a difference image from the difference image holding unit 1505, binarizes the acquired difference image, and stores it in the binary image holding unit 1502.
  • the pixel value of the blood vessel region is “1”
  • the pixel value of the other region is “0”.
  • the binary image holding unit 1502 holds the binary image generated by the binarizing unit 1501.
  • FIG. 26 shows an example of a binary image.
  • the thinning unit 1503 thins the binary image held by the binary image holding unit 1502 and stores the thinned image in the blood vessel region holding unit 106.
  • FIG. 27 shows a fine line image obtained by thinning the binary image shown in FIG.
  • FIG. 28 is a diagram illustrating a flowchart of processing for acquiring the blood vessel region of the image 1_END by the blood vessel region acquiring unit 105.
  • the blood vessel region acquisition unit 105 starts processing in step S801.
  • the difference image generation unit 1504 performs the process of the difference image generation unit 1504 described above. That is, the difference image generation unit 1504 acquires the image 1_0 and the image 1_END from the X-ray image holding unit 103, calculates and generates a difference of each pixel of the acquired image, and generates the generated difference image as a difference. The image is stored in the image holding unit 1505. Since the position of the point of the difference image acquired by the difference image generation unit 1504 is the position of the region of the blood vessel 1201, the difference image generation unit 1504 and thus the blood vessel region acquisition unit 105 has acquired the position of the blood vessel region. .
  • step S803 the binarization unit 1501 performs the processing of the binarization unit 1501 described above. That is, the binarization unit 1501 acquires a difference image from the difference image holding unit 1505, binarizes the acquired difference image, and stores the binarized image in the binary image holding unit 1502.
  • the thinning unit 1503 performs the processing of the above-described thinning unit 1503 in step S804. That is, the thinning unit 1503 thins the binary image held by the binary image holding unit 1502 and stores it in the blood vessel region holding unit 106. Since the position of the point of the thinned image acquired by the thinning unit 1503 is the position of the region of the blood vessel 1201, the thinning unit 1503 has acquired the position of the blood vessel region.
  • the blood vessel region acquisition unit 105 ends the process in step S805.
  • the blood vessel region acquisition unit 105 performs the same processing on the image 2_END imaged by the X-ray imaging unit 102.
  • the blood vessel region holding unit 106 is a unit that holds the blood vessel region acquired by the blood vessel region acquiring unit 105.
  • FIG. 29 is a diagram illustrating an example of a data structure of the blood vessel region holding unit 106.
  • the blood vessel region holding unit 106 holds a first blood vessel region image 1101 generated from the image 1_END and a second blood vessel region image 1102 generated from the image 2_END.
  • FIG. 30 is a diagram illustrating a configuration of the association unit 107.
  • the association unit 107 includes a correspondence candidate region acquisition unit 1705, a correspondence candidate region storage unit 1706, a luminance column acquisition unit 1707 that functions as an example of a luminance change acquisition unit, a luminance column storage unit 1708, and a similarity calculation unit.
  • a luminance column evaluation unit 1709, a luminance column evaluation holding unit 1710, a corresponding region determination unit 1711, and an association control unit 1711 function as an example.
  • the corresponding candidate area acquisition unit 1705 and the position information of the contrast point Pk and the position information of the X-ray imaging unit 101 and the X-ray imaging unit 102 (each acquired from the imaging unit information acquisition unit and the position information acquisition unit, respectively) From the position information), an epipolar plane, which is a plane composed of the position of the contrast point Pk and the positions of the X-ray imaging unit 101 and the X-ray imaging unit 102, is calculated and calculated for the second projection image.
  • An epipolar line that is an intersection line between the epipolar plane and the second projection image is calculated, and position information each positioned on the calculated epipolar line is obtained for a plurality of second image regions.
  • a specific method will be described with reference to a flowchart of processing performed by the blood vessel region acquisition unit 105 in FIG.
  • step S1001 the corresponding candidate area acquisition unit 1705 starts processing.
  • step S1003 the correspondence candidate area acquisition unit 1705 acquires the translation vector T, the rotation vector R, and the internal parameters A1 and A2 from the imaging unit information holding unit 104.
  • the correspondence candidate area acquisition unit 1705 calculates an epipolar line L2 corresponding to the acquired contrast area.
  • the epipolar line L2 is a linear range where the corresponding point of the contrast point Pk can appear on the second screen, and the position of the contrast point Pk and the geometrical relationship between the X-ray imaging unit 101 and the X-ray imaging unit 102 are shown. It is determined on the basis of the positional relationship.
  • the position of the contrast point Pk is the point of the blood vessel region of the first blood vessel region image 1101.
  • the value indicating the blood vessel 1201 is held on the image held by the blood vessel region holding unit 106. Is the position.
  • the contrast point Pk in the thinned image 1_END is a projection point of a three-dimensional point Jk (hereinafter, three-dimensional point Jk).
  • 202A indicates the X-ray generation unit 202A of the X-ray imaging unit 101.
  • Reference numeral 1201 denotes a blood vessel.
  • the X-ray generated by the X-ray generator 202A passes through the three-dimensional point Jk on the blood vessel 1201, is projected onto one point on the X-ray detector 203A, and is projected onto the contrast point Pk on the first image.
  • the straight line in the second image epipolar line L2 is called an epipolar line.
  • the epipolar line is L2.
  • the epipolar line L2 includes a plane passing through the X-ray generation unit 202B of the X-ray imaging unit 102, the X-ray generator 202A, and the contrast point Pk, and an image plane of the second image 1102 (or X-ray detection unit 202B).
  • Relative position information (translation vector T, rotation vector R) between the position of the X-ray imaging unit 101 and the position of the X-ray imaging unit 102, information on what camera is used for imaging (internal parameters A1, A2), and If there is, it can be calculated.
  • the correspondence candidate area acquisition unit 1705 calculates the parameter l2 of the epipolar line L2 by performing the following expressions 8 and 9.
  • m indicates the coordinates of the contrast point Pk.
  • Equation 8 F is a matrix called a fundamental matrix, A1 ⁇ T represents a transposed matrix of an inverse matrix of the internal parameter A1, and [T] X represents a distortion symmetric matrix of the translation vector T.
  • a plane passing through the X-ray generator 202B, the X-ray generator 202A, and the contrast point Pk is called an epipolar plane passing through the contrast point Pk.
  • step S ⁇ b> 1005 the correspondence candidate area acquisition unit 1705 acquires the second blood vessel region image 1102 from the blood vessel region holding unit 106.
  • step S1006 the corresponding candidate region acquisition unit 1705 acquires the position of the point that intersects the epipolar line L2 in the second blood vessel region image 1102.
  • the coordinates of corresponding point candidates Qk_1 and Qk_2 are acquired.
  • step S1008 the correspondence candidate area acquisition unit 1705 ends the process.
  • the luminance sequence at the contrast point Pk is a numerical sequence indicating how the luminance at the same position as the contrast point Pk changes when a contrast agent is injected into the blood vessel 1201.
  • the brightness at the position such as the contrast point Pk and the background image at the position are displayed.
  • a case will be described in which a column of luminance differences from luminance is acquired as a luminance column.
  • the image taken at time 0 is used as the background image.
  • FIG. 33 is a graph illustrating an example acquired by the luminance string acquisition unit 1707.
  • a thick line 2301, a solid line 2302, and a dotted line 2303 are graphs showing the luminance sequence of the contrast point Pk, the luminance sequence of the corresponding candidate point Qk_1 of the contrast point Pk, and the luminance sequence of the corresponding candidate point Qk_2, respectively.
  • the horizontal axis of the graph is time, and one memory is 33 msec.
  • the vertical axis of the graph is the luminance difference. This graph shows the luminance difference at the stage where the contrast agent is injected into the blood vessel 1201 and the concentration of the contrast agent contained in the blood vessel 1201 increases.
  • FIG. 34 is a diagram showing an example of the data structure of the luminance column held by the luminance column holding unit 1708.
  • l_pk_t is the luminance of the coordinates (x, y) of the image 1_t.
  • the luminance column holding unit 1708 holds the luminance column acquired by the luminance column acquiring unit 1707.
  • FIG. 35 is a diagram illustrating a configuration of the luminance column evaluation unit 1709.
  • the luminance column evaluation unit 1709 includes a normalized luminance column acquisition unit 1721, a normalized luminance column holding unit 1722, and a difference sum acquisition unit 1720.
  • the normalized luminance column acquisition unit 1721 is a unit that normalizes the luminance column held by the luminance column holding unit 1708.
  • a maximum value of the luminance columns held by the luminance column holding unit 1708 is extracted, and a column obtained by dividing each value of the luminance column by the extracted maximum value is a normalized luminance column.
  • FIG. 36 shows a graph of a normalized luminance sequence obtained by normalizing the luminance sequence shown in FIG.
  • a thick line 2501, a solid line 2502, and a dotted line 2503 respectively indicate graphs of the normalized luminance sequence of the contrast point Pk, the normalized luminance sequence of the corresponding candidate point Qk_1, and the normalized luminance sequence of the corresponding candidate point Qk_2.
  • the normalized luminance sequence holding unit 1722 is a unit that stores the normalized luminance sequence generated by the normalized luminance sequence acquisition unit 1721.
  • the evaluation value H_n in the third embodiment is the sum of absolute values of differences between the normalized luminance of the contrast point Pk and the normalized luminance of the corresponding candidate point Qk_n at each time.
  • FIG. 37 is a graph showing the evaluation value H_n for the corresponding candidate point Qk_1.
  • a thick line 2501 and a solid line 2502 indicate graphs of the normalized luminance sequence of the contrast point Pk and the normalized luminance sequence of the corresponding candidate point Qk_1, respectively.
  • the evaluation value H_n for the corresponding candidate point Qk_1 is the area of the hatched area in FIG.
  • FIG. 38 is a graph showing the evaluation value H_n for the corresponding candidate point Qk_2.
  • a thick line 2501 and a dotted line 2503 indicate a graph of the normalized luminance sequence of the contrast point Pk and the normalized luminance sequence of the corresponding candidate point Qk_2, respectively.
  • the evaluation value H_n for the corresponding candidate point Qk_2 is the area of the shaded area in FIG.
  • the corresponding region determining unit 1711 determines the corresponding candidate point Qk_n as the corresponding point Qk of the contrast point Pk.
  • the corresponding region determination unit 1711 selects the corresponding candidate point Qk_1 having the smaller area as the corresponding point of the contrast point Pk. Qk is determined.
  • the association control unit 1701 is a unit that controls to perform association using each unit constituting the association unit 107.
  • FIG. 39 is a flowchart showing the flow of processing performed by the association control unit 1701.
  • step S1401 the association control unit 1701 starts processing.
  • step S1402 the association control unit 1701 acquires the first blood vessel region image 1101 from the blood vessel region holding unit 106.
  • step S1406 the association control unit 1701 instructs the correspondence candidate area acquisition unit 1705 to perform processing.
  • step S1407 the association control unit 1701 instructs the luminance column acquisition unit 1707 to perform processing.
  • step S1408 the association control unit 1701 instructs the normalized luminance sequence acquisition unit 1721 to perform processing.
  • the normalized luminance column acquisition unit 1721 extracts the maximum value from the luminance columns held by the luminance column holding unit 1708, and normalizes a column of values obtained by dividing each value of the luminance column by the extracted maximum value.
  • step S1409 the association control unit 1701 instructs the difference total acquisition unit 1720 to perform processing.
  • the association control unit 1701 instructs the corresponding region determination unit 1711 to perform processing.
  • the corresponding region determination unit 1711 determines the corresponding point Qk of the contrast point Pk. That is, the corresponding region determining unit 1711 has a corresponding candidate point Qk_x (x is a corresponding value whose evaluation value is Hk) that is the lowest evaluation value Hk among the evaluation values H_n held by the luminance column evaluation holding unit 1710. Indicates the candidate point identifier). In addition, the corresponding region determination unit 1711 sets the lowest evaluation value Hk as the evaluation value of the corresponding point Qk.
  • step S1411 under the control of the association control unit 1701, the corresponding region determination unit 1711 associates the coordinates of the contrast point Pk, the coordinates of the corresponding point Qk, and the evaluation value Hk of the corresponding point Qk.
  • the process stored in the holding unit 108 and starting from step S1404 is terminated.
  • step S1499 the association control unit 1701 ends the process.
  • FIG. 40 shows an exemplary data structure of the correspondence information holding unit 108. In the initial state, the number of combinations held by the correspondence information holding unit 108 is 0. However, each time the processing of step S1411 of the association control unit 1701 is performed, data is added to the correspondence information holding unit 108 line by line. The
  • the three-dimensional position acquisition unit 109 in FIG. 21 uses the principle of triangulation using the coordinates of the contrast point Pk of each row held by the correspondence information holding unit 108 and the coordinates of the corresponding point Qk of each row.
  • FIG. 41 is a diagram illustrating an example of a data structure of the three-dimensional position holding unit 110. In the Kth row, (JK_X, JK_Y, JK_Z) is held. JK_X, JK_Y, and JK_Z indicate the X coordinate, Y coordinate, and Z coordinate of the three-dimensional point JK, respectively.
  • FIG. 42 is a diagram illustrating an example of a display screen generated by the display screen generation unit 111.
  • the three-dimensional display here shows the case where each three o'clock origin is displayed as a sphere as an example of the display method, other display methods may be used.
  • the three-dimensional display may be a polygon display, for example.
  • the display unit 112 displays the screen generated by the display screen generation unit 111.
  • the display unit 112 is specifically a display device such as a display device or a projector projection device.
  • FIG. 43 shows a flowchart of processing performed by the shape restoration device 1.
  • step S1901 the shape restoration device 1 starts processing.
  • step S1902 the X-ray image acquisition unit 113 performs the process of the X-ray image acquisition unit 113 described above. That is, X-ray images are acquired from the X-ray imaging units 101 to 102 and stored in the X-ray image holding unit 103.
  • the blood vessel region acquisition unit 105 performs the processing of the blood vessel region acquisition unit 105 described above. That is, the blood vessel region acquisition unit 105 acquires the first blood vessel region image 1101 and the second blood vessel region image 1102 based on the images held by the X-ray image holding unit 103 and stores them in the blood vessel region holding unit 106. To do.
  • the correspondence information is stored in the unit 108.
  • step S1907 the display unit 112 displays the display screen generated by the display image generation unit 111. Thereafter, a series of processing ends in step S1908.
  • ⁇ Principle of processing performed by shape restoration device 1> When a contrast agent is introduced into the blood vessel 1201, the amount of contrast agent present at the three-dimensional point Jk on the blood vessel 1201 changes with time. At that time, the brightness of the contrast point Pk obtained by photographing the three-dimensional point Jk and the corresponding point Qk also change.
  • FIG. 44 shows changes in the amount of contrast medium at a certain three-dimensional point Jk.
  • the temporal change in the amount of contrast agent contained in the blood vessel 1201 differs depending on which part of the blood vessel. For example, at a position close to the point where the contrast agent is ejected, the time change of the amount of contrast agent at time T2 at which the contrast agent starts flowing is fast, but at a position far from the point where the contrast agent is ejected, the time when the contrast agent begins to flow The temporal change in the amount of contrast agent at T2 is slow. Similarly, the temporal change in the amount of contrast medium at time T4 when the contrast medium decreases varies depending on which part of the blood vessel.
  • the temporal change in the amount of contrast medium from time T2 at which the contrast medium starts flowing to time T3 until it becomes constant varies depending on which part of the blood vessel. For example, in a portion where blood flows upward, the contrast medium flows against gravity, so it takes time for the contrast medium to become dark. Therefore, it takes a long time (T3-T2) until the concentration of the contrast agent becomes constant. On the contrary, in the part where the contrast agent flows downward, the speed of the contrast agent is increased by gravity. Therefore, the time until the concentration of the contrast agent becomes constant (T3-T2) is short. In a narrow blood vessel, blood is fast and the time until it becomes constant (T3-T2) is short.
  • T3-T2 blood flows slowly in a wide blood vessel, so the time until it becomes constant (T3-T2) is long.
  • T3-T2 the time until it becomes constant
  • T5-T4 the time required from the time when the contrast agent starts to decrease until the decrease is completed also differs depending on which part of the blood vessel.
  • the luminance change of the contrast point Pk projected on the X-ray image of the three-dimensional point Jk changes with the same tendency as the change of the contrast agent concentration at the three-dimensional point Jk.
  • concentration of the contrast agent at the three-dimensional point Jk increases, the brightness of the contrast point Pk and the corresponding point Qk becomes darker.
  • concentration of the contrast agent at the three-dimensional point Jk decreases, the contrast point Pk and the corresponding point Qk Since the brightness of the image becomes brighter, it is a natural result to change in the same tendency as the change in the concentration of the contrast agent.
  • FIG. 33 is a luminance sequence when a certain three-dimensional point Jk is photographed from two different directions.
  • a thick line 2301 is a luminance sequence of the contrast point Pk of the three-dimensional point Jk
  • a solid line 2302 is a luminance sequence of the corresponding point Qk of the contrast point Pk.
  • a dotted line 2303 indicates the luminance of the corresponding point Qx obtained by photographing a three-dimensional point Jx (x ⁇ k) different from the three-dimensional point Jk from a direction different from the time when the image where the contrast point Pk is photographed. It is a change.
  • the horizontal axis of the graph is time, and one memory is 33 msec.
  • the vertical axis represents the luminance of the difference image.
  • the luminance of the contrast point Pk and the luminance of the corresponding point Qk do not coincide with each other.
  • the luminance of the contrast point Pk at time 13 is “56”
  • the luminance of the corresponding point Qk is “46”.
  • FIG. 45 is a view showing an example of a blood vessel 1201.
  • An X-ray image 1211 indicates an X-ray image captured by the X-ray imaging unit 101
  • a blood vessel image 1221 is an image of the blood vessel 1201 in the X-ray image 1211.
  • an X-ray image 1212 indicates an X-ray image captured by the X-ray imaging unit 102
  • a blood vessel image 1222 is an image of a blood vessel 1201 in the X-ray image 1212.
  • Jk, Pk, and Qk indicate a three-dimensional point Jk, a contrast point Pk of the three-dimensional point Jk, and a corresponding point Qk of the contrast point Pk, respectively.
  • 46 is a diagram of a plane (epipolar plane) passing through the three-dimensional point Jk, the contrast point Pk, and the corresponding point Qk as viewed from the + Y direction in FIG. 45 to the ⁇ Y direction.
  • the blood vessel cross section 361 is a cross sectional shape of the blood vessel 1201, and is elliptical as shown in FIG. (Except for special cases, the oval shape of the blood vessel 1201 is an ellipse).
  • the thickness 3621 is the thickness of the blood vessel 1201 through which the X-ray reaching the contrast point Pk passes
  • the thickness 3622 is the thickness of the blood vessel 1201 through which the X-ray reaching the contrast point Qk passes. Since the cross-sectional shape of the blood vessel 1201 is an ellipse (not a circle), the two thicknesses 3621 and 3622 are different from each other. Since the X-rays that reach the contrast point Pk pass through a thicker blood vessel cross-section, the X-rays are darker than the corresponding point Qk (the difference in brightness from the background is small).
  • the brightness of the contrast point Pk (or corresponding point Qk) obtained by imaging the three-dimensional point Jk on the blood vessel 1201 becomes darker as the thickness of the passing blood vessel 1201 is thicker.
  • the thickness of the passing blood vessel 1201 differs depending on the direction in which the blood vessel 1201 is imaged, even the point where the same three-dimensional point Jk is projected has different luminance depending on the imaging direction.
  • the luminance columns are normalized, and the corresponding luminance points are determined by comparing the normalized luminance columns.
  • the difference sum expression of Expression 10 is used for comparison between normalized luminance sequences.
  • the luminance string evaluation unit 1709 uses the value of Expression 10 as an evaluation value, and the corresponding candidate point Qk_n having the lowest evaluation value is determined by the corresponding point Qk of the contrast point P1 and the luminance column evaluation unit 1709. is doing.
  • a corresponding point can be determined for each of the contrast points Pk into which the contrast agent has been injected.
  • the method of Non-Patent Document 1 only the end points of the blood vessel region can be associated with blood vessels, whereas the image region association device and the three-dimensional model generation according to the present method according to the third embodiment In the apparatus, it is possible to associate with points other than the end points, and it is possible to restore a more detailed shape.
  • the sum of differences at each time between the normalized luminance of the contrast point Pk and the normalized luminance of the corresponding candidate point Qk_n of the contrast point Pk is used as the evaluation value. If such an evaluation value is used, the evaluation value of the corresponding point Qk with respect to the contrast point Pk becomes a smaller value (than the value of the evaluation value of the corresponding candidate point other than the corresponding point), so that the corresponding point is determined based on the evaluation value. Can be determined.
  • the contrast point Pk can be associated.
  • FIG. 47 shows two enlarged views of the X-ray images 1211 to 1212 shown in FIG.
  • the blood vessel image 1221 in the X-ray image 1211 includes a dark portion 3811 (a portion having a low luminance, that is, a portion having a high luminance difference from the background) and a bright portion 3821 (a portion having a high luminance, that is, a portion having a low luminance difference from the background).
  • the bright portion 3821 is actually a gradation and gradually becomes brighter upward. Since the contrast agent injected into the blood vessel 1201 is mixed with the surrounding blood, the concentration of the contrast agent gradually decreases in this way as it approaches the end. That is, the luminance is high (bright).
  • a blood vessel end point 3831 is an end point of the blood vessel image 1221.
  • a blood vessel portion photographed as a dark portion 3811 in the X-ray image 1211 becomes a bright portion 3812 in the X-ray image 1212. This is because, as described above, the luminance of the blood vessel image differs between the X-ray image 1211 and the X-ray image 1212. Further, the blood vessel portion photographed as the bright portion 3811 in the X-ray image 1211 becomes brighter in the X-ray image 1212 and cannot be extracted (the range surrounded by the dotted line in the right diagram of FIG. 47 cannot be extracted). Part.) Therefore, the end point of the blood vessel image 1222 is at position 3832.
  • the end point 3831 extracted from the X-ray image 1211 and the end point 3832 extracted from the X-ray image 1222 are projection points of different points in three dimensions.
  • the end points cannot be associated with each other.
  • the case where there is only one blood vessel 1201 is described, but if the end point of another blood vessel happens to be on the epipolar line 3841, that blood vessel is miscorresponding.
  • the brightness change of the contrast point Pk and the corresponding candidate point Qk_n is normalized and compared, even when the brightness of the contrast point Pk and the corresponding point Qk is different, the brightness sequence is compared to correctly match. It can be performed. Further, even when the luminance of the contrast point Pk and the corresponding point Qx (x ⁇ k) happens to be equal at a specific time, it is possible to correctly associate by comparing the luminance columns.
  • a configuration is described in which a normalized luminance sequence is once generated and the normalized luminance sequences are compared.
  • the directions of the unit 101 and the X-ray imaging unit 102 are close (or close to 180 degrees), the luminance columns themselves may be compared.
  • the line image acquisition unit 113 may start processing.
  • the blood vessel region acquisition unit 105 performs processing after an instruction to end image acquisition is given by the input IF 114, but the image acquisition unit 113 acquires an X-ray image.
  • the configuration may be such that the subsequent processing from step S1903 to step S1907 is performed each time. If such a configuration is used, the operator (operator) can confirm the three-dimensional configuration of the blood vessel 1201 by looking at the display device 112 even at the timing when the contrast agent spreads in the blood vessel 1201.
  • the corresponding candidate point Qk_n having the best evaluation value is generated and displayed by the display image generation unit 111.
  • a configuration displayed by the unit 112 is described.
  • the corresponding point of the contrast point Pk is not always photographed. For example, when the three-dimensional point Jk exists at a position where the X-ray imaging unit 102 does not capture an image, the corresponding point is not captured. Therefore, when the best evaluation value is worse than a predetermined threshold (here, when the smallest value among the evaluation values of the corresponding candidate points is larger than the predetermined evaluation value), the corresponding candidate point Qk_n is displayed.
  • a predetermined threshold here, when the smallest value among the evaluation values of the corresponding candidate points is larger than the predetermined evaluation value
  • a configuration that does not display in the unit 112 may be used.
  • means for inputting the predetermined threshold value to the display unit 112 may be provided. In that case, the display unit 111 displays only corresponding points whose evaluation value is smaller than a predetermined threshold value.
  • luminance sequence acquisition part 1707 in 3rd Embodiment has shown the structure which acquires the brightness
  • luminance itself of each time is shown. It is good also as a structure to acquire.
  • the minimum value and the maximum value of the luminance sequence are acquired, and the value of ⁇ (luminance) ⁇ (minimum value) ⁇ / ⁇ (maximum value) ⁇ (minimum value) ⁇ Let the column be a normalized luminance column.
  • the imaging unit information including the translation vector T, the rotation vector R, and the internal parameters A1 and A2 is stored in the imaging unit information holding unit 104 in advance. Even if the imaging unit information holding unit 104 acquires and holds the X-ray imaging unit 101 and the X-ray imaging unit 102 from the positions of the X-ray generation unit 202 and the X-ray detection unit 203 as needed. I do not care.
  • the blood vessel region acquisition unit 105 in the third embodiment describes the configuration of acquiring the region of the blood vessel 1201 into which the contrast agent is injected from the image 1_END and the image 2_END
  • the blood vessel region acquisition unit 105 The region where the contrast medium is introduced at the time may be acquired, and the summed region may be used as the blood vessel region. If such a configuration is used, even if there is a range that is not extracted as a blood vessel region at time END, if it can be extracted as a blood vessel region at another time, eventually, the blood vessel region including that region can be used as a blood vessel region. It can be extracted by the area acquisition unit 105.
  • the processing of the thinning unit 1503 of the blood vessel region acquisition unit 105 in the third embodiment may be omitted.
  • the process of the thinning unit 1503 is a process for reducing the number of contrast points Pk for which the corresponding unit 107 finds corresponding points. If the processing of the thinning unit 1503 is omitted, the process of the associating unit 107 is performed. The time will be longer.
  • the luminance sequence evaluation unit 1709 in the third embodiment compares the normalized luminance sequences of the contrast point Pk and the corresponding candidate point Qk_n and uses the total luminance difference as an evaluation value.
  • the configuration may be as follows.
  • the corresponding candidate point Qk_n having the smallest sum is determined by the corresponding region determining unit 1711 as the corresponding point Qk of the contrast point Pk.
  • a predetermined ratio time is used instead of using the difference sum.
  • the predetermined ratio time is a time at which the luminance of the contrast point Pk (or corresponding candidate point Qk_n) reaches a predetermined ratio (predetermined ratio) (for example, 80% or 50%) with respect to the maximum luminance of the point.
  • 2501 is a graph of the normalized luminance sequence of the contrast point Pk
  • 2502 is a graph of the normalized luminance sequence of the corresponding point Qk of the contrast point Pk
  • 2503 is other than the corresponding point Qk imaged by the X-ray imaging unit 102.
  • column of corresponding point Qx (x ⁇ k) is shown.
  • 2801 to 2803 are predetermined ratio times of the contrast point Pk, the corresponding point Qk, and the corresponding point Qx when the predetermined ratio (predetermined ratio) is 0.8 (80%).
  • Reference numerals 2811 to 2813 denote predetermined ratio times of the contrast point Pk, the corresponding point Qk, and the corresponding point Qx when the predetermined ratio (predetermined ratio) is 0.5 (50%).
  • FIG. 49 is a diagram illustrating a configuration of a shape restoration device (three-dimensional model generation device) 1A according to the fourth embodiment.
  • the shape restoration device 1A includes an image region association device 9A, a three-dimensional model generation unit 16A, and a display unit 112. Furthermore, the image region association device 9A is similar to the image region association device 93, and the three-dimensional model generation unit 16A is similar to the three-dimensional model generation unit 163, except for the following points.
  • an association unit 107A is used instead of the association unit 107 in the third embodiment.
  • FIG. 50 is a diagram illustrating a configuration of the association unit 107A.
  • the associating unit 107A uses a luminance sequence evaluating unit 1709A and an associating control unit 1701A instead of the luminance sequence evaluating unit 1709 and the associating control unit 1701, respectively.
  • the luminance sequence evaluation unit 1709A includes a normalized luminance sequence acquisition unit 1721, a normalized luminance sequence storage unit 1722, a predetermined ratio time acquisition unit 1731, a predetermined ratio time storage unit 1732, and a predetermined ratio.
  • a time difference acquisition unit 1733 is included.
  • the normalized luminance sequence acquisition unit 1721 and the normalized luminance sequence holding unit 1722 are the same as the normalized luminance sequence acquisition unit 1721 and the normalized luminance sequence holding unit 1722 of the third embodiment.
  • a description will be given focusing on differences from the third embodiment.
  • symbol is attached
  • the predetermined ratio time acquisition unit 1731 determines that the luminance of the contrast point Pk (or the corresponding candidate point Qk_n) is predetermined with respect to the maximum luminance of the point from each normalized luminance sequence held by the normalized luminance sequence holding unit 1722. The time at which the ratio is reached is acquired and stored in the predetermined ratio time holding unit 1732. Specifically, the predetermined ratio time acquisition unit 1731 acquires the time at which the predetermined ratio is reached from the normalized luminance sequence for the contrast point Pk, and stores it in the predetermined ratio time holding unit 1732.
  • the predetermined ratio time acquisition unit 1731 has a time of 2801 to 2803 (for example, 0.3, 0.325, 0.366) and a time of 2811 to 2813 (for example, 0.25, 0. 275, 0.325).
  • FIG. 51 is a diagram illustrating an example of the data structure of the predetermined ratio time held by the predetermined ratio time holding unit 1732.
  • the number of predetermined ratio times S 2)
  • the evaluation value of the corresponding candidate point Qk_n of the contrast point Pk is acquired and stored in the luminance string evaluation holding unit 1710.
  • Equation 12 indicates that the closer the time between the first predetermined ratio time Tk_p_1 of the contrast point Pk and the first predetermined ratio time Tk_n_1 of the corresponding candidate point Qk_n, the smaller the difference between the two. Further, the closer the time between the second predetermined ratio time Tk_p_2 of the contrast point Pk and the second predetermined ratio time Tk_n_2 of the corresponding candidate point Qk_n, the smaller the difference between the two.
  • the association control unit 1701A is a unit that performs association using each unit constituting the association unit 107A.
  • FIG. 52 is a flowchart showing the flow of processing performed by the association control unit 1701A. Instead of step S1409, step S1409A and step S14091 are executed. Since other processes are the same as those in the third embodiment, description thereof is omitted.
  • step S14091 the association control unit 1701A instructs the predetermined ratio time difference acquisition unit 1733 to perform processing.
  • step S1904 in FIG. 43 the associating unit 107A performs the process of the associating unit 107A described above. That is, the associating unit 107A determines the corresponding point Qk of each contrast point Pk in the contrast region, and stores the correspondence information in the correspondence information holding unit 108. Others are the same as the case of 3rd Embodiment.
  • the correspondence information holding unit 108 stores a difference Sk between the second predetermined ratio time and the first predetermined ratio time at the contrast point Pk or the corresponding point Qk in addition to the position of the contrast point Pk and the corresponding point Qk. It does not matter.
  • the difference Sk has a small value when the blood flow is fast and a large value when the blood flow is slow. Therefore, by obtaining the difference Sk, it is possible to obtain a measure of the blood velocity at the contrast point Pk.
  • the display screen generation unit 111 generates a display screen based on the blood velocity. Specifically, for example, the display screen generation unit 111 generates a display screen so that blood vessels where the difference Sk is larger than the first predetermined value are displayed in yellow, and other portions are displayed in red. can do.
  • the display screen generation unit 111 can generate a display screen so that blood vessels where the difference S is smaller than the second predetermined value are displayed in blue. By performing such display, it is possible to present a place where the blood vessel speed is low.
  • the state in which the amount of the contrast agent in the X-ray imaging apparatus increases is described in the case of imaging by the X-ray imaging units 101 to 102, but the state in which the contrast agent decreases is described in the X-ray imaging units 101 to 102.
  • a configuration may be adopted in which shooting is performed at 102. In that case, instead of acquiring the first time when the normalized luminance sequence exceeds the predetermined ratio, the first time when the normalized luminance sequence falls below the predetermined ratio is acquired.
  • Candidate point Qk_x is selected as corresponding point Qk.
  • the peak time of the differential luminance sequence is acquired.
  • the differential luminance column is a column of values obtained by differentiating the luminance column, and the peak time is a time at which the differential luminance column becomes maximum.
  • FIG. 53 is a diagram illustrating a configuration of a shape restoration device (three-dimensional model generation device) 1B according to the fifth embodiment.
  • the shape restoration device 1B includes an image region association device 9B, a three-dimensional model generation unit 16B, and a display unit 112. Further, the image region association device 9B is similar to the image region association device 93 in FIG. 21, and the three-dimensional model generation unit 16B is similar to the three-dimensional model generation unit 163 in FIG. 21, except for the following points. .
  • an association unit 107B is used instead of the association unit 107 in the third embodiment.
  • FIG. 54 is a diagram illustrating a configuration of the association unit 107B.
  • the association unit 107B uses an association control unit 1701B and a luminance column evaluation unit 1709B instead of the association control unit 1701 and the luminance column evaluation unit 1709.
  • symbol is attached
  • the configuration of the luminance column evaluation unit 1709B is shown in FIG.
  • the luminance sequence evaluation unit 1709B includes a differential luminance sequence acquisition unit 1741, a differential luminance sequence storage unit 1742, a peak time acquisition unit 1743, a peak time storage unit 1744, and a time difference acquisition unit 1745.
  • the differential luminance column acquisition unit 1741 differentiates the luminance column held by the luminance column holding unit 1708 to generate a differential luminance column, and stores it in the differential luminance column holding unit 1742.
  • the value of the differential luminance sequence at time 0 is set to 0, and the value of the differential luminance sequence at time t is set to L_Pk_t ⁇ L_Pk_ (t ⁇ 1). That is, the value of the differential luminance column at time t is the difference between the luminance column value at time t and the luminance column value at time (t ⁇ 1).
  • FIG. 56 shows an example of the data structure of the differential luminance sequence when the luminance column values are the values shown in FIG. However, only the differential luminance sequence between the contrast point Pk and the corresponding candidate point Qk_2 is described because of the space.
  • FIG. 56 shows an example of the data structure of the differential luminance sequence when the luminance column values are the values shown in FIG. However, only the differential luminance sequence between the contrast point Pk and the corresponding candidate point Qk_2 is described because of the space.
  • a thick line 4301, a solid line 4302, and a dotted line 4303 are respectively a differential luminance sequence of the contrast point Pk, and a differential luminance sequence of the corresponding candidate point Qk_1 of the contrast point Pk (corresponding point Qk of the contrast point Pk). It is a differential brightness
  • differential luminance sequence acquisition unit 1741 may be configured to acquire the differential luminance sequence after smoothing the luminance sequence held by the luminance sequence holding unit 1708. Further, the differential luminance sequence acquisition unit 1741 may be configured to smooth the acquired differential luminance sequence and store it in the differential luminance sequence holding unit 1742.
  • the differential luminance sequence holding unit 1742 holds the differential luminance sequence generated by the differential luminance sequence acquisition unit 1741.
  • the differential luminance sequence holding unit 1742 holds the differential luminance sequence having the data structure of FIG.
  • the differential luminance sequence holding unit 1742 holds, for example, a differential luminance sequence shown in the graph of FIG.
  • the peak time acquisition unit 1743 acquires the peak time at which the differential luminance is maximum from the differential luminance sequence held by the differential luminance sequence holding unit 1742 and stores it in the peak time holding unit 1744.
  • the peak time acquisition unit 1743 acquires the peak times 4311 to 4313 in FIG. 57 and stores them in the peak time holding unit 1732.
  • the peak time holding unit 1744 holds the peak time of the differential luminance sequence acquired by the differential luminance sequence acquisition unit 1743.
  • 59 is a diagram showing an example of data held by the peak time holding unit 1744. FIG. FIG. 59 shows peak times held when the differential luminance sequence is that in FIG.
  • the evaluation value is calculated using Equation 13.
  • H_1
  • 2.
  • Equation 13 the closer the peak time PEk_n of the contrast point Pk and the peak time PEk_n of the corresponding candidate point Qk_n are, the smaller the evaluation value is.
  • Equation 13 by using Equation 13 as an evaluation value, a corresponding candidate point that is similar to the luminance change of the contrast point Pk is selected from the corresponding candidate points Qk_n.
  • the association control unit 1701B is a unit that performs association using each unit constituting the association unit 107B.
  • FIG. 60 is a flowchart showing the flow of processing performed by the association control unit 1701B. Steps S1408B, S1409B, and S14091B are executed instead of steps S1408 to S1409 in the processing performed by the association control unit 1701 in the third embodiment of FIG. Since other processes are the same as those in the third embodiment, description thereof is omitted.
  • step S1408B subsequent to step S1407 the differential luminance sequence acquisition unit 1741 performs the process of the differential luminance sequence unit 1741 described above. That is, the differential luminance sequence acquisition unit 1741 acquires the differential luminance sequence between the contrast point Pk and the corresponding candidate point Qk_n by differentiating the luminance sequence held by the luminance sequence holding unit 1708 to generate a differential luminance sequence, Stored in the differential luminance column holding unit 1742.
  • step S1904 in FIG. 43 the associating unit 107B performs the process of the associating unit 107B described above. That is, the associating unit 107B determines the corresponding point Qk of each contrast point Pk in the contrast region, and stores the correspondence information in the correspondence information holding unit 108. Others are the same as the case of 3rd Embodiment.
  • the state in which the amount of the contrast agent in the X-ray imaging apparatus increases is described in the case of imaging by the X-ray imaging units 101 to 102, but the state in which the contrast agent decreases is described in the X-ray imaging units 101 to 102.
  • a configuration may be adopted in which shooting is performed at 102. In that case, instead of acquiring the time at which the differential luminance sequence has the maximum value, the time at which the minimum value is obtained is acquired.
  • FIG. 61 shows an epipolar cross section when two blood vessels 1201 appear to overlap each other in an image taken by the X-ray imaging unit 102.
  • X-rays generated by the X-ray generation unit 202B of the X-ray imaging unit 102 and passing through the three-dimensional point Jk_1 of the blood vessel 1201 further pass through the three-dimensional point Jk_2 of another blood vessel 1201 and reach the corresponding point Qk_1.
  • the X-ray generated by the X-ray generation unit 202B of the X-ray imaging unit 102 and passing through the three-dimensional point Jk_3 reaches the corresponding point Qk_2.
  • the X-ray generated by the X-ray generation unit 202A of the X-ray imaging unit 101 and passing through the three-dimensional point Jk_1 is projected to the contrast point Pk_1 on the captured image.
  • X-rays generated by the X-ray generation unit 202A and passing through the three-dimensional point Jk_2 are projected onto the contrast point Pk_2 on the captured image.
  • X-rays generated by the X-ray generation unit 202A of the X-ray imaging unit 101 and passed through the three-dimensional point Jk_3 are projected onto the first image projection point Pk_3 on the captured image.
  • FIG. 62 is a diagram showing a luminance sequence of the contrast points Pk_1 and Pk_2 and the corresponding point Qk_1 in FIG.
  • a thick line 6201 is a luminance change at the contrast point Pk_1
  • a dotted line 6203 is a luminance change at the contrast point Pk_2
  • a solid line 6202 is a luminance change at the corresponding point Qk_1. Because the blood vessels 1201 overlap, the tendency of increase / decrease in the luminance sequence of the corresponding point Qk_1 does not coincide with the tendency of increase / decrease of the luminance sequence of the contrast point Pk_1. Further, the increase / decrease tendency in the luminance sequence of the corresponding point Qk_1 does not coincide with the increase / decrease tendency of the luminance sequence of the contrast point Pk_2.
  • the contrast agent at the three-dimensional point Jk_1 in FIG. 61 increases, the contrast point Pk_1 and the corresponding point Qk_1 become dark (the luminance difference increases), and the contrast agent at the three-dimensional point Jk_2 increases.
  • the contrast point Pk_2 and the corresponding point Qk_1 are dark (the luminance difference is large).
  • the luminance change of the corresponding point Qk_1 changes in relation to both the luminance changes of the contrast point Pk_1 and the contrast point Pk_2.
  • the normalized luminance sequence of the sum of the luminance values of a plurality of contrast points is compared with the normalized luminance sequence of the corresponding candidate points to perform association.
  • the total normalized luminance sequence of the contrast point Pk_1 and the contrast point Pk_2 is compared with the normalized luminance sequence of the corresponding point Qk_1.
  • an alternate long and short dash line 6204 is a total luminance column obtained by adding the luminance value of the contrast point Pk_2 to the luminance value of the contrast point Pk_1. It tends to increase or decrease in the same manner as the solid line 6202.
  • the projection point of the first blood vessel region image 1102 is referred to as a corresponding candidate point (in particular, without specifying which point the corresponding point is). Further, in order to simplify the description, when the normalized luminance sequence of the sum of the contrast point Pk_x and the contrast point Pk_y and the normalized luminance sequence of the corresponding candidate point Qk_z are to be compared, [ ⁇ x, y ⁇ , ⁇ Z ⁇ ] are compared as a group.
  • the shape restoration device 1C is a combination of corresponding points of the projection points of the blood vessel to be restored from these blood vessels. And the shape of the blood vessel can be correctly restored.
  • FIG. 68 is a diagram showing a configuration of a shape restoration device 1C in the sixth embodiment.
  • the shape restoration device 1C includes an image region association device 9C, a three-dimensional model generation unit 16C, and a display unit 112. Further, the image region association device 9C is similar to the image region association device 93 in FIG. 21, and the three-dimensional model generation unit 16C is similar to the three-dimensional model generation unit 163 in FIG. 21, except for the following points. .
  • symbol is attached
  • 107C of matching parts are used instead of the matching part 107 in 3rd Embodiment.
  • FIG. 69 is a diagram illustrating a configuration of the association unit 107C.
  • the association unit 107C includes a correspondence candidate region acquisition unit 1705, a correspondence candidate region holding unit 1706, a contrast region acquisition unit 5201, a contrast region holding unit 5202, a grouping acquisition unit 5203, a grouping holding unit 5204, A grouping evaluation unit 5207, a grouping evaluation holding unit 5208, and a corresponding area determination unit 5209 are included.
  • the contrast region acquisition unit 5201 has a contrast point Pk_m (epipolar line) on a straight line (epipolar line) where the epipolar plane passing through the contrast point Pk designated by the association control unit 5210 described later and the blood vessel region of the first blood vessel region image 1102 intersect.
  • m 1, 2,..., M
  • the contrast point Pk_0 is the same as the contrast point Pk.
  • Equation 14 the parameter l1 of the epipolar line L1 is calculated using Equation 14.
  • F is a matrix F called fundamental matrix calculated in Equation 8
  • F T denotes a transposed matrix of the fundamental matrix F.
  • m is the coordinates of an arbitrary projection point Qk_n acquired from the correspondence candidate area holding unit 1706.
  • the method of acquiring the coordinates of the intersection point between the calculated epipolar line L1 and the first blood vessel region image 1011 is the same as in the case of the corresponding candidate region acquisition unit 1705, and the description thereof is omitted.
  • FIG. 70 is a diagram showing the configuration of the grouping acquisition unit 5203.
  • the grouping acquisition unit 5203 includes a grouping control unit 7201, a grouping main body unit 7202, and a two grouping unit 7203.
  • the two grouping unit 7203 generates a combination for dividing the group designated by the grouping main body unit 7202 into two groups, and outputs the combination to the grouping main body unit 7202.
  • FIG. 71 shows a table of combinations divided into two groups (group G0 and group G1). Each row in the table of FIG. 71 shows one combination. Each column describes a numerical value indicating to which group each element of the set belongs. “0” indicates assignment to the group G0, and “1” indicates assignment to the group G1. For example, in the combination of the first row, the identifier L3 is the group G1, and the other identifiers F1 to S1 are assigned to the group G0. As shown in FIG. 71, a group assigned to the first element of the set G is a group G0.
  • the grouping combination is 2 ⁇ (N-1) -1, and combinations of numbers from 1 to 2 ⁇ (N-1) -1 are generated.
  • the operator “ ⁇ ” indicates a power operation.
  • the value in the U column from the right end is (number)% (2 ⁇ U).
  • FIG. 72 is an example in which the group generated by the grouping of FIG. 71 is divided into group 0 and group 1 and described for each element group.
  • the grouping control unit 7201 acquires the number M of contrast regions held by the contrast region holding unit 5202 and the number N of corresponding candidate regions held by the corresponding candidate region holding unit 1705, and the first element group ⁇ 1, 2, ,..., M ⁇ and the second element group ⁇ 1, 2,..., N ⁇ as arguments, the grouping main body unit 7202 described later is executed, and the grouping obtained by the grouping main body unit 7202 is stored in the grouping holding unit. 5204 is stored.
  • the grouping main body portion 7202 performs processing for grouping the designated first element group F ⁇ F_1,..., F_M ⁇ and the second element group S ⁇ S_1,.
  • the grouping main body portion 7202 divides the designated elements into groups that satisfy the following conditions.
  • Requirement 1 One element always belongs to one group. One element does not belong to a plurality of groups.
  • One group includes one or more elements of the first element group and one or more elements of the second element group.
  • FIG. 73 is a flowchart showing the flow of processing performed by the grouping main body unit 7202.
  • step S5401 the grouping main body unit 7202 performs grouping processing on the designated first element group F ⁇ F_1, ..., F_M ⁇ and the second element group S ⁇ S_1, ..., S_N ⁇ . Start.
  • step S5402 the grouping main body portion 7202 has the value of the number M of elements in the first element group being “0” or the number N of elements in the second element group being “0”. If either one is “0”, the process branches to step S5499, and the process is terminated. Otherwise, the process branches to step S5403.
  • step S5403 the grouping main body portion 7202 determines whether the value M of the number of elements in the first element group is “1” or the number N of elements in the second set is “1”. It is determined whether or not, and if either one is “1”, the process branches to step S5404. Otherwise, the process branches to step S5411.
  • step S5404 the grouping main body unit 7202 groups all the elements ⁇ F_1, ..., F_M ⁇ of the first element group and all elements ⁇ S_1, ..., S_N ⁇ of the second element group.
  • the group [ ⁇ F_1,..., F_M ⁇ , ⁇ S_1,..., S_N ⁇ ] is output as the processing result of the grouping main body unit 7202, and the process ends in step S5499.
  • the group [ ⁇ 1, 2 ⁇ , ⁇ 1 ⁇ ] is output.
  • the group [ ⁇ 1 ⁇ , ⁇ 2 ⁇ ] is output.
  • step S5411 the grouping main body unit 7202 executes the above-described two grouping unit 7203. Specifically, for example, the result of the two grouping in FIG. 72 is acquired.
  • the grouping main body unit 7202 executes a loop process from step S5412 to step S5444 for each grouping result obtained by executing the two grouping unit 7203. In the case of FIG. 72, the loop processing from step S5412 to step S5444 is performed for the grouping of each row of FIG.
  • step S5414 the grouping main body unit 7202 performs a condition determination on the group 0 generated by the two grouping. That is, the grouping main body 7202 determines whether or not the following condition is satisfied.
  • step S5444 If the grouping main body part 7202 determines that the condition of step S5414 is not satisfied, the process branches to step S5415.
  • step S5415 the grouping main body unit 7202 performs a condition determination on the group 0 generated by the two grouping. That is, the grouping main body unit 7202 determines whether or not the following condition is satisfied.
  • the number of elements in the first element group is “1”, or the number of elements in the second element group is “1”.
  • step S5418 If the grouping main body part 7202 determines that the condition is not satisfied, the process branches to step S5444.
  • step S5418 the grouping main body unit 7202 generates the grouping of the group 0 generated by the two-grouping and stores it in the grouping holding unit 5204.
  • Step S5418 the grouping generated in Step S5418 is shown in FIG.
  • the evaluated value is stored in the grouping evaluation holding unit 5208.
  • FIG. 75 is a diagram showing a configuration of the grouping evaluation unit 5207.
  • the grouping evaluation unit 5207 includes a luminance column acquisition unit 7601, a luminance column holding unit 7602, a normalized luminance column acquisition unit 1721, a normalized luminance column holding unit 1722, and a difference sum acquisition unit 1720.
  • the normalized luminance sequence acquisition unit 1721, the normalized luminance sequence holding unit 1722, and the difference sum acquisition unit 1720 are the same as those in the third embodiment, and thus description thereof is omitted.
  • the corresponding area determination unit 5209 selects the evaluation value Hx that is the smallest value among the evaluation values held by the grouping evaluation holding unit 5208.
  • the association control unit 5210 controls to perform association using each unit of the association unit 107C.
  • FIG. 76 is a flowchart showing the flow of processing performed by the association control unit 5210.
  • step S1401 the association control unit 5210 starts processing.
  • step S1402 the association control unit 5210 acquires the first blood vessel region image 1101 from the blood vessel region holding unit 106.
  • the association control unit 5210 performs the processing from step S1404 to step S1415 on the black point of the blood vessel region in the first blood vessel region image 1101 acquired in step S1402.
  • step S1406 the association control unit 5210 instructs the correspondence candidate area acquisition unit 1705 to perform processing.
  • step S14061 the association control unit 5210 instructs the contrast area acquisition unit 5201 to perform processing.
  • step S14062 the association control unit 5210 instructs the grouping acquisition unit 5203 to perform processing.
  • the association control unit 5210 instructs the luminance column acquisition unit 7601 to perform processing.
  • the luminance column which is a total column of the luminances 1, 2,..., N) is acquired and stored in the luminance column holding unit 7602.
  • step S1408 the association control unit 5210 instructs the normalized luminance sequence acquisition unit 1721 to perform processing.
  • the normalized luminance column acquisition unit 1721 normalizes the total luminance column of the contrast points Pk_m held by the luminance column holding unit 7602 and the total luminance column of the corresponding candidate points Qk_n, respectively, and stores them in the normalized luminance column holding unit 1722. To do.
  • step S1409 the association control unit 5210 instructs the difference total acquisition unit 1720 to perform processing.
  • the difference sum obtaining unit 1720 calculates the sum Hw of the luminance differences at each time of the total normalized luminance sequence of the contrast points Pk_m and the total normalized luminance sequence of the corresponding candidate points Qk_n, and sends the sum Hw to the grouping evaluation holding unit 5208.
  • step S1414 ends.
  • step S1410C the association control unit 5210 instructs the corresponding region determination unit 5209 to perform processing.
  • FIG. 77 shows correspondence information added when there are a plurality of contrast points Pk_m in the grouping G ⁇ .
  • FIG. 77 shows correspondence information added when there are a plurality of contrast points Pk_m in the grouping G ⁇ .
  • step S1499 the association control unit 5210 ends the process.
  • Part or all of the elements constituting the shape restoration device 10, 20, 1, 1A, 1B, 1C is a computer system that includes a microprocessor, ROM, RAM, hard disk unit, display unit, keyboard, mouse, and the like. Can be realized.
  • the RAM or hard disk unit stores a computer program. That is, each part achieves its function by the microprocessor operating according to the computer program.
  • the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function.
  • Part or all of the elements constituting the shape restoration device 10, 20, 1, 1A, 1B, 1C may be configured by one system LSI (Large Scale Integration).
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip.
  • the system LSI is a computer system including a microprocessor, a ROM, a RAM, and the like. is there. A computer program is stored in the RAM. That is, the system LSI achieves its functions by the microprocessor operating according to the computer program.
  • Part or all of the elements constituting the shape restoration device 10, 20, 1, 1A, 1B, 1C may be constituted by an IC card that can be attached to and removed from each device or a single module.
  • the IC card or module is a computer system including a microprocessor, ROM, RAM, and the like.
  • the IC card or module may include the super multifunctional LSI. That is, the IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
  • Part or all of the elements constituting the shape restoration device 10, 20, 1, 1A, 1B, 1C can also be realized as a method for acquiring the shape of the tube.
  • the present invention is also realized as a computer program that causes a computer to acquire the shape of a tube by these methods, or as a digital signal composed of a computer program.
  • Part or all of the elements constituting the shape restoration apparatus 10, 20, 1, 1A, 1B, 1C are a computer-readable recording medium such as a flexible disk, a hard disk, or a CD-ROM. , MO, DVD, DVD-ROM, DVD-RAM, BD (Blu-ray (registered trademark) Disc), or recorded on a semiconductor memory or the like. Further, it is also realized as a digital signal recorded on these recording media.
  • Part or all of the elements constituting the shape restoration device 10, 20, 1, 1A, 1B, 1C are via a telecommunication line, a wireless communication line, a wired communication line, a network represented by the Internet, or data broadcasting, etc. It is also realized as a computer program or a digital signal as described above.
  • Part or all of the elements constituting the shape restoration device 10, 20, 1, 1A, 1B, 1C can be realized as a computer system including a microprocessor and a memory.
  • the memory stores the above-described computer program, and the microprocessor operates according to the computer program.
  • the processing of the present invention can be performed by another independent computer system by recording the computer program or digital signal on a recording medium and transferring it, or by transferring the computer program or digital signal via a network or the like. You may implement. In addition, it can be made to show the effect which each has by combining arbitrary embodiment or modification of the said various embodiment or modification suitably.
  • An image region association device, a three-dimensional model generation device, an image region association method, and an image region association program according to one aspect of the present invention are provided for a plurality of image regions of a blood vessel X-ray image captured from two directions. Since the correlation can be performed and a three-dimensional model of the blood vessel can be generated using the result, it is useful for catheter treatment or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Vascular Medicine (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

　造影剤が通過する際の血管(１２０１)を、互いに異なる第１と第２の撮影角度とから夫々連続的に撮像して、第１の撮影角度の第１の投影画像と第２の撮影角度の第２の投影画像とで構成される画像セットを複数取得し、各画像セットのうちの第１の投影画像における分岐先の第１の画像領域(Ｐｋ)について、所定時間分の造影剤の輝度変化の情報を取得し、各画像セットのうちの第２の投影画像における分岐先の画像領域でありかつ第１の画像領域に対応する候補の画像領域である複数の第２の画像領域について、所定時間分の造影剤の輝度変化の情報をそれぞれ取得し、先に取得した輝度変化の情報と、後で取得した複数の輝度変化の情報のそれぞれとの類似度を算出し、算出された類似度に基づき、第１の画像領域と対応する第２の画像領域を決定して、分岐を有する血管の複数の画像領域の対応付けを行なう画像領域対応付け装置である。

Description

画像領域対応付け装置、３次元モデル生成装置、画像領域対応付け方法、及び画像領域対応付け用プログラム
　本発明は、２方向から撮影した血管のＸ線画像の複数の画像領域の対応付けを行う画像領域対応付け装置、画像領域対応付け装置を利用して３次元モデルを生成する３次元モデル生成装置、画像領域対応付け方法、及び画像領域対応付け用プログラムに関する。
　血管の狭窄又は閉塞による疾患を調べる検査として、カテーテル造影検査がある。カテーテル造影検査では、Ｘ線不透過物質である造影剤を使用する。造影剤を血管内に注入してＸ線撮影することにより、血管とそれ以外の部分とを明瞭に区別することができる。
　１方向からＸ線撮影した場合、冠状動脈のように多数の分岐を有する血管について、人が血管の形状を把握することは困難である。
　そこで、２方向からＸ線撮影した２枚のＸ線画像より、血管の３次元モデルを生成する技術が研究開発されている（例えば、特許文献１及び非特許文献１参照）。これにより、人は血管の形状を把握することが容易となる。
特開平８－１３１４２９号公報
吉田忠弘、見崎元秀、佐藤浩康、斎藤恒雄、「心血管造影像からの冠状動脈の３次元抽出」、電子情報通信学会論文誌　‘８９／３　Ｖｏｌ．Ｊ７２－Ｄ－ＩＩ　Ｎｏ．３、Ｐ４３３－４４１
　しかしながら、上記従来の技術では、血管の３次元モデルを生成するために十分ではなかった。
　そこで、本開示の限定的でない例示的なある実施形態は、２方向から撮影した血管のＸ線画像の複数の画像領域の対応付けを行う画像領域対応付け装置、画像領域対応付け装置を利用して血管の３次元モデルを生成する３次元モデル生成装置、画像領域対応付け方法、及び画像領域対応付け用プログラムを提供する。
　上記課題を解決するため、本発明よれば、分岐を有する血管の複数の画像領域の対応付けを行なう画像領域対応付け装置であって、
　造影剤が通過する際の前記血管を、互いに異なる第１の撮影角度と第２の撮影角度とからそれぞれ連続的に撮像することにより、前記第１の撮影角度より得られる第１の投影画像と前記第２の撮影角度より得られる第２の投影画像とで構成される画像セットを複数取得する投影画像取得部と、
　前記投影画像取得部で取得した各画像セットのうちの第１の投影画像における前記分岐先の所定部分の第１の画像領域について、所定時間分の前記造影剤の輝度変化の情報を取得する第１輝度変化取得部と、
　前記投影画像取得部で取得した各画像セットのうちの前記第２の投影画像における前記分岐先の所定部分の画像領域であり、かつ、前記第１の画像領域に対応する候補の画像領域である複数の第２の画像領域について、前記所定時間分の前記造影剤の輝度変化の情報をそれぞれ取得する第２輝度変化取得部と、
　前記第１輝度変化取得部より取得された前記輝度変化の情報と、前記第２輝度変化取得部より取得された複数の前記輝度変化の情報のそれぞれとの類似度を算出する類似度算出部と、
　前記類似度算出部より算出された前記類似度に基づき、前記第１の画像領域と対応する第２の画像領域を決定する対応領域決定部と、
　を備える画像領域対応付け装置を提供する。
　これらの概括的かつ特定の態様は、システム、方法、コンピュータプログラム並びにシステム、方法及びコンピュータプログラムの任意の組み合わせにより実現してもよい。
　本開示の限定的でない例示的なある実施形態によれば、２方向から撮影した血管のＸ線画像の複数の画像領域の対応付けを行う画像領域対応付け装置及び方法及び画像領域対応付け用プログラム、及び、画像領域対応付け装置を利用して血管の３次元モデルを生成する３次元モデル生成装置が提供される。
　本発明のこれらと他の目的と特徴は、添付された図面についての好ましい実施形態に関連した次の記述から明らかになる。この図面においては、
図１は、血管の３次元モデルを生成する説明図、 図２は、対応点の候補点が１点の場合の図、 図３は、対応点の候補点が２点の場合の図、 図４は、第１実施形態における３次元モデル生成装置の機能構成を示すブロック図、 図５は、第１輝度変化取得部が取得する情報の一例を示す図、 図６は、第１の画像領域の輝度変化の様子を示す図、 図７は、第２の画像領域を算出する方法の説明図、 図８は、第２輝度変化取得部が取得する情報の一例を示す図、 図９は、第２の画像領域の輝度変化の様子を示す図、 図１０は、類似度算出部が算出する類似度の説明図、 図１１は、第１実施形態における３次元モデル生成装置の処理動作の一例を示すフローチャート、 図１２は、第１輝度変化取得部及び第２輝度変化取得部が取得する輝度変化のグラフ、 図１３は、対応する領域同士で輝度の最大値が異なる理由の説明図、 図１４は、第２実施形態における３次元モデル生成装置の機能構成を示すブロック図、 図１５は、正規化された輝度変化のグラフ、 図１６は、第１の画像領域及び一方の第２の画像領域について正規化された所定時間分の輝度変化の一例を示す図、 図１７は、第１の画像領域及び他方の第２の画像領域について正規化された所定時間分の輝度変化の一例を示す図、 図１８は、第１の画像領域及び一方の第２の画像領域について正規化された所定時間分の輝度変化の一例を示す図、 図１９は、第１の画像領域及び他方の第２の画像領域について正規化された所定時間分の輝度変化の一例を示す図、 図２０は、第２実施形態における３次元モデル生成装置の処理動作の一例を示すフローチャート、 図２１は、第３実施形態における３次元モデル生成装置の機能構成を示すブロック図、 図２２は、Ｘ線撮影システムの構成を示すブロック図、 図２３は、第３実施形態における撮影部情報保持部のデータ構造の一例を示す図、 図２４は、第３実施形態におけるＸ線画像保持部のデータ構造の一例を示す図、 図２５は、第３実施形態における血管領域取得部の構成を示す図、 図２６は、第３実施形態における二値画像の一例を示す図、 図２７は、第３実施形態における細線画像（第一血管領域画像）の一例を示す図、 図２８は、第３実施形態における血管領域取得部のフローチャート、 図２９は、第３実施形態における血管領域保持部のデータ構造の一例を示す図、 図３０は、第３実施形態における対応付け部の構成を示す図、 図３１は、第３実施形態における対応候補領域取得部のフローチャート、 図３２は、第３実施形態におけるエピポーラ線Ｌ２を示す図、 図３３は、第３実施形態における造影点Ｐｋ、対応候補点Ｑｋ＿１～Ｑｋ＿２の輝度列を示すグラフ、 図３４は、第３実施形態における輝度列保持部のデータ構造の一例を示す図、 図３５は、第３実施形態における輝度列評価部の構成を示す図、 図３６は、第３実施形態における造影点Ｐｋ、対応点Ｑｋ、対応点Ｑｘの正規化輝度列を示すグラフ、 図３７は、第３実施形態における対応候補点Ｑｋ＿１に対する評価値を示すグラフ、 図３８は、第３実施形態における対応候補点Ｑｋ＿２に対する評価値を示すグラフ、 図３９は、第３実施形態における対応付け制御部のフローチャート、 図４０は、第３実施形態における対応候補領域保持部のデータ構造の一例を示す図、 図４１は、第３実施形態における三次元位置保持部のデータ構造の一例を示す図、 図４２は、第３実施形態における表示画面生成部が生成する表示画面を示す図、 図４３は、第３実施形態における形状復元装置のフローチャート、 図４４は、第３実施形態における三次元点Ｊｋに流れる造影剤の量を示すグラフ、 図４５は、第３実施形態における三次元上の血管の一例を示す図、 図４６は、第３実施形態における血管の断面を示す図、 図４７は、第３実施形態における三次元上の血管を撮影したＸ線画像１２１１～１２１２を示す図、 図４８は、第４実施形態における所定比時刻を示すグラフ、 図４９は、第４実施形態における形状復元装置の構成を示す図、 図５０は、第４実施形態における対応付け部の構成を示す図、 図５１は、第４実施形態における所定比時刻取得部のデータ構造の一例を示す図、 図５２は、第４実施形態における対応付け部のフローチャート、 図５３は、第５実施形態における形状復元装置の構成を示す図、 図５４は、第５実施形態における対応付け部の構成を示す図、 図５５は、第５実施形態における輝度列評価部の構成を示す図、 図５６は、第５実施形態における輝度列保持部のデータ構造の一例を示す図、 図５７は、第５実施形態における造影点Ｐｋ、対応候補点Ｑｋ＿１～Ｑｋ＿２の微分輝度列を示すグラフ、 図５８は、第５実施形態におけるピーク時刻保持部のデータ構成を示す図、 図５９は、第５実施形態におけるピーク時刻保持部が保持するデータの一例を示す図、 図６０は、第５実施形態における対応付け部のフローチャート、 図６１は、第６実施形態におけるエピポーラ平面を示す図、 図６２は、第６実施形態における造影点Ｐｋ＿１～Ｐｋ＿３、及び、対応候補点Ｑｋ＿１～Ｑｋ＿２の輝度列を示すグラフ、 図６３は、第６実施形態におけるエピポーラ平面を示す図、 図６４は、第６実施形態におけるエピポーラ平面を示す図、 図６５は、第６実施形態におけるエピポーラ平面を示す図、 図６６は、第６実施形態におけるエピポーラ平面を示す図、 図６７は、第６実施形態におけるエピポーラ平面を示す図、 図６８は、第６実施形態における形状復元装置の構成を示す図、 図６９は、第６実施形態における対応付け部の構成を示す図、 図７０は、第６実施形態におけるグループ分け取得部が取得するグループ分けの一例を示す図、 図７１は、第６実施形態におけるグループ分け取得部の構成を示す図、 図７２は、第６実施形態における二グループ分け部が行うグループ分けの一例を示す図、 図７３は、第６実施形態における二グループ分け部が行うグループ分けの結果を示す図、 図７４は、第６実施形態におけるグループ分け部のフローチャート、 図７５は、第６実施形態におけるグループ分け部が行うグループ分けの結果の一例を示す図、 図７６は、第６実施形態におけるグループ分け評価部の構成を示す図、 図７７は、第６実施形態における輝度列取得部が行う処理のフローチャート、 図７８は、第６実施形態における対応情報保持部に追加する対応情報の一例を示す図、 図７９は、第６実施形態における対応情報保持部に追加する対応情報の一例を示す図、 図８０は、図４９の第４実施形態における形状復元装置の輝度列評価部の構成を示す図である。
　本発明の記述を続ける前に、添付図面において同じ部品については同じ参照符号を付している。
　以下、図面を参照して本発明における実施形態を詳細に説明する前に、本発明の基礎となった知見について説明する。
　（本発明の基礎となった知見）
　図１に、血管の３次元モデルを生成する説明図を示す。
　Ｘ線発生部２０２Ａ及びＸ線発生部２０２Ｂより、２つの異なる方向から血管１２０１に向けてＸ線を照射することにより、第１Ｘ線画像１１０１及び第２Ｘ線画像１１０２を得る。
　血管１２０１上の点Ｊｋは、第１Ｘ線画像１１０１上において点Ｐｋに相当する。
　ここで、点Ｊｋが、第２Ｘ線画像１１０２上において何れの箇所であるか特定できれば、三角測量の原理を用いて、点Ｊｋの３次元位置を特定することができる。同様に、血管１２０１上の複数の点について、３次元位置をそれぞれ特定することにより、血管１２０１の３次元モデルを生成することができる。
　点Ｊｋに対応する第２Ｘ線画像１１０２上の点の求める方法について説明する。
　始めに、第１Ｘ線画像１１０１の点Ｐｋに対して、第２Ｘ線画像１１０２におけるエピポーラ線Ｌ２を求める。エピポーラ線Ｌ２とは、点Ｐｋの対応点が第２Ｘ線画像１１０２上に出現し得る直線状の範囲である。エピポーラ線Ｌ２は、点Ｐｋと、第１Ｘ線画像１１０１及び第２Ｘ線画像１１０２の幾何学的な位置関係より決定される。図１において、点Ｐｋに対応する候補点は点Ｑｋのみであるので、点Ｐｋの対応点は点Ｑｋとなる。
　図２に、対応点の候補点が１点の場合の図を示す。
　図２に示すように、第２Ｘ線画像１１０２において、血管１２０１の端点と、エピポーラ線Ｌ２との交点が１点である場合には、点Ｑｋが点Ｐｋの対応点と決定される。
　しかし、図３に示すように、血管１２０１の端点と、エピポーラ線Ｌ２との交点が２点である場合には、点Ｑｋ＿１又は点Ｑｋ＿２のいずれを点Ｐｋの対応点とすべきかを決定することができない。
　そこで、本開示の第１態様によれば、分岐を有する血管の複数の画像領域の対応付けを行なう画像領域対応付け装置であって、
　造影剤が通過する際の前記血管を、互いに異なる第１の撮影角度と第２の撮影角度とからそれぞれ連続的に撮像することにより、前記第１の撮影角度より得られる第１の投影画像と前記第２の撮影角度より得られる第２の投影画像とで構成される画像セットを複数取得する投影画像取得部と、
　前記投影画像取得部で取得した各画像セットのうちの第１の投影画像における前記分岐先の所定部分の第１の画像領域について、所定時間分の前記造影剤の輝度変化の情報を取得する第１輝度変化取得部と、
　前記投影画像取得部で取得した各画像セットのうちの前記第２の投影画像における前記分岐先の所定部分の画像領域であり、かつ、前記第１の画像領域に対応する候補の画像領域である複数の第２の画像領域について、前記所定時間分の前記造影剤の輝度変化の情報をそれぞれ取得する第２輝度変化取得部と、
　前記第１輝度変化取得部より取得された前記輝度変化の情報と、前記第２輝度変化取得部より取得された複数の前記輝度変化の情報のそれぞれとの類似度を算出する類似度算出部と、
　前記類似度算出部より算出された前記類似度に基づき、前記第１の画像領域と対応する第２の画像領域を決定する対応領域決定部と、
　を備える画像領域対応付け装置を提供する。
　前記第１態様によれば、２方向から撮影した血管のＸ線画像の複数の画像領域の対応付けを適切に行うことができる。
　本開示の第２態様によれば、前記第１輝度変化取得部は、前記第１の画像領域について、複数の時刻それぞれの時刻の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
　前記第２輝度変化取得部は、前記複数の第２の画像領域について、前記複数の時刻それぞれの時刻の前記造影剤の輝度をそれぞれ前記所定時間分の前記造影剤の輝度変化の情報として取得する一方、
　さらに、輝度の正規化を行う輝度正規化部をさらに備え、
　前記輝度正規化部は、
　　前記血管が撮影されていないときの基準輝度と、前記第１輝度変化取得部より取得された前記輝度のそれぞれとの差分値を演算することにより正規化して、正規化された輝度変化の情報を取得し、
　　前記血管が撮影されていないときの基準輝度と、前記第２輝度変化取得部より取得されたそれぞれの前記輝度との差分値を演算することにより正規化して、正規化された輝度変化の情報を取得し、
　前記類似度算出部は、
　　前記第１輝度変化取得部より取得され、かつ、前記輝度正規化部より前記正規化された輝度変化の情報と、
　　前記第２輝度変化取得部より取得され、かつ、前記輝度正規化部より前記正規化された複数の輝度変化の情報のそれぞれとの類似度を算出する、
第１の態様に記載の画像領域対応付け装置を提供する。
　前記第２態様によれば、第１の撮影角度から撮影した血管の輝度と、第２の撮影角度から撮影した血管の輝度とが異なる輝度となる場合においても、複数対応点候補の中から適切な対応点を決定することができる。
　本開示の第３態様によれば、前記第１輝度変化取得部は、前記第１の画像領域について、複数の時刻それぞれの時刻の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
　前記第２輝度変化取得部は、前記複数の第２の画像領域について、前記複数の時刻それぞれの時刻の複数の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
　前記輝度正規化部は、前記第１輝度変化取得部及び前記第２輝度変化取得部より取得された各時刻の輝度変化の情報をそれぞれ正規化して、正規化された輝度変化の情報をそれぞれ取得し、
　前記類似度算出部は、前記第１輝度変化取得部より取得され、かつ、前記輝度正規化部より正規化された各時刻の輝度について、前記第２輝度変化取得部より取得され、かつ、前記輝度正規化部より正規化された複数の各時刻の輝度変化の情報のそれぞれとの差分を算出することにより、前記所定時間分における前記差分の絶対値の合計値をそれぞれ類似度として算出し、
　前記対応領域決定部は、前記類似度として前記類似度算出部より算出された前記差分の絶対値の合計値が最も小さい第２の画像領域を、前記第１の画像領域と対応する領域であると決定する、
　第２の態様に記載の画像領域対応付け装置を提供する。
　前記第３態様によれば、第１の撮影角度から撮影した血管の輝度と、第２の撮影角度から撮影した血管の輝度とが異なる輝度となり、個々の撮影時間における輝度にノイズが含まれるような場合においても、複数対応点候補の中から適切な対応点を決定することができる。
　本開示の第４態様によれば、前記第１輝度変化取得部は、前記第１の画像領域について、複数の時刻それぞれの時刻の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
　前記第２輝度変化取得部は、前記複数の第２の画像領域について、前記複数の時刻それぞれの時刻の複数の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
　前記第１輝度変化取得部は、前記第１の画像領域について、前記造影剤の輝度を時系列順にプロットしたグラフを輝度変化の情報として取得し、
　前記第２輝度変化取得部は、前記複数の第２の画像領域について、前記造影剤の輝度を時系列順にプロットしたグラフをそれぞれ輝度変化の情報として取得し、
　前記輝度正規化部は、前記第１輝度変化取得部及び前記第２輝度変化取得部より取得されたグラフをそれぞれ正規化して、正規化されたグラフを取得し、
　前記類似度算出部は、前記第１輝度変化取得部より取得され、かつ、前記輝度正規化部より取得された前記正規化されたグラフと、前記第２輝度変化取得部より取得され、かつ、前記輝度正規化部より前記正規化された複数のグラフのそれぞれとの形状の類似度をそれぞれ算出し、
　前記対応領域決定部は、前記類似度算出部より算出された形状の類似度が最も高い第２の画像領域を、前記第１の画像領域と対応する領域であると決定する、
　第２の態様に記載の画像領域対応付け装置を提供する。
　前記第４態様によれば、第１の撮影角度から撮影した血管の輝度と、第２の撮影角度から撮影した血管の輝度とが異なる輝度となる場合においても、複数対応点候補の中から適切な対応点を決定することができる。
　本開示の第５態様によれば、前記類似度算出部は、前記第１輝度変化取得部より取得され、かつ、前記輝度正規化部より正規化されたグラフの面積と、前記第２輝度変化取得部より取得され、かつ、前記輝度正規化部より正規化された複数の前記グラフそれぞれの面積との差分を類似度として算出し、
　前記対応領域決定部は、前記類似度として前記類似度算出部より算出された差分が最も小さいグラフに相当する第２の画像領域を、前記第１の画像領域と対応する領域であると決定する、
　第４の態様に記載の画像領域対応付け装置を提供する。
　前記第５態様によれば、第１の撮影角度から撮影した血管の輝度と、第２の撮影角度から撮影した血管の輝度とが異なる輝度となり、個々の撮影時間における輝度にノイズが含まれるような場合においても、複数対応点候補の中から適切な対応点を決定することができる。
　本開示の第６態様によれば、前記第１輝度変化取得部は、前記第１の画像領域について、複数の時刻それぞれの時刻の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
　前記第２輝度変化取得部は、前記複数の第２の画像領域について、前記複数の時刻それぞれの時刻の複数の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
　さらに、前記第１の画像領域及び前記第２の画像領域のそれぞれのある点の輝度が、その点の最大の輝度に対して所定比に到達する時刻である所定比時刻を取得する所定比時刻取得部を備え、
　前記所定比時刻取得部は、前記第１の画像領域及び前記第２の画像領域のそれぞれにおいて、前記輝度正規化部により前記正規化された輝度変化の情報を輝度列とするとき、前記輝度列の値が所定比にそれぞれ到達する前記所定比時刻をそれぞれ取得し、
　前記類似度算出部は、前記複数の前記第２画像領域のうち、前記第１画像領域の前記所定比時刻と類似度の高い前記所定比時刻を有する前記第２画像領域を前記第１画像領域の対応領域に決定する、
　第２の態様に記載の画像領域対応付け装置を提供する。
　前記第６態様によれば、第１の撮影角度から撮影した血管の輝度と、第２の撮影角度から撮影した血管の輝度とが異なる輝度となる場合においても、複数対応点候補の中から適切な対応点を決定することができる。
　本開示の第７態様によれば、前記第１輝度変化取得部は、前記第１の画像領域について、複数の時刻それぞれの時刻の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
　前記第２輝度変化取得部は、前記複数の第２の画像領域について、前記複数の時刻それぞれの時刻の複数の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
　さらに、前記第１の画像領域及び前記第２の画像領域のそれぞれにおいて、前記輝度正規化部により前記正規化された輝度変化の情報を輝度列とするとき、前記輝度列を微分した微分輝度列のピーク時刻を取得するピーク時刻取得部を備え、
　前記ピーク時刻取得部は、前記第１の画像領域及び前記第２の画像領域のそれぞれにおいて、前記輝度列を微分した前記微分輝度列の前記ピーク時刻を取得し、
　前記類似度算出部は、前記複数の前記第２画像領域のうち、前記第１画像領域の前記ピーク時刻と類似度の高い前記ピーク時刻を有する前記第２画像領域を前記第１画像領域の対応領域に決定する、
　第２の態様に記載の画像領域対応付け装置を提供する。
　前記第７態様によれば、第１の撮影角度から撮影した血管の輝度と、第２の撮影角度から撮影した血管の輝度とが異なる輝度となる場合においても、複数対応点候補の中から適切な対応点を決定することができる。
　本開示の第８態様によれば、前記第１の撮影角度より前記血管を撮像する第１Ｘ線撮像装置の位置情報と前記第２の撮影角度より前記血管を撮像する第２Ｘ線撮像装置の位置情報との相対位置情報を取得する撮影部情報取得部と、
　前記第１投影画像上における前記第１の画像領域の位置情報を取得する血管領域取得部と、
　前記撮影部情報取得部及び前記位置情報取得部よりそれぞれ取得した各位置情報より、前記第１Ｘ線撮像装置、前記第２Ｘ線撮像装置、及び前記第１の画像領域から構成される平面であるエピポーラ平面を算出し、前記第２の投影画像上について、算出された前記エピポーラ平面と前記第２の投影画像との交線であるエピポーラ線を算出し、前記複数の第２の画像領域について、前記算出された前記エピポーラ線上にそれぞれ位置する位置情報を取得する対応候補領域取得部と、
　をさらに備え、
　前記対応候補領域取得部で取得した前記複数の第２の画像領域の位置情報の位置の輝度変化を第２輝度変化取得部で取得する
　請求項１～７のいずれか１つに記載の画像領域対応付け装置を提供する。
　前記第８態様によれば、エピポーラ線を算出することにより、第１の画像領域に対応する複数の第２の画像領域を決定することができる。
　本開示の第９態様によれば、分岐を有する血管の３次元モデルを生成する３次元モデル生成方法であって、投影画像取得部が、造影剤が通過する際の前記血管を第１の撮影角度と第２の撮影角度とから連続的に撮像することにより、前記第１の撮影角度より得られる第１の投影画像と前記第２の撮影角度より得られる第２の投影画像とで構成される画像セットを複数取得し、第１輝度変化取得部が、前記第１の投影画像における前記分岐先の所定部分の第１の画像領域について、所定時間分の前記造影剤の輝度変化を取得し、第２輝度変化取得部が、前記第２の投影画像における前記分岐先の所定部分の画像領域であり、かつ、前記第１の画像領域に対応する候補の画像領域である複数の第２の画像領域について、前記所定時間分の前記造影剤の輝度変化をそれぞれ取得し、類似度算出部が、前記第１輝度変化取得部より取得された前記輝度変化と、前記第２輝度変化取得部より取得された複数の前記輝度変化との類似度をそれぞれ算出し、対応領域決定部が、前記類似度算出部より算出された類似度が最も高い第２の画像領域を、前記第１の画像領域と対応する領域であると決定し、３次元モデル生成部が、前記対応領域決定部より決定された情報を用いて、前記血管の３次元モデルを生成する、３次元モデル生成方法を提供する。
　本開示の第１０態様によれば、分岐を有する血管の複数の画像領域の対応付けを行なう画像領域対応付け方法であって、
　造影剤が通過する際の前記血管を、互いに異なる第１の撮影角度と第２の撮影角度とからそれぞれ連続的に撮像することにより、前記第１の撮影角度より得られる第１の投影画像と前記第２の撮影角度より得られる第２の投影画像とで構成される画像セットを投影画像取得部で複数取得し、
　前記投影画像取得部で取得した各画像セットのうちの第１の投影画像における前記分岐先の所定部分の第１の画像領域について、所定時間分の前記造影剤の輝度変化の情報を第１輝度変化取得部で取得し、
　前記投影画像取得部で取得した各画像セットのうちの前記第２の投影画像における前記分岐先の所定部分の画像領域であり、かつ、前記第１の画像領域に対応する候補の画像領域である複数の第２の画像領域について、前記所定時間分の前記造影剤の輝度変化の情報をそれぞれ第２輝度変化取得部で取得し、
　前記第１輝度変化取得部より取得された前記輝度変化の情報と、前記第２輝度変化取得部より取得された複数の前記輝度変化の情報のそれぞれとの類似度を類似度算出部で算出し、
　前記類似度算出部より算出された前記類似度に基づき、前記第１の画像領域と対応する第２の画像領域を対応領域決定部で決定する、
画像領域対応付け方法を提供する。
　前記態様によれば、２方向から撮影した血管のＸ線画像の複数の画像領域の対応付けを適切に行うことができる。
　本開示の第１１態様によれば、分岐を有する血管の複数の画像領域の対応付けを行なう画像領域対応付け用プログラムであって、
　コンピュータを、
　造影剤が通過する際の前記血管を、互いに異なる第１の撮影角度と第２の撮影角度とからそれぞれ連続的に撮像することにより、前記第１の撮影角度より得られる第１の投影画像と前記第２の撮影角度より得られる第２の投影画像とで構成される画像セットを複数取得する投影画像取得部と、
　前記投影画像取得部で取得した各画像セットのうちの第１の投影画像における前記分岐先の所定部分の第１の画像領域について、所定時間分の前記造影剤の輝度変化の情報を取得する第１輝度変化取得部と、
　前記投影画像取得部で取得した各画像セットのうちの前記第２の投影画像における前記分岐先の所定部分の画像領域であり、かつ、前記第１の画像領域に対応する候補の画像領域である複数の第２の画像領域について、前記所定時間分の前記造影剤の輝度変化の情報をそれぞれ取得する第２輝度変化取得部と、
　前記第１輝度変化取得部より取得された前記輝度変化の情報と、前記第２輝度変化取得部より取得された複数の前記輝度変化の情報のそれぞれとの類似度を算出する類似度算出部と、
　前記類似度算出部より算出された前記類似度に基づき、前記第１の画像領域と対応する第２の画像領域を決定する対応領域決定部と、
　として機能させるための画像領域対応付け用プログラムを提供する。
　前記態様によれば、２方向から撮影した血管のＸ線画像の複数の画像領域の対応付けを適切に行うことができる。
　（第１実施形態）
　＜装置構成＞
　図４に、本発明の第１実施形態における、画像領域対応付け装置９を有する３次元モデル生成装置１０の機能ブロック図を示す。
　３次元モデル生成装置１０は、画像領域対応付け装置９と、３次元モデル生成部１６とを備えて構成されている。
　画像領域対応付け装置９は、投影画像取得部１１と、第１輝度変化取得部１２と、第２輝度変化取得部１３と、類似度算出部１４と、対応領域決定部１５とを備える。
　＜投影画像取得部１１＞
　投影画像取得部１１は、造影剤が通過する際の血管１２０１を、第１の撮影角度と第２の撮影角度とからそれぞれ連続的に撮像することにより、第１の撮影角度より得られる第１Ｘ線画像（第１の投影画像）１１０１と、第２の撮影角度より得られる第２Ｘ線画像（第２の投影画像）１１０２とで構成される画像セットを複数個、入力ＩＦ１１４で指示されたタイミング（撮影開始のタイミングから撮影終了のタイミング）まで（例えば所定時間毎に）取得する。
　＜第１輝度変化取得部１２＞
　第１輝度変化取得部１２は、投影画像取得部１１で取得した第１Ｘ線画像１１０１における血管１２０１の分岐先の所定部分の第１の画像領域（点、又は造影点）Ｐｋについて、所定時間分の造影剤の輝度変化の情報を取得する。
　図５に、第１輝度変化取得部１２が取得する情報の一例を示す。
　第１輝度変化取得部１２は、投影画像取得部１１より、時系列順に並んだ第１Ｘ線画像１１０１の列である第１Ｘ線画像列を取得する。なお、第１の画像領域Ｐｋは、第１Ｘ線画像１１０１上の固定領域であり、第１Ｘ線画像列において位置変動しない。図５において、造影剤が第１の画像領域Ｐｋに未だ到達していない場合、第１の画像領域Ｐｋ内の輝度は高くなり、造影剤が第１の画像領域Ｐｋに到達した場合、第１の画像領域Ｐｋ内の輝度は低くなる。
　第１輝度変化取得部１２は、第１Ｘ線画像列より、第１の画像領域Ｐｋの輝度に関する情報を取得する。第１輝度変化取得部１２は、一例として、第１の画像領域Ｐｋの輝度を時系列順に取得する。
　第１の画像領域Ｐｋは、血管１２０１の分岐先の一部分の領域であり、他の複数の血管１２０１を含む領域ではない。
　なお、第１の画像領域Ｐｋは、分岐先の血管１２０１を含む領域（例えば、血管１２０１の幅よりも第１の画像領域Ｐｋの幅が太い領域）でも良いが、好ましくは、分岐先の血管１２０１に含まれる領域（例えば、血管１２０１の幅よりも第１の画像領域Ｐｋの幅が狭い領域）である。これにより、造影剤の輝度のみを抽出することができ、血管１２０１以外の部分の輝度を排除することができる。
　なお、第１の画像領域Ｐｋは、第１Ｘ線画像１１０１上の血管が存在する可能性のある領域の任意の点であっても良い。
　図６に、第１の画像領域Ｐｋの輝度変化の様子を示す。
　縦軸を基準輝度との差分値、横軸を時間とすると、第１の画像領域Ｐｋの輝度変化の情報の一例としては、図６に示すようなグラフとなる。時間ｔ１の区間は、第１の画像領域Ｐｋ中に造影剤が到達していないため、輝度の差分値が低い。時間ｔ２の区間は、第１の画像領域Ｐｋ中に造影剤が到達し、徐々に第１の画像領域Ｐｋ中に造影剤が拡がっているため、輝度の差分値が徐々に高くなる。時間ｔ３の区間は、第１の画像領域Ｐｋ中に造影剤が到達し切っているため、輝度の差分値が一定である。
　なお、ここでは、縦軸を基準輝度との差分値としているが、縦軸を最大輝度と輝度との差としても構わない。
　＜第２輝度変化取得部１３＞
　第２輝度変化取得部１３は、投影画像取得部１１で取得した第２Ｘ線画像１１０２における分岐先の所定部分の画像領域であり、かつ、第１の画像領域Ｐｋに対応する候補の画像領域である複数の第２の画像領域Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）について、所定時間分の造影剤の輝度変化の情報をそれぞれ取得する。
　第１の画像領域Ｐｋに対応する候補の画像領域である複数の第２の画像領域Ｑｋ＿ｎを、第２輝度変化取得部１３により算出して取得する方法について説明する。
　図７に、第２の画像領域Ｑｋ＿ｎを算出する方法の説明図を示す。
　血管１２０１上の点Ｊｋは、Ｘ線発生部２０２Ａと第１Ｘ線画像１１０１上の点Ｐｋとを結ぶ直線Ｋ上に存在する。また、直線Ｋは、第２Ｘ線画像１１０２上においてエピポーラ線Ｌ２となる。つまり、直線Ｋ、すなわちエピポーラ線Ｌ２は、Ｘ線発生部２０２Ａ及び２０２Ｂの位置情報と、第１Ｘ線画像１１０１及び第２Ｘ線画像１１０２を撮像する撮像装置の撮影情報とより第２輝度変化取得部１３で算出できる。具体的には、式１及び式２より、エピポーラ線Ｌ２のパラメータｌ２を第２輝度変化取得部１３で算出できる。なお、Ｘ線発生部２０２Ａ及び２０２Ｂの位置情報は、並進ベクトルＴ及び回転ベクトルＲとし、撮像装置の撮影情報は、内部パラメータＡ１及びＡ２とする。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　式１において、Ｆはファンダメンタル行列、Ａ１－Ｔは内部パラメータＡ１の逆行列の転置行列、［Ｔ］Ｘは並進ベクトルＴの歪対称行列である。算出されたエピポーラ線Ｌ２のパラメータｌ２を（ａ，ｂ，ｃ）Ｔと表したとき、エピポーラ線Ｌ２は式３の関係式を満たす。
Figure JPOXMLDOC01-appb-M000003
　第２輝度変化取得部１３は、第２輝度変化取得部１３で算出されたエピポーラ線Ｌ２と、第２Ｘ画像１１０２上の造影剤の端点との交点を算出する。つまり、図７において、第２輝度変化取得部１３は、第２の画像領域としてＱｋ＿１及びＱｋ＿２を算出する。
　図８に、第２輝度変化取得部１３が取得する情報の一例を示す。
　第２輝度変化取得部１３は、投影画像取得部１１より、時系列順に並んだ第２Ｘ線画像１１０２の列である第２Ｘ線画像列を取得する。なお、第２の画像領域Ｑｋ＿１及び第２の画像領域Ｑｋ＿２は、第２Ｘ線画像１１０２上の固定領域であり、第２Ｘ線画像列においてそれぞれ位置変動しない。造影剤が第２の画像領域Ｑｋ＿１及び第２の画像領域Ｑｋ＿２に未だ到達していない場合、第２の画像領域Ｑｋ＿１及び第２の画像領域Ｑｋ＿２内の輝度はいずれも高くなる。造影剤が第２の画像領域Ｑｋ＿１及び第２の画像領域Ｑｋ＿２に到達した場合、第２の画像領域Ｑｋ＿１及び第２の画像領域Ｑｋ＿２内の輝度はいずれも低くなる。
　第２輝度変化取得部１３は、第２Ｘ線画像列より、第２の画像領域Ｑｋ＿１及び第２の画像領域Ｑｋ＿２のそれぞれの輝度に関する情報を取得する。第２輝度変化取得部１３は、一例として、第２の画像領域Ｑｋ＿１及び第２の画像領域Ｑｋ＿２のそれぞれの輝度を時系列順に取得する。
　第２の画像領域Ｑｋ＿１及び第２の画像領域Ｑｋ＿２は、それぞれ、血管１２０１の分岐先の互いに異なる一部分の領域であり、他の複数の血管１２０１を含む領域ではない。
　なお、第２の画像領域Ｑｋ＿１及び第２の画像領域Ｑｋ＿２は、分岐先の血管１２０１を含む領域でも良いが、好ましくは、分岐先の血管１２０１に含まれる領域である。これにより、造影剤の輝度のみを抽出することができ、血管１２０１以外の部分の輝度を排除することができる。
　なお、第２の画像領域Ｑｋ＿１及び第２の画像領域Ｑｋ＿２は、それぞれ、第２Ｘ線画像１１０２上の任意の点であっても良い。
　一例として、図９に、第２の画像領域Ｑｋ＿１及び第２の画像領域Ｑｋ＿２の輝度変化の情報の様子を示す。
　縦軸を基準輝度との差分値、横軸を時間とすると、第２の画像領域Ｑｋ＿１及び第２の画像領域Ｑｋ＿２の輝度変化の情報は、図９に示すようなグラフとなる。すなわち、第１輝度変化取得部１２により、第１の画像領域について、造影剤の輝度を時系列順にプロットしたグラフを、輝度変化の情報として取得することができる。第２輝度変化取得部により、複数の第２の画像領域について、造影剤の輝度を時系列順にプロットしたグラフを、それぞれ輝度変化の情報として取得することができる。図９のグラフにおいて、時間ｔ４の区間は、第２の画像領域Ｑｋ＿２中に造影剤が到達していないため、輝度の差分値が低い。時間ｔ５の区間は、第２の画像領域Ｑｋ＿２中に造影剤が到達し、徐々に第２の画像領域Ｑｋ＿２中に造影剤が拡がっているため、輝度の差分値が徐々に高くなる。時間ｔ６の区間は、第２の画像領域Ｑｋ＿２中に造影剤が到達し切っているため、輝度の差分値が一定である。時間ｔ７の区間は、第２の画像領域Ｑｋ＿１中に造影剤が到達していないため、輝度の差分値が低い。時間ｔ８の区間は、第２の画像領域Ｑｋ＿１中に造影剤が到達し、徐々に第２の画像領域Ｑｋ＿１中に造影剤が拡がっているため、輝度の差分値が徐々に高くなる。時間ｔ９の区間は、第２の画像領域Ｑｋ＿１中に造影剤が到達し切っているため、輝度の差分値が一定である。
　第２の画像領域Ｑｋ＿１と、第２の画像領域Ｑｋ＿２とでグラフの形状が異なるのは、以下の理由からである。
　血管１２０１の分岐先が鉛直上向き方向に延びている場合、重力に逆らって流れるため、造影剤の流速は遅くなる。一方、血管１２０１の分岐先が鉛直下向き方向に延びている場合、造影剤の流速は速くなる。つまり、血管１２０１の分岐先が鉛直上向き又は下向き方向に延びているかにより、造影剤の流速が異なる。よって、第２の画像領域Ｑｋ＿１及び第２の画像領域Ｑｋ＿２のそれぞれについて、各時刻における造影剤の流量が異なるため、グラフの形状が異なる。
　なお、血管１２０１の分岐先の血管の太さが異なる場合でも、造影剤の流速が異なるため、第２の画像領域Ｑｋ＿１及び第２の画像領域Ｑｋ＿２のグラフの形状は異なる。
　＜類似度算出部１４＞
　類似度算出部１４は、第１輝度変化取得部１２より取得された輝度変化の情報と、第２輝度変化取得部１３より取得された複数の輝度変化の情報のそれぞれとの類似度をそれぞれ算出する。
　図１０に、類似度算出部１４が算出する類似度の説明図の一例を示す。
　図１０は、第１の画像領域Ｐｋ、第２の画像領域Ｑｋ＿１及び第２の画像領域Ｑｋ＿２のそれぞれの輝度変化の情報を示すグラフである。第１の画像領域Ｐｋの輝度変化の情報を示すグラフは、点線で表される。第２の画像領域Ｑｋ＿１及び第２の画像領域Ｑｋ＿２それぞれの輝度変化の情報を示すグラフは、実線で表される。
　類似度算出部１４は、第２の画像領域Ｑｋ＿１のグラフ及び第２の画像領域Ｑｋ＿２のグラフのそれぞれについて、第１の画像領域Ｐｋのグラフとの類似度を算出する。類似度算出部１４は、一例として、第２の画像領域Ｑｋ＿１及び第２の画像領域Ｑｋ＿２のそれぞれの各時刻における輝度について、第１の画像領域Ｐｋの輝度との差の絶対値を算出し、所定時間分の差の絶対値の総和を算出する。類似度算出部１４で算出した差の絶対値の総和が小さいほど、類似度は高い。たとえば、各時刻における輝度は、３０分の１秒に一回の時間間隔で撮影される。
　第２の画像領域Ｑｋ＿１と第１の画像領域Ｐｋとの形状が似ているとき、上記の類似度は高い値となる。類似度算出部１４は、第２の画像領域Ｑｋ＿１のグラフ及び第２の画像領域Ｑｋ＿２のグラフのそれぞれについて、第１の画像領域Ｐｋのグラフとの形状の類似度をパターンマッチングなどの手法で算出する形状類似度算出部１４Ｈ（図４参照）としても構わない。また、形状類似度算出部１４Ｈは、後述する、正規化された輝度変化の情報のグラフ同士の形状の類似度を算出するようにしてもよい。このときも、第２の画像領域Ｑｋ＿１と第１の画像領域Ｐｋとの形状が似ているとき、上記の類似度は高い値となる。
　なお、類似度算出部１４は、他の例として、第１の画像領域Ｐｋのグラフに対して、第２の画像領域Ｑｋ＿１のグラフ及び第２の画像領域Ｑｋ＿２のグラフのそれぞれについて、所定時間分の面積値を算出する。そして、類似度算出部１４は、第２の画像領域Ｑｋ＿１及び第２の画像領域Ｑｋ＿２のそれぞれの面積値について、第１の画像領域Ｐｋの面積値との差を算出する。類似度算出部１４で算出した面積値の差が小さいほど、類似度は高い。
　なお、類似度算出部１４が算出する類似度の算出方法は、上記に限られない。類似度算出部１４は、それぞれのグラフについて、各画像領域の各時刻における輝度と基準輝度との差分値の増減傾向から類似度を算出しても良い。
　＜対応領域決定部１５＞
　対応領域決定部１５は、類似度算出部１４より算出された複数の類似度のうち、最も高い類似度の第２の画像領域を、第１の画像領域Ｐｋと対応する領域であると決定する。
　具体的には、対応領域決定部１５は、類似度算出部１４が第２の画像領域Ｑｋ＿１及び第２の画像領域Ｑｋ＿２のそれぞれの輝度変化の情報について、第１の画像領域Ｐｋの輝度変化の情報との類似度を算出した結果を基に、第２の画像領域Ｑｋ＿１又は第２の画像領域Ｑｋ＿２のいずれ一方が第１の画像領域Ｐｋと対応する領域であるかを決定する。このとき、対応領域決定部１５は、類似度の高い方を、第１の画像領域Ｐｋに対応する領域であると決定する。つまり、図１０においては、第１の画像領域Ｐｋに対応する領域は、第２の画像領域Ｑｋ＿１である。
　又は、対応領域決定部１５は、類似度が所定の閾値よりも高い第２の画像領域Ｑｋ＿ｎがある場合には、一例として、最初に類似度が所定の閾値よりも高いと判定した第２の画像領域Ｑｋ＿ｎを、第１の画像領域Ｐｋと対応する領域であると決定する。この決定により、第２の画像領域Ｑｋ＿ｎと、第１の画像領域Ｐｋとの対応付けを決定することができる。
　＜３次元モデル生成部１６＞
　３次元モデル生成部１６は、対応領域決定部１５より決定された情報を用いて、血管の３次元モデルを生成する。
　３次元モデル生成部１６は、対応領域決定部１５より、第１の領域に対応する第２の領域が決定されれば、三角測量の原理を用いて、血管１２０１上の点Ｊｋの３次元位置を特定することができる。同様に、血管１２０１上の複数の点について、３次元位置をそれぞれ特定することにより、３次元モデル生成部１６は血管１２０１の３次元モデルを生成することができる。具体的には、３次元モデル生成部１６は、対応領域決定部１５より第１の画像領域Ｐｋに対応する第２の画像領域Ｑｋ＿２が決定されるため、図１において、血管１２０１上の点Ｊｋの３次元位置が特定することができる。
　＜装置動作＞
　図１１に、第１実施形態における、画像領域対応付け装置９及び３次元モデル生成装置１０の処理動作フローを示す。
　始めに、投影画像取得部１１が、造影剤が通過する際の血管１２０１を、第１の撮影角度と第２の撮影角度とから連続的に撮像することにより、第１の撮影角度より得られる第１Ｘ線画像１１０１と、第２の撮影角度より得られる第２Ｘ線画像１１０２とで構成される画像セットを複数取得する（ステップＳ１０）。
　次に、第１輝度変化取得部１２が、投影画像取得部１１で取得した第１Ｘ画像１１０１における血管１２０１の分岐先の所定部分の第１の画像領域Ｐｋについて、所定時間分の造影剤の輝度変化の情報を取得する（ステップＳ１１）。
　次に、第２輝度変化取得部１３が、投影画像取得部１１で取得した第２Ｘ線画像１１０２における血管１２０１の分岐先の所定部分の画像領域であり、かつ、第１の画像領域Ｐｋに対応する候補の画像領域である複数の第２の画像領域Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）のそれぞれについて、所定時間分の造影剤の輝度変化の情報を取得する（ステップＳ１２）。なお、ステップＳ１１とステップＳ１２とは、同時に行ってもよい。
　次に、類似度算出部１４は、第１輝度変化取得部１２より取得された輝度変化の情報と、第２輝度変化取得部１３より取得された複数の輝度変化の情報のそれぞれとの類似度を算出する（ステップＳ１３）。
　次に、対応領域決定部１５は、類似度算出部１４より算出された複数の類似度のうち、類似度が最も高い第２の画像領域Ｑｋ＿ｎを、第１の画像領域Ｐｋと対応する領域であると決定する（ステップＳ１４）。ここまでが、画像領域対応付け装置９の処理動作である。
　次に、３次元モデル生成部１６は、対応領域決定部１５より決定された情報を用いて、血管１２０１の３次元モデルを生成する（ステップＳ１５）。
　＜第１実施形態の効果＞
　第１実施形態における画像領域対応付け装置９によれば、第１Ｘ線画像１１０１上の第１の領域に対して、複数の第２Ｘ線画像１１０２がある場合でも、
第１Ｘ線画像１１０１上の第１の領域と最適な第２Ｘ線画像１１０２上の第２の領域との対応関係を対応領域決定部１５で決定することができる。この結果、３次元モデル生成装置１０によれば、この画像領域対応付け装置９での画像領域対応付け結果を基に、血管１２０１の３次元モデルを生成することができる。
　（第２実施形態）
　本発明の第２実施形態に係る、画像領域対応付け装置９２を有する３次元モデル生成装置２０では、第１輝度変化取得部１２及び第２輝度変化取得部１３より取得された輝度の最大値がそれぞれ一致しない場合でも、類似度算出部１４が類似度を算出できるようにする。なお、他の実施形態と同様の構成については同一の符号を付し、説明を適宜省略する。
　図１２に、第１輝度変化取得部１２及び第２輝度変化取得部１３がそれぞれ取得する輝度変化の情報を示すグラフを示す。
　図１２おいて、第１輝度変化取得部１２が取得する第１の画像領域Ｐｋの輝度を太線で示す。第２輝度変化取得部１３が取得する第２の画像領域Ｑｋ＿１の輝度を細線で示す。第２輝度変化取得部１３が取得する第２の画像領域Ｑｋ＿２の輝度を点線で示す。図１２において、輝度の差分値の最大値は、３つのグラフそれぞれ一致していない。これは、第１の画像領域Ｐｋに対応する領域である第２の画像領域Ｑｋ＿１又は第２の画像領域Ｑｋ＿２の輝度の最大値が、いずれも第１の画像領域Ｐｋの輝度の最大値と異なることを意味する。図１３を用いて、異なる理由を説明する。
　図１３に、対応する領域同士で輝度の最大値が異なる理由の説明図を示す。
　図１３は、血管１２０１の断面が楕円状である場合について、図１をＺ軸方向から見た図である。血管１２０１の断面が楕円状である場合、第１Ｘ線画像１１０１方向から見える血管１２０１の厚みｄ１と、第２Ｘ線画像１１０２方向から見える血管１２０１の厚みｄ２とは長さが異なる。ただし、ｄ１＜ｄ２とする。
　Ｘ線発生部２０２Ａ及び２０２Ｂから照射されるＸ線は、血管１２０１の厚みが増すに従い、透過する量が減少する。つまり、図１３において、Ｘ線発生部２０２Ａ及びＸ線発生部２０２Ｂがそれぞれ照射するＸ線の強度が同一である場合、第１Ｘ線画像１１０１の輝度は、第２Ｘ線画像１１０２の輝度よりも低くなる。
　これにより、第１の画像領域Ｐｋの輝度の最大値と、第１の画像領域Ｐｋに対応する第２の画像領域Ｑｋの輝度の最大値とが一致しなくなる。
　第２実施形態は、上記のような事情を鑑み、血管１２０１の断面が楕円状である場合においても、類似度算出部２２が正確に類似度を算出できるようにすることを目的とする。
　＜装置構成＞
　図１４に、本発明の第２実施形態における、画像領域対応付け装置９２を有する３次元モデル生成装置２０の機能ブロック図を示す。
　３次元モデル生成装置２０は、は、画像領域対応付け装置９２と、３次元モデル生成部１６とを備えて構成されている。
　画像領域対応付け装置９２は、投影画像取得部１１と、第１輝度変化取得部１２と、第２輝度変化取得部１３と、輝度正規化部２１と、類似度算出部２２と、対応領域決定部１５とを備える。なお、第１実施形態と同様の構成については同一の符号を付し、説明を適宜省略する。
　＜輝度正規化部２１＞
　輝度正規化部２１は、血管が撮影されていないときの基準輝度（例えば２５５）から、第１輝度変化取得部１２より取得された輝度を除算した差分値を演算により取得することにより正規化する。同様に、輝度正規化部２１は、血管が撮影されていないときの基準輝度（例えば２５５）から、第２輝度変化取得部１３より取得されたそれぞれの輝度を除算した差分値を演算により取得することにより正規化する。
　具体的には、まず、輝度正規化部２１は、第１輝度変化取得部１２より取得された第１の画像領域Ｐｋの所定時間分の輝度より、最大となる輝度、例えば、血管１２０１が撮影されていないときの基準輝度を決定する。その後、輝度正規化部２１は、基準輝度から第１の画像領域Ｐｋの各時刻における輝度を除算して差分値を求めることにより正規化を行なう。輝度正規化部２１は、同様に、第２輝度変化取得部１３より取得された第２の画像領域Ｑｋ＿１及び第２の画像領域Ｑｋ＿２についても、同様に、まず、最大となる輝度、例えば、血管１２０１が撮影されていないときの基準輝度を決定したのち、決定した基準輝度を用いて正規化を行なう。
　図１５に、正規化された輝度変化の情報のグラフの一例を示す。
　図１５に示すグラフは、図１２に示すグラフを輝度正規化部２１により正規化して、正規化されたグラフとしたものである。縦軸は輝度の比率を示し、横軸は時間を示す。図１５に示すように、正規化した場合、第１の画像領域Ｐｋの所定時間分の輝度と、第２の画像領域Ｑｋ＿１及び第２の画像領域Ｑｋ＿２のそれぞれの所定時間分の輝度との３つのグラフのそれぞれの縦軸の最大値（ここでは、輝度比率が１）が揃うこととなる。これにより、第２の画像領域Ｑｋ＿１又は第２の画像領域Ｑｋ＿２のいずれの輝度変化の情報が、第１の画像領域Ｐｋの輝度変化の情報と類似するかを輝度正規化部２１により比較することができる。
　＜類似度算出部２２＞
　類似度算出部２２は、第１輝度変化取得部１２より取得され、かつ、輝度正規化部２１より正規化された輝度変化の情報と、第２輝度変化取得部１３より取得され、かつ、輝度正規化部２１より正規化された複数の輝度変化の情報のそれぞれとの類似度を算出する。
　図１６及び図１７を用いて、類似度算出部２２の類似度算出方法の一例について説明する。
　図１６に、第１の画像領域Ｐｋ及び第２の画像領域Ｑｋ＿１について正規化された所定時間分の輝度変化のグラフを示す。図１６において、第１の画像領域Ｐｋの輝度変化のグラフは太線で表され、第２の画像領域Ｑｋ＿１の輝度変化のグラフは細線で表される。
　類似度算出部２２は、図１６に示す通り、第１の画像領域Ｐｋ及び第２の画像領域Ｑｋ＿１の各時刻における輝度についての差を算出し、所定時間分の差の合計値を算出する。具体的には、類似度算出部２２は、式４を用いて差の絶対値の合計値を類似度として算出する。
Figure JPOXMLDOC01-appb-M000004
　ここで、Ｈ＿ｎは所定時間分の差の絶対値の合計値であり、Ｌ＿Ｐｋ＿ｔは各時刻における第１の画像領域Ｐｋの正規化後の輝度の差分値であり、Ｌ＿Ｑｋ＿１＿ｔは各時刻における第２の画像領域Ｑｋ＿１の正規化後の輝度の差分値である。
　図１７に、第１の画像領域Ｐｋ及び第２の画像領域Ｑｋ＿２について正規化された所定時間分の輝度変化の情報のグラフを示す。図１７において、第１の画像領域Ｐｋの輝度変化の情報のグラフは太線で表され、第２の画像領域Ｑｋ＿２の輝度変化の情報のグラフは点線で表される。
　類似度算出部２２は、図１７に示す通り、第１の画像領域Ｐｋ及び第２の画像領域Ｑｋ＿２の各時刻における輝度について差を算出し、所定時間分の差の合計値を算出する。具体的には、類似度算出部２２は、式５を用いて差の合計値を算出する。
Figure JPOXMLDOC01-appb-M000005
　ここで、Ｈ＿ｎは所定時間分の差の絶対値の合計値であり、Ｌ＿Ｐｋ＿ｔは各時刻における第１の画像領域Ｐｋの正規化後の輝度の差分値であり、Ｌ＿Ｑｋ＿２＿ｔは各時刻における第２の画像領域Ｑｋ＿２の正規化後の輝度の差分値である。
　以上より、類似度算出部２２は、式４及び式５を用いて、各時刻における輝度の差より類似度を算出する。
　図１８及び図１９を用いて、類似度算出部２２の類似度算出方法の他の一例について説明する。
　図１８に、第１の画像領域Ｐｋ及び第２の画像領域Ｑｋ＿１について正規化された所定時間分の輝度変化の情報のグラフを示す。図１８において、第１の画像領域Ｐｋの輝度変化の情報のグラフは太線で表され、第２の画像領域Ｑｋ＿１の輝度変化の情報のグラフは細線で表される。
　類似度算出部２２は、図１８に示す通り、第１の画像領域Ｐｋのグラフと第２の画像領域Ｑｋ＿１のグラフとの面積値の差を算出する。具体的には、類似度算出部２２は、式６を用いて面積値の差を算出する。
Figure JPOXMLDOC01-appb-M000006
　ここで、Ｈ＿ｎは所定時間分の面積値の差の絶対値であり、Ｓ（Ｐｋ）は第１の画像領域Ｐｋの所定時間分の面積値であり、Ｓ（Ｑｋ＿１）は第２の画像領域Ｑｋ＿１の所定時間分の面積値である。
　図１９に、第１の画像領域Ｐｋ及び第２の画像領域Ｑｋ＿２について正規化された所定時間分の輝度変化の情報のグラフを示す。図１９において、第１の画像領域Ｐｋの輝度変化の情報のグラフは太線で表され、第２の画像領域Ｑｋ＿２の輝度変化の情報のグラフは点線で表される。
　類似度算出部２２は、図１９に示す通り、第１の画像領域Ｐｋの正規化されたグラフの面積と第２の画像領域Ｑｋ＿１の正規化されたグラフの面積との面積値の差を算出する。具体的には、類似度算出部２２は、式７を用いて面積値の差を類似度として算出する。
Figure JPOXMLDOC01-appb-M000007
　ここで、Ｈ＿ｎは所定時間分の面積値の差の絶対値であり、Ｓ（Ｐｋ）は第１の画像領域Ｐｋの所定時間分の面積値であり、Ｓ（Ｑｋ＿２）は第２の画像領域Ｑｋ＿２の所定時間分の面積値である。
　以上より、類似度算出部２２は、式６及び式７を用いて、面積値の差より類似度を算出する。
　＜装置動作＞
　図２０に、第２実施形態における、画像領域対応付け装置９２及び３次元モデル生成装置２０の処理動作フローを示す。なお、図２０において、図１１と同様のステップについては同一の符号を付し、説明を適宜省略する。
　まず、ステップＳ１０～ステップＳ１２は、図１１と同様である。
　次に、輝度正規化部２１が、第１輝度変化取得部１２より取得された輝度を、第１輝度変化取得部１２より取得された最大の輝度（例えば、血管１２０１が撮影されていないときの基準輝度）にて除算することにより正規化する。また、（例えば、血管１２０１が撮影されていないときの基準輝度）第２輝度変化取得部１３より取得されたそれぞれの輝度を、第２輝度変化取得部１３より取得されたそれぞれの最大の輝度（例えば、血管１２０１が撮影されていないときの基準輝度）にて除算することにより正規化する（ステップＳ２０）。
　次に、類似度算出部２２が、第１輝度変化取得部１２より取得され、かつ、輝度正規化部２１より正規化された輝度変化の情報と、第２輝度変化取得部１３より取得され、かつ、輝度正規化部２１より正規化された複数の輝度変化の情報のそれぞれとの類似度を算出する（ステップＳ２１）。
次に、ステップＳ１４～ステップＳ１５は、図１１と同様である。なお、ステップＳ１４までが、画像領域対応付け装置９２の処理動作である。
　＜第２実施形態の効果＞
　第２実施形態における画像領域対応付け装置９２によれば、血管１２０１の断面が楕円状である場合においても、類似度算出部２２が類似度を正確に算出することができる。
　（第３実施形態）
　本発明の第３実施形態では、第１実施形態及び第２実施形態に記載された３次元モデル生成装置１０，２０の別の態様について記載する。なお、他の実施形態と同様の構成については同一の符号を付し、説明を適宜省略する。
　図２１は、本発明の第３実施形態の、画像領域対応付け装置９３を有する３次元モデル生成装置１（以下、形状復元装置１とも称する。）の構成を示す図である。形状復元装置１は、一例として、画像領域対応付け装置９３と、３次元モデル生成部１６３と、表示部１１２とを備える。
　さらに、画像領域対応付け装置９３は、一例として、Ｘ線撮影部１０１～１０２と、撮影部情報保持部１０４と、Ｘ線画像取得部１１３と、入力ＩＦ（インターフェース）１１４と、Ｘ線画像保持部１０３と、血管領域取得部１０５と、血管領域保持部１０６と、対応付け部１０７とを備える。Ｘ線画像取得部１１３は、第１実施形態の投影画像取得部１１に対応する。対応付け部１０７は、第１実施形態の第１輝度変化取得部１２と第２輝度変化取得部１３と第１実施形態の類似度算出部１４と対応領域決定部１５との一例として対応する。
　３次元モデル生成部１６３は、対応情報保持部１０８と、三次元位置取得部１０９と、三次元位置保持部１１０と、表示画面生成部１１１とを備える。
　Ｘ線撮影部１０１～１０２は、それぞれ、異なる角度から被験者の撮影対象部位に対して放射線を照射して、撮影されたＸ線透視像、又は、造影剤を注入した際に撮影された血管造影像を取得する手段であり、例えばＸ線血管造影装置又はアンギオグラフィと称される。第３実施形態におけるＸ線撮影部１０１～１０２は、被撮像物である血管を撮影する。Ｘ線撮影部１０１～１０２は、それぞれ同一構成であり、代表例として、Ｘ線撮影部１０１について構成を説明する。
　図２２にＸ線撮影部１０１の構成を示す。Ｘ線撮影部１０１は、Ｘ線発生部２０２と、Ｘ線検出部２０３と、機構部２０６と、機構制御部２０５とで構成されている。
　Ｘ線発生部２０２は、高電圧を用いてＸ線を発生するＸ線管と、Ｘ線の一部を遮蔽することによって照射野を制御するＸ線絞り器とを有しており、寝台２０１上の患者２００にＸ線を照射する。
　Ｘ線検出部２０３は、患者２００を透過したＸ線を受けて画像情報を記録し、記録した画像情報を出力するカメラである。Ｘ線検出部２０３は、例えば、Ｘ線観応層を配置し、Ｘ線をデジタルデータに変換して出力するＦＰＤ（Ｆｌａｔ　Ｐａｎｅｌ　Ｄｅｔｅｃｔｏｒ）として構成されている。Ｘ線検出部２０３は、Ｘ線発生部２０２から患者２００にＸ線が照射されると、照射されたＸ線画像を示す画像情報を画像取得部１１３へ出力する。
　機構部２０６は、術者の操作指示を受け付けた機構制御部２０５の指示に基づいて、アーム２０４及び寝台２０１を移動する。
　また、機構制御部２０５は、Ｘ線発生部２０２又はＸ線検出部２０３の位置を撮影部情報保持部１０４に出力する。
　Ｘ線撮影部１０２についても、Ｘ線撮影部１０１と同様の各部を有する。ここでは、Ｘ線撮影部１０１のＸ線発生部２０２と、Ｘ線撮影部１０２のＸ線発生部２０２とを区別する場合には、前者をＸ線発生部２０２Ａ、後者をＸ線発生部２０２Ｂとする。
　Ｘ線画像取得部１１３は、Ｘ線撮影部１０１～１０２よりＸ線画像（放射線画像）をそれぞれ取得し、取得した画像をＸ線画像保持部１０３にそれぞれ格納する部である。後述の入力ＩＦ１１４によって指示されたタイミングで、画像の取得を開始及び終了する。
　Ｘ線画像取得部１１３は、具体的には、入力ＩＦ１１４の指示により画像の取得を開始し、例えばＸ線撮影部１０１より取得した画像をＸ線画像保持部１１５に格納する。以降、Ｘ線画像取得部１１３は、入力ＩＦ１１４より終了の指示があるまで、入力ＩＦ１１４で指示されたタイミングで（例えば所定時間毎に）Ｘ線撮影部１０１より画像を取得し、取得した画像をＸ線画像保持部１１５に格納する。Ｘ線画像取得部１１３は、Ｘ線撮影部１０２からも同様に、入力ＩＦ１１４で指示されたタイミングで（例えば所定時間毎に）画像を取得して、取得した画像をＸ線画像保持部１０３に格納する。
　撮影部情報保持部１０４は、Ｘ線撮影部１０１、１０２に関する情報を保持する部である。具体的には、撮影部情報保持部１０４は、例えばＣＰＵのレジスタ、キャッシュ、ＲＡＭ、又は、ＲＯＭ等の記憶装置によって実現する。以降、名称に保持部を有する部は、同様の方法で実現する。
　撮影部情報保持部１０４は、具体的には、Ｘ線撮影部１０１、１０２の相対位置情報、及び、Ｘ線撮影部１０１、１０２のそれぞれのカメラの内部パラメータＡを保持する。図２３は、撮影部情報保持部１０４のデータ構造の一例を示す図である。撮影部情報保持部１０４は、並進ベクトルＴと、回転ベクトルＲと、内部パラメータＡ１、Ａ２とを保持する。
　並進ベクトルＴは、Ｘ線撮影部１０１の位置を基準にして、Ｘ線撮影部１０２がどこに存在するかを示すベクトルであり、Ｘ線撮影部１０１、１０２のそれぞれの位置情報（第１Ｘ線撮像装置の位置情報と第２Ｘ線撮像装置の位置情報と）の相対位置情報の一例である。回転ベクトルＲは、Ｘ線撮影部１０１の撮影方向に対する、Ｘ線撮影部１０２の撮影方向の向きを示す。内部パラメータＡ１は、Ｘ線撮影部１０１のカメラが備える撮影レンズと撮像素子の撮像面との位置関係を表すパラメータであり、Ｘ線撮影部１０１では、Ｘ線発生部２０２とＸ線検出部２０３との位置関係を表すパラメータである。ここでは、説明を簡単にするため、Ｘ線発生部２０２に対するＸ線検出部２０３の位置は固定であるものとし、内部パラメータＡ１、Ａ２の値は予め用意して撮影部情報保持部１０４に格納しておくものとする。
　また、ここでは、Ｘ線撮影装置１０１に対するＸ線撮影装置１０２の相対位置は常に一定であるとし、並進ベクトルＴ及び回転ベクトルＲも、撮影部情報保持部１０４に予め保持するものとする。なお、撮影部情報保持部１０４は、Ｘ線撮影装置１０１とＸ線撮影装置１０２との位置をそれぞれ取得し、取得した位置より、並進ベクトルＴ及び回転ベクトルＲを算出する構成であっても構わない。
　入力ＩＦ１１４は、操作者（術者）が、形状復元装置１に対して指示を入力する装置である。例えば、入力ＩＦ１１４は、ボタン、スイッチ、コンピュータのキーボード、又は、マウスなどによって実現する。ここでは、入力ＩＦ１１４は、Ｘ線画像取得部１１３に対して画像取得の開始、及び、終了の指示を与えるために用いる。
　Ｘ線画像保持部１０３は、Ｘ線画像取得部１１３が取得した画像を保持する部である。図２４は、Ｘ線画像保持部１０３のデータ構造の一例を示す図である。Ｘ線画像取得部が画像取得を開始した時刻を時刻０とし、画像取得を終了した時刻を時刻ＥＮＤとし、画像取得から開始までの各時刻に、Ｘ線撮影部１０１～１０２で撮影された画像をそれぞれ保持する。以降の説明では、Ｘ線撮影部１０１で時刻ｎに撮影された画像を画像１＿ｎとし、Ｘ線撮影部１０２で時刻ｎに撮影された画像を画像２＿ｎとする。また、時刻０に撮影された画像１＿０、画像２＿０を背景画像と呼ぶ。
　血管領域取得部１０５は、画像１＿ＥＮＤ、及び、画像２＿ＥＮＤから、造影剤が投入された血管１２０１の領域を取得する部である。血管領域取得部１０５で取得した領域の点の位置は、血管１２０１の領域の位置であることより、血管領域取得部１０５は、血管領域の位置を取得している。図２５は、血管領域取得部１０５の構成を示す図である。血管領域取得部１０５は、差分画像生成部１５０４と、差分画像保持部１５０５と、二値化部１５０１と、二値画像保持部１５０２と、細線化部１５０３とを有する。
　差分画像生成部１５０４は、Ｘ線画像保持部１０３より、画像ｎ＿ＥＮＤと画像ｎ＿０（背景画像）とを取得し、差分画像を生成し、生成した差分画像を差分画像保持部１５０５に格納する（ｎ＝１、２）。
　差分画像保持部１５０５は、差分画像生成部が生成した差分画像を保持する。
　二値化部１５０１は、差分画像保持部１５０５より、差分画像を取得し、取得した差分画像を二値化し、二値画像保持部１５０２に格納する。ここでは、血管の領域の画素値を「１」とし、それ以外の領域の画素値を「０」とする。
　二値画像保持部１５０２は、二値化部１５０１によって生成した二値画像を保持する。図２６は二値画像の一例を示す。
　細線化部１５０３は、二値画像保持部１５０２が保持する二値画像を細線化して血管領域保持部１０６に格納する。図２６に示す二値画像を、細線化して得られる細線画像を図２７に示す。
　＜血管領域取得部１０５が行う処理の流れ＞
　図２８は、血管領域取得部１０５によって画像１＿ＥＮＤの血管領域を取得する処理のフローチャートを示す図である。
　血管領域取得部１０５は、ステップＳ８０１で処理を開始する。
　次に、ステップＳ８０２で、差分画像生成部１５０４は、前述の差分画像生成部１５０４の処理を行う。すなわち、差分画像生成部１５０４は、Ｘ線画像保持部１０３より、画像１＿０と、画像１＿ＥＮＤとを取得し、取得した画像の各画素の差分を算出して生成し、生成した差分画像を、差分画像保持部１５０５に格納する。差分画像生成部１５０４で取得した差分画像の点の位置は、血管１２０１の領域の位置であることより、差分画像生成部１５０４従って血管領域取得部１０５は、血管領域の位置を取得したことになる。
　次に、ステップＳ８０３で、二値化部１５０１は、前述の二値化部１５０１の処理を行う。すなわち、二値化部１５０１は、差分画像保持部１５０５より、差分画像を取得し、取得した差分画像を二値化し、二値画像保持部１５０２に格納する。
　次に、細線化部１５０３は、ステップＳ８０４で前述の細線化部１５０３の処理を行う。すなわち、細線化部１５０３は、二値画像保持部１５０２が保持する二値画像を細線化して血管領域保持部１０６に格納する。細線化部１５０３で取得した細線化画像の点の位置は、血管１２０１の領域の位置であることより、細線化部１５０３は、血管領域の位置を取得したことになる。
　次に、血管領域取得部１０５は、ステップＳ８０５で処理を終了する。
　血管領域取得部１０５は、Ｘ線撮影部１０２で撮影された画像２＿ＥＮＤに対しても、同様の処理を行う。
　血管領域保持部１０６は、血管領域取得部１０５が取得した血管領域を保持する部である。図２９は、血管領域保持部１０６のデータ構造の一例を示す図である。血管領域保持部１０６は、画像１＿ＥＮＤより生成した第一血管領域画像１１０１と、画像２＿ＥＮＤより生成した第二血管領域画像１１０２とを保持する。
　対応付け部１０７は、血管領域保持部１０６が保持する第一血管領域画像１１０１の各造影点Ｐｋ（ｋ＝１，２，…，Ｋ。ただし、Ｋは第一血管領域画像１１０１における造影点の数。）に対して、第二血管領域画像１１０２上の対応点の位置を取得する。
　図３０は、対応付け部１０７の構成を示す図である。対応付け部１０７は、対応候補領域取得部１７０５と、対応候補領域保持部１７０６と、輝度変化取得部の一例として機能する輝度列取得部１７０７と、輝度列保持部１７０８と、類似度算出部の一例として機能する輝度列評価部１７０９と、輝度列評価保持部１７１０と、対応領域決定部１７１１と、対応付け制御部１７１１とを有する。
　対応候補領域取得部１７０５は、後述の対応付け制御部１７０１により指定された造影点Ｐｋに対する、対応点の候補となる対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ：ただし、Ｎは対応候補点の数）の位置を取得する。言い換えれば、対応候補領域取得部１７０５は、造影点Ｐｋの位置と、Ｘ線撮影部１０１とＸ線撮影部１０２との位置情報（撮影部情報取得部及び前記位置情報取得部よりそれぞれ取得した各位置情報）より、造影点Ｐｋの位置と、Ｘ線撮影部１０１とＸ線撮影部１０２との位置から構成される平面であるエピポーラ平面を算出し、第２の投影画像上について、算出されたエピポーラ平面と第２の投影画像との交線であるエピポーラ線を算出し、複数の第２の画像領域について、算出されたエピポーラ線上にそれぞれ位置する位置情報を取得する。
　以下、具体的な方法を、図３１の血管領域取得部１０５が行う処理のフローチャートを用いて説明する。
　ステップＳ１００１で、対応候補領域取得部１７０５は処理を開始する。
　次に、ステップＳ１００３で、対応候補領域取得部１７０５は、撮影部情報保持部１０４より、並進ベクトルＴと、回転ベクトルＲと、内部パラメータＡ１、Ａ２とを取得する。
　次に、ステップＳ１００４で、対応候補領域取得部１７０５は、取得した造影領域に対応するエピポーラ線Ｌ２を算出する。エピポーラ線Ｌ２は、造影点Ｐｋの対応点が第二画面上に出現しうる直線状の範囲であり、造影点Ｐｋの位置と、Ｘ線撮影部１０１とＸ線撮影部１０２との幾何学的な位置関係とに基づいて決定される。ここでは、造影点Ｐｋの位置は、第一血管領域画像１１０１の血管領域の点であり、本実施形態では、血管領域保持部１０６が保持する画像上で血管１２０１を示す値が保持された点の位置である。
　図３２を用いてエピポーラ線Ｌ２の概要を説明する。細線化画像１＿ＥＮＤにおける造影点Ｐｋは、三次元上の点Ｊｋ（以下、三次元点Ｊｋ）の投影点である。図３２において、２０２Ａは、Ｘ線撮影部１０１のＸ線発生部２０２Ａを示す。１２０１は、血管を示す。Ｘ線発生器２０２Ａで発生したＸ線は、血管１２０１上の三次元点Ｊｋを通過し、Ｘ線検出器２０３Ａ上の一点に投影され、第一画像上では造影点Ｐｋに投影される。
　細線化画像１＿ＥＮＤにおける造影点Ｐｋの位置からのみでは、三次元点Ｊｋの位置を知ることはできないが、Ｘ線検出器２０２Ａと、造影点Ｐｋとを結ぶ直線Ｋ上のどこかに三次元点Ｊｋが存在することになる。
　さて、この直線Ｋ上の点は、第二画像１１０２において、直線上に投影される。この第二画像エピポーラ線Ｌ２における直線は、エピポーラ線と呼ばれる。ここでは、エピポーラ線をＬ２とする。エピポーラ線Ｌ２は、Ｘ線撮影部１０２のＸ線発生部２０２Ｂと、Ｘ線発生器２０２Ａと、造影点Ｐｋとを通る平面と、第二画像１１０２の画像平面（又はＸ線検出部２０２Ｂ）とが交差する直線である。Ｘ線撮影部１０１の位置とＸ線撮影部１０２の位置との相対位置情報（並進ベクトルＴ、回転ベクトルＲ）と、どのようなカメラで撮影しているかの情報（内部パラメータＡ１、Ａ２）とがあれば、算出できる。具体的には、対応候補領域取得部１７０５は、以下の式８、式９の計算を行ってエピポーラ線Ｌ２のパラメータｌ２を算出する。
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
 ｍは造影点Ｐｋの座標を示す。
　式８において、Ｆはファンダメンタル行列と呼ばれる行列であり、Ａ１－Ｔは、内部パラメータＡ１の逆行列の転置行列を示し、［Ｔ］Ｘは、並進ベクトルＴの歪対称行列を示す。
　算出されたエピポーラ線Ｌ２のパラメータｌ２を（ａ，ｂ，ｃ）Ｔとしたとき、エピポーラ線Ｌ２は、ａｘ＋ｂｙ＋ｃ＝０となる。
　なお、Ｘ線発生部２０２Ｂと、Ｘ線発生器２０２Ａと、造影点Ｐｋとを通る平面は、造影点Ｐｋを通るエピポーラ平面と呼ばれる。
　次に、ステップＳ１００５で、対応候補領域取得部１７０５は、血管領域保持部１０６より第二血管領域画像１１０２を取得する。
　次に、ステップＳ１００６で、対応候補領域取得部１７０５は、第二血管領域画像１１０２で、エピポーラ線Ｌ２と交差する点の位置を取得する。以降の説明では、この点を対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ。ただし、Ｎは点の数）と呼ぶ。図３２の例では、対応点候補Ｑｋ＿１とＱｋ＿２との座標を取得する。
　次に、ステップＳ１００７で、対応候補領域取得部１７０５は、取得した対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）の位置を、対応点候補保持部１７０６に格納する。
　次に、ステップＳ１００８で、対応候補領域取得部１７０５は、処理を終了する。
　対応候補領域保持部１７０６は、対応候補領域取得部１７０５が取得した対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）の座標を保持する部である。図３２の場合では、対応候補点Ｑｋ＿１、Ｑｋ＿２の座標をそれぞれ取得する。
　輝度列取得部１７０７は、指定された造影点Ｐｋと、対応候補領域保持部１７０６が保持する対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）に対して輝度列を取得し、輝度列保持部１７０８に格納する。
　造影点Ｐｋの輝度列は、血管１２０１に造影剤が注入される際に、造影点Ｐｋと同じ位置の輝度がどのように変化するかを示す数値列である。
　第３実施形態では、説明を簡単にするために、造影点Ｐｋ等の位置の輝度の値そのものを取得して格納する替わりに、造影点Ｐｋ等の位置の輝度と、その位置における背景画像の輝度との輝度差の列を輝度列として取得する場合を説明する。ここでは、簡単化のために、時刻０に撮影された画像を背景画像とするが、別途、背景画像のみを取得する構成としても構わない。
　図３３は、輝度列取得部１７０７が取得する一例を示すグラフである。図３３において、太線２３０１、実線２３０２、点線２３０３は、それぞれ、造影点Ｐｋの輝度列、造影点Ｐｋの対応候補点Ｑｋ＿１の輝度列、対応候補点Ｑｋ＿２の輝度列を示すグラフである。グラフの横軸は時刻であり、１メモリは３３ｍｓｅｃである。グラフの縦軸は、輝度差である。このグラフでは、血管１２０１に造影剤が注入されて、血管１２０１に含まれる造影剤の濃度が増えている段階の輝度差を示している。
　図３４は、輝度列保持部１７０８が保持する輝度列のデータ構造の一例を示す図である。輝度列取得部１７０７が取得する輝度列のデータは、造影点Ｐｋの輝度列Ｌ＿Ｐｋ＿ｔ（ｔ＝０，１，…，ＥＮＤ）及び、対応候補点Ｑｋ＿ｎの輝度列Ｌ＿Ｑｋ＿ｎ＿ｔ（ｎ＝１，２，…，Ｎ、ｔ＝０，１，…，ＥＮＤ）を有する。
　前述したように、輝度列取得部１７０７は、造影点Ｐｋの位置の輝度ｌ＿Ｐｋ＿ｔ（ｔ＝０，１，…，ＥＮＤ）と、その位置における背景画像の輝度ｌ＿Ｐｋ＿０との輝度差の値、すなわち、Ｌ＿Ｐｋ＿ｔ＝ｌ＿Ｐｋ＿ｔ－ｌ＿Ｐｋ＿０の値を取得し、造影点Ｐｋの輝度列とする。なお、ｌ＿ｐｋ＿ｔは、画像１＿ｔの座標（ｘ、ｙ）の輝度である。
　輝度列取得部１７０７は、対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）に対する輝度列も同様に取得して、輝度列保持部１７０８に格納する。
　輝度列保持部１７０８は、輝度列取得部１７０７が取得した輝度列を保持する。図３４は、造影点Ｐｋの対応候補点Ｑｋ＿ｎが２つある場合（ｎ＝１，２の場合）の輝度列保持部１７０８が保持する輝度列を示す図である。
　輝度列評価部１７０９は、輝度列保持部１７０８が保持する各対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）の評価を行う部である。図３５は、輝度列評価部１７０９の構成を示す図である。
　輝度列評価部１７０９は、正規化輝度列取得部１７２１と、正規化輝度列保持部１７２２と、差合計取得部１７２０とで構成される。
　正規化輝度列取得部１７２１は、輝度列保持部１７０８が保持する輝度列を正規化する部である。ここでは、輝度列保持部１７０８が保持する輝度列のうちの最大値を抽出し、輝度列のそれぞれの値を、抽出した最大値で割った値の列を、正規化輝度列として正規化輝度列保持部１７２２に格納する。
　図３３に示す輝度列を正規化した正規化輝度列のグラフを、図３６に示す。図３６において、太線２５０１、実線２５０２、点線２５０３は、それぞれ、造影点Ｐｋの正規化輝度列、対応候補点Ｑｋ＿１の正規化輝度列、対応候補点Ｑｋ＿２の正規化輝度列のグラフをそれぞれ示す。
　正規化輝度列保持部１７２２は、正規化輝度列取得部１７２１が生成した正規化輝度列を格納する部である。
　差合計取得部１７２０は、正規化輝度列保持部１７２２が保持する対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）の正規化輝度列が、造影点Ｐｋの正規化輝度列と同じような輝度変化をしているか、異なる輝度変化をしているかの評価値Ｈ＿ｎ（ｎ＝１，２，…，Ｎ）を算出し、輝度列評価保持部１７１０に格納する。第３実施形態では、式１０に基づいてその評価を行う。
Figure JPOXMLDOC01-appb-M000010
　ここで記号｜Ｘ｜は、Ｘの絶対値を示す。第３実施形態における評価値Ｈ＿ｎは、各時刻における、造影点Ｐｋの正規化輝度と、対応候補点Ｑｋ＿ｎの正規化輝度との差分の絶対値の合計である。
　図３７は、対応候補点Ｑｋ＿１に対する評価値Ｈ＿ｎを示すグラフである。図３７において、太線２５０１、実線２５０２は、それぞれ、造影点Ｐｋの正規化輝度列、対応候補点Ｑｋ＿１の正規化輝度列のグラフを示す。対応候補点Ｑｋ＿１に対する評価値Ｈ＿ｎは、図３７中の斜線の領域の面積である。
　図３８は、対応候補点Ｑｋ＿２に対する評価値Ｈ＿ｎを示すグラフである。図３８において、太線２５０１、点線２５０３は、それぞれ、造影点Ｐｋの正規化輝度列、対応候補点Ｑｋ＿２の正規化輝度列のグラフを示す。対応候補点Ｑｋ＿２に対する評価値Ｈ＿ｎは、図３８の斜線の領域の面積である。
　輝度列評価保持部１７１０は、輝度列保持部１７０８が取得した各対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）の輝度列の評価値（すなわち、差合計）Ｈ＿ｎ（ｎ＝１，２，…，Ｎ）を保持する部である。
　対応領域決定部１７１１は、輝度列評価保持部１７１０が保持する評価値Ｈ＿ｎ（ｎ＝１，２，…，Ｎ）のうち、最も小さい評価値を選択する。対応領域決定部１７１１は、対応領域決定部１７１１が選択した評価値がＨ＿ｎのとき、対応候補点Ｑｋ＿ｎを、造影点Ｐｋの対応点Ｑｋに決定する。一例として、対応領域決定部１７１１は、評価値Ｈ＿１及びＨ＿２が、それぞれ図３７及び図３８で示される斜線の面積の場合には、面積が小さい方の対応候補点Ｑｋ＿１を造影点Ｐｋの対応点Ｑｋに決定する。
　対応付け制御部１７０１は、対応付け部１０７を構成する各部を用いて対応付けを行うように制御する部である。図３９は、対応付け制御部１７０１が行う処理の流れを示すフローチャートである。
　ステップＳ１４０１で、対応付け制御部１７０１は処理を開始する。
　次に、ステップＳ１４０２で、対応付け制御部１７０１は、血管領域保持部１０６より第一血管領域画像１１０１を取得する。
　次に、対応付け制御部１７０１は、ステップＳ１４０２で取得した第一血管領域画像１１０１で血管領域の黒色の点に対して、ステップＳ１４０４からステップＳ１４１５の処理を行う。以下の説明では、黒色の点を造影点Ｐｋ（ｋ＝１，２，…，Ｋ：ただし、Ｋは黒色の点の数）とする。
　まず、ステップＳ１４０６で、対応付け制御部１７０１は、対応候補領域取得部１７０５に処理を指示する。対応候補領域取得部１７０５は、造影点Ｐｋに対する対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ：ただし、Ｎは対応候補点の数）を取得し、取得した対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）の座標を対応候補領域保持部１７０６に格納する。
　次に、ステップＳ１４０７で、対応付け制御部１７０１は、輝度列取得部１７０７に処理を指示する。輝度列取得部１７０７は、造影点Ｐｋと、対応候補領域保持部１７０６が保持する対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）の輝度列とをそれぞれ取得し、輝度列保持部１７０８に格納する。
　次に、ステップＳ１４０８で、対応付け制御部１７０１は、正規化輝度列取得部１７２１に処理を指示する。正規化輝度列取得部１７２１は、輝度列保持部１７０８が保持する輝度列のうちの最大値を抽出し、輝度列のそれぞれの値を、抽出した最大値で割った値の列を、正規化輝度列として算出することにより、造影点Ｐｋと、対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）の正規化輝度列とをそれぞれ取得し、正規化輝度列保持部１７２２に格納する。
　次に、ステップＳ１４０９で、対応付け制御部１７０１は、差合計取得部１７２０に処理を指示する。差合計取得部１７２０は、正規化輝度列保持部１７２２が保持する対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）の正規化輝度列が、造影点Ｐｋの正規化輝度列と同じような輝度変化をしているか、異なる輝度変化をしているかの評価値Ｈ＿ｎ（ｎ＝１，２，…，Ｎ）を算出して、対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）の評価値（すなわち、差合計）を取得し、輝度列評価保持部１７１０に格納する。
　次に、ステップＳ１４１０で、対応付け制御部１７０１は、対応領域決定部１７１１に処理を指示する。対応領域決定部１７１１は、造影点Ｐｋの対応点Ｑｋを決定する。すなわち、対応領域決定部１７１１は、輝度列評価保持部１７１０が保持する評価値Ｈ＿ｎのうち、最も値が低い評価値Ｈｋとなる対応候補点Ｑｋ＿ｘ（ただし、ｘは、評価値がＨｋとなる対応候補点の識別子を示す）を選択する。また、対応領域決定部１７１１は、最も低い評価値Ｈｋを対応点Ｑｋの評価値とする。
　次に、ステップＳ１４１１で、対応付け制御部１７０１の制御の下で、対応領域決定部１７１１は、造影点Ｐｋの座標と、対応点Ｑｋの座標と、対応点Ｑｋの評価値Ｈｋとを対応情報保持部１０８に格納して、ステップＳ１４０４から始まった処理を終了する。
　次に、ステップＳ１４９９で、対応付け制御部１７０１は処理を終了する。
　対応情報保持部１０８は、対応付け部１０７が取得した、造影点Ｐｋ（ｋ＝１，２，…，Ｋ：Ｋは造影点の数）の座標と、対応点Ｑｋ（ｋ＝１，２，…，Ｋ）の座標と、対応点Ｑｋの評価値Ｈｋ（ｋ＝１，２，…，Ｋ）とを格納する部である。図４０は、対応情報保持部１０８のデータ構造の一例を示す。初期状態では、対応情報保持部１０８が保持する組合せの数は０個であるが、対応付け制御部１７０１のステップＳ１４１１の処理が行われる度に、一行ずつデータが対応情報保持部１０８に追加される。
　図２１の三次元位置取得部１０９は、対応情報保持部１０８が保持するそれぞれの行の造影点Ｐｋの座標と、それぞれの行の対応点Ｑｋの座標を用いて、三角測量の原理を用いて、三次元上の三次元点Ｊｋの座標を算出し、算出したＪｋ（ｋ＝１，２，…，Ｋ）の座標を三次元位置保持部１１０に格納する。
　三次元位置保持部１１０は、三次元位置取得部１０９が算出した三次元点Ｊｋ（ｋ＝１，２，…，Ｋ）の座標を保持する。図４１は、三次元位置保持部１１０のデータ構造の一例を示す図である。Ｋ行目には、（ＪＫ＿Ｘ、ＪＫ＿Ｙ、ＪＫ＿Ｚ）を保持する。ＪＫ＿Ｘ、ＪＫ＿Ｙ、ＪＫ＿Ｚは、それぞれ、三次元点ＪＫのＸ座標、Ｙ座標、Ｚ座標を示す。
　表示画面生成部１１１は、三次元位置保持部１１０が保持する三次元点Ｊｋ（ｋ＝１，２，…，Ｋ）を表示するＣＧ（コンピュータグラフィックス）の画面を生成する。図４２は、表示画面生成部１１１が生成する表示画面の一例を示す図である。なお、ここでの三次元表示は表示方法の一例として、各三時原点を球として表示する場合を示すが、他の表示方法であっても構わない。三次元表示は、たとえば、ポリゴン表示などであっても構わない。
　表示部１１２は、表示画面生成部１１１が生成した画面を表示する。表示部１１２は、具体的には、ディスプレイ装置、又は、プロジェクター投影装置等の表示装置である。
　＜形状復元装置１の処理の流れ＞
　図４３は、形状復元装置１が行う処理のフローチャートを示す。
　まず、ステップＳ１９０１で、形状復元装置１は処理を開始する。
　次に、ステップＳ１９０２で、Ｘ線画像取得部１１３は、前述のＸ線画像取得部１１３の処理を行う。すなわち、Ｘ線撮像部１０１～１０２よりＸ線画像を取得し、Ｘ線画像保持部１０３に格納する。
　次に、ステップＳ１９０３で、血管領域取得部１０５は、前述した血管領域取得部１０５の処理を行う。すなわち、血管領域取得部１０５は、Ｘ線画像保持部１０３が保持する画像に基づいて、第一血管領域画像１１０１と、第二血管領域画像１１０２とをそれぞれ取得し、血管領域保持部１０６に格納する。
　次に、ステップＳ１９０４で、対応付け部１０７は、前述の対応付け部１０７の処理を行う。すなわち、対応付け部１０７は、血管領域保持部１０６に保持された第一血管領域画像１１０１の各造影点Ｐｋ（ｋ＝１，２，…，Ｋ）の対応点Ｑｋを決定し、対応情報保持部１０８に対応情報を格納する。
　次に、ステップＳ１９０５で、三次元位置取得部１０９は、前述の三次元位置取得部１０９の処理を行う。すなわち、三次元位置取得部１０９は、対応情報保持部１０８より、第一血管領域画像１１０１の各造影点Ｐｋ（ｋ＝１，２，…，Ｋ）に対して、三次元点Ｊｋの三次元位置を算出し、三次元位置保持部１１０に格納する。
　次に、ステップＳ１９０６で、表示画像生成部１１１は、三次元位置保持部１１０に保持された三次元点Ｊｋの三次元位置を基に、各三次元点Ｊｋ（ｋ＝１，２，…，Ｋ）を表示するＣＧの画面を生成する。
　次に、ステップＳ１９０７で、表示部１１２は、表示画像生成部１１１が生成した表示画面を表示する。その後、ステップＳ１９０８で一連の処理を終了する。
　＜形状復元装置１が行う処理の原理＞
　血管１２０１に造影剤を投入すると、血管１２０１上の三次元点Ｊｋに存在する造影剤の量は、時間と共に変化する。そのとき、三次元点Ｊｋを撮影した造影点Ｐｋ、及び、対応点Ｑｋの輝度も変化する。形状復元装置１は、造影点Ｐｋと、複数の対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）との輝度の変化の情報をそれぞれ取得し、輝度変化の情報の類似度を評価して、対応候補点Ｑｋ＿ｎの中から対応点Ｑｋを対応領域決定部１７１１で決定する装置である。
　まず、血管１２０１上の三次元点Ｊｋの造影剤の量の変化について説明する。ある三次元点Ｊｋにおける造影剤の量の変化を図４４に示す。造影剤を投入する前（時刻Ｔ２より前の時間）は、造影剤は流れていないが、時刻Ｔ２より徐々に造影剤が流れ始め、時刻Ｔ３で一定となり、時刻Ｔ４よりやがて徐々に減少していき、時刻Ｔ５で造影剤が流れていない状態になる。
　このような血管１２０１に含まれる造影剤の量の時間変化は、血管のどの部分かによって異なる。例えば、造影剤を噴出した地点から近い位置では、造影剤が流れ始める時刻Ｔ２での造影剤の量の時間変化は早いが、造影剤を噴出した地点から遠い位置では、造影剤が流れ始める時刻Ｔ２での造影剤の量の時間変化は遅くなる。同様に、造影剤が減少する時刻Ｔ４での造影剤の量の時間変化も、血管のどの部分かによって異なる。
　また、造影剤が流れ始める時刻Ｔ２から、一定となるまでの時刻Ｔ３での造影剤の量の時間変化も、血管のどの部分かによって異なる。例えば、血液が、上向きに流れる部分では、重力に逆らって造影剤が流れるので、造影剤が濃くなるのに時間がかかる。よって、造影剤の濃度が一定となるまでにかかる時間（Ｔ３－Ｔ２）が長い。逆に、造影剤が下向きに流れる部分では、重力によって造影剤の速度が速くなる。よって、造影剤の濃度が一定となるまでの時間（Ｔ３－Ｔ２）は短い。また、狭い血管では血液は早く、一定となるまでの時間（Ｔ３－Ｔ２）は短く、逆に、広い血管では血液がゆっくり流れるため、一定となるまでの時間（Ｔ３－Ｔ２）は長い。以上のように、血管のある部分に流れている造影剤の量は時間によって変化するが、その変化の仕方は、血管の場所によって異なる。同様に、造影剤が減少を開始する時刻から減少が完了するまでにかかる時間（Ｔ５－Ｔ４）も、血管のどの部分かによって異なる。
　次に、三次元点Ｊｋの造影剤の濃度が変化したときの造影点Ｐｋと、対応点Ｑｋとの輝度の変化を説明する。三次元点ＪｋのＸ線画像に投影した造影点Ｐｋの輝度変化は、三次元点Ｊｋにおける造影剤の濃度の変化と同じ傾向で変化する。三次元点Ｊｋにおける造影剤の濃度が濃くなると、造影点Ｐｋと、対応点Ｑｋとの輝度は暗くなり、三次元点Ｊｋにおける造影剤の濃度が薄くなると、造影点Ｐｋと、対応点Ｑｋとの輝度は明るくなるため、造影剤の濃度の変化と同じ傾向で変化するのは、当然の結果である。
　図３３は、ある三次元点Ｊｋを異なる２つの方向から撮影した際の輝度列である。図３３において太線２３０１は、三次元点Ｊｋの造影点Ｐｋの輝度列であり、実線２３０２は、造影点Ｐｋの対応点Ｑｋの輝度列である。また、点線２３０３は、三次元点Ｊｋとは別の三次元点Ｊｘ（ｘ≠ｋ）を造影点Ｐｋが撮影された画像が撮影された時とは別の方向から撮影した対応点Ｑｘの輝度変化である。グラフの横軸は時刻であり、１メモリは３３ｍｓｅｃである。縦軸は差分画像の輝度である。このグラフでは、造影剤が注入されてから一定の濃度になるまでの途中の段階の輝度を示している。また、このグラフにおいて、造影点Ｐｋと対応点Ｑｋとの輝度列の輝度変化の増減の傾向は似ているが、造影点Ｐｋと対応点Ｑｘとの輝度列の輝度変化は似ていない。
　しかし、図３３に示したように、造影点Ｐｋの輝度と対応点Ｑｋの輝度とは、輝度そのものは一致しない。例えば、時刻１３（図中０．４secの時刻）における造影点Ｐｋの輝度は「５６」であるのに対して、その対応点Ｑｋの輝度は「４６」となる。
　このような輝度の差が発生する理由は、血管１２０１の断面形状と関連する。以下、図４５と図４６を用いてこれを説明する。図４５は血管１２０１の一例を示す図である。Ｘ線画像１２１１は、Ｘ線撮影部１０１で撮影したＸ線画像を示し、血管像１２２１は、Ｘ線画像１２１１における血管１２０１の像である。同様に、Ｘ線画像１２１２は、Ｘ線撮影部１０２で撮影したＸ線画像を示し、血管像１２２２は、Ｘ線画像１２１２における血管１２０１の像である。また、Ｊｋ、Ｐｋ、Ｑｋはそれぞれ、三次元点Ｊｋと、三次元点Ｊｋの造影点Ｐｋと、造影点Ｐｋの対応点Ｑｋとを示す。図４６は、三次元点Ｊｋと造影点Ｐｋと対応点Ｑｋを通る平面（エピポーラ平面）を、図４５の＋Ｙ方向から－Ｙ方向に見た図である。血管断面３６１は血管１２０１の断面形状であり、図４６に示すように楕円形状である。（特別な場合を除き、血管１２０１の楕円形状は楕円となる）。厚さ３６２１は、造影点Ｐｋに到達するＸ線が通過する血管１２０１の厚さであり、厚さ３６２２は、造影点Ｑｋに到達するＸ線が通過する血管１２０１の厚さである。血管１２０１の断面形状が（円でなく）楕円であることより、この２つの厚さ３６２１と３６２２とは異なる厚さとなる。造影点Ｐｋに到達するＸ線は、より厚い血管断面を通過するため、対応点Ｑｋの輝度よりも暗い輝度（背景との輝度差は小さく）となる。このように、血管１２０１上の三次元点Ｊｋを撮影した造影点Ｐｋ（又は対応点Ｑｋ）の輝度は、通過する血管１２０１の厚さが厚いほど暗い値になる。しかし、通過する血管１２０１の厚さは、血管１２０１を撮影する方向によって異なるため、同じ三次元点Ｊｋを投影した点であっても、撮影方向によって異なる輝度となる。
　このような撮影方向による輝度の差をなくすために、第３実施形態では輝度列を正規化し、正規化輝度列同士を比較して対応点を決定している。
　第３実施形態では、正規化輝度列同士の比較に、式１０の差分合計の式を用いる。造影点Ｑｋの正規化輝度列と対応点Ｑｋ正規化輝度列との変化の傾向が一致している場合、各時刻における正規化輝度の値は等しい値になる。よって、それぞれの時刻における正規化輝度の差の絶対値を輝度列評価部１７０９で算出し、その合計を算出すれば理論的には０になる。そこで、第３実施形態では、輝度列評価部１７０９において式１０の値を評価値とし、評価値の値が最も低い対応候補点Ｑｋ＿ｎを造影点Ｐ１の対応点Ｑｋと輝度列評価部１７０９で決定している。
　＜第３実施形態の効果＞
　本手法にかかる画像領域対応付け装置及び３次元モデル生成装置では、造影点Ｐｋの対応点候補Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）が、エピポーラ線Ｅ上に複数存在するときに、正規化輝度列の変化に基づいて対応点を決定できる。
　第一に、造影剤が注入された造影点Ｐｋのそれぞれに対して、対応点を決定できる。非特許文献１の方法では、血管領域の端点のみしか血管の対応付けを行うことが出来なかったのに対して、第３実施形態にかかる本手法にかかる画像領域対応付け装置及び３次元モデル生成装置では、端点以外の点に対しても対応付けが出来、より、細かい形状の復元を行うことが出来る。
　本手法では、造影点Ｐｋの正規化輝度と、造影点Ｐｋの対応候補点Ｑｋ＿ｎの正規化輝度との各時刻の差の和を評価値としている。このような評価値を用いれば、造影点Ｐｋに対する対応点Ｑｋの評価値は（対応点以外の対応候補点の評価値の値よりも）小さな値となるため、評価値に基づいて対応点を決定することが出来る。
　第二に、血管１２０１の断面形状が楕円になるような場合でも、造影点Ｐｋの対応付けができる。
　図４７の２つの図は、図４５におけるＸ線画像１２１１～１２１２をそれぞれ拡大して表示した図である。Ｘ線画像１２１１における血管像１２２１は、暗い部分３８１１（輝度が低い部分、すなわち、背景との輝度差が高い部分）と、明るい部分３８２１（輝度が高い部分、すなわち背景との輝度差が低い部分）となる。明るい部分３８２１は実際にはグラデーションになっており、上に向かって徐々に明るくなっている。血管１２０１に注入された造影剤は、周囲の血液と混ざるため、端に近づくに従ってこのように徐々に造影剤の濃度が薄くなる。すなわち、輝度が高く（明るく）なっている。血管端点３８３１は、血管像１２２１の端点である。Ｘ線画像１２１１において暗い部分３８１１として撮影される血管部分は、Ｘ線画像１２１２において明るい部分３８１２となる。これは、前述したように、Ｘ線画像１２１１とＸ線画像１２１２とで、血管像の輝度が異なるためである。また、Ｘ線画像１２１１において明るい部分３８１１として撮影される血管部分は、Ｘ線画像１２１２においてはより明るくなるので、抽出できなくなる（図４７の右図中で、点線で囲まれた範囲が抽出できない部分である。）。よって、血管像１２２２の端点は３８３２の位置となる。そのため、Ｘ線画像１２１１で抽出される端点３８３１と、Ｘ線画像１２２２で抽出される端点３８３２とは、三次元上の異なる点の投影点となる。このとき、端点３８３１に対するエピポーラ線３８４１上に対応点が存在しないため、端点同士の対応付けを行うことが出来ない。また、ここでは、血管１２０１が一本しかない場合を説明しているが、たまたま他の血管の端点がエピポーラ線３８４１の上にあった場合、その血管を誤対応させてしまう。本手法では、造影点Ｐｋ及び対応候補点Ｑｋ＿ｎの輝度変化を正規化して比較するため、造影点Ｐｋと対応点Ｑｋとの輝度が異なる場合においても、輝度列を比較することで、正しく対応付けを行うことができる。また、特定の時刻で、造影点Ｐｋと対応点Ｑｘ（ｘ≠ｋ）との輝度が、たまたま等しくなる場合においても、輝度列を比較することで、正しく対応付けを行うことができる。
　なお、第３実施形態では、対応候補点Ｑｋ＿ｎの評価値を算出する際、一旦、正規化輝度列を生成して、正規化輝度列同士を比較する構成を説明しているが、Ｘ線撮影部１０１とＸ線撮影部１０２との方向が近い場合（あるいは１８０度差に近い場合）には、輝度列そのものを比較する構成であっても構わない。
　なお、第３実施形態では、Ｘ線画像取得部１１３が処理を開始した後に造影剤の注入が開始される場合を説明しているが、造影剤の注入が既に開始されている段階で、Ｘ線画像取得部１１３が処理を開始しても構わない。
　なお、第３実施形態では、入力ＩＦ１１４によって、画像取得の終了の指示された後に、血管領域取得部１０５は処理を行う場合を説明しているが、画像取得部１１３がＸ線画像を取得する度に、後続のステップＳ１９０３からステップＳ１９０７の処理を行う構成であっても構わない。このような構成を用いれば、血管１２０１に造影剤が広がる途中のタイミングにおいても、操作者（術者）は表示装置１１２を見ることで、血管１２０１の三次元構成を確認することが出来る。
　なお、第３実施形態では、造影点Ｐｋの対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）のうち、最も評価値の良い対応候補点Ｑｋ＿ｎを表示画像生成部１１１で生成して表示部１１２で表示する構成を説明している。しかし、造影点Ｐｋの対応点が必ず撮影されているとは限らない。例えばＸ線撮影部１０２では撮影されない位置に三次元点Ｊｋが存在する場合、対応点は撮影されない。そこで、最も良い評価値が所定の閾値よりも悪い場合（ここでは、対応候補点の評価値のうち、最も小さい値が所定の評価値よりも大きい場合）には、その対応候補点Ｑｋ＿ｎを表示部１１２で表示しない構成としても構わない。また、前記の所定の閾値を表示部１１２に入力する手段を設けても構わない。その場合、表示部１１１は、評価値の値が所定の閾値よりも小さい対応点のみを表示する。
　なお、第３実施形態における輝度列取得部１７０７は、各時刻の輝度と、背景画像の輝度との差の輝度列を取得とする構成を示しているが、各時刻の輝度そのものの輝度列を取得する構成としてもよい。その場合は、正規化を行う際に、輝度列の最小値と、最大値を取得して、｛（輝度）―（最小値）｝／｛（最大値）－（最小値）｝の値の列を正規化輝度列とする。
　なお、第３実施形態では、並進ベクトルＴと、回転ベクトルＲと、内部パラメータＡ１、Ａ２との撮影部情報を撮影部情報保持部１０４に予め保持する構成を示ししているが、これらの情報を、Ｘ線撮影部１０１及びＸ線撮影部１０２の各Ｘ線発生部２０２と各Ｘ線検出部２０３との位置から、撮影部情報保持部１０４が随時取得して保持する構成であっても構わない。
　なお、第３実施形態における血管領域取得部１０５は、画像１＿ＥＮＤ、画像２＿ＥＮＤから、造影剤が投入された血管１２０１の領域を取得する構成を説明しているが、血管領域取得部１０５は、各時刻で造影剤が投入された領域を取得し、その和となる領域を血管領域としても構わない。このような構成を用いれば、時刻ＥＮＤで血管領域として抽出しそこねた範囲があったとしても、他の時刻で血管領域として抽出できれば、最終的には、その領域を含めて血管領域として血管領域取得部１０５で抽出することが出来る。
　なお、第３実施の形態における血管領域取得部１０５の細線化部１５０３の処理は省略しても構わない。細線化部１５０３の処理は、対応付け部１０７で対応点を見つける対象となる造影点Ｐｋの数を削減するための処理であり、細線化部１５０３の処理を省略すると、対応付け部１０７の処理時間が長くなる。
　なお、第３実施形態における輝度列評価部１７０９は、造影点Ｐｋと対応候補点Ｑｋ＿ｎの正規化輝度列を比較し、輝度差の合計を評価値としているが、輝度差の最大値を評価値とする構成であっても構わない。
　（第４実施形態）
　本発明の第３実施形態では、造影点Ｐｋに対する各対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）に対して式１０で示される差合計を差合計取得部１７２０で取得し、差合計が最小となる対応候補点Ｑｋ＿ｎを造影点Ｐｋの対応点Ｑｋに対応領域決定部１７１１で決定している。
　これに対して、本発明の第４実施形態では、差合計を用いる替わりに、所定比時刻を用いる。所定比時刻とは、造影点Ｐｋ（又は対応候補点Ｑｋ＿ｎ）の輝度が、その点の最大の輝度に対して所定の比率（所定比）（例えば、８０％又は５０％）に到達する時刻のことである。図４８を用いて所定比時刻を説明する。図４８において、２５０１は造影点Ｐｋの正規化輝度列のグラフ、２５０２は造影点Ｐｋの対応点Ｑｋの正規化輝度列のグラフ、２５０３は、Ｘ線撮影部１０２によって撮影された対応点Ｑｋ以外の対応点Ｑｘ（ｘ≠ｋ）の正規化輝度列のグラフを示す。２８０１～２８０３は、所定比率（所定比）を０．８（８０％）としたときの、造影点Ｐｋ，対応点Ｑｋ，対応点Ｑｘのそれぞれの所定比時刻である。２８１１～２８１３は、所定比率（所定比）を０．５（５０％）としたときの、造影点Ｐｋ，対応点Ｑｋ，対応点Ｑｘのそれぞれの所定比時刻である。
　図４９は、第４実施形態における形状復元装置（３次元モデル生成装置）１Ａの構成を示す図である。形状復元装置１Ａは、一例として、画像領域対応付け装置９Ａと、３次元モデル生成部１６Ａと、表示部１１２とを備える。
　さらに、画像領域対応付け装置９Ａは画像領域対応付け装置９３と類似し、３次元モデル生成部１６Ａは３次元モデル生成部１６３と類似しているが、以下の点が異なる。
　形状復元装置１Ａでは、第３実施形態における対応付け部１０７の替わりに、対応付け部１０７Ａを用いる。図５０は、対応付け部１０７Ａの構成を示す図である。対応付け部１０７Ａは、輝度列評価部１７０９と対応付け制御部１７０１との替わりに、それぞれ、輝度列評価部１７０９Ａと対応付け制御部１７０１Ａとを用いる。輝度列評価部１７０９Ａは、図８０に示すように、正規化輝度列取得部１７２１と、正規化輝度列保持部１７２２と、所定比時刻取得部１７３１と、所定比時刻保持部１７３２と、所定比時刻差取得部１７３３とで構成される。このうち、正規化輝度列取得部１７２１と、正規化輝度列保持部１７２２とは、第３実施形態の正規化輝度列取得部１７２１と、正規化輝度列保持部１７２２と同様である。以下、第３実施形態と異なる点を中心に説明する。なお、他の実施形態と同様の構成については同一の符号を付し、説明を適宜省略する。
　所定比時刻取得部１７３１は、正規化輝度列保持部１７２２が保持する各正規化輝度列より、造影点Ｐｋ（又は対応候補点Ｑｋ＿ｎ）の輝度が、その点の最大の輝度に対して所定の比率に到達する時刻を取得し、所定比時刻保持部１７３２に格納する。具体的には、所定比時刻取得部１７３１は、造影点Ｐｋに対する正規化輝度列より、所定比率に到達する時刻を取得し、所定比時刻保持部１７３２に格納する。また、所定比時刻取得部１７３１は、造影点Ｐｋの対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）に対する正規化輝度列より、所定比率になる時刻を取得し、所定比時刻保持部１７３２に格納する。ここでは、一例として、所定比率は、第一所定比率Ｓ＿１＝０．５と、第二所定比率Ｓ＿２＝０．８との二つとする。
　以降の説明では、所定比時刻取得部１７３１は、において、対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）に対する第一所定比時刻をそれぞれ、Ｔｋ＿ｎ＿１（ｎ＝１，２，…，Ｎ）とし、第二所定比率をＴｋ＿ｎ＿２（ｎ＝１，２，２，…，Ｎ）とする。また、造影点Ｐｋに対する第一所定比時刻をＴｋ＿ｐ＿１とし、第二所定比率をＴｋ＿ｐ＿２とする。
　所定比時刻取得部１７３１は、図４８の場合では、２８０１～２８０３の時刻（例えば、０．３、０．３２５、０．３６６）と、２８１１～２８１３の時刻（例えば、０．２５、０．２７５、０．３２５）とをそれぞれ取得する。
　所定比時刻保持部１７３２は、所定比時刻取得部１７３１が取得した時刻を保持する部である。具体的には、所定比時刻保持部１７３２は、造影点Ｐに対する第一所定比時刻Ｔｋ＿ｐ＿１と、第二所定比率Ｔｋ＿ｐ＿２と、対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）に対する第一所定比時刻Ｔｋ＿ｎ＿１（ｎ＝１，２，…，Ｎ）と、第二所定比率Ｔｋ＿ｎ＿１（ｎ＝１，２，…，Ｎ）とをそれぞれ保持する。図５１は、所定比時刻保持部１７３２が保持する所定比時刻のデータ構造の一例を示す図である。データのｓ行目は、造影点Ｐｋと対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ。ただし、ここではｎ＝１、２の場合を示す。）の第ｓ所定比時刻を保持する。（ここでは、ｓ＝１、２）。
　所定比時刻差取得部１７３３は、所得比時刻保持部１７３２が保持する所定比時刻Ｔｋ＿ｎ＿ｓ（ｓ＝１，１．１，…，Ｓ。ただし、第４実施形態では、所定比時刻の数Ｓ＝２。）に基づいて造影点Ｐｋの対応候補点Ｑｋ＿ｎの評価値を取得し、輝度列評価保持部１７１０に格納する。具体的には、所定比時刻差取得部１７３３は、各対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）に対して式１１の評価値を算出し、算出した評価値を輝度列評価保持部１７１０に格納する。
Figure JPOXMLDOC01-appb-M000011
　第４実施形態では、Ｓ＝２（所定比時刻を２つ）とし、式１２とする。
Figure JPOXMLDOC01-appb-M000012
　式１２は、造影点Ｐｋの第一所定比時刻Ｔｋ＿ｐ＿１と、対応候補点Ｑｋ＿ｎの第一所定比時刻Ｔｋ＿ｎ＿１との両者の時刻が近い程、両者の差は小さい値である。また、造影点Ｐｋの第二所定比時刻Ｔｋ＿ｐ＿２と、対応候補点Ｑｋ＿ｎの第二所定比時刻Ｔｋ＿ｎ＿２の時刻との両者の時刻が近い程、両者の差は小さい値である。第４実施形態では、式１２の値を評価値Ｈ＿ｎとすることで、対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）の中から、造影点Ｐｋの輝度変化の情報と似ている対応候補点を対応領域決定部１７１１で選択する。
　対応付け制御部１７０１Ａは、対応付け部１０７Ａを構成する各部を用いて対応付けを行う部である。図５２は、対応付け制御部１７０１Ａが行う処理の流れを示すフローチャートである。ステップＳ１４０９の替わりに、ステップＳ１４０９ＡとステップＳ１４０９１とを実行する。他の処理は、第３実施形態と同様であるため、説明を省略する。
　ステップＳ１４０８の次にステップＳ１４０９Ａにおいて、対応付け制御部１７０１Ａは、所定比時刻取得部１７３１に処理を指示する。所定比時刻取得部１７３１は、前述の所定比時刻取得部１７３１の処理を行う。すなわち、所定比時刻取得部１７３１は、造影点Ｐｋと対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）とのそれぞれの所定比時刻を取得して、所定比時刻保持部１７３２に格納する。
　次に、ステップＳ１４０９１において、対応付け制御部１７０１Ａは、所定比時刻差取得部１７３３に処理を指示する。所定比時刻差取得部１７３３は、所得比時刻保持部１７３２が保持する所定比時刻Ｔｋ＿ｎ＿ｓ（ｓ＝１，１．１，…，Ｓ。ただし、第４実施形態では、所定比時刻の数Ｓ＝２。）に基づいて造影点Ｐｋの対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）に対する評価値を取得し、輝度列評価保持部１７１０に格納する。その後、ステップＳ１４１０の処理を行う。
　＜形状復元装置１Ａの処理の流れ＞
　図４３のステップＳ１９０４において、対応付け部１０７Ａは、前述の対応付け部１０７Ａの処理を行う。すなわち、対応付け部１０７Ａは、造影領域の各造影点Ｐｋの対応点Ｑｋを決定し、対応情報保持部１０８に対応情報を格納する。他は、第３実施形態の場合と同様である。
　なお、対応情報保持部１０８は、造影点Ｐｋと対応点Ｑｋとの位置に加えて、造影点Ｐｋ又は対応点Ｑｋにおける第二所定比時刻と第一所定比時刻との差Ｓｋを格納する構成としても構わない。差Ｓｋは、血液の流れが早い所では小さな値となり、血液の流れ遅いところでは大きな値となる。よって、差Ｓｋを取得することで、造影点Ｐｋにおける血液の速度の目安を取得することが出来る。また、表示画面生成部１１１は、この血液の速度に基づいて表示画面を生成する。具体的には、表示画面生成部１１１は、例えば、差Ｓｋが第一の所定の値よりも大きいところの血管は黄色で表示し、それ以外のところは赤で表示するように表示画面を生成することができる。このような表示を行えば、血管の速度が速い場所を提示することが出来る。更に、表示画面生成部１１１は、差Ｓが第二の所定の値よりも小さいところの血管を青色で表示するように表示画面を生成することができる。このような表示を行えば、血管の速度が遅い場所を提示することが出来る。
　＜第４実施形態の効果＞
　第４実施形態では、第３実施形態と同様の効果が得られる。
　なお、ここでは、Ｘ線撮像装置造影剤の量が増加する様子を、Ｘ線撮影部１０１～１０２で撮影する場合を説明しているが、造影剤が減少する様子をＸ線撮影部１０１～１０２で撮影する構成としても構わない。その場合は、正規化輝度列が所定比を上回る最初の時刻を取得する替わりに、正規化輝度列が所定比を下回る最初の時刻を取得する。
　（第５実施形態）
　第３実施形態では、各対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）より、所定比時刻を取得し、対応候補点Ｑｋ＿ｎの中から、造影点Ｐｋと所定比時刻とが近い対応候補点Ｑｋ＿ｘを対応点Ｑｋに選択している。
　これに対して、本発明の第５実施形態では、所定比時刻を取得する替わりに、微分輝度列のピーク時刻を取得する。微分輝度列は、輝度列を微分した値の列であり、ピーク時刻は、微分輝度列が最大になる時刻である。第５実施形態では、各対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）に対するピーク時刻を取得し、対応候補点Ｑｋ＿ｎの中から、造影点Ｐｋとピーク時刻が近いものを対応点Ｑｋに選択する。
　図５３は、第５実施形態における形状復元装置（３次元モデル生成装置）１Ｂの構成を示す図である。形状復元装置１Ｂは、一例として、画像領域対応付け装置９Ｂと、３次元モデル生成部１６Ｂと、表示部１１２とを備える。
　さらに、画像領域対応付け装置９Ｂは図２１の画像領域対応付け装置９３と類似し、３次元モデル生成部１６Ｂは図２１の３次元モデル生成部１６３と類似しているが、以下の点が異なる。
　形状復元装置１Ｂでは、第３実施形態における対応付け部１０７の替わりに対応付け部１０７Ｂを用いる。図５４は、対応付け部１０７Ｂの構成を示す図である。対応付け部１０７Ｂでは、対応付け制御部１７０１と輝度列評価部１７０９との替わりに、対応付け制御部１７０１Ｂと輝度列評価部１７０９Ｂとを用いる。なお、他の実施形態と同様の構成については同一の符号を付し、説明を適宜省略する。
　輝度列評価部１７０９Ｂは、対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）の評価を行う。輝度列評価部１７０９Ｂの構成を図５５に示す。輝度列評価部１７０９Ｂは、微分輝度列取得部１７４１と、微分輝度列保持部１７４２と、ピーク時刻取得部１７４３と、ピーク時刻保持部１７４４と、時刻差取得部１７４５とを有する。
　微分輝度列取部１７４１は、輝度列保持部１７０８が保持する輝度列を微分して微分輝度列を生成し、微分輝度列保持部１７４２に格納する。
　ここでは、処理を簡単にするために、時刻０における微分輝度列の値を０とし、時刻ｔにおける微分輝度列の値をＬ＿Ｐｋ＿ｔ－Ｌ＿Ｐｋ＿（ｔ－１）とする。すなわち、時刻ｔにおける微分輝度列の値は、時刻ｔにおける輝度列の値と、時刻（ｔ－１）における輝度列の値との差とする。輝度列の値が図２４の値の場合の微分輝度列のデータ構造の一例を図５６に示す。ただし、紙面の関係で、造影点Ｐｋと対応候補点Ｑｋ＿２との微分輝度列のみを記載している。図５７は、図５６の輝度列となる造影点Ｐｋ、対応点Ｑｋ，対応点Ｑｘ（ｘ≠ｋ）に対する微分輝度列を示すグラフである。図５７において、太線４３０１、実線４３０２、点線４３０３は、それぞれ、造影点Ｐｋの微分輝度列であり、造影点Ｐｋの対応候補点Ｑｋ＿１（造影点Ｐｋの対応点Ｑｋ）の微分輝度列であり、造影点Ｐｋの対応候補点Ｑｋ＿２（造影点Ｐｘ（ｘ≠ｋ）の対応点Ｑｘ）の微分輝度列である。
　なお、微分輝度列取得部１７４１は、輝度列保持部１７０８が保持する輝度列を平滑化してから、微分輝度列を取得する構成であっても構わない。また、微分輝度列取得部１７４１は、取得した微分輝度列を平滑化して、微分輝度列保持部１７４２に格納する構成であっても構わない。
　微分輝度列保持部１７４２は、微分輝度列取得部１７４１が生成した微分輝度列を保持する。微分輝度列保持部１７４２は、一例として、図５６のデータ構造の微分輝度列を保持する。また、微分輝度列保持部１７４２は、例えば図５７のグラフで示される微分輝度列を保持する。
　ピーク時刻取得部１７４３は、微分輝度列保持部１７４２が保持する微分輝度列から、微分輝度が最大となるピーク時刻を取得し、ピーク時刻保持部１７４４に格納する。一例として、ピーク時刻取得部１７４３は、図５７におけるピーク時刻４３１１～４３１３を取得し、ピーク時刻保持部１７３２に格納する。
　ピーク時刻保持部１７４４は、微分輝度列取得部１７４３が取得した微分輝度列のピーク時刻を保持する。図５８は、ピーク時刻保持部１７４４のデータ構成を示す図である。ピーク時刻保持部１７４４は、造影点Ｐｋのピーク時刻ＰＥｋ＿Ｐと、造影点Ｐｋの対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）のピーク時刻ＰＥｋ＿ｎとを保持する。図５８はＮ＝２の場合の構成である。図５９は、ピーク時刻保持部１７４４が保持するデータの一例を示す図。図５９は、微分輝度列が図５７の場合に保持するピーク時刻を示す。
　時刻差取得部１７４５は、ピーク時刻保持部１７４４が保持するピーク時刻に基づいて、対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）の評価値を算出する。評価値の算出は式１３を用いる。
Figure JPOXMLDOC01-appb-M000013
　すなわち、時刻差取得部１７４５は、造影点Ｐｋのピーク時刻ＰＥｋ＿ｐと、対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）のピーク時刻ＰＥｋ＿ｎの差を評価値とする。ピーク時刻が図５９の場合には、Ｈ＿１＝｜９－９｜＝０、Ｈ＿２＝｜９－１１｜＝２となる。
　式１３は、造影点Ｐｋのピーク時刻ＰＥｋ＿ｎと、対応候補点Ｑｋ＿ｎのピーク時刻ＰＥｋ＿ｎとが近いほど、評価値は小さい価である。第５実施形態では、式１３を評価値に用いることで、対応候補点Ｑｋ＿ｎの中から、造影点Ｐｋの輝度変化と似ている対応候補点を選択する。
　対応付け制御部１７０１Ｂは、対応付け部１０７Ｂを構成する各部を用いて対応付けを行う部である。図６０は、対応付け制御部１７０１Ｂが行う処理の流れを示すフローチャートである。図３９の第３実施形態における対応付け制御部１７０１が行う処理の、ステップＳ１４０８～ステップＳ１４０９の替わりに、ステップＳ１４０８Ｂと、ステップＳ１４０９Ｂと、ステップＳ１４０９１Ｂとを実行する。他の処理は第３実施形態と同様であるため、説明を省略する。
　ステップＳ１４０７の次にステップＳ１４０８Ｂにおいて、微分輝度列取得部１７４１は、前述の微分輝度列部１７４１の処理を行う。すなわち、微分輝度列取得部１７４１は、輝度列保持部１７０８が保持する輝度列を微分して微分輝度列を生成することにより、造影点Ｐｋと対応候補点Ｑｋ＿ｎとの微分輝度列を取得し、微分輝度列保持部１７４２に格納する。
　ステップＳ１４０９Ｂで、ピーク時刻取得部１７４３は、前述のピーク時刻取得部１７４３の処理を行う。すなわち、ピーク時刻取得部１７４３は、微分輝度列保持部１７４２が保持する微分輝度列から、微分輝度が最大となるピーク時刻ＰＥｋ＿ｐ、ＰＥｋ＿ｎ（ｎ＝１，２，…，Ｎ）を取得し、ピーク時刻保持部１７４４に格納する。
　ステップＳ１４０９１Ｂで、時刻差取得部１７４５は、前述の時刻差取得部１７４５の処理を行う。すなわち、時刻差取得部１７４５は、ピーク時刻保持部１７４４が保持するピーク時刻に基づいて、各対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）に対して、評価値Ｈ＿ｎを算出する。その後、ステップＳ１４１０の処理を行う。
　＜形状復元装置１Ｂの処理の流れ＞
　図４３のステップＳ１９０４において、対応付け部１０７Ｂは、前述の対応付け部１０７Ｂの処理を行う。すなわち、対応付け部１０７Ｂは、造影領域の各造影点Ｐｋの対応点Ｑｋを決定し、対応情報保持部１０８に対応情報を格納する。他は、第３実施形態の場合と同様である。
　＜第５実施形態の効果＞
　第５実施形態では、第３実施形態と同様の効果が得られる。
　なお、ここでは、Ｘ線撮像装置造影剤の量が増加する様子を、Ｘ線撮影部１０１～１０２で撮影する場合を説明しているが、造影剤が減少する様子をＸ線撮影部１０１～１０２で撮影する構成としても構わない。その場合は、微分輝度列が最大値となる時刻を取得する替わりに、最小値となる時刻を取得する。
　（第６実施形態）
　本発明の第６実施形態では、Ｘ線撮影部１０１（又はＸ線撮影部１０２）で撮影した画像において、複数本の血管が重なって１本に見える場合の血管の形状復元を行う形状復元装置（３次元モデル生成装置）１Ｃを説明する。
　Ｘ線撮影部１０２で撮影した画像において、２本の血管１２０１が重なって見える場合のエピポーラ断面を図６１に示す。Ｘ線撮影部１０２のＸ線発生部２０２Ｂで発生し、血管１２０１の三次元点Ｊｋ＿１を通過したＸ線は、更に、別の血管１２０１の三次元点Ｊｋ＿２を通過して対応点Ｑｋ＿１に到達する。Ｘ線撮影部１０２のＸ線発生部２０２Ｂで発生して三次元点Ｊｋ＿３を通過したＸ線は、対応点Ｑｋ＿２に到達する。一方、Ｘ線撮影部１０１のＸ線発生部２０２Ａで発生し、三次元点Ｊｋ＿１を通過したＸ線は、撮影画像上の造影点Ｐｋ＿１に投影される。Ｘ線発生部２０２Ａで発生し、三次元点Ｊｋ＿２を通過したＸ線は、撮影画像上の造影点Ｐｋ＿２に投影される。Ｘ線撮影部１０１のＸ線発生部２０２Ａで発生し、三次元点Ｊｋ＿３を通過したＸ線は、撮影画像上の第一画像投影点Ｐｋ＿３に投影される。
　図６２は、図６１の造影点Ｐｋ＿１、Ｐｋ＿２、対応点Ｑｋ＿１の輝度列を示す図である。図６２において、太線６２０１は造影点Ｐｋ＿１の輝度変化であり、点線６２０３は造影点Ｐｋ＿２の輝度変化であり、実線６２０２は対応点Ｑｋ＿１の輝度変化である。血管１２０１が重なった事で、対応点Ｑｋ＿１の輝度列における増減の傾向は、造影点Ｐｋ＿１の輝度列の増減の傾向と一致しない。また、対応点Ｑｋ＿１の輝度列における増減の傾向は、造影点Ｐｋ＿２の輝度列の増減の傾向とも一致しない。
　しかし、図６１の三次元点Ｊｋ＿１の造影剤が増えたときに、造影点Ｐｋ＿１と、対応点Ｑｋ＿１とは暗くなり（輝度差は大きくなり）、三次元点Ｊｋ＿２の造影剤が増えたときに、造影点Ｐｋ＿２と、対応点Ｑｋ＿１とは暗くなる（輝度差は大きくなる）。このように、対応点Ｑｋ＿１の輝度変化は、造影点Ｐｋ＿１と造影点Ｐｋ＿２との輝度変化の両方と関係して変化する。
　そこで、第６実施形態における形状復元装置１Ｃでは、複数の造影点の輝度の和の正規化輝度列と、対応候補点の正規化輝度列とを比較して対応付けを行う。図６１の場合では、造影点Ｐｋ＿１と、造影点Ｐｋ＿２との合計の正規化輝度列と、対応点Ｑｋ＿１の正規化輝度列とを比較する。図６２において、一点鎖線６２０４は、造影点Ｐｋ＿１の輝度の値に造影点Ｐｋ＿２の輝度の値を加えた合計の輝度列である。実線６２０２と同様の増減の傾向をしている。
　なお、以降の説明では、第一血管領域画像１１０２の投影点を、（特にどの点の対応点かを特定せずに）対応候補点と呼ぶ。また、記述を簡略化するために、造影点Ｐｋ＿ｘと造影点Ｐｋ＿ｙとの合計の正規化輝度列と、対応候補点Ｑｋ＿ｚの正規化輝度列とを比較対象とする場合、[｛ｘ、ｙ｝、｛ｚ｝]をグループとして比較する、と記述する。
　さて、図６１で示した血管１２０１は、Ｘ線撮影部１０１で撮影した画像で、造影点Ｐｋ＿１～Ｐｋ＿３に投影され、Ｘ線撮影部１０２で撮影した画像では、対応候補点Ｑｋ＿１～Ｑｋ＿２に投影される。図６１の場合以外にも、投影される位置が図６１の場合と同じ位置になる血管が考えられる。具体的には、三次元点Ｊｋ＿１～Ｊｋ＿３が図６３～図６７の位置にある場合にも、同様の位置に造影点及び対応候補点が出現する。（実際には、これら以外の特殊な配置もありえるが、ここでは省略して考える。）形状復元装置１Ｃは、これらの血管の中から、形状復元対象となる血管の投影点の対応点の組合せを抽出し、血管の形状復元を正しく行うことができる。
　＜第６実施形態の構成＞
　図６８は、第６実施形態における形状復元装置１Ｃの構成を示す図である。形状復元装置１Ｃは、一例として、画像領域対応付け装置９Ｃと、３次元モデル生成部１６Ｃと、表示部１１２とを備える。
　さらに、画像領域対応付け装置９Ｃは図２１の画像領域対応付け装置９３と類似し、３次元モデル生成部１６Ｃは図２１の３次元モデル生成部１６３と類似しているが、以下の点が異なる。なお、他の実施形態と同様の構成については同一の符号を付し、説明を適宜省略する。
　第３実施形態における対応付け部１０７の替わりに、対応付け部１０７Ｃを用いる。図６９は、対応付け部１０７Ｃの構成を示す図である。
　対応付け部１０７Ｃは，対応候補領域取得部１７０５と、対応候補領域保持部１７０６と、造影領域取得部５２０１と、造影領域保持部５２０２と、グループ分け取得部５２０３と、グループ分け保持部５２０４と、グループ分け評価部５２０７と、グループ分け評価保持部５２０８と、対応領域決定部５２０９ととを有する。
　造影領域取得部５２０１は、後述の対応付け制御部５２１０に指定された造影点Ｐｋを通るエピポーラ平面と、第一血管領域画像１１０２の血管領域とが交わる直線（エピポーラ線）上の造影点Ｐｋ＿ｍ（ｍ＝１，２，…，Ｍ）の位置を取得し、造影領域保持部５２０２に格納する。ただし、造影点Ｐｋ＿０は、造影点Ｐｋと同じとする。
　具体的な方法を説明する。まず、式１４を用いてエピポーラ線Ｌ１のパラメータｌ１を算出する。
Figure JPOXMLDOC01-appb-M000014
　式１４で、Ｆは式８で算出したファンダメンタル行列と呼ばれる行列Ｆであり、ＦＴはファンダメンタル行列Ｆの転置行列を示す。ｍは、対応候補領域保持部１７０６より取得した任意の投影点Ｑｋ＿ｎの座標である。
　算出されたエピポーラ線Ｌ１のパラメータｌ１を（ａ，ｂ，ｃ）Ｔとしたとき、エピポーラ線Ｌ１は、ａｘ＋ｂｙ＋ｃ＝０を満たす。算出したエピポーラ線Ｌ１と、第一血管領域画像１０１１との交点の座標の取得の仕方は、対応候補領域取得部１７０５の場合と同様であり、説明を省略する。
　造影領域保持部５２０２は、造影領域取得部５２０１が取得した造影点Ｐｋ＿ｍ（ｍ＝１，２，…，Ｍ）の座標を保持する。
　グループ分け取得部５２０３は、造影点Ｐｋ＿ｍ（ｍ＝１，２，…，Ｍ）と投影点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）とのグループ分けを生成する。例えば、ｍ＝３、ｎ＝２の場合は、図７９の６通りのグループ分けを生成する。図７９の１列目には、グループ分けの番号（ｎ＝１，２，…，Ｎ）、２列目にはグループ分けの結果、３列目には、対応するエピポーラ断面の図の番号を示す。
　図７０はグループ分け取得部５２０３の構成を示す図である。グループ分け取得部５２０３は、グループ分け制御部７２０１と、グループ分け本体部７２０２と、二グループ分け部７２０３とを有する。
　二グループ分け部７２０３は、グループ分け本体部７２０２により指定されたグループを２つのグループに分ける組合せを生成して、グループ分け本体部７２０２に出力する。
　具体例として、グループ分け本体部７２０２により、グループＧ＝｛｛Ｆ１、Ｆ２、Ｆ３｝、｛Ｓ１、Ｓ２｝｝が二グループ分け部７２０３に与えられたときの二グループ分け動作について説明する。２つのグループ（グループＧ０とグループＧ１）に分ける組合せの表を図７１に示す。図７１の表の各行は１つの組合せを示す。各列には、集合の各要素がどのグループに属するかを示す数値を記載している。「０」の場合には、グループＧ０に割り当てられることを示し、「１」の場合にはグループＧ１に割り当てられることを示す。例えば１行目の組合せでは、識別子Ｌ３はグループＧ１であり、それ以外の識別子Ｆ１～Ｓ１はグループＧ０に割り当てられることを示す。なお、図７１に示すように、集合Ｇの一つ目の要素に割り当てられるグループをグループＧ０とする。
　なお、要素の合計がＮ個のとき、グループ分けの組合せは、２＾（Ｎ―１）－１となり、１番から２＾（Ｎ－１）－１番までの番号の組合せが生成される。ここで、演算子「＾」はべき乗演算を示す。図７１の表で、右端からＵ列目の値は、（番号）％（２＾Ｕ）となる。
　図７２は、図７１のグループ分けによって生じるグループをグループ０とグループ１とに分け、要素群毎に記載した例である。
　グループ分け制御部７２０１は、造影領域保持部５２０２が保持する造影領域の数Ｍと、対応候補領域保持部１７０５が保持する対応候補領域の数Ｎとを取得し、第一要素群｛１，２，…，Ｍ｝と第二要素群｛１，２，…，Ｎ｝とを引数として、後述のグループ分け本体部７２０２を実行し、グループ分け本体部７２０２で取得したグループ分けをグループ分け保持部５２０４に格納する。
　グループ分け本体部７２０２は、指定された第一要素群Ｆ｛Ｆ＿１，…，Ｆ＿Ｍ｝と第二要素群Ｓ｛Ｓ＿１，…，Ｓ＿Ｎ｝とをグループ分けする処理を行う。グループ分け本体部７２０２は、指定された要素を以下の条件を満たすグループに分ける。
　条件１：一つの要素は、必ず一つのグループに属する。また、一つの要素は複数のグループに属さない。
　条件２：一つのグループには、１つ以上の第一要素群の要素と、１つ以上の第二要素群の要素とを含む。
　条件３：どのグループも、第一要素群の要素が一つであるか、又は、第二要素群の要素が一つである。
図７３は、グループ分け本体部７２０２が行う処理の流れを示すフローチャートである。
　まず、ステップＳ５４０１で、グループ分け本体部７２０２は、指定された第一要素群Ｆ｛Ｆ＿１，…，Ｆ＿Ｍ｝と第二要素群Ｓ｛Ｓ＿１，…，Ｓ＿Ｎ｝とに対してグループ分けの処理を開始する。
　次に、ステップＳ５４０２で、グループ分け本体部７２０２は、第一要素群の要素の数Ｍの値が「０」であるか、又は、第二要素群の要素の数Ｎが「０」であるか否かを判定し、どちらか一方でも「０」であった場合にはステップＳ５４９９に分岐して、処理を終了する。それ以外の場合にはステップＳ５４０３に分岐する。
　次に、ステップＳ５４０３で、グループ分け本体部７２０２は、第一要素郡の要素の数Ｍの値が「１」であるか、又は、第二集合の要素の数Ｎが「１」であるか否かを判定し、どちらか一方でも「１」であった場合にはステップＳ５４０４に分岐し、それ以外の場合にはステップＳ５４１１に分岐する。
　次に、ステップＳ５４０４で、グループ分け本体部７２０２は、第一要素群の全ての要素｛Ｆ＿１，…，Ｆ＿Ｍ｝と、第二要素群の全ての要素｛Ｓ＿１，…，Ｓ＿Ｎ｝とをグループとし、そのグループ［｛Ｆ＿１，…，Ｆ＿Ｍ｝、｛Ｓ＿１，…，Ｓ＿Ｎ｝］とを、グループ分け本体部７２０２の処理結果として出力し、ステップＳ５４９９で処理を終了する。
　例えば、第一要素群Ｆが｛１，２｝で、第二要素群Ｓが｛１｝のとき、グループ[｛１，２｝、｛１｝]を出力する。また、例えば、第一要素群Ｆが｛１｝で、第二要素群Ｓが｛２｝のとき、グループ[｛１｝、｛２｝]を出力する。
　ステップＳ５４１１で、グループ分け本体部７２０２は、前述の二グループ分け部７２０３の実行を実行する。具体的には、例えば、図７２の二グループ分けの結果を取得する。
　グループ分け本体部７２０２は、二グループ分け部７２０３を実行して得られたグループ分けの各結果に対して、ステップＳ５４１２からステップＳ５４４４のループ処理を実行する。図７２の場合では、図７２の各行のグループ分けに対して、ステップＳ５４１２からステップＳ５４４４までのループ処理を行う。
　次に、ステップＳ５４１４で、グループ分け本体部７２０２は、二グループ分けによって生成したグループ０に対して、条件判定を行う。すなわち、以下の条件を満たすか否かをグループ分け本体部７２０２により判定する。
　条件：第一要素群の要素数が「０」であるか、又は、第二要素群の要素数が「０」である。
　ステップＳ５４１４の条件を満たすとグループ分け本体部７２０２で判定する場合は、ステップＳ５４４４に分岐し、ステップＳ５４１４の条件を満たさないとグループ分け本体部７２０２で判定する場合は、ステップＳ５４１５に分岐する。
　図７２の場合には、「３、７、１１、１５」のとき、グループ０に要素数が「０」の要素群があるため、ステップＳ５４４４に分岐する。
　図７２の場合には、番号が、「１、２、（３、）、４、８、１２」のとき、グループ１に要素数が「０」の要素群があるため、ステップＳ５４４４に分岐する。
　それ以外の場合、すなわち、「５、６、９、１０、１３、１４」の場合、ステップＳ５４１５に分岐する。
　ステップＳ５４１５で、グループ分け本体部７２０２は、二グループ分けによって生成したグループ０に対して、条件判定を行う。すなわち、以下の条件を満たすか否かをグループ分け本体部７２０２で判定する。
　条件：第一要素群の要素数が「１」であるか、又は、第二要素群の要素数が「１」である。
　条件を満たすとグループ分け本体部７２０２で判定する場合は、ステップＳ５４１８に分岐し、条件を満たさないとグループ分け本体部７２０２で判定する場合は、ステップＳ５４４４に分岐する。
　図７２の場合には、番号が、「５、６、９、１０、１３、１４」のすべての場合に、ステップＳ５４１８に分岐する。
　ステップＳ５４１８で、グループ分け本体部７２０２は、二グループ分けによって生成したグループ０のグループ分けを生成し、グループ分け保持部５２０４に格納する。
　図７２の「５、６、９、１０、１３、１４」の場合、ステップＳ５４１８で生成されるグループ分けを図７４に示す。
　以上が、グループ分け本体部７２０２の処理である。
　グループ分け保持部５２０４は、グループ分け取得部５２０３が取得したグループ分けＧｗ（ｗ＝１，２，…，Ｗ：ただし、Ｗはグループ分けの数）の組合せを保持する。グループ分け本体部７２０２のステップＳ５４０４、又はステップＳ５４１８が実行される度に、グループ分けが一つ追加される。
　グループ分け評価部５２０７は、グループ分け保持部５２０４が保持する各グループ分けＧｗ（ｗ＝１，２，…，Ｗ）に対する評価値Ｈｗ（ｗ＝１，２，…，Ｗ）を取得し、取得した評価値をグループ分け評価保持部５２０８に格納する。図７５は、グループ分け評価部５２０７の構成を示す図である。グループ分け評価部５２０７は、輝度列取得部７６０１と、輝度列保持部７６０２と、正規化輝度列取得部１７２１と、正規化輝度列保持部１７２２と、差合計取得部１７２０とを有する。正規化輝度列取得部１７２１と、正規化輝度列保持部１７２２と、差合計取得部１７２０とは、第３実施形態の場合と同様であるので説明を省略する。
　輝度列取得部７６０１は、指定されたグループ分けＧｗに属する造影点Ｐｋ＿ｍ（ｍ＝１，２，…，Ｍ）の合計の輝度列と、対応候補領域保持部１７０６が保持する対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）との合計の輝度列を取得する。
　輝度列保持部７６０２は、輝度列取得部７５０１が取得した輝度列を保持する部である。輝度列保持部７６０２で保持した輝度列を基に、差合計取得部１７２０は、第３実施形態の場合の差合計取得部１７２０と同様の差合計動作を行い、評価値Ｈｗ（ｗ＝１，２，…，Ｗ）をグループ分け評価保持部５２０８に出力する。
　グループ分け評価保持部５２０８は、グループ分け評価部５２０７が取得した評価値Ｈｗ（ｗ＝１，２，…，Ｗ）を保持する。
　対応領域決定部５２０９は、グループ分け評価保持部５２０８が保持する評価値のうち最も小さな値となる評価値Ｈｘを選択する。
　対応付け制御部５２１０は、対応付け部１０７Ｃの各部を用いて対応付けを行うように制御する。図７６は、対応付け制御部５２１０が行う処理の流れを示すフローチャートである。
　まず、ステップＳ１４０１で、対応付け制御部５２１０は処理を開始する。
　次に、ステップＳ１４０２で、対応付け制御部５２１０は血管領域保持部１０６より第一血管領域画像１１０１を取得する。
　対応付け制御部５２１０は、ステップＳ１４０２で取得した第一血管領域画像１１０１で血管領域の黒色の点に対して、ステップＳ１４０４からステップＳ１４１５までの処理を行う。以下の説明では、黒色の点を造影点Ｐｋ（ｋ＝１，２，…，Ｋ：ただし、Ｋは黒色の点の数）とする。
　次に、ステップＳ１４０６で、対応付け制御部５２１０は、対応候補領域取得部１７０５に処理を指示する。対応候補領域取得部１７０５は、造影点Ｐｋに対する対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）を取得し、取得した対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）の座標を対応候補領域保持部１７０６に格納する。
　次に、ステップＳ１４０６１で、対応付け制御部５２１０は、造影領域取得部５２０１に処理を指示する。造影領域取得部５２０１は、造影点Ｐｋと同一のエピポーラ平面に存在する造影点Ｐｋ＿ｍ（ｍ＝１，２，…，Ｍ）を取得し、取得した造影点Ｐｋ＿ｍ（ｍ＝１，２，…，Ｍ）の座標を造影領域保持部５２０２に格納する。
　次に、ステップＳ１４０６２で、対応付け制御部５２１０は、グループ分け取得部５２０３に処理を指示する。グループ分け取得部５２０３は、造影点Ｐｋ＿ｍ（ｍ＝１，２，…，Ｍ）と、対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）とのグループ分けＧｗ（ｗ＝１，２，…，Ｗ）を生成する。
　対応付け制御部５２１０は、ステップＳ１４０６２で取得した各グループ分けＧｗ（ｗ＝１，２，…，Ｗ）に対して、ステップＳ１４０６３からステップＳ１４１４までの処理を行う。
　まず、ステップＳ１４０７Ｃで、対応付け制御部５２１０は、輝度列取得部７６０１に処理を指示する。輝度列取得部７６０１は、グループ分けＧｗに属する造影点Ｐｋ＿ｍ（ｍ＝１，２，…，Ｍ）の輝度の合計の列である輝度列と、グループ分けＧｗに属する対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）の輝度の合計の列である輝度列を取得し、輝度列保持部７６０２に格納する。
　次に、ステップＳ１４０８で、対応付け制御部５２１０は、正規化輝度列取得部１７２１に処理を指示する。正規化輝度列取得部１７２１は、輝度列保持部７６０２が保持する造影点Ｐｋ＿ｍの合計の輝度列と、対応候補点Ｑｋ＿ｎの合計の輝度列をそれぞれ正規化し、正規化輝度列保持部１７２２に格納する。
　次に、ステップＳ１４０９で、対応付け制御部５２１０は、差合計取得部１７２０に処理を指示する。差合計取得部１７２０は、造影点Ｐｋ＿ｍの合計の正規化輝度列と、対応候補点Ｑｋ＿ｎの合計の正規化輝度列の各時刻の輝度差の和Ｈｗを算出し、グループ分け評価保持部５２０８に格納して、ステップＳ１４１４を終了する。
　次に、ステップＳ１４１０Ｃで、対応付け制御部５２１０は、対応領域決定部５２０９に処理を指示する。対応領域決定部５２０９は、グループ分け評価保持部５２０８が保持する評価値Ｈｗ（ｗ＝１，２，…，Ｗ）のうち、最も値の小さい評価値Ｈαを対応領域決定部５２０９で取得する。ここで、αは選択された評価値のグループ分けの番号である。図７４の場合には（図６１のグループ分けに相当する）α＝２が選択されるものとする。
　次に、ステップＳ１４１１Ｃで、対応付け制御部５２１０は、グループ分けＧαに属する造影点Ｐｋ＿ｍ（ｍ＝１，２，…，Ｍ）の座標、グループ分けＧαに属する対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）の座標と、評価値Ｈαとを対応情報保持部１０８に格納して、ステップＳ１４１５を終了する。
　グループ分けＧαに造影点Ｐｋ＿ｍが複数ある場合に追加する対応情報を、図７７に示す。図７７に示すように、各造影点Ｐｋ＿ｍ（ｍ＝１，２，…，Ｍ）の対応点を対応候補点Ｑｋ＿１とする行を、対応情報保持部１０８に格納する。また、グループ分けＧαに対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）が複数ある場合に、追加する対応情報を図７８に示す。図７８に示すように、造影点Ｐｋ＿１の対応点を各対応候補点Ｑｋ＿ｎ（ｎ＝１，２，…，Ｎ）とする行を、対応情報保持部１０８に格納する。
　ステップＳ１４９９で、対応付け制御部５２１０は処理を終了する。
　＜第６実施形態の効果＞
　第６実施形態では、第３実施形態と同様の効果が得られる。
　なお、ここでは、造影点と、対応候補点を２つのグループに分ける構成を示しているが、造影点Ｐｋ＿１と違うグループに分けられた｛造影点、対応候補点｝を更にグループ分けして、それぞれのグループ分けし、それぞれのグループ分けに対する評価値の合計を新たな評価値の基準として用いる構成としても構わない。
　（その他の実施形態）
　第３実施形態の説明では、処理の流れの一例を示しているが、順序の入れ替えや、複数の処理の並列化（同時並行処理）をして実行しても構わない。
　形状復元装置１０，２０，１，１Ａ，１Ｂ，１Ｃを構成する要素の一部又は全部は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、及びマウスなどから構成されるコンピュータシステムで実現することができる。そのＲＡＭ又はハードディスクユニットには、コンピュータプログラムが記憶されている。つまり、マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各部は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
　形状復元装置１０，２０，１，１Ａ，１Ｂ，１Ｃを構成する要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、及びＲＡＭなどを含んで構成されるコンピュータシステムである。そのＲＡＭには、コンピュータプログラムが記憶されている。つまり、マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
　形状復元装置１０，２０，１，１Ａ，１Ｂ，１Ｃを構成する要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。そのＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、及びＲＡＭなどから構成されるコンピュータシステムである。そのＩＣカード又はモジュールは、前記の超多機能ＬＳＩを含むとしてもよい。つまり、マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、そのＩＣカード又はモジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
　形状復元装置１０，２０，１，１Ａ，１Ｂ，１Ｃを構成する要素の一部又は全部は、管の形状を取得する方法としても実現される。また、本発明は、これらの方法によりコンピュータに管の形状を取得させるコンピュータプログラム、又は、コンピュータプログラムで構成されるディジタル信号としても実現される。
　形状復元装置１０，２０，１，１Ａ，１Ｂ，１Ｃを構成する要素の一部又は全部は、上述のコンピュータプログラム又はディジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ（登録商標）　Ｄｉｓｃ）、又は、半導体メモリなどに記録したものとしても実現される。また、これらの記録媒体に記録されているディジタル信号としても実現される。
　形状復元装置１０，２０，１，１Ａ，１Ｂ，１Ｃを構成する要素の一部又は全部は、電気通信回線、無線通信回線、有線通信回線、インターネットを代表とするネットワーク、又はデータ放送等を経由して伝送される、上述のコンピュータプログラム又はディジタル信号としても実現される。
　形状復元装置１０，２０，１，１Ａ，１Ｂ，１Ｃを構成する要素の一部又は全部は、マイクロプロセッサとメモリを備えたコンピュータシステムとしても実現される。この場合、そのメモリは、上述のコンピュータプログラムを記憶しており、マイクロプロセッサは、そのコンピュータプログラムにしたがって動作する。
　また、そのコンピュータプログラム又はディジタル信号を記録媒体に記録して移送することにより、又はコンピュータプログラム又はディジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより本発明の処理を実施してもよい。
　なお、上記様々な実施形態又は変形例のうちの任意の実施形態又は変形例を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。
　本発明の一態様に係る画像領域対応付け装置、３次元モデル生成装置、画像領域対応付け方法、及び画像領域対応付け用プログラムは、２方向から撮影した血管のＸ線画像の複数の画像領域の対応付けを行うことができ、その結果を利用して、血管の３次元モデルを生成することができるため、カテーテル治療などの際に有用である。
　本発明は、添付図面を参照しながら好ましい実施形態に関連して充分に記載されているが、この技術の熟練した人々にとっては種々の変形又は修正は明白である。そのような変形又は修正は、添付した請求の範囲による本発明の範囲から外れない限りにおいて、その中に含まれると理解されるべきである。

Claims (11)

  1. 　分岐を有する血管の複数の画像領域の対応付けを行なう画像領域対応付け装置であって、
    　造影剤が通過する際の前記血管を、互いに異なる第１の撮影角度と第２の撮影角度とからそれぞれ連続的に撮像することにより、前記第１の撮影角度より得られる第１の投影画像と前記第２の撮影角度より得られる第２の投影画像とで構成される画像セットを複数取得する投影画像取得部と、
    　前記投影画像取得部で取得した各画像セットのうちの第１の投影画像における前記分岐先の所定部分の第１の画像領域について、所定時間分の前記造影剤の輝度変化の情報を取得する第１輝度変化取得部と、
    　前記投影画像取得部で取得した各画像セットのうちの前記第２の投影画像における前記分岐先の所定部分の画像領域であり、かつ、前記第１の画像領域に対応する候補の画像領域である複数の第２の画像領域について、前記所定時間分の前記造影剤の輝度変化の情報をそれぞれ取得する第２輝度変化取得部と、
    　前記第１輝度変化取得部より取得された前記輝度変化の情報と、前記第２輝度変化取得部より取得された複数の前記輝度変化の情報のそれぞれとの類似度を算出する類似度算出部と、
    　前記類似度算出部より算出された前記類似度に基づき、前記第１の画像領域と対応する第２の画像領域を決定する対応領域決定部と、
    　を備える画像領域対応付け装置。
  2. 　前記第１輝度変化取得部は、前記第１の画像領域について、複数の時刻それぞれの時刻の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
    　前記第２輝度変化取得部は、前記複数の第２の画像領域について、前記複数の時刻それぞれの時刻の前記造影剤の輝度をそれぞれ前記所定時間分の前記造影剤の輝度変化の情報として取得する一方、
    　さらに、輝度の正規化を行う輝度正規化部をさらに備え、
    　前記輝度正規化部は、
    　　前記血管が撮影されていないときの基準輝度と、前記第１輝度変化取得部より取得された前記輝度のそれぞれとの差分値を演算することにより正規化して、正規化された輝度変化の情報を取得し、
    　　前記血管が撮影されていないときの基準輝度と、前記第２輝度変化取得部より取得されたそれぞれの前記輝度との差分値を演算することにより正規化して、正規化された輝度変化の情報を取得し、
    　前記類似度算出部は、
    　　前記第１輝度変化取得部より取得され、かつ、前記輝度正規化部より前記正規化された輝度変化の情報と、
    　　前記第２輝度変化取得部より取得され、かつ、前記輝度正規化部より前記正規化された複数の輝度変化の情報のそれぞれとの類似度を算出する、
    　請求項１に記載の画像領域対応付け装置。
  3. 　前記第１輝度変化取得部は、前記第１の画像領域について、複数の時刻それぞれの時刻の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
    　前記第２輝度変化取得部は、前記複数の第２の画像領域について、前記複数の時刻それぞれの時刻の複数の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
    　前記輝度正規化部は、前記第１輝度変化取得部及び前記第２輝度変化取得部より取得された各時刻の輝度変化の情報をそれぞれ正規化して、正規化された輝度変化の情報をそれぞれ取得し、
    　前記類似度算出部は、前記第１輝度変化取得部より取得され、かつ、前記輝度正規化部より正規化された各時刻の輝度について、前記第２輝度変化取得部より取得され、かつ、前記輝度正規化部より正規化された複数の各時刻の輝度変化の情報のそれぞれとの差分を算出することにより、前記所定時間分における前記差分の絶対値の合計値をそれぞれ類似度として算出し、
    　前記対応領域決定部は、前記類似度として前記類似度算出部より算出された前記差分の絶対値の合計値が最も小さい第２の画像領域を、前記第１の画像領域と対応する領域であると決定する、
    　請求項２に記載の画像領域対応付け装置。
  4. 　前記第１輝度変化取得部は、前記第１の画像領域について、複数の時刻それぞれの時刻の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
    　前記第２輝度変化取得部は、前記複数の第２の画像領域について、前記複数の時刻それぞれの時刻の複数の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
    　前記第１輝度変化取得部は、前記第１の画像領域について、前記造影剤の輝度を時系列順にプロットしたグラフを輝度変化の情報として取得し、
    　前記第２輝度変化取得部は、前記複数の第２の画像領域について、前記造影剤の輝度を時系列順にプロットしたグラフをそれぞれ輝度変化の情報として取得し、
    　前記輝度正規化部は、前記第１輝度変化取得部及び前記第２輝度変化取得部より取得されたグラフをそれぞれ正規化して、正規化されたグラフを取得し、
    　前記類似度算出部は、前記第１輝度変化取得部より取得され、かつ、前記輝度正規化部より取得された前記正規化されたグラフと、前記第２輝度変化取得部より取得され、かつ、前記輝度正規化部より前記正規化された複数のグラフのそれぞれとの形状の類似度をそれぞれ算出し、
    　前記対応領域決定部は、前記類似度算出部より算出された形状の類似度が最も高い第２の画像領域を、前記第１の画像領域と対応する領域であると決定する、
    　請求項２に記載の画像領域対応付け装置。
  5. 　前記類似度算出部は、前記第１輝度変化取得部より取得され、かつ、前記輝度正規化部より正規化されたグラフの面積と、前記第２輝度変化取得部より取得され、かつ、前記輝度正規化部より正規化された複数の前記グラフそれぞれの面積との差分を類似度として算出し、
    　前記対応領域決定部は、前記類似度として前記類似度算出部より算出された差分が最も小さいグラフに相当する第２の画像領域を、前記第１の画像領域と対応する領域であると決定する、
    　請求項４に記載の画像領域対応付け装置。
  6. 　前記第１輝度変化取得部は、前記第１の画像領域について、複数の時刻それぞれの時刻の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
    　前記第２輝度変化取得部は、前記複数の第２の画像領域について、前記複数の時刻それぞれの時刻の複数の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
    　さらに、前記第１の画像領域及び前記第２の画像領域のそれぞれのある点の輝度が、その点の最大の輝度に対して所定比に到達する時刻である所定比時刻を取得する所定比時刻取得部を備え、
    　前記所定比時刻取得部は、前記第１の画像領域及び前記第２の画像領域のそれぞれにおいて、前記輝度正規化部により前記正規化された輝度変化の情報を輝度列とするとき、前記輝度列の値が所定比にそれぞれ到達する前記所定比時刻をそれぞれ取得し、
    　前記類似度算出部は、前記複数の前記第２画像領域のうち、前記第１画像領域の前記所定比時刻と類似度の高い前記所定比時刻を有する前記第２画像領域を前記第１画像領域の対応領域に決定する、
    　請求項２に記載の画像領域対応付け装置。
  7. 　前記第１輝度変化取得部は、前記第１の画像領域について、複数の時刻それぞれの時刻の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
    　前記第２輝度変化取得部は、前記複数の第２の画像領域について、前記複数の時刻それぞれの時刻の複数の前記造影剤の輝度を前記所定時間分の前記造影剤の輝度変化の情報として取得し、
    　さらに、前記第１の画像領域及び前記第２の画像領域のそれぞれにおいて、前記輝度正規化部により前記正規化された輝度変化の情報を輝度列とするとき、前記輝度列を微分した微分輝度列のピーク時刻を取得するピーク時刻取得部を備え、
    　前記ピーク時刻取得部は、前記第１の画像領域及び前記第２の画像領域のそれぞれにおいて、前記輝度列を微分した前記微分輝度列の前記ピーク時刻を取得し、
    　前記類似度算出部は、前記複数の前記第２画像領域のうち、前記第１画像領域の前記ピーク時刻と類似度の高い前記ピーク時刻を有する前記第２画像領域を前記第１画像領域の対応領域に決定する、
    　請求項２に記載の画像領域対応付け装置。
  8. 　前記第１の撮影角度より前記血管を撮像する第１Ｘ線撮像装置の位置情報と前記第２の撮影角度より前記血管を撮像する第２Ｘ線撮像装置の位置情報との相対位置情報を取得する撮影部情報取得部と、
    　前記第１投影画像上における前記第１の画像領域の位置情報を取得する血管領域取得部と、
    　前記撮影部情報取得部及び前記位置情報取得部よりそれぞれ取得した各位置情報より、前記第１Ｘ線撮像装置、前記第２Ｘ線撮像装置、及び前記第１の画像領域から構成される平面であるエピポーラ平面を算出し、前記第２の投影画像上について、算出された前記エピポーラ平面と前記第２の投影画像との交線であるエピポーラ線を算出し、前記複数の第２の画像領域について、前記算出された前記エピポーラ線上にそれぞれ位置する位置情報を取得する対応候補領域取得部と、
    　をさらに備え、
    　前記対応候補領域取得部で取得した前記複数の第２の画像領域の位置情報の位置の輝度変化を第２輝度変化取得部で取得する
    　請求項１～７のいずれか１つに記載の画像領域対応付け装置。
  9. 　前記分岐を有する血管の３次元モデルを生成する３次元モデル生成装置であって、
    　請求項１～８のいずれか１つに記載の前記画像領域対応付け装置と、
    　前記画像領域対応付け装置により決定された情報を用いて、前記血管の３次元モデルを生成する３次元モデル生成部と、
    を備える３次元モデル生成装置。
  10. 　分岐を有する血管の複数の画像領域の対応付けを行なう画像領域対応付け方法であって、
    　造影剤が通過する際の前記血管を、互いに異なる第１の撮影角度と第２の撮影角度とからそれぞれ連続的に撮像することにより、前記第１の撮影角度より得られる第１の投影画像と前記第２の撮影角度より得られる第２の投影画像とで構成される画像セットを投影画像取得部で複数取得し、
    　前記投影画像取得部で取得した各画像セットのうちの第１の投影画像における前記分岐先の所定部分の第１の画像領域について、所定時間分の前記造影剤の輝度変化の情報を第１輝度変化取得部で取得し、
    　前記投影画像取得部で取得した各画像セットのうちの前記第２の投影画像における前記分岐先の所定部分の画像領域であり、かつ、前記第１の画像領域に対応する候補の画像領域である複数の第２の画像領域について、前記所定時間分の前記造影剤の輝度変化の情報をそれぞれ第２輝度変化取得部で取得し、
    　前記第１輝度変化取得部より取得された前記輝度変化の情報と、前記第２輝度変化取得部より取得された複数の前記輝度変化の情報のそれぞれとの類似度を類似度算出部で算出し、
    　前記類似度算出部より算出された前記類似度に基づき、前記第１の画像領域と対応する第２の画像領域を対応領域決定部で決定する、
    画像領域対応付け方法。
  11. 　分岐を有する血管の複数の画像領域の対応付けを行なう画像領域対応付け用プログラムであって、
    　コンピュータを、
    　造影剤が通過する際の前記血管を、互いに異なる第１の撮影角度と第２の撮影角度とからそれぞれ連続的に撮像することにより、前記第１の撮影角度より得られる第１の投影画像と前記第２の撮影角度より得られる第２の投影画像とで構成される画像セットを複数取得する投影画像取得部と、
    　前記投影画像取得部で取得した各画像セットのうちの第１の投影画像における前記分岐先の所定部分の第１の画像領域について、所定時間分の前記造影剤の輝度変化の情報を取得する第１輝度変化取得部と、
    　前記投影画像取得部で取得した各画像セットのうちの前記第２の投影画像における前記分岐先の所定部分の画像領域であり、かつ、前記第１の画像領域に対応する候補の画像領域である複数の第２の画像領域について、前記所定時間分の前記造影剤の輝度変化の情報をそれぞれ取得する第２輝度変化取得部と、
    　前記第１輝度変化取得部より取得された前記輝度変化の情報と、前記第２輝度変化取得部より取得された複数の前記輝度変化の情報のそれぞれとの類似度を算出する類似度算出部と、
    　前記類似度算出部より算出された前記類似度に基づき、前記第１の画像領域と対応する第２の画像領域を決定する対応領域決定部と、
    　として機能させるための画像領域対応付け用プログラム。
PCT/JP2014/001925 2013-04-05 2014-04-02 画像領域対応付け装置、３次元モデル生成装置、画像領域対応付け方法、及び画像領域対応付け用プログラム WO2014162740A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015509920A JP5830626B2 (ja) 2013-04-05 2014-04-02 画像領域対応付け装置、３次元モデル生成装置、画像領域対応付け方法、及び画像領域対応付け用プログラム
US14/840,626 US9607378B2 (en) 2013-04-05 2015-08-31 Image region mapping device, 3D model generating apparatus, image region mapping method, and image region mapping program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-079216 2013-04-05
JP2013079216 2013-04-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/840,626 Continuation US9607378B2 (en) 2013-04-05 2015-08-31 Image region mapping device, 3D model generating apparatus, image region mapping method, and image region mapping program

Publications (1)

Publication Number Publication Date
WO2014162740A1 true WO2014162740A1 (ja) 2014-10-09

Family

ID=51658048

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/001925 WO2014162740A1 (ja) 2013-04-05 2014-04-02 画像領域対応付け装置、３次元モデル生成装置、画像領域対応付け方法、及び画像領域対応付け用プログラム

Country Status (3)

Country Link
US (1) US9607378B2 (ja)
JP (1) JP5830626B2 (ja)
WO (1) WO2014162740A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016101364A (ja) * 2014-11-28 2016-06-02 株式会社東芝 Ｘ線診断装置
CN108430330A (zh) * 2015-12-03 2018-08-21 西门子保健有限责任公司 产生血管系统的体积图像的序列的断层造影设备和方法
JP2018149092A (ja) * 2017-03-13 2018-09-27 キヤノンメディカルシステムズ株式会社 Ｘ線診断装置、画像処理装置及び画像処理プログラム
CN112542163A (zh) * 2019-09-04 2021-03-23 百度在线网络技术（北京）有限公司 智能语音交互方法、设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017074123A (ja) * 2015-10-13 2017-04-20 東芝メディカルシステムズ株式会社 医用画像処理装置及びｘ線診断装置
US20230107110A1 (en) * 2017-04-10 2023-04-06 Eys3D Microelectronics, Co. Depth processing system and operational method thereof
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
US10460512B2 (en) * 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH105203A (ja) * 1996-06-21 1998-01-13 Toshiba Corp 医用診断システム，医用診断情報生成方法及び３次元画像再構成方法
US6169917B1 (en) * 1997-12-30 2001-01-02 Leonardo Masotti Method and device for reconstructing three-dimensional images of blood vessels, particularly coronary arteries, or other three-dimensional structures
JP2007502644A (ja) * 2003-08-21 2007-02-15 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ３次元の血管モデルを生成する装置及び方法
JP2008006083A (ja) * 2006-06-29 2008-01-17 Toshiba Corp ３次元画像生成装置
JP2009504297A (ja) * 2005-08-17 2009-02-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 自動４ｄ冠動脈モデリングおよび動きベクトル場推定のための方法および装置
JP2013501567A (ja) * 2009-08-12 2013-01-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オブジェクトデータの生成

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5150292A (en) * 1989-10-27 1992-09-22 Arch Development Corporation Method and system for determination of instantaneous and average blood flow rates from digital angiograms
JPH08131429A (ja) 1994-11-11 1996-05-28 Toshiba Corp 管状体像再生方法およびその装置
JP2004201730A (ja) 2002-12-24 2004-07-22 Hitachi Ltd 複数方向の投影映像を用いた３次元形状の生成方法
JP4980723B2 (ja) 2004-11-10 2012-07-18 株式会社日立メディコ 画像生成方法及び画像生成装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH105203A (ja) * 1996-06-21 1998-01-13 Toshiba Corp 医用診断システム，医用診断情報生成方法及び３次元画像再構成方法
US6169917B1 (en) * 1997-12-30 2001-01-02 Leonardo Masotti Method and device for reconstructing three-dimensional images of blood vessels, particularly coronary arteries, or other three-dimensional structures
JP2007502644A (ja) * 2003-08-21 2007-02-15 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ３次元の血管モデルを生成する装置及び方法
JP2009504297A (ja) * 2005-08-17 2009-02-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 自動４ｄ冠動脈モデリングおよび動きベクトル場推定のための方法および装置
JP2008006083A (ja) * 2006-06-29 2008-01-17 Toshiba Corp ３次元画像生成装置
JP2013501567A (ja) * 2009-08-12 2013-01-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オブジェクトデータの生成

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
G. SHECHTER ET AL.: "Three-dimensional motion tracking of coronary arteries in biplane cineangiograms", IEEE TRANSACTIONS ON MEDICAL IMAGING, vol. 22, no. ISSUE:, April 2003 (2003-04-01), pages 493 - 503 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016101364A (ja) * 2014-11-28 2016-06-02 株式会社東芝 Ｘ線診断装置
CN108430330A (zh) * 2015-12-03 2018-08-21 西门子保健有限责任公司 产生血管系统的体积图像的序列的断层造影设备和方法
CN108430330B (zh) * 2015-12-03 2021-10-01 西门子保健有限责任公司 产生血管系统的体积图像的序列的断层造影设备和方法
JP2018149092A (ja) * 2017-03-13 2018-09-27 キヤノンメディカルシステムズ株式会社 Ｘ線診断装置、画像処理装置及び画像処理プログラム
US10937226B2 (en) 2017-03-13 2021-03-02 Canon Medical Systems Corporation Medical image processing apparatus, reconstruction method and X-ray diagnostic apparatus based on a change of a density of a contrast agent over time
CN112542163A (zh) * 2019-09-04 2021-03-23 百度在线网络技术（北京）有限公司 智能语音交互方法、设备及存储介质
CN112542163B (zh) * 2019-09-04 2023-10-27 百度在线网络技术（北京）有限公司 智能语音交互方法、设备及存储介质

Also Published As

Publication number Publication date
JPWO2014162740A1 (ja) 2017-02-16
JP5830626B2 (ja) 2015-12-09
US9607378B2 (en) 2017-03-28
US20150371381A1 (en) 2015-12-24

Similar Documents

Publication Publication Date Title
JP5830626B2 (ja) 画像領域対応付け装置、３次元モデル生成装置、画像領域対応付け方法、及び画像領域対応付け用プログラム
JP5830627B2 (ja) 画像領域対応付け装置、３次元モデル生成装置、画像領域対応付け方法、画像領域対応付け用プログラム
CN110889896A (zh) 获取血管狭窄病变区间及三维合成方法、装置和系统
US20220277447A1 (en) Method and apparatus for acquiring contour line of blood vessel according to centerline of blood vessel
Xian et al. Main coronary vessel segmentation using deep learning in smart medical
JP2018139693A (ja) 画像分類装置、方法およびプログラム
TW201903708A (zh) 數位減影血管攝影圖像的分析方法與系統
KR20160049897A (ko) 연속적인 의료 영상을 이용한 컴퓨터 보조 진단 장치 및 방법
US8831323B2 (en) Method and apparatus for measuring activity of a tracer
CN113889238B (zh) 一种图像识别方法、装置、电子设备及存储介质
WO2019111339A1 (ja) 学習装置、検査システム、学習方法、検査方法およびプログラム
WO2010095508A1 (ja) 正中線決定装置およびプログラム
JP2008519639A (ja) 医療画像レジストレーションに対する装置及び方法
JP2018529446A (ja) モバイルｆｆｒシミュレーション
WO2021191909A1 (en) Functional measurements of vessels using a temporal feature
US20030083567A1 (en) Medical imaging station with a function of extracting a path within a ramified object
Hu et al. Deep learning-based image evaluation for cervical precancer screening with a smartphone targeting low resource settings–Engineering approach
Furtado et al. Segmentation of Diabetic Retinopathy Lesions by Deep Learning: Achievements and Limitations.
Blondel et al. Automatic trinocular 3D reconstruction of coronary artery centerlines from rotational X-ray angiography
Van Do et al. Segmentation of hard exudate lesions in color fundus image using two-stage CNN-based methods
Avram et al. CathAI: fully automated interpretation of coronary angiograms using neural networks
KR20170128975A (ko) 혈관 분할 장치 및 그것의 혈관 분할 방법
KR101852689B1 (ko) 혈관대응최적화를 이용한 관상동맥 혈관 추출 장치 및 방법
JP6642048B2 (ja) 医療画像表示システム、医療画像表示プログラム及び医療画像表示方法
JP2016159117A (ja) 画像領域対応付け装置、３次元モデル生成装置、画像領域対応付け方法、及び、画像領域対応付け用プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14778874

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015509920

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14778874

Country of ref document: EP

Kind code of ref document: A1