WO2025262829A1 - 手術支援装置および手術支援方法 - Google Patents

手術支援装置および手術支援方法

Info

Publication number
WO2025262829A1
WO2025262829A1 PCT/JP2024/022154 JP2024022154W WO2025262829A1 WO 2025262829 A1 WO2025262829 A1 WO 2025262829A1 JP 2024022154 W JP2024022154 W JP 2024022154W WO 2025262829 A1 WO2025262829 A1 WO 2025262829A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
blood vessel
intersection
angio
target blood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/022154
Other languages
English (en)
French (fr)
Inventor
功基 加藤
修 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Asahi Intecc Co Ltd
Original Assignee
Asahi Intecc Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asahi Intecc Co Ltd filed Critical Asahi Intecc Co Ltd
Priority to PCT/JP2024/022154 priority Critical patent/WO2025262829A1/ja
Publication of WO2025262829A1 publication Critical patent/WO2025262829A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications

Definitions

  • This disclosure relates to a surgical assistance device and a surgical assistance method.
  • Patent Document 1 discloses a method for obtaining a two-dimensional image of blood vessels by injecting a radiopaque contrast medium (contrast agent).
  • a radiopaque contrast medium contrast medium
  • the present disclosure has been made to solve at least some of the above-mentioned problems, and aims to provide technology that can accurately obtain the position and shape of blood vessels to be treated while reducing the number of injections of contrast agent.
  • a surgery support device includes an angio-image acquisition unit that acquires a first angio-image including a target blood vessel captured by an FPD placed at a first position in a three-dimensional space where the target blood vessel exists, and a second angio-image including the target blood vessel captured by an FPD placed at a second position different from the first position; first line segment information indicating a first line segment, which is a line segment identified as the position and shape of the target blood vessel in a first plane, which is a plane in the three-dimensional space indicated by the first angio-image; and second line segment information indicating a second line segment, which is a line segment identified as the position and shape of the target blood vessel in a second plane, which is a plane in the three-dimensional space indicated by the second angio-image.
  • vascular information acquisition unit that acquires vascular information indicating the position and shape of the target blood vessel in the three-dimensional space using the first intersection and the second intersection, which are projections of the same position of the target blood vessel in the three-dimensional space, when the first intersection is the intersection of the first line segment with a parallel line parallel to the intersection line between the virtual plane and the first plane set in the three-dimensional space, and the second intersection is the intersection of the second line segment with a parallel line parallel to the intersection line between the virtual plane and the second plane set in the three-dimensional space, and does not use the first intersection where the second intersection where the same position is projected does not exist, or the second intersection where the first intersection where the same position is projected does not exist, in acquiring the vascular information.
  • vascular information indicating the position and shape of the target blood vessel in three-dimensional space can be obtained using the first angio image and the second angio image. Therefore, after injecting contrast agent to obtain the first and second angio images, the position and shape of the target blood vessel in three-dimensional space can be grasped without injecting additional contrast agent.
  • vascular information is obtained using first and second intersections projected onto the same position of the target blood vessel in three-dimensional space, and first intersections where no second intersection projected onto the same position exists and second intersections where no first intersection projected onto the same position exists are not used to obtain vascular information.
  • vascular information is obtained using only the first and second intersections projected onto the same position, vascular information can be obtained with high accuracy. Therefore, with this configuration, the position and shape of the blood vessel to be treated can be obtained with high accuracy while reducing the number of injections of contrast agent.
  • the above-described surgical support device may include a vascular image generation unit that uses the vascular information to generate a vascular image representing the target blood vessel as viewed from the first position or the second position, and a composite image generation unit that generates a composite image in which the first angio-image or the second angio-image and the vascular image are superimposed and displayed.
  • a vascular image representing a target blood vessel viewed from a first position or a second position can be generated using vascular information accurately acquired by the vascular information acquisition unit. That is, after vascular information acquisition, a vascular image can be generated even if a contrast agent has not been injected into the target blood vessel.
  • a composite image can be generated in which the first angio image or the second angio image and the vascular image are superimposed. Therefore, when a medical device is captured in the first angio image or the second angio image, the surgeon can proceed with the procedure while checking the composite image and understanding the positional relationship between the medical device and the target blood vessel, as well as the position and shape of the target blood vessel. As a result, the accuracy of the procedure can be improved, the time required for the procedure can be shortened, and the burden on the patient can be reduced.
  • a different-start-point composite image can be generated without injecting a new contrast agent by superimposing a different-start-point vascular image representing the target blood vessel as seen from a third position on a third angio image captured from a third position different from the first and second positions. Therefore, by checking the different-start-point composite image in addition to the composite image, the surgeon can proceed with the procedure while understanding the positional relationship between the medical device and the target blood vessel, as well as the position and shape of the target blood vessel. This can further improve the accuracy of the procedure, shorten the time required for the procedure, and reduce the burden on the patient.
  • the present disclosure has been made to solve at least some of the problems described above, and can be realized in the following forms.
  • it can be realized in the form of an information processing device that acquires vascular information, an FPD (flat panel detector) that acquires vascular information, a system including these devices, a computer program that realizes the functions of these devices and systems, a server device for distributing the computer program, a non-transitory storage medium that stores the computer program, etc.
  • X, Y and Z axes are illustrated.
  • the X axis corresponds to the width direction of the blood vessel imaging device 20
  • the Y axis corresponds to the height direction of the blood vessel imaging device 20
  • the Z axis corresponds to the depth direction of the blood vessel imaging device 20.
  • the origin O of the three-dimensional coordinate system (XYZ coordinate system) consisting of the X, Y and Z axes is set to the position of the heart 91 of the human body 90.
  • the surgery support device 10 generates a vascular image representing the target blood vessels corresponding to the angio image captured by the FPD, and generates a composite image in which the angio image and the vascular image are superimposed.
  • the surgery support device 10 is configured to include a CPU, ROM, and RAM, and the CPU executes a computer program stored in the ROM to realize the functions of the main control unit 11, angio image acquisition unit 12, line segment information acquisition unit 13, vascular information acquisition unit 14, vascular image generation unit 15, and composite image generation unit 16.
  • the surgery support device 10 is electrically connected to the control unit 29, display device 30, and operation unit 50 of the vascular imaging device 20.
  • the main control unit 11 sends and receives information to and from the control unit 29, display device 30, and operation unit 50 of the vascular imaging device 20, and also controls the entire surgery assistance device 10.
  • the main control unit 11 controls the entire composite image generation process, which will be described later.
  • the angio-image acquisition unit 12 acquires a first angio-image and a second angio-image from the vascular imaging device 20.
  • a "first angio-image” is an angio-image including a target blood vessel imaged by an FPD placed at an arbitrary position in the three-dimensional space in which the target blood vessel exists. The imaging position of the FPD when the first angio-image is acquired is also referred to as the "first position.”
  • a “second angio-image” is an angio-image including a target blood vessel imaged by an FPD placed at an arbitrary position different from the first position in the three-dimensional space in which the target blood vessel exists. The imaging position of the FPD when the second angio-image is acquired is also referred to as the "second position.”
  • the line segment information acquisition unit 13 acquires first line segment information indicating a first line segment, which is a line segment identified as the position and shape of a target blood vessel on a first angio image, and second line segment information indicating a second line segment, which is a line segment identified as the position and shape of a target blood vessel on a second angio image. Details will be described later.
  • the vascular information acquisition unit 14 acquires vascular information indicating the position and shape of the target blood vessel in three-dimensional space using the first line segment information, second line segment information, etc. Details will be described later.
  • the vascular image generation unit 15 In the composite image generation process, the vascular image generation unit 15 generates a vascular image representing the target blood vessels corresponding to the first or second angio image captured by the FPD. Details will be described later.
  • the composite image generation unit 16 In the composite image generation process, the composite image generation unit 16 generates a composite image in which the first angio image or the second angio image is superimposed on the blood vessel image. In this embodiment, the generated composite image is displayed on the display device 30. Details will be described later.
  • the first FPD 21 includes an X-ray planar detector, converts X-rays received from the first X-ray tube device 22 into electrical signals, and performs A/D (analog/digital) conversion to generate an angioimage.
  • the first X-ray tube device 22 receives high voltage output from an X-ray high voltage device (not shown) and emits an X-ray beam. As shown by the thick dashed line extending in the Y-axis direction in Figure 1, the X-ray beam emitted from the first X-ray tube device 22 passes through the human body 90 and enters the first FPD 21.
  • the first C-arm 23 is a C-shaped arm (support) that fixes the first FPD 21 and the first X-ray tube device 22 in opposing positions.
  • the first support part 24 rotatably supports the first C-arm 23. That is, the first FPD 21 and the first X-ray tube assembly 22 are fixed in opposing positions by the first C-arm 23 and can be moved to any imaging position around the human body 90 lying on the bed 41.
  • the first FPD 21 and the first X-ray tube assembly 22 fixed to the first C-arm 23 will also be simply referred to as the "first FPD 21.”
  • the second FPD 25 has the same configuration as the first FPD 21.
  • the second X-ray tube device 26 has the same configuration as the first X-ray tube device 22. As indicated by the thick dashed line extending in the X-axis direction in FIG. 1 , the X-ray beam emitted from the second X-ray tube device 26 enters the second FPD 25 through the human body 90.
  • the second C-arm 27 is a C-shaped arm (support) that fixes the second FPD 25 and the second X-ray tube device 26 in opposing positions.
  • the second support unit 28 rotatably supports the second C-arm 27.
  • the second FPD 25 is positioned in the normal direction to the first FPD 21.
  • the first FPD 21 is positioned to image in the front direction of the human body 90 (vertical direction of the human body 90, longitudinal direction of the human body 90)
  • the second FPD 25 is positioned to image in the horizontal direction of the human body 90 (lateral direction of the human body 90).
  • the blood vessel imaging device 20 may also be simply referred to as an "FPD" or "FPD device.”
  • the control unit 29 includes a CPU, ROM, and RAM, and controls the entire vascular imaging device 20 by the CPU executing a computer program stored in the ROM.
  • the control unit 29 is electrically connected to each of the first FPD 21, second FPD 25, first support unit 24, second support unit 28, display device 30, table 40, and operation unit 50.
  • the control unit 29 displays angiographic images generated by the first FPD 21 and second FPD 25 on the display device 30.
  • the control unit 29 drives the first support unit 24 to rotate the first C-arm 23 and drives the second support unit 28 to rotate the second C-arm 27.
  • the control unit 29 extends and retracts the extension unit 42 to change the height of the bed 41 and moves the table 40 in the Z-axis direction to change the position of the bed 41.
  • the display device 30 is connected to the surgery assistance device 10 and the control unit 29 of the vascular imaging device 20, and functions as an output interface for the surgery assistance device 10 and the vascular imaging device 20.
  • the display device 30 has a monitor 31 and an arm 32.
  • the monitor 31 is a "display unit" constructed using well-known means such as an LCD display, smart glasses, or a projector.
  • the arm 32 supports and secures the monitor 31.
  • the table 40 is a platform on which the human body 90 lies and is positioned near the first FPD 21 and the second FPD 25.
  • the table 40 has a bed 41, an extension/contraction section 42, and legs 43.
  • the bed 41 is equipped with a mattress on which the human body 90 lies.
  • the bed 41 is supported by the table 40 and is movable in the Z-axis direction.
  • the extension/contraction section 42 is configured to extend and contract in the Y-axis direction, thereby changing the height of the bed 41.
  • the legs 43 support the bed 41 and the extension/contraction section 42. As shown in FIG.
  • the human body 90 lies face up on the bed 41 with its head 92 placed on the side closer to the first FPD 21 and the second FPD 25 and its feet 93 placed on the side farther from the first FPD 21 and the second FPD 25. This makes it easier for the first FPD 21 and the second FPD 25 to acquire images of the target blood vessels in the heart 91.
  • the operation unit 50 is connected to the surgery support device 10 and the control unit 29 of the vascular imaging device 20, and functions as an input interface for the surgery support device 10 and the vascular imaging device 20.
  • the operation unit 50 is an "input unit" composed of well-known means such as a touch panel, operation buttons, operation levers, operation switches, keyboard, mouse, voice input unit, foot switch, etc. In the illustrated example, the operation unit 50 is fixed to the table 40.
  • FIGS. 2 to 5 are diagrams illustrating the imaging position of the first FPD 21.
  • FIG. 2 is a diagram illustrating LAO
  • FIG. 3 is a diagram illustrating RAO.
  • LAO Left Anterior Oblique view
  • RAO Right Anterior Oblique view
  • FIG. 4 is a diagram illustrating CRA
  • FIG. 5 is a diagram illustrating CAU.
  • CRA CRAnial
  • the surgery support device 10 instructs the surgeon via the operation screen OS to prepare for imaging using the first FPD 21.
  • preparing for imaging at this time involves positioning the wire catheter CA with the guidewire GW inserted through its lumen near the target blood vessel TG of the human body 90 (see Figure 1) lying on the bed 41, and then positioning the first FPD 21 at any position where the target blood vessel TG can be imaged.
  • the surgeon prepares for imaging using the first FPD 21 according to the instructions. Because no contrast agent has been injected into the human body 90 during preparation for imaging, the canvas A2 displays an image captured by the first FPD 21 that shows only the wire catheter CA with the guidewire GW inserted through its lumen.
  • the surgery support device 10 executes step S2.
  • step S3 the surgery support device 10 adjusts the imaging position of the first FPD 21 so that the reference point RP is positioned at the center of the canvas A2 in the image of the wire catheter CA and guidewire GW displayed on the canvas A2.
  • the adjustment of the imaging position of the first FPD 21 may be performed by the surgery support device 10, or the surgery support device 10 may instruct the surgeon via the operation screen OS.
  • the surgery support device 10 executes step S4.
  • step S4 the surgery support device 10 instructs the surgeon via the operation screen OS to capture a first angio image as a still image using the first FPD 21 with contrast agent injected into the human body 90.
  • the surgeon follows the instructions and captures the first angio image using the first FPD 21 with contrast agent injected into the human body 90.
  • the imaging position of the first FPD 21 at this time corresponds to the first position described above.
  • the surgery support device 10 functions as the angio image acquisition unit 12 to acquire the first angio image captured as a still image.
  • imaging by the first FPD 21 is performed by continuous shooting so that multiple first angio images are acquired by imaging using the first FPD 21.
  • Each of the acquired first angio images shows the wire catheter CA and guidewire GW, as well as target blood vessels TG of various shapes depending on the circulation state of the contrast agent at each imaging timing.
  • the surgery support device 10 executes step S5.
  • the surgery support device 10 displays the first angio image selected by the surgeon on the canvas A2 and identifies a first line segment L1 (see Figure 8) in the first angio image.
  • the first line segment L1 is a line segment identified as the position and shape of the target blood vessel TG shown in the first angio image.
  • the first line segment L1 may be identified by the surgery support device 10 through image recognition, or may be identified by the surgeon himself/herself instructed to identify it via the operation screen OS.
  • the surgery support device 10 functions as the line segment information acquisition unit 13 to acquire first line segment information indicating the first line segment L1 on the first angio image.
  • FIG. 9 is an explanatory diagram showing an example of the second angio image AG2 created through steps S6 to S10 of the composite image generation process.
  • the second angio image AG2 is an angio image including the target blood vessel imaged by an FPD placed at a second position, which is an arbitrary position different from the first position.
  • the second angio image AG2 shows the wire catheter CA and guidewire GW, as with the first angio image AG1 shown in FIG. 8, and also shows a second line segment L2, which is a line segment identified as the position and shape of the target blood vessel TG.
  • the second angio image AG2 corresponds to an angio image obtained by imaging the wire catheter CA, guidewire GW, and target blood vessel TG from a second position different from the first position, while maintaining the three-dimensional positional relationship between the tip tp and the target blood vessel TG when imaging was performed in step S4.
  • step S7 the surgery support device 10, similar to step S2, sets a reference point RP in the image of the wire catheter CA and guidewire GW displayed on the canvas A2. Once the position of the tip tp is identified, the reference point RP is set by marking that position with a diagonal cross (see FIG. 9), and then the surgery support device 10 executes step S8.
  • the reference point RP set in step S7 and the reference point RP set on the first angio image AG1 are considered to be points where the tip tp, which exists in three-dimensional space, is projected onto each of the first angio image AG1 and the second angio image AG2.
  • the reference point RP set in step S7 and the reference point RP set on the first angio image AG1 are considered to be points where the same position (tip tp) in three-dimensional space is projected.
  • step S8 similar to step S3, the surgery support device 10 adjusts the imaging position of the first FPD 21 so that the reference point RP is positioned at the center of the canvas A2 in the image showing the wire catheter CA and guidewire GW displayed on the canvas A2. Once the imaging position has been adjusted, the surgery support device 10 executes step S9.
  • step S9 similar to step S4, the surgery support device 10 instructs the surgeon via the operation screen OS to capture a second angio image as a still image using the first FPD 21 with the contrast agent injected into the human body 90.
  • the surgeon follows the instruction to capture a second angio image using the first FPD 21 with the contrast agent injected into the human body 90.
  • the imaging position of the first FPD 21 at this time corresponds to the second position described above.
  • the surgery support device 10 functions as the angio image acquisition unit 12 to acquire the second angio image captured as a still image.
  • imaging by the first FPD 21 is performed by continuous shooting so that multiple second angio images are acquired by imaging using the first FPD 21.
  • Each of the acquired second angio images shows, in addition to the wire catheter CA and guidewire GW, target blood vessels TG of various shapes depending on the flow state of the contrast agent at each imaging timing.
  • the surgery support device 10 executes step S10.
  • step S10 the surgery support device 10, as in step S5, displays the second angio image selected by the surgeon on canvas A2 and identifies a second line segment L2 (see Figure 9) in the second angio image.
  • the second line segment L2 is a line segment identified as the position and shape of the target blood vessel TG in the second angio image.
  • the surgery support device 10 functions as the line segment information acquisition unit 13 to acquire second line segment information indicating the second line segment L2 on the second angio image.
  • the second line segment L2 identified in step S10 is drawn on the second angio image, thereby creating a second angio image AG2 as illustrated in Figure 9.
  • a second angio image AG2 as illustrated in Figure 9 is created and stored by the surgery support device 10.
  • the surgery support device 10 executes step S11.
  • the target blood vessel TG shown in FIG. 10 is a target blood vessel existing in three-dimensional space.
  • the first view vector V1 is a vector representing the imaging direction of the first FPD21 when the first angio image AG1 is captured.
  • the second view vector V2 is a vector representing the imaging direction of the first FPD21 when the second angio image AG2 is captured.
  • the first plane F1 is a plane in three-dimensional space represented by the first angio image AG1.
  • the first angio image AG1 corresponds to the first plane F1 onto which the target blood vessel TG in a state in which contrast agent has been injected is projected. Furthermore, the first plane F1 is perpendicular to the first view vector V1.
  • the second plane F2 is a plane in three-dimensional space represented by the second angio image AG2. That is, the second angio-image AG2 corresponds to the second plane F2 onto which the target blood vessel TG is projected when contrast agent is injected.
  • the second plane F2 is perpendicular to the second view vector V2.
  • FIG. 10 shows a first line segment L1, which is a line segment identified as the shape of the target blood vessel TG on the first plane F1.
  • FIG. 10 shows a second line segment L2, which is a line segment identified as the shape of the target blood vessel TG on the second plane F2.
  • L2 is a line segment identified as the shape of the target blood vessel TG on the second plane F2.
  • the wire catheter CA and guidewire GW are not shown in the three-dimensional space of FIG. 10, it is assumed that the wire catheter CA and guidewire GW are also projected onto the first plane F1 and second plane F2 (the first angio-image AG1 and the second angio-image AG2).
  • Intersection line S1 is the intersection line between virtual plane VP, which will be described later, and first plane F1.
  • Intersection line S2 is the intersection line between virtual plane VP, which will be described later, and second plane F2.
  • An intersection line is a line that indicates the position where two surfaces intersect.
  • virtual plane VP is a plane whose normal vector BV (shown in Figure 10) is the cross product of first view vector V1 and second view vector V2.
  • virtual plane VP is a plane that is parallel to first view vector V1 and second view vector V2, and is perpendicular to first plane F1 and second plane F2.
  • the first parallel line PL1 and second parallel line PL2 shown in Figure 10 will be described later.
  • the surgery support device 10 uses the vascular information to generate a different-viewpoint vascular image representing the target blood vessel as viewed from a third position.
  • the surgery support device 10 sets the position of the tip tp of the wire catheter CA shown in the third angio image as a reference point RP, and then calculates the position and shape of the target blood vessel TG as viewed from the third position by referring to the position of the reference point RP, the third position, and the vascular information, thereby generating a different-viewpoint vascular image to be displayed superimposed on the third angio image.
  • the different-viewpoint vascular image corresponds to an image obtained by projecting the shape of the target blood vessel TG in three-dimensional space identified based on the vascular information onto a plane (corresponding to the first and second planes F1 and F2 in the first and second angio images) perpendicular to the direction of the third view vector indicating the imaging direction of the FPD when the third angio image was captured.
  • the surgery support device 10 then functions as a composite image generator 16 to generate a different-viewpoint composite image in which the third angioimage and the different-viewpoint vascular image are superimposed. Because the different-viewpoint vascular image can be generated using vascular information acquired through the composite image generation process, the surgery support device 10 can generate the different-viewpoint composite image without newly injecting a contrast agent into the human body 90.
  • the surgery support device 10 included in the surgery support system 1 of the first embodiment can acquire vascular information indicating the position and shape of the target blood vessel TG in three-dimensional space using the first angio image AG1 and the second angio image AG2 (see Figures 8, 9, 12, and 13). Therefore, after injecting contrast agent to acquire the first angio image AG1 and the second angio image AG2, the position and shape of the target blood vessel TG in three-dimensional space can be grasped without injecting additional contrast agent.
  • the surgery support device 10 acquires vascular information using the first intersection N1 and the second intersection N2 projected from the same position of the target blood vessel TG in three-dimensional space, and does not use first intersections where no second intersection projected from the same position exists or second intersections where no first intersection projected from the same position exists to acquire vascular information (see Figures 12 and 13).
  • vascular information is acquired using only the first intersection point N1 and the second intersection point N2, which are projections of the same position, vascular information can be acquired with high accuracy. Therefore, with the surgery support device 10, the position and shape of the blood vessels to be treated can be acquired with high accuracy while reducing the number of injections of contrast agent.
  • the surgery support device 10 included in the surgery support system 1 of the first embodiment functions as a vascular image generator 15 and a composite image generator 16. Therefore, by functioning as the vascular information acquisition unit 14, it is possible to generate a vascular image BI representing the target blood vessel TG as viewed from the first or second position using vascular information acquired with high accuracy. In other words, after vascular information acquisition, it is possible to generate a vascular image BI even if contrast medium has not been injected into the target blood vessel TG.
  • the surgery support device 10 can generate a composite image CP in which the first angio image AG1 or the second angio image AG2 and the vascular image BI are superimposed (see Figures 15A and 15B).
  • a medical device e.g., a wire catheter CA or a guidewire GW
  • the surgeon can proceed with the procedure while understanding the positional relationship between the medical device and the target blood vessel TG and the position and shape of the target blood vessel TG by checking the composite image CP.
  • the accuracy of the procedure can be improved, the time required for the procedure can be shortened, and the burden on the patient can be reduced.
  • the surgery support device 10 included in the surgery support system 1 of the first embodiment can generate a different start point composite image by superimposing a different start point vascular image representing the target blood vessel as seen from a third position on a third angio image captured from a third position different from the first and second positions, without injecting any new contrast agent, once vascular information has been acquired. Therefore, by checking the different start point composite image in addition to the composite image CP, the surgeon can proceed with the procedure while understanding the positional relationship between the medical device and the target blood vessel TG, as well as the position and shape of the target blood vessel TG. This can further improve the accuracy of the procedure, shorten the time required for the procedure, and reduce the burden on the patient.
  • a plane whose normal vector BV is the cross product of the first view vector V1 and the second view vector V2 is set as a virtual plane VP, and vascular information can be acquired using the first intersection N1 and second intersection N2 identified by this virtual plane VP.
  • the first intersection N1 and second intersection N2 projected from the same position of the target blood vessel TG in three-dimensional space are used, and the first intersection N1 where the second intersection N2 projected from the same position does not exist and the second intersection N2 where the first intersection N1 projected from the same position does not exist are not used to acquire vascular information.
  • the configuration of the surgery assistance system 1 is exemplified.
  • the configuration of the surgery assistance system 1 can be modified in various ways.
  • the display device 30 may be a monitor or touch panel built into the surgery assistance device 10.
  • the vascular imaging device 20 may be configured to have a single FPD (in other words, a configuration without a second FPD 25).
  • the surgery assistance system 1 may also have other medical devices (e.g., CT device, MRI device) that are not shown.
  • the vascular information included the direction from the position of the reference point RP in three-dimensional space to each position of the target blood vessel TG, and the length from the position of the reference point RP to each position of the target blood vessel TG in three-dimensional space.
  • the above-mentioned vascular information is merely an example, and various modifications are possible.
  • the vascular information may be defined by any information, such as a set of point sequence coordinates forming the outer edge of the target blood vessel, or a set of coordinates of characteristic points on the outer edge of the target blood vessel.
  • the virtual plane VP was a plane whose normal vector BV was the cross product of the first view vector V1 and the second view vector.
  • the above-mentioned virtual plane VP is merely an example, and various modifications are possible.
  • the virtual plane VP may be any plane as long as it is not parallel to either the first plane F1 or the second plane F2.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

手術支援装置は、第1位置に配置されたFPDで撮像された第1アンギオ画像と、第2位置に配置されたFPDで撮像された第2アンギオ画像と、を取得するアンギオ画像取得部と、第1アンギオ画像において対象血管の位置および形状として特定された第1線分を示す第1線分情報と、第2アンギオ画像において対象血管の位置および形状として特定された第2線分を示す第2線分情報と、を取得する線分情報取得部と、仮想平面と第1平面との交線に平行な平行線と、第1線分と、の交点を第1交点とし、仮想平面と第2平面との交線に平行な平行線と、第2線分と、の交点を第2交点としたとき、対象血管の同じ位置を射影した第1交点および第2交点を用いて血管情報を取得し、同じ位置を射影した第2交点が存在しない第1交点および同じ位置を射影した第1交点が存在しない第2交点を血管情報の取得に用いない血管情報取得部と、を備える。

Description

手術支援装置および手術支援方法
 本開示は、手術支援装置および手術支援方法に関する。
 慢性完全閉塞(CTO:Chronic Total Occlusion)のように、血管内が閉塞物によって閉塞されてしまう場合がある。この場合、血管内の閉塞物を除去し、あるいは閉塞物の側方にステントを留置する等の手技を行うことにより、血管の再開通が図られる。このような手技では、術者が、治療の対象となる血管の位置および形状を正しく把握することが、手技の精度向上、手技に要する時間の短縮、患者の負担低減といった観点から重要である。特許文献1には、放射線不透過性の対照媒体(造影剤)を注入することによって血管の二次元図を得る手法が開示されている。
特許第5886219号
 しかし、特許文献1に開示された技術では、造影剤が流通している間のみ血管の位置および形状が確認可能であるところ、血管の位置および形状を確認するために何度も造影剤を注入することは、患者の負担増加につながることから好ましくないという課題があった。このため、造影剤の注入回数を減らしつつ治療の対象となる血管の位置および形状を精度良く取得することができる技術の開発が要望されていた。
 本開示は、上述の課題の少なくとも一部を解決するためになされたものであり、造影剤の注入回数を減らしつつ治療の対象となる血管の位置および形状を精度良く取得することが可能な技術の提供を目的とする。
 本開示は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
 (1)本開示の一形態によれば、手術支援装置が提供される。この手術支援装置は、対象血管が存在する3次元空間の第1位置に配置されたFPDによって撮像された前記対象血管を含む第1アンギオ画像と、前記第1位置とは異なる第2位置に配置された前記FPDによって撮像された前記対象血管を含む第2アンギオ画像と、を取得するアンギオ画像取得部と、前記第1アンギオ画像が示す前記3次元空間上の平面である第1平面において前記対象血管の位置および形状として特定された線分である第1線分を示す第1線分情報と、前記第2アンギオ画像が示す前記3次元空間上の平面である第2平面において前記対象血管の位置および形状として特定された線分である第2線分を示す第2線分情報と、を取得する線分情報取得部と、前記3次元空間に設定した前記仮想平面と前記第1平面との交線に平行な平行線と、前記第1線分と、の交点を第1交点とし、前記仮想平面と前記第2平面との交線に平行な平行線と、前記第2線分と、の交点を第2交点としたとき、前記3次元空間上の前記対象血管の同じ位置を射影した前記第1交点および前記第2交点を用いて前記3次元空間上の前記対象血管の位置および形状を示す血管情報を取得し、前記同じ位置を射影した前記第2交点が存在しない前記第1交点および前記同じ位置を射影した前記第1交点が存在しない前記第2交点を前記血管情報の取得に用いない血管情報取得部と、を備える。
 この構成によれば、第1アンギオ画像および第2アンギオ画像を用いて3次元空間上の対象血管の位置および形状を示す血管情報を取得できることから、第1アンギオ画像および第2アンギオ画像の取得のために造影剤を注入して以降は新たに造影剤を注入することなく、3次元空間上の対象血管の位置および形状を把握することができる。この構成によれば、3次元空間上の対象血管の同じ位置を射影した第1交点および第2交点を用いて血管情報を取得し、当該同じ位置を射影した第2交点が存在しない第1交点および当該同じ位置を射影した第1交点が存在しない第2交点を血管情報の取得に用いない。すなわち、当該同じ位置を射影した第1交点および第2交点のみを用いて血管情報を取得することから、血管情報を精度良く取得することができる。したがって、この構成によれば、造影剤の注入回数を減らしつつ治療の対象となる血管の位置および形状を精度良く取得することができる。
 (2)上記形態の手術支援装置において、前記血管情報を用いて、前記第1位置もしくは前記第2位置から見た前記対象血管を表す血管画像を生成する血管画像生成部と、前記第1アンギオ画像もしくは前記第2アンギオ画像と、前記血管画像と、を重ねて表示した合成画像を生成する合成画像生成部と、を備えていてもよい。
 この構成によれば、血管情報取得部によって精度良く取得された血管情報を用いて、第1位置もしくは第2位置から見た対象血管を表す血管画像を生成することができる。すなわち、血管情報の取得後であれば、対象血管に造影剤が注入されていない状態であっても、血管画像を生成することができる。この構成によれば、第1アンギオ画像もしくは第2アンギオ画像と、血管画像と、を重ねて表示した合成画像を生成することができる。このため、第1アンギオ画像もしくは第2アンギオ画像に医療デバイスが写っている場合には、術者は、合成画像を確認することで、医療デバイスと対象血管との位置関係および対象血管の位置および形状を把握しつつ手技を進めることができる。この結果、手技の精度向上、手技に要する時間の短縮、患者の負担低減を図ることができる。
 (3)上記形態の手術支援装置において、前記アンギオ画像取得部は、さらに、前記第1位置および前記第2位置とは異なる第3位置に配置された前記FPDによって撮像された第3アンギオ画像を取得可能であり、前記血管画像生成部は、前記血管情報の取得後に前記第3アンギオ画像を取得した場合、前記血管情報を用いて、前記第3位置から見た前記対象血管を表す別視点血管画像を生成し、前記合成画像生成部は、前記第3アンギオ画像と、前記別視点血管画像と、を重ねて表示した別視点合成画像を生成してもよい。
 この構成によれば、血管情報の取得後であれば、新たに造影剤を注入することなく、第1位置および第2位置とは異なる第3位置から撮像された第3アンギオ画像に、第3位置から見た対象血管を表す別始点血管画像を重ねて表示した別始点合成画像を生成することができる。このため、術者は、合成画像に加えて別始点合成画像を確認することで、医療デバイスと対象血管との位置関係および対象血管の位置および形状を把握しつつ手技を進めることができる。この結果、手技の精度向上、手技に要する時間の短縮、患者の負担低減をより一層図ることができる。
 (4)上記形態の手術支援装置において、前記仮想平面は、前記第1アンギオ画像を撮像した際の前記FPDの撮像方向を示す第1ビューベクトルと前記第2アンギオ画像を撮像した際の前記FPDの撮像方向を示す第2ビューベクトルとの外積を法線ベクトルとする平面であってもよい。
 この構成によれば、第1ビューベクトルと第2ビューベクトルとの外積を法線ベクトルとする平面を仮想平面として設定し、その仮想平面によって特定された第1交点および第2交点を用いて血管情報を取得することができる。
 本開示は、上述した課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。例えば、血管情報を取得する情報処理装置、血管情報を取得するFPD(フラットパネルディテクタ)、これらの装置を含むシステム、これらの装置及びシステムの機能を実現するコンピュータプログラム、そのコンピュータプログラムを配布するためのサーバ装置、そのコンピュータプログラムを記憶した一時的でない記憶媒体等の形態で実現することができる。
手術支援システムの構成を例示した説明図である。 LAOについて説明する図である。 RAOについて説明する図である。 CRAについて説明する図である。 CAUについて説明する図である。 合成画像生成処理の一例を示すフローチャートである。 合成画像生成処理で使用される操作画面の説明図である。 第1アンギオ画像の一例を示す説明図である。 第2アンギオ画像の一例を示す説明図である。 交線の説明図である。 垂線の説明図である。 第1交点および第2交点の説明図である。 血管情報の取得に関する説明図である。 血管情報の取得に関する説明図である。 血管情報の取得に関する説明図である。 血管画像および合成画像の説明図である。 血管画像および合成画像の説明図である。
<第1実施形態>
 図1は、手術支援システム1の構成を例示した説明図である。手術支援システム1は、検査や治療を支援するシステムである。手術支援システム1は、手術支援装置10と、FPD(フラットパネルディテクタ、Flat Panel Detector)を有する血管撮像装置20と、表示装置30と、テーブル40と、操作部50と、を備えている。本実施形態の手術支援システム1は、後述する手術支援装置10を備えることによって、FPDにより対象血管を撮像した撮像画像(以降「アンギオ画像」と呼ぶ)に対して、当該アンギオ画像に対応した対象血管を表す血管画像を生成し、アンギオ画像と血管画像とを重ねて表示した合成画像を生成できる。「対象血管」とは、検査および治療のいずれかの対象となる血管を意味するが、手術支援システム1は、血管系に限らず、リンパ腺系、胆道系、尿路系、気道系、消化器官系、分泌腺及び生殖器官といった生体管腔内に対して使用されてもよい。
 図1では、相互に直交するXYZ軸を図示する。X軸は血管撮像装置20の幅方向に対応し、Y軸は血管撮像装置20の高さ方向に対応し、Z軸は血管撮像装置20の奥行方向に対応する。このX,Y,Z軸からなる三次元座標(XYZ座標)の原点Oは、人体90の心臓91の位置としている。
 手術支援装置10は、後述の合成画像生成処理において、FPDにより撮像されたアンギオ画像に対応した対象血管を表す血管画像を生成し、アンギオ画像と、血管画像とを重ねて表示した合成画像を生成する。手術支援装置10は、CPU、ROM、RAMを含んで構成されており、CPUがROMに記憶されているコンピュータプログラムを実行することにより、主制御部11と、アンギオ画像取得部12と、線分情報取得部13と、血管情報取得部14と、血管画像生成部15と、合成画像生成部16との各機能を実現する。手術支援装置10は、血管撮像装置20の制御部29、表示装置30、及び操作部50のそれぞれと、電気的に接続されている。
 主制御部11は、血管撮像装置20の制御部29、表示装置30、及び操作部50と情報を送受すると共に、手術支援装置10の全体を制御する。主制御部11は、後述する合成画像生成処理の全体を制御する。
 アンギオ画像取得部12は、合成画像生成処理において、血管撮像装置20から、第1アンギオ画像と第2アンギオ画像とを取得する。「第1アンギオ画像」とは、対象血管が存在する3次元空間の任意の位置に配置されたFPDによって撮像された対象血管を含むアンギオ画像である。第1アンギオ画像を取得した際のFPDの撮像位置を「第1位置」とも呼ぶ。「第2アンギオ画像」とは、対象血管が存在する3次元空間の第1位置とは異なる任意の位置に配置されたFPDによって撮像された対象血管を含むアンギオ画像である。第2アンギオ画像を取得した際のFPDの撮像位置を「第2位置」とも呼ぶ。
 線分情報取得部13は、合成画像生成処理において、第1アンギオ画像上にて対象血管の位置および形状として特定された線分である第1線分を示す第1線分情報と、第2アンギオ画像上にて対象血管の位置および形状として特定された線分である第2線分を示す第2線分情報と、を取得する。詳細は後述する。
 血管情報取得部14は、合成画像生成処理において、第1線分情報および第2線分情報等を用いて、3次元空間上の対象血管の位置および形状を示す血管情報を取得する。詳細は後述する。
 血管画像生成部15は、合成画像生成処理において、FPDにより撮像された第1アンギオ画像もしくは第2アンギオ画像に対して、当該アンギオ画像に対応した対象血管を表す血管画像を生成する。詳細は後述する。
 合成画像生成部16は、合成画像生成処理において、第1アンギオ画像もしくは第2アンギオ画像と、血管画像と、を重ねて表示した合成画像を生成する。本実施形態において、生成された合成画像は、表示装置30によって表示される。詳細は後述する。
 血管撮像装置20は、FPDを有しており、人体を透過させたX線をデジタル信号に変換することによってアンギオ画像を取得するための装置である。血管撮像装置20は、第1FPD21と、第1X線管装置22と、第1Cアーム23と、第1支持部24と、第2FPD25と、第2X線管装置26と、第2Cアーム27と、第2支持部28と、制御部29を有している。
 第1FPD21は、X線平面検出器を含んでおり、第1X線管装置22から入光したX線を電気信号に変換し、A/D(アナログ/デジタル)変換して、アンギオ画像を生成する。第1X線管装置22は、図示しないX線高電圧装置からの高電圧出力の供給を受けて、X線ビームを照射する。図1においてY軸方向に延びる太い破線で示すように、第1X線管装置22から照射されたX線ビームは、人体90を介して、第1FPD21へと入光する。第1Cアーム23は、第1FPD21と第1X線管装置22とを対向する位置に固定するC字状のアーム(支持具)である。第1支持部24は、第1Cアーム23を回転可能に支持している。すなわち、第1FPD21及び第1X線管装置22は、第1Cアーム23により対向する位置に固定された状態で、寝台41に横たわる人体90の周囲において、任意の撮像位置へと移動できる。以降、第1Cアーム23に固定された第1FPD21及び第1X線管装置22を、単に「第1FPD21」とも呼ぶ。
 第2FPD25の構成は、第1FPD21と同様である。第2X線管装置26の構成は、第1X線管装置22と同様である。図1においてX軸方向に延びる太い破線で示すように、第2X線管装置26から照射されたX線ビームは、人体90を介して、第2FPD25へと入光する。第2Cアーム27は、第2FPD25と第2X線管装置26とを対向する位置に固定するC字状のアーム(支持具)である。第2支持部28は、第2Cアーム27を回転可能に支持している。すなわち、第2FPD25及び第2X線管装置26は、第2Cアーム27により対向する位置に固定された状態で、人体90の周囲において、任意の撮像位置へと移動できる。以降、第2Cアーム27に固定された第2FPD25及び第2X線管装置26を、単に「第2FPD25」とも呼ぶ。
 一般的に、第2FPD25は、第1FPD21の法線方向に配置される。例えば、図1に示すように、第1FPD21を人体90の正面方向(人体90の垂直方向、人体90の縦方向)の撮像位置とした場合、第2FPD25は、人体90の水平方向(人体90の横方向)の撮像位置とされる。血管撮像装置20は、単に「FPD」、「FPD装置」などとも呼ばれることがある。
 制御部29は、CPU、ROM、RAMを含んで構成されており、CPUがROMに記憶されているコンピュータプログラムを実行することにより、血管撮像装置20の全体を制御する。制御部29は、第1FPD21、第2FPD25、第1支持部24、第2支持部28、表示装置30、テーブル40、及び操作部50のそれぞれと、電気的に接続されている。制御部29は、第1FPD21や第2FPD25により生成されたアンギオ画像を、表示装置30に表示させる。制御部29は、操作部50からの操作に従って、第1支持部24を駆動して第1Cアーム23を回転させ、第2支持部28を駆動して第2Cアーム27を回転させる。さらに、制御部29は、操作部50からの操作に従って、伸縮部42を伸縮させることで寝台41の高さを変更し、テーブル40をZ軸方向に移動させることで寝台41の位置を変更する。
 表示装置30は、手術支援装置10と、血管撮像装置20の制御部29とに接続されており、手術支援装置10及び血管撮像装置20に対する出力インタフェースとして機能する。表示装置30は、モニタ31と、アーム32とを有している。モニタ31は、液晶ディスプレイ、スマートグラス、プロジェクタ等の周知の手段により構成された「表示部」である。アーム32は、モニタ31を支持し、固定している。
 テーブル40は、人体90を横たえて、第1FPD21及び第2FPD25の近傍に位置させるための台である。テーブル40は、寝台41と、伸縮部42と、脚部43とを有している。寝台41は、人体90を横たえるためのマットレスを備える。寝台41は、Z軸方向に移動可能な状態で、テーブル40に支持されている。伸縮部42は、Y軸方向に伸縮することで、寝台41の高さを変更可能に構成されている。脚部43は、寝台41及び伸縮部42を支えている。図1に示すように、人体90は、頭92を、第1FPD21及び第2FPD25に近い側に載せ、足93を、第1FPD21及び第2FPD25から遠い側に載せた状態で、寝台41に上向きに横たえられる。このようにすれば、第1FPD21及び第2FPD25によって、心臓91にある対象血管の像を取得しやすい。
 操作部50は、手術支援装置10と、血管撮像装置20の制御部29とに接続されており、手術支援装置10及び血管撮像装置20に対する入力インタフェースとして機能する。操作部50は、タッチパネル、操作ボタン、操作レバー、操作スイッチ、キーボード、マウス、音声入力部、フットスイッチ等の周知の手段により構成された「入力部」である。図示の例では、操作部50は、テーブル40に固定されている。
 図2~5は、第1FPD21の撮像位置について説明する図である。図2はLAOについて説明する図であり、図3はRAOについて説明する図である。図2に示すように、第1FPD21を人体90の左側方向に位置させる場合を、LAO(Left Anterior Oblique view)と呼ぶ。図3に示すように、第1FPD21を人体90の右側方向に位置させる場合を、RAO(Right Anterior Oblique view)と呼ぶ。図4はCRAについて説明する図であり、図5はCAUについて説明する図である。図4に示すように、第1FPD21を人体90の上側方向に位置させる場合を、CRA(CRAnial)と呼ぶ。図5に示すように、第1FPD21を人体90の下側方向に位置させる場合を、CAU(CAUdal)と呼ぶ。すなわち、「第1FPD21の撮像位置」とは、以下に示す左右位置(A1)と、上下位置(A2)との組み合わせにより特定される。
(A1)LAOおよびRAOの何れかと、人体90の中心Oを通るY軸からの傾きθ1、
(A2)CRAおよびCAUの何れかと、人体90の中心Oを通るY軸からの傾きθ2。
人体90の中心Oは、人体90の心臓91の位置である。例えば「第1FPD21の撮像位置が(RAO28 CRA5)である」とは、第1FPD21が人体90の右側方向に28度の位置、かつ、人体90の上側方向に5度の位置にあることを意味する。
 図6は、合成画像生成処理の一例を示すフローチャートである。合成画像生成処理は、例えば、手術支援装置10への電源投入、所定のアプリケーションの起動、血管撮像装置20の起動等の任意の契機で開始できる。以降の説明では、第1FPD21を用いてアンギオ画像を得る場合を例示する。しかし、第2FPD25を用いてアンギオ画像を取得してもよい。この場合、以降の説明において「第1FPD21」と記載する部分を「第2FPD25」と読み替えて処理すればよい。
 図7は、合成画像生成処理で使用される操作画面OSの説明図である。本実施形態の例では、手術支援装置10は、図7に示すような操作画面OSを表示装置30に表示させて、この操作画面OSを用いて各種操作の指示を表示する。操作画面OSは、各種操作を行うためのボタンが配置される操作ボタン表示領域A1と、キャンバスA2と、各種指示メッセージが表示される指示表示領域A3と、を有している。キャンバスA2は、後述する第1アンギオ画像や第2アンギオ画像等を表示するための領域である。操作画面OSはあくまで一例であり、種々の変更ができる。例えば、操作画面OSの指示表示領域A3を省略し、音声による指示が実行される構成としてもよい。
 図8は、合成画像生成処理のうちステップS1~S5を経て作成される第1アンギオ画像AG1の一例を示す説明図である。第1アンギオ画像AG1には、ワイヤ用カテーテルCAおよびガイドワイヤGWが写っているとともに、対象血管TGの位置および形状として特定された線分である第1線分L1が示されている。ワイヤ用カテーテルCAの内側には、ガイドワイヤGWを挿通するためのルーメン(不図示)が形成されている。第1アンギオ画像AG1には、ワイヤ用カテーテルCAの先端部tpから突出した状態のガイドワイヤGWが写っている。斜め十字で示された基準点RPや第1線分L1の詳細については、後述する。
 図6の説明に戻る。合成画像生成処理が開始されると、ステップS1において、手術支援装置10は、操作画面OSを介して、第1FPD21による撮像の準備をするよう術者に指示する。このときの撮像の準備とは、具体的には、寝台41に横たえさせた人体90(図1参照)の対象血管TGの近傍に対して、ルーメンにガイドワイヤGWを挿通した状態のワイヤ用カテーテルCAを配置したのち、対象血管TGを撮像可能な任意の位置に第1FPD21を配置することである。術者は、指示に従って、第1FPD21による撮像の準備をする。撮像の準備をしている際、人体90に造影剤は注入されていないため、キャンバスA2には、第1FPD21によって撮像されている画像として、ルーメンにガイドワイヤGWを挿通した状態のワイヤ用カテーテルCAのみが写った画像が表示されている。術者が撮像の準備を終えたことを、操作画面OSを介して手術支援装置10に伝えると、手術支援装置10は、ステップS2を実行する。
 ステップS2において、手術支援装置10は、キャンバスA2に表示されたワイヤ用カテーテルCAおよびガイドワイヤGWが写った画像において基準点RPを設定する。本実施形態では、ワイヤ用カテーテルCAの先端部tpの位置が基準点RPとして設定される。先端部tpの位置は、手術支援装置10による画像認識によって特定されてもよいし、手術支援装置10が操作画面OSを介して術者自身に特定するよう指示してもよい。先端部tpの位置が特定されると、その位置に斜め十字が付されることによって基準点RPが設定されたのち(図8参照)、手術支援装置10は、ステップS3を実行する。
 ステップS3において、手術支援装置10は、キャンバスA2に表示されたワイヤ用カテーテルCAおよびガイドワイヤGWが写った画像において基準点RPがキャンバスA2の中心に配置されるよう第1FPD21の撮像位置を調整する。第1FPD21の撮像位置の調整は、手術支援装置10によって実行されてもよいし、手術支援装置10が操作画面OSを介して術者に指示してもよい。撮像位置が調整されると、手術支援装置10は、ステップS4を実行する。
 ステップS4において、手術支援装置10は、操作画面OSを介して、人体90に造影剤を注入した状態での第1FPD21による静止画像としての第1アンギオ画像の撮像を実行するよう術者に指示する。術者は、指示に従って、人体90に造影剤を注入した状態での第1FPD21による第1アンギオ画像の撮像を実行する。このときの第1FPD21の撮像位置は、上述した第1位置に相当する。手術支援装置10は、アンギオ画像取得部12として機能することにより、静止画像として撮像された第1アンギオ画像を取得する。このとき第1FPD21による撮像によって複数の第1アンギオ画像が取得されるよう第1FPD21による撮像は連写によって実行される。取得された第1アンギオ画像の各々には、ワイヤ用カテーテルCAおよびガイドワイヤGWに加えて、撮像タイミングごとの造影剤の流通状態に応じた様々な形状の対象血管TGが写っている。このような第1アンギオ画像の中からステップS5による処理を施す第1アンギオ画像が術者によって選択されると、手術支援装置10は、ステップS5を実行する。
 ステップS5において、手術支援装置10は、術者によって選択された第1アンギオ画像をキャンバスA2に表示し、その第1アンギオ画像において第1線分L1(図8参照)を特定する。第1線分L1は、第1アンギオ画像に写った対象血管TGの位置および形状として特定される線分である。第1線分L1は、手術支援装置10が画像認識することによって特定されてもよいし、操作画面OSを介してその特定を指示された術者自身によって特定されてもよい。第1線分L1が特定された際、手術支援装置10は、線分情報取得部13として機能することにより、第1アンギオ画像上の第1線分L1を示す第1線分情報を取得する。ステップS5にて特定された第1線分L1が第1アンギオ画像上に描画されることによって、図8に例示したような第1アンギオ画像AG1が作成される。すなわち、上述したステップS1~S5を実行することによって、図8に例示したような第1アンギオ画像AG1が作成されるとともに、手術支援装置10によって記憶される。
 図9は、合成画像生成処理のうちステップS6~S10を経て作成される第2アンギオ画像AG2の一例を示す説明図である。上述したように、第2アンギオ画像AG2は、第1位置とは異なる任意の位置である第2位置に配置されたFPDによって撮像された対象血管を含むアンギオ画像である。第2アンギオ画像AG2には、図8に示した第1アンギオ画像AG1と同様にワイヤ用カテーテルCAおよびガイドワイヤGWが写っているとともに、対象血管TGの位置および形状として特定された線分である第2線分L2が示されている。第2アンギオ画像AG2は、ステップS4での撮像が実行された際の先端部tpと対象血管TGとの3次元空間上の位置関係を維持したままで、第1位置とは異なる第2位置から、ワイヤ用カテーテルCAおよびガイドワイヤGWと対象血管TGとを撮像したアンギオ画像に相当する。
 図6の説明に戻る。ステップS6において、手術支援装置10は、ステップS1と同様に、操作画面OSを介して、第1FPD21による撮像の準備をするよう術者に指示する。このときの撮像の準備とは、ステップS4での撮像が実行された際の先端部tpと対象血管TGとの3次元空間上の位置関係を維持したままで、対象血管TGを撮像可能な任意の位置であってステップS4での撮像が実行された際の第1FPD21の位置(第1位置)とは異なる位置(第2位置)に第1FPD21を配置することである。術者は、指示に従って、第1FPD21を第2位置に配置する。撮像の準備をしている際、人体90に造影剤は注入されていないため、キャンバスA2には、第1FPD21によって撮像されている画像として、ルーメンにガイドワイヤGWを挿通した状態のワイヤ用カテーテルCAのみが写った画像が表示されている。術者が撮像の準備を終えたことを、操作画面OSを介して手術支援装置10に伝えると、手術支援装置10は、ステップS7を実行する。
 ステップS7において、手術支援装置10は、ステップS2と同様に、キャンバスA2に表示されたワイヤ用カテーテルCAおよびガイドワイヤGWが写った画像において基準点RPを設定する。先端部tpの位置が特定されると、その位置に斜め十字が付されることによって基準点RPが設定されたのち(図9参照)、手術支援装置10は、ステップS8を実行する。ステップS7で設定される基準点RPと、第1アンギオ画像AG1(図8参照)上に設定された基準点RPとは、3次元空間上に存在する先端部tpが第1アンギオ画像AG1および第2アンギオ画像AG2の各々に射影された点であるとみなされる。すなわち、ステップS7で設定される基準点RPと、第1アンギオ画像AG1(図8参照)上に設定された基準点RPとは、3次元空間上の同じ位置(先端部tp)が射影された点であるとみなされる。
 ステップS8において、手術支援装置10は、ステップS3と同様に、キャンバスA2に表示されたワイヤ用カテーテルCAおよびガイドワイヤGWが写った画像において基準点RPがキャンバスA2の中心に配置されるよう第1FPD21の撮像位置を調整する。撮像位置が調整されると、手術支援装置10は、ステップS9を実行する。
 ステップS9において、手術支援装置10は、ステップS4と同様に、操作画面OSを介して、人体90に造影剤を注入した状態での第1FPD21による静止画像としての第2アンギオ画像の撮像を実行するよう術者に指示する。術者は、指示に従って、人体90に造影剤を注入した状態での第1FPD21による第2アンギオ画像の撮像を実行する。このときの第1FPD21の撮像位置は、上述した第2位置に相当する。手術支援装置10は、アンギオ画像取得部12として機能することにより、静止画像として撮像された第2アンギオ画像を取得する。このとき第1FPD21による撮像によって複数の第2アンギオ画像が取得されるよう第1FPD21による撮像は連写によって実行される。取得された第2アンギオ画像の各々には、ワイヤ用カテーテルCAおよびガイドワイヤGWに加えて、撮像タイミングごとの造影剤の流通状態に応じた様々な形状の対象血管TGが写っている。このような第2アンギオ画像の中からステップS10による処理を施す第2アンギオ画像が術者によって選択されると、手術支援装置10は、ステップS10を実行する。
 ステップS10において、手術支援装置10は、ステップS5と同様に、術者によって選択された第2アンギオ画像をキャンバスA2に表示し、その第2アンギオ画像において第2線分L2(図9参照)を特定する。第2線分L2は、第2アンギオ画像において対象血管TGの位置および形状として特定される線分である。第2線分L2が特定された際、手術支援装置10は、線分情報取得部13として機能することにより、第2アンギオ画像上の第2線分L2を示す第2線分情報を取得する。ステップS10にて特定された第2線分L2が第2アンギオ画像上に描画されることによって、図9に例示したような第2アンギオ画像AG2が作成される。すなわち、上述したステップS6~S10を実行することによって、図9に例示したような第2アンギオ画像AG2が作成されるとともに、手術支援装置10によって記憶される。第2アンギオ画像AG2が記憶されると、手術支援装置10は、ステップS11を実行する。
 図10は、ステップS11において算出される交線S1、S2の説明図である。図10に示したXYZ軸は、図1に示したXYZ軸と同じである。図10に示す対象血管TGは、3次元空間に存在する対象血管である。第1ビューベクトルV1は、第1アンギオ画像AG1を撮像した際の第1FPD21の撮像方向を表すベクトルである。第2ビューベクトルV2は、第2アンギオ画像AG2を撮像した際の第1FPD21の撮像方向を表すベクトルである。第1平面F1は、第1アンギオ画像AG1が示す3次元空間上の平面である。すなわち、第1アンギオ画像AG1は、造影剤が注入された状態の対象血管TGが射影された第1平面F1に相当する。また、第1平面F1は、第1ビューベクトルV1に垂直である。第2平面F2は、第2アンギオ画像AG2が示す3次元空間上の平面である。すなわち、第2アンギオ画像AG2は、造影剤が注入された状態の対象血管TGが射影された第2平面F2に相当する。また、第2平面F2は、第2ビューベクトルV2に垂直である。図10には、第1平面F1において、対象血管TGの形状として特定された線分である第1線分L1が示されている。図10には、第2平面F2において、対象血管TGの形状として特定された線分である第2線分L2が示されている。図10の3次元空間上にはワイヤ用カテーテルCAおよびガイドワイヤGWは図示されていないが、ワイヤ用カテーテルCAおよびガイドワイヤGWも第1平面F1および第2平面F2(第1アンギオ画像AG1および第2アンギオ画像AG2)に射影されているものとする。
 交線S1は、後述する仮想平面VPと第1平面F1との交線である。交線S2は、後述する仮想平面VPと第2平面F2との交線である。交線とは、2つの面が交わる位置を示した線である。本実施形態では、仮想平面VPは、第1ビューベクトルV1と第2ビューベクトルV2との外積を法線ベクトルBV(図10に図示)とする平面である。換言すると、仮想平面VPは、第1ビューベクトルV1と第2ビューベクトルV2とに平行な平面であるとともに、第1平面F1と第2平面F2とに垂直な平面である。図10に示した第1平行線PL1および第2平行線PL2については後述する。
 交線S1および交線S2を算出する前提となる法線ベクトルBVの算出について説明する。まず初めに、LAOおよびRAOの何れかとCRAおよびCAUの何れかとの組み合わせにより特定される第1アンギオ画像および第2アンギオ画像を撮像した際の第1FPD21の位置(第1位置および第2位置)の各々を、以下に示す式(1)を用いて極座標に変換する。下記の式(1)において、RLvalは、第1位置および第2位置の各々のLAOおよびRAOの何れかを表し、数値CCvalは第1位置および第2位置の各々のCRAおよびCAUの何れかを表す。
 次に、式(1)を用いて算出された第1位置および第2位置の各々を示す極座標を、以下に示す式(2)を用いて直交座標に変換する。
 式(2)を用いて算出された第1位置を示す直交座標を(x1,y1,z1)とし、式(2)を用いて算出された第2位置を示す直交座標を(x2,y2,z2)としたとき、法線ベクトルBV(xB,yB,zB)は、以下に示す式(3)のように表される。
 図11は、垂線Bsの説明図である。交線S1および交線S2は、法線ベクトルBVを第1アンギオ画像AG1および第2アンギオ画像AG2の各々に射影した正射影ベクトルBpの垂線Bsに相当する。垂線Bsは以下の順序で算出される。まず初めに、第nビューベクトルVn(n=1or2)に直交する2つのベクトルa1(0,-zn,yn),a2(yn,-xn,0)を算出する。次に、ベクトルa1,a2の各々を通る平面を射影面A(第1平面F1や第2平面F2に相当)とし、以下に示す式(4)で表される第nビューベクトルVnの射影行列P(第n平面Fnへの射影行列P)を求める。下記の式(4)において、ATは、射影面Aの転置行列を表す。
 次に、射影面Aに射影した法線ベクトルBVに相当する正射影ベクトルBpと、射影面Aに射影したz軸(Ze(0,0,1))に相当する軸射影ベクトルZpを以下に示す式(5)(6)のように求める。
 次に、正射影ベクトルBpを射影面A上の二次元座標(xp,yp)に変換する。軸射影ベクトルZpから見て正射影ベクトルBpが時計回り方向(CW)である場合には、以下に示す式(7)を用いる。軸射影ベクトルZpから見て正射影ベクトルBpが反時計回り方向(CCW)である場合には、以下に示す式(8)を用いる。
式(7)(8)で用いられるθは、正射影ベクトルBpおよび軸射影ベクトルZpから算出できる。(xp,yp)は単位ベクトルとして取り扱う。
 最後に、射影面A上の二次元座標(xp,yp)に変換された正射影ベクトルBpを以下に示す式(9)に代入することによって、垂線Bs(xr,yr)を求めることができる。上述したように、垂線Bs(xr,yr)は、交線S1および交線S2(図10参照)に相当する。
 ステップS11において、手術支援装置10は、血管情報取得部14として機能することにより、3次元空間に仮想平面VPを設定したうえで、上述した式(1)~(3)を用いて法線ベクトルBVを算出したのち、上述した式(4)~(9)を用いて垂線Bsを算出することによって、交線S1および交線S2を算出する。交線S1および交線S2を算出すると、手術支援装置10は、ステップS12を実行する。
 図12は、ステップS12において特定される第1交点N1および第2交点N2の説明図である。図12に示す第1アンギオ画像AG1および第2アンギオ画像AG2では、ワイヤ用カテーテルCAおよびガイドワイヤGWの図示を省略している。図12に示す法線ベクトルBVは、図10に示した法線ベクトルBVと同じである。
 図12に示す第1アンギオ画像AG1には、交線S1(図10参照)に平行な複数の平行線である第1平行線PL1が描画されている。第1平行線PL1は、基準点RPを通る平行線PR1が含まれている。第1平行線PL1の各々の配置間隔は等間隔である。図12には、等間隔に配置された第1平行線PL1として、平行線PR1の他に、第1平行線PL1a~eが示されている。第1交点N1は、第1平行線PL1と第1線分L1との交点である。
 図12に示す第2アンギオ画像AG2には、交線S2(図10参照)に平行な複数の平行線である第2平行線PL2が描画されている。第2平行線PL2には、基準点RPを通る平行線PR2が含まれている。第2平行線PL2の各々の配置間隔は、第1平行線PL1の各々の配置間隔と同じである。図12には、等間隔に配置された第2平行線PL2として、平行線PR2の他に、第2平行線PL2a~gが示されている。第2平行線PL2a~eは、法線ベクトルBVが指す方向を高さとすると、第1平行線PL1a~eと同じ高さに配置されている。第2交点N2は、第2平行線PL2と第2線分L2との交点である。
 図10に示す交線S1,S2は、図10に示す位置に設定された仮想平面VPと、第1,2平面F1,F2との交線であり、法線ベクトルBVが指す方向を高さとすると、同じ高さに配置されている第1,2平行線PL1,PL2であるともいえる。図10において、この交線S1,S2(第1,2平行線PL1,PL2)と第1,2線分L1,L2との第1,2交点N1,N2は、3次元空間上の対象血管TGの位置Taが第1,2平面F1,F2の各々に射影された点である。これと同様に、図12において、第1交点N1のうち第1交点N1b~eと、第2交点N2のうち第2交点N2b~eとは、3次元空間上の対象血管TGの同じ位置が第1,2平面F1,F2の各々に射影された点である。
 ステップS12において、手術支援装置10は、血管情報取得部14として機能することにより、第1アンギオ画像AG1上および第2アンギオ画像AG1上の交線S1および交線S2の各々に基づいて第1平行線PL1および第2平行線PL2を描画することによって、第1交点N1および第2交点N2を特定する。このとき、手術支援装置10は、3次元空間上の対象血管TGの同じ位置を射影した第1交点N1および第2交点N2(例えば、図12の第1交点N1b~eおよび第2交点N2b~e)と、当該同じ位置を射影した第2交点N2が存在しない第1交点N1(例えば、図12の第1交点N1a)および当該同じ位置を射影した第1交点N1が存在しない第2交点N2(例えば、図12の第2交点N2f、N2g)と、を分類して記憶する。第1交点N1および第2交点N2を特定すると、手術支援装置10は、ステップS13を実行する。
 ステップS13において、手術支援装置10は、血管情報取得部14として機能することにより、3次元空間上の対象血管TGの同じ位置を射影した第1交点N1および第2交点N2を用いて3次元空間上の対象血管TGの位置および形状を示す血管情報を取得する。このとき、手術支援装置10は、当該同じ位置を射影した第2交点N2が存在しない第1交点N1および当該同じ位置を射影した第1交点N1が存在しない第2交点N2を血管情報の取得に用いない。図12の場合では、第1交点N1b~eおよび第2交点N2b~eを血管情報の取得に用い、第1交点N1aや第2交点N2f、N2gは血管情報の取得に用いない。血管情報には、3次元空間上における基準点RP(ワイヤ用カテーテルCAの先端部tp)の位置から対象血管TGの各位置への向きと、3次元空間上における基準点RPの位置から対象血管TGの各位置までの長さと、が含まれている。すなわち、血管情報は、基準点RP(先端部tp)を基準とした対象血管TGの3次元空間上の位置および形状を示す情報である。
 図13Aおよび図13Bは、血管情報の取得に関する説明図である。図13Aに示す第1アンギオ画像AG1および図13Bに示す第2アンギオ画像AG2では、図12に示す第1アンギオ画像AG1および第2アンギオ画像AG2と比べて、説明の便宜上、第1平行線PL1および第2平行線PL2の図示を省略しているとともに、位置ベクトルP1b´,P1c´および位置ベクトルP2b´,P2c´の図示が加えられている。
 位置ベクトルP1b´,P1c´は、それぞれ第1アンギオ画像AG1における基準点RPから第1交点N1b,N1cに向かって延びるベクトルである。第1アンギオ画像AG1における基準点RPから第1交点N1の各々に向かって延びるベクトルを総称して位置ベクトルP1´と呼ぶ。位置ベクトルP2b´,P2c´は、それぞれ第2アンギオ画像AG2における基準点RPから第2交点N2b,N2cに向かって延びるベクトルである。第2アンギオ画像AG2における基準点RPから第2交点N2の各々に向かって延びるベクトルを総称して位置ベクトルP2´とする。これ以降、位置ベクトルP1´および位置ベクトルP2´のうち3次元空間上の対象血管TGの同じ位置を射影した第1交点N1および第2交点N2に向かって延びる位置ベクトルP1´および位置ベクトルP2´を、対応位置ベクトルP1´および対応位置ベクトルP2´と呼ぶ。例えば、位置ベクトルP1b´および位置ベクトルP2b´は、対応位置ベクトルP1´および対応位置ベクトルP2´である。
 血管情報のうち3次元空間上における基準点RP(ワイヤ用カテーテルCAの先端部tp)の位置から対象血管TGの各位置への向きは、対応位置ベクトルP1および対応位置ベクトルP2を用いて算出することができる。具体的には、対応位置ベクトルP1と第1ビューベクトルV1(図10参照)とによって規定される平面と、対応位置ベクトルP2と第2ビューベクトルV2(図10参照)とによって規定される平面と、が交差する位置における直線を規定し、当該直線が示すベクトルを、3次元空間上における基準点RPの位置から対象血管TGの各位置への向きとして算出する。2つの平面が交差する位置における直線が示すベクトルの向きを求める方法の詳細は、国際出願PCT/JP2021/034980号に開示されている。
 図14は、血管情報の取得に関する説明図である。図14を用いて、血管情報のうち3次元空間上における基準点RPの位置から対象血管TGの各位置までの長さの算出について説明する。図14には、第1ビューベクトルV1と、第1アンギオ画像AG1と、第1アンギオ画像AG1上の基準点RPと、後述する基準点RP3と、位置ベクトルP1´と、第1交点N1と、後述する位置ベクトルP1と、が示されている。基準点RP3は、3次元空間上における基準点RP(先端部tp)の位置である。位置ベクトルP1´は、上述したように、第1アンギオ画像AG1における基準点RPから第1交点N1の各々に向かって延びるベクトルである。位置ベクトルP1は、3次元空間上における基準点RP(基準点RP3)の位置から対象血管TGの各位置まで延びるベクトルである。位置ベクトルP1´は、この位置ベクトルP1を第1アンギオ画像AG1(第1平面F1)に射影したベクトルに相当する。3次元空間上における基準点RPの位置から対象血管TGの各位置までの長さとは、この位置ベクトルP1の長さに相当する。図14のθは、第1ビューベクトルV1と位置ベクトルP1がなす角である。
 第1ビューベクトルV1および位置ベクトルP1を単位ベクトルとすると、ベクトルの内積の公式に基づく下記の式(10)の上段の式によりθを算出することができる。そして、下記の式(10)の下段の式により、位置ベクトルP1の長さを算出することができる。下記の式(10)の上段の式において、「V1×P1」は、第1ビューベクトルV1と位置ベクトルP1との内積を表している。下記の式(10)の下段の式において、「P1」および「P1´」はそれぞれ位置ベクトルP1の長さおよび位置ベクトルP1´の長さを表している。
 ステップS13において、手術支援装置10は、図13A、図13Bおよび図14を用いて説明した手法によって血管情報を取得する。このとき、手術支援装置10は、取得した血管情報を記憶する。血管情報を取得すると、手術支援装置10は、ステップS14を実行する。
 図15Aおよび図15Bは、血管画像BIおよび合成画像CPの説明図である。ステップS14において、手術支援装置10は、血管画像生成部15として機能することにより、血管情報を用いて、第1位置もしくは第2位置から見た対象血管TGを表す血管画像BIを生成したのち、合成画像生成部16として機能することにより、第1アンギオ画像AG1もしくは第2アンギオ画像AG2と、血管画像BIと、を重ねて表示した合成画像CPを生成する。詳細には、第1位置から見た対象血管TGを表す血管画像BI1と第1アンギオ画像AG1とが重なるよう合成した合成画像CP1と、第2位置から見た対象血管TGを表す血管画像BI2と第2アンギオ画像AG2とを重なるよう合成した合成画像CP2と、のうち少なくとも一方を生成する。生成された合成画像CPは、表示装置30によって表示される。図15Aに示した合成画像CP1および図15Bに示した合成画像CP2には、血管画像BIが表示されているものの、造影剤の流通によって第1,2アンギオ画像AG1,2に写っていた対象血管TGの形状や第1線分L1および第2線分L2が示されていないが、合成画像CP1および合成画像CP2には、血管画像BI1および血管画像BI2と重なる位置に、造影剤の流通によって第1,2アンギオ画像AG1,2に写っていた対象血管TGの形状や第1線分L1および第2線分L2が示されていてもよい。合成画像CPを生成すると、手術支援装置10は、図6に示した合成画像生成処理を終了する。
 手術支援装置10は、合成画像生成処理を経て血管情報を取得後、第1位置および第2位置とは異なる第3位置に配置されたFPDによって撮像された第3アンギオ画像に対して、第3位置から見た対象血管TGを表す別視点血管画像を重ねて表示することができる。このため、アンギオ画像取得部12としても機能する手術支援装置10は、第1アンギオ画像および第2アンギオ画像に加えて、第3アンギオ画像を取得可能である。第3アンギオ画像は、合成画像生成処理におけるステップS4,S6での撮像が実行された際の先端部tpと対象血管TGとの3次元空間上の位置関係を維持したままで撮像されるのが好ましく、人体90に造影剤を注入した状態で撮像しなくてよい。以下にその手順を説明する。
 手術支援装置10は、血管画像生成部15として機能することにより、血管情報の取得後に前記第3アンギオ画像を取得した場合、血管情報を用いて、第3位置から見た対象血管を表す別視点血管画像を生成する。詳細には、手術支援装置10は、第3アンギオ画像に写ったワイヤ用カテーテルCAの先端部tpの位置を基準点RPとして設定したのち、その基準点RPの位置や第3位置、血管情報を参照して第3位置から見た対象血管TGの位置および形状を算出することによって、第3アンギオ画像に重ねて表示するための別視点血管画像を生成する。別視点血管画像は、第3アンギオ画像を撮像した際のFPDの撮像方向を示す第3ビューベクトルの方向に直交する平面(第1,2アンギオ画像における第1,2平面F1,2に相当)に対して、血管情報に基づいて特定された3次元空間上の対象血管TGの形状を射影した画像に相当する。そして、手術支援装置10は、合成画像生成部16として機能することにより、第3アンギオ画像と、別視点血管画像と、を重ねて表示した別視点合成画像を生成する。別視点血管画像は合成画像生成処理を経て取得された血管情報を用いて生成できることから、手術支援装置10は、改めて人体90に造影剤を注入することなく別視点合成画像を生成することができる。別視点合成画像は静止画像に限られずリアルタイムに表示される動画像であってもよい。このような場合、術者は、3次元空間上の先端部tpの位置を固定しつつ別視点合成画像を見ながら、先端部tpから突出したガイドワイヤGWを別視点合成画像上に示された対象血管TG(別視点血管画像)に向けて移動させることができる。
 以上説明したように、第1実施形態の手術支援システム1が備える手術支援装置10によれば、第1アンギオ画像AG1および第2アンギオ画像AG2(図8,9,12,13参照)を用いて3次元空間上の対象血管TGの位置および形状を示す血管情報を取得できることから、第1アンギオ画像AG1および第2アンギオ画像AG2の取得のために造影剤を注入して以降は新たに造影剤を注入することなく、3次元空間上の対象血管TGの位置および形状を把握することができる。手術支援装置10によれば、3次元空間上の対象血管TGの同じ位置を射影した第1交点N1および第2交点N2を用いて血管情報を取得し、当該同じ位置を射影した第2交点が存在しない第1交点および当該同じ位置を射影した第1交点が存在しない第2交点を血管情報の取得に用いない(図12,13参照)。すなわち、当該同じ位置を射影した第1交点N1および第2交点N2のみを用いて血管情報を取得することから、血管情報を精度良く取得することができる。したがって、手術支援装置10によれば、造影剤の注入回数を減らしつつ治療の対象となる血管の位置および形状を精度良く取得することができる。
 第1実施形態の手術支援システム1が備える手術支援装置10は、血管画像生成部15および合成画像生成部16として機能する。このため、血管情報取得部14として機能することによって精度良く取得された血管情報を用いて、第1位置もしくは第2位置から見た対象血管TGを表す血管画像BIを生成することができる。すなわち、血管情報の取得後であれば、対象血管TGに造影剤が注入されていない状態であっても、血管画像BIを生成することができる。手術支援装置10によれば、第1アンギオ画像AG1もしくは第2アンギオ画像AG2と、血管画像BIと、を重ねて表示した合成画像CPを生成することができる(図15Aおよび図15B参照)。このため、第1アンギオ画像AG1もしくは第2アンギオ画像AG2に医療デバイス(例えばワイヤ用カテーテルCAやガイドワイヤGW等)が写っている場合には、術者は、合成画像CPを確認することで、医療デバイスと対象血管TGとの位置関係および対象血管TGの位置および形状を把握しつつ手技を進めることができる。この結果、手技の精度向上、手技に要する時間の短縮、患者の負担低減を図ることができる。
 第1実施形態の手術支援システム1が備える手術支援装置10では、血管情報の取得後であれば、新たに造影剤を注入することなく、第1位置および第2位置とは異なる第3位置から撮像された第3アンギオ画像に、第3位置から見た対象血管を表す別始点血管画像を重ねて表示した別始点合成画像を生成することができる。このため、術者は、合成画像CPに加えて別始点合成画像を確認することで、医療デバイスと対象血管TGとの位置関係および対象血管TGの位置および形状を把握しつつ手技を進めることができる。この結果、手技の精度向上、手技に要する時間の短縮、患者の負担低減をより一層図ることができる。
 第1実施形態の手術支援システム1が備える手術支援装置10では、第1ビューベクトルV1と第2ビューベクトルV2との外積を法線ベクトルBVとする平面を仮想平面VPとして設定し、その仮想平面VPによって特定された第1交点N1および第2交点N2を用いて血管情報を取得することができる。むろん、このとき血管情報の取得には3次元空間上の対象血管TGの同じ位置を射影した第1交点N1および第2交点N2を用い、当該同じ位置を射影した第2交点N2が存在しない第1交点N1および当該同じ位置を射影した第1交点N1が存在しない第2交点N2は血管情報の取得に用いない。
<本実施形態の変形例>
 本開示は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。そのほか、例えば次のような変形も可能である。
 上記実施形態では、手術支援システム1の構成を例示した。しかし、手術支援システム1の構成は種々の変更が可能である。例えば、表示装置30は、手術支援装置10に内蔵されたモニタやタッチパネルであってもよい。例えば、血管撮像装置20は、単一のFPDを有する構成(換言すれば、第2FPD25を備えない構成)であってもよい。例えば、手術支援システム1は、図示しない他の医療装置(例えば、CT装置、MRI装置)等を有していてもよい。
 上記実施形態では、手術支援装置10の構成を示した。しかし、手術支援装置10の構成は種々の変更が可能である。例えば、ネットワークを介して接続された複数の装置が協働することで、手術支援装置10が備える各機能部の機能を実現してもよい。
 上記実施形態では、合成画像生成処理の手順の一例を示した。しかし、図6で説明した合成画像生成処理の手順はあくまで一例であり、種々の変更が可能である。例えば、各ステップの実行順序を変更してもよく、少なくとも一部のステップは省略してもよく、説明しない他のステップを実行してもよい。
 上記実施形態では、第1平行線PL1の各々の配置間隔および第2平行線PL2の各々の配置間隔はともに等間隔であった。しかし、上述した第1平行線PL1および第2平行線PL2はあくまで一例であり、種々の変更が可能である。例えば、第1平行線PL1の配置間隔は、法線ベクトルBVが指す方向を高さとして同じ高さに配置されている第2平行線PL2が存在している限り、不等間隔に配置されていてもよい。
 上記実施形態では、血管情報は、3次元空間上における基準点RPの位置から対象血管TGの各位置への向きと、3次元空間上における基準点RPの位置から対象血管TGの各位置までの長さと、を含んでいた。しかし、上述した血管情報はあくまで一例であり、種々の変更が可能である。例えば、血管情報は、対象血管の外縁を形成する点列座標の集合や、対象血管の外縁のうちの特徴点の座標の集合など、任意の情報によって規定されてもよい。
 上記実施形態では、仮想平面VPは、第1ビューベクトルV1と第2ビューベクトルとの外積を法線ベクトルBVとする平面であった。しかし、上述した仮想平面VPはあくまで一例であり、種々の変更が可能である。例えば、仮想平面VPは、第1平面F1および第2平面F2の何れかと平行でない限り、任意の平面であってもよい。このような場合であっても、仮想平面VPに基づいて交線S1および交線S2を算出したのち、第1平行線PL1および第2平行線PL2を描画することによって第1交点N1および第2交点N2を特定し、3次元空間上の対象血管TGの同じ位置を射影した第1交点N1および第2交点N2を用いることによって、血管情報の取得および合成画像の生成を実行することができる。
 上記実施形態では、3次元空間上における基準点RPの位置から対象血管TGの各位置への向きは、2つの平面が交差する位置における直線を規定する手法によって算出していた。しかし、この手法はあくまで一例であり、種々の変更が可能である。例えば、3次元空間上における基準点RPの位置から対象血管TGの各位置への向きは、国際出願PCT/JP2021/034980号に開示された式1~式18を流用することによって算出してもよい。
 以上、実施形態、変形例に基づき本態様について説明してきたが、上記した態様の実施の形態は、本態様の理解を容易にするためのものであり、本態様を限定するものではない。本態様は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本態様にはその等価物が含まれる。その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することができる。
 本明細書中に記載されている構成要素により実現される機能は、当該記載された機能を実現するようにプログラムされた、汎用プロセッサ、特定用途プロセッサ、集積回路、ASICs (Application Specific Integrated Circuits)、CPU (a Central Processing Unit)、従来型の回路、および/又はそれらの組合せを含む、circuitry又はprocessing circuitryにおいて実装されてもよい。プロセッサは、トランジスタやその他の回路を含み、 circuitry又はprocessing circuitryとみなされる。プロセッサは、メモリに格納されたプログラムを実行するprogrammed processorであってもよい。本明細書において、circuitry、ユニット、手段は、記載された機能を実現するようにプログラムされたハードウエア、又は実行するハードウエアである。当該ハードウエアは、本明細書に開示されているあらゆるハードウエア、又は、当該記載された機能を実現するようにプログラムされた、又は、実行するものとして知られているあらゆるハードウエアであってもよい。当該ハードウエアがcircuitryのタイプであるとみなされるプロセッサである場合、当該circuitry、手段、又はユニットは、ハードウエアと、当該ハードウエア及び又はプロセッサを構成する為に用いられるソフトウエアの組合せである。

Claims (12)

  1.  手術支援装置(10)であって、
     対象血管(TG)が存在する3次元空間の第1位置に配置されたFPD(21,25)によって撮像された前記対象血管(TG)を含む第1アンギオ画像(AG1)と、前記第1位置とは異なる第2位置に配置された前記FPD(21,25)によって撮像された前記対象血管(TG)を含む第2アンギオ画像(AG2)と、を取得するアンギオ画像取得部(12)と、
     前記第1アンギオ画像(AG1)が示す前記3次元空間上の平面である第1平面(F1)において前記対象血管(TG)の位置および形状として特定された線分である第1線分(L1)を示す第1線分情報と、前記第2アンギオ画像(AG2)が示す前記3次元空間上の平面である第2平面(F2)において前記対象血管(TG)の位置および形状として特定された線分である第2線分(L2)を示す第2線分情報と、を取得する線分情報取得部(13)と、
     前記3次元空間に設定した仮想平面(VP)と前記第1平面(F1)との交線(S1)に平行な平行線(PL1)と、前記第1線分(L1)と、の交点を第1交点(N1)とし、前記仮想平面(VP)と前記第2平面(F2)との交線(S2)に平行な平行線(PL2)と、前記第2線分(L2)と、の交点を第2交点(N2)としたとき、前記3次元空間上の前記対象血管(TG)の同じ位置を射影した前記第1交点(N1)および前記第2交点(N2)を用いて前記3次元空間上の前記対象血管(TG)の位置および形状を示す血管情報を取得し、前記同じ位置を射影した前記第2交点(N2)が存在しない前記第1交点(N1)および前記同じ位置を射影した前記第1交点(N1)が存在しない前記第2交点(N2)を前記血管情報の取得に用いない血管情報取得部(14)と、を備える手術支援装置(10)。
  2.  請求項1に記載の手術支援装置(10)であって、さらに、
     前記血管情報を用いて、前記第1位置もしくは前記第2位置から見た前記対象血管(TG)を表す血管画像(BI)を生成する血管画像生成部(15)と、
     前記第1アンギオ画像(AG1)もしくは前記第2アンギオ画像(AG2)と、前記血管画像(BI)と、を重ねて表示した合成画像(CP)を生成する合成画像生成部(16)と、を備える手術支援装置(10)。
  3.  請求項2に記載の手術支援装置(10)であって、
     前記アンギオ画像取得部(12)は、さらに、前記第1位置および前記第2位置とは異なる第3位置に配置された前記FPD(21,25)によって撮像された第3アンギオ画像を取得可能であり、
     前記血管画像生成部(15)は、前記血管情報の取得後に前記第3アンギオ画像を取得した場合、前記血管情報を用いて、前記第3位置から見た前記対象血管(TG)を表す別視点血管画像を生成し、
     前記合成画像生成部(16)は、前記第3アンギオ画像と、前記別視点血管画像と、を重ねて表示した別視点合成画像を生成する、手術支援装置(10)。
  4.  請求項1から請求項3のいずれか一項に記載の手術支援装置(10)であって、
     前記仮想平面(VP)は、前記第1アンギオ画像(AG1)を撮像した際の前記FPD(21,25)の撮像方向を示す第1ビューベクトル(V1)と前記第2アンギオ画像(AG2)を撮像した際の前記FPD(21,25)の撮像方向を示す第2ビューベクトル(V2)との外積を法線ベクトル(BV)とする平面である、手術支援装置(10)。
  5.  手術支援方法であって、
     対象血管(TG)が存在する3次元空間の第1位置に配置されたFPD(21,25)によって撮像された前記対象血管(TG)を含む第1アンギオ画像(AG1)と、前記第1位置とは異なる第2位置に配置された前記FPD(21,25)によって撮像された前記対象血管(TG)を含む第2アンギオ画像(AG2)と、を取得し、
     前記第1アンギオ画像(AG1)が示す前記3次元空間上の平面である第1平面(F1)において前記対象血管(TG)の位置および形状として特定された線分である第1線分(L1)を示す第1線分情報と、前記第2アンギオ画像(AG2)が示す前記3次元空間上の平面である第2平面(F2)において前記対象血管(TG)の位置および形状として特定された線分である第2線分(L2)を示す第2線分情報と、を取得し、
     前記3次元空間に設定した仮想平面(VP)と前記第1平面(F1)との交線(S1)に平行な平行線(PL1)と、前記第1線分(L1)と、の交点を第1交点(N1)とし、前記仮想平面(VP)と前記第2平面(F2)との交線(S2)に平行な平行線(PL2)と、前記第2線分(L2)と、の交点を第2交点(N2)としたとき、前記3次元空間上の前記対象血管(TG)の同じ位置を射影した前記第1交点(N1)および前記第2交点(N2)を用いて前記3次元空間上の前記対象血管(TG)の位置および形状を示す血管情報を取得し、前記同じ位置を射影した前記第2交点(N2)が存在しない前記第1交点(N1)および前記同じ位置を射影した前記第1交点(N1)が存在しない前記第2交点(N2)を前記血管情報の取得に用いない、手術支援方法。
  6.  請求項5に記載の手術支援方法であって、さらに、
     前記血管情報を用いて、前記第1位置もしくは前記第2位置から見た前記対象血管(TG)を表す血管画像(BI)を生成し、
     前記第1アンギオ画像(AG1)もしくは前記第2アンギオ画像(AG2)と、前記血管画像(BI)と、を重ねて表示した合成画像(CP)を生成する、手術支援方法。
  7.  請求項6に記載の手術支援方法であって、さらに、
     前記血管情報の取得後に前記第1位置および前記第2位置とは異なる第3位置に配置された前記FPD(21,25)によって撮像された第3アンギオ画像を取得した場合、前記血管情報を用いて、前記第3位置から見た前記対象血管(TG)を表す別視点血管画像を生成し、
     前記第3アンギオ画像と、前記別視点血管画像と、を重ねて表示した別視点合成画像を生成する、手術支援方法。
  8.  請求項5から請求項7のいずれか一項に記載の手術支援方法であって、
     前記仮想平面(VP)は、前記第1アンギオ画像(AG1)を撮像した際の前記FPD(21,25)の撮像方向を示す第1ビューベクトル(V1)と前記第2アンギオ画像(AG2)を撮像した際の前記FPD(21,25)の撮像方向を示す第2ビューベクトル(V2)との外積を法線ベクトル(BV)とする平面である、手術支援方法。
  9.  手術支援装置(10)であって、
     少なくとも1つのプロセッサと、
     コンピュータプログラムコードを含む少なくとも1つのメモリであって、該少なくとも1つのメモリおよび該コンピュータプログラムコードは、該少なくとも1つのプロセッサと共に、該手術支援装置(10)に少なくとも以下の動作をさせるように構成されている少なくとも1つのメモリとを備え、
     対象血管(TG)が存在する3次元空間の第1位置に配置されたFPD(21,25)によって撮像された前記対象血管(TG)を含む第1アンギオ画像(AG1)と、前記第1位置とは異なる第2位置に配置された前記FPD(21,25)によって撮像された前記対象血管(TG)を含む第2アンギオ画像(AG2)と、を取得し、
     前記第1アンギオ画像(AG1)が示す前記3次元空間上の平面である第1平面(F1)において前記対象血管(TG)の位置および形状として特定された線分である第1線分(L1)を示す第1線分情報と、前記第2アンギオ画像(AG2)が示す前記3次元空間上の平面である第2平面(F2)において前記対象血管(TG)の位置および形状として特定された線分である第2線分(L2)を示す第2線分情報と、を取得し、
     前記3次元空間に設定した仮想平面(VP)と前記第1平面(F1)との交線(S1)に平行な平行線(PL1)と、前記第1線分(L1)と、の交点を第1交点(N1)とし、前記仮想平面(VP)と前記第2平面(F2)との交線(S2)に平行な平行線(PL2)と、前記第2線分(L2)と、の交点を第2交点(N2)としたとき、前記3次元空間上の前記対象血管(TG)の同じ位置を射影した前記第1交点(N1)および前記第2交点(N2)を用いて前記3次元空間上の前記対象血管(TG)の位置および形状を示す血管情報を取得し、前記同じ位置を射影した前記第2交点(N2)が存在しない前記第1交点(N1)および前記同じ位置を射影した前記第1交点(N1)が存在しない前記第2交点(N2)を前記血管情報の取得に用いない、手術支援装置(10)。
  10.  請求項9に記載の手術支援装置(10)であって、さらに、
     前記血管情報を用いて、前記第1位置もしくは前記第2位置から見た前記対象血管(TG)を表す血管画像(BI)を生成し、
     前記第1アンギオ画像(AG1)もしくは前記第2アンギオ画像(AG2)と、前記血管画像(BI)と、を重ねて表示した合成画像(CP)を生成する、手術支援装置(10)。
  11.  請求項10に記載の手術支援装置(10)であって、さらに、
     前記血管情報の取得後に前記第1位置および前記第2位置とは異なる第3位置に配置された前記FPD(21,25)によって撮像された第3アンギオ画像を取得した場合、前記血管情報を用いて、前記第3位置から見た前記対象血管(TG)を表す別視点血管画像を生成し、
     前記第3アンギオ画像と、前記別視点血管画像と、を重ねて表示した別視点合成画像を生成する、手術支援装置(10)。
  12.  請求項9から請求項11のいずれか一項に記載の手術支援装置(10)であって、
     前記仮想平面(VP)は、前記第1アンギオ画像(AG1)を撮像した際の前記FPD(21,25)の撮像方向を示す第1ビューベクトル(V1)と前記第2アンギオ画像(AG2)を撮像した際の前記FPD(21,25)の撮像方向を示す第2ビューベクトル(V2)との外積を法線ベクトル(BV)とする平面である、手術支援装置(10)。
PCT/JP2024/022154 2024-06-19 2024-06-19 手術支援装置および手術支援方法 Pending WO2025262829A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/022154 WO2025262829A1 (ja) 2024-06-19 2024-06-19 手術支援装置および手術支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/022154 WO2025262829A1 (ja) 2024-06-19 2024-06-19 手術支援装置および手術支援方法

Publications (1)

Publication Number Publication Date
WO2025262829A1 true WO2025262829A1 (ja) 2025-12-26

Family

ID=98212916

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/022154 Pending WO2025262829A1 (ja) 2024-06-19 2024-06-19 手術支援装置および手術支援方法

Country Status (1)

Country Link
WO (1) WO2025262829A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009268693A (ja) * 2008-05-07 2009-11-19 Toshiba Corp X線撮影装置、画像処理装置および画像処理プログラム
WO2014162741A1 (ja) * 2013-04-05 2014-10-09 パナソニック株式会社 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、画像領域対応付け用プログラム
JP2022055170A (ja) * 2020-09-28 2022-04-07 テルモ株式会社 コンピュータプログラム、画像処理方法及び画像処理装置
WO2022107446A1 (ja) * 2020-11-19 2022-05-27 朝日インテック株式会社 Fpdナビゲーション装置、及び、fpdシステム
WO2023233676A1 (ja) * 2022-05-31 2023-12-07 朝日インテック株式会社 手術支援装置、手術支援方法、及びコンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009268693A (ja) * 2008-05-07 2009-11-19 Toshiba Corp X線撮影装置、画像処理装置および画像処理プログラム
WO2014162741A1 (ja) * 2013-04-05 2014-10-09 パナソニック株式会社 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、画像領域対応付け用プログラム
JP2022055170A (ja) * 2020-09-28 2022-04-07 テルモ株式会社 コンピュータプログラム、画像処理方法及び画像処理装置
WO2022107446A1 (ja) * 2020-11-19 2022-05-27 朝日インテック株式会社 Fpdナビゲーション装置、及び、fpdシステム
WO2023233676A1 (ja) * 2022-05-31 2023-12-07 朝日インテック株式会社 手術支援装置、手術支援方法、及びコンピュータプログラム

Similar Documents

Publication Publication Date Title
US6577889B2 (en) Radiographic image diagnosis apparatus capable of displaying a projection image in a similar position and direction as a fluoroscopic image
KR101458585B1 (ko) 심혈관 진단 및 치료영상의 실시간 정합을 위한 방사선 불투과성 반구형 표지
US10441239B2 (en) X-ray diagnostic apparatus, and method of adjusting irradiation range of X-ray diagnostic apparatus
US20080056451A1 (en) Method for controlling x-ray diagnostic apparatus
US9339251B2 (en) X-ray imaging apparatus, medical image processing apparatus, X-ray imaging method and medical image processing method
JP7211230B2 (ja) X線透視撮影装置
CN110891513A (zh) 辅助引导血管内器械的方法和系统
JP4528426B2 (ja) X線診断装置
CN101190149A (zh) 将3维图像结合到介入过程中的方法和系统
US9613289B2 (en) X-ray diagnosis apparatus and image processing apparatus
US20250082289A1 (en) Surgery assistance device, surgery assistance method, and computer program
JP2016221054A (ja) X線血管撮影装置
CN114631834A (zh) X射线透视摄影装置和x射线图像处理方法
JP5641707B2 (ja) X線診断装置
KR101485899B1 (ko) 방사선 불투과성 반구형 입체 표지를 기반으로 하는 ct 혈관 조영 영상과 x-선 혈관 조영 영상 간의 정합 방법
JP7167564B2 (ja) X線撮影装置およびx線撮影装置の作動方法
JP2002186605A (ja) X線画像撮影装置
JP5238296B2 (ja) X線装置および回転撮影方法
WO2025262829A1 (ja) 手術支援装置および手術支援方法
CN116456906B (zh) Fpd导航装置以及fpd系统
Adamus et al. Enhancing transjugular intrahepatic portosystemic shunt puncture by using three-dimensional path planning based on the back projection of two two-dimensional portographs
JP6116893B2 (ja) X線画像診断装置
Tognolini et al. C-arm computed tomography for hepatic interventions: a practical guide
EP2137699A2 (en) Mirror blood vessel as overlay on total occlusion
JP2002238884A (ja) X線装置の自動条件設定機構

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24945538

Country of ref document: EP

Kind code of ref document: A1