WO2015133608A1 - 手術支援システムおよびこれに用いるカメラユニット - Google Patents

手術支援システムおよびこれに用いるカメラユニット Download PDF

Info

Publication number
WO2015133608A1
WO2015133608A1 PCT/JP2015/056665 JP2015056665W WO2015133608A1 WO 2015133608 A1 WO2015133608 A1 WO 2015133608A1 JP 2015056665 W JP2015056665 W JP 2015056665W WO 2015133608 A1 WO2015133608 A1 WO 2015133608A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
cameras
camera
support system
display
Prior art date
Application number
PCT/JP2015/056665
Other languages
English (en)
French (fr)
Inventor
寿彦 佐藤
恵 中尾
Original Assignee
国立大学法人京都大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人京都大学 filed Critical 国立大学法人京都大学
Priority to JP2016506188A priority Critical patent/JPWO2015133608A1/ja
Publication of WO2015133608A1 publication Critical patent/WO2015133608A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00174—Optical arrangements characterised by the viewing angles
    • A61B1/00181—Optical arrangements characterised by the viewing angles for multiple fixed viewing angles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00174—Optical arrangements characterised by the viewing angles
    • A61B1/00183—Optical arrangements characterised by the viewing angles for variable viewing angles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00238—Type of minimally invasive operation
    • A61B2017/00283—Type of minimally invasive operation with a device releasably connected to an inner wall of the abdomen during surgery, e.g. an illumination source
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles

Definitions

  • the present invention relates to a surgery support system and a camera unit used therefor.
  • a treatment instrument A2 such as an endoscope A1 or forceps is inserted into the body cavity of the patient M, and the endoscope A1 is displayed on the external displays D1 to D3.
  • the surgeon X1 operates the treatment tool A2 and performs a predetermined treatment while confirming the video.
  • an endoscope image may be displayed on a head-mounted display called a head mounted display (HMD) (see, for example, Patent Document 1 below).
  • HMD head mounted display
  • the endoscope In the endoscopic operation, since the staff usually operates the endoscope, the direction in which the endoscope images the operation site (the observation direction of the operation site) and the treatment direction by the operator are shifted. There are many. If these directions are made to coincide, the endoscope must be placed directly in front of the operator, which may interfere with the operation of the treatment tool by the operator because the endoscope and the hands of the staff will be in the way. Because there is. If the observation direction of the surgical site and the treatment direction (line-of-sight direction) of the surgeon are deviated as described above, it is naturally difficult to operate the treatment tool.
  • the staff X3 and X4 on the opposite side to the insertion direction of the endoscope A1 can check the state of the surgical site on the other external display D3.
  • the video is a video in which the left and right are reversed when viewed from the staff X3 and X4. Therefore, it becomes difficult to intuitively grasp the situation where the surgical part is being treated.
  • the endoscope A1 ′ is inserted from the opposite side of the operator X1 across the patient M (indicated by a two-dot chain line in FIG. 12), the image is reversed left and right when viewed from the operator X1 side. Therefore, the operation of the treatment tool A2 becomes more difficult. Such a problem of operability of the treatment tool A2 is not improved even if a head-mounted display as in Patent Document 1 is used.
  • a main object of the present invention to provide a surgery support system capable of obtaining an optimal field of view according to a person participating in a surgery, such as a surgeon or a staff, and a camera unit used therefor.
  • a surgical operation support system includes: Multiple cameras placed in the patient's body; A generating unit for generating a free viewpoint video from the video of the camera; A display unit that displays a free viewpoint video; A display control unit configured to display the free viewpoint video corresponding to the position and orientation of the display unit on the display unit.
  • the generation unit generates a free viewpoint video from the images of a plurality of cameras installed in the body of the patient, and the display control unit displays the free viewpoint video according to the position and orientation of the display on the display unit. Display.
  • the display unit can display an image that matches the direction of the line of sight of the person viewing the display from the front. Therefore, even if the direction in which the camera actually captures and the surgeon's treatment direction and line-of-sight direction do not necessarily match, it becomes possible to match the observation direction of the surgical site and the treatment direction (line-of-sight direction), The operability of the treatment tool can be improved.
  • the surgery support system may include a camera unit having the plurality of cameras and an attachment portion to which the plurality of cameras are attached and disposed in the patient's body. According to this configuration, a plurality of cameras can be set in the body at the same time by inserting the attachment portion into the patient's body.
  • the said camera unit has a fixing
  • the mounting portion may be arranged along the inner surface of the patient's body and configured to be deformable following the shape of the inner surface. With such a configuration, a plurality of cameras can be arranged so as to follow the shape inside the body.
  • the mounting portion may be configured to be deformable, and the camera unit may further include a detection unit that detects a relative position change of the plurality of cameras accompanying the deformation of the mounting portion. According to this configuration, even if the relative positions of the plurality of cameras change due to the deformation of the mounting portion, it can be detected by the detection unit, and the generation unit can generate a free viewpoint video.
  • the camera unit further includes a drive unit that deforms the attachment unit.
  • the relative position of a some camera can be changed autonomously by the deformation
  • the said surgery assistance system is provided with the arrangement
  • the arrangement control unit may control the driving unit so as to change the relative positions of the plurality of cameras in response to an input regarding the gaze position of the photographing object.
  • the gaze position may be a single point or a range having a certain extent.
  • the arrangement control unit may control the drive unit to change the relative positions of the plurality of cameras based on the evaluation of the generation result of the free viewpoint video.
  • the arrangement control unit may control the drive unit to arrange a plurality of cameras in a preset arrangement pattern. Even with such a configuration, it is possible to generate an appropriate free viewpoint video.
  • the display unit is a head-mounted type. According to this configuration, when the position or orientation of the display unit changes as the person wearing the display unit moves his / her head (moves his / her line of sight), a free viewpoint video corresponding to the change is generated by the generation unit, and display control Displayed on the display unit. Therefore, the wearer can observe the surgical part from a desired direction by moving the head in the direction in which the surgical part is desired to be observed.
  • the surgery support system may further include a second generation unit that generates a wide-angle image by combining the images of a plurality of cameras.
  • the display control unit includes the wide-angle image and the free image. You may display a viewpoint image
  • the display unit may display both the wide-angle image and the free viewpoint image at the same time, or may switch both the images.
  • the present invention is a camera unit used in a surgery support system, A plurality of cameras, an attachment part to which the plurality of cameras are attached, and a fixing part for fixing the attachment part in a state where the attachment part is inserted into a patient's body.
  • the present invention is a camera unit used in a surgery support system, A plurality of cameras, a deformable mounting section to which the plurality of cameras are mounted and disposed in a patient's body, a detection section that detects a relative position change of the plurality of cameras accompanying the deformation of the mounting section, And a drive section that deforms the mounting section.
  • FIG. 1 is an explanatory diagram of a surgery support system according to the first embodiment of the present invention.
  • the surgery support system 10 of this embodiment includes a camera unit 11 having a plurality of cameras arranged in the body of a patient M, and a head-mounted display 12 that is worn by an operator X1, staff X2 to X4 such as assistants and nurses. (Hereinafter, referred to as “HMD”) and a processing device 13 that performs control for causing the HMD 12 to display video or the like taken by the camera.
  • HMD head-mounted display 12 that is worn by an operator X1, staff X2 to X4 such as assistants and nurses.
  • processing device 13 that performs control for causing the HMD 12 to display video or the like taken by the camera.
  • the camera unit 11 is inserted and fixed in the chest cavity and abdominal cavity of the patient M lying on the operating table 21, and a plurality of treatment tools A2 are inserted.
  • the operator X1 and the staff X2 to X4 project the image on the HMD 12, and the operator X1 and the staff X2 to X4 perform operations such as operation of the treatment tool A2 while watching the image.
  • the HMD 12 can display not only video directly taken by the camera of the camera unit 11 but also virtual video (free viewpoint video) generated from the video. The generation of the virtual video will be described later.
  • FIG. 2 is a schematic configuration diagram of the camera unit 11.
  • the camera unit 11 is fixed to the chest cavity M1.
  • Reference numeral M2 in the figure is a rib
  • reference numeral M3 is a through-hole formed between the ribs M2.
  • the camera unit 11 includes a base part (attachment part) 31 to which a plurality of cameras 32 are attached, and a fixture (fixing part) 35 that fixes the base part 31 in the body of the patient M.
  • the base portion 31 can be formed of a flexible material, for example, a synthetic resin material using silicon rubber or the like.
  • the base portion 31 can be deformed along the inner surface of the patient's body.
  • a plurality of cameras 32 are attached to the base portion 31 in a line.
  • a plurality of lighting fixtures 33 are also attached to the base portion 31.
  • the camera 32 for example, a camera provided with an image sensor such as a CCD or a CMOS can be used. Moreover, LED can be used for the lighting tool 33, for example, and it can illuminate a surgical part in a wide range by arrange
  • the camera unit 11 is provided with a detector 34 that detects the relative position of the camera 32 due to the deformation of the base portion 31.
  • the detection tool 34 of the present embodiment includes a plurality of link members 34 ⁇ / b> A that are connected to bendable to each other, and an angle detector 34 ⁇ / b> B that detects a bending angle of the link members 34 ⁇ / b> A.
  • the angle detector 34B can be configured by, for example, a potentiometer provided on a shaft portion 34C that connects the link members 34A.
  • the base portion 31 is attached to the lower surfaces of the plurality of link members 34A.
  • the link member 34A of the detector 34 is bent following this. Since the relative angle of each link member 34A is detected by the angle detector 34B, it is possible to detect how the detector 34 itself is bent. Since each of the plurality of cameras 32 shown in FIG. 2 and the specific link member 34A are associated with each other, the relative positions of the plurality of cameras 32 are detected by detecting the bending state of the detection tool 34 itself. be able to.
  • the method for detecting the position / orientation of the camera 32 is not limited to the method using the detection tool 34, and a conventionally known method can be adopted.
  • the position and orientation of the camera 32 are detected by setting a predetermined marker or a corresponding feature point in the video corresponding to the marker within the imaging range of the camera 32 and performing calibration based on the video obtained by photographing the marker. May be.
  • the camera unit 11 includes a control box 37. And the control box 37 and the base part 31 are connected by the clip tool which comprises the fixing tool 35.
  • FIG. The clip device 35 fixes the base portion 31 in a state of being along the inner surface of the chest cavity M1 by passing through the through hole M3 and sandwiching the wall portion of the chest cavity M1. Further, the clip device 35 incorporates wirings connected to the camera 32, the illumination device 33, the angle detector 34B of the detection device 34, and the like.
  • the clip device 35 is elastically deformable and is configured to press the base portion 31 against the inner surface of the chest cavity M1 by its elastic force.
  • the control box 37 is connected to the camera 32, the illuminating device 33, and the angle detector 34B provided in the base portion 31 via wiring, and controls the operations of the camera 32 and the illuminating device 33, and the camera 32 and It has a function of receiving a signal from the angle detector 34B and outputting it to the processing device 13 or the like.
  • the control box 37 and the base portion 31 are disposed to face each other with the wall portion of the chest cavity M1 interposed therebetween, and substantially function as a clip.
  • the HMD 12 is used by being worn on the head so as to cover both eyes of the user.
  • the HMD 12 is provided with a display unit (display) 12A at a position corresponding to both eyes of the user, and the user can view the video displayed on the display unit 12A.
  • the video displayed on the display unit 12 ⁇ / b> A is generated by the processing device 13.
  • a position / orientation sensor 12B is attached to the HMD 12.
  • the position / posture sensor 12B can detect the position and posture of the HMD 12, particularly the display unit 12A. Then, the line-of-sight direction of the person wearing the HMD 12 can be indirectly detected by detecting the position and orientation of the display unit 12A.
  • a magnetic sensor can be used as the position / posture sensor 12B. This magnetic sensor detects a uniform magnetic field emitted from a transmitter disposed outside the HMD 12. Then, the absolute movement amount between the transmitter and the magnetic sensor can be obtained by processing the change in the magnetic field detection accompanying the movement of the HMD 12, and the position / posture of the HMD 12 can be detected from the movement amount.
  • the position / orientation sensor 12B is not limited to a magnetic sensor, and other forms of sensors may be employed.
  • the position / posture of the HMD 12 may be detected by a motion sensor using an acceleration sensor, a gyro sensor, or the like.
  • the position / posture sensor 12B may not be directly attached to the HMD 12.
  • an image of the HMD 12 may be captured from the outside, and the position and orientation of the HMD 12 may be detected by analyzing the image.
  • FIG. 3 is a block diagram of the surgery support system 10.
  • the processing device 13 of the surgery support system 10 is configured by, for example, a personal computer, and includes a calculation unit such as a CPU, a storage unit such as a ROM, a RAM, and a hard disk, and various input / output interfaces. Then, the signals of the camera 32 and the angle detector 34B in the camera unit 11 and the signal of the position / orientation sensor 12B in the HMD 12 are input to the processing device 13. And the calculating part of the processing apparatus 13 produces
  • the processing device 13 includes a generation unit 41 that generates a free viewpoint video and a display control unit 42 that displays the generated free viewpoint video on the display unit 12 ⁇ / b> A of the HMD 12.
  • FIG. 5 is an explanatory diagram of a free viewpoint video.
  • the generation unit 41 of the processing device 13 generates (renders) an image of a virtual camera 32 ′ that captures an object from a direction different from that of the camera 32 using an image obtained by capturing a predetermined object with the actual camera 32. )
  • the video signal is input to the generation unit 41 of the processing device 13.
  • the generation unit 41 generates, as a free viewpoint video, an interpolated video having the position between the cameras 32 as a viewpoint, using the input video of the camera 32 and information about the relative position (position / posture) of the camera 32.
  • a specific method for generating the free viewpoint video various conventionally known methods can be adopted, and the specific method is not limited to a specific method.
  • an interpolation method that maximizes the evaluation function by providing an evaluation function that evaluates the correspondence between feature points, a three-dimensional coordinate obtained by designating a region of interest from the operator, and pointing a spatial position by the treatment tool tip A method of interpolating based on the group can be used. These methods will also be described in a third embodiment described later.
  • the display control unit 42 receives information on the position and orientation (direction) of the display unit 12A of the HMD 12 from the position / posture sensor 12B, acquires a free viewpoint video in a direction corresponding to the position and orientation from the generation unit 41,
  • the display unit 12A is controlled to display the video. Since the position and orientation of the display unit 12A correspond to the direction of the wearer's line of sight when viewing the display unit 12A from the front, the wearer of the HMD 12 observes the target object (surgical unit) from the direction of his line of sight. Can be viewed through the display unit 12A.
  • the operator X1 and the staff X2 to X4 who participate in the surgery are each wearing the HMD 12, they can observe the surgical site from their respective viewpoints. Therefore, for example, the operator X1 who performs treatment using the treatment tool A2 can observe the surgical site from the same direction as the treatment direction by performing his / her work by directing his / her line of sight in a direction that matches the treatment direction. It becomes easy.
  • the surgeon when it is desired to observe the surgical site from a direction different from the treatment direction, the surgeon only needs to change the direction of the line of sight in that direction. Therefore, it is not necessary to give instructions to the staffs X2 to X4 to change the direction of the camera 32 as in the prior art, and a desired field of view can be easily obtained by its own operation.
  • the camera 32 can be fixed in the body of the patient M, the hands of the staff who operate the endoscope and the endoscope itself may interfere with the operator X1 as in the past. Absent. Furthermore, not only the operator X1 but also the staff X2 to X4 wearing the HMD 12, it is possible to view images corresponding to the direction of each line of sight. Therefore, even if the staff X3 and X4 are at positions facing the surgeon X1, it is possible to view, via the HMD 12, an image obtained by observing the surgical site from the direction of its own line of sight, not an image in which the left and right are reversed.
  • FIG. 6 is an explanatory diagram of a surgery support system according to the second embodiment of the present invention.
  • the surgery participant does not wear the HMD 12, and performs the surgery while viewing the display on the external displays (display units) D1 to D3. Images are output to the external displays D1 to D3 according to their positions and orientations (directions). Specifically, an image obtained by observing the surgical site from the direction of the line of sight of a person viewing the external displays D1 to D3 from the front is output to the external displays D1 to D3. Therefore, the processing device 13 receives information regarding the positions and orientations (directions) of the external displays D1 to D3.
  • the external display D1 disposed in front of the operator X1 includes the operator An image obtained by observing the surgical site from the viewing direction of X1 is output. Moreover, the image which observed the operation part from the direction of the eyes
  • the staff X2 next to the operator X1 can see an image obtained by observing the surgical site from two directions by viewing the same external displays D1 and D2 as the operator X1.
  • the other staff members X3 and X4 can also see the image of the operative site substantially corresponding to the direction of their own line of sight by viewing the other external display D3.
  • FIG. 7 is an explanatory diagram of a surgery support system according to the third embodiment.
  • the surgery support system of this embodiment includes a camera unit 61, a processing device 63, a display unit 62, and an operation tool 91.
  • the camera unit 61 is used by being inserted into a through-hole M3 formed on the body wall of the patient M, and a plurality of cameras 72 and the plurality of cameras 72 are attached as in the first embodiment.
  • the base part 71 and the detector 74 to which the base part 71 is attached are provided.
  • the base unit 71 is also equipped with illumination.
  • the detection tool 74 includes a plurality of link members 74 ⁇ / b> A connected to bendable by a shaft portion 74 ⁇ / b> C, as in the first embodiment. Further, the bending angles of the plurality of link members 74A are detected by the angle detector 74B, and the relative positions of the plurality of cameras 72 can be detected.
  • the camera unit 61 of the present embodiment includes an extension tool 78 further extended from the detection tool 74 as shown in FIG.
  • the extension tool 78 includes a plurality of link members 78A having the same shape as the plurality of link members 74A constituting the detection tool 74, and is continuously connected to the link member 74A.
  • an angle detector 78 ⁇ / b> B such as a potentiometer is also provided in the shaft portion 78 ⁇ / b> C connecting the plurality of link members 78 ⁇ / b> A similarly to the detection tool 74.
  • the detection tool 74 and the extension tool 78 are collectively referred to as an “insertion tool” 79.
  • the camera unit 61 of the present embodiment is inserted into a body cavity through a through hole M3 formed in the body wall of a patient M, and the camera 72 at the distal end thereof is brought close to the surgical part (object). Configured to acquire video. Moreover, the camera unit 61 can fix the appropriate location of the insertion tool 79 to a body wall, or can be fixed to the bed of the patient M, for example.
  • the camera unit 61 may include a clip tool as in the first embodiment as a means for fixing the insertion tool 79, or may include other means such as a pin or a magnet.
  • the camera unit 61 is provided with a drive unit 80 for bending the plurality of link members 74A and 78A.
  • This drive part 80 can be comprised by the motor provided in the axial part 74C, 78C of several link member 74A, 78A, for example.
  • the driving unit 80 By bending the plurality of link members 74A and 78A by the driving unit 80, the base unit 71 can be deformed to change the relative positions of the plurality of cameras 72 as shown in FIG. Can be bent.
  • the processing device 63 includes a generation unit 81 and a display control unit 82 similar to those of the first embodiment, and further includes an arrangement control unit 83 and an operation control unit 84.
  • the operation control unit 84 is for controlling the drive unit 80 of the camera unit 61 to bend the insertion tool 79. As shown in FIG. 11, the insertion tool 79 of the camera unit 61 is bent by the operation tool 91.
  • the operation tool 91 is a master-slave type operation tool, and is a master controller imitating the structure of the insertion tool 79 of the camera unit 61.
  • the operating tool 91 includes a plurality of link members 91A connected to be able to be bent by a shaft portion, and an angle detector 91B such as a potentiometer that detects a bending angle (relative angle) of the link member 91A.
  • an angle detector 91B such as a potentiometer that detects a bending angle (relative angle) of the link member 91A.
  • a signal of a relative angle detected by each angle detector 91B is input to the operation control unit 84.
  • the operation control unit 84 controls the drive unit 80 of the camera unit 61 based on the input relative angle, and causes the insertion tool 79 of the camera unit 61 to perform the same movement as the operation tool 91.
  • the camera unit 61 when the camera unit 61 is inserted into the body cavity of the patient M and the camera 72 at the distal end is brought close to the object, the camera unit 61 can be bent through the operation of the operation tool 91. It is possible to prevent the camera unit 61 from interfering with other organs and the like until the camera reaches the surgical site, so that the camera unit 61 can easily reach the surgical site.
  • the arrangement control unit 83 of the processing device 63 controls the driving unit 80 of the camera unit 61 so that the plurality of cameras 72 are arranged in an arrangement in which the generation unit 81 can generate a free viewpoint video. To do.
  • the arrangement control unit 83 defines one of the cameras 72 as the reference camera 72, and sets the other points of interest in the video shot by the reference camera 72 as other reference points. A plurality of cameras 72 are arranged so that the gazing points of the cameras 72 coincide.
  • one of the plurality of cameras 72 (for example, the central camera 72) is set as a reference camera. Then, an image of the reference camera 72 of the camera unit 61 inserted into the body cavity is displayed on an external display or the like.
  • the surgeon or the like arranges the reference camera 72 at a position where the object can be photographed, and further arranges the reference camera 72 so that a specific position (for example, the center) in the video of the reference camera 72 becomes the gazing point.
  • the arrangement control unit 83 obtains a three-dimensional coordinate group for the gazing point photographed by the reference camera 72 so that the gazing point of the other camera 72 matches the gazing point of the reference camera 72 as shown in FIG.
  • the relative position of the other camera 72 is changed.
  • the generation unit 81 generates a free viewpoint video using videos captured by the plurality of cameras 72, and the display control unit 82 causes the display unit 62 to display the generated free viewpoint video.
  • the arrangement control unit 83 can autonomously change the relative positions of the plurality of cameras 72 based on the evaluation function.
  • the evaluation function is, for example, an evaluation of whether or not a video taken by a plurality of cameras 72 and a free viewpoint video generated based on the video are smoothly connected (whether or not a deviation has occurred).
  • the arrangement of the plurality of cameras 72 is controlled so that the evaluation score becomes high. That is, the arrangement control unit 83 feedback-controls the relative positions of the plurality of cameras 72 after evaluating the generation result of the free viewpoint video. By using such an evaluation function, a more accurate free viewpoint video can be generated.
  • the arrangement control unit 83 can autonomously control the relative positions of the plurality of cameras 72 in accordance with an external input regarding the gazing point. For example, when a region of interest is input to the video displayed on the external display, the arrangement control unit 83 changes the relative positions of the plurality of cameras 72 with the region of interest as a gazing point. In this case as well, a more appropriate relative position of the camera 72 can be obtained by using the evaluation function.
  • the input to the external display can be performed by, for example, a click operation using a mouse or a touch operation on a touch panel type external display. In this case, the mouse and the external display constitute an accepting unit that accepts input.
  • a position detection sensor such as a magnetic sensor is attached to the distal end portion of the treatment instrument A2, and the distal end position of the treatment instrument A2 detected during the operation can be used as an input for the gazing point.
  • the distal end position of the treatment tool A2 can be considered as a region of interest for the operator, by changing the relative positions of the plurality of cameras 32 with the distal end position as a gazing point, an appropriate free viewpoint according to the actual operation. Video can be generated.
  • the position and orientation of the display unit 12A detected by the position / orientation sensor 12B can be used as an input for the gazing point. Since the wearer's line of sight when viewing the display unit 12A from the front can be considered as the region of interest of the wearer, the relative positions of the plurality of cameras 72 can be changed with the line of sight as the point of sight.
  • the region of interest may be directly input to the video displayed on the external display.
  • the arrangement control unit 83 may control the driving unit 80 to arrange a plurality of cameras 72 according to a preset arrangement pattern. For example, after arranging the reference camera 72 of the camera unit 61 inserted into the body cavity of the patient M at a position where the object to be photographed can be photographed, an optimum arrangement pattern is set according to the distance from the reference camera 72 to the gazing point. You may make it change and change the relative position of the other camera 72 according to the arrangement pattern.
  • a camera unit having a plurality of cameras attached thereto is used.
  • a plurality of mutually independent cameras may be inserted into the patient's body and fixed.
  • the camera in each of the above embodiments may be a 2D camera or a 3D camera.
  • a 2D camera and a 3D camera may be mixed.
  • a plurality of 2D cameras can be used to generate a free viewpoint video, and a single or a plurality of 3D cameras can be used to capture a specific portion with a narrow field of view.
  • the base part of the camera unit in the first and second embodiments may not be deformed along the inner surface of the body cavity.
  • the relative positions of a plurality of cameras can be fixed.
  • the camera unit in the first and second embodiments is provided with a drive unit that deforms the mounting unit so that the relative positions of a plurality of cameras can be autonomously changed in order to generate an appropriate free viewpoint image. It may be configured.
  • the camera may be directly attached to the link member of the detection tool instead of the base portion. In this case, the link member constitutes the attachment portion.
  • the operation of the treatment tool may be performed directly by the operator, or may be performed by a surgical robot that is operated by a remote operation by the operator.
  • the surgery system of this invention may use HMD and an external display together as a display part.
  • the surgical operation support system of the present invention may further include a second generation unit that generates a wide-angle image by combining the images of a plurality of cameras as a functional configuration of the processing device. Then, such a wide-angle video and a free viewpoint video may be displayed on the display unit simultaneously or by switching. By displaying such a wide-angle image on the display unit, the surgical site can be observed in a wider range, and can be used for appropriate treatment. Also, when generating a wide-angle video, as described in the third embodiment, the relative positions of a plurality of cameras can be autonomously controlled in accordance with an external input regarding a gazing point. In this case, the relative position of a plurality of cameras may be changed by feeding back the result of wide-angle video generation using an evaluation function to generate a more accurate wide-angle video.
  • the operation support system of the present invention is preferably used in combination with a system for identifying a lesion such as a microcancer.
  • a lesion such as cancer can be confirmed using ultrasonic waves or images, and the system can be used in combination with a system in which a small tag device is placed near the confirmed lesion. Since this system can identify the position of the lesion by confirming the position of the tag device in the patient's body at the time of surgery, by installing the camera of the present invention according to the position of the identified lesion, More appropriate and accurate imaging of the surgical site can be performed.

Abstract

　術者やスタッフなどの手術に参加する人に応じた最適な視野を得ることができる手術支援システムを提供する。手術支援システムは、患者の体内に配置される複数のカメラ３２と、カメラ３２の映像から自由視点映像を生成する生成部４１と、自由視点映像を映し出す表示部１２Ａと、表示部１２Ａの位置及び姿勢に応じた自由視点映像を当該表示部１２Ａに表示させる表示制御部４２と、を備える。

Description

手術支援システムおよびこれに用いるカメラユニット
　本発明は、手術支援システムおよびこれに用いるカメラユニットに関する。
　近年、患者への侵襲を少なくし術後のＱＯＬ向上等を図ることを目的として、内視鏡手術が多用されている。この内視鏡手術においては、例えば図１２に示すように、患者Ｍの体腔内に内視鏡Ａ１や鉗子等の処置具Ａ２を挿入し、外部ディスプレイＤ１～Ｄ３に映し出された内視鏡Ａ１の映像を確認しながら、術者Ｘ１が処置具Ａ２を操作して所定の処置を行うのが一般的である。
　また、外部ディスプレイＤ１～Ｄ３だけでなく、ヘッドマウントディスプレイ（ＨＭＤ）と呼ばれる頭部装着型のディスプレイに内視鏡の映像を映し出す場合もある（例えば、下記特許文献１参照）。
特開２０１３－１９２７７３号公報
　前記内視鏡手術においては、通常、スタッフが内視鏡を操作するため、内視鏡が術部を撮影する方向（術部の観察方向）と、術者による処置方向とがずれてしまう場合が多い。これらの方向を一致させようとすると内視鏡を術者の真正面に配置しなければならず、内視鏡やスタッフの手が邪魔になり、術者による処置具の操作に支障を来すおそれがあるからである。このように術部の観察方向と術者の処置方向（視線方向）とがずれていると、当然のことながら処置具の操作がし難くなる。
　また、図１２に示す例では、内視鏡Ａ１の挿入方向に対して反対側にいるスタッフＸ３，Ｘ４は、他の外部ディスプレイＤ３で術部の様子を確認することが可能であるが、その映像は、スタッフＸ３，Ｘ４からみて左右が反転した映像となる。そのため、術部を処置している状況を直感的に把握し難くなる。
　さらに、患者Ｍを挟んで術者Ｘ１の反対側から内視鏡Ａ１’を挿入するような場合（図１２に２点鎖線で示す）も、その映像は術者Ｘ１側から見て左右が反転した映像となるため、一層処置具Ａ２の操作が困難となる。
　このような処置具Ａ２の操作性の問題は、特許文献１のような頭部装着型のディスプレイを用いたとしても改善されることはない。
　また、手術室に複数の外部ディスプレイＤ１～３が設置されていても、各ディスプレイＤ１～Ｄ３には同一の観察方向の映像が画一的に映し出されるだけであるため、個々の術者Ｘ１やスタッフＸ２～Ｘ４の立ち位置等に応じた自由な視野を得ることができない。
　さらに、従来の内視鏡は視野角が狭いので、術者Ｘ１の作業効率が悪く、術者の疲労も大きくなり、処置に相当の熟練を要する。
　本発明は、以上の実情に鑑み、術者やスタッフ等、手術に参加する人に応じた最適な視野を得ることができる手術支援システムおよびそれに用いるカメラユニットを提供することを主目的とする。
（１）　本発明に係る手術支援システムは、
　患者の体内に配置される複数のカメラと、
　前記カメラの映像から自由視点映像を生成する生成部と、
　自由視点映像を映し出す表示部と、
　前記表示部の位置及び姿勢に応じた前記自由視点映像を当該表示部に表示させる表示制御部と、を備えていることを特徴とする。
　本発明の手術支援システムは、患者の体内に設置された複数のカメラの映像から生成部が自由視点映像を生成し、表示制御部がディスプレイの位置及び姿勢に応じた自由視点映像を表示部に表示させる。言い換えると、そのディスプレイを正面から見ている人の視線の方向に合わせた映像を表示部に表示させることができる。したがって、実際にカメラが撮影する方向と、術者の処置方向や視線方向とが必ずしも一致していなくても、術部の観察方向と処置方向（視線方向）とを一致させることが可能となり、処置具の操作性を高めることができる。
（２）　上記手術支援システムは、前記複数のカメラと、前記複数のカメラが取り付けられかつ患者の体内に配置される取付部とを有するカメラユニットを備えていてもよい。
　この構成によれば、取付部を患者の体内に挿入することによって複数のカメラを同時に体内にセットすることができる。
（３）　前記カメラユニットは、前記複数のカメラを患者の体内に固定する固定部を有していることが好ましい。
　複数のカメラと固定部とを１つのユニットとして構成することによって、その持ち運びや患者への装着等の取り扱いを容易に行うことができる。
（４）　前記取付部は、患者の体の内面に沿って配置されると共に当該内面の形状に追従して変形可能に構成されていてもよい。
　このような構成によって、体内の形状に追従するように複数のカメラを配置することができる。
（５）　前記取付部は変形可能に構成され、前記カメラユニットは、前記取付部の変形に伴う前記複数のカメラの相対位置変化を検出する検出部をさらに備えていてもよい。
　この構成によれば、取付部の変形によって複数のカメラの相対位置が変化したとしても、それを検出部によって検出し、生成部による自由視点映像の生成を可能にすることができる。
（６）　前記カメラユニットは、前記取付部を変形させる駆動部をさらに備えていることが好ましい。
　このような構成によれば、駆動部による取付部の変形によって複数のカメラの相対位置を自律的に変更することができる。
（７）　上記手術支援システムは、前記生成部による自由視点映像の生成が可能な配置で複数のカメラを配置させるよう前記駆動部を制御する配置制御部を備えていることが好ましい。
　このような構成によって、駆動部による取付部の変形によって複数のカメラの相対位置を自律的に変更させ、自由視点映像の生成を可能にすることができる。
（８）　前記配置制御部は、撮影対象物の注視位置についての入力に応じて複数のカメラの相対位置を変更させるよう前記駆動部を制御してもよい。
　このような構成によって撮影対象物の注視位置についての自由視点映像を正確に生成することができる。なお、注視位置は、一点であってもよいし、ある程度の広さを有する範囲であってもよい。
（９）　前記配置制御部は、前記自由視点映像の生成結果についての評価に基づいて、前記複数のカメラの相対位置を変更させるよう前記駆動部を制御してもよい。
　このような構成によって、自由視点映像の生成結果をフィードバックしながらより正確な自由視点映像を生成することができる。
（１０）　前記配置制御部は、予め設定された配置パターンで複数のカメラを配置させるよう前記駆動部を制御してもよい。
　このような構成によっても、適切な自由視点映像を生成することができる。
（１１）　前記表示部は、頭部装着型とされていることが好ましい。
　この構成によれば、表示部を装着した人が頭を動かす（視線を動かす）ことに伴って表示部の位置や姿勢が変化すると、それに応じた自由視点映像が生成部により生成され、表示制御部によって表示部に表示される。したがって、術部を観察したい方向に装着者が頭部を動かすことによって所望の方向から術部を観察することができる。
（１２）　手術支援システムは、複数のカメラの映像を結合することによって広角映像を生成する第２生成部をさらに備えていてもよく、この場合、前記表示制御部は、前記広角映像と前記自由視点映像とを前記表示部に表示させてもよい。
　この構成によれば、術部を一点から観察する自由視点映像だけでなく、複数のカメラの映像を繋げた広角映像をディスプレイに表示させることによって術部を幅広く観察することが可能となる。なお、表示部には、広角画像と自由視点画像との双方を同時に表示させてもよいし、双方を切り換えて表示させてもよい。
（１３）　本発明は、手術支援システムに用いるカメラユニットであって、
　複数のカメラと、前記複数のカメラを取り付けた取付部と、前記取付部を患者の体内に挿入した状態で当該取付部を固定する固定部とを備えている。
（１４）　本発明は、手術支援システムに用いるカメラユニットであって、
　複数のカメラと、前記複数のカメラが取り付けられかつ患者の体内に配置される変形可能な取付部と、前記取付部の変形に伴う前記複数のカメラの相対位置変化を検出する検出部と、前記取付部を変形させる駆動部とを備えている。
　本発明によれば、手術に参加する人に応じた最適な視野を得ることができる。
本発明の第１の実施形態に係る手術支援システムの説明図である。 カメラユニットの概略構成図である。 手術支援システムのブロック図である。 検出部の説明図である。 自由視点映像の説明図である。 本発明の第２の実施形態に係る手術支援システムの説明図である。 第３の実施形態に係る手術支援システムの説明図である。 （ａ）は挿入具の構造を示す側面図、（ｂ）は平面図である。 基準となるカメラによって対象物を撮影する様子を示す説明図である。 複数のカメラの相対角度を対象物に応じて変更する様子を示す説明図である。 カメラユニットの操作具を示す説明図である。 従来例に係る手術支援システムの説明図である。
　以下、図面を参照して本発明の実施形態を詳細に説明する。
＜第１の実施形態＞
　図１は、本発明の第１の実施形態に係る手術支援システムの説明図である。
　本実施形態の手術支援システム１０は、患者Ｍの体内に配置される複数のカメラを有するカメラユニット１１と、術者Ｘ１や、助手や看護婦等のスタッフＸ２～Ｘ４が装着するヘッドマウントディスプレイ１２（以下、「ＨＭＤ」という）と、カメラで撮影した映像等をＨＭＤ１２に表示させるための制御を行う処理装置１３とを備えて構成されている。
　図１に示す例では、手術台２１に横たわっている患者Ｍの胸腔や腹腔に、カメラユニット１１を挿入・固定するとともに複数の処置具Ａ２を挿入し、カメラユニット１１で撮影した映像等を術者Ｘ１やスタッフＸ２～Ｘ４が装着しているＨＭＤ１２に映し出し、その映像を見ながら術者Ｘ１やスタッフＸ２～Ｘ４がそれぞれ処置具Ａ２の操作等の作業を行うようになっている。
　ＨＭＤ１２には、カメラユニット１１のカメラが直接撮影した映像のほか、当該映像から生成した仮想映像（自由視点映像）も表示させることが可能となっている。この仮想映像の生成については後述する。
　図２は、カメラユニット１１の概略構成図である。この図に示す例では、カメラユニット１１が胸腔Ｍ１に固定されている。図中の符号Ｍ２は、肋骨であり、符号Ｍ３は、肋骨Ｍ２間に形成された貫通孔である。
　カメラユニット１１は、複数のカメラ３２が取り付けられたベース部（取付部）３１と、このベース部３１を患者Ｍの体内に固定する固定具（固定部）３５とを備えている。ベース部３１は、可撓性を有する材料、例えば、シリコンゴム等を用いた合成樹脂材料により形成することができる。そして、ベース部３１は、患者の体内の内面に沿って変形することが可能となっている。ベース部３１には、複数のカメラ３２が並んだ状態で取り付けられている。また、ベース部３１には、複数の照明具３３も装着されている。
　カメラ３２は、例えばＣＣＤやＣＭＯＳ等の撮像素子を備えたものを使用することができる。また、照明具３３は、例えばＬＥＤを用いることができ、これらを分散して配置することによって術部を広範囲で照らすことができる。
　カメラユニット１１には、ベース部３１の変形によるカメラ３２の相対位置を検出する検出具３４が設けられている。
　本実施形態の検出具３４は、図４に概略的に示すように、互いに屈曲可能に接続された複数のリンク部材３４Ａと、このリンク部材３４Ａの屈曲角度を検出する角度検出器３４Ｂとを備えている。この角度検出器３４Ｂは、例えばリンク部材３４Ａ同士を接続する軸部３４Ｃに設けられたポテンショメータにより構成することができる。ベース部３１は、複数のリンク部材３４Ａの下面に取り付けられている。
　ベース部３１が胸腔Ｍ１の内面に沿って変形すると、これに追従して検出具３４のリンク部材３４Ａが屈曲する。各リンク部材３４Ａの相対角度は角度検出器３４Ｂによって検出されるので、検出具３４自体がどのように屈曲しているかを検出することができる。図２に示す複数のカメラ３２のそれぞれと特定のリンク部材３４Ａとは互いに対応付けられているので、検出具３４自体の屈曲の状態が検出されることによって複数のカメラ３２の相対位置を検出することができる。
　なお、カメラ３２の位置・姿勢を検出する方法は、前記検出具３４による方法に限定されず、従来公知の方法を採用することができる。例えば、カメラ３２の撮像範囲内に所定のマーカやこれに相当する映像中の特徴点を設定し、このマーカ等を撮影した映像に基づいてキャリブレーションを行うことによってカメラ３２の位置・姿勢を検出してもよい。
　図２に示すように、カメラユニット１１は、制御ボックス３７を備えている。そして、制御ボックス３７とベース部３１とは、固定具３５を構成するクリップ具によって連結されている。クリップ具３５は、貫通孔Ｍ３を通過して胸腔Ｍ１の壁部を挟み込むことによってベース部３１を胸腔Ｍ１内面に沿わせた状態で固定する。また、クリップ具３５には、カメラ３２、照明具３３、及び検出具３４の角度検出器３４Ｂ等に接続される配線が内蔵されている。クリップ具３５は、弾性変形可能であると共に、その弾性力によってベース部３１を胸腔Ｍ１内面に押し付けるように構成されている。
　制御ボックス３７は、ベース部３１に設けられたカメラ３２、照明具３３、及び角度検出器３４Ｂに配線を介して接続されており、カメラ３２及び照明具３３の動作を制御するとともに、カメラ３２及び角度検出器３４Ｂからの信号を受けて処理装置１３等へ出力する機能を有している。この制御ボックス３７とベース部３１とは、胸腔Ｍ１の壁部を挟んで対向して配置されており、実質的にクリップとしても機能している。
　図１に示すように、ＨＭＤ１２は、使用者の両目を覆うように頭部に装着して使用するものである。ＨＭＤ１２には、使用者の両目に対応する位置にそれぞれ表示部（ディスプレイ）１２Ａが設けられており、この表示部１２Ａに表示された映像を使用者が見ることができる。表示部１２Ａに表示される映像は、処理装置１３によって生成される。
　また、ＨＭＤ１２には、位置・姿勢センサ１２Ｂが取り付けられている。この位置・姿勢センサ１２Ｂによって、ＨＭＤ１２、特に表示部１２Ａの位置や姿勢を検出することができる。そして、表示部１２Ａの位置や姿勢を検出することによってＨＭＤ１２を装着している人の視線方向を間接的に検出することができる。
　位置・姿勢センサ１２Ｂとしては、例えば磁気センサを用いることができる。この磁気センサは、ＨＭＤ１２外に配置されたトランスミッタから放出された一様な磁場を検知する。そして、ＨＭＤ１２の動きに伴う磁場検知の変化を処理することによってトランスミッタと磁気センサとの間の絶対的な移動量を求め、その移動量からＨＭＤ１２の位置・姿勢を検出することができる。
　位置・姿勢センサ１２Ｂとしては、磁気センサに限らず他の形態のセンサを採用することもできる。例えば、加速度センサやジャイロセンサ等を用いたモーションセンサによってＨＭＤ１２の位置・姿勢を検出してもよい。また、位置・姿勢センサ１２Ｂは、直接的にＨＭＤ１２に取り付けられていなくてもよい。例えば、外部からＨＭＤ１２の画像を撮像し、その画像を解析することによってＨＭＤ１２の位置や姿勢を検出するものであってもよい。
　図３は、手術支援システム１０のブロック図である。
　手術支援システム１０の処理装置１３は、例えばパーソナルコンピュータから構成され、ＣＰＵ等の演算部と、ＲＯＭ、ＲＡＭ、ハードディスク等の記憶部と、各種入出力インターフェース等を有している。そして、カメラユニット１１におけるカメラ３２及び角度検出器３４Ｂの信号と、ＨＭＤ１２における位置・姿勢センサ１２Ｂの信号が処理装置１３に入力される。そして、処理装置１３の演算部は、記憶部にインストールされたプログラムを実行することによって、入力された各種信号を用いて映像を生成し、その映像をＨＭＤ１２における表示部１２Ａに表示させる。したがって、ＨＭＤ１２を装着している人Ｘ１～Ｘ４は、それぞれ表示部１２Ａに表示される映像を見ながら作業を行うことができる。
　処理装置１３は、その機能構成として、自由視点映像を生成する生成部４１と、生成した自由視点映像をＨＭＤ１２の表示部１２Ａに表示させる表示制御部４２とを備えている。
　図５は、自由視点映像についての説明図である。処理装置１３の生成部４１は、実際のカメラ３２で所定の対象物を撮影した映像を用いて、当該カメラ３２とは異なる方向から対象物を撮像する仮想のカメラ３２’の映像を生成（レンダリング）する。
　複数のカメラ３２が対象物を撮影すると、その映像信号は処理装置１３の生成部４１に入力される。生成部４１は、入力されたカメラ３２の映像と、カメラ３２の相対位置（位置・姿勢）についての情報等を用いてカメラ３２間の位置を視点とする補間映像を自由視点映像として生成する。自由視点映像を生成するための具体的方法は、従来公知の種々の方法を採用することができ、特定の方法に限定されるものではない。例えば、特徴点の対応を評価する評価関数を設けて評価関数が最大となるような補間による方法や、術者からの関心領域の指定、処置具先端による空間位置のポインティングによって得られる３次元座標群に基づいて補間する方法等を用いることができる。なお、これらの方法については後述する第３の実施形態においても説明する。
　表示制御部４２は、ＨＭＤ１２の表示部１２Ａの位置及び姿勢（方向）の情報が位置・姿勢センサ１２Ｂから入力され、その位置及び姿勢に対応する方向の自由視点映像を生成部４１から取得し、その映像を表示させるように表示部１２Ａを制御する。表示部１２Ａの位置及び姿勢は、この表示部１２Ａを正面から見る装着者の視線の方向に対応するため、ＨＭＤ１２の装着者は、自らの視線の方向から対象物（術部）を観察した映像を表示部１２Ａを介して見ることが可能となる。
　したがって、図１に示すように、手術に参加する術者Ｘ１やスタッフＸ２～Ｘ４は、それぞれＨＭＤ１２を装着しているので、それぞれの視点から術部を観察することができる。そのため、例えば、処置具Ａ２を用いて処置を行う術者Ｘ１は、処置方向と一致する方向に視線を向けることで、処置方向と同一の方向から術部を観察することができ、作業を行いやすくなる。また、処置方向とは異なる方向から術部を観察したい場合には、術者自身がその方向に視線の方向を変えるだけでよい。したがって、従来のようにスタッフＸ２～Ｘ４にカメラ３２の方向を変えるために指示を与える必要も無く、自身の動作によって所望の視野を簡単に得ることができる。
　また、本実施形態では、患者Ｍの体内にカメラ３２を固定することができるため、従来のように内視鏡を操作するスタッフの手や内視鏡自体が術者Ｘ１の邪魔になることもない。
　さらに、術者Ｘ１だけでなくＨＭＤ１２を装着しているスタッフＸ２～Ｘ４においても、それぞれの視線の方向に応じた映像を見ることができる。したがって、術者Ｘ１と対向した位置に居るスタッフＸ３，Ｘ４であっても、左右が反転した映像ではなく、自身の視線の方向から術部を観察した映像をＨＭＤ１２を介して見ることができる。
　＜第２の実施形態＞
　図６は、本発明の第２の実施形態に係る手術支援システムの説明図である。
　本実施形態では、手術の参加者がＨＭＤ１２を装着しておらず、外部ディスプレイ（表示部）Ｄ１～Ｄ３の表示を見ながら手術を行う。そして、各外部ディスプレイＤ１～Ｄ３には、それぞれの位置や姿勢（方向）に応じた映像が出力されるようになっている。具体的には、外部ディスプレイＤ１～Ｄ３を正面から見た人の視線の方向から術部を観察した映像が外部ディスプレイＤ１～Ｄ３に出力される。したがって、処理装置１３には、外部ディスプレイＤ１～Ｄ３の位置及び姿勢（方向）に関する情報が入力される。
　通常、外部ディスプレイＤ１～Ｄ３の位置及び姿勢は固定された状態となるため、これらの情報は予め処理装置１３に入力される。また、手術前後や手術中に外部ディスプレイＤ１～Ｄ３の位置や姿勢が変更される場合には、当該位置及び姿勢を検出するセンサを設けておき、その検出情報をリアルタイムに処理装置１３に入力してもよい。
　外部ディスプレイＤ１～Ｄ３の位置及び姿勢は、当該外部ディスプレイＤ１～Ｄ３を正面から見る人間の視線の方向に対応するため、例えば、術者Ｘ１の正面に配置された外部ディスプレイＤ１には、術者Ｘ１の視線方向から術部を観察した映像が出力される。また、術者Ｘ１の斜め前方に配置された他の外部ディスプレイＤ２には、これを正面から見た人の視線の方向から術部を観察した映像が出力される。したがって、術者Ｘ１は、その視線を外部ディスプレイＤ１から外部ディスプレイＤ２に変えることによって、術部の観察方向を変えることができる。
　術者Ｘ１の横にいるスタッフＸ２は、術者Ｘ１と同一の外部ディスプレイＤ１，Ｄ２を見ることによって、２方向から術部を観察した映像を見ることができる。
　他のスタッフＸ３，Ｘ４も、他の外部ディスプレイＤ３を見ることによって、自身の視線の方向にほぼ対応した術部の映像を見ることができる。
＜第３の実施形態＞
　図７は、第３の実施形態に係る手術支援システムの説明図である。
　本実施形態の手術支援システムは、カメラユニット６１と、処理装置６３と、表示部６２と、操作具９１とを備えている。
　カメラユニット６１は、患者Ｍの体壁に形成された貫通孔Ｍ３に挿入して使用するものであり、第１の実施形態と同様に、複数のカメラ７２と、この複数のカメラ７２が取り付けられたベース部７１と、このベース部７１が取り付けられた検出具７４とを備えている。また、図示はしていないが、ベース部７１には照明も取り付けられる。
　検出具７４は、図８に示すように、第１の実施形態と同様に、軸部７４Ｃによって屈曲可能に連結された複数のリンク部材７４Ａを備えている。また、複数のリンク部材７４Ａの屈曲角度は、角度検出器７４Ｂによって検出され、複数のカメラ７２の相対位置を検出することができる。
　また、本実施形態のカメラユニット６１は、図７に示すように、検出具７４からさらに延長された延長具７８を備えている。この延長具７８は、検出具７４を構成する複数のリンク部材７４Ａと同一形状の複数のリンク部材７８Ａを備え、リンク部材７４Ａに連続して接続されている。また、図８に示すように、複数のリンク部材７８Ａを接続する軸部７８Ｃにも、検出具７４と同様にポテンショメータ等の角度検出器７８Ｂが設けられている。以下の説明では、検出具７４と延長具７８とを合わせて「挿入具」７９という。
　図７に示すように、本実施形態のカメラユニット６１は、患者Ｍの体壁に形成された貫通孔Ｍ３から体腔内に挿入され、その先端部のカメラ７２を術部（対象物）に近づけて映像を取得するように構成されている。また、カメラユニット６１は、例えば挿入具７９の適宜箇所を体壁に固定したり、患者Ｍのベッドに固定したりすることができる。カメラユニット６１は、挿入具７９を固定するための手段として、第１の実施形態のようなクリップ具を備えてもよいし、ピン又は磁石等の他の手段を備えてもよい。
　また、カメラユニット６１には、図８に示すように、複数のリンク部材７４Ａ，７８Ａを屈曲動作させるための駆動部８０が設けられている。この駆動部８０は、例えば、複数のリンク部材７４Ａ，７８Ａの軸部７４Ｃ，７８Ｃに設けられたモータによって構成することができる。駆動部８０により複数のリンク部材７４Ａ，７８Ａを屈曲動作させることによって、図７に示すように、ベース部７１を変形させて複数のカメラ７２の相対位置を変更することができ、さらにカメラユニット６１の全体を屈曲動作させることができる。
　処理装置６３は、第１の実施形態と同様の生成部８１及び表示制御部８２を備える他、配置制御部８３と、操作制御部８４とを備えている。操作制御部８４は、カメラユニット６１の駆動部８０を制御して挿入具７９を屈曲操作するためのものである。
　図１１に示すように、カメラユニット６１の挿入具７９は、操作具９１によって屈曲操作される。この操作具９１は、マスタースレーブ型の操作具であり、カメラユニット６１の挿入具７９の構造を模したマスターコントローラとされている。
　操作具９１は、軸部によって屈曲可能に接続された複数のリンク部材９１Ａと、このリンク部材９１Ａの屈曲角度（相対角度）を検出するポテンショメータ等の角度検出器９１Ｂとを備えている。そして、操作具９１を術者等が手動で屈曲操作すると、各角度検出器９１Ｂによって検出された相対角度の信号が操作制御部８４に入力される。操作制御部８４は、入力された相対角度に基づいてカメラユニット６１の駆動部８０を制御し、操作具９１と同様の動きをカメラユニット６１の挿入具７９に行わせる。
　したがって、患者Ｍの体腔内にカメラユニット６１を挿入して先端部のカメラ７２を対象物に接近させる際に、操作具９１の操作を介してカメラユニット６１を屈曲動作させることができ、対象物に到るまでの間にカメラユニット６１が他の臓器等に干渉するのを防止し、カメラユニット６１を術部に容易に到達させることができる。
　図７に示すように、処理装置６３の配置制御部８３は、生成部８１による自由視点映像の生成が可能な配置で複数のカメラ７２を配置させるように、カメラユニット６１の駆動部８０を制御するものである。複数のカメラ７２によって撮影された映像を元に自由視点映像を生成する場合、各カメラ７２の注視点（注視位置）が一致していないと各カメラ７２の映像にずれが生じ、補間映像を生成することが困難となる。そのため、本実施形態の配置制御部８３は、一例として、いずれかのカメラ７２を基準となるカメラ７２として定め、その基準のカメラ７２によって撮影される映像内に設定された注視点に、他のカメラ７２の注視点を一致させるように複数のカメラ７２を配置させる。
　例えば、図９に示すように、複数のカメラ７２のうちの１つのカメラ７２（例えば、中央のカメラ７２）を基準カメラに設定する。そして、体腔内に挿入したカメラユニット６１の基準カメラ７２の映像を外部ディスプレイ等に表示させるようにする。術者等は、対象物を撮影できる位置に基準カメラ７２を配置し、さらに基準カメラ７２の映像中の特定位置（例えば中心）が注視点となるように基準カメラ７２を配置する。配置制御部８３は、基準カメラ７２によって撮影された注視点についての３次元座標群を求め、図１０に示すように、他のカメラ７２の注視点が、基準カメラ７２の注視点に一致するように他のカメラ７２の相対位置を変更する。生成部８１は、複数のカメラ７２によって撮影された映像を用いて自由視点映像を生成し、表示制御部８２は、生成された自由視点映像を表示部６２に表示させる。
　また、配置制御部８３は、評価関数に基づいて複数のカメラ７２の相対位置を自律的に変更することができる。この評価関数とは、例えば、複数のカメラ７２によって撮影された映像やこの映像を元に生成された自由視点映像が滑らかに繋がっているか否か（ズレが生じていないか否か）等を評価し、その評価スコアが高くなるように複数のカメラ７２の配置を制御するためのものである。つまり、配置制御部８３は、自由視点映像の生成結果を評価した上で複数のカメラ７２の相対位置をフィードバック制御する。このような評価関数を用いることによって、より正確な自由視点映像を生成することができる。
　配置制御部８３は、注視点についての外部からの入力に応じて複数のカメラ７２の相対位置を自律的に制御することもできる。例えば、外部ディスプレイに表示された映像に対して関心領域を入力すると、配置制御部８３は、その関心領域を注視点として複数のカメラ７２の相対位置を変更する。この場合も評価関数を用いることによってより適切なカメラ７２の相対位置を求めることができる。外部ディスプレイに対する入力は、例えばマウスを用いたクリック操作や、タッチパネルタイプの外部ディスプレイに対するタッチ操作等により行うことができる。この場合、マウスや外部ディスプレイが入力を受け付ける受付部を構成する。
　他の入力方法として、例えば、処置具Ａ２の先端部に磁気センサ等の位置検出センサを取り付けておき、手術中に検出された処置具Ａ２の先端位置を注視点についての入力とすることができる。処置具Ａ２の先端位置は、術者の関心領域と考えることができるため、その先端位置を注視点として複数のカメラ３２の相対位置を変更することによって、実際に手術に応じた適切な自由視点映像を生成することができる。
　他の入力方法として、第１の実施形態で説明したＨＭＤ１２において、位置・姿勢センサ１２Ｂによって検出された表示部１２Ａの位置及び姿勢を注視点についての入力とすることができる。この表示部１２Ａを正面から見る装着者の視線の先は、装着者の関心領域と考えることができるため、視線の先を注視点として複数のカメラ７２の相対位置を変更することができる。なお、本実施形態においては、表示部としてＨＭＤ１２だけでなく、第２の実施形態のような外部ディスプレイＤ１～Ｄ３を用いることもできる。この場合、外部ディスプレイに表示されている映像に対して直接関心領域（注視点）を入力するようにすればよい。
　配置制御部８３は、複数のカメラ７２を予め設定した配置パターンに従って配置するように駆動部８０を制御してもよい。例えば、患者Ｍの体腔内に挿入したカメラユニット６１の基準カメラ７２を撮影対象物を撮影可能な位置に配置した後、その基準カメラ７２から注視点までの距離等に応じて最適な配置パターンを選択し、その配置パターンに従って他のカメラ７２の相対位置を変更するようにしてもよい。
　なお、今回開示された実施形態および変形例はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
　例えば、上記第１及び第２の実施形態では、患者の胸腔にカメラユニットを装着する例について説明したが、腹腔等の他の箇所にカメラユニットを装着することも可能である。
　カメラユニットの固定具は、上述のようなクリップを用いた構造に限らず、例えば、体の内面又は外面に突き刺して固定する構造等、他の形態を採用することも可能である。
　また、上記第１及び第２の実施形態では、複数のカメラを取り付けたカメラユニットを用いているが、相互に独立した複数のカメラをそれぞれ患者の体内に挿入し、固定してもよい。
　上記各実施形態におけるカメラは、２Ｄカメラであってもよいし、３Ｄカメラであってもよい。また、２Ｄカメラと３Ｄカメラを混在させてもよい。例えば、複数の２Ｄカメラを自由視点映像を生成するために用い、単一又は複数の３Ｄカメラを特定の部分を狭視野で撮影するために用いることができる。
　第１及び第２の実施形態におけるカメラユニットのベース部は、体腔の内面に沿って変形しないものであってもよい。この場合、複数のカメラの相対位置を固定することができる。また、第１及び第２の実施形態におけるカメラユニットに、取付部を変形させる駆動部を設け、適切な自由視点映像を生成するために、自律的に複数のカメラの相対位置を変更できるように構成してもよい。
　上記各実施形態において、カメラはベース部ではなく検出具のリンク部材に直接取り付けられていてもよい。この場合、リンク部材が取付部を構成することになる。
　処置具の操作は、術者が直接的に行うものであってもよいし、術者が遠隔操作により作動する手術用ロボットによって行うものであってもよい。
　また、本発明の手術システムは、表示部として、ＨＭＤと外部ディスプレイとを併用したものであってもよい。
　本発明の手術支援システムは、処理装置の機能構成として、複数のカメラの映像を結合することによって広角映像を生成する第２生成部をさらに備えていてもよい。そして、このような広角映像と自由視点映像とを同時に又は切り換えて表示部に表示させてもよい。このような広角画像を表示部に表示させることによって、術部をより広範囲に観察することができ、適切な処置に役立てることができる。また、広角映像を生成する場合にも、第３の実施形態において説明したように、注視点についての外部からの入力に応じて複数のカメラの相対位置を自律的に制御することができる。この場合、評価関数を用いて広角映像の生成結果をフィードバックすることによって複数のカメラの相対位置を変更し、より正確な広角映像を生成するようにしてもよい。
　本発明の手術支援システムは、例えば微小ガン等の病変を特定するシステムと併用することが好適である。例えば、超音波や画像を用いてガン等の病変を確認し、確認した病変の近くに小型のタグ装置を留置するシステムと併用することができる。このシステムは、手術の際に患者の体内でタグ装置の位置を確認することによって病変の位置を特定することができるので、特定した病変の位置に合わせて本発明のカメラを設置することによって、より適切で正確な術部の撮影を行うことができる。
１０　　　：手術支援システム
１１　　　：カメラユニット
１２　　　：ヘッドマウントディスプレイ
１２Ａ　　：表示部
３２　　　：カメラ
３４　　　：検出具（検出部）
３５　　　：クリップ具（固定部）
４１　　　：生成部
４２　　　：表示制御部
６１　　　：カメラユニット
７２　　　：カメラ
８０　　　：駆動部
８１　　　：生成部
８２　　　：表示制御部
８３　　　：配置制御部
Ｄ１～Ｄ３：外部ディスプレイ（表示部）
Ｍ　　　　：患者

Claims (14)

  1. 　患者の体内に配置される複数のカメラと、
    　前記カメラの映像から自由視点映像を生成する生成部と、
    　自由視点映像を映し出す表示部と、
    　前記表示部の位置及び姿勢に応じた前記自由視点映像を当該表示部に表示させる表示制御部と、を備えていることを特徴とする手術支援システム。
  2. 　前記複数のカメラと、前記複数のカメラが取り付けられかつ患者の体内に配置される取付部とを有するカメラユニットをさらに備えている、請求項１に記載の手術支援システム。
  3. 　前記カメラユニットは、前記複数のカメラを患者の体内に固定する固定部を有している、請求項２に記載の手術支援システム。
  4. 　前記取付部は、患者の体の内面に沿って配置されると共に当該内面の形状に追従して変形可能に構成されている、請求項２又は３に記載の手術支援システム。
  5. 　前記取付部は変形可能に構成され、前記カメラユニットは、前記取付部の変形に伴う前記複数のカメラの相対位置変化を検出する検出部をさらに備えている、請求項２～４のいずれか１項に記載の手術支援システム。
  6. 　前記カメラユニットは、前記取付部を変形させる駆動部をさらに備えている、請求項２～５のいずれか１項に記載の手術支援システム。
  7. 　前記生成部による自由視点映像の生成が可能な配置で複数のカメラを配置させるよう前記駆動部を制御する配置制御部を備えている、請求項６に記載の手術支援システム。
  8. 　前記配置制御部は、撮影対象物に対する注視位置についての入力に応じて複数のカメラの相対位置を変更させるよう前記駆動部を制御する、請求項７に記載の手術支援システム。
  9. 　前記配置制御部は、前記自由視点映像の生成結果についての評価に基づいて、前記複数のカメラの相対位置を変更させるよう前記駆動部を制御する、請求項７又は８に記載の手術支援システム。
  10. 　前記配置制御部は、予め設定された配置パターンで複数のカメラを配置させるよう前記駆動部を制御する、請求項７に記載の手術支援システム。
  11. 　前記表示部が、頭部装着型とされている、請求項１～１０のいずれか１項に記載の手術支援システム。
  12. 　複数のカメラの映像を結合することによって広角映像を生成する第２生成部をさらに備え、前記表示制御部は、前記広角映像と前記自由視点映像とを前記表示部に表示させる、請求項１～１１のいずれか１項に記載の手術支援システム。
  13. 　手術支援システムに用いるカメラユニットであって、
    　複数のカメラと、前記複数のカメラを取り付けた取付部と、前記取付部を患者の体内に挿入した状態で当該取付部を固定する固定部とを備えている、カメラユニット。
  14. 　手術支援システムに用いるカメラユニットであって、
    　複数のカメラと、前記複数のカメラが取り付けられかつ患者の体内に配置される変形可能な取付部と、前記取付部の変形に伴う前記複数のカメラの相対位置変化を検出する検出部と、前記取付部を変形させる駆動部とを備えている、カメラユニット。
PCT/JP2015/056665 2014-03-07 2015-03-06 手術支援システムおよびこれに用いるカメラユニット WO2015133608A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016506188A JPWO2015133608A1 (ja) 2014-03-07 2015-03-06 手術支援システムおよびこれに用いるカメラユニット

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014045203 2014-03-07
JP2014-045203 2014-03-07

Publications (1)

Publication Number Publication Date
WO2015133608A1 true WO2015133608A1 (ja) 2015-09-11

Family

ID=54055408

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/056665 WO2015133608A1 (ja) 2014-03-07 2015-03-06 手術支援システムおよびこれに用いるカメラユニット

Country Status (2)

Country Link
JP (1) JPWO2015133608A1 (ja)
WO (1) WO2015133608A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017084090A (ja) * 2015-10-28 2017-05-18 シャープ株式会社 接客システム
ITUB20155830A1 (it) * 2015-11-23 2017-05-23 R A W Srl "sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori"
JP2018519860A (ja) * 2015-05-12 2018-07-26 レビー、エイブラハム 動的視野内視鏡
US10973391B1 (en) * 2017-05-22 2021-04-13 James X. Liu Mixed reality viewing of a surgical procedure

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003067725A (ja) * 2001-08-23 2003-03-07 Sanyo Electric Co Ltd 三次元画像作成装置及び三次元画像作成方法
JP2011528252A (ja) * 2008-07-17 2011-11-17 ネーデルランツ オルガニサティー フォール トゥーゲパストナトゥールヴェテンシャッペリーク オンデルズーク テーエンオー ユーザによる３次元環境の検査のためのシステム、方法およびコンピュータプログラム
JP2012223363A (ja) * 2011-04-20 2012-11-15 Tokyo Institute Of Technology 手術用撮像システム及び手術用ロボット
WO2013073061A1 (ja) * 2011-11-15 2013-05-23 Suzuki Naoki 撮影装置及び撮影システム
JP2013101464A (ja) * 2011-11-08 2013-05-23 Canon Inc 画像処理装置および画像処理方法
JP2014151150A (ja) * 2013-02-14 2014-08-25 Sony Corp 内視鏡及び内視鏡装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003067725A (ja) * 2001-08-23 2003-03-07 Sanyo Electric Co Ltd 三次元画像作成装置及び三次元画像作成方法
JP2011528252A (ja) * 2008-07-17 2011-11-17 ネーデルランツ オルガニサティー フォール トゥーゲパストナトゥールヴェテンシャッペリーク オンデルズーク テーエンオー ユーザによる３次元環境の検査のためのシステム、方法およびコンピュータプログラム
JP2012223363A (ja) * 2011-04-20 2012-11-15 Tokyo Institute Of Technology 手術用撮像システム及び手術用ロボット
JP2013101464A (ja) * 2011-11-08 2013-05-23 Canon Inc 画像処理装置および画像処理方法
WO2013073061A1 (ja) * 2011-11-15 2013-05-23 Suzuki Naoki 撮影装置及び撮影システム
JP2014151150A (ja) * 2013-02-14 2014-08-25 Sony Corp 内視鏡及び内視鏡装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018519860A (ja) * 2015-05-12 2018-07-26 レビー、エイブラハム 動的視野内視鏡
US11490795B2 (en) 2015-05-12 2022-11-08 270 Surgical Ltd. Dynamic field of view endoscope
JP2017084090A (ja) * 2015-10-28 2017-05-18 シャープ株式会社 接客システム
ITUB20155830A1 (it) * 2015-11-23 2017-05-23 R A W Srl "sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori"
US10973391B1 (en) * 2017-05-22 2021-04-13 James X. Liu Mixed reality viewing of a surgical procedure

Also Published As

Publication number Publication date
JPWO2015133608A1 (ja) 2017-04-06

Similar Documents

Publication Publication Date Title
JP6714085B2 (ja) ロボット手術のために仮想現実デバイスを使用するシステム、コントローラ、及び方法
US20220096185A1 (en) Medical devices, systems, and methods using eye gaze tracking
US10925586B2 (en) Endoscope control system
US6832985B2 (en) Endoscopic system with instrument position and orientation display
WO2018159338A1 (ja) 医療用支持アームシステムおよび制御装置
US9767608B2 (en) Augmented reality image display system and surgical robot system comprising the same
US9636188B2 (en) System and method for 3-D tracking of surgical instrument in relation to patient body
US20140354689A1 (en) Display apparatuses and control methods thereof
JP2019503766A (ja) 手術ロボットの制御のためのシステム、制御ユニット、及び方法
KR20140121581A (ko) 수술 로봇 시스템
JP6903991B2 (ja) 手術用システム、手術用システムの作動方法及び手術用システムの制御装置
JPH07328016A (ja) 手術用マニピュレータシステム
JP2003265500A (ja) 手術支援装置
CN109195544A (zh) 计算机辅助式远程操作系统中的次级器械控制
CN108433809A (zh) 用于在手术过程期间设置并检索参考点的设备
WO2015133608A1 (ja) 手術支援システムおよびこれに用いるカメラユニット
JP7216764B2 (ja) 手術中の支援されたナビゲーションのための拡張現実ヘッドセットのカメラによって追跡された参照アレイを備えた手術器具の位置合わせ
US20190380798A1 (en) Systems and methods for controlling tool with articulatable distal portion
US10772701B2 (en) Method and apparatus to project light pattern to determine distance in a surgical scene
US20220096164A1 (en) Systems and methods for facilitating optimization of an imaging device viewpoint during an operating session of a computer-assisted operation system
US20230083605A1 (en) Extended reality systems for visualizing and controlling operating room equipment
US20230165640A1 (en) Extended reality systems with three-dimensional visualizations of medical image scan slices

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15758171

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016506188

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15758171

Country of ref document: EP

Kind code of ref document: A1