WO2020262281A1 - 手術顕微鏡システム、制御装置及び制御方法 - Google Patents

手術顕微鏡システム、制御装置及び制御方法 Download PDF

Info

Publication number
WO2020262281A1
WO2020262281A1 PCT/JP2020/024328 JP2020024328W WO2020262281A1 WO 2020262281 A1 WO2020262281 A1 WO 2020262281A1 JP 2020024328 W JP2020024328 W JP 2020024328W WO 2020262281 A1 WO2020262281 A1 WO 2020262281A1
Authority
WO
WIPO (PCT)
Prior art keywords
microscope
surgical
target value
surgical microscope
joint
Prior art date
Application number
PCT/JP2020/024328
Other languages
English (en)
French (fr)
Inventor
潤一郎 榎
芳男 相馬
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/619,973 priority Critical patent/US20220354583A1/en
Publication of WO2020262281A1 publication Critical patent/WO2020262281A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A61B90/25—Supports therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/32—Micromanipulators structurally combined with microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems

Definitions

  • This technology relates to a surgical microscope system, a control device, and a control method related to the operation of a surgical microscope.
  • Some surgical microscopes used in various operations have a movable arm connected to the microscope so that the position and orientation of the microscope can be adjusted.
  • the method of moving the microscope includes “coarse movement” in which the user grasps the microscope and directly moves the microscope, and “fine movement” in which the arm is driven by using a foot switch or the like.
  • HUS Head-up surgery
  • a camera is provided in a surgical microscope instead of the eyepiece of a conventional surgical microscope and surgery is performed while observing a 3D image through a monitor or a head-mounted display, is becoming widespread.
  • HUS has the advantages of enabling observation from any position and angle without being affected by the eyepiece of the operating microscope. Therefore, with the spread of HUS, the number of surgical microscopes capable of free arm operation will increase, and it is expected that the chances of the above-mentioned problems during coarse movement will increase.
  • Patent Document 1 discloses a system that detects the position of a microscope and automatically controls the position of the microscope, and a system that includes a mechanism for taking a picture at a wide angle and cutting out a photographed image with an electronic zoom.
  • a system that automatically controls the position of a microscope can obtain a desired surgical field, but requires a mechanism that automatically moves the microscope, such as a robot arm.
  • the system becomes large-scale.
  • the movement of the microscope may cause a collision with surrounding people or objects, which poses a risk in terms of safety and hygiene.
  • the purpose of this technique is to provide a surgical microscope system, a control device, and a control method that can adjust the position and orientation of a surgical microscope without requiring a large-scale system.
  • the operating microscope system includes an arm, a surgical microscope, a target value setting unit, an estimation unit, and a control unit.
  • the arm comprises a rotatable joint.
  • the surgical microscope includes a microscope optical system and a camera that captures a microscopic magnified image of the surgical field by the microscope optical system, and is supported by the arm.
  • the target value setting unit sets target values for the position and orientation of the surgical microscope.
  • the estimation unit estimates the position and orientation of the operating microscope based on the surgical field image, and generates an estimated value.
  • the control unit controls the rotation of the joint according to the comparison result of the target value and the estimated value (for example, limits the rotation).
  • the control unit may increase the rotational resistance of the joint.
  • the arm calculates the amount of change in the difference between the target value and the estimated value when a plurality of joints are rotated by a certain amount, and the rotation resistance of the joint having a large change amount is the rotation resistance of the joint having a small change amount. It may be larger.
  • the control unit may increase the rotational resistance of the joint as the difference between the target value and the estimated value increases.
  • the control unit may stop the rotation of the joint when the joint rotates in a direction that increases the difference between the target value and the estimated value.
  • the control unit may stop the rotation of the joint when the joint has a rotation angle that minimizes the difference between the target value and the estimated value.
  • the operating microscope system further includes a goodness-of-fit calculation unit that compares the target value with the estimated value and calculates the goodness of fit between the target value and the estimated value, and the control unit responds to the goodness of fit.
  • the rotation of the joint may be restricted.
  • the control unit may further limit the rotation of the joint according to the imageable range of the camera.
  • the reference target determination unit that determines the reference target based on the surgical field image taken by the camera is further provided, and the target value setting unit sets the position and orientation of the surgical microscope with respect to the position of the reference target as the target value. It may be set as.
  • the target value setting unit may set the position and orientation of the surgical microscope with respect to the position of the imaging target included in the surgical field image captured by the camera as the target value.
  • the target value setting unit may hold the past position and orientation of the surgical microscope as a preset of the target value, and may set the target value from the preset by selection by the user.
  • the estimation unit uses the internal parameters of the camera to estimate the position and orientation of the operating microscope.
  • the control unit may change the microscope optical system to a setting that allows the internal parameters held by the estimation unit to be used.
  • the control device includes a microscope optical system and a camera that captures a microscope magnified image of the surgical field by the microscope optical system, and includes a rotatable joint. It is a control device for a surgical microscope supported by an arm.
  • the control device includes a target value setting unit, an estimation unit, and a control unit.
  • the target value setting unit sets target values for the position and orientation of the surgical microscope.
  • the estimation unit estimates the position and orientation of the operating microscope based on the surgical field image, and generates an estimated value.
  • the control unit controls the rotation of the joint according to the comparison result of the target value and the estimated value (for example, limits the rotation).
  • the control method includes a microscope optical system, a camera for capturing a microscope magnified image of the surgical field by the microscope optical system, and a rotatable joint. It is a control method of a surgical microscope supported by an arm, in which a target value setting unit sets a target value of the position and orientation of the surgical microscope, and an estimation unit sets a target value of the surgical microscope based on the surgical field image. The position and orientation are estimated to generate an estimated value, and the control unit controls the rotation of the joint according to the comparison result between the target value and the estimated value (for example, limiting the rotation).
  • FIG. 1 is a block diagram showing a configuration of an operating microscope system 100 according to the present embodiment.
  • the surgical microscope system 100 includes a surgical microscope unit 110, a control device 120, and a display device 130.
  • FIG. 2 is a schematic view of the surgical microscope unit 110.
  • the operating microscope unit 110 includes a base 111, an arm 112, an operating microscope 113, a microscope optical system 114, and a camera 115.
  • the arm 112 is mobile and supports the operating microscope 113. As shown in FIG. 2, the arm 112 includes a plurality of arm portions 117 and a plurality of joints 118. Each joint 118 connects between adjacent arm portions 117 and is rotatable. As each joint 118 rotates, the angle of each arm portion 117 with respect to the adjacent arm portion 117 changes, and the surgical microscope 113 can be positioned and oriented at any position.
  • FIG. 3 is a schematic view showing the operation of the arm 112, and shows the change in the position and orientation of the operating microscope 113 with respect to the observation target.
  • the eyeball E is shown as an example of the observation target.
  • the operating microscope 113 can be moved in each direction by the operation of the arm 112, and the operating microscope 113 can be tilted in each direction.
  • the specific configuration of the arm 112 is not limited to that shown in FIGS. 2 and 3, and includes at least one arm portion 117 and at least one joint 118, and the position and orientation of the operating microscope 113 can be changed. Anything is fine.
  • the operating microscope 113 is supported by the arm 112 and is configured to be able to change its position and orientation.
  • the operating microscope 113 includes a microscope optical system 114 including an objective lens 119 and other optical elements (not shown).
  • the camera 115 is provided in the operating microscope 113 and captures a magnified image of the microscope generated by the microscope optical system 114.
  • the camera 115 may be any camera capable of capturing a still image or a moving image of a magnified microscope image.
  • the visual field range captured by the camera 115 via the microscope optical system 114 is referred to as a “surgical field”
  • an image or moving image of the surgical field captured by the camera 115 is referred to as a “surgical field image”.
  • the camera 115 outputs the surgical field image to the control device 120.
  • the operating microscope unit 110 is configured to be capable of coarse movement. Coarse movement is the movement of the arm 112 by the user, and the user can grasp the surgical microscope 113 and move it in any direction. Further, the arm 112 may be capable of fine movement in addition to coarse movement. The fine movement is the operation of the arm 112 by the arm 112 itself, and the arm 112 operates by rotationally driving each joint 118. The user can instruct the surgical microscope unit 110 to make fine movements using a foot switch or the like.
  • the control device 120 includes a reference target determination unit 121, a target value setting unit 122, an estimation unit 123, a goodness of fit calculation unit 124, a control unit 125, and an image processing unit 126.
  • Each configuration of the control device 120 is a functional configuration realized by the cooperation of software and hardware.
  • the control device 120 may be an information processing device independent of the operating microscope unit 110, or may be mounted on the CCU (camera control unit) of the operating microscope unit 110. Further, the control device 120 may be connected to the surgical microscope unit 110 via a network.
  • control device 120 each configuration of the control device 120 will be described, but details will be described together with the operation of the surgical microscope system 100 described later.
  • the reference target determination unit 121 acquires a surgical field image from the camera 115, and detects and determines a reference target (hereinafter referred to as a reference target).
  • the reference target may be the entire surgical field shown in the surgical field image, or may be a part of the surgical field image, a surgical tool, or a biological tissue (eyeball, etc.).
  • the reference target determination unit 121 supplies the determined reference target to the target value setting unit 122.
  • the target value setting unit 122 sets the "target value".
  • the target value is the position and orientation of the surgical microscope 113 after the coarse movement when the user moves the arm 112 by the coarse movement.
  • the target value setting unit 122 can set the target value by specifying from the user or selecting from presets.
  • the target value setting unit 122 supplies the set target value to the goodness-of-fit calculation unit 124.
  • the estimation unit 123 estimates the position and orientation of the surgical microscope 113 based on the surgical field image.
  • the position and orientation of the surgical microscope 113 estimated by the estimation unit 123 will be referred to as an “estimated value”.
  • the estimation unit 123 can generate an estimated value by using SLAM (Simultaneous Localization and Mapping) technology or the like.
  • the estimation unit 123 supplies the generated estimated value to the goodness-of-fit calculation unit 124.
  • the goodness-of-fit calculation unit 124 compares the target value supplied from the target value setting unit 122 with the estimated value supplied from the estimation unit 123, and calculates the goodness of fit.
  • the goodness-of-fit calculation unit 124 can calculate the goodness of fit for each parameter (distance and direction).
  • the goodness-of-fit calculation unit 124 supplies the calculated goodness of fit to the control unit 125 and the image processing unit 126.
  • the control unit 125 controls the operation of the arm 112 according to the comparison result between the target value and the estimated value, and specifically, controls the operation of the arm 112 based on the goodness of fit supplied from the goodness of fit calculation unit 124. To do.
  • the specific content of the arm control will be described later.
  • the control unit 125 is preferably one capable of controlling the zoom magnification, the size of the aperture, and the like of the microscope optical system 114.
  • the image processing unit 126 generates a display image from the surgical field image captured by the camera 115, and displays the generated display image on the display device 130. At this time, the image processing unit 126 may execute the UI (user inter Interface) display process according to the goodness of fit supplied from the goodness of fit calculation unit 124.
  • UI user inter Interface
  • the display device 130 displays the display image output from the image processing unit 126.
  • the display device 130 may be a general display, or may be a three-dimensional display or a head-mounted display capable of displaying a 3D image.
  • the first case is a case in which fluttering is started from a state where a reference object exists in the surgical field, and at least one of the angle and the distance to the reference object of the surgical microscope 113 is changed and observed.
  • FIG. 3A after creating a wound with the operating microscope 113 arranged in the vertical direction of the eyeball E in ophthalmic surgery, the operating microscope 113 is tilted as shown in FIG. 3B.
  • the angle processing is performed on the eyeball E from an oblique direction.
  • the second case is a case in which coarse movement is started from a state where there is no reference target in the surgical field and the first surgical field is obtained. For example, there is a case where setup is performed to obtain the first surgical field at the beginning of surgery.
  • the operating microscope system 100 executes the processing flow for the first case (hereinafter referred to as the first processing flow) in response to the instruction of the user.
  • the user can instruct the operating microscope system 100 to start the processing flow by using a physical switch, a touch panel, a foot switch, a voice command, or the like provided on the operating microscope 113.
  • FIG. 4 is a flowchart showing the first processing flow.
  • the reference target determination unit 121 acquires a surgical field image from the camera 115 when a user's instruction is input (St111).
  • the reference target determination unit 121 may acquire a still image. Further, since the camera 115 continues to take an image during the operation, the reference target determination unit 121 may extract an image from the frame at all times, which is the most recent frame. At this time, it is preferable that the reference target determination unit 121 extracts an image that is as close as possible to the timing at which the user's instruction is input and has less blurring, blurring, and hiding.
  • the reference target determination unit 121 determines the reference target from the acquired surgical field image (St112).
  • the reference target may be the entire surgical field shown in the surgical field image, or may be the central part of the surgical field or an in-focus area in the surgical field image. Further, the reference target determination unit 121 may use an object such as a living body part or a surgical tool designated by the user as a reference target. The user can refer to the surgical field image by the display device 130 and specify the object to be the reference target.
  • the reference target determination unit 121 may determine the reference target by using the image recognition technology. For example, when the user inputs the names of objects such as "eyeball” and "angle mirror", the reference target determination unit 121 can detect these objects by the image recognition technique and determine them as reference targets.
  • the reference target determination unit 121 may determine the reference target by extracting the same part including the point pointed by the user by region detection. For example, when the user points a part of the eye, the reference target determination unit 121 can determine the entire eyeball as the reference target. At this time, the reference target determination unit 121 can use a machine learning technology or a technology based on feature point extraction as the image recognition technology. Further, the reference target determination unit 121 can detect the surgical tool or the like and set it as the reference target by detecting the marker attached to the surgical tool or the like.
  • the target value setting unit 122 sets the position and orientation of the surgical microscope 113 after coarse movement with respect to the position of the reference target (hereinafter referred to as the reference position) as the “target value” (St113).
  • the target value setting unit 122 can set the target value according to the designation from the user.
  • the user may specify both the distance and the direction as the target value, or may specify only one of them.
  • the target value setting unit 122 may have a preset target value in advance. By selecting the target value from the preset values, the user can save the trouble of making the same setting when repeating similar arm movements.
  • the target value setting unit 122 may include presets according to the type of surgery, such as cataract surgery and various types of glaucoma.
  • the target value setting unit 122 may store the position and orientation of the past surgical microscope 113 as a preset so that the user can select it.
  • the estimation unit 123 acquires the surgical field image from the camera 115 (St115).
  • the estimation unit 123 can periodically acquire the surgical field image while the coarse movement is being performed.
  • the acquisition timing of the surgical field image may be every frame or at regular intervals.
  • the estimation unit 123 estimates the position and orientation of the operating microscope 113 with respect to the reference position (St116) from the acquired surgical field image, and generates an estimated value.
  • the estimation unit 123 can generate an estimated value by using SLAM (Simultaneous Localization and Mapping) technology. Since the environment map is also constructed in SLAM, there is an advantage that the reference target does not have to be reflected in the surgical field during rough motion.
  • SLAM Simultaneous Localization and Mapping
  • the estimation unit 123 can also generate an estimated value by comparing the feature points of the surgical field image. Since the user can perform coarse movement while looking at the surgical field, it is possible to control the reference target to appear in the surgical field to some extent. Therefore, it is also possible to generate an estimated value by taking the correspondence of the feature points included in the image in the surgical field image acquired in the two image acquisition steps (St111 and St115) and solving the Perspective-n-Point Problem problem. It is possible.
  • the estimation unit 123 can generate an estimated value by generating a Depth Map from the surgical field image. Further, the estimation unit 123 may generate an estimated value by using TOF (Time-of-Flight) technology.
  • TOF Time-of-Flight
  • the goodness-of-fit calculation unit 124 compares the target value set in the target value setting step (St113) with the estimated value generated in the surgical microscope position estimation step (St116), and calculates the goodness of fit (St117). ..
  • the goodness-of-fit calculation unit 124 can calculate the goodness of fit for each parameter (distance and direction), and calculates the goodness of fit, for example, "distance goodness of fit: 90%, angle goodness of fit: 85%". To do.
  • control unit 125 controls the operation of the arm 112 (St118). Specifically, the control unit 125 limits the rotation of the joint 118 based on the goodness of fit calculated in the goodness-of-fit calculation step (St117).
  • the control unit 125 calculates for each joint 118 how much the goodness of fit changes when the joint 118 rotates by a certain amount.
  • the control unit 125 rotates each joint 118 in a direction that reduces the goodness of fit or increases the goodness of fit when the user moves the operating microscope 113 to change the position or orientation of the operating microscope 113. Determine if it rotates in the direction.
  • FIG. 5 is a schematic view showing an example of rotation of the joint 118.
  • the target value set by the target value setting unit 122 is shown as the target value P.
  • the position and orientation of the operating microscope 113 are estimated by the estimation unit 123, and are supplied to the control unit 125 as estimated values.
  • the rotation direction Ra of the joint 118 is the rotation direction in which the operating microscope 113 approaches the target value P, that is, the rotation direction in which the degree of fit is increased.
  • the rotation direction Rb is a rotation direction in which the operating microscope 113 is separated from the target value P, that is, a rotation direction in which the goodness of fit is reduced.
  • the control unit 125 specifies a rotation direction in which the goodness of fit increases and a rotation direction in which the goodness of fit decreases.
  • the control unit 125 calculates the amount of variation in the goodness of fit with the amount of rotation of the joint 118.
  • FIG. 5 shows the movement of the surgical microscope 113 in the XY directions, but the same applies to the movement of the surgical microscope 113 in the Z direction.
  • the control unit 125 can brake the joint 118 and increase the rotational resistance.
  • the rotation resistance in the rotation direction Rb is made larger than the rotation resistance in the rotation direction Ra.
  • the rotation direction Ra becomes the rotation direction that lowers the goodness of fit, and the control unit 125 increases the rotation resistance in the rotation direction Ra.
  • control unit 125 may change the rotational resistance for each joint 118.
  • the control unit 125 has a large change in the difference between the target value and the estimated value when rotated by a certain amount, that is, a large decrease in the goodness of fit, and a small change in the rotation resistance of the joint 118, that is, an appropriate degree.
  • the amount of reduction can be made larger than the rotational resistance of the joint 118, which is small.
  • the joint 118 having a large amount of change is a joint 118 having a large amount of rotation due to the movement of the operating microscope 113, and the joint 118 having a small amount of change is a joint 118 having a small amount of rotation accompanying the movement of the operating microscope 113. In this case as well, if the user tries to move the operating microscope 113 in a direction in which the goodness of fit is lowered, the force required to move the operating microscope 113 increases, so that the operating microscope 113 can be easily adjusted to the target value.
  • control unit 125 may increase the rotational resistance of the joint 118 as the difference between the target value and the estimated value is large, that is, the goodness of fit is small. As a result, when the position of the operating microscope 113 is far from the target value, the operating microscope 113 is easy to move, and when the position of the operating microscope 113 approaches the target value, the operating microscope 113 becomes difficult to move. It becomes easier to match the target value.
  • the control unit 125 may lock the joint 118 and stop the rotation.
  • rotation in the rotation direction Ra is allowed, and rotation in the rotation direction Rb is stopped.
  • the user can move the operating microscope 113 only in the direction in which the goodness of fit increases, so that the operating microscope 113 can be easily adjusted to the target value.
  • control unit 125 calculates the goodness of fit for each rotation angle of each joint 118, and each joint 118 has a rotation angle that minimizes the difference between the target value and the estimated value, that is, a rotation angle that maximizes the goodness of fit. You may judge whether it is.
  • the control unit 125 can stop the rotation of the joint 118 having a rotation angle that minimizes the difference between the target value and the estimated value. As a result, the rotation of the joint 118 is fixed in order from the joint 118 adjusted to the rotation angle at which the difference between the target value and the estimated value is minimized, and the operating microscope 113 can be easily adjusted to the target value.
  • control unit 125 may limit the rotation of the joint 118 according to the imageable distance of the camera 115. For example, when the camera 115 has an autofocus function, if the operating microscope 113 is located outside the range of the autofocus, it is not possible to capture an in-focus surgical field image.
  • control unit 125 can lock the rotation of the joint 118 that moves the operating microscope 113 in that direction when the operating microscope 113 tries to deviate from the range in which autofocus is effective.
  • control unit 125 can limit the rotation of the joint 118 according to the imageable range of the camera 115 according to the optical characteristics of the microscope optical system 114 and the like.
  • the operating microscope system 100 repeatedly executes the arm control step (St118) from the image acquisition step (St115) when the coarse movement is continued (St119: No), and when the coarse movement is completed (St119: Yes), the processing flow To finish.
  • step (St118) step of controlling the operation of the arm 112 in addition to controlling the arm operation, a UI (user inter Interface) display process according to the degree of conformity may be executed.
  • FIG. 6 is a schematic view showing a display image 301 as an example of a display image generated by the image processing unit 126.
  • the image processing unit 126 can generate the display image 301 by arranging the indicator 303 indicating the goodness of fit around the eyeball E in the surgical field image 302.
  • the indicator 303 changes the color, shape, transparency, etc. according to the goodness of fit, and presents the goodness of fit to the user.
  • the image processing unit 126 may generate the display image 301 by superimposing a character string indicating the goodness of fit on the surgical field image 302 together with the indicator 303 or instead of the indicator 303. Further, the image processing unit 126 may display the angle and distance information of the operating microscope 113 instead of the goodness of fit, or may display the degree of deviation from the target value of the operating microscope 113. In addition to this, the image processing unit 126 can generate the display image 301 by superimposing various displays indicating the difference between the target value and the estimated value on the surgical field image 302.
  • the image processing unit 126 outputs the generated display image to the display device 130.
  • the user can move the operating microscope 113 with reference to the information presented in the displayed image, and further, the operating microscope 113 can be moved to a desired position and orientation. It will be easier to match.
  • the user may operate the foot switch or the like to operate (fine movement) the arm 112.
  • the image processing unit 126 can execute the UI display process according to the degree of conformity and display the generated display image (see FIG. 6) on the display device 130.
  • the user can finely adjust the position and orientation of the surgical microscope 113 with reference to the goodness of fit even in fine movement.
  • the position of the operating microscope 113 and the position of the operating microscope 113 and the position of the operating microscope 113 are obtained by detecting the ellipse of the lens edge from the surgical field image in the operating microscope position estimation step (St116) and acquiring the major axis and the minor axis. It is possible to estimate the orientation.
  • the following may be performed in order to improve the performance.
  • the estimation unit 123 In order for the estimation unit 123 to estimate the position and orientation of the surgical microscope 113, it is required that the internal parameters of the camera are known.
  • the internal parameter of the camera is a transformation matrix for converting the three-dimensional coordinates of the camera coordinate origin into the coordinates on the image, and is required when estimating the three-dimensional position of the camera 115 from the surgical field image.
  • control unit 125 controls the microscope optical system 114 so as to change the zoom magnification, aperture, and the like of the surgical microscope 113 to settings that can use the internal parameters held by the estimation unit 123 when the coarse movement is executed. be able to.
  • the estimation unit 123 can estimate the position and orientation of the surgical microscope 113 using known internal parameters, and the estimation accuracy can be improved.
  • control unit 125 may control the microscope optical system 114 so as to have a wide angle to some extent because the reference target tends to be outside the surgical field. Further, since it is difficult to estimate the position and orientation of the operating microscope 113 with an out-of-focus blurred image, the control unit 125 may operate autofocus, reduce the aperture so that the depth of field is wide, and the like. The microscope optical system 114 may be controlled so as to switch the setting to the coarse motion mode of.
  • the processing flow for the second case (hereinafter referred to as the second processing flow) is different in that the first processing flow does not have the first surgical field image acquisition step and the reference target determination step.
  • the operating microscope system 100 executes the processing flow in response to the instruction of the user.
  • the user can instruct the operating microscope system 100 to start the processing flow by using a physical switch, a touch panel, a foot switch, a voice command, or the like provided on the operating microscope 113.
  • FIG. 7 is a flowchart showing the second processing flow.
  • the target value setting unit 122 sets the position and orientation of the surgical microscope 113 after coarse movement as a “target value” (St121).
  • the target value setting unit 122 can set the target value according to the designation from the user.
  • the user can use the target value in the form of the distance to the target (hereinafter referred to as the imaging target) imaged by the camera 115 during coarse movement and the tilt angle of the operating microscope 113.
  • the tilt angle can be "the degree of tilt with respect to the vertical direction when the surface of the imaging target is approximated by a plane”.
  • the user may specify both the distance and the direction as the target value, or may specify only one of them.
  • the target value setting unit 122 may have a preset target value in advance. By selecting the target value from the preset values, the user can save the trouble of making the same setting when repeating similar arm movements.
  • the target value setting unit 122 can be provided with target values according to the type of surgery, such as cataract surgery and various types of glaucoma.
  • the target value setting unit 122 may store the position and orientation of the past surgical microscope 113 as a preset so that the user can select it.
  • the target value setting step (St121) may be executed while the user is performing the coarse movement.
  • the estimation unit 123 acquires the surgical field image from the camera 115 (St123).
  • the estimation unit 123 can periodically acquire the surgical field image while the coarse movement is being performed.
  • the acquisition timing of the surgical field image may be every frame or at regular intervals.
  • the estimation unit 123 estimates the position and orientation of the surgical microscope 113 (St124) from the acquired surgical field image, and generates an estimated value.
  • the estimation unit 123 can generate an estimated value by using SLAM (Simultaneous Localization and Mapping) technology. Since the environment map is also constructed in SLAM, the surface shape of the imaging target can be acquired in addition to the distance to the imaging target.
  • SLAM Simultaneous Localization and Mapping
  • FIG. 8 is a schematic view showing the inclination and distance of the surgical microscope 113 with respect to the imaging target.
  • the surface shape of the imaging target eyeball E as an example in this case
  • the plane 304 is applied to the surface shape, and the vertical direction 305 with respect to the plane 304 is obtained to tilt the operating microscope 113.
  • ⁇ and distance L can be calculated.
  • the goodness-of-fit calculation unit 124 compares the target value set in the target value setting step (St121) with the estimated value generated in the surgical microscope position estimation step (St124), and calculates the goodness of fit (St125). ..
  • the goodness-of-fit calculation unit 124 can calculate the goodness of fit for each parameter (distance and direction) as in the first processing flow.
  • control unit 125 controls the operation of the arm 112 (St126). Specifically, the control unit 125 limits the rotation of the joint 118 based on the goodness of fit calculated in the goodness of fit calculation step (St125), as in the first processing flow. Further, the control unit 125 may limit the rotation of the joint 118 according to the imageable distance of the camera 115.
  • the operating microscope system 100 repeatedly executes the arm control step (St126) from the image acquisition step (St123) when the coarse movement is continued (St127: No), and when the coarse movement is completed (St127: Yes), the processing flow To finish.
  • the image processing unit 126 executes UI display processing according to the goodness of fit, as in the first processing flow (FIG. FIG. 6), the user's coarse movement may be assisted.
  • the user may operate the foot switch or the like to operate (fine movement) the arm 112. Also at this time, the image processing unit 126 can execute UI display processing according to the degree of conformity (see FIG. 6) to assist the user in fine movement.
  • the control unit 125 changes the zoom magnification, aperture, etc. of the operating microscope 113 to settings that can use the internal parameters held by the estimation unit 123 when the coarse movement is executed. 114 can be controlled. As a result, the estimation unit 123 can estimate the position and orientation of the surgical microscope 113 using known internal parameters, and the estimation accuracy can be improved.
  • control unit 125 may control the microscope optical system 114 so as to have a wide angle to some extent because the reference target tends to be outside the surgical field. Further, since it is difficult to estimate the position and orientation of the operating microscope 113 with an out-of-focus blurred image, the control unit 125 may operate autofocus, reduce the aperture so that the depth of field is wide, and the like. The microscope optical system 114 may be controlled so as to switch the setting to the coarse motion mode of.
  • the operating microscope system 100 since the operating microscope 113 is moved by the user, the operating microscope system 100 does not require position control by a robot arm or the like, and does not require a large-scale system, so that the cost can be suppressed.
  • FIG. 9 is a schematic view showing the hardware configuration of the control device 120.
  • the control device 120 has a built-in CPU (Central Processing Unit) 1001.
  • the input / output interface 1005 is connected to the CPU 1001 via the bus 1004.
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.
  • the input / output interface 1005 includes an input unit 1006 composed of input devices such as a keyboard and a mouse for which a user inputs operation commands, an output unit 1007 for outputting a processing operation screen and an image of processing results to a display device, and programs and various data. It is composed of a storage unit 1008 including a hard disk drive for storing, a LAN (Local Area Network) adapter, and the like, and is connected to a communication unit 1009 which executes communication processing via a network represented by the Internet. Further, a drive 1010 for reading / writing data is connected to a removable storage medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • a removable storage medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 is read from a program stored in the ROM 1002 or a removable storage medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installed in the storage unit 1008, and loaded from the storage unit 1008 into the RAM 1003. Various processes are executed according to the program.
  • the RAM 1003 also appropriately stores data and the like necessary for the CPU 1001 to execute various processes.
  • the CPU 1001 may have a GPU (Graphics Processing Unit) function, and the control device 120 may include a GPU in addition to the CPU 1001.
  • GPU Graphics Processing Unit
  • the CPU 1001 loads the program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program. A series of processing is performed.
  • the program executed by the control device 120 can be recorded and provided on the removable storage medium 1011 as a package medium or the like, for example. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by mounting the removable storage medium 1011 in the drive 1010.
  • the program can be received by the communication unit 1009 and installed in the storage unit 1008 via a wired or wireless transmission medium.
  • the program can be pre-installed in the ROM 1002 or the storage unit 1008.
  • the program executed by the control device 120 may be a program in which processing is performed in chronological order in the order described in the present disclosure, or at a required timing such as in parallel or when a call is made. It may be a program that is processed by.
  • control device 120 does not have to be all mounted on one device, and the control device 120 may be configured by a plurality of devices. Further, it may be mounted on a part of the hardware configuration of the control device 120 or a plurality of devices connected via a network.
  • the present technology can have the following configurations.
  • the control unit controls the rotation of the joint according to the comparison result between the target values of the position and orientation of the operating microscope and the estimated values of the position and orientation of the operating microscope estimated based on the surgical field image.
  • Operating microscope system (2) The surgical microscope system according to (1) above.
  • the control unit is a surgical microscope system that increases the rotational resistance of the joint when the joint rotates in a direction that increases the difference between the target value and the estimated value.
  • the arm has multiple joints and
  • the control unit calculates the amount of change in the difference between the target value and the estimated value when the plurality of joints are rotated by a certain amount, and determines the rotation resistance of the joint having a large amount of change and the joint having a small amount of change.
  • Surgical microscope system that is greater than the rotational resistance of.
  • the control unit is a surgical microscope system that increases the rotational resistance of the joint as the difference between the target value and the estimated value increases.
  • the control unit is a surgical microscope system that stops the rotation of the joint when the joint increases the difference between the target value and the estimated value. (6) The surgical microscope system according to (5) above.
  • the control unit is a surgical microscope system that stops the rotation of the joint when the joint has a rotation angle that minimizes the difference between the target value and the estimated value.
  • the control unit is a surgical microscope system that compares the target value with the estimated value, calculates the goodness of fit between the target value and the estimated value, and limits the rotation of the joint according to the goodness of fit.
  • the control unit is a surgical microscope system that further limits the rotation of the joints according to the imaging distance of the camera. (9) The surgical microscope system according to any one of (1) to (8) above.
  • the control unit is a surgical microscope system that determines a reference target based on a surgical field image taken by the camera and sets the position and orientation of the surgical microscope with respect to the position of the reference target as the target value. (10) The surgical microscope system according to any one of (1) to (8) above. The control unit is a surgical microscope system that sets the position and orientation of the surgical microscope with respect to the position of the imaging target included in the surgical field image captured by the camera as the target value. (11) The surgical microscope system according to any one of (1) to (10) above. The control unit is a surgical microscope system that holds the past positions and orientations of the surgical microscope as presets of the target values and sets the target values from the presets according to the user's selection.
  • the surgical microscope system according to any one of (1) to (11) above.
  • the control unit uses the internal parameters of the camera to estimate the position and orientation of the operating microscope, and changes the microscope optical system to a setting that allows the internal parameters held by the estimation unit to be used. system.
  • (13) It is a control device for a surgical microscope provided with a microscope optical system and a camera for capturing a surgical field image using the above-mentioned microscope optical system, and supported by an arm having joints.
  • a target value setting unit that sets a target value for the position and orientation of the operating microscope
  • An estimation unit that estimates the position and orientation of the operating microscope based on the surgical field image and generates an estimated value
  • a control device including a control unit that controls the rotation of the joint according to the comparison result between the target value and the estimated value.
  • the target value setting unit sets the target values for the position and orientation of the operating microscope.
  • the estimation unit estimates the position and orientation of the operating microscope based on the surgical field image and generates an estimated value.
  • a control method in which a control unit controls the rotation of the joint according to a comparison result between the target value and the estimated value.

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

大掛かりなシステムを必要とせずに鏡筒の位置及び向きの調整を可能とする手術顕微鏡システム(100)、制御装置(120)及び制御方法を提供するべく、当該手術顕微鏡システムは、アーム(112)と、手術顕微鏡(113)と、目標値設定部(122)と、推定部(123)と、制御部(125)とを具備し、上記アームは、回転可能な関節(118)を備える 、上記手術顕微鏡は、顕微鏡光学系(114)と、上記顕微鏡光学系による術野の顕微鏡拡大像である術野画像を撮像するカメラ(115)とを備え、上記アームに支持され、上記目標値設定部は、上記手術顕微鏡の位置及び向きの目標値を設定し、上記推定部は、上記術野画像に基づいて上記手術顕微鏡の位置及び向きを推定し、推定値を生成し、上記制御部は、上記目標値と上記推定値の比較結果に応じて上記関節の回転に制限を加えるように構成した。

Description

手術顕微鏡システム、制御装置及び制御方法
　本技術は、手術顕微鏡の操作に係る手術顕微鏡システム、制御装置及び制御方法に関する。
　各種の手術で用いられる手術顕微鏡には、可動式のアームに顕微鏡が接続され、顕微鏡の位置及び向きを調整可能なものがある。顕微鏡の動かし方には、ユーザが顕微鏡を把持して直接に顕微鏡を移動させる「粗動」と、フットスイッチ等を用いてアームを駆動する「微動」が含まれる。
　この粗動においては、粗動によって観察対象が顕微鏡視野（以下、術野）から外れやすいという問題がある。手術顕微鏡は高倍率であるため、少しの角度や位置のずれで術野が大きく変化してしまうためである。また、粗動は目分量で行うため、観察対象に対する角度や距離を正確に設定することが容易ではなく、再現性の高い観察が難しいという問題もある。
　これらの問題は、特に様々な角度や位置からの観察を可能とするフリーアーム動作が可能な多軸のアームを備える手術顕微鏡になるほど、動かすためのパラメータが増えるため、より顕著となる。一方で、従来の手術顕微鏡の接眼部の代わりに、手術顕微鏡にカメラを設け、３Ｄ映像をモニタやヘッドマウントディスプレイ越しに観察しながら手術を行うＨＵＳ（Head up surgery)が広まりつつある。
　ＨＵＳの利点の一つとして、手術顕微鏡の接眼部に影響されずに自由な位置や角度から観察が可能になることがある。したがって、ＨＵＳの普及と共に従来よりもフリーアーム動作が可能な手術顕微鏡が増え、上述のような粗動時の問題が生じる機会が増加すると予想される。
　手術顕微鏡の位置や姿勢の調整に関しては、自動制御を可能とする技術も提案されている。例えば、特許文献１には、顕微鏡の位置を検出し、顕微鏡の位置を自動制御するシステムや広角で撮影し、撮影画像を電子ズームで切り出す機構を備えるシステムが開示されている。
特開２０１８－９９２９７号公報
　特許文献１に記載のように、顕微鏡の位置を自動制御するシステムは、所望の術野を得ることが可能であるものの、ロボットアームのように顕微鏡を自動的に移動させる機構が必要であり、システムが大掛かりとなる。また、顕微鏡が動くことにより、周囲の人や物に衝突するおそれがあり、安全面や衛生面でのリスクが生じることになる。
　以上のような事情に鑑み、本技術の目的は、大掛かりなシステムを必要とせずに手術顕微鏡の位置及び向きの調整を可能とする手術顕微鏡システム、制御装置及び制御方法を提供することにある。
　上記目的を達成するため、本技術に係る手術顕微鏡システムは、アームと、手術顕微鏡と、目標値設定部と、推定部と、制御部とを具備する。
　上記アームは、回転可能な関節を備える。
　上記手術顕微鏡は、顕微鏡光学系と、上記顕微鏡光学系による術野の顕微鏡拡大像である術野画像を撮像するカメラとを備え、上記アームに支持されている。
　上記目標値設定部は、上記手術顕微鏡の位置及び向きの目標値を設定する。
　上記推定部は、上記術野画像に基づいて上記手術顕微鏡の位置及び向きを推定し、推定値を生成する。
　上記制御部は、上記目標値と上記推定値の比較結果に応じて上記関節の回転を制御する（例えば、回転に制限を加える）。
　上記制御部は、上記関節が上記目標値と上記推定値の差異を大きくする方向に回転する場合、上記関節の回転抵抗を大きくしてもよい。
　上記アームは複数の関節について、一定量回転した場合の上記目標値と上記推定値の差異の変化量を算出し、上記変化量が大きい関節の回転抵抗を、上記変化量が小さい関節の回転抵抗より大きくしてもよい。
　上記制御部は、上記目標値と上記推定値の差異が大きいほど、上記関節の回転抵抗を大きくしてもよい。
　上記制御部は、上記関節が上記目標値と上記推定値の差異を大きくする方向に回転する場合、上記関節の回転を停止させてもよい。
　上記制御部は、上記関節が上記目標値と上記推定値の差異を最小とする回転角度となっている場合に上記関節の回転を停止させてもよい。
　上記手術顕微鏡システムは、上記目標値と上記推定値を比較し、上記目標値と上記推定値の適合度を算出する適合度算出部をさらに具備し、上記制御部は、上記適合度に応じて上記関節の回転に制限を加えてもよい。
　上記制御部は、さらに、上記カメラの撮像可能範距離に応じて、上記関節の回転に制限を加えてもよい。
　上記カメラで撮影された術野画像に基づいて基準対象を決定する基準対象決定部をさらに具備し、上記目標値設定部は、上記基準対象の位置に対する上記手術顕微鏡の位置及び向きを上記目標値として設定してもよい。
　目標値設定部は、上記カメラで撮像された術野画像に含まれる撮像対象の位置に対する上記手術顕微鏡の位置及び向きを上記目標値として設定してもよい。
　上記目標値設定部は、過去の上記手術顕微鏡の位置及び向きを上記目標値のプリセットとして保持し、ユーザによる選択によって上記プリセットから上記目標値を設定してもよい。
　上記推定部は、上記カメラの内部パラメータを上記手術顕微鏡の位置及び向きの推定に利用し、
　上記制御部は、上記顕微鏡光学系を、上記推定部が保持している上記内部パラメータが利用できる設定に変更してもよい。
　上記目的を達成するため、本技術に係る制御装置は、顕微鏡光学系と、上記顕微鏡光学系による術野の顕微鏡拡大像である術野画像を撮像するカメラとを備え、回転可能な関節を備えるアームに支持された手術顕微鏡の制御装置である。
　上記制御装置は、目標値設定部と、推定部と、制御部とを具備する。
　上記目標値設定部は、上記手術顕微鏡の位置及び向きの目標値を設定する。
　上記推定部は、上記術野画像に基づいて上記手術顕微鏡の位置及び向きを推定し、推定値を生成する。
　上記制御部は、上記目標値と上記推定値の比較結果に応じて上記関節の回転を制御する（例えば、回転に制限を加える）。
　上記目的を達成するため、本技術に係る制御方法は、顕微鏡光学系と、上記顕微鏡光学系による術野の顕微鏡拡大像である術野画像を撮像するカメラとを備え、回転可能な関節を備えるアームに支持された手術顕微鏡の制御方法であり、目記目標値設定部が、上記手術顕微鏡の位置及び向きの目標値を設定し、推定部が、上記術野画像に基づいて上記手術顕微鏡の位置及び向きを推定して推定値を生成し、制御部が、上記目標値と上記推定値の比較結果に応じて上記関節の回転を制御する（例えば、回転に制限を加える）。
本技術の実施形態に係る手術顕微鏡システムの構成を示すブロック図である。 上記手術顕微鏡システムが備える手術顕微鏡ユニットの模式図である。 上記手術顕微鏡ユニットの動作を示す模式図である。 上記手術顕微鏡システムの第１処理フローのフローチャートである。 上記手術顕微鏡ユニットが備えるアームの関節の動作を示す模式図である。 上記手術顕微鏡システムによるＵＩ表示処理を示す模式図である。 上記手術顕微鏡システムの第２処理フローのフローチャートである。 上記手術顕微鏡システムにおける、撮像対象に対するカメラの距離及び角度の推定方法を示す模式図である。 上記手術顕微鏡システムが備える制御装置のハードウェア構成を示すブロック図である。
　本技術の実施形態に係る手術顕微鏡システムについて説明する。
　［出術顕微鏡システムの構成］
　図１は、本実施形態に係る手術顕微鏡システム１００の構成を示すブロック図である。同図に示すように手術顕微鏡システム１００は、手術顕微鏡ユニット１１０、制御装置１２０及び表示装置１３０を備える。
　図２は、手術顕微鏡ユニット１１０の模式図である。同図に示すように、手術顕微鏡ユニット１１０は、基部１１１、アーム１１２、手術顕微鏡１１３、顕微鏡光学系１１４及びカメラ１１５を備える。
　アーム１１２は、可動性を有し、手術顕微鏡１１３を支持する。アーム１１２は、図２に示すように、複数のアーム部１１７及び複数の関節１１８を備える。各関節１１８は隣接するアーム部１１７の間を接続し、回転可能である。各関節１１８が回転することにより、各アーム部１１７は隣接するアーム部１１７に対する角度が変化し、手術顕微鏡１１３を任意の位置及び向きとすることが可能である。
　図３は、アーム１１２の動作を示す模式図であり、観察対象に対する手術顕微鏡１１３の位置及び向きの変化を示す。同図では観察対象の一例として眼球Ｅを示している。図３（ａ）及び（ｂ）に示すように手術顕微鏡１１３はアーム１１２の動作によって各方向に移動可能であり、各方向に手術顕微鏡１１３を傾けることができる。
　なお、アーム１１２の具体的構成は図２及び図３に示すものに限定されず、少なくとも１つのアーム部１１７と少なくとも一つの関節１１８を備え、手術顕微鏡１１３の位置及び向きを変更することが可能なものであればよい。
　手術顕微鏡１１３は、アーム１１２によって支持され、位置及び向きを変更することが可能に構成されている。手術顕微鏡１１３は、対物レンズ１１９及びその他の図示しない光学素子を含む顕微鏡光学系１１４を備える。
　カメラ１１５は、手術顕微鏡１１３に設けられ、顕微鏡光学系１１４によって生成された顕微鏡拡大像を撮像する。カメラ１１５は、顕微鏡拡大像の静止画又は動画を撮像可能なものであればよい。なお、以下の説明において、顕微鏡光学系１１４を介してカメラ１１５によって撮像される視野範囲を「術野」とし、カメラ１１５によって術野を撮像した画像又は動画を「術野画像」とする。カメラ１１５は、術野画像を制御装置１２０に出力する。
　手術顕微鏡ユニット１１０は粗動が可能に構成されている。粗動は、ユーザによるアーム１１２の動作であり、ユーザは手術顕微鏡１１３を把持し、任意の方向に動かすことができる。またアーム１１２は、粗動に加え、微動が可能なものであってもよい。微動は、アーム１１２自体によるアーム１１２の動作であり、各関節１１８を回転駆動させることにより、アーム１１２が動作する。ユーザはフットスイッチ等を用いて手術顕微鏡ユニット１１０に微動を指示することができる。
　制御装置１２０は、図１に示すように基準対象決定部１２１、目標値設定部１２２、推定部１２３、適合度算出部１２４、制御部１２５及び画像処理部１２６を備える。制御装置１２０の各構成はソフトウェアとハードウェアの協働によって実現される機能的構成である。制御装置１２０は、手術顕微鏡ユニット１１０とは独立した情報処理装置であってもよく、手術顕微鏡ユニット１１０のＣＣＵ（camera control unit)に搭載されてもよい。また、制御装置１２０はネットワークを介して手術顕微鏡ユニット１１０と接続されていてもよい。
　以下では、制御装置１２０の各構成について説明するが、詳細については後述する手術顕微鏡システム１００の動作と合わせて説明する。
　基準対象決定部１２１は、カメラ１１５から術野画像を取得し、基準となる対象（以下、基準対象）を検出及び決定する。基準対象は術野画像に映っている術野全体でもよく、術野画像のうち一部領域、術具や生体組織（眼球等）であってもよい。基準対象決定部１２１は決定した基準対象を目標値設定部１２２に供給する。
　目標値設定部１２２は、「目標値」を設定する。目標値は、ユーザがアーム１１２を粗動により動かす際の、粗動後の手術顕微鏡１１３の位置及び向きである。目標値設定部１２２は、ユーザからの指定やプリセットからの選択により目標値を設定することができる。目標値設定部１２２は設定した目標値を適合度算出部１２４に供給する。
　推定部１２３は、術野画像に基づいて手術顕微鏡１１３の位置及び向きを推定する。以下、推定部１２３によって推定された手術顕微鏡１１３の位置及び向きを「推定値」とする。推定部１２３は、ＳＬＡＭ（Simultaneous Localization and Mapping）技術等を用いて推定値を生成することができる。推定部１２３は、生成した推定値を適合度算出部１２４に供給する。
　適合度算出部１２４は、目標値設定部１２２から供給された目標値と、推定部１２３から供給された推定値を比較し、適合度を算出する。適合度算出部１２４は、パラメータ（距離及び向き）毎に適合度を算出することができる。適合度算出部１２４は、算出した適合度を制御部１２５及び画像処理部１２６に供給する。
　制御部１２５は、目標値と推定値の比較結果に応じてアーム１１２の動作を制御し、具体的には、適合度算出部１２４から供給された適合度に基づいて、アーム１１２の動作を制御する。アーム制御の具体的内容については後述する。また、制御部１２５は、顕微鏡光学系１１４のズーム倍率や絞りの大きさ等を制御することが可能なものが好適である。
　画像処理部１２６は、カメラ１１５によって撮像された術野画像から表示画像を生成し、生成した表示画像を表示装置１３０に表示させる。この際、画像処理部１２６は、適合度算出部１２４から供給された適合度に応じてＵＩ（user inter Interface)表示処理を実行してもよい。
　表示装置１３０は、画像処理部１２６から出力された表示画像を表示する。表示装置１３０は一般的なディスプレイであってもよく、３Ｄ映像を表示可能な３次元ディスプレイやヘッドマウントディスプレイであってもよい。
　［手術顕微鏡システムの動作］
　手術顕微鏡システム１００の粗動動作について説明する。手術顕微鏡システム１００において手術顕微鏡ユニット１１０の粗動を用いるユースケースとしては、以下の２つのケースがある。
　第１のケースは、術野中に基準対象が存在する状態から粗動を開始し、手術顕微鏡１１３の基準対象に対する角度及び距離の少なくとも一方を変更して観察したいケースである。例えば、図３（ａ）に示すように、眼科手術において眼球Ｅの鉛直方向に手術顕微鏡１１３を配置した状態で創口作成を行った後、図３（ｂ）に示すように手術顕微鏡１１３を傾け、眼球Ｅに対して斜め方向から隅角処理を行うケースが挙げられる。
　第２のケースは、術野中に基準対象が存在しない状態から粗動を開始し、最初の術野を得るケースである。例えば、手術の開始時に最初の術野を得るためにセットアップを行うケースが挙げられる。
　以下、２つケースのそれぞれについて、手術顕微鏡システム１００の処理フローを説明する。
　（第１のケースについての処理フロー）
　手術顕微鏡システム１００は、ユーザの指示を受けて第１のケースについての処理フロー（以下、第１処理フロー）を実行する。ユーザは、手術顕微鏡１１３に設けられた物理スイッチやタッチパネル、フットスイッチ又は音声コマンド等により、手術顕微鏡システム１００に処理フロー開始の指示を行うことができる。図４は、第１処理フローを示すフローチャートである。
　基準対象決定部１２１は、ユーザの指示が入力されると、カメラ１１５から術野画像を取得する（Ｓｔ１１１）。基準対象決定部１２１は、静止画を取得してもよい。また、カメラ１１５は術中は撮像を継続しているため、直近のいくつかのフレームを常に記録しておき、基準対象決定部１２１は、その中から画像を抽出してもよい。この際、基準対象決定部１２１は、ユーザの指示が入力されたタイミングになるべく近く、ブレ、ボケ及び隠れの少ない画像を抽出すると好適である。
　基準対象決定部１２１は、取得した術野画像から基準対象を決定する（Ｓｔ１１２）。基準対象は術野画像に映っている術野全体でもよく、術野画像のうち、術野中央部やフォーカスが合っている領域であってもよい。また、基準対象決定部１２１は、ユーザから指定された生体の部位や術具等の物体を基準対象としてもよい。ユーザは表示装置１３０によって術野画像を参照し、基準対象とする物体を指定することができる。
　また、基準対象決定部１２１は、画像認識技術を用いて基準対象を決定してもよい。例えば、ユーザが「眼球」、「隅角鏡」といった物体の名称を入力すると、基準対象決定部１２１は画像認識技術によりこれらの物体を検出し、基準対象として決定することができる。
　さらに、基準対象決定部１２１は、ユーザがポインティングした点を含む同一部位を領域検出により抽出することで基準対象を決定してもよい。例えば、ユーザが目の一部をポインティングすると、基準対象決定部１２１は眼球全体を基準対象として決定することができる。この際、基準対象決定部１２１は画像認識技術として機械学習系の技術や特徴点抽出に基づく技術を用いることができる。また基準対象決定部１２１は、術具等に付されたマーカを検出することにより、術具等を検出し、基準対象とすることも可能である。
　目標値設定部１２２は、基準対象の位置（以下、基準位置）に対する粗動後の手術顕微鏡１１３の位置及び向きを「目標値」として設定する（Ｓｔ１１３）。目標値設定部１２２は、ユーザからの指定によって目標値を設定することができる。ユーザは、基準位置を原点とした観察対象との距離及び向きの形式で目標値を指定することができ、例えば、「基準位置に対して角度４５度、ＷＤ（Working Distance）＝１５０ｍｍ」のように目標値を指定する。ユーザは、距離及び向きの両方を目標値として指定してもよく、いずれか一方のみを指定してもよい。
　また、目標値設定部１２２は、事前に目標値のプリセットを備えていてもよい。ユーザはプリセットされた値から目標値を選択することで、類似のアーム動作を繰り返す際に同じ設定をする手間を省くことができる。目標値設定部１２２は例えば、白内障手術や緑内障種々等、手術の種類に応じたプリセットを備えるものとすることができる。
　さらに、ユーザが一度アーム１１２を動かした後に、動かす前の状態に戻したい場合がある。このため、目標値設定部１２２は、過去の手術顕微鏡１１３の位置及び向きをプリセットとして記憶しておき、ユーザが選択できるようにしてもよい。
　続いて、ユーザがアーム１１２を動かし、粗動を開始する（Ｓｔ１１４）。なお、上述の各ステップ（Ｓｔ１１１～Ｓｔ１１３）はユーザが粗動を実施している間に実行してもよい。
　続いて、推定部１２３は、カメラ１１５から術野画像を取得する（Ｓｔ１１５）。推定部１２３は、粗動が実施されている間の術野画像を定期的に取得することができる。術野画像の取得タイミングは、毎フレームでもよく、一定間隔毎でもよい。
　続いて、推定部１２３は、取得した術野画像から基準位置に対する手術顕微鏡１１３の位置及び向きを推定（Ｓｔ１１６）し、推定値を生成する。推定部１２３は、ＳＬＡＭ（Simultaneous Localization and Mapping）技術を用いて推定値を生成することができる。ＳＬＡＭでは環境マップの構築も行われるため、粗動中は基準対象が術野に映らなくてもよいという利点がある。
　また、推定部１２３は、術野画像の特徴点の比較から推定値を生成することも可能である。ユーザは術野を見ながら粗動を行うことができるため、ある程度術野に基準対象が映るように制御することは可能である。このため、２つの画像取得ステップ（Ｓｔ１１１及びＳｔ１１５）で取得した術野画像において画像に含まれる特徴点の対応を取り、Perspective-n-Point Problem問題を解くことにより、推定値を生成することも可能である。
　また、術野画像がステレオ画像である場合、推定部１２３は術野画像からDepth Mapを生成することで推定値を生成することが可能である。さらに推定部１２３は、ＴＯＦ（Time-of-Flight）技術を用いて推定値を生成してもよい。
　続いて、適合度算出部１２４は、目標値設定ステップ（Ｓｔ１１３）で設定した目標値と、手術顕微鏡位置推定ステップ（Ｓｔ１１６）で生成された推定値を比較し、適合度を算出する（Ｓｔ１１７）。適合度算出部１２４は、パラメータ（距離及び向き）毎に適合度を算出することができ、例えば、「距離の適合度：９０％、角度の適合度：８５％」のように適合度を算出する。
　続いて制御部１２５は、アーム１１２の動作を制御する（Ｓｔ１１８）。具体的には、制御部１２５は、適合度算出ステップ（Ｓｔ１１７）で算出された適合度に基づいて、関節１１８の回転に制限を加える。
　制御部１２５は、関節１１８毎に、関節１１８が一定量回転すると適合度がどの程度変化するかを算出する。制御部１２５は、ユーザが手術顕微鏡１１３の位置又は向きの少なくとも一方を変更するために手術顕微鏡１１３を移動させると、各関節１１８が適合度を低下させる方向に回転するか、適合度を増大させる方向に回転するかを判別する。
　図５は、関節１１８の回転の例を示す模式図である。同図において、目標値設定部１２２より設定された目標値を目標値Ｐとして示す。手術顕微鏡１１３の位置及び向きは推定部１２３によって推定され、推定値として制御部１２５に供給されている。
　同図において関節１１８の回転方向Ｒａは、手術顕微鏡１１３が目標値Ｐに接近する回転方向であり、即ち適合度を増大させる回転方向である。一方、回転方向Ｒｂは手術顕微鏡１１３が目標値Ｐから離間する回転方向であり、即ち適合度を低下させる回転方向である。制御部１２５は各関節１１８について、適合度が増加する回転方向及び適合度が減少する回転方向を特定する。また、制御部１２５は、関節１１８の回転量に伴う適合度の変動量を算出する。図５ではＸ－Ｙ方向の手術顕微鏡１１３の移動を示すが、Ｚ方向の手術顕微鏡１１３の移動も同様である。
　制御部１２５は、関節１１８が、目標値と推定値の差異を大きくする方向、即ち適合度を低下させる方向に回転する場合、関節１１８にブレーキをかけ、回転抵抗を増大させることができる。図５に示す例では回転方向Ｒｂの回転抵抗を回転方向Ｒａの回転抵抗より大きくする。また、手術顕微鏡１１３が目標値Ｐを通り過ぎると、回転方向Ｒａが適合度を低下させる回転方向となり、制御部１２５は回転方向Ｒａの回転抵抗を大きくする。
　これにより、ユーザが適合度を低下させる方向に手術顕微鏡１１３を移動させようとすると、手術顕微鏡１１３を移動させるために要する力が大きくなるため、手術顕微鏡１１３を目標値に合わせやすくなる。
　また、制御部１２５は、関節１１８毎に回転抵抗を変更してもよい。制御部１２５は、一定量回転した場合の目標値と推定値の差異の変化量が大きい、即ち適合度の低下量が大きい関節１１８の回転抵抗を、同変化量が小さい、即ち適同度の低下量が小さい関節１１８の回転抵抗より大きくすることができる。上記変化量が大きい関節１１８は手術顕微鏡１１３の移動に伴う回転量が多い関節１１８であり、上記変化量が小さい関節１１８は手術顕微鏡１１３の移動に伴う回転量が少ない関節１１８である。この場合もユーザが、適合度が低下させる方向に手術顕微鏡１１３を移動させようとすると、手術顕微鏡１１３を移動させるために要する力が大きくなるため、手術顕微鏡１１３を目標値に合わせやすくなる。
　さらに制御部１２５は、目標値と推定値の差異が大きい、即ち適合度が小さいほど、関節１１８の回転抵抗を大きくしてもよい。これにより、手術顕微鏡１１３の位置が目標値から離間している場合は手術顕微鏡１１３が動かしやすく、手術顕微鏡１１３の位置が目標値に接近すると、手術顕微鏡１１３が動かしにくくなるため、手術顕微鏡１１３を目標値に合わせやすくなる。
　また、制御部１２５は、関節１１８が目標値と推定値の差異を大きくする方向、即ち適合度を低下させる方向に回転する場合、関節１１８をロックし、回転を停止させてもよい。図５に示す例では、回転方向Ｒａへの回転は許容し、回転方向Ｒｂへの回転は停止させる。これによりユーザは、手術顕微鏡１１３を適合度が増大する方向にのみ移動させることが可能となるため、手術顕微鏡１１３を目標値に合わせやすくなる。
　また、制御部１２５は、各関節１１８の回転角度毎に適合度を算出し、各関節１１８が、目標値と推定値の差異を最小とする回転角度、即ち適合度が最大となる回転角度となっているかを判定してもよい。制御部１２５は、目標値と推定値の差異を最小とする回転角度となっている関節１１８の回転を停止させることができる。これにより、目標値と推定値の差異が最小となる回転角度に合わせられた関節１１８から順次関節１１８の回転が固定され、手術顕微鏡１１３を目標値に合わせやすくなる。
　また、制御部１２５は、カメラ１１５の撮像可能距離に応じて関節１１８の回転を制限してもよい。例えば、カメラ１１５がオートフォーカス機能を有している場合、オートフォーカスの範囲外に手術顕微鏡１１３が位置するとフォーカスが合った術野画像を撮像することができない。
　このため、制御部１２５は、オートフォーカスが有効な範囲から手術顕微鏡１１３が外れようとするとその方向に手術顕微鏡１１３を移動させる関節１１８の回転をロックすることができる。オートフォーカス範囲の他にも制御部１２５は顕微鏡光学系１１４の光学特性等に応じてカメラ１１５の撮像可能範囲に応じて関節１１８の回転を制限することができる。
　手術顕微鏡システム１００は、粗動が継続している場合（Ｓｔ１１９：Ｎｏ）、画像取得ステップ（Ｓｔ１１５）からアーム制御ステップ（Ｓｔ１１８）を繰り返し実行し、粗動が終了（Ｓｔ１１９：Ｙｅｓ）すると処理フローを終了する。
　なお、アーム１１２の動作を制御するステップ（Ｓｔ１１８）ステップでは、アーム動作の制御に加え、適合度に応じたＵＩ（user inter Interface)表示処理を実行してもよい。
　図６は、画像処理部１２６によって生成される表示画像の例として表示画像３０１を示す模式図である。同図に示すように画像処理部１２６は、術野画像３０２において眼球Ｅの周囲等に適合度を示すインジケータ３０３を配置し、表示画像３０１を生成することができる。インジケータ３０３は、適合度に応じて、色、形状又は透過性等を変化させ、ユーザに適合度を提示する。
　また、画像処理部１２６は、インジケータ３０３と共に、又はインジケータ３０３に代えて、適合度を示す文字列を術野画像３０２に重畳させ、表示画像３０１を生成してもよい。また、画像処理部１２６は、適合度に変えて、手術顕微鏡１１３の角度や距離情報を表示してもよく、手術顕微鏡１１３の目標値とのずれ度合いを表示してもよい。この他にも画像処理部１２６は、目標値と推定値の違いを示す各種表示を術野画像３０２に重畳させ、表示画像３０１を生成することができる。
　画像処理部１２６は、生成した表示画像を表示装置１３０に出力する。これにより、ユーザは、上述した関節１１８の回転制御に加え、表示画像において提示されている情報を参照して手術顕微鏡１１３を動かすことが可能であり、さらに手術顕微鏡１１３を所望の位置及び向きに合わせやすくなる。
　上記処理フローにしたがって粗動を実行したのち、ユーザはフットスイッチ等を操作し、アーム１１２を動作（微動）させてもよい。この際、画像処理部１２６は、適合度に応じてＵＩ表示処理を実行し、生成した表示画像（図６参照）を表示装置１３０に表示させることができる。これにより、ユーザは微動においても適合度を参照して手術顕微鏡１１３の位置及び向きを微調整することが可能である。
　＜第１処理フローの変形例＞
　上記説明では、基準対象を決定するため、術野画像取得ステップ（Ｓｔ１１１）において術野画像を取得するとしたが、特定の術具を基準対象とする場合はその術具の情報を事前に取得しておくことで術野画像取得ステップ（Ｓｔ１１１）は不要となる。
　例えば、基準対象を隅角鏡とする場合、手術顕微鏡位置推定ステップ（Ｓｔ１１６）において術野画像からレンズ縁の楕円を検出し、長軸と短軸を取得することで、手術顕微鏡１１３の位置及び向きを推定することが可能となる。
　さらに、手術顕微鏡位置推定ステップ（Ｓｔ１１６）においては、性能を改善するために以下のようにしてもよい。推定部１２３が手術顕微鏡１１３の位置及び向きを推定するためにはカメラの内部パラメータが既知であることが求められる。カメラの内部パラメータは、カメラ座標原点の３次元座標を画像上の座標に変換する際の変換行列であり、術野画像からカメラ１１５の３次元位置を推定する際に必要となる。
　しかしながら、ズーム倍率等の設定により内部パラメータは変化するため、任意の倍率で対応しようとすると無数の内部パラメータを保持するか、近い内部パラメータによって代替する必要がある。
　そこで、制御部１２５は、粗動が実行される際、手術顕微鏡１１３のズーム倍率や絞り等を、推定部１２３が保持する内部パラメータが利用できる設定に変更するように顕微鏡光学系１１４を制御することができる。これにより、推定部１２３は既知の内部パラメータを用いて手術顕微鏡１１３の位置及び向きを推定することができ、推定精度を向上させることができる。
　また、制御部１２５は、顕微鏡光学系の倍率が高すぎると、基準対象が術野外になりやすいため、ある程度広角となるように顕微鏡光学系１１４を制御してもよい。さらに、フォーカスが合わないぼけた画像では手術顕微鏡１１３の位置及び向きの推定が難しいため、制御部１２５はオートフォーカスが動作するようにしたり、被写界深度が広くなるように絞りを絞ったり等の粗動用モードに設定を切り替えるように顕微鏡光学系１１４を制御してもよい。
　（第２のケースについての処理フロー）
　第２のケースについての処理フロー（以下、第２処理フロー）では、第１処理フローに対して最初の術野画像取得ステップ及び基準対象決定ステップがない点が異なる。
　第２処理フローにおいても手術顕微鏡システム１００は、ユーザの指示を受けて処理フローを実行する。ユーザは、手術顕微鏡１１３に設けられた物理スイッチやタッチパネル、フットスイッチ又は音声コマンド等により、手術顕微鏡システム１００に処理フロー開始の指示を行うことができる。図７は、第２処理フローを示すフローチャートである。
　目標値設定部１２２は、粗動後の手術顕微鏡１１３の位置及び向きを「目標値」として設定する（Ｓｔ１２１）。目標値設定部１２２は、ユーザからの指定によって目標値を設定することができる。第２処理フローでは、座標系を定める基準対象が存在しないため、ユーザは粗動中にカメラ１１５に映る対象（以下、撮像対象）との距離や手術顕微鏡１１３の傾け角度等の形式で目標値を指定することができる。傾け角度は「撮像対象の表面を平面で近似した場合の鉛直方向に対する傾け度合い」とすることができる。ユーザは例えば、「眼球に対して４５度、ＷＤ（Working Distance）＝１５０ｍｍ」のように目標値を指定することができる。ユーザは、距離及び向きの両方を目標値として指定してもよく、いずれか一方のみを指定してもよい。
　また、目標値設定部１２２は、事前に目標値のプリセットを備えていてもよい。ユーザはプリセットされた値から目標値を選択することで、類似のアーム動作を繰り返す際に同じ設定をする手間を省くことができる。目標値設定部１２２は例えば、白内障手術や緑内障種々等、手術の種類に応じた目標値を備えるものとすることができ、例えば白内障用のプリセット値は「眼球に対し鉛直、ＷＤ＝２００ｍｍ」、緑内障用のプリセット値は「眼球に対し４５度、ＷＤ＝２００ｍｍ」等とすることができる。
　さらに、ユーザが一度アーム１１２を動かした後に、動かす前の状態に戻したい場合がある。このため、目標値設定部１２２は、過去の手術顕微鏡１１３の位置や向きをプリセットとして記憶しておき、ユーザが選択できるようにしてもよい。
　続いて、ユーザがアーム１１２を動かし、粗動を開始する（Ｓｔ１２２）。なお、目標値設定ステップ（Ｓｔ１２１）はユーザが粗動を実施している間に実行してもよい。
　続いて、推定部１２３は、カメラ１１５から術野画像を取得する（Ｓｔ１２３）。推定部１２３は、粗動が実施されている間の術野画像を定期的に取得することができる。術野画像の取得タイミングは、毎フレームでもよく、一定間隔毎でもよい。
　続いて、推定部１２３は、取得した術野画像から手術顕微鏡１１３の位置及び向きを推定（Ｓｔ１２４）し、推定値を生成する。第２処理フローでは、基準対象を必要としない推定方法のみが利用可能である。具体的には推定部１２３は、ＳＬＡＭ（Simultaneous Localization and Mapping）技術を用いて推定値を生成することができる。ＳＬＡＭでは環境マップの構築も行われるため、撮像対象との距離に加え、撮像対象の表面形状も取得することができる。
　また、術野画像がステレオ画像である場合、推定部１２３は術野画像からDepth Mapを生成することで撮像対象に対する距離及び表面形状を求めることも可能である。図８は手術顕微鏡１１３の撮像対象に対する傾き及び距離を示す模式図である。同図に示すように撮像対象（ここでは例として眼球Ｅ）の表面形状が求められると、表面形状に対して平面３０４を当てはめ、平面３０４に対する垂直方向３０５を求めることで、手術顕微鏡１１３の傾きθ及び距離Ｌを算出することができる。
　続いて、適合度算出部１２４は、目標値設定ステップ（Ｓｔ１２１）で設定した目標値と、手術顕微鏡位置推定ステップ（Ｓｔ１２４）で生成された推定値を比較し、適合度を算出する（Ｓｔ１２５）。適合度算出部１２４は、第１処理フローと同様にパラメータ（距離及び向き）毎に適合度を算出することができる。
　続いて制御部１２５は、アーム１１２の動作を制御する（Ｓｔ１２６）。具体的には、制御部１２５は、適合度算出ステップ（Ｓｔ１２５）で算出された適合度に基づいて、第１処理フローと同様に関節１１８の回転に制限を加える。さらに、制御部１２５は、カメラ１１５の撮像可能距離に応じて関節１１８の回転を制限してもよい。
　手術顕微鏡システム１００は、粗動が継続している場合（Ｓｔ１２７：Ｎｏ）、画像取得ステップ（Ｓｔ１２３）からアーム制御ステップ（Ｓｔ１２６）を繰り返し実行し、粗動が終了（Ｓｔ１２７：Ｙｅｓ）すると処理フローを終了する。
　なお、アーム１１２の動作を制御するステップ（Ｓｔ１２６）ステップでは第１処理フローと同様に、関節１１８の回転の制限に加え、画像処理部１２６が適合度に応じたＵＩ表示処理を実行し（図６参照）、ユーザの粗動を補助してもよい。
　上記処理フローにしたがって粗動を実行したのち、ユーザはフットスイッチ等を操作し、アーム１１２を動作（微動）させてもよい。この際にも、画像処理部１２６は、適合度に応じたＵＩ表示処理を実行し（図６参照）、ユーザの微動を補助することが可能である。
　＜第２処理フローの変形例＞
　第２処理フローにおいても、制御部１２５は、粗動が実行される際、手術顕微鏡１１３のズーム倍率や絞り等を推定部１２３が保持する内部パラメータが利用できる設定に変更するように顕微鏡光学系１１４を制御することができる。これにより、推定部１２３は既知の内部パラメータを用いて手術顕微鏡１１３の位置及び向きを推定することができ、推定精度を向上させることができる。
　また、制御部１２５は、顕微鏡光学系の倍率が高すぎると、基準対象が術野外になりやすいため、ある程度広角となるように顕微鏡光学系１１４を制御してもよい。さらに、フォーカスが合わないぼけた画像では手術顕微鏡１１３の位置及び向きの推定が難しいため、制御部１２５はオートフォーカスが動作するようにしたり、被写界深度が広くなるように絞りを絞ったり等の粗動用モードに設定を切り替えるように顕微鏡光学系１１４を制御してもよい。
　［出術顕微鏡システムによる効果］
　以上のように手術顕微鏡システム１００では、目標値と推定値の適合度に応じて関節１１８の回転が制限され、手術顕微鏡１１３を粗動によって目標とする位置及び向きに合わせやすくすることが可能である。
　これによりユーザは所望の距離や角度から観察対象の観察が容易となる。また、手術顕微鏡システム１００に目標値を記憶させることにより、再現性の高いセッティングとすることが可能となる。さらに、手術顕微鏡１１３がカメラ１１５のオートフォーカス範囲外等の撮像に不適当な位置に移動することを防止できる。
　さらに、手術顕微鏡１１３はユーザが動かすため、手術顕微鏡システム１００はロボットアーム等による位置制御が不要であり、大掛かりなシステムが必要ないため、コストの抑制も可能である。
　［ハードウェア構成］
　制御装置１２０ハードウェア構成について説明する。図９は制御装置１２０のハードウェア構成を示す模式図である。
　同図に示すように、制御装置１２０は、ＣＰＵ(Central Processing Unit)１００１を内蔵している。ＣＰＵ１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ＲＯＭ(Read Only Memory)１００２およびＲＡＭ(Random Access Memory)１００３が接続されている。
　入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、ＬＡＮ（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリなどのリムーバブル記憶媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
　ＣＰＵ１００１は、ＲＯＭ１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からＲＡＭ１００３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１００３にはまた、ＣＰＵ１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。なお、ＣＰＵ１００１はＧＰＵ（Graphics Processing Unit）の機能を有するものであってもよく、制御装置１２０はＣＰＵ１００１とは別にＧＰＵを備えるものであってもよい。
　以上のように構成される制御装置１２０では、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
　制御装置１２０が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　制御装置１２０では、プログラムは、リムーバブル記憶媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、制御装置１２０が実行するプログラムは、本開示で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
　また、制御装置１２０のハードウェア構成はすべてが一つの装置に搭載されていなくてもよく、複数の装置によって制御装置１２０が構成されていてもよい。また制御装置１２０のハードウェア構成の一部又はネットワークを介して接続されている複数の装置に搭載されていてもよい。
　以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
　なお、本技術は以下のような構成もとることができる。
　（１）
　関節を有するアームと、
　顕微鏡光学系と、上記顕微鏡光学系を用いて術野画像を撮像するカメラとを備え、上記アームに支持された手術顕微鏡と、
　上記アームの動作を制御する制御部と
　を備え、
　上記制御部は、上記手術顕微鏡の位置及び向きの目標値と、上記術野画像に基づいて推定される上記手術顕微鏡の位置及び向きの推定値の比較結果に応じて上記関節の回転を制御する
　手術顕微鏡システム。
　（２）
　上記（１）に記載の手術顕微鏡システムであって、
　上記制御部は、上記関節が上記目標値と上記推定値の差異を大きくする方向に回転する場合、上記関節の回転抵抗を大きくする
　手術顕微鏡システム。
　（３）
　上記（２）に記載の手術顕微鏡システムであって、
　上記アームは複数の関節を備え、
　上記制御部は、上記複数の関節について、一定量回転した場合の上記目標値と上記推定値の差異の変化量を算出し、上記変化量が大きい関節の回転抵抗を、上記変化量が小さい関節の回転抵抗より大きくする
　手術顕微鏡システム。
　（４）
　上記（１）から（３）のうちいずれか一つに記載の手術顕微鏡システムであって、
　上記制御部は、上記目標値と上記推定値の差異が大きいほど、上記関節の回転抵抗を大きくする
　手術顕微鏡システム。
　（５）
　上記（１）から（４）のうちいずれか一つに記載の手術顕微鏡システムであって、
　上記制御部は、上記関節が上記目標値と上記推定値の差異を大きくする場合、上記関節の回転を停止させる
　手術顕微鏡システム。
　（６）
　上記（５）に記載の手術顕微鏡システムであって、
　上記制御部は、上記関節が上記目標値と上記推定値の差異を最小とする回転角度となっている場合に上記関節の回転を停止させる
　手術顕微鏡システム。
　（７）
　上記（１）から（６）のうちいずれか一つに記載の顕微鏡システムであって、
　上記制御部は、上記目標値と上記推定値を比較し、上記目標値と上記推定値の適合度を算出し、上記適合度に応じて上記関節の回転に制限を加える
　手術顕微鏡システム。
　（８）
　上記（１）から（７）のうちいずれか一つに記載の手術顕微鏡システムであって、
　上記制御部は、さらに、上記カメラの撮像可能距離に応じて、上記関節の回転に制限を加える
　手術顕微鏡システム。
　（９）
　上記（１）から（８）のうちいずれか一つに記載の手術顕微鏡システムであって、
　上記制御部は、上記カメラで撮影された術野画像に基づいて基準対象を決定し、上記基準対象の位置に対する上記手術顕微鏡の位置及び向きを上記目標値として設定する
　手術顕微鏡システム。
　（１０）
　上記（１）から（８）のうちいずれか一つに記載の手術顕微鏡システムであって、
　上記制御部は、上記カメラで撮像された術野画像に含まれる撮像対象の位置に対する上記手術顕微鏡の位置及び向きを上記目標値として設定する
　手術顕微鏡システム。
　（１１）
　上記（１）から（１０）のうちいずれか一つに記載の手術顕微鏡システムであって、
　上記制御部は、過去の上記手術顕微鏡の位置及び向きを上記目標値のプリセットとして保持し、ユーザによる選択によって上記プリセットから上記目標値を設定する
　手術顕微鏡システム。
　（１２）
　上記（１）から（１１）のうちいずれか一つに記載の手術顕微鏡システムであって、
　上記制御部は、上記カメラの内部パラメータを上記手術顕微鏡の位置及び向きの推定に利用し、上記顕微鏡光学系を、上記推定部が保持している上記内部パラメータが利用できる設定に変更する
　手術顕微鏡システム。
　（１３）
　顕微鏡光学系と、上記顕微鏡光学系を用いた術野画像を撮像するカメラとを備え、関節を備えるアームに支持された手術顕微鏡の制御装置であって、
　上記手術顕微鏡の位置及び向きの目標値を設定する目標値設定部と、
　上記術野画像に基づいて上記手術顕微鏡の位置及び向きを推定し、推定値を生成する推定部と、
　上記目標値と上記推定値の比較結果に応じて上記関節の回転を制御する制御部と
　を具備する制御装置。
　（１４）
　顕微鏡光学系と、上記顕微鏡光学系を用いた術野画像を撮像するカメラとを備え、関節を備えるアームに支持された手術顕微鏡の制御方法であって、
　目標値設定部が、上記手術顕微鏡の位置及び向きの目標値を設定し、
　推定部が、上記術野画像に基づいて上記手術顕微鏡の位置及び向きを推定して推定値を生成し、
　制御部が、上記目標値と上記推定値の比較結果に応じて上記関節の回転を制御する
　制御方法。
　１００…手術顕微鏡システム
　１１０…手術顕微鏡ユニット
　１１２…アーム
　１１３…手術顕微鏡
　１１４…顕微鏡光学系
　１１５…カメラ
　１１７…アーム部
　１１８…関節
　１２０…制御装置
　１２１…基準対象決定部
　１２２…目標値設定部
　１２３…推定部
　１２４…適合度算出部
　１２５…制御部
　１２６…画像処理部
　１３０…表示装置

Claims (14)

  1. 　関節を有するアームと、
    　顕微鏡光学系と、前記顕微鏡光学系を用いて術野画像を撮像するカメラとを備え、前記アームに支持された手術顕微鏡と、
    　前記アームの動作を制御する制御部と
    　を備え、
    　前記制御部は、前記手術顕微鏡の位置及び向きの目標値と、前記術野画像に基づいて推定される前記手術顕微鏡の位置及び向きの推定値の比較結果に応じて前記関節の回転を制御する
    　手術顕微鏡システム。
  2. 　請求項１に記載の手術顕微鏡システムであって、
    　前記制御部は、前記関節が前記目標値と前記推定値の差異を大きくする方向に回転する場合、前記関節の回転抵抗を大きくする
    　手術顕微鏡システム。
  3. 　請求項２に記載の手術顕微鏡システムであって、
    　前記アームは複数の関節を備え、
    　前記制御部は、前記複数の関節について、一定量回転した場合の前記目標値と前記推定値の差異の変化量を算出し、前記変化量が大きい関節の回転抵抗を、前記変化量が小さい関節の回転抵抗より大きくする
    　手術顕微鏡システム。
  4. 　請求項１に記載の手術顕微鏡システムであって、
    　前記制御部は、前記目標値と前記推定値の差異が大きいほど、前記関節の回転抵抗を大きくする
    　手術顕微鏡システム。
  5. 　請求項１に記載の手術顕微鏡システムであって、
    　前記制御部は、前記関節が前記目標値と前記推定値の差異を大きくする方向に回転する場合、前記関節の回転を停止させる
    　手術顕微鏡システム。
  6. 　請求項５に記載の手術顕微鏡システムであって、
    　前記制御部は、前記関節が前記目標値と前記推定値の差異を最小とする回転角度となっている場合に前記関節の回転を停止させる
    　手術顕微鏡システム。
  7. 　請求項１に記載の手術顕微鏡システムであって、
    　前記制御部は、前記目標値と前記推定値を比較し、前記目標値と前記推定値の適合度を算出し、前記適合度に応じて前記関節の回転に制限を加える
    　手術顕微鏡システム。
  8. 　請求項１に記載の手術顕微鏡システムであって、
    　前記制御部は、さらに、前記カメラの撮像可能距離に応じて、前記関節の回転に制限を加える
    　手術顕微鏡システム。
  9. 　請求項１に記載の手術顕微鏡システムであって、
    　前記制御部は、前記カメラで撮影された術野画像に基づいて基準対象を決定し、前記基準対象の位置に対する前記手術顕微鏡の位置及び向きを前記目標値として設定する
    　手術顕微鏡システム。
  10. 　請求項１に記載の手術顕微鏡システムであって、
    　前記制御部は、前記カメラで撮像された術野画像に含まれる撮像対象の位置に対する前記手術顕微鏡の位置及び向きを前記目標値として設定する
    　手術顕微鏡システム。
  11. 　請求項１に記載の手術顕微鏡システムであって、
    　前記制御部は、過去の前記手術顕微鏡の位置及び向きを前記目標値のプリセットとして保持し、ユーザによる選択によって前記プリセットから前記目標値を設定する
    　手術顕微鏡システム。
  12. 　請求項１に記載の手術顕微鏡システムであって、
    　前記制御部は、前記カメラの内部パラメータを前記手術顕微鏡の位置及び向きの推定に利用し、前記顕微鏡光学系を、前記推定部が保持している前記内部パラメータが利用できる設定に変更する
    　手術顕微鏡システム。
  13. 　顕微鏡光学系と、前記顕微鏡光学系を用いた術野画像を撮像するカメラとを備え、関節を備えるアームに支持された手術顕微鏡の制御装置であって、
    　前記手術顕微鏡の位置及び向きの目標値を設定する目標値設定部と、
    　前記術野画像に基づいて前記手術顕微鏡の位置及び向きを推定し、推定値を生成する推定部と、
    　前記目標値と前記推定値の比較結果に応じて前記関節の回転を制御する制御部と
    　を具備する制御装置。
  14. 　顕微鏡光学系と、前記顕微鏡光学系を用いた術野画像を撮像するカメラとを備え、関節を備えるアームに支持された手術顕微鏡の制御方法であって、
    　目標値設定部が、前記手術顕微鏡の位置及び向きの目標値を設定し、
    　推定部が、前記術野画像に基づいて前記手術顕微鏡の位置及び向きを推定して推定値を生成し、
    　制御部が、前記目標値と前記推定値の比較結果に応じて前記関節の回転を制御する
    　制御方法。
PCT/JP2020/024328 2019-06-25 2020-06-22 手術顕微鏡システム、制御装置及び制御方法 WO2020262281A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/619,973 US20220354583A1 (en) 2019-06-25 2020-06-22 Surgical microscope system, control apparatus, and control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019117384A JP2021003201A (ja) 2019-06-25 2019-06-25 手術顕微鏡システム、制御装置及び制御方法
JP2019-117384 2019-06-25

Publications (1)

Publication Number Publication Date
WO2020262281A1 true WO2020262281A1 (ja) 2020-12-30

Family

ID=74061634

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/024328 WO2020262281A1 (ja) 2019-06-25 2020-06-22 手術顕微鏡システム、制御装置及び制御方法

Country Status (3)

Country Link
US (1) US20220354583A1 (ja)
JP (1) JP2021003201A (ja)
WO (1) WO2020262281A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114391958A (zh) * 2022-02-15 2022-04-26 南京佗道医疗科技有限公司 一种机械臂有效工作空间计算方法及其控制方法
CN114391958B (zh) * 2022-02-15 2024-06-07 佗道医疗科技有限公司 一种机械臂有效工作空间计算方法及其控制方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7103693B2 (ja) * 2021-01-13 2022-07-20 株式会社ニューギン 遊技機

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009213883A (ja) * 2008-02-28 2009-09-24 Leica Microsystems (Schweiz) Ag 手術顕微鏡用に特に適したスタンド
WO2017098989A1 (ja) * 2015-12-07 2017-06-15 リバーフィールド株式会社 外力追従制御システム
JP2017107106A (ja) * 2015-12-10 2017-06-15 キヤノン株式会社 顕微鏡システムおよびその制御方法
JP2017533795A (ja) * 2014-10-27 2017-11-16 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 器具外乱補償のためのシステム及び方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011116812A1 (en) * 2010-03-22 2011-09-29 Brainlab Ag Controlling a surgical microscope
KR20170035831A (ko) * 2014-03-14 2017-03-31 시냅티브 메디컬 (바베이도스) 아이엔씨. 인텔리전트 포지셔닝 시스템과 그것의 방법들
US10917543B2 (en) * 2017-04-24 2021-02-09 Alcon Inc. Stereoscopic visualization camera and integrated robotics platform
CA2977380C (en) * 2017-08-28 2020-06-30 Synaptive Medical (Barbados) Inc. End effector force sensor and manual actuation assistance
DE102018206406B3 (de) * 2018-04-25 2019-09-12 Carl Zeiss Meditec Ag Mikroskopiesystem und Verfahren zum Betrieb eines Mikroskopiesystems
JP6871220B2 (ja) * 2018-11-08 2021-05-12 ファナック株式会社 制御システム
US20200282558A1 (en) * 2019-03-07 2020-09-10 LinkDyn Robotics Inc. System and method for controlling a robot with torque-controllable actuators

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009213883A (ja) * 2008-02-28 2009-09-24 Leica Microsystems (Schweiz) Ag 手術顕微鏡用に特に適したスタンド
JP2017533795A (ja) * 2014-10-27 2017-11-16 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 器具外乱補償のためのシステム及び方法
WO2017098989A1 (ja) * 2015-12-07 2017-06-15 リバーフィールド株式会社 外力追従制御システム
JP2017107106A (ja) * 2015-12-10 2017-06-15 キヤノン株式会社 顕微鏡システムおよびその制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114391958A (zh) * 2022-02-15 2022-04-26 南京佗道医疗科技有限公司 一种机械臂有效工作空间计算方法及其控制方法
CN114391958B (zh) * 2022-02-15 2024-06-07 佗道医疗科技有限公司 一种机械臂有效工作空间计算方法及其控制方法

Also Published As

Publication number Publication date
US20220354583A1 (en) 2022-11-10
JP2021003201A (ja) 2021-01-14

Similar Documents

Publication Publication Date Title
US11977678B2 (en) Robotic system providing user selectable actions associated with gaze tracking
JP7249278B2 (ja) 眼科手術用の適応的画像レジストレーション
US20230372014A1 (en) Surgical robot and motion error detection method and detection device therefor
CN111991085B (zh) 手术机器人及其图形化控制装置、图形化显示方法
US20220227000A1 (en) Geometrically appropriate tool selection assistance for determined work site dimensions
JP6399832B2 (ja) パターンマッチング方法及びパターンマッチング装置
JP2014518775A (ja) ツールの動作を制御するのに使用されるフレームの位置及び向きの推定
KR101856546B1 (ko) 영상에서 처리 대상 객체를 제거하는 방법 및 이러한 방법을 수행하는 장치
WO2020262281A1 (ja) 手術顕微鏡システム、制御装置及び制御方法
US11409091B2 (en) Method of operating a surgical microscope and surgical microscope
US11864841B2 (en) Method of operating a surgical microscope and surgical microscope
CN113633387A (zh) 术野追踪的扶持腹腔镜微创机器人触力交互方法和系统
WO2018216501A1 (ja) 制御装置、制御方法、および手術システム
US11690677B2 (en) Use of eye tracking for tool identification and assignment in a robotic surgical system
WO2023040817A1 (zh) 医生控制台的控制方法、医生控制台、机器人系统和介质
WO2019222228A1 (en) System and method for automated image-guided robotic intraocular surgery
CN113907693B (zh) 操作映射比例调整方法、装置、电子设备以及存储介质
JP2686685B2 (ja) ロボットによる物体操作のための能動的カメラ探索装置
TWI753822B (zh) 內視鏡手術輔助系統與內視鏡手術輔助方法
JP7450115B2 (ja) 顕微鏡法システムの動作方法及び顕微鏡法システム
WO2023100234A1 (ja) 内視鏡システムおよび座標系補正方法
US20240185432A1 (en) System, method, and apparatus for tracking a tool via a digital surgical microscope
AU2022254686A1 (en) System, method, and apparatus for tracking a tool via a digital surgical microscope
JP2023070601A (ja) エコー画像取得用の探索装置及びプログラム
WO2023166404A1 (en) Robotic imaging system with orbital scanning mode

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20833172

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20833172

Country of ref document: EP

Kind code of ref document: A1