WO2021199979A1 - 情報処理装置、情報処理システム及び情報処理方法 - Google Patents

情報処理装置、情報処理システム及び情報処理方法 Download PDF

Info

Publication number
WO2021199979A1
WO2021199979A1 PCT/JP2021/009444 JP2021009444W WO2021199979A1 WO 2021199979 A1 WO2021199979 A1 WO 2021199979A1 JP 2021009444 W JP2021009444 W JP 2021009444W WO 2021199979 A1 WO2021199979 A1 WO 2021199979A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
range
information
motion
projected
Prior art date
Application number
PCT/JP2021/009444
Other languages
English (en)
French (fr)
Inventor
侑紀 糸谷
哲治 福島
容平 黒田
和人 横山
克文 杉本
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022511744A priority Critical patent/JPWO2021199979A1/ja
Priority to US17/906,280 priority patent/US20230126611A1/en
Publication of WO2021199979A1 publication Critical patent/WO2021199979A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A61B90/25—Supports therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices

Definitions

  • This disclosure relates to an information processing device, an information processing system, and an information processing method.
  • Patent Document 1 is a technique for automatically calculating the position of a robot, but it is necessary to accurately input or recognize the patient, surgical procedure, and surrounding environment into the system.
  • Patent Document 2 is a system that supports the placement of a robot in an operating room, but it is difficult to make fine adjustments manually because the tracking of the device is required and the range of motion of the robot is not shown.
  • the present disclosure provides an information processing device, an information processing system, and an information processing method that support easy placement of robots.
  • the information processing device of the present disclosure is Based on the first information regarding the movable range of the target portion of the medical arm and the second information regarding the position and orientation of the projection device that projects an image in the operating room, the information that identifies the movable range is projected onto the movable range.
  • a projected image generator that generates a projected image, It is provided with an output instruction unit that outputs a projection instruction of the projected image to the projection device.
  • the information processing system of the present disclosure is A projection device that projects images in the operating room, A projection that generates a projection image that projects information that identifies the range of motion onto the range of motion based on the first information about the range of motion of the target portion of the medical arm and the second information about the position and orientation of the projection device.
  • Image generator and It is provided with an output instruction unit that outputs a projection instruction of the projected image to the projection device.
  • the information processing method of the present disclosure is Based on the first information about the range of motion of the target part of the medical arm and the second information about the position and orientation of the projection device that projects the image in the operating room, the information that identifies the range of motion is projected onto the range of motion. Generate a projected image, The projected image is projected by the projection device.
  • the figure which shows the state of the operation using the operation system shown in FIG. The block diagram of the information processing system which concerns on this embodiment.
  • the flowchart of an example of the operation of the information processing system which concerns on the 1st modification The figure which shows the example which included the information of the depth direction in the image of the range of motion. The figure which shows the example which aligned the information which identifies the range of motion with the affected part in the affected part image. The figure which shows the example which projected the synthetic information from the projection device on the floor surface of the operating room.
  • the flowchart of an example of the operation of the information processing system which concerns on the 2nd modification The figure which shows typically an example of the operation system provided with the information processing system which concerns on the 3rd modification.
  • the block diagram of the information processing system which concerns on the 3rd modification The figure which shows the example which projected the image on the integration area.
  • the flowchart of an example of the operation of the information processing system which concerns on the 3rd modification The figure which shows the example which included the information of the depth direction in the image of the range of motion.
  • FIG. 1 is a diagram schematically showing an example of a surgical system 100 provided with an information processing system according to the present disclosure.
  • the surgical system 100 includes a surgical robot (hereinafter, robot) 101, a control device 201, a display device 301, and an input device 401.
  • robot a surgical robot
  • the “user” means an arbitrary medical staff who uses the surgical system 100, such as an operator and an assistant.
  • the robot 101 includes a tip portion 111 that performs an operation on an operation target, a medical arm (robot arm, an articulated arm) 121 that supports the tip portion 111 at the tip, and a base 131 that supports the base end of the arm 121.
  • a medical arm robot arm, an articulated arm
  • the tip portion 111 is an example of a movable target portion in the medical arm.
  • the tip 111 is, for example, a microscope unit for magnifying and observing an observation object, an imaging device (camera or the like) for imaging the observation object, a projection device (projector), an endoscope, forceps, a sword, and a ki for gastrointestinal tract.
  • the surgical system 100 may be configured to include, for example, a plurality of arms, each arm having a different tip 111. For example, it may be configured as an arm for holding an image pickup device, an arm for holding forceps or tweezers, an arm having an energy treatment tool, or the like.
  • the observation target is, for example, the observation site of the subject, specifically, the surgical site of the patient or the like.
  • the tip 111 may include a plurality of the items listed here. By supporting the item with the tip 111, it is possible to fix the position of the item more stably and reduce the burden on the medical staff as compared with the case where the medical staff supports it manually. Will be.
  • One end of the arm 121 is attached to the base 131 so as to extend from the base 131.
  • the base 131 may be movable by the user on the floor surface by wheels attached to the lower part.
  • the position of the robot can be fixed by the user operating a brake (not shown).
  • the height of the arm 121 may be adjustable with respect to the base 131.
  • the arm 121 includes a plurality of links 122A, 122B, 122C, 122D, 122E, and a plurality of joints 123A to 123D connecting the links 122A to 122E.
  • the plurality of links 122A to 122E can be rotated with each other by the plurality of joints 123A to 123D.
  • a tip 111 is connected to the tip of the link 122E. By supporting the tip portion 111 by the arm 121, the position and posture of the tip portion 111 are controlled and stably fixed.
  • the configuration of the arm 121 is simplified and shown.
  • Etc. can be set as appropriate.
  • the arm 121 may preferably be configured to have more than 6 degrees of freedom. As a result, the tip portion 111 can be freely moved within the movable range of the arm 121.
  • the link 122D is provided with a projection device (projector) 141 for projecting an image.
  • the projection device 141 projects an image based on the projected image provided by the control device 201.
  • the projection device 141 may be coupled to the link 122D so that the projection direction of the projection device 141 can be rotated with a desired degree of freedom.
  • the projection device 141 may be fixed to the link 122D so that the projection device 141 projects only in a specific direction. If the projection device 141 is rotatable with the desired degree of freedom, the attitude of the projection device 141 with respect to the link 122D may be controllable by the control device 201. Parameters such as the focal length and zoom magnification of the projection device 141 can also be controlled by the control device 201.
  • the projection device 141 may be movable along the link 122D.
  • the position of the projection device 141 on the link 122D may be controllable by the control device 201, or the position of the projection device 141 may be manually adjusted by the user.
  • the target (projection target) on which the projection device 141 projects an image is, for example, the patient's part on the bed device (for example, the surgical site) and the floor surface on which the bed device is installed (the floor surface on which the bed device is to be installed). , The patient's bed rest in the bed device (patient bed, operating table, etc.).
  • the projection device 141 may be provided on a link other than the link 122D, or may be included in the tip portion 111. Further, the projection device 141 may be provided at any joint. Further, the projection device 141 may be provided at a place other than the robot, such as the wall or ceiling of the operating room.
  • the arm 121 is driven by the control from the control device 201.
  • the joints 123A to 123D are provided with an actuator including a drive mechanism such as a motor and an encoder for detecting the rotation angle of the joints 123A to 123D.
  • the joints 123A to 123D are configured to be rotatable around a predetermined rotation axis by driving the actuator. Then, the drive of each actuator is controlled by the control device 201, so that the posture of the arm 121, that is, the position and posture of the tip portion 111 is controlled.
  • the control device 201 can grasp the current posture of the arm 121 and the current position and posture of the tip portion 111 based on the information about the rotation angles of the joints 123A to 123D detected by the encoder.
  • the base 131 may be equipped with a position detection function using a marker or the like. In this case, the control device 201 may acquire the position information of the base 131 from the position detection function.
  • the control device 201 uses the grasped information on the position and posture of the arm 121 to control values (for example, rotation angles or rotation angles) for the joints 123A to 123D that realize the movement of the tip portion 111 in response to an operation input from the user. Calculate the generated torque, etc.). Then, the drive mechanism of the joints 123A to 123D is driven according to the control value.
  • the control method of the arm 121 by the control device 201 is not limited to a specific method, and various known control methods such as force control or position control may be applied.
  • the drive of the arm 121 may be controlled by the control device 201, and the position and posture of the tip portion 111 may be controlled.
  • the control device 201 calculates a control value (for example, rotation angle or generated torque) for the joints 123A to 123D according to the operation input, and drives the drive mechanism of the joints 123A to 123D according to the control value.
  • a control value for example, rotation angle or generated torque
  • the tip 111 After moving the tip 111 to an arbitrary position, the tip 111 is fixedly supported at the moved position.
  • the arm 121 may be operated by a so-called master slave method. In this case, the arm 121 may be remotely controlled by the user via an input device 401 installed in or away from the operating room.
  • the control device 201 comprehensively controls the operation of the surgical system 100 by controlling the operations of the robot 101 and the display device 301.
  • the control device 201 controls the drive of the arm 121 by operating the actuators of the joints 123A to 123D according to a predetermined control method.
  • the control device 201 generates image data for display by performing various signal processing on the image signal acquired by the image pickup device included in the tip portion 111 of the robot 101.
  • the control device 201 causes the display device 301 to display the generated image data.
  • the signal processing includes, for example, development processing (demosaic processing), high image quality processing (band enhancement processing, super-resolution processing, NR (Noise reduction) processing and / or camera shake correction processing, etc.) and / or enlargement processing (that is, , Electronic zoom processing), 3D image generation processing, etc.
  • control device 201 of the present embodiment has a movable range (for example, a range in which the tip portion can move in the three-dimensional space) of the target portion (for example, the tip portion of the arm) of the robot 101 in the three-dimensional space in the operating room.
  • a movable range for example, a range in which the tip portion can move in the three-dimensional space
  • the control device 201 outputs a projection instruction of the generated projected image to the projection device 141.
  • the projection device 141 projects the projected image provided by the control device 201.
  • the user can intuitively grasp the range of motion of the target portion of the robot 101 by looking at the projected image.
  • the configuration in which the control device 201 generates the projected image and the configuration in which the projection device projects the projected image will be described later.
  • the target site may be any site such as any link or any joint of the arm 121 other than the tip portion 111.
  • Information transmission / reception between the control device 201 and the tip 111, information transmission / reception between the control device 201 and the joints 123A to 123D, and information transmission / reception between the control device 201 and the projection device 141 are performed by wired communication or wireless communication. ..
  • wired communication communication by an electric signal or communication by an optical signal may be used.
  • a transmission cable used for wired communication an electric signal cable, an optical fiber, or a composite cable thereof is used depending on the communication method.
  • the wireless communication method may be any method such as wireless LAN, Bluetooth, dedicated communication method, 4G communication, and 5G communication. In the case of wireless communication, it is not necessary to lay a transmission cable, so that the situation where the transmission cable hinders the movement of medical staff in the operating room can be eliminated.
  • the control device 201 may be a processor such as a CPU (Central Processing Unit) or GPU (Graphics Processing Unit), or a microcomputer or a control board on which a processor and a storage element such as a memory are mixedly mounted.
  • the various functions described above can be realized by operating the processor of the control device 201 according to a predetermined program.
  • the control device 201 is provided as a device separate from the robot 101, but the control device 201 is installed inside the base 131 of the robot 101 and is integrally configured with the robot 101. May be good.
  • the control device 201 may be composed of a plurality of devices.
  • a microcomputer, a control board, or the like may be arranged at the joints 123A to 123D of the tip portion 111 and the arm 121, respectively, and these may be connected to each other so as to be able to communicate with each other to realize the same function as the control device 201. ..
  • the display device 301 is provided in the operating room as an example, and displays an image corresponding to the image data generated by the control device 201 under the control of the control device 201.
  • the display device 301 is, for example, a display device such as a liquid crystal display device or an EL (Electro Luminescence) display device.
  • the display device 301 displays an image of the surgical site captured by the tip 111, other parts of the robot 101, an imaging device provided in the operating room, or an image of the environment or equipment in the operating room.
  • the display device 301 may display various information related to the surgery, such as physical information of the patient or information about the surgical procedure, in place of or together with the image of the surgical site, environment, equipment, and the like.
  • a plurality of display devices 301 may be provided.
  • a plurality of image pickup devices may be provided, and the image data obtained for each image pickup device may be displayed on different display devices.
  • Image data captured by a plurality of imaging devices may be displayed on the same display device at the same time.
  • the input device 401 is an operation device for the user to perform various operation inputs.
  • the input device 401 is, for example, a device that can be operated even if the user holds a surgical tool in his / her hand, such as a foot switch or a device that performs voice recognition.
  • the input device 401 may be a device capable of non-contact operation input based on gesture detection or line-of-sight detection using a wearable device or a camera provided in the operating room.
  • the input device 401 may be a device manually operated by the user, such as a touch panel, keyboard or mouse, or haptics device.
  • the input device 401 is an input device provided on the master console and operated by the operator.
  • FIG. 2 is a diagram showing a state of surgery using the surgical system 100 shown in FIG.
  • FIG. 2 schematically shows a user (here, an operator) (not shown) performing an operation on a patient 502 on a bed device 501 using the operation system 100.
  • the control device is not shown in the configuration of the surgical system 100, and the robot 101 is shown in a simplified manner.
  • the image of the surgical site captured by the robot 101 is enlarged and displayed on the display device 301 in the operating room by using the surgical system 100.
  • the user may observe the state of the surgical site by the image projected on the display device 301.
  • the user may perform the treatment by directly holding the surgical instrument on the side of the patient 502, or may perform the treatment by remotely controlling the tip 111 via the input device 401 in the master slave method.
  • the arm on which the imaging device is provided and the arm that holds the surgical instrument may be separate arms.
  • the projection device 141 may be provided on the same arm as one of the arm provided with the imaging device and the arm holding the surgical instrument, or may be provided on a third arm separate from these arms. May be done.
  • an image is projected from the projection device 141 to the range of motion of the tip 111 during the operation, and the user performs the operation while checking the range of motion of the tip 111.
  • the state in which the image is projected on the range of motion may be displayed on the display device 301. In this case, the user can check the range of motion while looking at the display device 301.
  • the user can intuitively grasp the range of motion of the tip portion 111 from the projected image regardless of whether the operation is performed on the patient's side or remotely.
  • the user can perform various treatments such as excision of the affected portion while checking the range of motion of the tip portion 111.
  • FIG. 3 is a block diagram of the information processing system according to the present embodiment.
  • the information processing system 210 is configured by using the control device 201, the projection device 141, and the input device 401 in the surgical system 100 of FIG.
  • the information processing system 210 includes an information processing device 211, a projection device 141, and an input device 401.
  • the information processing device 211 includes a joint angle acquisition unit 221, a position / orientation calculation unit 222, a projection image generation unit 223, an output instruction unit 224, and a storage unit 225.
  • the joint angle acquisition unit 221 acquires information on the joint angles (rotation angles) of the joints 123A to 123D from the encoders provided on the joints 123A to 123D.
  • Information on the joint angles of the joints 123A to 123D may be stored in advance in the storage unit 225 in the control device 201. In this case, information on the joint angles of the joints 123A to 123D may be acquired from the storage unit 225.
  • the position / orientation calculation unit 222 determines the position and orientation of the projection device 141 based on the joint angle (posture of the arm) of the joint that connects the links existing between the base 131 and the location where the projection device 141 is provided. calculate.
  • the position and orientation of the projection device 141 are calculated based on the joint angles of the joints 123A to 123C.
  • the relative posture of the projection device 141 with respect to the link 122D is specified, and based on the posture of the arm 121 and the relative posture. The posture of the projection device 141 is calculated.
  • the posture of the projection device 141 can be represented by, for example, three angular variables in a three-axis space. Further, the position of the projection device 141 can be represented by the coordinates in the three-axis space. If the position of the projection device 141 is movable (for example, if it can be translated along the link 122D), the position of the projection device 141 should be calculated based on the relative position of the projection device 141 at the link 122D and the posture of the arm. Just do it.
  • the projection image generation unit 223 specifies the range of motion of the target portion of the robot 101 with respect to the base 131 (see FIG. 1).
  • the target site is the tip portion 111 in this embodiment.
  • the range of motion of the tip portion 111 with respect to the base 131 may be specified in advance from the design information of the robot, the operation confirmation result of the robot performed in advance in the test, the simulation, or the like.
  • the range of motion of the tip portion 111 is fixed with respect to the base 131.
  • Information regarding the range of motion of the tip portion 111 with respect to the base 131 is stored in the storage unit 225.
  • the projection image generation unit 223 acquires information on the range of motion of the tip portion 111 with respect to the base 131 by reading from the storage unit 225.
  • the storage unit 225 is an arbitrary storage device that stores data such as a memory, a hard disk, an SSD, or an optical recording medium.
  • information regarding the range of motion of the tip portion 111 may be stored in the storage unit 225 for each height.
  • the range of motion may be specified by adding an offset according to the height.
  • the projection image generation unit 223 provides information (image) for specifying the range of motion of the tip portion 111 to the range of motion based on the information on the range of motion of the tip portion 111 with respect to the base 131 and the position and orientation of the projection device 141. Generate a projected image to project. That is, by projecting the projected image from the projection device 141, an image capable of identifying the range of motion is displayed in the range of motion of the tip portion 111.
  • parameter information for the projected image.
  • the projection target of the image of the movable area is, for example, the observation site (for example, the surgical site) of the patient who is laid down on the bed rest device, the bed rest surface of the patient in the bed rest device, and the floor surface on which the bed rest device is installed (the bed rest device is installed). (Floor surface to be planned).
  • the user When projecting an image of the range of motion on the patient's surgical site, the user (operator) can grasp the range of motion of the tip 111 during surgery without removing the line of sight from the surgical site. Further, when the image of the range of motion is projected on the bed rest surface of the patient in the bed rest device, it is easy to lie down on the bed rest device so that the operating portion of the patient is located in the range of motion. Further, when displaying an image of the range of motion on the floor surface, the patient can easily position the bed rest device on which the patient is lying down, or the robot 101 or the arm 121.
  • the output instruction unit 224 outputs the projection instruction of the projection image generated by the projection image generation unit 223 to the projection device 141.
  • the projection device 141 projects a projected image according to a projection instruction from the output instruction unit 224.
  • the information processing device 211 may control the position or posture of the projection device 141 with respect to the link 122D to a predetermined position or orientation according to the posture of the arm 121 (joint angle of each joint). As a result, regardless of the posture of the arm 121, even if the movable region is located outside the projectable range of the projection device 141, the movable region can be appropriately projected onto the movable region.
  • the projection device 141 is a two-dimensional projection device (2D projector) that projects a two-dimensional image, or a three-dimensional projection device (3D projector) that projects a three-dimensional image.
  • the projection image generation unit 223 generates a projection image suitable for each method depending on whether the projection device 141 is a two-dimensional projection device or a three-dimensional projection device.
  • the movable range of the tip portion 111 is three-dimensionally displayed in the three-dimensional space, and the movable range can be intuitively recognized up to the depth direction. ..
  • the two-dimensional image is projected from the projection device 141.
  • an image of a region of an arbitrary height in the range of motion is displayed. You may decide which height of the range of motion to display and generate a projected image that projects the range of motion at the determined height.
  • FIG. 4 shows an example in which the range of motion of the tip portion 111 is projected by a projection device 141 using a three-dimensional image.
  • the range of motion is perceived in three dimensions by the projected image 511 representing the three-dimensional range of motion generated based on the position of the user or the position of the photographing device.
  • the user wears special glasses (including two lenses, for example), and two two-dimensional images are simultaneously projected from the projection device 141, and the special glasses cause misalignment. Therefore, it may be perceived in three dimensions (passive method).
  • the user may wear special glasses (for example, including one lens) and alternately project different images on the left and right from the projection device 141 at high speed to perceive the range of motion in three dimensions (frame). Sequential method).
  • the range of motion may be perceived in three dimensions by a method other than those described here.
  • the tip 111 can move within the range of motion.
  • the range of motion can be arbitrarily defined according to the configuration of the tip portion 111.
  • the range of motion may be a region that can be imaged by the image pickup device (a region in which an image can be acquired).
  • the range of motion may be a region where the surgical tool can be moved or a region where the surgical tool can be appropriately acted on an operation target (operative part or the like).
  • FIG. 5A is a plan view showing an example in which the range of motion of the tip portion 111 is projected by a projection device 141 using a two-dimensional image. It is assumed that the patient 502 is laid down on the bed rest device 501 and is undergoing surgery by a user (operator) using the robot 101 as shown in FIG. 2 described above.
  • the two-dimensional projected image 512A includes the image 512B of the range of motion.
  • the image 512B and the projected image 512A are displayed in different modes, for example, and can be easily distinguished. For example, the image 512B and the projected image 512A are displayed in different colors or different patterns.
  • the sleeper device 501 is positioned and the patient 502 is positioned in the sleeper device 501 so that the operating portion of the patient is located in the range of motion. Further, since the range of motion is displayed as an image according to the surgical site, the user can check the range of motion of the tip portion 111 without looking away from the surgical site.
  • the range of motion to be displayed is, for example, the range of motion of the plane at the height of the patient 502 among the three-dimensional range of motion of the tip portion 111.
  • Information on the posture (height, tilt, etc.) of the sleeper device 501 and the thickness of the affected area of the patient (statistical values such as the average thickness) are stored in advance in the storage unit 225 of the information processing device.
  • the projection image generation unit 223 uses the information, the projection image generation unit 223 generates a projection image representing an image of the movable range of the height.
  • the information on the posture of the sleeper device 501 may be acquired by a method of measuring the distance to the marker installed in the sleeper device.
  • the posture information of the bed device 501 may be acquired by communicating with a communication device provided in the bed device to acquire at least one of the height and the inclination of the bed device.
  • FIG. 5B is a plan view showing another example in which an image is projected onto the range of motion of the tip portion 111 by the projection device 141.
  • An example is shown in which image 513B is projected onto the range of motion while the patient is not lying on the bed rest device 501.
  • the projected image 513A includes a range of motion image 513B.
  • the patient can be easily laid in an appropriate position by laying the patient on a bed rest so that, for example, the surgical site of the patient 502 is located in the displayed range of motion.
  • the range of motion is, for example, a plane range of motion at the height of the patient 502 or the height of the bed rest surface of the tip 111 in the actual three-dimensional range of motion.
  • the information for identifying the areas may be included in the image of the range of motion. For example, there is a region in which the tip portion 111 can be operated in a free posture and a region in which the tip portion 111 can be operated only in a specific posture.
  • the identification information of each area may be color information.
  • FIG. 6 shows an example in which the image 514 of the range of motion includes color information for each area.
  • the projected image 517 includes an image 514 of the range of motion.
  • Image 514 includes a plurality of regions 515 and 516.
  • the region 516 is, for example, a region in which the tip portion 111 can be operated on the affected portion in a free posture.
  • the region 515 is a region in which the tip portion 111 can be operated on the affected portion only in a specific posture (for example, only in a direction perpendicular to the floor surface).
  • FIG. 7 is a flowchart of an example of the operation of the information processing system 210 according to the present embodiment. This operation is started, for example, when a projection instruction of a movable area is input from the user via the input device 401, or when the height of the arm 121 is changed after the projection to the movable area is performed. Will be done. This operation may be disclosed at other timings.
  • the joint angle acquisition unit 221 acquires information on the joint angles (rotation angles) of the joints 123A to 123D from the encoders provided on the joints 123A to 123D (S101). Alternatively, the joint angle acquisition unit 221 acquires the joint angle information of the joints 123A to 123D stored in advance in the storage unit 225.
  • the position / posture calculation unit 222 calculates the position and posture of the projection device 141 based on the joint angles (arm postures) of the joints 123A to 123D (S102). Specifically, the position and posture of the projection device 141 are calculated by forward kinematics based on the joint angles of the joints existing from the base 131 to the installation location of the projection device 141.
  • the projection image generation unit 223 acquires information representing the range of motion of the target portion (here, the tip portion 111, etc.) of the robot 101 with respect to the base 131 from the storage unit 225 (S103).
  • the projection image generation unit 223 projects information for specifying the range of motion of the tip portion 111 onto the range of motion based on the information on the range of motion of the tip portion 111 with respect to the base 131 and the position and orientation of the projection device 141. Is generated (S104).
  • the output instruction unit 224 outputs the projection instruction of the generated projected image to the projection device 141.
  • the projection device 141 projects a projected image from the output instruction unit 224 according to the projection instruction (S105). As a result, an image specifying the range of motion is displayed in the range of motion of the tip portion 111.
  • step S103 may be executed before step S101 or S102. Further, step S103 may be executed in parallel with steps S101 and S102.
  • the image can be displayed in the range of motion by following this and recalculating the posture of the arm and the position and posture of the projection device 141. ..
  • FIG. 8 shows an example in which an image is projected on the range of motion even when the posture of the arm is changed.
  • the image 562 of the range of motion is shown in the projected image 561 at the position (x1, y1) of the two-dimensional coordinate system (XY coordinate system).
  • the overall orientation or shape of the projected image 564 changes from that of FIG. 8 (A), but the image 562 of the range of motion. Is displayed at the same position (x1, y1) and in the same orientation. This is because the range of motion is fixed with respect to the base 131. In this way, information on the range of motion of the arm can be projected onto the target regardless of the posture of the arm.
  • the relative position and the relative posture of the projection device 141 with respect to the link 122D are the same.
  • the image may be projected onto the range of motion by changing the relative position or posture of the projection device 141 with respect to the arm.
  • the projection image generation unit 223 may control the position and orientation of the projection device 141 with respect to such an arm.
  • a projected image that projects information for specifying the range of motion onto the range of motion based on the information related to the range of motion of the target portion of the robot and the posture of the arm calculated from the joint angle of the robot. Is generated and the projected image is projected from the projection device.
  • the user can intuitively understand the range of motion, so that the robot or arm can be easily and appropriately adjusted to the appropriate position in the operating room according to the surgical information and the surgical situation held by the doctor. , Can be placed quickly.
  • the installability of the robot and the reliability of the installation position are improved.
  • FIG. 9 is a block diagram of the information processing system according to the first modification.
  • the blocks having the same name as the information processing system of the above-described embodiment are designated by the same reference numerals, and the description thereof will be omitted as appropriate except for the extended or modified processing.
  • the information processing system 210 of FIG. 9 further includes at least one imaging device 142.
  • the image pickup device 142 is provided at an arbitrary position (site) on the arm 121 of the robot 101.
  • the imaging device 142 is provided at the tip 111, any joint, or any link.
  • the image pickup device 142 includes a lens unit and an image pickup device in the subsequent stage of the lens unit, and the observation light that has passed through the lens unit is focused on the light receiving surface of the image pickup device, and an image signal is generated by photoelectric conversion.
  • the image sensor is, for example, a CMOS (Complementary Metal Oxide Semiconductor) type image sensor. Parameters such as the magnification and focus of the imaging device can be adjusted by the control device 201.
  • CMOS Complementary Metal Oxide Semiconductor
  • the surface shape of the observation target (for example, the observation site of the subject) is calculated using the imaging device 142 and the projection device 141.
  • a two-dimensional image of a predetermined pattern is projected from the projection device 141 onto the observation target according to the projection instruction from the output instruction unit 224.
  • the output instruction unit 224 outputs an imaging instruction to the imaging device 142 so that the projected two-dimensional image is captured by the imaging device 142.
  • the number of image pickup devices 142 may be one or two or more.
  • the image pickup apparatus 142 captures a projected image of a predetermined pattern, and stores the captured image data in the storage unit 225.
  • the shape calculation unit 226 identifies the correspondence between the projected image pattern and the pattern included in the captured image, and calculates the surface shape of the observation target based on the identified correspondence and the principle of triangular surveying. .. That is, the depth at each position on the surface of the observation target is calculated.
  • the projection device 141 and the image pickup device 142 may be calibrated in advance to acquire the parameter information of each, and the parameter information may be used for the calculation of the surface shape.
  • the projected image generation unit 223 calculates the range of motion of the surface along the surface shape of the observation target in the three-dimensional range of motion of the target portion (here, the tip portion 111) of the robot 101. A projected image that projects the calculated information for specifying the range of motion onto the range of motion is generated.
  • the output instruction unit 224 outputs the projection instruction of the projected image to the projection device 141. As a result, the range of motion on the surface of the observation target can be displayed correctly. For example, when the surface of the observation target has irregularities, there may be a position or region where the surgical portion can be operated from the tip portion 111 and a position or region where the surgical portion cannot be operated, depending on the position of the surface.
  • the image is not projected to the position or area that cannot be operated correctly, and the image is projected only to the position or area that can be operated.
  • an image of the range of motion of a plane at a certain height in the three-dimensional range of motion is projected. Therefore, when an image is projected onto an observable object having irregularities, the image can be projected even at a position where the tip portion 111 cannot actually be operated (for example, a position where the tip portion 111 is recessed and the tip portion 111 cannot reach).
  • the range of motion can be displayed more accurately by generating a projected image based on the measured value of the surface shape of the observation target.
  • the projected image generation unit 223 calculated the range of motion on the surface of the observation target, but the range of motion at a height below or above the surface of the observation target by a certain distance (the range of motion parallel to the shape of the surface of the observation target). ) May be calculated. For example, by displaying the range of motion at a height below a certain distance from the surface, the user (operator) can predict the range of motion below a certain distance from the surface in advance, so that surgery can be performed more appropriately. .. Further, by displaying the range of motion at a height above a certain distance, for example, it is possible to appropriately grasp the region where the tip portion 111 can be moved without contacting the observation target.
  • the surface shape of the observation target is calculated using the imaging device 142 and the projection device 141, but the surface shape may be calculated using a depth sensor such as a distance measuring sensor.
  • the surgical site of the patient is mainly assumed as the observation target, but the bed rest surface of the patient of the bed rest device or the floor surface on which the bed rest device is installed at the time of surgery may be the measurement target.
  • FIG. 10 is a flowchart of an example of the operation of the information processing system according to this modified example. Steps S101 and S102 are the same as the flowchart of FIG. 7 of the first embodiment described above.
  • step S102 an image of a predetermined pattern is projected from the projection device 141 onto the observation target according to the instruction of the output instruction unit 224 (S201).
  • the image pickup device 142 captures the image projected from the projection device 141 (S202).
  • the surface shape of the observation target is calculated using the principle of triangulation based on the specified correspondence and the parameter information of the imaging device 142 and the projection device 141 acquired in advance by calibration (S203).
  • the projection image generation unit 223 acquires information on the range of motion of the tip portion 111 from the storage unit 225 (S103). Based on the information on the range of motion of the tip 111 and the surface shape of the observation target, the range of motion of the tip 111 on the surface of the observation target is specified, and the information that identifies the specified range of motion is projected onto the range of motion. Is generated (S104).
  • the output instruction unit 224 outputs an instruction to project the projected image to the projection device 141 (S104).
  • the projection device 141 projects a projected image according to the instruction (S105).
  • steps S201 to S203 may be executed in parallel with steps S101 and S102. Further, steps S201 to S203 may be executed before steps S101 and S102.
  • the image projected on the observation target may include information that identifies the distance (depth) at which the tip portion 111 can move in the depth direction from the surface of the projection target (observation target).
  • the distance that can be moved from the surface in the depth direction is calculated by the shape calculation unit 226 based on the range of motion of the tip portion 111 and the surface shape of the observation target.
  • FIG. 11 includes information for identifying the distance that the tip portion 111 can move in the depth direction (the direction perpendicular to the back along the paper surface) in the image 524 of the range of motion.
  • the projected image 527 includes an image 524 of the range of motion. Each position in the image 524 is colored according to the size of the movable distance.
  • the region 521 is a region in which the tip portion 111 can move from the surface of the region 521 to the depth of the distance D1 and is colored with a first color (for example, red).
  • the region 522 is a region in which the tip portion 111 can move from the surface of the region 521 to the depth of the distance D2 deeper than the distance D1, and is colored with a second color (for example, yellow).
  • the region 523 is a region in which the tip portion 111 can move from the surface of the region 523 to the depth of the distance D3 deeper than the distance D2, and is colored with a third color (for example, blue). By looking at each area identified by the color, the user can determine in advance how deep the robot tip 111 can operate.
  • a third color for example, blue
  • an image including a reference mark is acquired in advance.
  • an image of the affected area including the affected area (for example, a tumor) of the patient is acquired by CT (Computed Tomography), MRI (Magnetic Resonance Imaging), or the like.
  • the affected area image may be a two-dimensional image or a three-dimensional image.
  • the image of the affected area and the range of motion are aligned so that the affected area in the image of the affected area is included in the range of motion. By this alignment, the position of the affected part image associated with the range of motion of the robot with respect to the base 131 is determined.
  • the alignment of the affected area image and the range of motion information may be performed manually by the user, or may be performed by the projection image generation unit 223 or another computer.
  • the projection image generation unit 223 performs positioning
  • the data of the affected area image is stored in the storage unit 225.
  • the affected portion may be detected by image analysis on the image of the affected portion, and the information of the range of motion may be aligned with the detected affected portion.
  • Image analysis may be performed using a model such as a neural network generated by machine learning, or may be performed using image clustering or the like. Other methods may be used.
  • the range of motion information is combined with the affected area image, and the combined information (composite image) is generated by combining the range of motion information with the affected area image.
  • a projected image of the composite information is generated so that the range of motion information included in the composite information is displayed in the range of motion.
  • the projected image is projected from the projection device 141.
  • FIG. 12 shows an example in which the range of motion information 532 is aligned with the affected part in the affected part image 531.
  • a projected image is generated by projecting a composite image in which the information 532 is aligned with the affected part image 531 so that the information 532 of the range of motion is displayed in the range of motion.
  • the projected image is projected from the projection device 141.
  • FIG. 13 shows an example in which an image is projected from the projection device 141 onto the floor surface of the operating room.
  • the image was projected on the floor surface, but the image may be projected on the sleeper device.
  • the patient is laid down on the bed rest so that the affected portion of the patient is located in the range of motion in the image projected on the sleeper. This makes it possible to easily position the patient in the sleeper device.
  • the range of motion information was aligned with the affected area of the patient as a reference mark, but in addition to the affected area of the patient, any mark on the bed surface, any part of the patient (head, waist), humanoid shape, etc. good.
  • FIG. 14 is a flowchart of an example of the operation of the information processing system according to this modified example.
  • the projection image generation unit 223 aligns the affected area image with the information on the range of motion.
  • Steps S101 to S103 are the same as the flowchart of FIG. 7 of the first embodiment described above.
  • the projection image generation unit 223 reads the affected area image from the storage unit 225 (S301), and generates a composite image in which the information of the range of motion acquired in step S103 is aligned with the affected area in the affected area image (S302). .. Based on the position and orientation of the projection device 141, a projection image for projecting the composite image is generated so that the information on the range of motion in the composite image is displayed in the range of motion.
  • the output instruction unit 224 outputs an instruction to project the projected image to the projection device 141 (S104).
  • the image pickup apparatus 142 projects the projected image according to the instruction of the output instruction unit 224.
  • steps S103, S301, and S302 may be executed in parallel with steps S101 and S102. Further, steps S103, S301 and S302 may be executed before steps S101 and S102.
  • FIG. 15 is a diagram schematically showing an example of a surgical system 600 provided with an information processing system according to a third modification.
  • the surgical system 100 includes a plurality of robots 101A and 101B, a control device 201, a display device 301, and an input device 401.
  • the robots 101A and 101B have the same configuration as the robot 101 of FIG. 1, and the codes of the components of each robot are the same as those of FIG. 1 with different alphabets (A, B) added to the end. Is used. Although two robots are shown in FIG. 15, the number of robots may be three or more. In this modified example, it is assumed that a patient is operated on by using a plurality of robots at the same time.
  • FIG. 16 is a block diagram of an information processing system according to this modified example.
  • the information processing system 210 of FIG. 16 generates a projected image that projects information for specifying an integrated region that integrates the movable ranges of the tip portions 111A and 111B onto the integrated region, and projects the generated projected image.
  • the information processing device 211 includes an input device 401, image pickup devices 142A and 142B, and projection devices 141A and 141B.
  • the information processing device 211 includes blocks 221 to 225, which are the same as those in FIG. 9 described above, and a positional relationship calculation unit 227.
  • An image of a predetermined pattern is projected from the projection device 141A or 142B according to a projection instruction from the output instruction unit 224.
  • the projection target is, for example, a floor surface or a sleeper surface.
  • the output instruction unit 224 outputs an imaging instruction to the imaging devices 142A and 142B so that the projected calibration image is captured by the imaging devices 142A and 142B.
  • the image pickup devices 142A and 142B capture both the calibration images projected from the two projection devices in the posture, and store the captured image data in the storage unit 225, respectively.
  • the positional relationship calculation unit 227 calculates the positional relationship (positional relationship of the arms) of the two robots 101A and 101B based on the image data captured by the image pickup devices 142A and 142B. For example, the position of the pattern projected by the principle of triangulation is determined from the relationship between the projection pattern by the projection device 141A and the projection pattern captured by the projection device 142A. By imaging this with the image pickup device 142A and the image pickup device 142B, the positional relationship between the image pickup devices can be obtained, so that the positional relationship between the robot bases can be obtained.
  • a model for example, a neural network
  • inputs two image data and outputs the positional relationship between the two robots may be learned in advance, and the positional relationship may be calculated using the model.
  • the projection image generation unit 223 is based on the information regarding the range of motion of the tip portions 111A and 111B, the positions and orientations of the projection devices 141A and 141B, and the positional relationship calculated by the positional relationship calculation unit 227. Calculate the integrated area that integrates the range of motion. Generate a projected image that projects the calculated information that identifies the integrated area onto the integrated area. The output instruction unit outputs the projection instruction of the generated projected image to the projection device 141A or 141B.
  • the projection image generation unit 223 may specify a region in which interference is likely to occur between the two tip portions 111 in the integrated region based on the above positional relationship, and may include information for identifying the specified region in the image. Specifically, a region where interference is likely to occur between the tip portions 111 (first region), a region where the two tip portions 111 are movable at the same time and interference is unlikely to occur (second region), and each tip portion 111.
  • the image may include information that identifies a region (third region) in which only is movable and identifies these three regions.
  • a region having a certain width from the center of the intersection region of the two regions is referred to as a first region
  • a region other than the first region among the intersecting regions is referred to as a second region
  • a region other than the first region is referred to as a third region.
  • FIG. 17 shows an example of projecting an image of the integrated area.
  • a region 543 third region in which only the tip portions 111A and 111B are movable
  • a region 542 second region in which the tip portions 111A and 111B are movable at the same time and interference is unlikely to occur
  • the tip portions 111A and 111B A region 541 (first region) where interference is likely to occur between them is included. Interference means, for example, collision between tips or the inability to operate on the same object at the same time. Regions 541 to 543 may be displayed in different colors or pattern patterns.
  • the user may check the integrated area directly or on the display device 301 and readjust the arrangement between the robots or between the arms. Thereby, the size of each region can be adjusted, for example, by increasing the size of the region 542.
  • FIG. 18 is a flowchart of an example of the operation of the information processing system 210 according to this modified example.
  • the joint angle acquisition unit 221 acquires information on the joint angle (rotation angle) of each joint from the encoders provided on each joint of the robots 101A and 101B (S101).
  • the position / posture calculation unit 222 calculates the positions and postures of the projection devices 141A and 141B based on the joint angles of the joints of the robots 101A and 101B (S102). In addition to the positions and orientations of the projection devices 141A and 141B, the positions and orientations of the imaging devices 142A and 142B may be calculated.
  • the projection image generation unit 223 acquires information representing the range of motion of the target portions (tip portion 111, etc.) of the robots 101A and 101B with respect to the bases 131A and 131B from the storage unit 225 (S103).
  • the projection image generation unit 223 generates projection images representing calibration images for the robots 101A and 101B, respectively (S401).
  • the output instruction unit 224 outputs a projection instruction of the calibration image represented by the projected image to the projection devices 141A and 141B of the robots 101A and 101B (S401).
  • the output instruction unit 224 outputs an image pickup instruction to the image pickup devices 142A and 142B of the robots 101A and 101B (S402).
  • the image pickup devices 142A and 142B take an image and provide the captured image data to the information processing device 211 (S402).
  • the information processing device 211 stores each calibration image data in the storage unit 225 (S402).
  • Each calibration image data includes a calibration image projected from both the projection devices 141A and 141B.
  • the positional relationship calculation unit 227 calculates the positional relationship (positional relationship of the arms) of the two robots based on the calibration image data captured by the image pickup devices 142A and 142B (S403).
  • the projection image generation unit 223 is based on the information regarding the range of motion of the tip portions 111A and 111B, the positions and orientations of the projection devices 141A and 141B, and the positional relationship calculated by the positional relationship calculation unit 227.
  • the integrated area in which the range of motion is integrated is calculated (S104).
  • the integrated region includes a region in which only the tip portions 111A and 111B are movable (first region), a region in which the tip portions 111A and 111B are movable at the same time and interference is unlikely to occur (second region). It includes a region (third region) where interference is likely to occur between the tip portions 111A and 111B.
  • the projection image generation unit 223 generates a projection image that projects information for specifying the integrated region onto the integrated region (S104).
  • the output instruction unit 224 outputs the projection instruction of the projected image to the projection device 141A or 141B (S: 104).
  • the projection device 141A or 141B projects a projected image from the output instruction unit 224 according to the projection instruction (S105).
  • the positional relationship between the robots was calculated using the imaging devices 142A and 142B and the projection devices 141A and 141B, but when each robot has a position detection function, the information processing device 211 communicates with each robot. , The position information of each robot may be acquired. The positional relationship calculation unit 227 calculates the positional relationship between the robots based on the position information of each robot.
  • the present disclosure may also have the following structure.
  • the information that identifies the movable range is projected onto the movable range.
  • a projected image generator that generates a projected image
  • An information processing device including an output instruction unit that outputs a projection instruction of the projected image to the projection device.
  • the range of motion of the target portion includes a region in which the tip of the medical arm can be moved or a region in which an imaging device provided at an arbitrary portion of the medical arm can image. Device.
  • the projection device is provided on the medical arm, and the projection device is provided on the medical arm.
  • the information processing device according to item 1 or 2 further comprising a position / orientation calculation unit that calculates the position and orientation of the projection device based on the posture of the medical arm.
  • the projected image generation unit generates the projected image based on at least one of a position and a posture of a target on which the projected image is projected.
  • the object on which the projected image is projected is the bed rest surface of the bed rest device on which the subject to be treated for medical treatment is laid down, the observation site of the subject laid down on the bed rest device, or the floor on which the bed rest device is installed.
  • the information processing apparatus which is a surface.
  • a shape calculation unit for calculating the surface shape of the object on which the projected image is projected is provided.
  • the information processing device according to item 4, wherein the projected image generation unit generates the projected image based on the surface shape.
  • the range of motion is a range of motion on the surface of an object on which the projected image is projected.
  • the range of motion is a range of motion at a height below or above a certain distance from the surface of the object.
  • Item 9 Item 8.
  • the information processing apparatus wherein the range of motion having a height above a certain distance is a region in which the target portion can move without contacting the target.
  • the information processing apparatus according to item 6, wherein the projected image includes information for identifying a movable distance in the depth direction of an object on which the projected image is projected.
  • the projection device is a three-dimensional projection device.
  • the information processing apparatus according to any one of items 1 to 10, wherein the projected image is a three-dimensional image.
  • the projected image generation unit generates composite information obtained by aligning the information of the range of motion with the reference mark of the image including the reference mark, and generates the projected image on which the composite information is projected.
  • the information processing apparatus according to any one of 11.
  • the information processing apparatus according to item 12, wherein the reference mark is the affected part in an image including the affected part of the subject.
  • the projected image generation unit integrates the movable areas of the target parts of the plurality of medical arms based on the plurality of first information regarding the movable areas of the target parts of the plurality of medical arms and the second information.
  • the information processing apparatus according to any one of items 1 to 13, which calculates the integrated region and projects the information specifying the integrated region onto the integrated region to generate the projected image.
  • the integrated region includes a first region in which the plurality of medical arms interfere with each other.
  • the information processing device according to item 14, wherein the projected image includes information for identifying the first region.
  • the information processing apparatus according to item 15, wherein the second region, which is different from the first region, and the first region, which are different in color from the integrated region, are different in color.
  • the projected image generation unit generates the projected image based on the positional relationship of the plurality of medical arms.
  • the projection device is installed on a plurality of the medical arms. A calibration image including a predetermined pattern is projected from the projection device of the plurality of medical arms. Image data obtained by capturing the projected plurality of calibration images is acquired from a plurality of imaging devices, and the positional relationship of the plurality of medical arms is determined based on the plurality of predetermined patterns included in each of the acquired image data.
  • the information processing apparatus further comprising a positional relationship calculation unit for calculation.
  • a projection device that projects images in the operating room A projection that generates a projection image that projects information that identifies the range of motion onto the range of motion based on the first information about the range of motion of the target portion of the medical arm and the second information about the position and orientation of the projection device.
  • Image generator and An information processing system including an output instruction unit that outputs a projection instruction of the projected image to the projection device.
  • the projected image that projects the information that identifies the range of motion onto the range of motion is displayed. Generate and An information processing method for projecting the projected image with a projection device.
  • Surgical system 101: Robot
  • 201 Control device
  • 301 Display device
  • 401 Input device
  • 111 Tip
  • 121 Arm
  • 131 Base
  • 122A to 122E Link
  • 501 Sleeper device
  • 502 Patient
  • 210 Information processing system
  • 211 Information processing device
  • 141 Projection device
  • 401 Input device
  • 221 Joint angle acquisition unit
  • 222 Position / orientation calculation unit
  • 223 Projection image generation unit
  • 224 Output instruction unit
  • 225 Storage unit
  • 226 Shape calculation unit
  • 227 Positional relationship calculation unit

Abstract

ロボットの配置を容易に行うことを支援するために、情報処理装置が、医療用アームの対象部位の可動域に関する第１情報と、手術室内で画像を投影する投影装置の位置及び姿勢に関する第２情報とに基づき、前記可動域を特定する情報を前記可動域に投影する投影画像を生成する投影画像生成部と、前記投影画像の投影指示を前記投影装置に出力する出力指示部とを備える。

Description

情報処理装置、情報処理システム及び情報処理方法
　本開示は、情報処理装置、情報処理システム及び情報処理方法に関する。
　手術ロボットのような手術支援装置を用いる手術において、手術ロボットをどこに配置するべきかという手術室レイアウトの問題がある。手術室レイアウトの決定は面倒で時間がかかる。この理由の１つとして、術式や患者の体型が異なったり、病院により手術室の大きさや所有する機械が異なったりすることがある。すなわち、手術環境の再現性の無さがある。また、別の理由として、他の複数の機器の配置の必要性から、自由にレイアウトが行えないという制約もある。
　ロボットの配置をサポートする技術がいくつか提案されている。しかしながら、ロボットの配置を自動的に算出するためには人や他の機械の位置、大きさ、配置制約などの手術室環境を正確に把握する必要がある。人や他の機械の適切な配置は術式によっても異なるため、実際には医師や看護師など医療スタッフの知識や判断を取り入れて、手術室レイアウトを決定する必要がある。
　現在、手術ロボットとして、術者コンソール（マスター装置）と術具やカメラ（内視鏡、顕微鏡等）を支持するロボットアームカート（スレーブ装置）を有するシステムが普及している。しかしながら、看護師などの設置者が手術ロボットシステム（特にロボットアームカート）の全体的な可動域を理解していないと、適切に配置してその可動域を有効に使うことができない。また、実際に医師が直接ロボットアームカートを配置する場合でも、可動域を理解した上で配置する必要がある。また、可動域を考慮した上で配置することが重要であるという点で、上記のような手術ロボットに限らず、例えば内視鏡を保持する多関節アームロボットのような手術支援装置でも同様の課題がある。
　下記特許文献１は、ロボットの位置を自動で算出する技術であるが、患者や術式、周りの環境を正確にシステムに入力もしくは、認識する必要がある。下記特許文献２は、手術室でのロボットの配置をサポートするシステムであるが、機器のトラッキングが必要であり、ロボットの可動域が示されないためマニュアルでの微調整は難しい。
特表2019-508134号公報 特開2018-149321号公報
　本開示は、ロボットの配置を容易に行うことを支援する情報処理装置、情報処理システム及び情報処理方法を提供する。
　本開示の情報処理装置は、
　医療用アームの対象部位の可動域に関する第１情報と、手術室内で画像を投影する投影装置の位置及び姿勢に関する第２情報とに基づき、前記可動域を特定する情報を前記可動域に投影する投影画像を生成する投影画像生成部と、
　前記投影画像の投影指示を前記投影装置に出力する出力指示部と
　を備える。
　本開示の情報処理システムは、
　手術室内で画像を投影する投影装置と、
　医療用アームの対象部位の可動域に関する第１情報と、前記投影装置の位置及び姿勢に関する第２情報とに基づき、前記可動域を特定する情報を前記可動域に投影する投影画像を生成する投影画像生成部と、
　前記投影画像の投影指示を前記投影装置に出力する出力指示部と
　を備える。
　本開示の情報処理方法は、
　医療用アームの対象部位の可動域に関する第１情報と、手術室内で画像を投影する投影装置の位置及び姿勢に関する第２情報とに基づき、前記可動域を特定する情報を前記可動域に投影する投影画像を生成し、
　投影装置により前記投影画像を投影する。
本開示に係る情報処理システムを備えた手術システムの一例を概略的に示す図。 図１に示す手術システムを用いた手術の様子を示す図。 本実施形態に係る情報処理システムのブロック図。 投影装置により先端部の可動域に画像を投影した例を示す図。 投影装置により先端部の可動域に画像を投影した他の例を示す平面図。 可動域の画像に領域別に色を付けた例を示す図。 本実施形態に係る情報処理システムの動作の一例のフローチャート。 アームの姿勢を変えた場合の投影画像の例を示す図。 第１変形例に係る情報処理システムのブロック図。 第１変形例に係る情報処理システムの動作の一例のフローチャート。 可動域の画像に深さ方向の情報を含めた例を示す図。 患部画像における患部に可動域を特定する情報を位置合わせした例を示す図。 投影装置から手術室の床面に合成情報を投影した例を示す図。 第２変形例に係る情報処理システムの動作の一例のフローチャート。 第３変形例に係る情報処理システムを備えた手術システムの一例を概略的に示す図。 第３変形例に係る情報処理システムのブロック図。 統合領域に画像を投影した例を示す図。 第３変形例に係る情報処理システムの動作の一例のフローチャート。
　以下、図面を参照して、本開示の実施形態について説明する。本開示において示される１以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなす。
　図１は、本開示に係る情報処理システムを備えた手術システム１００の一例を概略的に示す図である。手術システム１００は、手術ロボット（以下、ロボット）１０１と、制御装置２０１と、表示装置３０１と、入力装置４０１とを備えている。なお、以下の説明において、「ユーザ」は、術者及び助手等、手術システム１００を使用する任意の医療スタッフのことを意味する。
　ロボット１０１は、操作対象に対する操作を行う先端部１１１と、先端部１１１を先端で支持する医療用アーム（ロボットアーム、多関節アーム）１２１と、アーム１２１の基端を支持するベース１３１と、を有する。先端部１１１は、医療用アームにおいて可動可能な対象部位の一例である。
　先端部１１１は、例えば、観察対象を拡大観察するための顕微鏡部、観察対象を撮像する撮像装置（カメラ等）、投影装置（プロジェクタ）、内視鏡、鉗子、攝子、気腹のための気腹チューブ、又は焼灼によって組織の切開や血管の封止を行うエネルギー処置具、等である。手術システム１００は、例えばアームを複数備え、各アームが異なる先端部１１１を有する構成としてもよい。例えば、撮像装置を保持するアーム、鉗子や攝子を保持するアーム、エネルギー処置具を有するアーム等のように構成してもよい。観察対象は、例えば被検体の観察部位であり、具体的には患者の術部等である。先端部１１１は、ここに列挙したアイテムのうちの複数を含んでいてもよい。先端部１１１でアイテムを支持することにより、医療スタッフが人手で支持する場合に比べて、より安定的にアイテムの位置を固定することが可能となるとともに、医療スタッフの負担を軽減することが可能となる。
　アーム１２１はベース１３１から延伸するようにアーム１２１の一端がベース１３１に取り付けられている。ベース１３１は下部に取り付けられた車輪によって床面をユーザによって移動可能としてもよい。ユーザが図示しないブレーキを操作することでロボットの位置を固定できるようになっている。アーム１２１の高さをベース１３１に対して調整可能であってもよい。
　アーム１２１は、複数のリンク１２２Ａ、１２２Ｂ、１２２Ｃ、１２２Ｄ、１２２Ｅと、リンク１２２Ａ～１２２Ｅ間を結合する複数の関節１２３Ａ～１２３Ｄとを備えている。複数のリンク１２２Ａ～１２２Ｅは、複数の関節１２３Ａ～１２３Ｄによって互いに回動可能である。リンク１２２Ｅの先端には先端部１１１が結合されている。アーム１２１によって先端部１１１が支持されることで、先端部１１１の位置及び姿勢が制御され、安定的に固定される。
　図では、簡単のため、アーム１２１の構成を簡略化して図示している。実際には、アーム１２１が所望の自由度を有するように、関節１２３Ａ～１２３Ｄ及びリンク１２２Ａ～１２２Ｅの形状、数及び配置、並びに関節１２３Ａ～１２３Ｄの回転軸の方向、回転または直動の駆動機構等が適宜設定され得る。例えば、アーム１２１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム１２１の可動範囲内において先端部１１１を自由に移動させることが可能になる。
　リンク１２２Ｄには、画像を投影する投影装置（プロジェクタ）１４１が設けられている。投影装置１４１は制御装置２０１から提供される投影画像に基づいて画像を投影する。投影装置１４１の投影方向が所望の自由度で回転できるように投影装置１４１がリンク１２２Ｄに結合されていてもよい。あるいは、投影装置１４１が特定の方向にのみ投影するように、投影装置１４１がリンク１２２Ｄに固定されていてもよい。投影装置１４１が所望の自由度で回転可能な場合、リンク１２２Ｄに対する投影装置１４１の姿勢は制御装置２０１により制御可能でもよい。投影装置１４１の焦点距離、ズーム倍率等のパラメータも制御装置２０１によって制御可能である。投影装置１４１がリンク１２２Ｄに沿って移動可能であってもよい。この場合、リンク１２２Ｄにおける投影装置１４１の位置は制御装置２０１によって制御可能でもよいし、ユーザが手動で投影装置１４１の位置を調整可能でもよい。投影装置１４１が画像を投影する対象（投影対象）は、例えば、寝台装置上の患者の部位（例えば術部）、寝台装置が設置される床面（寝台装置が設置される予定の床面）、寝台装置（患者ベッド、手術台等）における患者の臥床面などである。投影装置１４１は、リンク１２２Ｄ以外のリンクに設けられていてもよいし、先端部１１１に含まれていてもよい。また投影装置１４１が任意の関節に設けられていてもよい。また投影装置１４１が手術室の壁又は天井など、ロボット以外の箇所に設けられていてもよい。
　アーム１２１は、制御装置２０１からの制御により駆動される。関節１２３Ａ～１２３Ｄには、モータ等の駆動機構、及び関節１２３Ａ～１２３Ｄにおける回転角度を検出するエンコーダ等を含むアクチュエータが設けられている。関節１２３Ａ～１２３Ｄは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。そして、各アクチュエータの駆動が制御装置２０１によって制御されることにより、アーム１２１の姿勢、すなわち先端部１１１の位置及び姿勢が制御される。制御装置２０１は、エンコーダによって検出された関節１２３Ａ～１２３Ｄの回転角度についての情報に基づいて、アーム１２１の現在の姿勢、並びに先端部１１１の現在の位置及び姿勢を把握することができる。ベース１３１にマーカー等を用いた位置検出機能が搭載されていてもよい。この場合、制御装置２０１は位置検出機能からベース１３１の位置の情報を取得してもよい。
　制御装置２０１は、把握したアーム１２１の位置及び姿勢に関する情報を用いて、ユーザからの操作入力に応じて先端部１１１の移動を実現するような関節１２３Ａ～１２３Ｄに対する制御値（例えば、回転角度又は発生トルク等）を算出する。そして、当該制御値に応じて関節１２３Ａ～１２３Ｄの駆動機構を駆動させる。制御装置２０１によるアーム１２１の制御方式は特定の方式に限定されず、力制御又は位置制御等、各種の公知の制御方式が適用されてよい。
　一例として、ユーザが、入力装置４０１を介して操作入力を行うことにより、制御装置２０１によってアーム１２１の駆動が制御され、先端部１１１の位置及び姿勢が制御されてよい。制御装置２０１は、操作入力に応じて、関節１２３Ａ～１２３Ｄに対する制御値（例えば、回転角度又は発生トルク等）を算出し、制御値に応じて関節１２３Ａ～１２３Ｄの駆動機構を駆動させる。先端部１１１を任意の位置まで移動させた後、先端部１１１は、移動後の位置で固定的に支持される。なお、アーム１２１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム１２１は、手術室内の場所または手術室から離れた場所に設置される入力装置４０１を介してユーザによって遠隔操作され得る。
　制御装置２０１は、ロボット１０１及び表示装置３０１の動作を制御することにより、手術システム１００の動作を統括的に制御する。例えば、制御装置２０１は、所定の制御方式に従って関節１２３Ａ～１２３Ｄのアクチュエータを動作させることにより、アーム１２１の駆動を制御する。また、例えば、制御装置２０１は、ロボット１０１の先端部１１１に含まれる撮像装置によって取得された画像信号に各種の信号処理を施すことにより、表示用の画像データを生成する。また制御装置２０１は、生成した画像データを表示装置３０１に表示させる。信号処理は、一例として、現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Ｎｏｉｓｅ　ｒｅｄｕｃｔｉｏｎ）処理及び／又は手ブレ補正処理等）及び／又は拡大処理（すなわち、電子ズーム処理）、3D画像生成処理等を含む。
　さらに本実施形態の制御装置２０１は、手術室内の３次元空間においてロボット１０１の対象部位（例えばアームの先端部等）の可動域（例えば３次元空間中で先端部が動くことが可能な範囲）を算出し、可動領域を特定する情報（画像）を当該可動域に投影する投影画像を生成する。制御装置２０１は、生成した投影画像の投影指示を投影装置１４１に出力する。投影装置１４１は、制御装置２０１から提供された投影画像を投影する。ユーザは、投影された画像を見ることで、ロボット１０１の対象部位の可動域を直感的に把握できる。制御装置２０１が投影画像を生成する構成及び投影装置が投影画像を投影する構成については後述する。対象部位は、先端部１１１以外にもアーム１２１の任意のリンク又は任意の関節など任意の部位でもよい。
　制御装置２０１と先端部１１１間の情報の送受信、及び制御装置２０１と関節１２３Ａ～１２３Ｄ間の情報の送受信、制御装置２０１と投影装置１４１間の情報の送受信は、有線通信又は無線通信によって行われる。有線通信の場合には、電気信号による通信でも、光信号による通信でもよい。有線通信に用いられる伝送用のケーブルとして、通信方式に応じて、電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルが用いられる。無線通信の方式は、無線ＬＡＮ、ブルートゥース、専用の通信方式、４Ｇ通信、５Ｇ通信など任意の方式でよい。無線通信の場合、伝送ケーブルを敷設する必要がなくなるため、伝送ケーブルによって医療スタッフの手術室内の移動が妨げられる事態が解消され得る。
　制御装置２０１は、ＣＰＵ（Central　Processing　Unit）、ＧＰＵ（Graphics　Processing　Ｕｎｉｔ）等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等であり得る。制御装置２０１のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、制御装置２０１は、ロボット１０１と別個の装置として設けられているが、制御装置２０１は、ロボット１０１のベース１３１の内部に設置され、ロボット１０１と一体的に構成されてもよい。あるいは、制御装置２０１は、複数の装置によって構成されてもよい。例えば、先端部１１１、アーム１２１の関節１２３Ａ～１２３Ｄにそれぞれマイコンや制御基板等が配設され、これらが互いに通信可能に接続されることにより、制御装置２０１と同様の機能が実現されてもよい。
　表示装置３０１は、一例として、手術室内に設けられ、制御装置２０１からの制御により、制御装置２０１によって生成された画像データに対応する画像を表示する。表示装置３０１は、例えば、液晶ディスプレイ装置又はＥＬ（Electro　Luminescence）ディスプレイ装置等の表示装置である。表示装置３０１には、先端部１１１、ロボット１０１のその他の部位又は手術室内などに設けられた撮像装置によって撮像された術部の画像、又は手術室内の環境又は設備の画像が表示される。表示装置３０１は、術部、環境、設備等の画像に代えて、又は当該画像とともに、例えば患者の身体情報又は手術の術式についての情報等、手術に関する各種の情報を表示してもよい。表示装置３０１は複数設けられてもよい。複数の撮像装置が設けられ、撮像装置ごとに得られた画像データがそれぞれ異なる表示装置に表示されてもよい。複数の撮像装置で撮像された画像データが同じ表示装置に同時に表示されてもよい。
　入力装置４０１は、ユーザが各種操作入力を行うための操作デバイスである。入力装置４０１は、一例としてフットスイッチや音声認識を行う装置等、ユーザが手に術具を有していても操作可能な装置である。または、入力装置４０１は、ウェアラブルデバイスや手術室内に設けられるカメラを用いたジェスチャ検出や視線検出に基づいて、非接触で操作入力が可能な装置でもよい。または、入力装置４０１が、タッチパネル、キーボード又はマウス、ハプティクスデバイス等、ユーザが手で操作する装置であってもよい。また、マスタースレーブ型の手術システムである場合、入力装置４０１はマスターコンソールに備えられ術者によって操作される入力装置である。
　図２は、図１に示す手術システム１００を用いた手術の様子を示す図である。図２では、図示しないユーザ（ここでは術者）が、手術システム１００を用いて、寝台装置５０１上の患者５０２に対して手術を行っている様子を概略的に示している。なお、図２では、簡単のため、手術システム１００の構成のうち制御装置の図示を省略するとともに、ロボット１０１を簡略化して図示している。
　図２に示すように、手術時には、手術システム１００を用いて、ロボット１０１によって撮像された術部の画像が、手術室内の表示装置３０１に拡大表示される。ユーザは、表示装置３０１に映し出された映像によって術部の様子を観察してもよい。ユーザは患者５０２の側で直接術具を手にして処置を行ってもよいし、マスタースレイブ方式で、入力装置４０１を介して先端部１１１を遠隔操作することで処置を行ってもよい。この場合、撮像装置が設けられるアームと、術具を保持するアームとが別々のアームであってもよい。また、投影装置１４１が、撮像装置が設けられたアーム、及び術具を保持するアームのうちの一方と同じアームに設けられてもよいし、これらのアームとは別の３番目のアームに設けられてもよい。少なくともいずれかのアームに投影装置１４１を設けることで、手術中に、投影装置１４１から先端部１１１の可動域に画像が投影され、ユーザが先端部１１１の可動域を確認しながら、手術を行ってもよい。可動域に画像が投影されている様子が表示装置３０１に表示されてもよい。この場合、ユーザは表示装置３０１を見ながら、可動域を確認できる。ユーザは、患者の側で手術を行っている場合又は遠隔で手術で行っている場合のいずれにおいても、先端部１１１の可動域を投影画像から直感的に把握できる。ユーザは、先端部１１１の可動域を確認しながら、例えば患部の切除等、各種の処置を行うことができる。ここでは術中に投影装置１４１から画像を投影する例を記載したが、術前の準備段階で画像を投影して、寝台装置の位置決め、又は、寝台装置の臥床面における被検体の位置決めなどを行うこともできる。これらの例についての詳細は後述する。
　図３は、本実施形態に係る情報処理システムのブロック図である。情報処理システム２１０は、図１の手術システム１００における制御装置２０１、投影装置１４１及び入力装置４０１を用いて構成される。
　情報処理システム２１０は、情報処理装置２１１、投影装置１４１及び入力装置４０１を備えている。情報処理装置２１１は、関節角取得部２２１、位置姿勢算出部２２２、投影画像生成部２２３、出力指示部２２４、及び記憶部２２５を備えている。関節角取得部２２１は、関節１２３Ａ～１２３Ｄに設けられたエンコーダから関節１２３Ａ～１２３Ｄの関節角（回転角）の情報を取得する。関節１２３Ａ～１２３Ｄの関節角の情報が制御装置２０１における記憶部２２５内に事前に記憶されていてもよい。この場合は、記憶部２２５から関節１２３Ａ～１２３Ｄの関節角の情報を取得してもよい。
　位置姿勢算出部２２２は、ベース１３１から、投影装置１４１が設けられた箇所までの間に存在するリンク間を結合する関節の関節角（アームの姿勢）に基づき、投影装置１４１の位置及び姿勢を計算する。本例ではリンク１２２Ｄに投影装置１４１が設置されているため、関節１２３Ａ～１２３Ｃの関節角に基づき、投影装置１４１の位置及び姿勢を計算する。投影装置１４１がリンク１２２Ｄに対して任意の自由度で相対的に回転可能な場合、投影装置１４１のリンク１２２Ｄに対する相対的な姿勢を特定し、アーム１２１の姿勢と当該相対的な姿勢に基づき、投影装置１４１の姿勢を算出する。投影装置１４１の姿勢は、例えば３軸空間における３つの角度変数で表すことができる。また投影装置１４１の位置は、３軸空間の座標で表すことができる。投影装置１４１の位置が移動可能な場合（例えばリンク１２２Ｄに沿って平行移動可能な場合）、リンク１２２Ｄにおける投影装置１４１の相対位置と、アームの姿勢とに基づき、投影装置１４１の位置を計算すればよい。
　投影画像生成部２２３は、ベース１３１（図１参照）に対するロボット１０１の対象部位の可動域を特定する。対象部位は、本実施形態では先端部１１１である。ベース１３１に対する先端部１１１の可動域は、ロボットの設計情報、事前にテストで行ったロボットの動作確認結果、又はシミュレーション等から事前に特定されてもよい。先端部１１１の可動域は、ベース１３１に対して固定された関係にある。ベース１３１に対する先端部１１１の可動域に関する情報は記憶部２２５に格納されている。投影画像生成部２２３は記憶部２２５から読み出すことによってベース１３１に対する先端部１１１の可動域に関する情報を取得する。対象部位が先端部１１１以外の部位である場合、当該部位について可動域の情報が記憶部２２５に格納されている。記憶部２２５は、メモリ、ハードディスク、ＳＳＤ又は光学記録媒体などデータを記憶する任意の記憶装置である。アーム１２１の高さがベース１３１に対して調整可能である場合、高さごとに先端部１１１の可動域に関する情報が記憶部２２５に格納されていてもよい。あるいは、高さに応じたオフセットを足すことで可動域を特定してもよい。
　投影画像生成部２２３は、ベース１３１に対する先端部１１１の可動域の情報と、投影装置１４１の位置及び姿勢とに基づき、先端部１１１の可動域を特定する情報（画像）を、当該可動域に投影する投影画像を生成する。つまり、投影装置１４１から投影画像を投影することで、先端部１１１の可動域に、当該可動域を識別可能な画像が表示される。投影画像の生成には、投影装置１４１の位置及び姿勢の他、投影装置１４１のパラメータ情報（焦点距離、ズーム倍率など）が用いられてもよい。
　可動領域の画像の投影対象は、例えば、寝台装置に臥床させられた患者の観察部位（例えば術部）、寝台装置における患者の臥床面、寝台装置が設置される床面（寝台装置が設置される予定の床面）である。
　患者の術部に可動領域の画像を投影する場合、ユーザ（術者）は手術の最中に先端部１１１の可動域を、視線を術部から外さずに把握できる。また寝台装置における患者の臥床面に可動域の画像を投影する場合、可動域に患者の術部が位置するように患者を寝台装置に臥床させることが容易である。また、床面に可動域の画像を表示する場合、患者が臥床させられた寝台装置の位置決め、もしくはロボット１０１又はアーム１２１の位置決めを容易に行うことができる。
　出力指示部２２４は、投影画像生成部２２３によって生成された投影画像の投影指示を投影装置１４１に出力する。投影装置１４１は、出力指示部２２４からの投影指示に従って、投影画像を投影する。情報処理装置２１１は、アーム１２１の姿勢（各関節の関節角）に応じて、リンク１２２Ｄに対する投影装置１４１の位置又は姿勢を予め定めた位置又は向きに制御してもよい。これによってアーム１２１の姿勢に拘わらず、投影装置１４１の投影可能範囲外に可動領域が位置することになった場合も、可動域に適切に投影することができる。
　投影装置１４１は、２次元画像を投影する２次元投影装置（２Ｄプロジェクタ）、又は３次元画像を投影する３次元投影装置（３Ｄプロジェクタ）である。投影画像生成部２２３は、投影装置１４１が２次元投影装置か３次元投影装置かに応じて各々方式に適合した投影画像を生成する。３次元投影装置の場合、投影装置１４１から３次元画像が投影されることで、先端部１１１の可動域が３次元空間に立体的に表示され、可動域を深さ方向まで直感的に認識できる。２次元投影画像の場合、投影装置１４１から２次元画像が投影される。一例として、２次元画像として、可動域における任意の高さの領域の画像が表示される。可動域のうちどの高さの可動域を表示するかを決定し、決定した高さの可動域を投影する投影画像を生成してもよい。
　図４は、投影装置１４１により先端部１１１の可動域を３次元画像により投影した例を示す。ユーザの位置または撮影装置の位置に基づいて生成された３次元の可動域を表す投影画像５１１により、可動域が３次元で知覚される。可動域を３次元で知覚させる方法として、専用のメガネ（例えば２つのレンズを含む）をユーザが装着し、投影装置１４１から２つの２次元画像を同時に投影し、専用のメガネによって視差を生じさせることで、３次元で知覚させてもよい（パッシブ方式）。あるいは、専用のメガネ（例えば１つのレンズを含む）をユーザが装着し、投影装置１４１から左右で異なる画像を高速に交互に投影することで、可動域を３次元で知覚させてもよい（フレームシーケンシャル方式）。ここに記載した以外の方法で可動域を３次元で知覚させてもよい。先端部１１１は可動域内で動くことが可能である。可動域は先端部１１１の構成に応じて任意に定義できる。例えば、先端部１１１が撮像装置を含む場合、可動域は撮像装置で撮像可能な領域（画像を取得できる領域）でもよい。先端部１１１が術具を含む場合、可動域は術具を移動させることが可能な領域、又は操作対象（術部等）に術具を適切に作用させることが可能な領域でもよい。
　図５（Ａ）は、投影装置１４１により先端部１１１の可動域を２次元画像により投影した例を示す平面図である。寝台装置５０１に患者５０２が臥床させられており、前述した図２に示すようにロボット１０１を用いてユーザ（術者）によって手術を受けている状況を想定する。２次元の投影画像５１２Ａに、可動域の画像５１２Ｂが含まれている。画像５１２Ｂと投影画像５１２Ａは例えば異なる態様で表示されており、容易に区別できる。例えば画像５１２Ｂと投影画像５１２Ａは異なる色又は異なるパターン模様で表示される。可動域に患者の術部が位置するように、寝台装置５０１の位置決め、及び寝台装置５０１における患者５０２の位置決めが行われている。また、術部に合わせて可動域が画像として表示されているため、ユーザは術部から視線を外すことなく、先端部１１１の可動域を確認することができる。
　表示する可動域は、一例として、先端部１１１の３次元の可動域のうち、患者５０２の高さにおける平面の可動域である。事前に寝台装置５０１の姿勢（高さ、傾き等）の情報、及び患者の患部の厚み（平均的な厚みなどの統計値でもよい）が情報処理装置の記憶部２２５に格納されており、この情報を用いて投影画像生成部２２３は、当該高さの可動域の画像を表す投影画像を生成する。寝台装置５０１が患者の臥床面が水平状態から斜めに傾くように駆動可能である場合、寝台装置５０１の傾きに沿った可動域の画像を表す投影画像を生成してもよい。記憶部２２５に寝台装置５０１の姿勢の情報が格納されていない場合、寝台装置に設置したマーカーに対する距離を計測する方法により、寝台装置５０１の姿勢の情報を取得してもよい。あるいは、寝台装置に設けた通信装置と通信して、寝台装置の高さ及び傾きの少なくとも一方を取得する方法により、寝台装置５０１の姿勢の情報を取得してもよい。
　図５（Ｂ）は、投影装置１４１により先端部１１１の可動域に画像を投影した他の例を示す平面図である。患者が寝台装置５０１に臥床していない状態で、可動域に画像５１３Ｂを投影した例を示す。投影画像５１３Ａに、可動域の画像５１３Ｂが含まれている。表示された可動域に、例えば患者５０２の術部が位置するように、患者を寝台装置に臥床させることで患者を適切な位置に容易に臥床させることができる。可動域は、一例として、先端部１１１の実際の３次元の可動域のうち、患者５０２の高さ又は寝台装置５０１の臥床面の高さにおける平面の可動域である。寝台装置５０１が患者の臥床面が水平状態から斜めに傾くように駆動可能である場合、寝台装置５０１の姿勢に沿った可動域の画像を生成して投影してもよい。
　可動域の画像に複数種類の領域が含まれる場合、領域を識別する情報を可動域の画像に含めてもよい。例えば自由な姿勢で先端部１１１を操作できる領域、及び特定の姿勢でのみ先端部１１１を操作できる領域がある。各領域の識別情報は色情報でもよい。
　図６は、可動域の画像５１４に領域別に色情報が含まれる例を示す。投影画像５１７に可動域の画像５１４が含まれている。画像５１４には複数の領域５１５、５１６が含まれる。領域５１６は一例として、自由な姿勢で患部に先端部１１１を操作することが可能な領域である。領域５１５は、特定の姿勢でのみ（例えば床面に垂直な方向のみ）から患部に先端部１１１を操作することが可能な領域である。ユーザは、色付きの領域を見ることで、医療用アームで操作のしやすい領域と、医療用アームでは操作が困難な領域を判断できる。困難な領域については医療用アームを用いず、自らの手で操作する、または医療用アームの再配置を行うなどを判断することが考えられる。
　図７は、本実施形態に係る情報処理システム２１０の動作の一例のフローチャートである。本動作は、一例として、入力装置４０１を介してユーザから可動領域の投影指示が入力された場合、又は可動領域への投影が行われた後にアーム１２１の高さが変更された場合などに開始される。その他のタイミングで本動作が開示されてもよい。
　関節角取得部２２１が、関節１２３Ａ～１２３Ｄに設けられたエンコーダから関節１２３Ａ～１２３Ｄの関節角（回転角）の情報を取得する（Ｓ１０１）。あるいは、関節角取得部２２１が、記憶部２２５内に事前に記憶されている関節１２３Ａ～１２３Ｄの関節角の情報を取得する。
　位置姿勢算出部２２２は、関節１２３Ａ～１２３Ｄの関節角（アームの姿勢）に基づき、投影装置１４１の位置及び姿勢を計算する（Ｓ１０２）。具体的には、ベース１３１から、投影装置１４１の設置箇所までに存在する関節の関節角に基づき、順運動学により投影装置１４１の位置及び姿勢を計算する。
　投影画像生成部２２３は、ベース１３１に対するロボット１０１の対象部位（ここでは先端部１１１等）の可動域を表す情報を記憶部２２５から取得する（Ｓ１０３）。投影画像生成部２２３は、ベース１３１に対する先端部１１１の可動域の情報と、投影装置１４１の位置及び姿勢とに基づき、先端部１１１の可動域を特定する情報を当該可動域に投影する投影画像を生成する（Ｓ１０４）。出力指示部２２４は、生成された投影画像の投影指示を投影装置１４１に出力する。
　投影装置１４１は、出力指示部２２４から投影指示に従って、投影画像を投影する（Ｓ１０５）。これにより、先端部１１１の可動域に、可動域を特定する画像が表示される。
　図７に示したステップの順序は一例であり、一部のステップの順序を入れ替えたり、複数のステップを並行して実行したりしてもよい。例えばステップＳ１０３をステップＳ１０１又はＳ１０２の前に実行してもよい。また、ステップＳ１０３を、ステップＳ１０１、Ｓ１０２と並行して実行してもよい。
　上述したように、ユーザによりアームの位置を変えた場合でも、これに追従して、アームの姿勢及び投影装置１４１の位置及び姿勢を再計算することで、可動域に画像を表示させることができる。
　図８は、アームの姿勢を変えた場合にも、可動域に画像が投影される例を示す。図８（Ａ）に示すように投影画像５６１内に可動域の画像５６２が２次元座標系（ＸＹ座標系）の位置（ｘ１，ｙ１）に示されている。アームの姿勢を手動又は入力装置４０１への操作により変えると、図８（Ｂ）に示すように、投影画像５６４の全体の向き又は形状は図８（Ａ）から変わるが、可動域の画像５６２は同じ位置（ｘ１，ｙ１）及び同じ向きに表示される。可動域はベース１３１に対して固定の関係にあるためである。このようにアームの姿勢に関わらず、アームの可動域の情報を対象に投影できる。
　図８の例では投影装置１４１のリンク１２２Ｄに対する相対位置及び相対姿勢は同じ場合を想定した。しかしながら、投影装置１４１が設置される位置又はアームの姿勢によっては、アームの姿勢が大きく変わった場合に、当初の投影装置１４１の位置及び姿勢からでは可動域に投影できない場合も生じうる。この場合も、投影装置１４１のアームに対する相対位置又は相対姿勢を変えることで、可動域に画像を投影できるようにしてもよい。このようなアームに対する投影装置１４１の位置及び姿勢の制御を投影画像生成部２２３が行ってもよい。
　以上、本実施形態によれば、ロボットの対象部位の可動域に関わる情報と、ロボットの関節角から算出されるアームの姿勢とに基づき、可動域を特定する情報を可動域に投影する投影画像を生成し、投影装置から投影画像を投影する。これにより、ユーザは、可動域を直感的に理解できるため、手術室において、医師の持つ手術情報や手術の状況と合わせて、可動域が適切な位置になるよう、ロボット又はアームを簡単、適切、速やかに配置することができる。また本実施形態により、ロボットの設置性や設置位置の信頼性が向上する。
（第１変形例）
　図９は、第１変形例に係る情報処理システムのブロック図である。上述した実施形態の情報処理システムと同一名称のブロックには同一の符号を付し、拡張又は変更された処理を除き、説明を適宜省略する。
　図９の情報処理システム２１０は、少なくとも１台の撮像装置１４２をさらに備える。撮像装置１４２はロボット１０１のアーム１２１の任意の箇所（部位）に設けられる。例えば撮像装置１４２は、先端部１１１、任意の関節、又は任意のリンクに設けられる。撮像装置１４２は、レンズユニットと、レンズユニットの後段の撮像素子とを備え、レンズユニットを通過した観察光は、撮像素子の受光面に集光され、光電変換によって、画像信号が生成される。撮像素子は、例えばＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）タイプのイメージセンサである。撮像装置の倍率及び焦点等のパラメータは制御装置２０１により調整可能である。
　第１変形例では撮像装置１４２と投影装置１４１を用いて観察対象（例えば被検体の観察部位）の表面形状を計算する。出力指示部２２４からの投影指示により投影装置１４１から所定パターンの２次元画像を観察対象に投影する。投影された２次元画像を、撮像装置１４２で撮像するよう出力指示部２２４は撮像装置１４２に撮像指示を出力する。撮像装置１４２は１台でも、２台以上でもよい。撮像装置１４２は、投影された所定パターンの画像を撮像し、撮像した画像データを記憶部２２５に格納する。形状計算部２２６は、投影された画像のパターンと、撮像した画像に含まれるパターンとの対応関係を特定し、特定した対応関係と３角測量の原理に基づき、観察対象の表面形状を算出する。すなわち、観察対象の表面の各位置におけるデプス（深さ）を計算する。事前に投影装置１４１及び撮像装置１４２のキャリブレーションを実行して各々のパラメータ情報を取得しておき、パラメータ情報を表面形状の計算に用いてもよい。
　投影画像生成部２２３は、ロボット１０１の対象部位（ここでは先端部１１１）の３次元の可動域において、観察対象の表面形状に沿った面の可動域を算出する。算出した可動域を特定する情報を当該可動域に投影する投影画像を生成する。出力指示部２２４は、投影画像の投影指示を投影装置１４１に出力する。これにより観察対象の表面における可動域を正しく表示することができる。例えば観察対象の表面に凹凸がある場合、表面の位置によっては先端部１１１から術部を操作できる位置又は領域と、操作できない位置又は領域とが存在し得る。この場合、本変形例では、正しく操作できない位置又は領域には画像が投影されず、操作できる位置又は領域にのみ画像が投影される。上述した実施形態では、３次元の可動域のうちある高さにおける平面の可動域の画像を投影した。このため、凹凸のある観察対象に画像を投影した場合、先端部１１１が実際には操作できない位置（例えば凹んでいて先端部１１１が届かない位置）にも画像が投影され得る。本変形例では観察対象の表面形状の計測値に基づいた投影画像を生成することで、より正確に可動域を表示できる。
　投影画像生成部２２３は、観察対象の表面における可動域を算出したが、観察対象の表面から一定距離だけ下又は上の高さの可動域（観察対象の表面の形状に平行な形状の可動域）を算出してもよい。例えば表面から一定距離だけ下の高さの可動域を表示することで、ユーザ（術者）は、表面から一定距離下の可動域を事前に予測できるため、手術をより適切に行うことができる。また一定距離上の高さの可動域を表示することで、例えば、先端部１１１を観察対象に接触させないで移動させることが可能な領域を適切に把握できる。
　本変形例では撮像装置１４２と投影装置１４１とを用いて観察対象の表面形状を計算したが、測距センサなどのデプスセンサを用いて表面形状を計算してもよい。
　本変形例では観察対象として主に患者の術部を想定したが、寝台装置の患者の臥床面、又は、寝台装置が手術の際に設置される床面などを測定対象としてもよい。
　図１０は、本変形例に係る情報処理システムの動作の一例のフローチャートである。ステップＳ１０１、Ｓ１０２は、上述した第１実施形態の図７のフローチャートと同じである。
　ステップＳ１０２の後、出力指示部２２４の指示により、投影装置１４１から所定パターンの画像を観察対象に投影する（Ｓ２０１）。
　出力指示部２２４の指示により、撮像装置１４２が、投影装置１４１から投影された画像を撮像する（Ｓ２０２）。
　投影した画像に含まれる所定パターンと、撮像した画像に含まれる所定パターンとの対応関係を特定する。特定した対応関係と、予めキャリブレーションにより取得した撮像装置１４２及び投影装置１４１のパラメータ情報とに基づき３角測量の原理を用いて、観察対象の表面形状を計算する（Ｓ２０３）。
　投影画像生成部２２３が先端部１１１の可動域の情報を記憶部２２５から取得する（Ｓ１０３）。先端部１１１の可動域の情報と、観察対象の表面形状に基づき、観察対象の表面における先端部１１１の可動域を特定し、特定した可動域を特定する情報を当該可動域に投影する投影画像を生成する（Ｓ１０４）。出力指示部２２４が投影画像を投影する指示を投影装置１４１に出力する（同Ｓ１０４）。投影装置１４１は、当該指示に従って、投影画像を投影する（Ｓ１０５）。
　図１０のステップの順序は一例であり、一部のステップの順序を入れ替えたり、複数のステップを並行して実行したりしてもよい。例えばステップＳ２０１～Ｓ２０３をステップＳ１０１、Ｓ１０２と並行して実行してもよい。また、ステップＳ２０１～Ｓ２０３をステップＳ１０１、Ｓ１０２の前に実行してもよい。
　観察対象（例えば術部）に投影する画像に、投影対象（観察対象）の表面から深さ方向に先端部１１１が移動できる距離（深さ）を識別する情報を含めてもよい。表面から深さ方向に移動できる距離は、形状計算部２２６が、先端部１１１の可動域と、観察対象の表面形状に基づき、算出する。
　図１１は、可動域の画像５２４に深さ方向（紙面に沿って奥に垂直な方向）に先端部１１１が移動できる距離を識別する情報が含まれている。投影画像５２７に可動域の画像５２４が含まれている。移動可能な距離の大きさに応じて画像５２４内の各位置に色が付されている。領域５２１は、領域５２１の表面から距離Ｄ１の深さまで先端部１１１が移動可能である領域であり第１の色（例えば赤）が付されている。領域５２２は、領域５２１の表面から距離Ｄ１より深く距離Ｄ２の深さまで先端部１１１が移動可能である領域であり、第２の色（例えば黄色）が付されている。領域５２３は、領域５２３の表面から距離Ｄ２より深く距離Ｄ３の深さまで先端部１１１が移動可能である領域であり、第３の色（例えば青）が付されている。ユーザは、色で識別された各領域を見ることで、どの程度の深さまでロボットの先端部１１１で操作可能であるかを事前に判断できる。
（第２変形例）
　第２変形例の情報処理システムのブロック図は上述した実施形態の図３と同じであり、投影画像生成部２２３の機能が拡張されている。本変形例では上述した実施形態を拡張する場合を示すが、第１変形例の投影画像生成部２２３の機能を拡張して本変形例と同様の機能を実現することも可能である。
　本変形例では、事前に基準マークを含む画像を取得する。例えば術前に、患者の患部（例えば腫瘍）を含む患部画像をＣＴ（Computed Tomography）又はＭＲＩ（Magnetic Resonance Imaging）等で取得する。患部画像は２次元画像でも、３次元画像でもよい。先端部１１１の可動域の情報を用いて、患部画像における患部が可動域に含まれるように、患部画像と可動域との位置合わせを行う。この位置合わせによりロボットのベース１３１に対する可動域に関連付けた患部画像の位置が定まる。患部画像と可動域の情報との位置合わせは、ユーザが手動で行ってもよいし、投影画像生成部２２３又は別のコンピュータが行ってもよい。投影画像生成部２２３が位置合わせを行う場合、記憶部２２５に患部画像のデータを記憶しておく。位置合わせの方法として、例えば患部画像に対して画像解析により患部検出を行い、検出した患部に可動域の情報を位置合わせしてもよい。画像解析は機械学習により生成したニューラルネットワーク等のモデルを用いて行ってもよいし、画像クラスタリングなどを用いて行ってもよい。その他の方法を用いてもよい。
　位置合わせした状態で、可動域の情報を患部画像と合成し、可動域の情報を患部画像に合成した合成情報（合成画像）を生成する。合成情報に含まれる可動域の情報が当該可動域に表示されるように合成情報の投影画像を生成する。投影装置１４１から当該投影画像を投影する。
　図１２は、患部画像５３１における患部に可動域の情報５３２を位置合わせした例を示す。可動域の情報５３２が可動域に表示されるように、情報５３２を患部画像５３１に位置合わせした合成画像を投影する投影画像を生成する。投影装置１４１から投影画像を投影する。
　図１３は、投影装置１４１から手術室の床面に画像を投影した例を示す。寝台装置に投影した画像における可動域に、患者の患部を位置合わせするように、患者を臥床させた寝台装置を配置することで、ロボット１０１と寝台装置間の位置調整が容易になる。寝台装置を移動させる代わりに、ロボット１０１の位置を移動させて、位置調整を行ってもよい。
　図１３では床面に画像を投影したが、寝台装置に画像を投影してもよい。この場合、寝台装置に投影された画像における可動域に患者の患部が位置するように患者を寝台装置に臥床させる。これにより、寝台装置における患者の位置決めを容易に行うことができる。
　上述した説明では基準マークとして患者の患部に可動域の情報を位置合わせしたが、患者の患部以外にも、寝台面に付けたマーク、患者の任意の部位（頭、腰）、人型など何でもよい。
　図１４は、本変形例に係る情報処理システムの動作の一例のフローチャートである。この例では、投影画像生成部２２３が患部画像と可動域の情報との位置合わせを行う。ステップＳ１０１～Ｓ１０３は、上述した第１実施形態の図７のフローチャートと同じである。
　ステップＳ１０３の後、投影画像生成部２２３が記憶部２２５から患部画像を読み出し（Ｓ３０１）、患部画像における患部に、ステップＳ１０３で取得した可動域の情報を位置合わせした合成画像を生成する（Ｓ３０２）。投影装置１４１の位置及び姿勢に基づいて、合成画像における可動域の情報が可動域に表示されるように合成画像を投影する投影画像を生成する。出力指示部２２４が、投影画像を投影する指示を投影装置１４１に出力する（Ｓ１０４）。出力指示部２２４の指示に従って、撮像装置１４２が、投影画像を投影する。
　図１４のステップの順序は一例であり、一部のステップの順序を入れ替えたり、複数のステップを並行して実行したりしてもよい。例えばステップＳ１０３、Ｓ３０１、Ｓ３０２をステップＳ１０１、Ｓ１０２と並行して実行してもよい。また、ステップＳ１０３、Ｓ３０１、Ｓ３０２をステップＳ１０１、Ｓ１０２の前に実行してもよい。
（第３変形例）
　図１５は、第３変形例に係る情報処理システムを備えた手術システム６００の一例を概略的に示す図である。手術システム１００は、複数のロボット１０１Ａ、１０１Ｂと、制御装置２０１と、表示装置３０１と、入力装置４０１とを備えている。ロボット１０１Ａ、１０１Ｂは、図１のロボット１０１と同様の構成を有し、各ロボットの構成要素の符号には、図１と同一の符号の末尾にそれぞれ異なるアルファベット（Ａ、Ｂ）を付加したものを用いる。図１５では２つのロボットが示されるが、ロボットの台数は３以上でもよい。本変形例では複数のロボットを同時に用いて患者の手術を行う場合を想定する。
　図１６は、本変形例に係る情報処理システムのブロック図である。図１６の情報処理システム２１０は、先端部１１１Ａ、１１１Ｂの可動域を統合した統合領域を特定する情報を統合領域に投影する投影画像を生成し、生成した投影画像を投影するものである。図１６の情報処理システム２１０は、情報処理装置２１１は、入力装置４０１、撮像装置１４２Ａ、１４２Ｂ、及び投影装置１４１Ａ、１４１Ｂを備えている。情報処理装置２１１は、前述した図９と同じブロック２２１～２２５と、位置関係算出部２２７とを備えている。
　出力指示部２２４からの投影指示により投影装置１４１Ａまたは１４２Ｂから所定パターンの画像（校正用画像）を投影する。投影対象は、一例として、床面、又は寝台面などである。投影された校正用画像を、撮像装置１４２Ａ、１４２Ｂで撮像するよう出力指示部２２４は撮像装置１４２Ａ、１４２Ｂに撮像指示を出力する。撮像装置１４２Ａ、１４２Ｂは姿勢で、２台の投影装置から投影された校正用画像の両方を撮像し、撮像した画像データをそれぞれ記憶部２２５に格納する。
　位置関係算出部２２７は、撮像装置１４２Ａ、１４２Ｂで撮像された画像データに基づき、２つのロボット１０１Ａ、１０１Ｂの位置関係（アームの位置関係）を算出する。例えば投影装置１４１Ａによる投影パターンと投影装置１４２Ａにより撮像された投影パターンの関係から三角測量の原理により投影されたパターンの位置が定まる。これを撮像装置１４２Ａおよび撮像装置１４２Ｂで撮像することにより、撮像装置間の位置関係が求まるため、ロボットのベース間の位置関係を求めることができる。また、２つの画像データを入力とし、２つのロボットの位置関係とを出力するモデル（例えばニューラルネットワーク）を事前に学習し、当該モデルを用いて位置関係を算出してもよい。
　投影画像生成部２２３は、先端部１１１Ａ、１１１Ｂの可動域に関する情報と、投影装置１４１Ａ、１４１Ｂの位置及び姿勢と、位置関係算出部２２７で算出した位置関係とに基づき、先端部１１１Ａ、１１１Ｂの可動域を統合した統合領域を算出する。算出した統合領域を特定する情報を統合領域に投影する投影画像を生成する。出力指示部は、生成された投影画像の投影指示を投影装置１４１Ａ又は１４１Ｂに出力する。
　さらに投影画像生成部２２３は、上記位置関係に基づき、統合領域において２つの先端部１１１間の干渉が生じやすい領域を特定し、特定した領域を識別する情報を画像に含めてもよい。具体的には、各先端部１１１間で干渉が生じやすい領域（第１領域）と、２つの先端部１１１が同時に可動でありかつ干渉が生じにくい領域（第２領域）と、各先端部１１１のみが可動である領域（第３領域）とを特定し、これら３つの領域を識別する情報を画像に含めてもよい。例えば、２つの領域の交差領域の中心から一定幅の領域を第１領域、交差領域のうち第１領域以外の領域を第２領域、それ以外の領域を第３領域とする。
　図１７は統合領域の画像を投影した例を示す。先端部１１１Ａ、１１１Ｂの各々のみが可動である領域５４３（第３領域）と、先端部１１１Ａ、１１１Ｂが同時に可動でありかつ干渉が生じにくい領域５４２（第２領域）と、先端部１１１Ａ、１１１Ｂ間で干渉が生じやすい領域５４１（第１領域）とが含まれる。干渉とは、例えば先端部間で衝突することや、同じ対象に対して同時に操作することができないことなどである。領域５４１～５４３を互いに異なる色又は模様パターンで表示してもよい。ユーザは、統合領域を直接又は表示装置３０１で確認し、ロボット間あるいはアーム間の配置を再調整してもよい。これにより、例えば領域５４２のサイズを大きくするなど、各領域のサイズを調整できる。
　図１８は、本変形例に係る情報処理システム２１０の動作の一例のフローチャートである。
　関節角取得部２２１が、ロボット１０１Ａ、１０１Ｂの各関節に設けられたエンコーダから各関節の関節角（回転角）の情報を取得する（Ｓ１０１）。位置姿勢算出部２２２は、ロボット１０１Ａ、１０１Ｂの関節の関節角に基づき、投影装置１４１Ａ、１４１Ｂの位置及び姿勢を計算する（Ｓ１０２）。投影装置１４１Ａ、１４１Ｂの位置及び姿勢に加えて、撮像装置１４２Ａ、１４２Ｂの位置及び姿勢を計算してもよい。投影画像生成部２２３は、ベース１３１Ａ、１３１Ｂに対するロボット１０１Ａ、１０１Ｂの対象部位（先端部１１１等）の可動域を表す情報を記憶部２２５から取得する（Ｓ１０３）。
　投影画像生成部２２３が、ロボット１０１Ａ、１０１Ｂに対する校正用画像を表す投影画像をそれぞれ生成する（Ｓ４０１）。出力指示部２２４が、ロボット１０１Ａ、１０１Ｂの投影装置１４１Ａ、１４１Ｂに、投影画像が表す校正用画像の投影指示を出力する（同Ｓ４０１）。
　出力指示部２２４が、ロボット１０１Ａ、１０１Ｂの撮像装置１４２Ａ、１４２Ｂに撮像指示を出力する（Ｓ４０２）。撮像装置１４２Ａ、１４２Ｂは撮像を行い、撮像した画像データを情報処理装置２１１に提供する（同Ｓ４０２）。情報処理装置２１１は、各校正用画像データを記憶部２２５に格納する（同Ｓ４０２）。各校正用画像データには、投影装置１４１Ａ、１４１Ｂの両方から投影された校正用画像が含まれる。
　位置関係算出部２２７は、撮像装置１４２Ａ、１４２Ｂで撮像された校正画像データに基づき、２つのロボットの位置関係（アームの位置関係）を算出する（Ｓ４０３）。
　投影画像生成部２２３は、先端部１１１Ａ、１１１Ｂの可動域に関する情報と、投影装置１４１Ａ、１４１Ｂの位置及び姿勢と、位置関係算出部２２７で算出した位置関係とに基づき、先端部１１１Ａ、１１１Ｂの可動域を統合した統合領域を算出する（Ｓ１０４）。統合領域は、一例として、先端部１１１Ａ、１１１Ｂの各々のみが可動である領域（第１領域）と、先端部１１１Ａ、１１１Ｂが同時に可動でありかつ干渉が生じにくい領域（第２領域）と、先端部１１１Ａ、１１１Ｂ間で干渉が生じやすい領域（第３領域）とを含む。投影画像生成部２２３は、統合領域を特定する情報を統合領域に投影する投影画像を生成する（同Ｓ１０４）。出力指示部２２４は、投影画像の投影指示を投影装置１４１Ａ又は１４１Ｂに出力する（Ｓ同１０４）。
　投影装置１４１Ａ又は１４１Ｂは、出力指示部２２４から投影指示に従って、投影画像を投影する（Ｓ１０５）。
　本変形例では撮像装置１４２Ａ、１４２Ｂと投影装置１４１Ａ、１４１Ｂを用いてロボット間の位置関係を算出したが、各ロボットが位置検出機能を備える場合は、情報処理装置２１１が各ロボットと通信して、各ロボットの位置情報を取得してもよい。位置関係算出部２２７は、各ロボットの位置情報に基づき、ロボット間の位置関係を算出する。
　なお、上述の実施形態は本開示を具現化するための一例を示したものであり、その他の様々な形態で本開示を実施することが可能である。例えば、本開示の要旨を逸脱しない範囲で、種々の変形、置換、省略又はこれらの組み合わせが可能である。そのような変形、置換、省略等を行った形態も、本開示の範囲に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
　また、本明細書に記載された本開示の効果は例示に過ぎず、その他の効果があってもよい。
　なお、本開示は以下のような構成を取ることもできる。
　［項目１］
　医療用アームの対象部位の可動域に関する第１情報と、手術室内で画像を投影する投影装置の位置及び姿勢に関する第２情報とに基づき、前記可動域を特定する情報を前記可動域に投影する投影画像を生成する投影画像生成部と、
　前記投影画像の投影指示を前記投影装置に出力する出力指示部と
　を備えた情報処理装置。
　［項目２］
　前記対象部位の可動域は、前記医療用アームの先端部が移動可能な領域、又は前記医療用アームの任意の部位に設けられた撮像装置が撮像可能な領域を含む
　項目１に記載の情報処理装置。
　［項目３］
　前記投影装置は、前記医療用アームに設けられており、
　前記医療用アームの姿勢に基づき、前記投影装置の位置及び姿勢を算出する位置姿勢算出部
　を備えた項目１又は２に記載の情報処理装置。
　［項目４］
　前記投影画像生成部は、前記投影画像を投影する対象の位置及び姿勢の少なくとも一方に基づいて前記投影画像を生成する
　項目１～３のいずれか一項に記載の情報処理装置。
　［項目５］
　前記投影画像を投影する対象は、医療処置の対象となる被検体が臥床させられる寝台装置の臥床面、前記寝台装置に臥床させられた被検体の観察部位、又は前記寝台装置が設置される床面である
　項目４に記載の情報処理装置。
　［項目６］
　前記投影画像を投影する対象の表面形状を計算する形状計算部を備え、
　前記投影画像生成部は、前記表面形状に基づいて、前記投影画像を生成する
　項目４に記載の情報処理装置。
　［項目７］
　前記可動域は、前記投影画像が投影される対象の表面における可動域である
　項目６に記載の情報処理装置。
　［項目８］
　前記可動域は、前記対象の表面から一定距離だけ下又は上の高さにおける可動域である　項目７に記載の情報処理装置。
　［項目９］
　前記一定距離だけ上の高さの可動域は、前記対象部位が前記対象に接触せずに移動可能な領域である
　項目８に記載の情報処理装置。
　［項目１０］
　前記投影画像は、前記投影画像が投影される対象の深さ方向に移動可能な距離を識別する情報を含む
　項目６に記載の情報処理装置。
　［項目１１］
　前記投影装置は、３次元投影装置であり、
　前記投影画像は、３次元画像である
　項目１～１０のいずれか一項に記載の情報処理装置。
　［項目１２］
　前記投影画像生成部は、前記可動域の情報を、基準マークを含む画像の前記基準マークに位置合わせて合成した合成情報を生成し、前記合成情報を投影する前記投影画像を生成する
　項目１～１１のいずれか一項に記載の情報処理装置。
　［項目１３］
　前記基準マークは、被検体の患部を含む画像における前記患部である
　項目１２に記載の情報処理装置。
　［項目１４］
　前記投影画像生成部は、複数の前記医療用アームの対象部位の可動域に関する複数の前記第１情報と、前記第２情報とに基づき、複数の前記医療用アームの対象部位の可動域を統合した統合領域を算出し、前記統合領域を特定する情報を前記統合領域に投影する前記投影画像を生成する
　項目１～１３のいずれか一項に記載の情報処理装置。
　［項目１５］
　前記統合領域は、複数の前記医療用アームが互いに干渉する第１領域を含み、
　前記投影画像は、前記第１領域を識別する情報を含む
　項目１４に記載の情報処理装置。
　［項目１６］
　前記統合領域のうち前記第１領域と異なる第２領域と、前記第１領域との色が異なる
　項目１５に記載の情報処理装置。
　［項目１７］
　前記投影画像生成部は、複数の前記医療用アームの位置関係に基づいて、前記投影画像を生成する
　項目１４に記載の情報処理装置。
　［項目１８］
　複数の前記医療用アームに前記投影装置が設置されており、
　複数の前記医療用アームの前記投影装置から所定パターンを含む校正用画像が投影され、
　投影された複数の前記校正用画像を撮像した画像データを複数の撮像装置から取得し、取得した画像データのそれぞれに含まれる複数の前記所定パターンに基づき、複数の前記医療用アームの位置関係を算出する位置関係算出部を備えた
　項目１７に記載の情報処理装置。
　［項目１９］
　手術室内で画像を投影する投影装置と、
　医療用アームの対象部位の可動域に関する第１情報と、前記投影装置の位置及び姿勢に関する第２情報とに基づき、前記可動域を特定する情報を前記可動域に投影する投影画像を生成する投影画像生成部と、
　前記投影画像の投影指示を前記投影装置に出力する出力指示部と
　を備えた情報処理システム。
　［項目２０］
　医療用アームの対象部位の可動域に関する第１情報と、画像を投影する投影装置の位置及び姿勢に関する第２情報とに基づき、前記可動域を特定する情報を前記可動域に投影する投影画像を生成し、
　投影装置により前記投影画像を投影する
　情報処理方法。
　１００：手術システム、１０１：ロボット、２０１：制御装置、３０１：表示装置、４０１：入力装置、１１１：先端部、１２１：アーム、１３１：ベース、１２２Ａ～１２２Ｅ：リンク、５０１：寝台装置、５０２：患者、２１０：情報処理システム、２１１：情報処理装置、１４１：投影装置、４０１：入力装置、２２１：関節角取得部、２２２：位置姿勢算出部、２２３：投影画像生成部、２２４：出力指示部、２２５：記憶部、２２６：形状計算部、２２７：位置関係算出部

Claims (20)

  1. 　医療用アームの対象部位の可動域に関する第１情報と、手術室内で画像を投影する投影装置の位置及び姿勢に関する第２情報とに基づき、前記可動域を特定する情報を前記可動域に投影する投影画像を生成する投影画像生成部と、
    　前記投影画像の投影指示を前記投影装置に出力する出力指示部と
    　を備えた情報処理装置。
  2. 　前記対象部位の可動域は、前記医療用アームの先端部が移動可能な領域、又は前記医療用アームの任意の部位に設けられた撮像装置が撮像可能な領域を含む
    　請求項１に記載の情報処理装置。
  3. 　前記投影装置は、前記医療用アームに設けられており、
    　前記医療用アームの姿勢に基づき、前記投影装置の位置及び姿勢を算出する位置姿勢算出部
    　を備えた請求項１に記載の情報処理装置。
  4. 　前記投影画像生成部は、前記投影画像を投影する対象の位置及び姿勢の少なくとも一方に基づいて前記投影画像を生成する
    　請求項１に記載の情報処理装置。
  5. 　前記投影画像を投影する対象は、医療処置の対象となる被検体が臥床させられる寝台装置の臥床面、前記寝台装置に臥床させられた被検体の観察部位、又は前記寝台装置が設置される床面である
    　請求項４に記載の情報処理装置。
  6. 　前記投影画像を投影する対象の表面形状を計算する形状計算部を備え、
    　前記投影画像生成部は、前記表面形状に基づいて、前記投影画像を生成する
    　請求項４に記載の情報処理装置。
  7. 　前記可動域は、前記投影画像が投影される対象の表面における可動域である
    　請求項６に記載の情報処理装置。
  8. 　前記可動域は、前記対象の表面から一定距離だけ下又は上の高さにおける可動域である　請求項７に記載の情報処理装置。
  9. 　前記一定距離だけ上の高さの可動域は、前記対象部位が前記対象に接触せずに移動可能な領域である
    　請求項８に記載の情報処理装置。
  10. 　前記投影画像は、前記投影画像が投影される対象の深さ方向に移動可能な距離を識別する情報を含む
    　請求項６に記載の情報処理装置。
  11. 　前記投影装置は、３次元投影装置であり、
    　前記投影画像は、３次元画像である
    　請求項１に記載の情報処理装置。
  12. 　前記投影画像生成部は、前記可動域の情報を、基準マークを含む画像の前記基準マークに位置合わせて合成した合成情報を生成し、前記合成情報を投影する前記投影画像を生成する
    　請求項１に記載の情報処理装置。
  13. 　前記基準マークは、被検体の患部を含む画像における前記患部である
    　請求項１２に記載の情報処理装置。
  14. 　前記投影画像生成部は、複数の前記医療用アームの対象部位の可動域に関する複数の前記第１情報と、前記第２情報とに基づき、複数の前記医療用アームの対象部位の可動域を統合した統合領域を算出し、前記統合領域を特定する情報を前記統合領域に投影する前記投影画像を生成する
    　請求項１に記載の情報処理装置。
  15. 　前記統合領域は、複数の前記医療用アームが互いに干渉する第１領域を含み、
    　前記投影画像は、前記第１領域を識別する情報を含む
    　請求項１４に記載の情報処理装置。
  16. 　前記統合領域のうち前記第１領域と異なる第２領域と、前記第１領域との色が異なる
    　請求項１５に記載の情報処理装置。
  17. 　前記投影画像生成部は、複数の前記医療用アームの位置関係に基づいて、前記投影画像を生成する
    　請求項１４に記載の情報処理装置。
  18. 　複数の前記医療用アームに前記投影装置が設置されており、
    　複数の前記医療用アームの前記投影装置から所定パターンを含む校正用画像が投影され、
    　投影された複数の前記校正用画像を撮像した画像データを複数の撮像装置から取得し、取得した画像データのそれぞれに含まれる複数の前記所定パターンに基づき、複数の前記医療用アームの位置関係を算出する位置関係算出部を備えた
    　請求項１７に記載の情報処理装置。
  19. 　手術室内で画像を投影する投影装置と、
    　医療用アームの対象部位の可動域に関する第１情報と、前記投影装置の位置及び姿勢に関する第２情報とに基づき、前記可動域を特定する情報を前記可動域に投影する投影画像を生成する投影画像生成部と、
    　前記投影画像の投影指示を前記投影装置に出力する出力指示部と
    　を備えた情報処理システム。
  20. 　医療用アームの対象部位の可動域に関する第１情報と、手術室内で画像を投影する投影装置の位置及び姿勢に関する第２情報とに基づき、前記可動域を特定する情報を前記可動域に投影する投影画像を生成し、
    　投影装置により前記投影画像を投影する
    　情報処理方法。
PCT/JP2021/009444 2020-03-30 2021-03-10 情報処理装置、情報処理システム及び情報処理方法 WO2021199979A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022511744A JPWO2021199979A1 (ja) 2020-03-30 2021-03-10
US17/906,280 US20230126611A1 (en) 2020-03-30 2021-03-10 Information processing apparatus, information processing system, and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020061407 2020-03-30
JP2020-061407 2020-03-30

Publications (1)

Publication Number Publication Date
WO2021199979A1 true WO2021199979A1 (ja) 2021-10-07

Family

ID=77929110

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/009444 WO2021199979A1 (ja) 2020-03-30 2021-03-10 情報処理装置、情報処理システム及び情報処理方法

Country Status (3)

Country Link
US (1) US20230126611A1 (ja)
JP (1) JPWO2021199979A1 (ja)
WO (1) WO2021199979A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230061461A (ko) * 2020-09-02 2023-05-08 아우리스 헬스, 인코포레이티드 로봇 충돌 경계 결정
US20240009848A1 (en) * 2021-11-05 2024-01-11 Foshan Flexiv Robotics Technology Co, . Ltd. Kinematics calibration method and calibration system for robot with multiple degrees of freedom

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012236244A (ja) * 2011-05-10 2012-12-06 Sony Corp ロボット装置、ロボット装置の制御方法、並びにロボット装置制御用プログラム
JP2016221166A (ja) * 2015-06-03 2016-12-28 株式会社デンソー 医療行為支援システム
JP2019010704A (ja) * 2017-06-30 2019-01-24 Idec株式会社 照光表示装置
JP2019165338A (ja) * 2018-03-19 2019-09-26 株式会社リコー 画像処理装置及び投影システム
JP2019166156A (ja) * 2018-03-23 2019-10-03 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012236244A (ja) * 2011-05-10 2012-12-06 Sony Corp ロボット装置、ロボット装置の制御方法、並びにロボット装置制御用プログラム
JP2016221166A (ja) * 2015-06-03 2016-12-28 株式会社デンソー 医療行為支援システム
JP2019010704A (ja) * 2017-06-30 2019-01-24 Idec株式会社 照光表示装置
JP2019165338A (ja) * 2018-03-19 2019-09-26 株式会社リコー 画像処理装置及び投影システム
JP2019166156A (ja) * 2018-03-23 2019-10-03 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察システム

Also Published As

Publication number Publication date
JPWO2021199979A1 (ja) 2021-10-07
US20230126611A1 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
US11707330B2 (en) Systems and methods for surgical navigation
US20210386494A1 (en) Systems and methods for controlling a surgical instrument
JP6718920B2 (ja) 定位手術用の手術ロボットシステム及び定位手術用ロボットの制御方法
JP4101951B2 (ja) 手術用顕微鏡
JP7135128B2 (ja) 可視および近赤外線スペクトルにおけるエクステンデッドリアリティの外科手術ナビゲーションのための姿勢測定連鎖
JP6804876B2 (ja) 位置調整デバイス並びにロボット支援手術のための装置
JP5249343B2 (ja) ロボット、医療ワークステーションおよび、対象物の表面に画像を投影する方法
JP2019030702A (ja) 定位手術用の手術ロボット及び定位手術用の手術ロボットの制御方法
JP7257559B2 (ja) コンピュータ支援遠隔操作システムにおける補助器具制御
JPWO2018159328A1 (ja) 医療用アームシステム、制御装置及び制御方法
JP2010530268A (ja) 神経外科用多機能ロボット化プラットフォームと位置調整方法
JP7216764B2 (ja) 手術中の支援されたナビゲーションのための拡張現実ヘッドセットのカメラによって追跡された参照アレイを備えた手術器具の位置合わせ
CN113645919A (zh) 医疗臂系统、控制装置和控制方法
WO2021199979A1 (ja) 情報処理装置、情報処理システム及び情報処理方法
WO2019087904A1 (ja) 手術アームシステム及び手術アーム制御システム
JP2021194539A (ja) 外科手術中のコンピュータ支援ナビゲーション用のカメラ追跡バー
JP2023107782A (ja) 関節動作可能な遠位部分を持つツールを制御するためのシステム及び方法
JP2021194538A (ja) 基準シードを介した可視光での外科手術での対象の追跡および合成画像登録
JP7282816B2 (ja) ナビゲートされたロボット外科手術のためのエクステンデッドリアリティ器具相互作用ゾーン
KR20220024055A (ko) 추적 시스템 시야 위치설정 시스템 및 방법
KR101895369B1 (ko) 정위수술용 수술로봇 시스템
KR20180100514A (ko) 정위수술용 수술로봇 시스템
JP4460700B2 (ja) 術部観察システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21782184

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022511744

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21782184

Country of ref document: EP

Kind code of ref document: A1