WO2020021870A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2020021870A1
WO2020021870A1 PCT/JP2019/022227 JP2019022227W WO2020021870A1 WO 2020021870 A1 WO2020021870 A1 WO 2020021870A1 JP 2019022227 W JP2019022227 W JP 2019022227W WO 2020021870 A1 WO2020021870 A1 WO 2020021870A1
Authority
WO
WIPO (PCT)
Prior art keywords
slave
information
operation request
environment
state
Prior art date
Application number
PCT/JP2019/022227
Other languages
English (en)
French (fr)
Inventor
宮本　敦史
直紀 草島
亮太 木村
一生 本郷
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2020532196A priority Critical patent/JP7384160B2/ja
Priority to CN201980048328.1A priority patent/CN112437642A/zh
Priority to US17/250,397 priority patent/US20210298853A1/en
Publication of WO2020021870A1 publication Critical patent/WO2020021870A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/77—Manipulators with motion or force scaling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • an information processing apparatus and an information processing method capable of confirming the safety of the operation of an operation target apparatus when the operation target apparatus can be controlled via the information processing apparatus by a master-slave control method And suggest programs.
  • an operation request for the device based on device side information including device status information indicating a status of the device at a first time point and target status information indicating a status of an operation target;
  • An information processing apparatus includes an operation request confirmation unit that controls execution of the operation request based on device-side information updated after a point in time and before a second point in time that receives the operation request.
  • the device to be operated when the device to be operated can be controlled via the information processing device by the master-slave control method, the safety of the operation of the device to be operated can be confirmed.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of a remote operation system to which an information processing device according to an embodiment of the present disclosure is applied.
  • 1 is a block diagram schematically illustrating a functional configuration of a remote operation system according to an embodiment of the present disclosure. It is a flowchart which shows an example of the processing procedure in a slave environment observation apparatus.
  • 9 is a flowchart illustrating an example of a processing procedure in a slave device.
  • 9 is a flowchart illustrating an example of a processing procedure of an information processing method in the simulation device.
  • 5 is a flowchart illustrating an example of a processing procedure in a master device.
  • FIG. 6 is a sequence diagram illustrating an example of a procedure of an information processing method in the remote operation system according to the embodiment.
  • FIG. 9 is a diagram for explaining details of an operation request confirmation process in the simulation device. It is a figure which shows typically an example of the flow of information in the remote control system by embodiment. It is a figure which shows typically an example of the flow of information in the remote control system by embodiment. It is a figure which shows typically an example of the flow of information in the remote control system by embodiment. It is a figure which shows typically an example of the flow of information in the remote control system by embodiment. It is a figure which shows typically an example of the flow of information in the remote control system by embodiment.
  • FIG. 2 is a hardware configuration diagram illustrating an example of a computer that realizes functions of the information processing apparatus according to the embodiment.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of a remote operation system to which an information processing device according to an embodiment of the present disclosure is applied.
  • a remote medical system in which a surgeon 71 who is an operator remotely performs a treatment on a patient 72 to be processed will be described as an example of the remote operation system 1.
  • the remote control system 1 includes a master console 10, a master device 20, a slave device 30, a slave environment observation device 40, and a simulation device 50.
  • the master console 10 and the master device 20 are connected via a communication line 60, for example.
  • the master device 20 and the simulation device 50 are connected via a first network 61.
  • the slave device 30, the slave environment observation device 40, and the simulation device 50 are connected via a second network 62.
  • the master device 20 and the master console 10 are installed at remote locations with respect to the slave device 30, the slave environment observation device 40, and the simulation device 50.
  • the master device 20 and the master console 10 are installed in a building different from the building where the slave device 30, the slave environment observation device 40, and the simulation device 50 are installed.
  • the second network 62 is a stable network having a small communication delay with respect to the first network 61.
  • the second network 62 is a network whose update cycle is earlier than that of the first network 61.
  • the first network 61 is, for example, a LAN (Local Area Network) including Ethernet (registered trademark), a WAN (Wide Area Network), or the Internet.
  • the second network 62 is a real-time network used in an FA (Factory @ Automation) network, a fifth-generation (5G) wireless communication network, or the like. Accordingly, communication with a short update cycle and low delay is realized between the simulation device 50, the slave device 30, and the slave environment observation device 40.
  • the master console 10 is an input / output device that is connected to the master device 20 and realizes a user interface function for the surgeon 71 performing surgery.
  • the master console 10 for example, a display device such as a stereoscopic display for the surgeon 71 to grasp the slave environment or an indicator for presenting information, and an input device such as a haptic device, a foot pedal, and an emergency stop button. ,including. Having.
  • the surgeon 71 is presented with a virtual slave environment, which is a virtual target environment of the affected part of the patient 72 who undergoes surgery, and makes a next operation request based on the presented information.
  • the master device 20 is a device that links the master console 10 with the remote simulation device 50 and slave device 30.
  • the master device 20 reconfigures the virtual slave environment based on the information from the simulation device 50, and transmits an operation request to the slave device 30 input from the master console 10 to the simulation device 50 or the slave device 30.
  • the master device 20 transmits a predetermined operation request such as an emergency stop directly to the slave device 30, and transmits other operation requests to the simulation device 50.
  • the slave device 30 is a device having an operation execution unit that performs processing on the patient 72 in accordance with an operation request from the master device 20 or the simulation device 50.
  • the operation execution unit is a driven machine such as a stage or an arm. At the tip of the arm, a gripper for operation, a tool for laser irradiation, and the like are provided. A plurality of operation execution units may be provided for each application.
  • the slave device 30 observes the slave operation information, which is the state of the operation execution unit, with the detection unit (sensor), and transmits it to the simulation device 50.
  • Slave operation information is a type of device status information.
  • the slave environment observation device 40 observes the slave environment information indicating the state of the patient 72 or the state of the affected part of the patient 72, and transmits the information to the simulation device 50.
  • the slave environment observation device 40 may be installed independently of the slave device 30, or may be mounted on the slave device 30.
  • Examples of such a slave environment observation device 40 include a camera for imaging a patient 72, particularly an operation field, a microscope for imaging a minute position of the patient 72, a biological information measuring unit for measuring biological information of the patient 72, and the like.
  • the biological information is, for example, blood pressure, heart rate, blood flow, and the like.
  • Examples of the slave environment observation device 40 mounted on the slave device 30 include a tactile sensor or a force sensor at the tip of a tool of the slave device 30.
  • the slave environment information is one type of target state information indicating the state of the target to be operated.
  • the device side information is information including device state information and target state information.
  • the space between the master device 20 and the slave device 30 may be a unilateral control system or a bilateral control system.
  • a force sense and a tactile sense when the processing target is operated by the operation execution unit are input to the input device of the master console 10 through the haptic device, and the surgeon performs the operation. 71.
  • the simulation device 50 generates a virtual slave environment for a processing target by simulation using device side information including the slave operation information from the slave device 30 and the slave environment information from the slave environment observation device 40.
  • the virtual slave environment includes a change in the state of the surgical field and the position of the slave device 30.
  • the simulation device 50 uses the generated virtual slave environment to determine whether the operation of the slave device 30 should be stopped when the virtual slave environment is generated.
  • the slave device 30 is controlled so that 72 is in a safe state. Further, upon receiving the operation request from the master device 20, the simulation device 50 simulates the operation request using the latest virtual slave environment at that time, and after confirming the safety for the patient 72, the slave device 30 Send an operation request to.
  • the slave device 30 is controlled so that the patient 72 is in a safe state.
  • the simulation device 50 generates difference information from the previously generated virtual slave environment for the generated virtual slave environment, and transmits the difference information and the slave operation information to the master device 20.
  • data transmitted from the simulation device 50 to the master device 20 can be reduced, a communication delay in the first network 61 can be reduced, and a communication cycle can be increased.
  • the simulation apparatus 50 be equipped with a CPU (Central Processing Unit) / GPU (Graphics Processing Unit) having extremely high computational performance in order to simulate the virtual slave environment without time delay. Further, as described above, the simulation device 50 is connected to the master device 20 via the first network 61 and is connected to the slave device 30 via the second network 62. Communication is low delay and connection is stable. The simulation device 50 may be installed adjacent to the slave device 30, but may be installed in a server room or an edge cloud if the above conditions are satisfied.
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • FIG. 2 is a block diagram schematically illustrating a functional configuration of the remote operation system according to the embodiment of the present disclosure.
  • the master console 10 includes an information presenting unit 11 and an operation input unit 12.
  • the information presenting unit 11 is a display device that presents information regarding the operation field of the patient 72 to the surgeon 71.
  • the information on the operative field of the patient 72 is, for example, a video image of the virtual slave environment reconstructed by the master device 20 or the operative field of the patient 72.
  • the information presenting unit 11 may display both of them simultaneously, or may display either one of them.
  • the image presenting the operation field is displayed by the information presenting unit 11
  • only the information of the part imaged by the slave environment observation device 40 is presented.
  • the virtual slave environment is displayed by the information presenting unit 11 since the information on the operation field of the patient 72 is reconstructed in the three-dimensional space, it is displayed at a different angle, Can be displayed.
  • the information presenting unit 11 may display the anatomical information of the target patient 72 or the information on the affected part or the treatment by overlaying the information on the operation field.
  • the operation input unit 12 is an input device that issues an operation request to the slave device 30 when performing a process on the patient 72.
  • the master device 20 includes a communication unit 21, a slave environment model storage unit 22, and a virtual slave environment reconfiguration unit 23.
  • the communication unit 21 performs communication with the simulation device 50 or the slave device 30.
  • the communication unit 21 transmits, for example, the input content on the master console 10 to the simulation device 50 or the slave device 30 as an operation request to the slave device 30.
  • the communication unit 21 transmits an emergency stop request to the slave device 30.
  • the communication unit 21 transmits the instruction to the simulation device 50 instead of the slave device 30 as a normal operation request.
  • the slave environment model storage unit 22 stores a slave environment model shared with the simulation device 50 when the virtual slave environment reconfiguration unit 23 reconfigures the virtual slave environment.
  • the slave environment model is model information processed from body data and the like of the patient 72 acquired by a three-dimensional tomographic image acquisition device such as a CT (Computerized @ Tomography) device when reconstructing a virtual reality operation field.
  • a CT Computerized @ Tomography
  • the virtual slave environment reconfiguration unit 23 reconfigures the virtual slave environment using the difference information and the slave operation information from the simulation device 50 in the slave environment model stored in the slave environment model storage unit 22.
  • the reconfiguration of the virtual slave environment includes updating using the difference information and the slave operation information.
  • the reconfigured virtual slave environment is output to the information presentation unit 11 of the master console 10.
  • the slave environment observation device 40 includes an environment observation unit 41 and a communication unit 42.
  • the environment observation unit 41 is an observation device that observes slave environment information that is the state of the patient 72 that is a slave environment.
  • the slave environment includes visual information of the target patient 72 and non-visual information. Examples of the visual information include the appearance of the patient 72 and the state of the affected part.
  • the environment observation unit 41 that acquires visual information is, for example, a camera that captures an operation field of the patient 72.
  • Examples of the non-visual information include a blood pressure, a heart rate, and the like of the patient 72.
  • the environment observation unit 41 that acquires the non-visual information is, for example, a sphygmomanometer or a heart rate monitor.
  • the communication unit 42 transmits the slave environment information observed by the environment observation unit 41 to the simulation device 50.
  • the slave device 30 includes a communication unit 31 and an operation request execution unit 32.
  • the communication unit 31 communicates with the master device 20 or the simulation device 50.
  • the communication unit 31 receives an operation request including an emergency stop request from the master device 20 or the simulation device 50.
  • the communication unit 31 acquires slave operation information indicating the state of the operation execution unit of the slave device 30 from a detection unit provided in the operation execution unit, and transmits the slave operation information to the simulation device 50.
  • the slave operation information is the position and operation state of the operation execution unit, and for example, when the operation execution unit is an arm, the angle of the arm, the distance of the tip of the arm from the affected part, and the like.
  • the simulation device 50 includes a master communication unit 51, a slave communication unit 52, a slave environment model storage unit 53, a virtual slave environment reconfiguration unit 54, a difference information extraction unit 55, an operation stop detection unit 56, an operation request It includes a confirmation unit 57 and a safe state transition unit 58.
  • the master communication unit 51 communicates with the master device 20. That is, the master communication unit 51 receives an operation request other than the emergency stop request from the master device 20. Further, the master communication unit 51 transmits the slave operation information and the difference information to the master device 20.
  • the slave communication unit 52 communicates with the slave device 30 and the slave environment observation device 40. That is, the slave communication unit 52 receives the slave environment information from the slave environment observation device 40 and the slave operation information from the slave device 30. The slave communication unit 52 transmits an operation switching instruction to the slave device 30 when the secure state transition unit 58 determines that the transition to the secure state is necessary. The slave communication unit 52 transmits an operation request to the slave device 30 when the operation request confirmation unit 57 confirms the security of the operation request.
  • the slave environment model storage unit 22 stores the slave environment model shared with the master device 20 when the virtual slave environment reconfiguration unit 54 reconfigures the virtual slave environment.
  • the virtual slave environment reconfiguration unit 54 uses the slave operation information from the slave device 30 and the slave environment information from the slave environment observation device 40 for the slave environment model stored in the slave environment model Reconfigure the environment.
  • the virtual slave environment reconfiguration unit 54 corresponds to a virtual target environment reconfiguration unit.
  • the difference information extraction unit 55 extracts difference information in which the virtual slave environment has changed in time series from the immediately preceding time to the current time. , To the master device 20. Specifically, the difference information extraction unit 55 is reconfigured by the virtual slave environment reconfiguration unit 54 before the first virtual slave environment reconfigured by the virtual slave environment reconfiguration unit 54 and before the first virtual slave environment. The difference between the second virtual slave environment and the second virtual slave environment is extracted as difference information. The difference information is transmitted to the master device 20 via the master communication unit 51.
  • the operation stop detection unit 56 detects occurrence of a situation in which the operation of the slave device 30 is stopped when the virtual slave environment is reconfigured by the virtual slave environment reconfiguration unit 54.
  • the operation stop detection unit 56 determines, for example, from the reconfigured virtual slave environment whether an operation stop condition indicating a condition for stopping the operation of the slave device 30 is satisfied.
  • the notification is sent to the safe state transition unit 58. Further, the operation stop detecting unit 56 notifies the master device 20 of the stop condition occurrence notification via the master communication unit 51.
  • the operation execution unit of the slave device 30 is not operating as requested, the operation execution unit of the slave device 30 is invading a place other than the affected part of the patient 72, and the vicinity of the affected part is For example, it may deviate from a normal state such as being extremely deformed, or the biological information of the patient 72 may exceed an expected range.
  • the biological information of the patient 72 is, for example, heart rate, blood pressure, blood oxygen concentration, bleeding, and the like.
  • the operation request confirmation unit 57 executes a simulation for the operation request using the virtual slave environment reconfigured at the time of receiving the operation request, and Check the nature. Confirmation of the safety of the patient 72 is performed using safety criteria.
  • a safety criterion for example, the operation execution unit of the slave device 30 operates within a preset range of position, speed, and acceleration, and the operation execution unit of the slave device 30 applies to the affected area within a preset force range. For example, contacting, and the vicinity of the affected part not being extremely deformed by the operation of the operation execution unit of the slave device 30 can be exemplified.
  • the operation request confirmation unit 57 transmits an operation request from the master device 20 to the slave device 30 via the slave communication unit 52 when the safety of the patient 72 is confirmed as a result of the simulation.
  • the operation request confirmation unit 57 does not transmit an operation request from the master device 20 to the slave device 30 and sends a stop condition occurrence notification to the safety state.
  • the transition unit 58 is notified. Further, the operation request confirmation unit 57 notifies the master device 20 of the stop condition generation notification via the master communication unit 51.
  • the safety state transition unit 58 transmits an operation switching instruction for causing the slave device 30 to execute an operation for ensuring safety.
  • the operation switching instruction is an instruction to execute switching from processing in accordance with the operation request from the master device 20 to operation for ensuring the safety of the patient 72.
  • the content of the operation switching instruction differs depending on the position of the operation execution unit of the slave device 30 with respect to the patient 72 and the like. For example, when the operation execution unit is located at a position distant from the patient 72, the operation is stopped in that state. For example, when the operation execution unit is in contact with the patient 72, the operation execution unit is stopped after being separated from the patient 72.
  • FIG. 3 is a flowchart illustrating an example of a processing procedure in the slave environment observation device.
  • the environment observation unit 41 of the slave environment observation device 40 acquires slave environment information that is information on the patient 72 (step S11).
  • the slave environment information is imaging data of the affected part of the patient 72, biological information such as the blood pressure and the heart rate of the patient 72, and the like.
  • the communication unit 42 transmits the acquired slave environment information to the simulation device 50 (Step S12).
  • the above processing is executed while the remote operation system 1 is operating.
  • FIG. 4 is a flowchart illustrating an example of a processing procedure in the slave device.
  • the communication unit 31 of the slave device 30 acquires slave operation information indicating the operation state of the operation execution unit from the detection unit included in the operation execution unit (step S31), and transmits the slave operation information to the simulation device 50. (Step S32).
  • the operation request execution unit 32 determines whether an emergency stop request has been received from the master device 20 (Step S33). When the emergency stop request has been received (Yes in Step S33), the operation request execution unit 32 executes an emergency stop of the operation execution unit (Step S34). As a result, the slave device 30 stops operating and the process ends.
  • the operation request execution unit 32 determines whether an operation switching instruction has been received from the simulation device 50 (step S35). If an operation switching instruction has been received (Yes in step S35), the operation request execution unit 32 executes a process of shifting the operation of the slave device 30 to a safe state (step S36). Examples of the process of shifting to the safe state include stopping the operation execution unit of the slave device 30 or retreating to a position where the operation execution unit does not contact the patient 72. Then, the process ends.
  • step S35 the operation request execution unit 32 determines whether an operation request has been received (step S37). If an operation request has been received (Yes in step S37), the operation request execution unit 32 executes the operation request (step S38). Thereafter, or when the operation request has not been received in step S37 (No in step S37), the process returns to step S31.
  • FIG. 5 is a flowchart illustrating an example of a processing procedure of an information processing method in the simulation device.
  • the slave communication unit 52 of the simulation device 50 receives the slave operation information from the slave device 30 (step S51), and receives the slave environment information from the slave environment observation device 40 (step S52).
  • the virtual slave environment reconfiguration unit 54 reconfigures the virtual reality virtual slave environment using the received device operation information including the slave operation information and the slave environment information (step S53).
  • the slave environment model is stored in the slave environment model storage unit 53, the slave environment model is also used.
  • the operation stop detection unit 56 performs an operation stop detection process of determining whether it is necessary to stop the operation of the slave device 30 using the reconfigured virtual slave environment (Step S54). For example, the operation stop detection unit 56 determines whether the operation of the slave device 30 needs to be stopped by determining whether the virtual slave environment satisfies the operation stop condition. As a result, when it is not necessary to stop the operation of the slave device 30 (No in step S55), the difference information extracting unit 55 determines whether the reconfigured virtual slave environment and the previously reconfigured virtual slave environment Is extracted (step S56). Thereafter, the master communication unit 51 transmits the slave operation information and the difference information to the master device 20 (Step S57).
  • the master communication unit 51 determines whether an operation request has been received from the master device 20 (step S58).
  • the operation request confirmation unit 57 receives the operation request from the current virtual slave environment, that is, the virtual slave environment reconfigured in step S53.
  • the simulation of the requested operation is executed (step S59).
  • the operation request confirmation unit 57 determines whether the safety of the operation request has been confirmed as a result of the simulation (step S60). For example, the operation request confirmation unit 57 determines the safety of the operation request by determining whether the result of the simulation satisfies a safety criterion.
  • step S60 If the security of the operation request has been confirmed (Yes in step S60), the slave communication unit 52 transmits the operation request received from the master device 20 to the slave device 30 (step S61). Thereafter, or when the operation request has not been received from the master device 20 in step S58 (No in step S58), the process returns to step S51.
  • step S60 If the safety of the operation request cannot be confirmed (No in step S60), or if the operation needs to be stopped in step S55 (Yes in step S55), the safety state transition unit 58 An operation switching instruction is transmitted to the slave device 30 (step S62). Further, the safety state transition unit 58 notifies the master device 20 that the operation of the slave device 30 has been stopped (step S63). Then, the process ends.
  • the execution of the operation request is simulated by using the latest virtual slave environment, and whether or not the operation request is passed to the slave device 30 is controlled based on the simulation result.
  • the operator 71 of the master device 20 is checked. The process can be interrupted without obtaining it. Thereby, the safety of the patient 72 can be ensured even in the real space.
  • FIG. 6 is a flowchart illustrating an example of a processing procedure in the master device.
  • the communication unit 21 of the master device 20 receives difference information and slave operation information from the simulation device 50 (Step S71).
  • the virtual slave environment reconfiguration unit 23 reconfigures the virtual reality virtual slave environment using the received slave operation information and difference information (step S72).
  • the slave environment model is stored in the slave environment model storage unit 22, the slave environment model is also used.
  • the information presentation unit 11 of the master console 10 displays the reconfigured virtual slave environment (Step S73).
  • the surgeon 71 as an operator operates the operation input unit 12 while watching the virtual slave environment displayed on the information presentation unit 11.
  • the communication unit 21 of the master device 20 determines whether transmission of the emergency stop request has been requested from the operation input unit 12 of the master console 10 (Step S74).
  • step S74 If the transmission of the emergency stop request is requested (Yes in step S74), the communication unit 21 transmits an emergency stop request to the slave device 30 (step S75), and the process ends.
  • the communication unit 21 determines whether transmission of an operation request has been requested from the operation input unit 12 of the master console 10 ( Step S76). When the transmission of the operation request has been requested (Yes in step S76), the communication unit 21 transmits the operation request to the simulation device 50 (step S77).
  • step S76 After that, or if the transmission of the operation request has not been requested (No in step S76), the process returns to step S71.
  • FIG. 7 is a sequence diagram illustrating an example of a procedure of an information processing method in the remote operation system according to the embodiment.
  • 8A to 8D are diagrams schematically showing the positional relationship between the affected part of the patient and the operation execution unit of the slave device.
  • FIG. 9 is a diagram illustrating details of the operation request confirmation processing in the simulation device.
  • the slave environment observation device 40 observes the state of the patient 72, and the slave device 30 observes (acquires) the state of the operation execution unit.
  • the states of the operation execution unit 35 of the slave device 30 and the affected part 721 of the patient 72 shown in the slave environment 331 of FIG. 9 are acquired.
  • the shape of the affected part 721 is acquired as slave environment information, and the tip position, speed, and the like of the operation execution unit 35 are acquired as slave operation information.
  • the slave device 30 transmits the slave operation information to the simulation device 50 via the second network 62
  • the slave environment observation device 40 transmits the slave environment information to the simulation device 50 via the second network 62 (FIG. 7). SQ11).
  • the simulation device 50 reconfigures the virtual slave environment 710t1 as shown in FIG. 9 using the received slave operation information and slave environment information (SQ12 in FIG. 7). As described above, when the slave environment model of the patient 72 exists, the virtual slave environment is reconfigured using the slave operation information and the slave environment information based on the slave environment model.
  • the simulation apparatus 50 extracts difference information that is a difference between the reconfigured virtual slave environment and the previously reconfigured virtual slave environment (SQ13 in FIG. 7).
  • the difference information is, for example, a difference between the virtual slave environment 710t1 at time t1 and the virtual slave environment at time t0 (not shown).
  • the simulation device 50 performs an operation stop detection process using the reconfigured virtual slave environment (SQ14 in FIG. 7).
  • An example of the operation stop detection process is shown in FIGS. 8A to 8D.
  • the operation execution unit 35 of the slave device 30 exists at a position according to the operation request received earlier, and the diseased part 721 of the patient 72 is not invaded by the operation execution unit 35. It is shown. In this manner, the operation execution unit 35 operates as requested by the operation, the operation execution unit 35 does not invade the place other than the affected part 721 of the patient 72, and the vicinity of the affected part 721 is not extremely deformed. In the state, the condition for stopping the operation is not satisfied, and the operation of the slave device 30 is continued as it is.
  • FIG. 8B illustrates an example in which the operation execution unit 35 of the slave device 30 does not operate as requested by the operation.
  • FIG. 8C illustrates an example in which the operation execution unit 35 of the slave device 30 does not operate as requested by the operation.
  • FIG. 8D shows an example of a case where the affected area 721 is extremely deformed and deviates from the normal state. 8B to 8D, since the simulation device 50 satisfies the condition of operation stop, the simulation device 50 shifts the slave device 30 to the safe state.
  • FIG. 8A it is assumed that the slave device 30 did not satisfy the condition of stopping the operation.
  • the simulation device 50 transmits the slave operation information and the difference information to the master device 20 via the first network 61 (SQ15 in FIG. 7). Then, the master device 20 reconfigures the virtual slave environment using the received slave operation information and difference information (SQ16 in FIG. 7), and presents information to the master console 10 (SQ17 in FIG. 7). As shown in FIG. 9, a virtual slave environment 710t1 is displayed on the information presentation unit 11 of the master console 10.
  • the affected part 721 changes every moment, and the operation execution unit 35 of the slave device 30 needs time to shift to the operation requested state. Therefore, the slave device 30 and the slave environment observation device 40 acquire the slave operation information and the slave environment information at a predetermined cycle, for example, and transmit them to the simulation device 50 (SQ21 in FIG. 7).
  • the states of the operation execution unit 35 of the slave device 30 and the affected part 721 of the patient 72 shown in the slave environment 332 at time t2 in FIG. 9 are acquired as slave environment information and slave operation information, and transmitted to the simulation device 50.
  • the simulation device 50 reconfigures the virtual slave environment 710t2 as shown in FIG. 9 using the slave operation information and the slave environment information at the time t2 (SQ22 in FIG. 7). Since it is assumed that the update cycle of the first network 61 is longer than the update cycle of the second network 62, the virtual slave environment 710t2 is not transmitted to the master device 20.
  • the simulation device 50 performs an operation stop detection process using the reconfigured virtual slave environment 710t2 (SQ23 in FIG. 7). Here, too, it is assumed that the slave device 30 did not satisfy the condition for stopping operation.
  • the surgeon 71 sees the virtual slave environment 710t1 displayed on the master console 10 in SQ17 and operates at time t3 (SQ18 in FIG. 7).
  • the operation of the operation input unit 12 of the master console 10 by the surgeon 71 is transmitted from the master device 20 to the simulation device 50 as an operation request (SQ31 in FIG. 7).
  • the surgeon 71 operates the operation input unit 12 to move the operation execution unit 35 to a desired position while watching the virtual slave environment 710 t 1 displayed on the information presentation unit 11.
  • a request 150 is generated.
  • the simulation device 50 checks whether the patient 72 can secure safety when the received operation request is executed by the slave device 30 (SQ32 in FIG. 7). Here, it is assumed that the operation request is received after time t2.
  • the operation request by the surgeon 71 is issued based on the virtual slave environment 710t1 at time t1, but the virtual slave environment is not received until the simulation device 50 receives the operation request 150.
  • the environment has been updated to 710t2. Therefore, in the present embodiment, the simulation device 50 performs the process of confirming security using the virtual slave environment 710t2 instead of the virtual slave environment 710t1.
  • the virtual slave environment 710ti i is a natural number of 2 or more
  • reconfigured by the time the operation request 150 is received is used. it can.
  • the simulation device 50 performs a simulation using the virtual slave environment 710t1 used by the master device 20 at the time of transmitting the operation request 150 without using the latest virtual slave environment 710t2 when the operation request 150 is received.
  • the simulation device 50 performs a simulation using the virtual slave environment 710t1 used by the master device 20 at the time of transmitting the operation request 150 without using the latest virtual slave environment 710t2 when the operation request 150 is received.
  • the simulation device 50 can take a transition to a safe state without confirming to the master device 20 and before executing the operation request 150 for the patient 72.
  • a sudden change in the shape of the affected part 721 has been described as an example.
  • the operation execution unit 35 of the slave device 30 does not operate within the preset range of position, speed, and acceleration, the operation is performed.
  • the execution unit 35 does not contact the diseased part 721 within the range of the force set in advance, and when the communication between the simulation device 50 and the master device 20 is cut off, the execution unit 35 similarly issues an operation request to the patient 72. Before that, a transition to the safe state can be taken.
  • the simulation device 50 transmits an operation request whose security has been confirmed to the slave device 30 (SQ33 in FIG. 7). Then, the slave device 30 executes the operation request (SQ34 in FIG. 7).
  • the above is the processing for confirming the security when the virtual slave environment that is the basis when the master device 20 transmits the operation request and the latest virtual slave environment when the simulation device 50 receives the operation request are different. It is.
  • the simulation device 50 transmits an operation switching instruction to the slave device 30, and the process of shifting to the safe state is executed.
  • FIGS. 10A to 10C are diagrams schematically showing an example of information flow in the remote operation system according to the embodiment.
  • the slave environment observation device 40, the slave device 30, the simulation device 50, and the master device 20 communicate with each other. Information is exchanged between them. That is, slave environment information 401 is transmitted from the slave environment observation device 40 to the simulation device 50, and slave operation information 301 is transmitted from the slave device 30 to the simulation device 50. From the simulation device 50, the difference information and the slave operation information 501 are transmitted to the master device 20. On the other hand, an operation request 101 other than the emergency stop request is transmitted from the master device 20 to the simulation device 50. From the simulation device 50, the operation request 101 whose safety has been confirmed is transmitted to the slave device 30.
  • the master device 20 transmits the emergency stop request 102 directly to the slave device 30 without passing through the simulation device 50. This is because the process of stopping the operation of the operation execution unit of the slave device 30 can be safely stopped without confirming the safety by the simulation device 50.
  • a remote medical system in which the surgeon 71 remotely performs a treatment on the patient 72 is given as an example of the remote operation system 1.
  • the present embodiment is not limited to this, and is useful for applications that want to ensure security.
  • a case where remote care and assistance are performed by a service robot or a case where a mobile robot is remotely operated are exemplified.
  • bridge inspections or infrastructure inspections or operations in inaccessible places such as nuclear power plants, operations such as remote debris removal to save lives in the event of a disaster, mining or construction sites It can be applied to work and the like.
  • the slave device 30 can take a form suitable for the use, such as an arm type, a wheel traveling type, and a flight (drone) type.
  • the simulation device 50 sends the slave device 30 generated by the master device 20 based on the first slave environment information about the processing target and the first slave operation information about the operation execution unit of the slave device 30. Operation request is received.
  • the simulation device 50 operates based on the second slave environment information and the second slave operation information updated after the reception of the first slave environment information and the first slave operation information and before the reception of the operation request. Made a request. As a result, it is possible to detect a change in the processing target or the slave device 30 that has occurred after the reception of the first slave environment information and the first slave operation information based on the operation request.
  • control can be performed. Stability and work environment safety can be ensured.
  • a surgical treatment it is possible to prevent a patient from being inadvertently injured while performing a precise surgical operation by a treatment from a remote place.
  • the communication state between the master device 20 and the slave device 30 which are physically far apart is unstable, a danger is detected between the slave device 30 and the simulation device 50, and the state is changed to a safe state. Can be migrated.
  • the simulation device 50 reconfigures the virtual slave environment based on the slave environment information and the slave operation information, and simulates an operation request in the virtual slave environment. As a result, a phenomenon caused by an operation request can be predicted with high accuracy.
  • the master device 20 transmits some requests such as an emergency stop request directly to the slave device 30 without relaying the simulation device 50. As a result, the simulation for the emergency stop request in the simulation device 50 is not performed, so that the danger avoidance operation from the master device 20 can be transmitted to the slave device 30 more quickly.
  • the master device 20 reconfigures the virtual reality virtual slave environment using the slave environment information and the slave operation information. Thereby, it is possible to present an image of a free viewpoint that is easy to operate to the master device 20.
  • the simulation device 50 can execute the reconstructed virtual slave environment and the previously reconstructed virtual slave environment. What is necessary is just to transmit the difference information with respect to the slave environment to the master device 20 side. As a result, communication data being executed can be reduced.
  • one operation request execution unit 32 may be provided for the operation execution unit, or one operation request execution unit 32 may be provided for a plurality of operation execution units. May be provided. That is, the remote operation system 1 may be provided with a plurality of slave devices 30 in which the operation execution units and the operation request execution units 32 are associated with each other on a one-to-one basis. One slave device 30 associated with the execution unit may be provided. Further, in the above description, a case has been described in which one simulation device 50 is provided in the remote operation system 1, but a plurality of simulation devices 50 may be provided.
  • FIG. 11 is a hardware configuration diagram illustrating an example of a computer that implements the functions of the information processing apparatus according to the embodiment.
  • the information processing devices such as the master device 20 and the simulation device 50 in the embodiment described above are realized by the computer 1000.
  • the computer 1000 has a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, a HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600. Each unit of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on a program stored in the ROM 1300 or the HDD 1400, and controls each unit. For example, the CPU 1100 loads a program stored in the ROM 1300 or the HDD 1400 into the RAM 1200, and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 starts up, a program that depends on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium for non-temporarily recording a program executed by the CPU 1100 and data used by the program.
  • HDD 1400 is a recording medium that records an information processing program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for connecting the computer 1000 to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device via the communication interface 1500 or transmits data generated by the CPU 1100 to another device.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or a mouse via the input / output interface 1600.
  • the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600.
  • the input / output interface 1600 may function as a media interface that reads a program or the like recorded on a predetermined recording medium (media).
  • the medium is, for example, an optical recording medium such as a DVD (Digital Versatile Disc), a PD (Phase Changeable Rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. It is.
  • an optical recording medium such as a DVD (Digital Versatile Disc), a PD (Phase Changeable Rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. It is.
  • the CPU 1100 of the computer 1000 executes the information processing program loaded on the RAM 1200 to thereby execute the virtual slave environment reconfiguration unit 54, the difference information extraction unit The functions of 55, an operation stop detection unit 56, an operation request confirmation unit 57, and a safe state transition unit 58 are realized.
  • the HDD 1400 stores an information processing program according to the present disclosure and data in the slave environment model storage unit 53. Note that the CPU 1100 reads and executes the program data 1450 from the HDD 1400. However, as another example, the CPU 1100 may acquire these programs from another device via the external network 1550.
  • An operation request for the device based on device side information including device state information indicating a state of the device at a first time point and target state information indicating a state of a target to be operated;
  • An information processing apparatus comprising: an operation request confirmation unit that controls execution of the operation request based on device side information updated up to a second time point when the request is received.
  • the subject is a patient;
  • the device is an operation execution unit that performs a treatment on the patient,
  • the device state information indicates a position and an operation state of the operation execution unit,
  • the information processing apparatus according to any one of (1) to (6), wherein the target state information is a state of a diseased part of the patient and biological information.
  • An operation request for the device based on device side information including device state information indicating a state of the device at a first time point and target state information indicating a state of a target to be operated;
  • An information processing method for controlling execution of the operation request based on device-side information updated up to a second time point at which the request is received.
  • An operation request for the device based on device side information including device state information indicating a state of the device at a first time point and target state information indicating a state of a target to be operated;

Abstract

マスタスレーブ制御方式で情報処理装置を介して操作対象の装置を制御可能な場合に、操作対象の装置の動作の安全性を確認することができるようにするべく、情報処理装置(50)は、第１時点での装置の状態を示す装置状態情報と、操作される対象の状態を示す対象状態情報とを含む装置側情報に基づく前記装置に対する動作要求と、前記第１時点の後で前記動作要求を受信する第２時点までの間で更新された装置側情報と、に基づいて、前記動作要求の実行を制御する動作要求確認部(57)を有するように構成した。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　マスタスレーブ制御方式で遠隔地に存在するスレーブ装置を制御するシステムで、スレーブ装置の動作をシミュレーションするシミュレーション装置を介在させる技術が提案されている。
特表２０１７－５１０８２６号公報 特開平７－８４６４０号公報
　上記の従来技術では、シミュレーション装置でスレーブ装置についての仮想環境を生成し、マスタ装置側に提示するものである。そのため、遠隔地に存在するスレーブ装置に対して動作要求を実行した結果の安全性については考慮されていないという問題点があった。
　そこで、本開示では、マスタスレーブ制御方式で情報処理装置を介して操作対象の装置を制御可能な場合に、操作対象の装置の動作の安全性を確認することができる情報処理装置、情報処理方法及びプログラムを提案する。
　本開示によれば、第１時点での装置の状態を示す装置状態情報と、操作される対象の状態を示す対象状態情報とを含む装置側情報に基づく前記装置に対する動作要求と、前記第１時点の後で前記動作要求を受信する第２時点までの間で更新された装置側情報と、に基づいて、前記動作要求の実行を制御する動作要求確認部を有する情報処理装置が提供される。
　本開示によれば、マスタスレーブ制御方式で情報処理装置を介して操作対象の装置を制御可能な場合に、操作対象の装置の動作の安全性を確認することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の一実施形態にかかる情報処理装置が適用される遠隔操作システムの概略構成の一例を示す図である。 本開示の実施形態にかかる遠隔操作システムの機能構成を模式的に示すブロック図である。 スレーブ環境観測装置での処理手順の一例を示すフローチャートである。 スレーブ装置での処理手順の一例を示すフローチャートである。 シミュレーション装置での情報処理方法の処理手順の一例を示すフローチャートである。 マスタ装置での処理手順の一例を示すフローチャートである。 実施形態による遠隔操作システムでの情報処理方法の手順の一例を示すシーケンス図である。 患者の患部とスレーブ装置の動作実行部との位置関係を模式的に示す図である。 患者の患部とスレーブ装置の動作実行部との位置関係を模式的に示す図である。 患者の患部とスレーブ装置の動作実行部との位置関係を模式的に示す図である。 患者の患部とスレーブ装置の動作実行部との位置関係を模式的に示す図である。 シミュレーション装置での動作要求確認処理の詳細を説明する図である。 実施形態による遠隔操作システムにおける情報の流れの一例を模式的に示す図である。 実施形態による遠隔操作システムにおける情報の流れの一例を模式的に示す図である。 実施形態による遠隔操作システムにおける情報の流れの一例を模式的に示す図である。 実施形態による情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
［実施形態に係るシステムの構成］
　図１は、本開示の一実施形態にかかる情報処理装置が適用される遠隔操作システムの概略構成の一例を示す図である。なお、以下では、遠隔操作システム１として、操作者である執刀医７１が処理対象である患者７２に対して遠隔操作で処置を施す遠隔医療システムを例に挙げて説明する。
　遠隔操作システム１は、マスタコンソール１０と、マスタ装置２０と、スレーブ装置３０と、スレーブ環境観測装置４０と、シミュレーション装置５０と、を備える。マスタコンソール１０およびマスタ装置２０は、例えば通信線６０を介して接続される。マスタ装置２０とシミュレーション装置５０とは、第１ネットワーク６１を介して接続される。スレーブ装置３０とスレーブ環境観測装置４０とシミュレーション装置５０とは、第２ネットワーク６２を介して接続される。マスタ装置２０およびマスタコンソール１０は、スレーブ装置３０、スレーブ環境観測装置４０およびシミュレーション装置５０に対して遠隔地に設置される。例えば、マスタ装置２０およびマスタコンソール１０は、スレーブ装置３０、スレーブ環境観測装置４０およびシミュレーション装置５０が設置される建物とは異なる建物に設置される。
　第２ネットワーク６２は、第１ネットワーク６１に対して通信の遅延が小さい、安定したネットワークが用いられる。例えば、第２ネットワーク６２は、第１ネットワーク６１に比して更新周期が早いネットワークである。第１ネットワーク６１は、例えば、Ethernet（登録商標）を含むＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）またはインタネットなどである。第２ネットワーク６２は、ＦＡ（Factory　Automation）ネットワークで使用されるリアルタイムネットワーク、第５世代（５Ｇ）無線通信方式のネットワークなどである。これによって、シミュレーション装置５０と、スレーブ装置３０およびスレーブ環境観測装置４０と、の間では、更新周期が短く、低遅延の通信が実現される。
　マスタコンソール１０は、マスタ装置２０に接続され、手術を施行する執刀医７１のためのユーザインターフェース機能を実現する入出力装置である。マスタコンソール１０は、例えば、執刀医７１がスレーブ環境を把握するための立体視ディスプレイ、又は情報を提示するためのインジケータなどの表示装置と、ハプティックデバイス、フットペダル、緊急停止ボタンなどの入力装置と、を含む。を有する。執刀医７１には、手術を受ける患者７２の患部の仮想対象環境である仮想スレーブ環境が提示され、執刀医７１は提示された情報を基に次の動作要求を行う。
　マスタ装置２０は、マスタコンソール１０と遠隔のシミュレーション装置５０及びスレーブ装置３０とを連携させる装置である。マスタ装置２０は、シミュレーション装置５０からの情報に基づいて仮想スレーブ環境を再構成し、マスタコンソール１０から入力されたスレーブ装置３０への動作要求をシミュレーション装置５０またはスレーブ装置３０へと送信する。マスタ装置２０は、緊急停止などの予め定められた動作要求は直接にスレーブ装置３０へと送信し、それ以外の動作要求は、シミュレーション装置５０へと送信する。
　スレーブ装置３０は、マスタ装置２０又はシミュレーション装置５０からの動作要求にしたがって、患者７２に対して処理を行う動作実行部を有する装置である。動作実行部は、ステージまたはアームのような駆動される機械である。また、アームの先端には、操作のためのグリッパ、レーザ照射のためのツールなどが設けられる。動作実行部は、用途別に複数設けられてもよい。また、スレーブ装置３０は、動作実行部の状態であるスレーブ動作情報を検知部（センサ）で観測し、シミュレーション装置５０に送信する。スレーブ動作情報は、装置状態情報の一種である。
　スレーブ環境観測装置４０は、患者７２の状態又は患者７２の患部の状態であるスレーブ環境情報を観測し、シミュレーション装置５０に送信する。スレーブ環境観測装置４０は、スレーブ装置３０から独立して設置されてもよいし、スレーブ装置３０に装着されていてもよい。このようなスレーブ環境観測装置４０として、患者７２、特に術野を撮像するカメラ、患者７２の微小な位置を撮像する顕微鏡、患者７２の生体情報を計測する生体情報計測部などがある。生体情報は、例えば、血圧、心拍数、血流量などである。スレーブ装置３０に装着されているスレーブ環境観測装置４０として、スレーブ装置３０のツールの先端の触覚センサまたは力センサなどがある。スレーブ環境情報は、操作される対象の状態を示す対象状態情報の一種である。なお、装置側情報は、装置状態情報と対象状態情報とを含む情報である。
　マスタ装置２０とスレーブ装置３０との間は、ユニラテラル制御系であってもよいし、バイラテラル制御系であってもよい。バイラテラル制御系の場合には、スレーブ環境観測装置４０の構成によっては、マスタコンソール１０の入力装置に、処理対象を動作実行部で操作した場合の力覚および触覚が、ハプティックデバイスを通して、執刀医７１に提示される。
　シミュレーション装置５０は、スレーブ装置３０からのスレーブ動作情報と、スレーブ環境観測装置４０からのスレーブ環境情報と、を含む装置側情報を用いて、シミュレーションによって処理対象についての仮想スレーブ環境を生成する。仮想スレーブ環境は、術野の状態変化とスレーブ装置３０の位置とを含む。シミュレーション装置５０は、生成した仮想スレーブ環境を用いて、仮想スレーブ環境を生成した時点でスレーブ装置３０の動作を停止した方がよいかを判定し、動作を停止した方がよい場合には、患者７２が安全な状態となるようにスレーブ装置３０を制御する。また、シミュレーション装置５０は、マスタ装置２０からの動作要求を受信すると、その時点で最新の仮想スレーブ環境を用いて動作要求のシミュレーションを行い、患者７２に対する安全性が確認された後に、スレーブ装置３０に動作要求を送信する。また、安全性が確認されない場合には、患者７２が安全な状態となるように、スレーブ装置３０を制御する。この他に、シミュレーション装置５０は、生成した仮想スレーブ環境について、前回の生成した仮想スレーブ環境からの差分情報を生成し、差分情報とスレーブ動作情報とをマスタ装置２０に対して送信する。これによって、シミュレーション装置５０からマスタ装置２０に送信するデータを削減することができ、第１ネットワーク６１での通信遅延を減少させ、また、通信周期を増加させることができる。
　このように、シミュレーション装置５０は、仮想スレーブ環境を時間遅延なくシミュレートするために非常に演算性能が高いＣＰＵ（Central　Processing　Unit）／ＧＰＵ（Graphics　Processing　Unit）が搭載されていることが望ましい。また、シミュレーション装置５０は、上記したように、マスタ装置２０とは第１ネットワーク６１で接続され、スレーブ装置３０とは第２ネットワーク６２で接続されているので、マスタ装置２０よりもスレーブ装置３０との通信が低遅延であり、接続が安定している。シミュレーション装置５０は、スレーブ装置３０と隣接して設置されていてもよいが、上記の条件を満たせばサーバルーム又はエッジクラウドに設置されていてもよい。
　つぎに、遠隔操作システム１を構成する各装置の機能について、詳細に説明する。図２は、本開示の実施形態にかかる遠隔操作システムの機能構成を模式的に示すブロック図である。マスタコンソール１０は、情報提示部１１と、操作入力部１２と、を備える。
　情報提示部１１は、患者７２の術野に関する情報を執刀医７１に対して提示する表示装置である。患者７２の術野に関する情報は、例えば、マスタ装置２０で再構成した仮想スレーブ環境又は患者７２の術野を撮像した映像である。情報提示部１１は、これらを両方同時に表示してもよいし、いずれか一方を表示してもよい。情報提示部１１によって術野を撮像した映像が表示される場合には、スレーブ環境観測装置４０で撮像した部分の情報しか提示されない。一方、情報提示部１１によって仮想スレーブ環境が表示される場合には、患者７２の術野の情報を３次元空間で再構成したものであるので、角度を変えて表示させたり、近くに寄って表示させたりすることができる。また、情報提示部１１は、対象である患者７２の解剖学的な情報又は患部若しくは治療に関する情報を、術野に関する情報にオーバーレイして表示してもよい。
　操作入力部１２は、患者７２への処理を行うにあたって、スレーブ装置３０に対する動作要求を行う入力装置である。
　マスタ装置２０は、通信部２１と、スレーブ環境モデル記憶部２２と、仮想スレーブ環境再構成部２３と、を備える。通信部２１は、シミュレーション装置５０又はスレーブ装置３０との間で通信を行う。通信部２１は、例えばマスタコンソール１０での入力内容をスレーブ装置３０への動作要求として、シミュレーション装置５０又はスレーブ装置３０に送信する。通信部２１は、マスタコンソール１０から緊急停止の指示が入力されると、緊急停止要求をスレーブ装置３０へと送信する。通信部２１は、マスタコンソール１０からの緊急停止以外の指示が入力されると、通常の動作要求として、スレーブ装置３０ではなくシミュレーション装置５０へと送信する。
　スレーブ環境モデル記憶部２２は、仮想スレーブ環境再構成部２３で仮想スレーブ環境を再構成する場合に、シミュレーション装置５０との間で共有しているスレーブ環境モデルを記憶する。スレーブ環境モデルは、仮想現実の術野を再構成する際に、ＣＴ（Computerized　Tomography）装置などの３次元断層画像取得装置で取得した患者７２の身体データなどから加工したモデル情報である。
　仮想スレーブ環境再構成部２３は、スレーブ環境モデル記憶部２２に記憶されているスレーブ環境モデルに、シミュレーション装置５０からの差分情報及びスレーブ動作情報を用いて、仮想スレーブ環境を再構成する。なお、この明細書では、仮想スレーブ環境の再構成には、差分情報及びスレーブ動作情報を用いた更新も含まれるものとする。ここで再構成された仮想スレーブ環境は、マスタコンソール１０の情報提示部１１に出力される。
　スレーブ環境観測装置４０は、環境観測部４１と、通信部４２と、を備える。環境観測部４１は、スレーブ環境である患者７２の状態であるスレーブ環境情報を観測する観測装置である。スレーブ環境は、対象である患者７２の視覚的な情報と、非視覚的な情報と、を含む。視覚的な情報としては、患者７２の見た目の様子、患部の様子などを例示することができる。視覚的な情報を取得する環境観測部４１は、例えば、患者７２の術野を撮像するカメラなどである。非視覚的な情報としては、患者７２の血圧、心拍数などを例示することができる。非視覚的な情報を取得する環境観測部４１は、例えば、血圧計、心拍計などである。
　通信部４２は、環境観測部４１によって観測されたスレーブ環境情報を、シミュレーション装置５０に送信する。
　スレーブ装置３０は、通信部３１と、動作要求実行部３２と、を備える。通信部３１は、マスタ装置２０又はシミュレーション装置５０との間で通信を行う。例えば、通信部３１は、マスタ装置２０又はシミュレーション装置５０から緊急停止要求を含む動作要求を受信する。また、通信部３１は、スレーブ装置３０の動作実行部の状態であるスレーブ動作情報を、動作実行部に設けられた検知部から取得して、シミュレーション装置５０に送信する。スレーブ動作情報は、動作実行部の位置及び動作状態であり、例えば動作実行部がアームである場合には、アームの角度、アームの先端の患部からの距離などである。
　シミュレーション装置５０は、マスタ通信部５１と、スレーブ通信部５２と、スレーブ環境モデル記憶部５３と、仮想スレーブ環境再構成部５４と、差分情報抽出部５５と、動作停止検知部５６と、動作要求確認部５７と、安全状態移行部５８と、を備える。
　マスタ通信部５１は、マスタ装置２０との間で通信を行う。すなわち、マスタ通信部５１は、マスタ装置２０からの緊急停止要求以外の動作要求を受信する。また、マスタ通信部５１は、スレーブ動作情報及び差分情報をマスタ装置２０に送信する。
　スレーブ通信部５２は、スレーブ装置３０およびスレーブ環境観測装置４０との間で通信を行う。すなわち、スレーブ通信部５２は、スレーブ環境観測装置４０からのスレーブ環境情報と、スレーブ装置３０からのスレーブ動作情報と、を受信する。スレーブ通信部５２は、安全状態移行部５８で安全状態への移行が必要であると判定された場合に、動作切り替え指示をスレーブ装置３０に送信する。また、スレーブ通信部５２は、動作要求確認部５７で動作要求に対する安全性が確認できた場合に、スレーブ装置３０に対して動作要求を送信する。
　スレーブ環境モデル記憶部２２は、仮想スレーブ環境再構成部５４で仮想スレーブ環境を再構成する場合に、マスタ装置２０との間で共有しているスレーブ環境モデルを記憶する。
　仮想スレーブ環境再構成部５４は、スレーブ環境モデル記憶部２２に記憶されているスレーブ環境モデルに、スレーブ装置３０からのスレーブ動作情報及びスレーブ環境観測装置４０からのスレーブ環境情報を用いて、仮想スレーブ環境を再構成する。仮想スレーブ環境再構成部５４は、仮想対象環境再構成部に対応する。
　差分情報抽出部５５は、マスタ装置２０とシミュレーション装置５０との間で予めモデル情報が共有されている場合に、直前の時刻から現在の時刻で仮想スレーブ環境が時系列変化した差分情報を抽出し、マスタ装置２０に送信する。具体的には、差分情報抽出部５５は、仮想スレーブ環境再構成部５４で再構成された第１仮想スレーブ環境と、第１仮想スレーブ環境の前に仮想スレーブ環境再構成部５４で再構成された第２仮想スレーブ環境と、の差分を差分情報として抽出する。差分情報は、マスタ通信部５１を介してマスタ装置２０へと送信される。
　動作停止検知部５６は、仮想スレーブ環境再構成部５４で仮想スレーブ環境が再構成された場合に、スレーブ装置３０の動作を停止させる状況の発生を検知する。動作停止検知部５６は、例えば、再構成された仮想スレーブ環境から、スレーブ装置３０が動作を停止する条件を示す動作停止条件を満たすかを判定し、動作停止条件を満たす場合に、停止条件発生通知を安全状態移行部５８に通知する。また、動作停止検知部５６は、停止条件発生通知をマスタ装置２０にマスタ通信部５１を介して通知する。
　動作停止条件として、例えば、スレーブ装置３０の動作実行部が動作要求通りに動作していないこと、スレーブ装置３０の動作実行部が患者７２の患部以外の場所を侵襲していること、患部付近が極度に変形しているなど通常状態から逸脱していること、患者７２の生体情報が想定範囲を超えていること、などを例示することができる。患者７２の生体情報は、例えば、心拍、血圧、血中酸素濃度、出血などである。
　動作要求確認部５７は、マスタ装置２０から動作要求を受けた場合に、動作要求を受けた時点で再構成されている仮想スレーブ環境を用いて、動作要求についてシミュレーションを実行し、患者７２の安全性を確認する。患者７２の安全性の確認は、安全判断基準を用いて行われる。安全判断基準として、例えば、スレーブ装置３０の動作実行部が事前設定された位置、速度、加速度の範囲内で動作すること、スレーブ装置３０の動作実行部が事前設定された力の範囲で患部に接触すること、スレーブ装置３０の動作実行部の動作によって患部付近が極度に変形しないこと、などを例示することができる。
　動作要求確認部５７は、シミュレーションの結果、患者７２の安全性が確認された場合に、マスタ装置２０からの動作要求をスレーブ通信部５２を介してスレーブ装置３０へと送信する。また、動作要求確認部５７は、シミュレーションの結果、患者７２の安全性が確認されなかった場合に、マスタ装置２０からの動作要求をスレーブ装置３０へと送信せず、停止条件発生通知を安全状態移行部５８に通知する。さらに、動作要求確認部５７は、停止条件発生通知をマスタ装置２０にマスタ通信部５１を介して通知する。
　安全状態移行部５８は、動作停止検知部５６又は動作要求確認部５７から停止条件発生通知を受けると、スレーブ装置３０に安全を確保するための動作を実行させる動作切り替え指示を送信する。動作切り替え指示は、マスタ装置２０からの動作要求に従った処理から、患者７２の安全性を確保するための動作への切り替えを実行する指示である。動作切り替え指示は、患者７２に対するスレーブ装置３０の動作実行部の位置などによって内容が異なる。例えば、動作実行部が患者７２から離れた場所に位置している場合には、その状態のまま停止させる。また、例えば、動作実行部が患者７２に接触している場合には、動作実行部を患者７２から離した後に停止させる。
［実施形態に係る処理手順］
　つぎに、遠隔操作システム１を構成するスレーブ環境観測装置４０、スレーブ装置３０、シミュレーション装置５０及びマスタ装置２０での処理について説明する。
　図３は、スレーブ環境観測装置での処理手順の一例を示すフローチャートである。スレーブ環境観測装置４０の環境観測部４１は、患者７２についての情報であるスレーブ環境情報を取得する（ステップＳ１１）。スレーブ環境情報は、上記したように患者７２の患部の撮像データ、患者７２の血圧、心拍数などの生体情報などである。その後、通信部４２は、取得したスレーブ環境情報をシミュレーション装置５０に送信する（ステップＳ１２）。以上の処理が、遠隔操作システム１が稼働している間実行される。
　図４は、スレーブ装置での処理手順の一例を示すフローチャートである。まず、スレーブ装置３０の通信部３１は、動作実行部に含まれる検知部から動作実行部についての動作状態を示すスレーブ動作情報を取得し（ステップＳ３１）、スレーブ動作情報をシミュレーション装置５０に送信する（ステップＳ３２）。
　ついで、動作要求実行部３２は、マスタ装置２０から緊急停止要求を受信したかを判定する（ステップＳ３３）。緊急停止要求を受信した場合（ステップＳ３３でＹｅｓの場合）には、動作要求実行部３２は、動作実行部の緊急停止を実行する（ステップＳ３４）。これによって、スレーブ装置３０は、動作を停止し、処理が終了する。
　一方、緊急停止要求を受信しなかった場合（ステップＳ３３でＮｏの場合）には、動作要求実行部３２は、シミュレーション装置５０から動作切り替え指示を受信したかを判定する（ステップＳ３５）。動作切り替え指示を受信している場合（ステップＳ３５でＹｅｓの場合）には、動作要求実行部３２は、スレーブ装置３０の動作を安全状態へと移行させる処理を実行する（ステップＳ３６）。安全状態への移行処理として、例えばスレーブ装置３０の動作実行部の停止、または動作実行部が患者７２に接触しない位置への退避などが例示される。そして、処理が終了する。
　また、動作切り替え指示を受信していない場合（ステップＳ３５でＮｏの場合）には、動作要求実行部３２は、動作要求を受信したかを判定する（ステップＳ３７）。動作要求を受信している場合（ステップＳ３７でＹｅｓの場合）には、動作要求実行部３２は、動作要求を実行する（ステップＳ３８）。その後、又はステップＳ３７で動作要求を受信していない場合（ステップＳ３７でＮｏの場合）には、ステップＳ３１へと処理が戻る。
　図５は、シミュレーション装置での情報処理方法の処理手順の一例を示すフローチャートである。まず、シミュレーション装置５０のスレーブ通信部５２は、スレーブ装置３０からスレーブ動作情報を受信し（ステップＳ５１）、スレーブ環境観測装置４０からスレーブ環境情報を受信する（ステップＳ５２）。その後、仮想スレーブ環境再構成部５４は、受信したスレーブ動作情報及びスレーブ環境情報を含む装置側情報を用いて仮想現実の仮想スレーブ環境を再構成する（ステップＳ５３）。このとき、スレーブ環境モデル記憶部５３にスレーブ環境モデルが記憶されている場合には、スレーブ環境モデルも用いられる。
　その後、動作停止検知部５６は、再構成された仮想スレーブ環境を用いて、スレーブ装置３０の動作を停止させる必要があるかを判定する動作停止検知処理を実行する（ステップＳ５４）。例えば、動作停止検知部５６は、仮想スレーブ環境が動作停止条件を満たすかを判定することによって、スレーブ装置３０の動作の停止の要否を判定する。その結果、スレーブ装置３０の動作を停止させる必要がない場合（ステップＳ５５でＮｏの場合）には、差分情報抽出部５５は、再構成した仮想スレーブ環境と、その前に再構成した仮想スレーブ環境と、の差分情報を抽出する（ステップＳ５６）。その後、マスタ通信部５１は、スレーブ動作情報及び差分情報をマスタ装置２０に送信する（ステップＳ５７）。
　ついで、マスタ通信部５１は、マスタ装置２０から動作要求を受信したかを判定する（ステップＳ５８）。マスタ装置２０から動作要求を受信した場合（ステップＳ５８でＹｅｓの場合）には、動作要求確認部５７は、現在の仮想スレーブ環境、すなわちステップＳ５３で再構成された仮想スレーブ環境に対して、受信した動作要求のシミュレーションを実行する（ステップＳ５９）。そして、動作要求確認部５７は、シミュレーションの結果、動作要求の安全性を確認できたかを判定する（ステップＳ６０）。例えば、動作要求確認部５７は、シミュレーションの結果が安全判断基準を満たすかを判定することによって、動作要求の安全性を判定する。
　動作要求の安全性を確認できた場合（ステップＳ６０でＹｅｓの場合）には、スレーブ通信部５２は、マスタ装置２０から受信した動作要求をスレーブ装置３０に送信する（ステップＳ６１）。その後、又はステップＳ５８でマスタ装置２０から動作要求を受信していない場合（ステップＳ５８でＮｏの場合）には、処理がステップＳ５１へと戻る。
　動作要求の安全性を確認できなかった場合（ステップＳ６０でＮｏの場合）、あるいは、ステップＳ５５で動作を停止させる必要がある場合（ステップＳ５５でＹｅｓの場合）には、安全状態移行部５８は動作切り替え指示をスレーブ装置３０に送信する（ステップＳ６２）。また、安全状態移行部５８は、スレーブ装置３０の動作を停止したことをマスタ装置２０に通知する（ステップＳ６３）。そして、処理が終了する。
　このように、動作要求を受信した時点で最新の仮想スレーブ環境を用いて動作要求の実行をシミュレーションし、その結果に基づいて、動作要求をスレーブ装置３０へと渡すか否かを制御する。これによって、マスタコンソール１０で指示した時は安全であった動作要求をシミュレーション装置で受信した時に安全性が確認できないものに変わった場合に、マスタ装置２０の操作者である執刀医７１の確認を得ることなく、処理を中断させることができる。これによって、実空間でも患者７２の安全性を確保することができる。
　図６は、マスタ装置での処理手順の一例を示すフローチャートである。まず、マスタ装置２０の通信部２１は、シミュレーション装置５０から差分情報と、スレーブ動作情報と、を受信する（ステップＳ７１）。ついで、仮想スレーブ環境再構成部２３は、受信したスレーブ動作情報及び差分情報を用いて、仮想現実の仮想スレーブ環境を再構成する（ステップＳ７２）。このとき、スレーブ環境モデル記憶部２２にスレーブ環境モデルが記憶されている場合には、スレーブ環境モデルも用いられる。
　ついで、マスタコンソール１０の情報提示部１１は、再構成した仮想スレーブ環境を表示する（ステップＳ７３）。操作者である執刀医７１は、情報提示部１１で表示された仮想スレーブ環境を見ながら、操作入力部１２を操作する。マスタ装置２０の通信部２１は、マスタコンソール１０の操作入力部１２から緊急停止要求の送信が要求されたかを判定する（ステップＳ７４）。
　緊急停止要求の送信が要求された場合（ステップＳ７４でＹｅｓの場合）には、通信部２１は、緊急停止要求をスレーブ装置３０に送信し（ステップＳ７５）、処理が終了する。
　また、緊急停止要求の送信が要求されていない場合（ステップＳ７４でＮｏの場合）には、通信部２１は、マスタコンソール１０の操作入力部１２から動作要求の送信が要求されたかを判定する（ステップＳ７６）。動作要求の送信が要求された場合（ステップＳ７６でＹｅｓの場合）には、通信部２１は、動作要求をシミュレーション装置５０に送信する（ステップＳ７７）。
　その後、又は動作要求の送信が要求されていない場合（ステップＳ７６でＮｏの場合）には、ステップＳ７１に処理が戻る。
　つぎに、遠隔操作システム１を構成するスレーブ環境観測装置４０、スレーブ装置３０、シミュレーション装置５０、マスタ装置２０およびマスタコンソール１０間での処理の流れについて説明する。図７は、実施形態による遠隔操作システムでの情報処理方法の手順の一例を示すシーケンス図である。図８Ａ～図８Ｄは、患者の患部とスレーブ装置の動作実行部との位置関係を模式的に示す図である。図９は、シミュレーション装置での動作要求確認処理の詳細を説明する図である。
　まず、時刻ｔ１で、スレーブ環境観測装置４０は、患者７２の状態を観測し、また、スレーブ装置３０は、動作実行部の状態を観測（取得）する。例えば、図９のスレーブ環境３３１に示されるスレーブ装置３０の動作実行部３５と患者７２の患部７２１の状態が取得される。スレーブ環境情報として、患部７２１の形状が取得され、スレーブ動作情報として、動作実行部３５の先端位置、速度などが取得される。
　そして、スレーブ装置３０は第２ネットワーク６２を介してスレーブ動作情報をシミュレーション装置５０に送信し、スレーブ環境観測装置４０は第２ネットワーク６２を介してスレーブ環境情報をシミュレーション装置５０に送信する（図７のＳＱ１１）。
　その後、シミュレーション装置５０では、受信したスレーブ動作情報及びスレーブ環境情報を用いて、図９に示されるように仮想スレーブ環境７１０ｔ１を再構成する（図７のＳＱ１２）。上記したように、患者７２のスレーブ環境モデルが存在する場合には、スレーブ環境モデルを基に、スレーブ動作情報及びスレーブ環境情報を用いて、仮想スレーブ環境が再構成される。
　その後、シミュレーション装置５０は、再構成した仮想スレーブ環境と、その前に再構成した仮想スレーブ環境との差分である差分情報を抽出する（図７のＳＱ１３）。ここでは、差分情報は、例えば時刻ｔ１の仮想スレーブ環境７１０ｔ１と図示していない時刻ｔ０の仮想スレーブ環境との差分となる。
　また、シミュレーション装置５０は、再構成した仮想スレーブ環境を用いて、動作停止検知処理を行う（図７のＳＱ１４）。動作停止検知処理の一例が図８Ａ～図８Ｄに示されている。例えば、図８Ａは、スレーブ装置３０の動作実行部３５は、これより前に受けた動作要求の通りの位置に存在し、患者７２の患部７２１は、動作実行部３５に侵襲されていない状態が示されている。このように、動作実行部３５が動作要求通りに動作しており、動作実行部３５が患者７２の患部７２１以外の場所に侵襲しておらず、患部７２１付近が極度に変形していない、通常状態にある場合には、動作停止の条件を満たさないので、そのままスレーブ装置３０の動作が続行される。
　図８Ｂは、スレーブ装置３０の動作実行部３５が動作要求通りに動作していない場合の一例を示し、図８Ｃは、スレーブ装置３０の動作実行部３５が動作要求通りに動作していないとともに、動作実行部３５が患者７２の患部７２１以外の場所７２２に侵襲している場合の一例を示している。また、図８Ｄは、患部７２１付近が極度に変形しており、通常状態から逸脱している場合の一例を示している。これらの図８Ｂ～図８Ｄに該当する場合には、シミュレーション装置５０は、動作停止の条件を満たすので、スレーブ装置３０を安全状態へと移行させる。なお、ここでは、図８Ａに示されるように、スレーブ装置３０は動作停止の条件を満たさなかったものとする。
　図７に戻り、シミュレーション装置５０は、第１ネットワーク６１を介してスレーブ動作情報及び差分情報をマスタ装置２０へと送信する（図７のＳＱ１５）。そして、マスタ装置２０は、受信したスレーブ動作情報及び差分情報を用いて仮想スレーブ環境を再構成し（図７のＳＱ１６）、マスタコンソール１０に情報を提示する（図７のＳＱ１７）。図９に示されるように、マスタコンソール１０の情報提示部１１に仮想スレーブ環境７１０ｔ１が表示される。
　患部７２１は時々刻々と変化し、スレーブ装置３０の動作実行部３５は、動作要求された状態に移行するまでに時間を要する。そのため、スレーブ装置３０およびスレーブ環境観測装置４０では、例えば所定の周期でスレーブ動作情報及びスレーブ環境情報を取得し、シミュレーション装置５０に送信している（図７のＳＱ２１）。ここでは、図９の時刻ｔ２のスレーブ環境３３２に示されるスレーブ装置３０の動作実行部３５と患者７２の患部７２１の状態が、スレーブ環境情報およびスレーブ動作情報として取得され、シミュレーション装置５０に送信される。
　その後、シミュレーション装置５０では、時刻ｔ２でのスレーブ動作情報及びスレーブ環境情報を用いて、図９に示されるように、仮想スレーブ環境７１０ｔ２を再構成する（図７のＳＱ２２）。第１ネットワーク６１の更新周期は、第２ネットワーク６２の更新周期よりも長いという前提であるので、この仮想スレーブ環境７１０ｔ２は、マスタ装置２０へと送信されない。また、シミュレーション装置５０は、再構成した仮想スレーブ環境７１０ｔ２を用いて、動作停止検知処理を行う（図７のＳＱ２３）。ここでも、スレーブ装置３０は動作停止の条件を満たさなかったものとする。
　一方、執刀医７１は、ＳＱ１７でマスタコンソール１０に表示された仮想スレーブ環境７１０ｔ１を見て、時刻ｔ３で操作を行うことになる（図７のＳＱ１８）。執刀医７１によるマスタコンソール１０の操作入力部１２の操作が、動作要求としてマスタ装置２０からシミュレーション装置５０へと送信される（図７のＳＱ３１）。例えば、図９で、執刀医７１は、情報提示部１１に表示された仮想スレーブ環境７１０ｔ１を見ながら、動作実行部３５を所望の位置へと移動させるように操作入力部１２を操作すると、動作要求１５０が生成される。
　シミュレーション装置５０では、動作要求を受信すると、受信した動作要求をスレーブ装置３０で実行したときに、患者７２に対して安全性を確保できるかの確認を行う（図７のＳＱ３２）。ここで、動作要求は、時刻ｔ２よりも後に受信したものとする。
　図９に示されるように、執刀医７１による動作要求は、時刻ｔ１における仮想スレーブ環境７１０ｔ１に基づいて出されたものであるが、シミュレーション装置５０が動作要求１５０を受信するまでの間に仮想スレーブ環境７１０ｔ２に更新されている。そのため、本実施形態では、シミュレーション装置５０は、仮想スレーブ環境７１０ｔ１ではなく、仮想スレーブ環境７１０ｔ２を用いて、安全性の確認の処理を行うことになる。安全性の確認の処理では、仮想スレーブ環境７１０ｔ１の再構成の後で、動作要求１５０を受信した時点までの間に再構成された仮想スレーブ環境７１０ｔｉ（ｉは２以上の自然数）を用いることができる。ただし、動作要求１５０を受信した時点で最新の仮想スレーブ環境（この場合には仮想スレーブ環境７１０ｔ２）を用いることが望ましい。
　例えば、動作要求１５０を受信した時点で最新の仮想スレーブ環境７１０ｔ２を用いずに、動作要求１５０の送信時にマスタ装置２０が使用した仮想スレーブ環境７１０ｔ１を用いてシミュレーション装置５０がシミュレーションを行った場合を考える。
　時刻ｔ１から時刻ｔ２の間に、患者７２の患部７２１の形状が急激に変化してしまったものとする。この場合、時刻ｔ１の仮想スレーブ環境７１０ｔ１を用いて動作要求についてのシミュレーションを行うと、シミュレーション装置５０上では、安全性に問題がないと判定される。しかし、上記したように、時刻ｔ２での患部７２１の形状の急激な変化によって、実際に動作要求１５０を実行した場合には、急激に形状が変化した患部７２１によって、動作実行部３５が接触してしまう。つまり、意図しない患部に動作実行部３５が接触してしまい、安全性が損なわれてしまう可能性が高くなる。
　一方、動作要求１５０を受信した時点で最新の仮想スレーブ環境７１０ｔ２を用いて、動作要求１５０についてのシミュレーションを行うと、仮想スレーブ環境７１０ｔ２には、既に患部７２１の形状の急激な変化が反映されている。そして、動作実行部３５についての動作要求１５０を実行すると、急激に形状が変化した患部７２１を動作実行部３５が侵襲してしまう結果が得られる。つまり、安全性が確保できないと判定される。その結果、シミュレーション装置５０は、マスタ装置２０へ確認することなく、また患者７２に対して動作要求１５０を実行する前に、安全状態への移行措置を取ることができる。
　なお、ここでは、例として患部７２１の急激な形状の変化を例に挙げたが、スレーブ装置３０の動作実行部３５が事前に設定された位置、速度、加速度の範囲内で動作しない場合、動作実行部３５が事前に設定された力の範囲で患部７２１に接触しない場合、シミュレーション装置５０とマスタ装置２０との間の通信が切断した場合でも同様に、患者７２に対して動作要求を実行する前に、安全状態への移行措置を取ることができる。
　図７に戻り、シミュレーション装置５０は、ＳＱ３２で安全性の確認ができた場合に、安全性が確認された動作要求をスレーブ装置３０に対して送信する（図７のＳＱ３３）。そして、スレーブ装置３０は、動作要求を実行する（図７のＳＱ３４）。以上が、マスタ装置２０が動作要求を送信した時の基になる仮想スレーブ環境と、シミュレーション装置５０が動作要求を受信した時の最新の仮想スレーブ環境と、が異なる場合の安全性を確認する処理である。図示していないが、ＳＱ３２で安全性の確認ができなかった場合には、シミュレーション装置５０は動作切り替え指示をスレーブ装置３０へと送信し、安全状態への移行処理が実行される。
　図１０Ａ～図１０Ｃは、実施形態による遠隔操作システムにおける情報の流れの一例を模式的に示す図である。動作停止検知処理又は動作要求確認処理で、安全状態への移行がなされない場合には、図１０Ａに示されるように、スレーブ環境観測装置４０、スレーブ装置３０、シミュレーション装置５０及びマスタ装置２０との間で、情報のやり取りがされる。すなわち、スレーブ環境観測装置４０からはスレーブ環境情報４０１がシミュレーション装置５０へと送信され、スレーブ装置３０からはスレーブ動作情報３０１がシミュレーション装置５０へと送信される。シミュレーション装置５０からは、差分情報及びスレーブ動作情報５０１がマスタ装置２０へと送信される。一方、マスタ装置２０からは、緊急停止要求以外の動作要求１０１がシミュレーション装置５０へと送信される。シミュレーション装置５０からは、安全性が確認された動作要求１０１がスレーブ装置３０へと送信される。
　一方、図１０Ｂに示されるように、シミュレーション装置５０は、マスタ装置２０との間の通信が切断されたり、通信遅延に起因する状況変化が生じたりした場合には、シミュレーション装置５０は、安全状態移行指示をスレーブ装置３０へと送信する。
　また、図１０Ｃに示されるように、マスタ装置２０は、緊急停止要求１０２が出された場合には、シミュレーション装置５０を経由せず、直接にスレーブ装置３０へと送信する。スレーブ装置３０の動作実行部の動作の停止に関しては、シミュレーション装置５０によって安全性を確認しなくても、安全に処理を停止させることができるからである。
　なお、上記した説明では、遠隔操作システム１として、執刀医７１が患者７２に対して遠隔で処置を行う遠隔医療システムを例に挙げた。しかし、本実施形態がこれに限定されるものではなく、安全性を担保したいアプリケーションに有用である。例えば、遠隔からの介護、介助をサービスロボットによって実施する場合、あるいは遠隔からモバイルロボットを操作する場合などが例示される。より具体的には、橋梁点検又は原子力発電所のような人が行けない場所でのインフラ点検又は作業、災害時の人命救助のための遠隔がれき撤去のような作業、採鉱所又は工事現場での作業などにも適用することができる。さらに、陳列、清掃又は警備といった店舗での作業支援、料理又は洗い物といった生活支援など、完全自動化が困難で遠隔から人による操作が必要な場面にも適用することができる。スレーブ装置３０は、アーム型、車輪走行型、飛行（ドローン）型など用途に適した形態を取り得る。
　実施形態では、シミュレーション装置５０は、処理対象についての第１スレーブ環境情報と、スレーブ装置３０の動作実行部についての第１スレーブ動作情報と、に基づいてマスタ装置２０で生成されたスレーブ装置３０への動作要求を受信する。シミュレーション装置５０は、第１スレーブ環境情報と第１スレーブ動作情報の受信後で、動作要求の受信前までの間で更新された第２スレーブ環境情報と第２スレーブ動作情報とに基づいて、動作要求を行うようにした。これによって、動作要求の基になった第１スレーブ環境情報と第１スレーブ動作情報の受信後に生じた処理対象又はスレーブ装置３０の異変を検知することができる。その結果、動作要求の実行が異変によって処理対象への安全の確保が難しい場合には、動作要求を出さずに、安全状態への移行を指示することができる。つまり、安全性が確認された動作要求のみが実行されるため、通信遅延などの要因でマスタ装置２０側では検知できない危険をシミュレーション装置５０で回避することができる。また、シミュレーション装置５０とスレーブ装置３０との間で、自律的に安全性を確保することができる。
　これによって、マスタ装置２０からの動作要求がスレーブ装置３０に届くまでの時間遅延と、スレーブ装置３０側の環境変化をマスタ装置２０側にフィードバックする際の時間遅延と、が発生する環境でも、制御の安定性と作業環境の安全性を担保することができる。特に、外科治療において、遠隔地からの処置によって精密な術具操作を行いながら患者を不用意に傷つけないことが可能になる。また、物理的に遠く離れたマスタ装置２０とスレーブ装置３０との間の通信状態が不安定であっても、スレーブ装置３０とシミュレーション装置５０との間で危険を検知して、安全状態へと移行することができる。
　また、シミュレーション装置５０は、スレーブ環境情報とスレーブ動作情報とに基づいて、仮想スレーブ環境を再構成し、仮想スレーブ環境で動作要求をシミュレーションする。これによって、動作要求によって生じる現象を高精度で予測することができる。
　さらに、マスタ装置２０は、緊急停止要求などの一部の要求を、シミュレーション装置５０を中継せずにスレーブ装置３０に直接送信する。これによって、シミュレーション装置５０での緊急停止要求に対するシミュレーションが行われないので、マスタ装置２０側からの危険回避動作をより早くスレーブ装置３０に送信することができる。
　また、マスタ装置２０は、スレーブ環境情報とスレーブ動作情報とを用いて、仮想現実の仮想スレーブ環境を再構成する。これによって、マスタ装置２０に操作しやすい自由視点の画像を提示することができる。また、事前にモデル化されたスレーブ環境モデルがマスタ装置２０とシミュレーション装置５０との間で共有されていることで、シミュレーション装置５０は、再構成した仮想スレーブ環境と、その前に再構成した仮想スレーブ環境との間の差分情報をマスタ装置２０側に送信すればよい。その結果、実行中の通信データを削減することができる。
　なお、上述した遠隔操作システム１のスレーブ装置３０において、動作実行部に対して１つの動作要求実行部３２が設けられる構成でもよいし、複数の動作実行部に対して１つの動作要求実行部３２が設けられる構成でもよい。すなわち、遠隔操作システム１に、動作実行部と動作要求実行部３２とが１対１で対応付けられたスレーブ装置３０が複数設けられてもよいし、１つの動作要求実行部３２に複数の動作実行部が対応付けられた１台のスレーブ装置３０が設けられてもよい。また、上記した説明では、遠隔操作システム１にシミュレーション装置５０が１台設けられる場合を説明したが、複数のシミュレーション装置５０が設けられてもよい。
［ハードウェア構成］
　図１１は、実施形態による情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。上述してきた実施形態でのマスタ装置２０、シミュレーション装置５０等の情報処理装置は、コンピュータ１０００によって実現される。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラム、及びコンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、このプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボード又はマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイ、スピーカ又はプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が実施形態に係るシミュレーション装置５０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、仮想スレーブ環境再構成部５４、差分情報抽出部５５、動作停止検知部５６、動作要求確認部５７、安全状態移行部５８の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラム、スレーブ環境モデル記憶部５３内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　第１時点での装置の状態を示す装置状態情報と、操作される対象の状態を示す対象状態情報とを含む装置側情報に基づく前記装置に対する動作要求と、前記第１時点の後で前記動作要求を受信する第２時点までの間で更新された装置側情報と、に基づいて、前記動作要求の実行を制御する動作要求確認部を有する情報処理装置。
（２）
　前記対象についての環境モデル、前記更新された対象状態情報及び前記更新された装置状態情報を用いて、仮想対象環境を再構成する仮想対象環境再構成部をさらに有し、
　前記動作要求確認部は、前記仮想対象環境での前記動作要求のシミュレーション結果に基づいて前記動作要求の実行を制御する（１）に記載の情報処理装置。
（３）
　前記動作要求確認部は、前記動作要求の前記シミュレーション結果が前記対象の安全性を害するものである場合に、前記動作要求を実行しない（２）に記載の情報処理装置。
（４）
　前記更新された装置側情報に基づいて、前記装置の動作を停止させるか否かの検知を行う動作停止検知部をさらに有する（１）～（３）のいずれかに記載の情報処理装置。
（５）
　前記仮想対象環境での前記装置と前記対象との間の関係に基づいて、前記装置の動作を停止させるか否かの検知を行う動作停止検知部をさらに有する（２）に記載の情報処理装置。
（６）
　前記装置側情報の更新周期は、前記動作要求の受信間隔よりも短い（１）～（５）のいずれかに記載の情報処理装置。
（７）
　前記対象は、患者であり、
　前記装置は、前記患者に対して処置を施す動作実行部であり、
　前記装置状態情報は、前記動作実行部の位置及び動作状態を示し、
　前記対象状態情報は、前記患者の患部の状態及び生体情報である（１）～（６）のいずれかに記載の情報処理装置。
（８）
　第１時点での装置の状態を示す装置状態情報と、操作される対象の状態を示す対象状態情報とを含む装置側情報に基づく前記装置に対する動作要求と、前記第１時点の後で前記動作要求を受信する第２時点までの間で更新された装置側情報と、に基づいて、前記動作要求の実行を制御する情報処理方法。
（９）
　コンピュータに、
　第１時点での装置の状態を示す装置状態情報と、操作される対象の状態を示す対象状態情報とを含む装置側情報に基づく前記装置に対する動作要求と、前記第１時点の後で前記動作要求を受信する第２時点までの間で更新された装置側情報と、に基づいて、前記動作要求の実行を制御する機能を実現させるためのプログラム。
　１　遠隔操作システム
　１０　マスタコンソール
　１１　情報提示部
　１２　操作入力部
　２０　マスタ装置
　２１，３１，４２　通信部
　２２，５３　スレーブ環境モデル記憶部
　２３，５４　仮想スレーブ環境再構成部
　３０　スレーブ装置
　３２　動作要求実行部
　３５　動作実行部
　４０　スレーブ環境観測装置
　４１　環境観測部
　５０　シミュレーション装置
　５１　マスタ通信部
　５２　スレーブ通信部
　５５　差分情報抽出部
　５６　動作停止検知部
　５７　動作要求確認部
　５８　安全状態移行部
 
 

Claims (9)

  1. 　第１時点での装置の状態を示す装置状態情報と、操作される対象の状態を示す対象状態情報とを含む装置側情報に基づく前記装置に対する動作要求と、前記第１時点の後で前記動作要求を受信する第２時点までの間で更新された装置側情報と、に基づいて、前記動作要求の実行を制御する動作要求確認部を有する情報処理装置。
  2. 　前記対象についての環境モデル、前記更新された対象状態情報及び前記更新された装置状態情報を用いて、仮想対象環境を再構成する仮想対象環境再構成部をさらに有し、
    　前記動作要求確認部は、前記仮想対象環境での前記動作要求のシミュレーション結果に基づいて前記動作要求の実行を制御する請求項１に記載の情報処理装置。
  3. 　前記動作要求確認部は、前記動作要求の前記シミュレーション結果が前記対象の安全性を害するものである場合に、前記動作要求を実行しない請求項２に記載の情報処理装置。
  4. 　前記更新された装置側情報に基づいて、前記装置の動作を停止させるか否かの検知を行う動作停止検知部をさらに有する請求項１に記載の情報処理装置。
  5. 　前記仮想対象環境での前記装置と前記対象との間の関係に基づいて、前記装置の動作を停止させるか否かの検知を行う動作停止検知部をさらに有する請求項２に記載の情報処理装置。
  6. 　前記装置側情報の更新周期は、前記動作要求の受信間隔よりも短い請求項１に記載の情報処理装置。
  7. 　前記対象は、患者であり、
    　前記装置は、前記患者に対して処置を施す動作実行部であり、
    　前記装置状態情報は、前記動作実行部の位置及び動作状態を示し、
    　前記対象状態情報は、前記患者の患部の状態及び生体情報である請求項１に記載の情報処理装置。
  8. 　第１時点での装置の状態を示す装置状態情報と、操作される対象の状態を示す対象状態情報とを含む装置側情報に基づく前記装置に対する動作要求と、前記第１時点の後で前記動作要求を受信する第２時点までの間で更新された装置側情報と、に基づいて、前記動作要求の実行を制御する情報処理方法。
  9. 　コンピュータに、
    　第１時点での装置の状態を示す装置状態情報と、操作される対象の状態を示す対象状態情報とを含む装置側情報に基づく前記装置に対する動作要求と、前記第１時点の後で前記動作要求を受信する第２時点までの間で更新された装置側情報と、に基づいて、前記動作要求の実行を制御する機能を実現させるためのプログラム。
     
     
PCT/JP2019/022227 2018-07-26 2019-06-04 情報処理装置、情報処理方法及びプログラム WO2020021870A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020532196A JP7384160B2 (ja) 2018-07-26 2019-06-04 情報処理装置、情報処理方法及びプログラム
CN201980048328.1A CN112437642A (zh) 2018-07-26 2019-06-04 信息处理设备、信息处理方法和程序
US17/250,397 US20210298853A1 (en) 2018-07-26 2019-06-04 Information processing apparatus, information processing method, and computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-140669 2018-07-26
JP2018140669 2018-07-26

Publications (1)

Publication Number Publication Date
WO2020021870A1 true WO2020021870A1 (ja) 2020-01-30

Family

ID=69181703

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/022227 WO2020021870A1 (ja) 2018-07-26 2019-06-04 情報処理装置、情報処理方法及びプログラム

Country Status (4)

Country Link
US (1) US20210298853A1 (ja)
JP (1) JP7384160B2 (ja)
CN (1) CN112437642A (ja)
WO (1) WO2020021870A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023013434A1 (ja) * 2021-08-05 2023-02-09 慶應義塾 保護システム、保護方法、及びプログラム
JP7439602B2 (ja) 2020-03-23 2024-02-28 Ｔｏｐｐａｎホールディングス株式会社 可視化装置、可視化方法、およびプログラム
WO2024062608A1 (ja) * 2022-09-22 2024-03-28 オリンパスメディカルシステムズ株式会社 医療システムの中継装置、医療システムの中継装置の作動方法、および、医療システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08215211A (ja) * 1995-02-16 1996-08-27 Hitachi Ltd 遠隔手術支援装置とその方法
JP2017510826A (ja) * 2013-12-20 2017-04-13 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 医療処置トレーニングのためのシミュレータシステム
US20180200140A1 (en) * 2015-07-08 2018-07-19 CellAegis Devices Inc. Configurable system for performing remote ischemic conditioning (ric) on a subject

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6963792B1 (en) * 1992-01-21 2005-11-08 Sri International Surgical method
CA2548258C (en) * 2003-12-05 2015-11-17 Cardinal Health 303, Inc. Patient-controlled analgesia with patient monitoring system
US20070060874A1 (en) * 2005-09-12 2007-03-15 Nesbitt Matthew T Apparatus and methods for controlling and automating fluid infusion activities
US8417491B2 (en) * 2005-10-11 2013-04-09 Koninklijke Philips Electronics N.V. 3D tool path planning, simulation and control system
CN101632590B (zh) * 2008-07-22 2011-06-01 北京东方逸腾数码医疗设备技术有限公司 一种防止产生运动干涉的装置和方法
US8521331B2 (en) * 2009-11-13 2013-08-27 Intuitive Surgical Operations, Inc. Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument
CN101849849B (zh) * 2010-06-18 2011-11-16 北京航空航天大学 对手术磨削工具进行智能化监控的装置
US10456209B2 (en) * 2010-10-13 2019-10-29 Gholam A. Peyman Remote laser treatment system with dynamic imaging
US8452372B2 (en) * 2010-10-13 2013-05-28 Gholam Peyman System for laser coagulation of the retina from a remote location
KR101798590B1 (ko) * 2011-02-28 2017-11-17 주식회사 미래컴퍼니 마스터 로봇, 이를 포함하는 수술 로봇 시스템 및 그 제어 방법과, 이를 기록한 기록매체
US20140193789A1 (en) * 2011-07-28 2014-07-10 Ryoichi Imanaka Cutting simulation device and cutting simulation program
JP5922491B2 (ja) * 2012-05-15 2016-05-24 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 手術支援装置
US10555788B2 (en) * 2014-03-28 2020-02-11 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
WO2017020081A1 (en) * 2015-08-03 2017-02-09 Deakin University Apparatus, system and method for controlling motion of a robotic manipulator
CN108135658B (zh) * 2015-10-09 2021-09-10 索尼公司 手术控制设备、手术控制方法及存储介质
CN107361844A (zh) * 2017-06-20 2017-11-21 上海交通大学 一种机器人辅助心血管介入手术中的安全防护方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08215211A (ja) * 1995-02-16 1996-08-27 Hitachi Ltd 遠隔手術支援装置とその方法
JP2017510826A (ja) * 2013-12-20 2017-04-13 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 医療処置トレーニングのためのシミュレータシステム
US20180200140A1 (en) * 2015-07-08 2018-07-19 CellAegis Devices Inc. Configurable system for performing remote ischemic conditioning (ric) on a subject

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7439602B2 (ja) 2020-03-23 2024-02-28 Ｔｏｐｐａｎホールディングス株式会社 可視化装置、可視化方法、およびプログラム
WO2023013434A1 (ja) * 2021-08-05 2023-02-09 慶應義塾 保護システム、保護方法、及びプログラム
WO2024062608A1 (ja) * 2022-09-22 2024-03-28 オリンパスメディカルシステムズ株式会社 医療システムの中継装置、医療システムの中継装置の作動方法、および、医療システム

Also Published As

Publication number Publication date
CN112437642A (zh) 2021-03-02
JP7384160B2 (ja) 2023-11-21
US20210298853A1 (en) 2021-09-30
JPWO2020021870A1 (ja) 2021-08-02

Similar Documents

Publication Publication Date Title
WO2020021870A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11120907B2 (en) System and method for coordinated motion among heterogeneous devices using a movement token
US20220091867A1 (en) Techniques for virtually recreating devices
JP3582348B2 (ja) 手術装置
US9770828B2 (en) Teleoperative-cooperative robotic system
WO2017220788A1 (en) System and method for artificial agent based cognitive operating rooms
CN103489360A (zh) 物理心脏模拟器
JP2021511903A (ja) 手術室の遠隔監視
JP6865218B2 (ja) 多入力ロボット手術システム制御スキーム
CN110215287A (zh) 一种主从式医疗操控系统
CN107690319B (zh) 多个设备的控制
US20220273368A1 (en) Auto-configurable simulation system and method
KR102263570B1 (ko) 수술 로봇 운행상태 고장 검출 방법
CN117562674A (zh) 手术机器人及由其执行的方法
CN112259192A (zh) 一种手术操作系统以及控制方法
WO2022226086A2 (en) Robotic surgery

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19840789

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020532196

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19840789

Country of ref document: EP

Kind code of ref document: A1