WO2019087569A1 - マスタ－スレーブシステム及びその制御方法 - Google Patents

マスタ－スレーブシステム及びその制御方法 Download PDF

Info

Publication number
WO2019087569A1
WO2019087569A1 PCT/JP2018/033137 JP2018033137W WO2019087569A1 WO 2019087569 A1 WO2019087569 A1 WO 2019087569A1 JP 2018033137 W JP2018033137 W JP 2018033137W WO 2019087569 A1 WO2019087569 A1 WO 2019087569A1
Authority
WO
WIPO (PCT)
Prior art keywords
temperature
unit
master
slave system
slave
Prior art date
Application number
PCT/JP2018/033137
Other languages
English (en)
French (fr)
Inventor
鈴木　裕之
ウィリアム アレクサンドル コヌス
竜太 堀江
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to DE112018005072.6T priority Critical patent/DE112018005072T5/de
Priority to US16/758,411 priority patent/US20200257270A1/en
Priority to CN201880068794.1A priority patent/CN111263620A/zh
Publication of WO2019087569A1 publication Critical patent/WO2019087569A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K1/00—Details of thermometers not specially adapted for particular types of thermometer
    • G01K1/02—Means for indicating or recording specially adapted for thermometers
    • G01K1/024—Means for indicating or recording specially adapted for thermometers for remote indication
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/28—Surgical forceps
    • A61B17/285—Surgical forceps combined with cutting implements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/30—Surgical pincettes without pivotal connections
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32—Surgical cutting instruments
    • A61B17/3201—Scissors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/28—Surgical forceps
    • A61B17/29—Forceps for use in minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/28—Surgical forceps
    • A61B17/29—Forceps for use in minimally invasive surgery
    • A61B17/295—Forceps for use in minimally invasive surgery combined with cutting implements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00022—Sensing or detecting at the treatment site
    • A61B2017/00057—Light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00022—Sensing or detecting at the treatment site
    • A61B2017/00084—Temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/49—Nc machine tool, till multiple
    • G05B2219/49216—Control of temperature of processor

Definitions

  • the technology disclosed herein relates to a master-slave system in which a slave device is remotely controlled by a master device, and a control method thereof.
  • a master-slave robot system is used.
  • a slave uses a master-slave type medical robot and a practitioner with a surgical tool such as forceps attached to an end effector while looking at the surgical field on a 3D monitor screen ⁇
  • the arm can be operated by remote control.
  • the slave's end effector is from the affected area as well as the tactile sense obtained by the surgeon touching the affected area by the operation without using the robot It is preferable to present the received information to the user on the master side.
  • a master-slave surgical system that detects an external force acting on an end effector such as a gripping unit (gripper) and presents a sense of force to the operator is also proposed. (See, for example, Patent Document 1).
  • an object of the technology disclosed in the present specification is to provide a master-slave system capable of temperature presentation and a control method thereof.
  • the first aspect of the technology disclosed herein is: A slave device including a temperature acquisition unit that acquires a temperature; A master device including a presentation unit that presents the acquired temperature; A master-slave system.
  • system refers to a logical aggregation of a plurality of devices (or functional modules for achieving a specific function), and each device or functional module is in a single housing. It does not matter whether it is or not.
  • the temperature acquisition unit includes, for example, a temperature sensor attached to an end effector of the slave device.
  • the presentation unit presents a thermal sensation corresponding to the temperature acquired by the temperature acquisition unit.
  • the said presentation part may be provided with the display part which displays the information regarding the temperature which the said temperature acquisition part acquired.
  • the master-slave system may further include a determination unit that determines a state of an operation target by the end effector based on the temperature acquired by the temperature acquisition unit.
  • the master-slave system further includes a force sensor that detects an external force acting on the end effector, and the determination unit is a unit of force information obtained by the force sensor and information of the temperature acquired by the temperature acquisition unit.
  • the state of the operation target may be determined based on a combination.
  • the master device further includes an operation unit used to operate the slave device.
  • the presentation unit may present a warmth based on the acquired temperature in the operation unit.
  • the presentation unit may include a temperature change unit provided in the operation unit, which changes in temperature based on the acquired temperature.
  • the temperature change unit performs temperature change in cooperation with the acquired temperature, and, for example, adjusts the speed or acceleration of temperature change of the temperature acquired by the temperature acquisition unit to perform temperature change.
  • a second aspect of the technology disclosed in the present specification is A temperature acquisition step of acquiring a temperature in the slave device; Presenting a temperature obtained by the slave device in a master device; And a control method of the master-slave system.
  • FIG. 1 is a diagram schematically showing an example of a functional configuration of a master-slave system 1 of a master-slave system.
  • FIG. 2 is a view schematically showing a configuration example of an end effector and a support arm device.
  • FIG. 3 is an enlarged view of the end effector 200.
  • FIG. 4 is a view showing a configuration example of the first blade 201 in which a strain generating body is configured.
  • FIG. 5 is a view for explaining a method of installing a strain detection element using an FBG sensor on the first blade 201.
  • FIG. 6 is a view for explaining a method of installing a strain detection element using an FBG sensor on the first blade 201.
  • FIG. FIG. 6 is a view for explaining a method of installing a strain detection element using an FBG sensor on the first blade 201.
  • FIG. 7 is a view showing a modified example of the first blade 201.
  • FIG. 8 is a view showing a state where the warmth presentation unit is disposed on the grip 800 used as the input unit 11.
  • FIG. 9 is a diagram showing a specific configuration example of the temperature feedback function unit 50.
  • FIG. 10 is a diagram exemplifying the relationship between the temperature T detected by the temperature sensor 51 and the target temperature T ref instructed by the thermal sensation presentation unit 53.
  • FIG. 11 is a diagram exemplifying the relationship between the temperature T detected by the temperature sensor 51 and the target temperature T ref instructed by the thermal sensation presentation unit 53.
  • FIG. 10 is a diagram exemplifying the relationship between the temperature T detected by the temperature sensor 51 and the target temperature T ref instructed by the thermal sensation presentation unit 53.
  • FIG. 12 is a view showing a configuration example of an end effector (forceps) 200 in which a temperature sensor is provided to the first blade 201 and a temperature input unit 54 is provided to the second blade 202.
  • FIG. 13 is a diagram showing a hardware configuration of the information processing apparatus 2100.
  • FIG. 1 schematically shows an example of a functional configuration of a master-slave system master-slave system 1 to which the technology disclosed in the present specification can be applied.
  • the illustrated master-slave system 1 is a medical robot system that performs endoscopic surgery such as abdominal cavity and chest cavity, for example.
  • Support arm device on the slave side (not shown in FIG. 1) according to an instruction input by the user via the input device such as a controller on the master side (the forceps etc. for surgery etc. attached to the support arm device)
  • the medical instrument is driven, and various treatments are performed on the operative part of the patient through the end effector.
  • the illustrated master-slave system 1 comprises a master device 10, a slave device 20, and a control system 30 for driving the slave device 20 in accordance with a user's instruction input via the master device 10.
  • a control system 30 for driving the slave device 20 in accordance with a user's instruction input via the master device 10.
  • an operation command to the slave device 20 is transmitted by the wired or wireless communication means through the control system 30, and the slave device 20 is remotely operated.
  • the master device 10 includes an input unit 11 for a user such as an operator to perform an input operation, and a force presentation unit 12 for presenting a force to the user operating the input unit 11.
  • the input unit 11 can be configured by, for example, an input mechanism such as a lever, a grip, a button, a jog dial, a tact switch, and a foot pedal switch.
  • an input mechanism such as a lever, a grip, a button, a jog dial, a tact switch, and a foot pedal switch.
  • the specific configuration of the input unit 11 is not limited to the above, and various known configurations that can be provided in an input device of a general master-slave robot system can be used.
  • the force presentation unit 12 is configured by, for example, a servomotor that drives a lever or a grip that constitutes the input unit 11, and a servomotor that drives a support arm device (not shown) that supports the input unit 11. Ru.
  • the force presentation unit 12 drives, for example, a lever, a grip, and the like that configure the input unit 11 so as to give resistance to the operation of the input unit 11 by the user according to the force acting on the medical device on the slave device 20 side. By doing this, the force acting on the medical instrument is presented to the user with a sense of force (also called haptic feedback).
  • the slave device 20 includes a support arm device having a medical treatment tool such as forceps as an end effector attached to the tip, a drive unit 21 for driving the support arm device and the medical treatment tool at the tip, and a support arm A state detection unit 22 that detects the state of the apparatus is provided.
  • the tip of the support arm device may be attached with an imaging device such as a medical instrument, a catheter system, an endoscope or a microscope that touches the patient during surgery such as a forceps or a cutting instrument. .
  • the end effector and the support arm device for supporting the end effector are not shown.
  • the support arm device has six degrees of freedom in position and orientation that change the position and orientation of the end effector attached to the tip (or distal end) in three-dimensional space. Also, if the end effector has a forceps-like gripping structure, the support arm device will further have one degree of freedom for gripping the object with forceps.
  • the drive unit 21 corresponds to, for example, an actuator unit for driving a link mechanism that constitutes the support arm device.
  • the drive unit 21 is an actuator for operating the drive site of the end effector (for example, to open and close the forceps). Corresponding to the actuator).
  • the state detection unit 22 includes, for example, a force sensor (torque sensor) that detects an external force acting on each link of the support arm device or the end effector, an encoder that detects a rotation angle of a joint, or the like.
  • a force sensor tilt sensor
  • an encoder that detects a rotation angle of a joint
  • the control system 30 realizes, between the master device 10 and the slave device 20, information transmission regarding drive control of the support arm device on the slave device 20 side and information transmission regarding force presentation from the slave device 20 to the master device 10 side.
  • part or all of the functions of the control system 30 may be provided in at least one of the slave device 20 or the master device 10.
  • a central processing unit (CPU) (not shown) of at least one of the master device 10 and the slave device 20 functions as the control system 30.
  • the CPUs of the master device 10 and the slave device 20 cooperate to function as the control system 30. The specific configuration of the control system 30 will be described later.
  • the master-slave system 1 further includes a vibration feedback function unit 40 and a thermal sensation feedback function unit 50.
  • the vibration feedback function unit 40 feeds back, to the user who operates the master device 10, the vibration generated in an end effector (a medical instrument such as forceps) on the slave device 20 side.
  • the temperature feedback function unit 50 feeds back, to the user operating the master device 10, information on the temperature and the temperature change in the target (the operation part of the patient) operated by the end effector. Since the master-slave system 1 includes the vibration feedback function unit 40 and the temperature feedback function unit 50, the user can perform haptic surgery in addition to the sense of force while performing endoscopic surgery through the master device 10. Since the sense is given, it is easy to obtain a tactile sensation on the internal tissue of the patient operating on the slave device 10 side.
  • the vibration feedback function unit 40 includes a first vibration sensor 41 and a second vibration sensor 42 attached near the end effector on the slave device 20 side, and a vibration transmission unit 43 transmitting detection signals from the vibration sensors 41 and 42. And a first vibration presentation unit 44 and a second vibration presentation unit 45 attached to, for example, the input unit 11 of the master device 10.
  • the first vibration sensor 41 is, for example, a condenser microphone, and detects auditory vibration (ie, sound) generated in an end effector such as a forceps.
  • the second vibration sensor 42 is configured by, for example, an acceleration sensor, and detects tactile vibration generated in the end effector.
  • the vibration transfer unit 43 amplifies and processes each detection signal of the first vibration sensor 41 and the second vibration sensor 42, and also performs signal processing such as filter processing or waveform equalization processing that extracts only a component of a significant frequency band. As appropriate, and transmitted to the first vibration presentation unit 44 and the second vibration presentation unit 45, respectively.
  • the first vibration presenting unit 44 is made of, for example, an audio output device such as a speaker or an earphone, and responds to the detection signal of the first vibration sensor 41 to the user operating the input unit 11 of the master device 10. Apply auditory vibrations.
  • the second vibration presentation unit 45 is formed of, for example, a vibration element such as a voice coil, and applies tactile vibration according to the detection signal of the second vibration sensor 42 to the user operating the input unit 11. .
  • the thermal sensation feedback function unit 50 transmits the temperature sensor 51 attached to the end effector on the slave device 20 side, the temperature transmission unit 52 transmitting a detection signal from the temperature sensor 51, and the user operating the master device 10 It consists of a thermal sensation presentation unit 53 that presents information on the temperature that has been detected.
  • the temperature sensor 51 measures the surface temperature of the operation target in contact with the end effector.
  • the temperature sensor 51 is, for example, a strain sensor capable of detecting a strain generated in the end effector due to a temperature change, and can use the calibration matrix to calibrate the amount of strain generated in the end effector to a temperature change. However, the details of the configuration of the temperature sensor 51 will be described later.
  • the temperature transfer unit 52 transfers a detection signal from the temperature sensor 51 on the slave device 20 side to the master device 10.
  • the heat sense presentation unit 53 is attached to, for example, the input unit 11 of the master device 10, and the user who operates the input unit 11 senses the heat (feeling caused by the temperature) corresponding to the temperature detected by the temperature sensor 51. I will present to you.
  • the input unit 11 can be configured by, for example, an input device such as a lever, a grip, a button, a jog dial, a tact switch, or a foot pedal switch.
  • the thermal sensation presentation unit 53 is disposed at a location where the user touches the skin of the user of these input devices, and the user is given the thermal sensation according to the temperature change of the end effector measured by the temperature sensor 51. The tactile sensation of the operation target in contact with the effector can be effectively reproduced.
  • the thermal sensation presentation unit 53 includes a temperature actuator 53-1 capable of freely changing the temperature to at least one of plus and minus within at least a predetermined temperature range.
  • the temperature actuator 53-1 is disposed at a location where the user of the master device 10 touches, such as the input unit 11, and changes in temperature detected by the temperature sensor 51 (or transmitted via the temperature transfer unit 52). Based on the temperature change or the like to present a sense of warmth.
  • the temperature actuator 53-1 basically changes in temperature in coordination with the temperature detected by the temperature sensor 51 (or transmitted via the temperature transfer unit 52). That is, when the surface temperature of the operation target in contact with the end effector rises on the slave device 20 side, the temperature actuator 53-1 also raises the temperature, and conversely, if the surface temperature of the operation target falls, the temperature actuator 53-1 also Decrease the temperature.
  • the temperature actuator 53-1 amplifies the temperature change detected by the temperature sensor 51 to change the temperature, thereby making it easy for the user to feel the change in the surface temperature of the operation target, thereby improving the sense of warmth.
  • the temperature actuator 53-1 can present temperature to the user without invasiveness by attenuating the temperature change detected by the temperature sensor 51 and changing the temperature.
  • the temperature actuator 53-1 adjusts the speed or the acceleration of the temperature change detected by the temperature sensor 51 to present the temperature to the user, and the user may adjust the sensitivity at which the temperature is detected. Good.
  • the temperature actuator 53-1 can be configured using a Peltier element or a micro pump that propagates temperature using fluid or gas. It is desirable that the temperature actuator 53-1 can transmit both a temperature lower than the normal temperature and a temperature higher than the normal temperature. From this point of view, it can be said that it is preferable to configure the heat sense presentation unit 53 using a micro pump.
  • the warmth presentation unit 53 is equipped with a display 53-2.
  • the display 53-2 may be installed at a place where the user of the master device 10 can observe, and may display information on the temperature detected by the temperature sensor 51 on the screen.
  • the thermal sensation presentation unit 53 may display a numerical value or a color corresponding to the temperature detected by the temperature sensor 51 on the display 53-2.
  • the master-slave system 1 may further include a determination unit 60 in addition to the thermal sensation feedback function unit 50.
  • the determination unit 60 determines the state of the operation target in contact with the end effector based on the temperature detected by the temperature sensor 51 (or transmitted via the temperature transfer unit 52).
  • the determination unit 60 can determine from the difference between the ambient temperature and the temperature of the blood that the patient's operation target, that is, the operation site, is bleeding.
  • the determination unit 60 may determine which tissue (for example, fat or blood vessel) it is from the difference in temperature. it can.
  • the determination unit 60 may perform such a determination process with reference to the data table 61 in which the correspondence relationship between the temperature and the state of the patient's internal tissue is described.
  • the determination unit 60 performs an operation in which the end effector contacts based on a combination of the temperature detected by the temperature sensor 51 and the information of the external force (i.e. force sense) acting on the end effector detected by the state detection unit 22. It can be determined whether the subject (body tissue of the patient) is a normal tissue.
  • the determination unit 60 may perform such a determination process with reference to the data table 61 in which the correspondence relationship between the temperature and force sense and the state of the internal tissue of the patient is described.
  • the determination result by the determination unit 60 may be displayed on the screen of the display 53-2 of the thermal sensation presentation unit 53.
  • the determination unit 60 is disposed on the master device 10 side.
  • the determination unit 60 may be provided not on the master device 10 but on the slave device 20 side, and the determination result by the determination unit 60 may be transmitted from the slave device 20 to the master device 10 side.
  • the temperature sensor 51 is provided in one contact portion, and the other is The contact may further be equipped with a temperature input 54.
  • the temperature input unit 54 is formed of, for example, a temperature actuator, such as a heating element, which can freely change the temperature within at least a predetermined temperature range.
  • the determination unit 60 described above may further perform this determination process.
  • another determination unit (not shown) may be separately provided to determine the type or characteristics of the operation target. Further, such determination processing is performed by referring to the data table 61 describing the correspondence between the transfer function of the input and output temperature characteristics and the type or characteristics of the operation target (such as the internal tissue of the patient). It is also good.
  • FIG. 1 illustrates only the configuration that is particularly necessary to describe an embodiment according to the technology disclosed in the present specification.
  • the master-slave system 1 may have other functional blocks possessed by a general master-slave robot system, in addition to the illustrated functional blocks.
  • Various well-known configurations can be applied to configurations whose illustration is omitted, so the detailed description thereof is omitted in the present specification.
  • FIG. 2 schematically shows a configuration example of the end effector 200 and the support arm device 210 that can be used on the slave device 20 side.
  • the end effector 200 is attached to the distal end, and the near end is connected to the drive unit 21 (described above) of the slave device 20.
  • the support arm device 210 is configured of an articulated arm, and has six degrees of freedom of position and orientation for changing the position and orientation of the end effector 200 in three-dimensional space.
  • each link included in the articulated arm of the support arm device 210 will be referred to as a first link, a second link,... Sequentially from the distal end side (or the rear end of the end effector 200) .
  • each joint included in the articulated arm will be referred to as a first joint, a second joint, ... in order from the distal end side.
  • the configuration of the articulated arm such as the number of axes (or the number of joints), the degree of freedom of each axis, the number of links (or the number of arms), etc., is arbitrary.
  • the support arm device 210 is not limited to a specific articulated arm structure.
  • a parallel link device see, for example, Patent Document 2 in which a plurality of link mechanisms are combined in parallel can be applied as the support arm device 210.
  • the end effector 200 is a forceps for surgery, which comprises a pair of blades consisting of a first blade 201 and a second blade 202, and a forceps pivot shaft 203 pivotally connecting the pair of blades to each other. is there.
  • the end effector 200 opens and closes to grip an operation target such as internal tissue or a surgical instrument. , Can be pushed open and pressed.
  • the first blade 201 and the second blade 202 can be connected so as to be capable of opening and closing operations by, for example, configuring the lever rotation shaft 203 using a suitable gear mechanism.
  • the structure itself of the end effector 200 is not directly related to the technology disclosed herein, the detailed description will be omitted.
  • the end effector 200 is attached with a temperature sensor 51 that measures the surface temperature of the operation target that is in contact.
  • a temperature sensor 51 that measures the surface temperature of the operation target that is in contact.
  • various sensor elements can be applied as the temperature sensor 51, in the present embodiment, a strain sensor capable of detecting a strain generated in the insulator 200 due to a temperature change is used.
  • FIG. 3 is an enlarged view of the forceps 200 as an end effector.
  • an XYZ coordinate system in which the long axis direction of the end effector 200 is taken as the Z axis is set. Therefore, the left direction in the drawing is the Z axis, the direction perpendicular to the drawing is the X axis, and the vertical direction in the drawing is the Y axis.
  • a strain detection element 301 for detecting strain of the first blade 201 is attached to the first blade 201.
  • the first blade 201 can be grasped as a cantilever with the forceps rotation shaft 203 as a fixed end. Then, when grasping the operation target (such as the internal tissue of the patient) with the forceps 200, the first blade 201 is distorted in at least one direction of XYZ due to the temperature change by touching the operation target.
  • the detection signal from the strain detection element 301 can be calibrated to temperature change using a calibration matrix that calibrates to temperature change.
  • the first blade 201 is not a simple blade shape but a strain generating body having a shape that is easily deformed. For example, when holes or notches are formed with respect to a simple blade shape, they are easily deformed due to thermal expansion and the like, and the performance as a strain generating body is improved.
  • FIG. 1 A specific configuration example of the first blade 201 in which the strain generating body is configured will be described with reference to FIG.
  • the figure shows the side (YZ plane) to which the strain detection element 301 is attached, and the XZ cross section of the first blade 201 in which the strain generating body 401 is partially formed.
  • a strain generating body 401 having a meandering structure is formed on a part of the first blade 201.
  • the first blade 201 contacts the surface of a heat source (such as a patient's body tissue) due to the presence of the strain-generating body 401 having a meandering structure in which ZX plane shape as illustrated is repeated in folding or meandering repeatedly.
  • the temperature change facilitates compression and extension in the Z direction and the X direction. That is, it can be said that the structure of the strain generating body 401 is formed on at least a part of the first blade 201.
  • the strain detection element 301 As shown in FIG. 4, by attaching the strain detection element 301 to the portion of the strain generating body 401 in the first blade 201, it becomes easy to detect strain generated in the first blade 201 due to a change in temperature.
  • the strain generating body 401 configured in the first blade 201 is not particularly limited to the meander structure, and may have various other shapes that can be used as a strain generating body that is likely to be distorted with respect to a temperature change. .
  • the first blade 201 and the second blade 202 use, for example, stainless steel (Steel Use Stainless: SUS), a Co-Cr alloy, or a titanium-based material which is known as a metal-based material excellent in biocompatibility. Are manufactured. From the viewpoint of forming the strain-generating body 401 in a part of the structure of the first blade 201 as described above, a material having mechanical properties such as high strength and low rigidity (low Young's modulus), for example, titanium alloy Preferably, the first blade 201 is manufactured using
  • the end effector 200 as an elongated tube part has a configuration in which at least one strain body and a strain detection element are disposed between the distal end and the proximal end, and an operation target such as a patient's internal tissue contacts It is possible to measure the distortion of the end effector 200 caused by the temperature change when it occurs.
  • Capacitance sensors semiconductor strain gauges, foil strain gauges and the like are widely known in the art as the strain detection element 301, but in the present embodiment, FBG (Fiber Bragg Grating manufactured using an optical fiber is used. ) Using a sensor.
  • FBG Fiber Bragg Grating manufactured using an optical fiber is used.
  • the FBG sensor is a sensor configured by engraving a diffraction grating (grating) along the long axis of the optical fiber, and the change in the distance between the diffraction gratings due to the expansion or contraction caused by the distortion or temperature change caused by the action force Can be detected as a change in the wavelength of reflected light with respect to incident light of a predetermined wavelength band (Bragg wavelength) (well known). And the change of the wavelength detected from the FBG sensor can be converted into the distortion and stress which become a cause, and a temperature change.
  • the FBG sensor using an optical fiber can maintain detection accuracy with high accuracy even in an assumed use environment because the viewpoint of self-heating and transmission loss due to wiring are small (noise from the outside is difficult to get on).
  • the FBG sensor also has the advantage of being easy to take measures against sterilization required for medical treatment and high magnetic field environment.
  • FIG. 1 An XY cross section of the first blade 201 is shown in FIG.
  • One groove portion 501 is engraved on the surface of the first blade 201 along the long axis direction (Z direction). Then, by embedding in the groove portion 501, the optical fiber 511 is attached to the first blade 201 so that the outline of the first blade 111 does not expand.
  • the optical fiber 511 is fixed to the surface of the first blade 201 at several places (described later) with an adhesive or the like.
  • the operation target body tissue or the like
  • the first blade 201 causes distortion due to temperature change.
  • the optical fiber 511 is integrated with the first blade 201 to cause distortion.
  • a portion of the optical fiber 511 attached to the first blade 201 where the diffraction grating is cut operates as an FBG sensor. Therefore, among the optical fibers 511 laid along the long axis direction of the first blade 201, a diffraction grating is incised in a range overlapping with the strain generating body 401 (described above) to form an FBG sensor, resulting in temperature change Is used as a strain detection element 301 for detecting the strain of the first blade 201.
  • FIG. 6 shows a side surface (YZ surface) of the first blade 201 on which the groove portion 501 is engraved and an XZ cross section.
  • An optical fiber 511 is embedded in one groove portion 501 cut along the major axis direction (Z direction) on the surface of the first blade 201.
  • a diffraction grating is inscribed in the area of the optical fiber 511 overlapping the strain generating body 401 to constitute an FBG sensor, which is used as a strain detection element 301.
  • the portion of the optical fiber 511 where the FBG sensor is configured is shaded in FIG.
  • the optical fiber 511 is fixed to the surface of the first blade 201 with an adhesive or the like at both ends 601 and 602 of the portion where the FBG sensor (that is, the strain detection element 301) is configured. Therefore, when the operation target (body tissue etc.) serving as a heat source contacts and a strain is generated in the portion of the strain generating body 401 of the first blade 201, the optical fiber 511 is integrally expanded or contracted. That is, distortion also occurs in the distortion detection element 301. Then, the amount of strain of the strain detection element 301 can be calibrated to the temperature change of the first blade 201 using the calibration matrix.
  • the optical fiber 511 is fixed at two positions near the tip and the root of the first blade 201. Therefore, distortion generated by the first blade 201 in a section between these two fixed points is detected by the distortion detection element 301 formed of an FBG sensor.
  • FIG. 6 only a part of the optical fiber constituting the FBG sensor used as the strain detection element 301 (the part where the strain generating body of the first blade 201 is formed) is illustrated, and the other parts are illustrated. It is omitted. In fact, it should be understood that the other end of the optical fiber (not shown) extends beyond the forceps pivot shaft 203 to the detection unit and the signal processing unit (neither is shown).
  • the first blade 201 is distorted in at least one of the XYZ directions not only by a temperature change but also by an acting force (for example, an external force applied when touching the operation target). Therefore, it is also possible to measure as a acting force using a calibration matrix which calibrates the detection signal by the strain detecting element which is an FBG sensor to the acting force on the first blade 201.
  • strain detection elements 701 and 702 for detecting an applied force are disposed on the first blade 201 independently of the strain detection element 301 for detecting a temperature change.
  • These strain detection elements 701 and 702 can also be configured using an FBG sensor in the same manner as described above, and be embedded and attached to a groove portion cut along the long axis direction on the surface of the first blade 201.
  • the amount of distortion generated outside the opening and closing direction of the first blade 201 can be detected using one distortion detecting element 701, and the opening and closing direction of the first blade 201 using the other distortion detecting element 702. It is possible to detect the amount of distortion that occurs inside the
  • the temperature sensor 51 may be disposed independently on the second blade 202 as well. Good. In this case, the temperature can be separately measured on the upper and lower sides of the operation target (such as the internal tissue of the patient) held by the first blade 201 and the second blade 202.
  • thermal sensation presentation unit 53 provided on the master device 10 side will be described in detail.
  • the user uses the input unit 11 of the master device 10 to remotely control the support arm device 210 and the end effector 200 on the slave device 20 side.
  • the input unit 11 can be configured by, for example, an input device such as a lever, a grip, a button, a jog dial, a tact switch, a foot pedal switch (described above).
  • the present embodiment is characterized in that the thermal sensation presentation unit 53 is disposed in the input unit 11.
  • the temperature sense presentation unit 53 is disposed at a portion touching the user's skin such as a fingertip, and the temperature of the end effector 200 measured by the temperature sensor 51 (in other words, the patient's touching the end effector 200 By giving the user a sense of warmth corresponding to the temperature of the body tissue, the tactile sensation on the body tissue of the patient can be effectively reproduced.
  • FIG. 8 shows an example in which a thermal sensation presentation unit is disposed on the grip 800 used as the input unit 11 on the master device 10 side.
  • the illustrated grip 800 has an open / close structure in which a first grip member 801 and a second grip member 802 are rotatably supported around a rotation axis 803.
  • the user can open and close the grip 800 by pressing the first grip member 801 and the second grip member 802 with the index finger 811 and the thumb 812 of the right hand, for example.
  • the drive unit 21 comprises the first blade 201 and the second blade 201 of the forceps 200 as an end effector.
  • the blade 202 is driven to open and close. Therefore, the user on the master device 10 side can manipulate the grip 800 with a sense (or analogy) of actually touching the patient's internal tissue with the index finger 811 and the thumb 812.
  • the temperature actuator 804 and the temperature actuator as the temperature sense presentation unit 53 are disposed at the places where the index finger 811 and the thumb 812 of the user abut on the first grip member 801 and the second grip member 802, respectively.
  • the 805 is attached. Therefore, the temperature actuator 804 and the temperature actuator 805 change the temperature according to the temperature of the end effector 200 measured by the temperature sensor 51 (in other words, the temperature of the internal tissue of the patient touched by the end effector 200).
  • the temperature of the patient's internal tissue can be intuitively presented to the user from the analogy (described above) of the first blade 201 and the second blade 202 with the user's index finger and thumb.
  • the tactile sensation on the patient's internal tissue can be effectively reproduced.
  • the temperature actuator 804 and the temperature actuator 805 are configured by devices capable of freely changing the temperature to at least one of plus and minus within at least a predetermined temperature range.
  • the temperature actuator 804 and the temperature actuator 805 are disposed at a location where the sensitivity of the fingertip is prioritized over the analogy (described above) of the first blade 201 and the second blade 202 with the user's index finger and thumb. It is also good. Alternatively, the temperature actuator 804 and the temperature actuator 805 may be disposed at a location where easy attachment to the grip 800 is taken into consideration.
  • the temperature actuator 804 and the temperature actuator 805 are provided for both the first grip member 801 and the second grip member 802, either of the temperature actuator 804 or the temperature actuator 805 is provided. Even if only one is provided, the temperature can be intuitively presented to the user.
  • the first grip member 801 and the second grip are provided. If the temperature actuator 804 and the temperature actuator 805 are disposed on both of the members 802, and each temperature actuator 804 and 805 independently indicates the temperature of the first blade 201 and the second blade 202, It becomes possible to realistically present temperature differences on both sides of a target (such as a patient's internal tissue) operated by the end effector 200.
  • a target such as a patient's internal tissue
  • FIG. 9 shows a specific configuration example of the thermal sensation feedback function unit 50 incorporated in the master-slave system 1.
  • the FBG sensor 901 attached to the end effector 200 as the temperature sensor 51 causes distortion ⁇ integrally with the end effector 200 due to the temperature change ⁇ T.
  • the FBG sensor 901 is a sensor configured by cutting a diffraction grating (grating) along the long axis of the optical fiber (described above).
  • a detection unit (Interrogator) 902 receives detection light consisting of a predetermined wavelength band (Bragg wavelength) from the end of the FBG sensor 901 and receives its reflected light, and the distance between the diffraction gratings generated by the distortion ⁇ of the end effector 200 A change in the wavelength of the reflected light is detected as a change .DELTA..lambda.
  • the change in wavelength ⁇ of the FBG sensor 901 is substantially proportional to the distortion ⁇ generated in the end effector 200.
  • the detection unit 902 detects strain ⁇ generated in the end effector 200 due to the temperature change ⁇ T from the strain sensor.
  • the information processing apparatus 903 receives the detection result ⁇ by the detection unit 902, and calibrates the wavelength change ⁇ generated in the FBG sensor 901 to the temperature change ⁇ T in the end effector 200 using a calibration matrix determined in advance. .
  • the wavelength change ⁇ of the FBG sensor 901 can be calibrated to the temperature change ⁇ T according to the following equation (1).
  • the information processing device 903 sets the strain ⁇ generated in the end effector 200 to the temperature according to the following equation (2) using the calibration gain k th ′. It can be calibrated to the change ⁇ T.
  • the information processing device 903 is configured by, for example, a personal computer (PC).
  • the control system 30 may also perform the calibration calculation shown in the above equation (1) or (2), with the function of the information processing device 903 also being used.
  • the warmth presentation unit 53 is in contact with the user's fingertip (or the skin of another part) of the input unit 11 such as a grip.
  • the thermal sensation presentation unit 53 includes a first micro pump 904 that changes the temperature in the negative direction, a second micro pump 905 that changes the temperature in the positive direction, and a temperature sensor that measures the temperature. 906 and a servo controller 907.
  • the first micro pump 904 is supplied with cold fluid (or cold gas) of, for example, 20 ° C. to change the temperature of the contact surface 908 with the user's fingertip in the negative direction.
  • the second micro pump 905 is supplied with a thermal fluid (or a thermal gas) of 40 ° C., for example, to change the temperature of the contact surface 908 with the user's fingertip in a positive direction.
  • the servo controller 907 When the servo controller 907 inputs the measurement result of the temperature change ⁇ T in the end effector 200 (in other words, the internal tissue of the patient operating the forceps as the end effector 200), the servo controller 907 receives the target temperature T ref in the warm sense presentation unit 53. Set Then, the servo controller 907 instructs the supply amount of the cold fluid to the first micro pump 904 and the supply amount of the thermal fluid to the second micro pump 905 so as to realize the target temperature T ref .
  • the temperature sensor 906 measures an actual temperature T a of the contact surface 908 with the user's fingertip and feeds it back to the servo controller 907. Then, the servo controller 907 supplies the amount of cold fluid supplied to the first micro pump 904 and the amount of thermal fluid supplied to the second micro pump 905 based on the difference between the target temperature T ref and the actual temperature T a. And servo control so that the contact surface 908 with the user's fingertip approaches the target temperature T ref .
  • the servo controller 907 basically cooperates with the temperature of the end effector 200 detected by the temperature sensor 51 (in other words, the temperature of the internal tissue of the operative part of the patient to be operated) with the user's fingertips.
  • the temperature of the contact surface 908 is changed. That is, when the surface temperature of the operation target in contact with the end effector 200 rises, the servo controller 907 raises the temperature of the contact surface 908 with the user's fingertip, and conversely, when the surface temperature of the operation target decreases, The temperature of the contact surface 908 with the fingertip is also lowered.
  • the ratio of the temperature change [Delta] T in the end effector 200, and the temperature change [Delta] T ref target temperature T ref in warmth presenting section 53 1 may not be 1.
  • the servo controller 907, a temperature change [Delta] T in the end effector 200, the ratio of the temperature change [Delta] T ref target temperature T ref in warmth presenting section 53 1: If set to n (however, the n> 1 And the temperature change ⁇ T ref ( n ⁇ ⁇ T) obtained by amplifying the temperature change ⁇ T of the end effector 200 (in other words, the internal tissue of the patient to be manipulated) n times, the temperature presented by the thermal sensation presentation unit 53 changes It will be done. This allows the user to perceive changes in temperature of the patient's body tissue with substantially high sensitivity during the procedure.
  • the servo controller 907, a temperature change [Delta] T in the end effector 200, the ratio of the temperature change [Delta] T ref target temperature T ref in warmth presentation section 53 n: may be set to 1 (where, n> 1 And).
  • the user who operates the input unit 11 by compressing the temperature change ⁇ T by n. It becomes possible to present temperature without invasiveness.
  • the servo controller 907 adjusts the speed or acceleration of the temperature change ⁇ T detected by the temperature sensor 51 so that the temperature presentation unit 53 presents the temperature to the user, and the sensitivity at which the user detects the temperature is You may make it adjust.
  • FIG. 10 exemplifies the relationship between the temperature T detected by the temperature sensor 51 and the target temperature T ref instructed by the servo controller 907 to the thermal sensation presentation unit 53.
  • the horizontal axis is a time axis
  • the vertical axis is a temperature axis
  • the temperature T detected by the temperature sensor 51 is indicated by a dotted line 1002
  • the target temperature T ref is indicated by a solid line 1001.
  • the speed or acceleration of the temperature change ⁇ T is adjusted so as to compress the rise time of the temperature change ⁇ T ref of the target temperature T ref within the human perception limit.
  • the user can detect the temperature change ⁇ T in the end effector 200 (or the internal tissue of the patient operating with the end effector 200) with high sensitivity. It is preferable to set the time ⁇ t required for the rising of the presentation temperature to be equal to or less than the human detection limit.
  • FIG. 11 shows another example of the relationship between the temperature T detected by the temperature sensor 51 and the target temperature T ref instructed by the servo controller 907 to the thermal sensation presentation unit 53.
  • the horizontal axis is a time axis
  • the vertical axis is a temperature axis
  • the temperature T detected by the temperature sensor 51 is indicated by a dotted line 1102
  • the target temperature T ref is indicated by a solid line 1101.
  • the speed or acceleration of the temperature change ⁇ T is adjusted so as to compress the fall time of the temperature change ⁇ T ref of the target temperature T ref within the human perception limit.
  • the user can detect the temperature change ⁇ T in the end effector 200 (or the internal tissue of the patient operating with the end effector 200) with high sensitivity. It is preferable to set the time ⁇ t required for the fall of the presentation temperature to be equal to or less than the human detection limit.
  • human perception may be desensitized due to habituation due to exposure to the same environment for a certain period of time.
  • This characteristic is also applicable to thermal sensation, and there is a concern that it may become insensitive to temperature if exposed to the same temperature for a certain period of time. Therefore, when a fixed time has elapsed since the temperature T detected by the temperature sensor 51 has not changed (or when the fixed time has elapsed while the temperature change ⁇ T is less than the threshold ⁇ T th ), or the servo controller 907
  • the target temperature T ref (or the presentation temperature for the user) in the warm sense presentation unit 53 is reset to the initial temperature T init when a predetermined time has elapsed since the target temperature T ref was last changed, and the temperature is renewed again. By presenting the sense ⁇ T ref , the user may be prevented from losing sensitivity to the warm sense.
  • the determination unit 60 refers to the data table 61 in which the correspondence relationship between the temperature and the state of the patient's operative part is described, and determines the state of the affected part of the patient indicated by the temperature measured by the temperature sensor 51. For example, when the blood touches the temperature sensor 51, the determination unit 60 determines that the operation site of the patient who is the subject of the operation bleeds from the difference between the ambient temperature and the temperature of the blood. Also, when the temperature sensor 51 touches an object that is not visible, the determination unit 60 determines which tissue (for example, fat or blood vessel) it is from the difference in temperature.
  • tissue for example, fat or blood vessel
  • the determination unit 60 detects the temperature detected by the temperature sensor 51 and the state detection unit 22 with reference to the data table 61 describing the correspondence between the temperature and force sense and the state of the living tissue of the patient. Based on the combination of the information of the external force (ie, the force sense) acting on the end effector, it is determined whether the operation target (body tissue of the patient) with which the end effector contacts is normal tissue.
  • the temperature sensor 51 is provided in one contact portion and another contact is made.
  • the part may further be equipped with a temperature input part 54.
  • FIG. 12 shows a configuration example of an end effector (forceps) 200 in which a strain detection element 301 as a temperature sensor is provided in the first blade 201 and a temperature input unit 54 is provided in the second blade 202. ing.
  • the strain detection element 301 provided on the first blade 201 is configured using, for example, an FBG sensor.
  • the configuration of the first blade 201 is as described above with reference to FIGS. 3 to 6, and the detailed description is omitted here.
  • the temperature input unit 54 provided in the second blade 202 is formed of, for example, a temperature actuator, such as a heating element, capable of freely changing the temperature within at least a predetermined temperature range.
  • the determination unit 60 operates the operation object 1201 based on the relationship between the temperature input to one side surface of the operation object 1201 by the temperature input unit 54 and the temperature of the opposite side surface of the operation object 1201 measured by the temperature sensor 51. It is possible to determine the type or characteristics of For example, the delay time in which the input temperature propagates in the operation target 1201 and the method of attenuation associated with the propagation are characteristic according to the type or the characteristic of the operation target 1201. Therefore, the determination unit 60 refers to the data table 61 describing the correspondence between the transfer function of the input / output temperature characteristic and the type or characteristic of the operation target (such as the tissue of the surgical site). Characteristics can be determined. In addition, the determination unit 60 may be configured by a learning device generated by machine learning of teacher data indicating a temperature and a state of a surgical part of a patient using a neural network or the like.
  • the determination result by the determination unit 60 is basically notified from the master device 10 side to the user who remotely operates the slave device 10.
  • the determination result by the determination unit 60 is displayed on the screen of the display 53-2 of the thermal sensation presentation unit 53.
  • the determination result may be superimposed on an image obtained by imaging the operative part of a patient with an endoscope (a video such as a figure indicating a bleeding part or a site to be a target of treatment may be superimposed).
  • an endoscope a video such as a figure indicating a bleeding part or a site to be a target of treatment may be superimposed.
  • the determination result by the determination unit 60 may be displayed on the screen not by video but by text information such as a comment.
  • the determination result by the determination unit 60 may be notified to the user not by the screen but by voice output such as voice guidance.
  • the determination result by the determination unit 60 may be superimposed on the force sense presented by the force sense presentation unit 12, the tactile sense presented by the vibration presentation unit 45, and the temperature sense presented by the heat sense presentation unit 53. Good (for example, when the bleeding from the affected area is determined, the user is notified through a sense of force, a sense of touch, a sense of warmth that it is an emergency).
  • the determination unit 60 is disposed on the master device 10 side.
  • the determination unit 60 may be provided not on the master device 10 but on the slave device 20 side, and the determination result by the determination unit 60 may be transmitted to the master device 10 side.
  • FIG. 13 shows a hardware configuration of an information processing apparatus 2100 that can operate as the control system 30 in the master-slave system 1 shown in FIG.
  • the illustrated information processing apparatus 2100 can also be used as the information processing apparatus 903 in the thermal sensation feedback function unit 50 shown in FIG.
  • the illustrated information processing apparatus 2100 mainly includes a CPU 2101, a ROM (Read Only Memory) 2103, and a RAM (Random Access Memory) 2105, and further, a host bus 2107, a bridge 2109, an external bus 2111, and an interface 2113. , An input device 2115, an output device 2117, a storage device 2119, a drive 2121, a connection port 2123, and a communication device 2125.
  • the CPU 2101 functions as an arithmetic processing unit and a control unit, and controls the overall operation or a part of the information processing apparatus 2100 according to various programs recorded in the ROM 2103, the RAM 2105, the storage device 2119, or the removable storage medium 2127.
  • the ROM 2103 stores programs and calculation parameters used by the CPU 2101 in a non-volatile manner.
  • the RAM 2105 temporarily stores a program used by the CPU 2101, a parameter that appropriately changes in the execution of the program, and the like. These are mutually connected by a host bus 2107 configured by an internal bus such as a CPU bus.
  • the function of the control system 30 in the robot system 1 shown in FIG. 1 can be realized, for example, by the CPU 2101 executing a predetermined program.
  • the host bus 2107 is connected to an external bus 2111 such as a peripheral component interconnect (PCI) bus via a bridge 2109. Further, an input device 2115, an output device 2117, a storage device 2119, a drive 2121, a connection port 2123, and a communication device 2125 are connected to the external bus 2111 via an interface 2113.
  • PCI peripheral component interconnect
  • the input device 2115 is, for example, an operation device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, a lever, and a pedal.
  • the input device 2115 may be, for example, a remote controller (so-called, remote control) using infrared rays or other radio waves, a mobile phone or a smart phone, or a PDA (Personal Digital Assistant) corresponding to the operation of the information processing apparatus 2100. Etc.) may be used.
  • the input device 2115 includes, for example, an input control circuit that generates an input signal based on the information input by the user using the operation device described above, and outputs the generated input signal to the CPU 2101.
  • the user of the information processing device 2100 can input various data to the information processing device 2100 and instruct processing operations by operating the input device 2115.
  • the output device 2117 is configured of a device capable of visually or aurally notifying the user of the acquired information.
  • Such devices include display devices such as CRT display devices, liquid crystal display devices, plasma display devices, EL display devices and lamps, audio output devices such as speakers and headphones, and printer devices.
  • the output device 2117 outputs, for example, results obtained by various processes performed by the information processing device 2100. Specifically, the display device displays the result obtained by the various processes performed by the information processing device 2100 as text or an image. On the other hand, the audio output device converts an audio signal composed of reproduced audio data, acoustic data and the like into an analog signal and outputs it as audio.
  • the monitor 260 provided in the master device 10 can be realized by, for example, the output device 2117. In addition, the output device 2117 may double as the display 53-2 of the thermal sensation presentation unit 53.
  • the storage device 2119 is a device for data storage configured as an example of a storage unit of the information processing device 2100.
  • the storage device 2119 is configured of, for example, a magnetic storage unit device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 2119 stores programs executed by the CPU 2101, various data, and the like.
  • the drive 2121 is a reader / writer for a recording medium, and is built in or externally attached to the information processing apparatus 2100.
  • the drive 2121 reads out information recorded on a removable recording medium 2127 such as a mounted magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 2105 or the like.
  • the drive 2121 can also write a record on a removable recording medium 2127 such as a mounted magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the removable recording medium 2127 is, for example, a DVD medium, an HD-DVD medium, or a Blu-ray (registered trademark) medium.
  • the removable recording medium 2127 may be a Compact Flash (registered trademark) (CF: Compact Flash), a flash memory, an SD memory card (Secure Digital memory card), or the like. Further, the removable recording medium 2127 may be, for example, an IC (Integrated Circuit) card or an electronic device in which a non-contact IC chip is mounted.
  • CF Compact Flash
  • SD memory card Secure Digital memory card
  • the connection port 2123 is a port for direct connection to the information processing apparatus 2100.
  • Examples of the connection port 2123 include a Universal Serial Bus (USB) port, an IEEE 1394 port, and a Small Computer System Interface (SCSI) port.
  • USB Universal Serial Bus
  • SCSI Small Computer System Interface
  • As another example of the connection port 2123 there are an RS-232C port, an optical audio terminal, a high-definition multimedia interface (HDMI (registered trademark)) port, and the like.
  • HDMI registered trademark
  • the communication device 2125 is, for example, a communication interface configured of a communication device or the like for connecting to a communication network (network) 2131.
  • the communication device 2125 is, for example, a communication card for a wired or wireless LAN (Local Area Network), Bluetooth (registered trademark) or WUSB (Wireless USB).
  • the communication device 2125 may also be a router for optical communication, a router for Asymmetric Digital Subscriber Line (ADSL), a modem for various types of communication, or the like.
  • the communication device 2125 can transmit and receive transmission signals with the Internet or another communication device according to a predetermined protocol such as TCP / IP.
  • the communication network 2131 connected to the communication device 2125 is configured by a network or the like connected by wire or wireless, and may be, for example, the Internet, home LAN, infrared communication, radio wave communication or satellite communication. .
  • the example of the hardware configuration of the information processing apparatus 2100 capable of realizing the function of the control system 30 in the master-slave system 1 according to the present embodiment has been described above.
  • Each of the components described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level at which the present embodiment is implemented.
  • FIG. 13 naturally, various configurations corresponding to the information processing apparatus 2100 configuring the control system 30 according to the present embodiment are provided.
  • a computer program for realizing the functions of the information processing apparatus 2100 constituting the control system 30 according to the present embodiment as described above can be prepared and implemented on a personal computer or the like.
  • a computer readable recording medium in which such a computer program is stored can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory or the like.
  • the above computer program may be distributed via, for example, a network without using a recording medium.
  • the number of computers that execute the computer program is not particularly limited.
  • a plurality of computers for example, a plurality of servers
  • a single computer or a computer in which a plurality of computers cooperate is also referred to as a “computer system”.
  • the surface temperature of the operation target in contact with the end effector on the slave device side is measured, and the user on the master device side remotely operates the slave device in real time. Can be presented. This can contribute to the user "behaving as if it were his own hand" at the tip of the slave device. Also, open the port for inserting one hand separately from the surgical instrument such as forceps and endoscope, and use the endoscopic surgery called HALS (Hand-assisted Laparoscopic Surgery) to proceed the surgery while the surgeon directly touches the tissue. By comparison, invasiveness can be reduced.
  • HALS Heand-assisted Laparoscopic Surgery
  • the master device may present the user with a thermal sensation corresponding to the measured surface temperature, or may display information on the surface temperature, for example, in color or numerical value, on the screen.
  • the master device may present a warmth by changing the temperature in coordination with the measured surface temperature. At this time, the user can easily detect the temperature change of the operation target by amplifying and presenting the temperature change of the surface temperature.
  • the condition of the affected area of the patient can be determined from the difference between the temperature detected from the living tissue or blood in operation and the environmental temperature.
  • the type or characteristics of the operation target can be determined based on the transfer function of the input / output temperature characteristics of the operation target.
  • the master-slave system to which the technology disclosed in the present specification is applied, it is possible to present warmth in addition to force sense and vibrotactile sense to the user of the master device remotely controlling the slave device. . Therefore, the user can easily obtain a tactile sensation when performing endoscopic surgery through the master device.
  • the user can improve the performance based on the tissue determination and the contact determination by obtaining the thermal sensation in real time, and can further improve the safety based on the contact detection and the bleeding detection.
  • the transfer function between the slave device and the master device can be integrated into one, contributing to the expansion of the user's ability such as the precision operation and the suppression of the invasion, and the treatment can be performed efficiently.
  • the technology disclosed herein can be applied to the entertainment field such as virtual reality (VR) to provide a more realistic user experience by presenting a real-time warmth.
  • VR virtual reality
  • a slave device including a temperature acquisition unit that acquires a temperature
  • a master device including a presentation unit that presents the acquired temperature
  • Master-slave system equipped with (2)
  • the temperature acquisition unit includes a temperature sensor attached to an end effector of the slave device.
  • the master-slave system described in (1) above.
  • the presentation unit presents a warmth corresponding to the temperature acquired by the temperature acquisition unit.
  • the master-slave system according to any one of the above (1) or (2).
  • the presentation unit includes a display unit that displays information related to the temperature acquired by the temperature acquisition unit.
  • the master-slave system according to any one of the above (1) to (3).
  • the display unit displays a numerical value or a color corresponding to a temperature.
  • the information processing apparatus further includes a determination unit that determines the state of the operation target by the end effector based on the temperature acquired by the temperature acquisition unit.
  • the master-slave system according to any one of the above (1) to (5).
  • It further comprises a force sensor for detecting an external force acting on the end effector,
  • the determination unit determines the state of the operation target based on a combination of the force sense by the force sensor and the information of the temperature acquired by the temperature acquisition unit.
  • the presentation unit further presents information on the determination result by the determination unit.
  • the master-slave system according to any one of the above (6) or (7).
  • the master device includes an operation unit used to operate the slave device.
  • the presentation unit presents a thermal sensation based on the acquired temperature in the operation unit, The master-slave system according to any one of the above (1) to (8).
  • the presentation unit includes a temperature change unit provided in the operation unit that changes in temperature based on the acquired temperature.
  • the temperature change unit changes temperature in cooperation with the acquired temperature, The master-slave system according to the above (10).
  • the temperature change unit amplifies or attenuates the temperature change of the temperature acquired by the temperature acquisition unit to change the temperature.
  • the master-slave system according to the above (11).
  • the temperature change unit adjusts the speed or acceleration of temperature change of the temperature acquired by the temperature acquisition unit to perform temperature change.
  • the master-slave system according to any one of the above (11) or (12).
  • the temperature change unit resets to the initial temperature when a predetermined time has elapsed since the temperature was not changed.
  • the temperature change unit comprises either a micro pump or a Peltier element, The master-slave system according to any one of the above (10) to (14).
  • the slave device includes an end effector having two or more contact portions in contact with the operation target, The temperature acquisition unit acquires the temperature of one contact portion, A temperature input unit for performing temperature input on the operation target is provided in another contact unit, The master-slave system according to any one of the above (1) to (15).
  • a second determination unit that determines the type or characteristic of the operation target based on the temperature input by the temperature input unit and the temperature acquired by the temperature acquisition unit.
  • the master-slave system according to the above (16).
  • the temperature sensor is a strain sensor capable of detecting a strain generated in the end effector due to a temperature change.
  • the strain sensor is composed of an FBG sensor, The master-slave system described in (18) above. (20) a temperature acquisition step of acquiring a temperature in the slave device; Presenting a temperature obtained by the slave device in a master device; And a control method of a master-slave system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

スレーブ装置をマスタ装置で遠隔操作するマスタ－スレーブシステム及びその制御方法を提供する。　マスタ－スレーブシステムは、温度を取得する温度取得部を含むスレーブ装置と、前記取得された温度を提示する提示部を含むマスタ装置を具備する。前記提示部は、前記操作部に設けられた、前記取得された温度に基づいて温度変化する温度変化部を含み、前記取得された温度と協調して温度変化する。また、前記温度入力部による入力温度と、前記温度取得部により取得された温度に基づいて、前記操作対象の種類又は特性を判定する判定部をさらに備える。

Description

マスタ－スレーブシステム及びその制御方法
　本明細書で開示する技術は、スレーブ装置をマスタ装置で遠隔操作するマスタ－スレーブシステム及びその制御方法に関する。
　近年のロボティクス技術の進歩は目覚ましく、さまざまな産業分野の作業現場にロボティクス技術が広く浸透してきている。医療分野など、コンピュータの制御による完全自律動作がいまだ困難な産業分野では、マスタ－スレーブ方式のロボット・システムが使用されている。例えば、腹腔や胸腔といった内視鏡下手術において、マスタ－スレーブ方式の医療ロボットを用いて、施術者は３Ｄモニタ画面で術野を見ながら、鉗子などの術具がエンドエフェクタに取り付けられたスレーブ・アームを遠隔操作して手術することができる。
　内視鏡下での生体組織への侵襲や施術の効率性を考慮すると、ロボットを使用していない手術で執刀医が患部を触って得られる触感と同様に、スレーブのエンドエフェクタが患部などから受ける情報を、マスタ側でユーザに提示することが好ましい。例えば、医療用マスタースレーブ方式のロボット・システムにおいて、把持部（グリッパー）などのエンドエフェクタに作用する外力を検出し術者に力覚提示を行うマスタ－スレーブ方式の手術システムについても提案がなされている（例えば、特許文献１を参照のこと）。
　しかしながら、従来技術は術者への力覚提示に留まり、術者が患部を触った際に得られる本来の触感の１つである温覚（温度）を提示できていなかった。そこで、本明細書で開示する技術の目的は、温度提示が可能なマスタ－スレーブシステム及びその制御方法を提供することにある。
　本明細書で開示する技術の第１の側面は、
　温度を取得する温度取得部を含むスレーブ装置と、
　前記取得された温度を提示する提示部を含むマスタ装置と、
を具備するマスタ－スレーブシステムである。
　但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
　前記温度取得部は、例えば、前記スレーブ装置のエンドエフェクタに取り付けられた温度センサからなる。
　また、前記提示部は、前記温度取得部が取得した温度に対応した温覚を提示する。前記提示部は、前記温度取得部が取得した温度に関する情報を表示する表示部を備えていてもよい。
　マスタ－スレーブシステムは、前記温度取得部が取得した温度に基づいて前記エンドエフェクタによる操作対象の状態を判定する判定部をさらに備えていてもよい。また、マスタ－スレーブシステムは、前記エンドエフェクタに作用する外力を検出する力覚センサをさらに備え、前記判定部は、前記力覚センサによる力覚及び前記温度取得部により取得される温度の情報の組み合わせに基づいて、前記操作対象の状態を判定するようにしてもよい。
　また、前記マスタ装置は、前記スレーブ装置の操作に使用する操作部を備え、
　前記提示部は、前記操作部において前記取得された温度に基づく温覚を提示するようにしてよい。このため、前記提示部は、前記操作部に設けられた、前記取得された温度に基づいて温度変化する温度変化部を有していてもよい。前記温度変化部は、前記取得された温度と協調して温度変化し、例えば、前記温度取得部で取得された温度の温度変化の速度又は加速度を調節して温度変化する。
　また、本明細書で開示する技術の第２の側面は、
　スレーブ装置において温度を取得する温度取得ステップと、
　マスタ装置において、前記スレーブ装置で取得された温度を提示する提示ステップと、
を有するマスタ－スレーブシステムの制御方法である。
　本明細書で開示する技術によれば、温度提示が可能なマスタ－スレーブシステム及びその制御方法を提供することができる。
　なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
　本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図１は、マスタ－スレーブ方式のマスタ－スレーブシステム１の機能構成例を模式的に示した図である。 図２は、エンドエフェクタ及び支持アーム装置の構成例を模式的に示した図である。 図３は、エンドエフェクタ２００を拡大して示した図である。 図４は、起歪体が構成された第１のブレード２０１の構成例を示した図である。 図５は、ＦＢＧセンサを利用した歪み検出素子を第１のブレード２０１に設置する方法を説明するための図である。 図６は、ＦＢＧセンサを利用した歪み検出素子を第１のブレード２０１に設置する方法を説明するための図である。 図７は、第１のブレード２０１の変形例を示した図である。 図８は、入力部１１として用いられるグリップ８００に温覚提示部を配置した様子を示した図である。 図９は、温覚フィードバック機能部５０の具体的な構成例を示した図である。 図１０は、温度センサ５１により検出された温度Ｔと温覚提示部５３に指示される目標温度Ｔrefとの関係を例示した図である。 図１１は、温度センサ５１により検出された温度Ｔと温覚提示部５３に指示される目標温度Ｔrefとの関係を例示した図である。 図１２は、第１のブレード２０１に温度センサが設けられるとともに、第２のブレード２０２に温度入力部５４が設けられているエンドエフェクタ（鉗子）２００の構成例を示した図である。 図１３は、情報処理装置２１００のハードウェア構成を示した図である。
　以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
　図１には、本明細書で開示する技術を適用することができる、マスタ－スレーブ方式のマスタ－スレーブシステム１の機能構成例を模式的に示している。図示のマスタ－スレーブシステム１は、例えば、腹腔や胸腔といった内視鏡外科手術を実施する医療ロボット・システムである。マスタ側でユーザがコントローラなどの入力装置を介して入力した指示に応じて、スレーブ側の支持アーム装置（図１では図示を省略）及び当該支持アーム装置に取り付けられたエンドエフェクタ（手術用鉗子などの医療用器具）が駆動され、当該エンドエフェクタを介して患者の術部に対して各種の処置が施される。
　図示のマスタ－スレーブシステム１は、マスタ装置１０と、スレーブ装置２０と、マスタ装置１０を介して入力されるユーザの指示に応じてスレーブ装置２０を駆動させる制御システム３０で構成される。ユーザがマスタ装置１０を操作すると、制御システム３０を通じて、スレーブ装置２０に対する操作指令が有線又は無線の通信手段により送信され、スレーブ装置２０が遠隔的に操作される。
　マスタ装置１０は、術者などのユーザが入力操作を行なうための入力部１１と、この入力部１１を操作中のユーザに対して力を提示する力提示部１２を備えている。
　入力部１１は、例えば、レバー、グリップ、ボタン、ジョグダイヤル、タクトスイッチ、フット・ペダル・スイッチなどの入力機構によって構成され得る。但し、入力部１１の具体的な構成は上記に限定されず、一般的なマスタ－スレーブ方式のロボット・システムの入力装置に設けられ得る各種の公知な構成を利用することができる。
　また、力提示部１２は、例えば、入力部１１を構成するレバーやグリップなどを駆動させるサーボモータ、さらには入力部１１を支持する支持アーム装置（図示しない）を駆動させるサーボモータなどによって構成される。力提示部１２は、スレーブ装置２０側の医療用器具に作用する力に応じて、例えばユーザによる入力部１１の操作に対して抵抗を与えるように入力部１１を構成するレバーやグリップなどを駆動させることにより、医療用器具に作用する力をユーザに対して力覚（ハプティックフィードバックとも呼ぶ）を提示する。
　一方、スレーブ装置２０は、先端にエンドエフェクタとしての鉗子などの医療用術具が取り付けられた支持アーム装置と、この支持アーム装置及び先端の医療用術具を駆動する駆動部２１と、支持アーム装置における状態を検出する状態検出部２２を備えている。なお、支持アーム装置の先端には、鉗子の他に、攝子又は切断器具など外科手術中に患者に触れる医療用術具、カテーテルシステム、内視鏡や顕微鏡といった撮像装置が取り付けられていてもよい。
　便宜上、図１では、エンドエフェクタ並びにエンドエフェクタを支持する支持アーム装置の図示を省略している。支持アーム装置は、先端（若しくは、遠位端）に取り付けられたエンドエフェクタの位置及び向きを３次元空間上で変化させる位置及び姿勢の６自由度を有する。また、エンドエフェクタが鉗子のような把持構造を持つ場合には、支持アーム装置は鉗子によって物体を把持するための１自由度をさらに有することになる。
　駆動部２１は、例えば、支持アーム装置を構成するリンク機構を駆動させるためのアクチュエータ部に対応している。また、支持アーム装置のエンドエフェクタが鉗子などの駆動部位を有する医療用器具である場合には、駆動部２１は、このエンドエフェクタの駆動部位を動作させるためのアクチュエータ（例えば、鉗子を開閉するためのアクチュエータ）にも対応する。制御システム３０によって算出された制御量に応じて当該モータが駆動することにより、ユーザがマスタ装置１０を介して指示したようにアーム部並びにエンドエフェクタ（鉗子などの医療用器具）が動作する。
　状態検出部２２は、例えば、支持アーム装置の各リンクやエンドエフェクタに作用する外力を検出する力覚センサ（トルクセンサ）や関節の回転角度を検出するエンコーダなどで構成される。
　制御システム３０は、マスタ装置１０とスレーブ装置２０間で、スレーブ装置２０側の支持アーム装置の駆動制御に関する情報伝達と、スレーブ装置２０からマスタ装置１０側への力提示に関する情報伝達を実現する。但し、制御システム３０の機能の一部又は全部が、スレーブ装置２０又はマスタ装置１０の少なくとも一方に装備されていてもよい。例えば、マスタ装置１０又はスレーブ装置２０の少なくとも一方のＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）（図示しない）が、制御システム３０として機能する。あるいは、マスタ装置１０及びスレーブ装置２０の各々のＣＰＵが連携して、制御システム３０として機能する。制御システム３０の具体的な構成については後述に譲る。
　本実施形態に係るマスタ－スレーブシステム１は、振動フィードバック機能部４０と、温覚フィードバック機能部５０をさらに備えている。振動フィードバック機能部４０は、スレーブ装置２０側のエンドエフェクタ（鉗子などの医療用器具）に発生した振動を、マスタ装置１０を操作するユーザにフィードバックする。また、温覚フィードバック機能部５０は、エンドエフェクタで操作している対象（患者の術部）における温度や温度変化の情報を、マスタ装置１０を操作するユーザにフィードバックする。マスタ－スレーブシステム１が振動フィードバック機能部４０と温覚フィードバック機能部５０を備えることにより、ユーザは、マスタ装置１０を通じて内視鏡下手術を行っている際に、力覚に加えて触覚及び温覚が与えられるので、スレーブ装置１０側で操作している患者の体内組織に対する触感を得易くなる。
　振動フィードバック機能部４０は、スレーブ装置２０側のエンドエフェクタ付近に取り付けられた第１の振動センサ４１及び第２の振動センサ４２と、これら振動センサ４１及び４２による検出信号を伝達する振動伝達部４３と、マスタ装置１０の例えば入力部１１に取り付けられた第１の振動提示部４４及び第２の振動提示部４５からなる。
　第１の振動センサ４１は、例えばコンデンサマイクで構成され、鉗子などのエンドエフェクタに生じた聴覚振動（すなわち、音）を検出する。また、第２の振動センサ４２は、例えば加速度センサで構成され、エンドエフェクタに生じた触覚振動を検出する。
　振動伝達部４３は、第１の振動センサ４１及び第２の振動センサ４２の各検出信号を増幅処理し、また有意な周波数帯域の成分のみを抽出するフィルタ処理や波形等化処理などの信号処理を適宜施して、それぞれ第１の振動提示部４４及び第２の振動提示部４５に伝達する。
　第１の振動提示部４４は、例えばスピーカやイヤホンなどの音声出力機器からなり、マスタ装置１０の入力部１１を操作しているユーザに対して、第１の振動センサ４１の検出信号に応じた聴覚振動を加える。また、第２の振動提示部４５は、例えばボイスコイルなどの振動素子からなり、入力部１１を操作しているユーザに対して、第２の振動センサ４２の検出信号に応じた触覚振動を加える。
　温覚フィードバック機能部５０は、スレーブ装置２０側のエンドエフェクタに取り付けられた温度センサ５１と、温度センサ５１による検出信号を伝達する温度伝達部５２と、マスタ装置１０を操作するユーザに対して伝達された温度の情報を提示する温覚提示部５３からなる。
　温度センサ５１は、エンドエフェクタに接触した操作対象の表面温度を計測する。温度センサ５１は、例えば、温度変化によりエンドエフェクタに生じる歪みを検出可能な歪みセンサからなり、校正行列を用いてエンドエフェクタに生じた歪み量を温度変化に校正することができる。但し、温度センサ５１の構成の詳細については、後述に譲る。温度伝達部５２は、スレーブ装置２０側の温度センサ５１による検出信号を、マスタ装置１０に伝達する。
　温覚提示部５３は、例えばマスタ装置１０の入力部１１に取り付けられ、温度センサ５１により検出された温度に対応した温覚（温度によって生じる感覚）を、入力部１１を操作しているユーザに対して提示する。入力部１１は、例えば、レバー、グリップ、ボタン、ジョグダイヤル、タクトスイッチ、フット・ペダル・スイッチなどの入力デバイスによって構成され得る。これら入力デバイスのユーザの指先などの皮膚と触れる場所に温覚提示部５３を配設して、温度センサ５１により計測されたエンドエフェクタの温度変化に応じた温覚をユーザに与えることによって、エンドエフェクタに接触した操作対象の触感を効果的に再現することができる。
　温覚提示部５３は、少なくとも所定の温度範囲内でプラスとマイナスの少なくとも一方に自在に温度を変化させることが可能な温度アクチュエータ５３－１からなる。温度アクチュエータ５３－１は、入力部１１などマスタ装置１０のユーザの身体が触れる場所に配設され、温度センサ５１により検出された（若しくは、温度伝達部５２を介して伝達された）温度変化に基づいて温度を変化させたりして温覚を提示する。
　温度アクチュエータ５３－１は、基本的には、温度センサ５１により検出された（若しくは、温度伝達部５２を介して伝達された）温度と協調して温度変化する。すなわち、スレーブ装置２０側でエンドエフェクタに接触した操作対象の表面温度が上昇すると、温度アクチュエータ５３－１も温度を上昇させ、逆に、操作対象の表面温度が下降すると、温度アクチュエータ５３－１も温度を下降させる。
　ここで、温度アクチュエータ５３－１は、温度センサ５１により検出された温度変化を増幅して温度変化することにより、ユーザが操作対象の表面温度の変化を感じ易くして、温覚を向上させることができる。あるいは、また、温度アクチュエータ５３－１は、温度センサ５１により検出された温度変化を減衰して温度変化することにより、ユーザに対して侵襲なく温度を提示することが可能になる。
　また、温度アクチュエータ５３－１は、温度センサ５１により検出された温度変化の速度又は加速度を調節してユーザに温度を提示するようにして、ユーザが温度を検知する感度を調整するようにしてもよい。
　例えば、ペルチェ素子や、流体又は気体を使って温度を伝搬するマイクロポンプを用いて温度アクチュエータ５３－１を構成することができる。温度アクチュエータ５３－１は、応答性がよいことと、常温より低い温度と高い温度の両方を伝達できることが望ましい。この観点から、マイクロポンプを用いて温覚提示部５３を構成することが好ましいということができる。
　また、温覚提示部５３は、ディスプレイ５３－２を装備している。ディスプレイ５３－２は、マスタ装置１０のユーザが観察できる場所に設置され、温度センサ５１により検出された温度に関する情報を画面に表示するようにしてもよい。例えば、温覚提示部５３は、温度センサ５１により検出された温度に対応する数値や色をディスプレイ５３－２に表示してもよい。
　さらに、マスタ－スレーブシステム１は、温覚フィードバック機能部５０に付随して、判定部６０をさらに備えていてもよい。判定部６０は、温度センサ５１により検出された（若しくは、温度伝達部５２を介して伝達された）温度に基づいて、エンドエフェクタに接触した操作対象の状態を判定する。
　例えば、血液が温度センサ５１に触れたとき、判定部６０は、環境温度と血液との温度の相違から、操作対象である患者の術部から出血したことを判別することができる。また、見えないところにある物体を温度センサ５１で触ったときに、判定部６０は、温度の違いから何の組織であるか（例えば、脂肪又は血管のいずれであるか）を判別することができる。判定部６０は、温度と患者の体内組織の状態との対応関係を記述したデータテーブル６１を参照して、このような判定処理を実施するようにしてもよい。
　また、判定部６０は、温度センサ５１によって検出された温度と、状態検出部２２で検出されたエンドエフェクタに作用する外力（すなわち力覚）の情報の組み合わせに基づいて、エンドエフェクタが接触する操作対象（患者の体内組織）が正常組織であるか否かを判定することができる。判定部６０は、温度及び力覚と患者の体内組織の状態との対応関係を記述したデータテーブル６１を参照して、このような判定処理を実施するようにしてもよい。
　そして、判定部６０による判定結果を、温覚提示部５３のディスプレイ５３－２に画面表示するようにしてもよい。図１に示したシステム構成例では、判定部６０は、マスタ装置１０側に配設されている。変形例として、判定部６０をマスタ装置１０ではなくスレーブ装置２０側に設けて、判定部６０による判定結果をスレーブ装置２０からマスタ装置１０側に伝送するようにしてもよい。
　ここで、エンドエフェクタが、操作対象を挟持する鉗子のように、操作対象と２以上の接触部を有するデバイスで構成される場合には、１の接触部に温度センサ５１を設けるとともに、他の接触部に温度入力部５４をさらに装備してもよい。温度入力部５４は、例えば発熱素子などの、少なくとも所定の温度範囲内で自在に温度を変化させることが可能な温度アクチュエータで構成される。
　このような場合、温度入力部５４により操作対象に入力する入力温度と、温度センサ５１により計測される操作対象の温度の関係に基づいて、操作対象の種類又は特性を判定することが可能である。上述した判定部６０はさらにこの判定処理を行うようにしてもよい。あるいは、操作対象の種類又は特性を判定処理する他の判定部（図示しない）を別途設けてもよい。また、入出力の温度特性の伝達関数と操作対象の種類又は特性（患者の体内組織など）との対応関係を記述したデータテーブル６１を参照して、このような判定処理を実施するようにしてもよい。
　なお、図１では、本明細書で開示する技術に係る実施形態を説明するために特に必要となる構成のみを図示している。マスタ－スレーブシステム１は、図示した機能ブロック以外にも、一般的なマスタ－スレーブ方式のロボット・システムが有するその他の機能ブロックを備えていてもよい。図示を省略した構成については、各種の公知の構成を適用することができるので、本明細書ではその詳細な説明は省略する。
　続いて、スレーブ装置２０に装備する温度センサ５１について、詳細に説明する。図２には、スレーブ装置２０側で利用することが可能な、エンドエフェクタ２００及び支持アーム装置２１０の構成例を模式的に示している。
　支持アーム装置２１０は、遠位端にはエンドエフェクタ２００が取り付けられ、近接端はスレーブ装置２０の駆動部２１（前述）と連結されているものとする。図示の例では、支持アーム装置２１０は、多関節アームで構成され、エンドエフェクタ２００の位置及び向きを３次元空間上で変化させる位置及び姿勢の６自由度を有する。
　便宜上、支持アーム装置２１０の多関節アームに含まれる各リンクを、遠位端側（若しくは、エンドエフェクタ２００の後端）から順に、第１のリンク、第２のリンク、…と呼ぶことにする。また、多関節アームに含まれる各関節を、遠位端側から順に、第１の関節、第２の関節、…と呼ぶことにする。多関節アームが備える、軸数（若しくは、関節数）や各軸の自由度構成、リンク数（若しくは、アーム数）などの構成は任意である。付言すれば、本明細書で開示する技術を実現する上で、支持アーム装置２１０は特定の多関節アーム構造に限定されない。例えば、複数のリンク機構を並列に組み合わせたパラレルリンク装置（例えば、特許文献２を参照のこと）を支持アーム装置２１０として適用することもできる。
　エンドエフェクタ２００は、第１のブレード２０１と第２のブレード２０２からなる一対のブレードと、この一対のブレードを互いに回動可能に連結する鉗子回動軸２０３で構成される、手術用の鉗子である。第１のブレード２０１と第２のブレード２０２が鉗子回動軸２０３回りに互いに反対方向に回動することで、エンドエフェクタ２００は開閉して、体内組織や手術器具などの操作対象を把持したり、押し開いたり、押さえたりすることができる。例えば適当な歯車機構を用いて鉗子回動軸２０３を構成することで、第１のブレード２０１と第２のブレード２０２を開閉操作が可能となるに連結することができる。但し、エンドエフェクタ２００の構造自体は本明細書で開示する技術と直接関連しないので、詳細な説明は省略する。
　図２では図示を省略したが、既に説明したように、エンドエフェクタ２００には接触した操作対象の表面温度を計測する温度センサ５１が取り付けられている。温度センサ５１としてさまざまなセンサ素子を適用することができるが、本実施形態では、温度変化により鉗子２００に生じる歪みを検出可能な歪みセンサを利用する。
　図３には、エンドエフェクタとしての鉗子２００を拡大して示している。但し、エンドエフェクタ２００の長軸方向をＺ軸とするＸＹＺ座標系を設定する。したがって、紙面左方向がＺ軸、紙面に対して垂直の方向がＸ軸、紙面上下方向がＹ軸となる。
　第１のブレード２０１には、第１のブレード２０１の歪みを検出するための歪み検出素子３０１が取り付けられている。第１のブレード２０１は、鉗子回動軸２０３を固定端とする片持ち梁として捉えることができる。そして、鉗子２００で操作対象（患者の体内組織など）を把持した際などに、第１のブレード２０１は、操作対象に触れて温度変化したことによりＸＹＺの少なくとも１つの方向に歪む。歪み検出素子３０１による検出信号を、温度変化に校正する校正行列を用いて温度変化に校正することができる。
　第１のブレード２０１の歪みを計測するという観点から、第１のブレード２０１は、単純なブレード形状ではなく、変形し易い形状からなる起歪体であることがより好ましい。例えば、単純なブレード形状に対して、孔や切り欠きを形設すると、熱膨張などにより変形し易くなり、起歪体としての性能が向上する。
　起歪体が構成された第１のブレード２０１の具体的な構成例について、図４を参照しながら説明する。同図は、一部に起歪体４０１が構成された第１のブレード２０１の、歪み検出素子３０１が取り付けられた側面（ＹＺ面）と、ＸＺ断面を示している。第１のブレード２０１の一部には、ミアンダ状の構造からなる起歪体４０１が形設されている。図示のようなＺＸ平面状で折り返し若しくは蛇行を繰り返したミアンダ構造からなる起歪体４０１が存在することで、第１のブレード２０１は、熱源（患者の体内組織など）の表面に触れたときの温度変化によってＺ方向とＸ方向に圧縮・伸長し易くなる。すなわち、第１のブレード２０１の少なくとも一部には起歪体４０１の構造が形成されていると言うことができる。
　図４に示すように、第１のブレード２０１のうち、起歪体４０１の部分に歪み検出素子３０１を取り付けることで、温度の変化により第１のブレード２０１に発生する歪みを検出し易くなる。但し、第１のブレード２０１に構成される起歪体４０１は特にミアンダ構造に限定されるものではなく、温度変化に対して歪みを生じ易い起歪体として利用可能な他のさまざまな形状でもよい。
　第１のブレード２０１と第２のブレード２０２は、例えば、生体適合性に優れている金属系材料として知られているステンレス鋼（Ｓｔｅｅｌ　Ｕｓｅ　Ｓｔａｉｎｌｅｓｓ：ＳＵＳ）やＣｏ－Ｃｒ合金、チタン系材料を用いて製作される。上記のように第１のブレード２０１の構造の一部に起歪体４０１を形成するという観点からは、高強度で且つ低剛性（ヤング率が低い）といった機械的特性を持つ材料、例えばチタン合金を用いて第１のブレード２０１を製作することが好ましい。
　要するに、細長い管部品としてのエンドエフェクタ２００は、遠位端と近位端の間に少なくとも１つの起歪体と歪み検出素子が配置された構成であり、患者の体内組織などの操作対象が接触したときの温度変化によって生じるエンドエフェクタ２００の歪みを計測することができるようになっている。
　歪み検出素子３０１としては、静電容量式センサ、半導体歪みゲージ、箔歪みゲージなども当業界で広く知られているが、本実施形態では、光ファイバーを利用して製作されるＦＢＧ（Ｆｉｂｅｒ　Ｂｒａｇｇ　Ｇｒａｔｉｎｇ）センサを用いている。
　ここで、ＦＢＧセンサは、光ファイバーの長軸に沿って回折格子（グレーティング）を刻んで構成されるセンサであり、作用力によって生じる歪みや温度の変化に伴う膨張又は収縮による回折格子の間隔の変化を、所定波長帯（ブラッグ波長）の入射光に対する反射光の波長の変化として検出することができる（周知）。そして、ＦＢＧセンサから検出された波長の変化を、原因となる歪みや応力、並びに温度変化に換算することができる。光ファイバーを利用したＦＢＧセンサは、自家発熱の観点や配線による伝送損失が小さい（外界からのノイズが乗り難い）ことから、想定される使用環境下でも検出精度を高精度に保つことができる。また、ＦＢＧセンサは、医療に必要な滅菌対応や強磁場環境下対応をとり易いという利点もある。
　ＦＢＧセンサを利用した歪み検出素子３０１を第１のブレード２０１に設置する方法について、図５及び図６を参照しながら説明する。
　図５には、第１のブレード２０１のＸＹ断面を示している。第１のブレード２０１の表面には、長軸方向（Ｚ方向）に沿って１本の溝部５０１が刻設されている。そして、この溝部５０１に埋設することで、第１のブレード１１１の輪郭が膨らまないようにして、第１のブレード２０１に光ファイバー５１１がそれぞれ取り付けられる。光ファイバー５１１は、数箇所（後述）で第１のブレード２０１の表面に接着剤などで固定される。第１のブレード２０１は、熱源となる操作対象（体内組織など）が接触すると、温度変化することにより歪みを生じる。このとき、光ファイバー５１１は第１のブレード２０１と一体となって歪みを生じる。
　第１のブレード２０１に取り付けられた光ファイバー５１１のうち回折格子を刻んだ箇所が、ＦＢＧセンサとして動作する。したがって、第１のブレード２０１の長軸方向に沿って敷設された光ファイバー５１１のうち、起歪体４０１（前述）と重なる範囲に回折格子を刻んでＦＢＧセンサを構成して、温度の変化に起因する第１のブレード２０１の歪みを検出する歪み検出素子３０１として利用に供される。
　また、図６には、第１のブレード２０１の、上記の溝部５０１が刻設された側面（ＹＺ面）と、ＸＺ断面を示している。第１のブレード２０１の表面に長軸方向（Ｚ方向）に沿って刻設された１本の溝部５０１には、光ファイバー５１１が埋設されている。この光ファイバー５１１のうち起歪体４０１と重なる範囲は、回折格子が刻まれてＦＢＧセンサが構成され、歪み検出素子３０１として利用に供される。光ファイバー５１１のうちＦＢＧセンサが構成された部分を、図６中では、斜線で塗り潰している。
　また、光ファイバー５１１は、ＦＢＧセンサ（すなわち歪み検出素子３０１）が構成された部分の両端６０１及び６０２で、第１のブレード２０１の表面に接着剤などで固定されている。したがって、熱源となる操作対象（体内組織など）が接触して第１のブレード２０１の起歪体４０１の部分に歪みが生じると、光ファイバー５１１も一体となって膨張又は収縮するので、ＦＢＧセンサ部分、すなわち歪み検出素子３０１にも歪みが生じる。そして、校正行列を用いて歪み検出素子３０１の歪み量を第１のブレード２０１における温度変化に校正することができる。
　図６に示す例では、光ファイバー５１１は、第１のブレード２０１の先端付近と根元付近の２箇所で固定されている。したがって、これら２箇所の固定点間の区間において第１のブレード２０１で発生する歪みをＦＢＧセンサからなる歪み検出素子３０１で検出することになる。
　なお、図６では、歪み検出素子３０１として用いられるＦＢＧセンサを構成する光ファイバーの一部（第１のブレード２０１の起歪体が構成された部分）しか描いておらず、その他の部分の図示を省略している。実際には、図示しない光ファイバーの他端は、鉗子回動軸２０３を越えて、検出部や信号処理部（いずれも図示しない）まで延びているものと理解されたい。
　第１のブレード２０１は、温度変化だけでなく、作用力（例えば、操作対象に触れたときに加わる外力）によっても、ＸＹＺの少なくとも１つの方向に歪む。したがって、ＦＢＧセンサからなる歪み検出素子による検出信号を、第１のブレード２０１への作用力に校正する校正行列を用いて作用力として計測することもできる。
　但し、第１のブレード２０１の作用力による歪みと温度変化による歪みを分離するために、作用力検出用及び温度変化検出用の歪み検出素子をそれぞれ分離して配置する必要がある。
　例えば、図７に示すように、温度変化検出用の歪み検出素子３０１とは独立して、作用力検出用の一対の歪み検出素子７０１及び７０２を、第１のブレード２０１に配設してもよい。これらの歪み検出素子７０１及び７０２も、上記と同様にＦＢＧセンサを用いて構成することができ、第１のブレード２０１の表面に長軸方向に沿って刻設された溝部に埋設して取り付けることができる。一方の歪み検出素子７０１を用いて第１のブレード２０１の開閉方向の外側に発生する歪み量を検出することができ、また、他方の歪み検出素子７０２を用いて第１のブレード２０１の開閉方向の内側に発生する歪み量を検出することができる。
　なお、上記では、図３～図６を参照しながら第１のブレード２０１にのみ温度センサ５１を配置した例について説明したが、第２のブレード２０２にも独立した温度センサ５１を配置してもよい。この場合、第１のブレード２０１と第２のブレード２０２とで挟持した操作対象（患者の体内組織など）の上下両側面で温度を個別に計測することができるようになる。
　続いて、マスタ装置１０側に装備される温覚提示部５３について、詳細に説明する。
　ユーザは、マスタ装置１０の入力部１１を用いて、スレーブ装置２０側の支持アーム装置２１０並びにエンドエフェクタ２００を遠隔操作する。入力部１１は、例えば、レバー、グリップ、ボタン、ジョグダイヤル、タクトスイッチ、フット・ペダル・スイッチなどの入力デバイスによって構成され得る（前述）。本実施形態では、入力部１１に温覚提示部５３が配設されている点に特徴がある。具体的には、指先などユーザの皮膚と触れる部分に温覚提示部５３を配設して、温度センサ５１により計測されたエンドエフェクタ２００の温度（言い換えれば、エンドエフェクタ２００が触れている患者の体内組織の温度）に応じた温覚をユーザに与えることによって、患者の体内組織に対する触感を効果的に再現することができる。
　図８には、マスタ装置１０側で入力部１１として用いられるグリップ８００に温覚提示部を配置している例を示している。図示のグリップ８００は、第１のグリップ部材８０１と第２のグリップ部材８０２が回転軸８０３回りに回転可能に軸支された開閉構造をなしている。
　ユーザは、例えば右手の人差し指８１１と親指８１２でそれぞれ第１のグリップ部材８０１と第２のグリップ部材８０２を押圧することで、グリップ８００を開閉操作することができる。そして、スレーブ装置２０側では、ユーザの人差し指８１１と親指８１２で開閉操作されたグリップ８００の回転角に応じて、駆動部２１が、エンドエフェクタとしての鉗子２００の第１のブレード２０１と第２のブレード２０２を開閉駆動させる。したがって、マスタ装置１０側のユーザは、患者の体内組織を人差し指８１１と親指８１２で実際に触れる感覚（若しくはアナロジー）で、グリップ８００を操作することができる。
　また、本実施形態では、第１のグリップ部材８０１と第２のグリップ部材８０２には、それぞれユーザの人差し指８１１と親指８１２が当接する場所に、温覚提示部５３としての温度アクチュエータ８０４及び温度アクチュエータ８０５が取り付けられている。したがって、温度センサ５１により計測されたエンドエフェクタ２００の温度（言い換えれば、エンドエフェクタ２００が触れている患者の体内組織の温度）に応じて、これら温度アクチュエータ８０４及び温度アクチュエータ８０５が温度を変化させることによって、第１のブレード２０１と第２のブレード２０２とユーザの人差し指及び親指とのアナロジー（前述）から、患者の体内組織の温度をユーザに直感的に提示することができる。また、ユーザに対して、力覚及び触覚に加えて温覚を提示することによって、患者の体内組織に対する触感を効果的に再現することができる。
　温度アクチュエータ８０４及び温度アクチュエータ８０５は、少なくとも所定の温度範囲内でプラスとマイナスの少なくとも一方に自在に温度を変化させることが可能なデバイスで構成される。
　なお、温度アクチュエータ８０４及び温度アクチュエータ８０５は、第１のブレード２０１と第２のブレード２０２とユーザの人差し指及び親指とのアナロジー（前述）よりも、指先の感度を優先させた場所に配設してもよい。あるいは、グリップ８００への取り付け易さを考慮した場所に、温度アクチュエータ８０４及び温度アクチュエータ８０５を配設してもよい。
　また、図８に示した例では、第１のグリップ部材８０１と第２のグリップ部材８０２の両方に温度アクチュエータ８０４及び温度アクチュエータ８０５を配設しているが、温度アクチュエータ８０４又は温度アクチュエータ８０５のいずれか一方にのみを配設しても、ユーザに対して直感的に温度を提示することができる。
　なお、エンドエフェクタ２００としての鉗子の第１のブレード２０１及び第２のブレード２０２の両方に、それぞれ独立した温度センサ５１を装備している場合には、第１のグリップ部材８０１と第２のグリップ部材８０２の両方に温度アクチュエータ８０４及び温度アクチュエータ８０５を配設するとともに、各温度アクチュエータ８０４及び８０５がそれぞれ独立して第１のブレード２０１及び第２のブレード２０２の温度を提示するようにすれば、エンドエフェクタ２００で操作している対象（患者の体内組織など）の両側面の温度差をリアルに提示することが可能となる。
　図９には、マスタ－スレーブシステム１に組み込まれた温覚フィードバック機能部５０の具体的な構成例を示している。
　温度センサ５１としてエンドエフェクタ２００に取り付けられたＦＢＧセンサ９０１は、温度変化ΔＴに起因してエンドエフェクタ２００と一体となって歪みΔεを生じる。ＦＢＧセンサ９０１は、光ファイバーの長軸に沿って回折格子（グレーティング）を刻んで構成されるセンサである（前述）。
　検出部（Ｉｎｔｅｒｒｏｇａｔｏｒ）９０２は、所定波長帯（ブラッグ波長）からなる検出光をＦＢＧセンサ９０１の端部から入射するとともにその反射光を受光して、エンドエフェクタ２００の歪みΔεによって生じる回折格子の間隔の変化を反射光の波長の変化Δλとして検出する。ここで、ＦＢＧセンサ９０１における波長の変化Δλは、エンドエフェクタ２００に生じた歪みΔεとほぼ比例関係にあるものとする。
　なお、温度センサ５１としてＦＢＧセンサ以外の歪みセンサを用いる場合には、検出部９０２は、その歪みセンサから温度変化ΔＴに起因してエンドエフェクタ２００に生じる歪みΔεを検出するものとする。
　情報処理装置９０３は、検出部９０２による検出結果Δλを入力して、あらかじめ決定しておいた校正行列を用いて、ＦＢＧセンサ９０１に生じた波長変化Δλをエンドエフェクタ２００における温度変化ΔＴに校正する。例えば校正ゲインをｋthとすると、以下の式（１）に従って、ＦＢＧセンサ９０１の波長変化Δλを温度変化ΔＴに校正することができる。また、温度センサ５１としてＦＢＧセンサ以外の歪みセンサを用いる場合には、情報処理装置９０３は、校正ゲインｋth´を用いた以下の式（２）に従って、エンドエフェクタ２００に生じた歪みΔεを温度変化ΔＴに校正することができる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　なお、情報処理装置９０３は例えばパーソナルコンピュータ（ＰＣ）で構成される。また、制御システム３０（図１を参照のこと）が情報処理装置９０３の機能を兼ねて、上式（１）又は（２）に示した校正計算を実施するようにしてよい。
　温覚提示部５３は、上述したように、グリップなどの入力部１１のユーザの指先（若しくはその他の部位の皮膚）と接触している。図９に示す例では、温覚提示部５３は、マイナス方向に温度を変化させる第１のマイクロポンプ９０４と、プラス方向に温度を変化させる第２のマイクロポンプ９０５と、温度を計測する温度センサ９０６と、サーボコントローラ９０７で構成されている。
　第１のマイクロポンプ９０４は、例えば２０℃の冷流体（又は、冷気体）が供給されて、ユーザの指先との接触面９０８の温度をマイナス方向に変化させる。また、第２のマイクロポンプ９０５は、例えば４０℃の熱流体（又は、熱気体）が供給されて、ユーザの指先との接触面９０８の温度をプラス方向に変化させる。
　サーボコントローラ９０７は、エンドエフェクタ２００（言い換えれば、エンドエフェクタ２００としての鉗子が操作している患者の体内組織）における温度変化ΔＴの計測結果を入力すると、温覚提示部５３における目標温度Ｔrefを設定する。そして、サーボコントローラ９０７は、この目標温度Ｔrefを実現すべく、第１のマイクロポンプ９０４への冷流体の供給量、並びに第２のマイクロポンプ９０５への熱流体の供給量を指示する。
　また、温度センサ９０６は、ユーザの指先との接触面９０８の実際の温度Ｔaを計測して、サーボコントローラ９０７にフィードバックする。そして、サーボコントローラ９０７は、目標温度Ｔrefと実際の温度Ｔaの差分に基づいて第１のマイクロポンプ９０４への冷流体の供給量、並びに第２のマイクロポンプ９０５への熱流体の供給量を調整して、ユーザの指先との接触面９０８が目標温度Ｔrefに近づくようにサーボコントロールする。
　続いて、サーボコントローラ９０７によって温覚提示部５３の温度を制御する方法について、詳細に説明する。
　サーボコントローラ９０７は、基本的には、温度センサ５１により検出されたエンドエフェクタ２００の温度（言い換えれば、操作対象とする患者の術部の体内組織の温度）と協調して、ユーザの指先との接触面９０８を温度変化させる。すなわち、サーボコントローラ９０７は、エンドエフェクタ２００に接触した操作対象の表面温度が上昇すると、ユーザの指先との接触面９０８の温度を上昇させ、逆に、操作対象の表面温度が下降すると、ユーザの指先との接触面９０８の温度も下降させる。
　但し、エンドエフェクタ２００における温度変化ΔＴと、温覚提示部５３における目標温度Ｔrefの温度変化ΔＴrefとの比率は１：１でなくてもよい。例えば、サーボコントローラ９０７は、エンドエフェクタ２００における温度変化ΔＴと、温覚提示部５３における目標温度Ｔrefの温度変化ΔＴrefとの比率を１：ｎに設定すれば（但し、ｎ＞１とする）、エンドエフェクタ２００（言い換えれば、操作対象とする患者の体内組織）の温度変化ΔＴをｎ倍に増幅した温度変化ΔＴref（＝ｎ・ΔＴ）で、温覚提示部５３における提示温度が変化することになる。これによって、ユーザは、施術中において患者の体内組織の温度の変化を実質的に高い感度で知覚することが可能になる。
　また、サーボコントローラ９０７は、エンドエフェクタ２００における温度変化ΔＴと、温覚提示部５３における目標温度Ｔrefの温度変化ΔＴrefとの比率をｎ：１に設定してもよい（但し、ｎ＞１とする）。この場合には、エンドエフェクタ２００における温度変化のｎ分の１に減衰した温度変化ΔＴref（＝ΔＴ／ｎ）で、温覚提示部５３の温度が変化することになる。例えば、エンドエフェクタ２００において極度に高温の物体や逆に極度に低音の物体を操作しているときには、温度変化ΔＴをｎ分の１に圧縮することにより、入力部１１を操作しているユーザに対して侵襲なく温度を提示することが可能になる。
　また、人間の知覚は変化に対してより敏感であるという特性を有することが知られている。この特性は、温覚に関しても該当する。すなわち、人間は、静的な温度よりも、温度の変化をより敏感に感じ取ることができる。そこで、サーボコントローラ９０７は、温度センサ５１により検出された温度変化ΔＴの速度又は加速度を調節して、温覚提示部５３でユーザに温度を提示するようにして、ユーザが温度を検知する感度を調整するようにしてもよい。
　図１０には、温度センサ５１により検出された温度Ｔと、サーボコントローラ９０７により温覚提示部５３に指示される目標温度Ｔrefとの関係を例示している。但し、横軸を時間軸、縦軸を温度軸とし、温度センサ５１により検出された温度Ｔを点線１００２で示し、目標温度Ｔrefを実線１００１で示している。図１０に示す例では、人間の知覚限界内で、目標温度Ｔrefの温度変化ΔＴrefの立ち上がり時間を圧縮するように、温度変化ΔＴの速度又は加速度を調節している。この結果、ユーザがエンドエフェクタ２００（若しくは、エンドエフェクタ２００で操作している患者の体内組織）における温度変化ΔＴを感度よく検知できるようになることが期待される。提示温度の立ち上がりに要する時間Δｔを人間の検知限界以下にすることが好ましい。
　また、図１１には、温度センサ５１により検出された温度Ｔと、サーボコントローラ９０７により温覚提示部５３に指示される目標温度Ｔrefとの関係の他の例を示している。但し、横軸を時間軸、縦軸を温度軸とし、温度センサ５１により検出された温度Ｔを点線１１０２で示し、目標温度Ｔrefを実線１１０１で示している。図１１に示す例では、人間の知覚限界内で、目標温度Ｔrefの温度変化ΔＴrefの立ち下がり時間を圧縮するように、温度変化ΔＴの速度又は加速度を調節している。この結果、ユーザがエンドエフェクタ２００（若しくは、エンドエフェクタ２００で操作している患者の体内組織）における温度変化ΔＴを感度よく検知できるようになることが期待される。提示温度の立ち下がりに要する時間Δｔを人間の検知限界以下にすることが好ましい。
　また、人間の知覚は一定時間同じ環境に曝露されることによる慣れによって感度が低下する可能性がある。この特性は、温覚に関しても該当し、一定時間同じ温度に晒されると、温度に鈍感になってしまうことが懸念される。そこで、サーボコントローラ９０７は、温度センサ５１による検出温度Ｔが変化しなくなってから一定時間が経過したときに（若しくは、温度変化ΔＴが閾値ΔＴth未満のまま一定時間が経過したときに）、あるいは、目標温度Ｔrefを最後に変化させてから一定時間が経過したときに、温覚提示部５３における目標温度Ｔref（若しくは、ユーザに対する提示温度）を初期温度Ｔinitにリセットして、改めて温覚ΔＴrefを提示することにより、ユーザの温覚に対する感度低下を防ぐようにしてもよい。
　続いて、判定部６０による、計測温度に基づく判定処理について、詳細に説明する。
　判定部６０は、温度と患者の術部の状態との対応関係を記述したデータテーブル６１を参照して、温度センサ５１によって計測した温度が示す患者の患部の状態を判定する。例えば、血液が温度センサ５１に触れたとき、判定部６０は、環境温度と血液との温度の相違から、操作対象である患者の術部から出血したことを判別する。また、見えないところにある物体を温度センサ５１で触ったときに、判定部６０は、温度の違いから何の組織であるか（例えば、脂肪又は血管のいずれであるか）を判別する。
　また、判定部６０は、温度及び力覚と患者の生体組織の状態との対応関係を記述したデータテーブル６１を参照して、温度センサ５１によって検出された温度と、状態検出部２２で検出されたエンドエフェクタに作用する外力（すなわち力覚）の情報の組み合わせに基づいて、エンドエフェクタが接触する操作対象（患者の体内組織）が正常組織であるか否かを判定する。
　エンドエフェクタ２００が、図３などに示した鉗子のように、操作対象と２以上の接触部を有するデバイスで構成される場合には、１の接触部に温度センサ５１を設けるとともに、他の接触部に温度入力部５４をさらに装備してもよい。
　図１２には、第１のブレード２０１に温度センサとしての歪み検出素子３０１が設けられるとともに、第２のブレード２０２に温度入力部５４が設けられているエンドエフェクタ（鉗子）２００の構成例を示している。
　第１のブレード２０１に設けられた歪み検出素子３０１は、例えばＦＢＧセンサを用いて構成される。第１のブレード２０１の構成については、図３～図６を参照しながら既に説明した通りであり、ここでは詳細な説明を省略する。
　一方、第２のブレード２０２に設けられた温度入力部５４は、例えば発熱素子などの、少なくとも所定の温度範囲内で自在に温度を変化させることが可能な温度アクチュエータで構成される。
　図１２に示すように、第１のブレード２０１と第２のブレード２０２で操作対象を挟持している状態で、温度入力部５４から操作対象１２０２の一方の側面から温度を入力すると（例えば、操作対象１２０１を加熱する）、入力された温度は、操作対象１２０１を介して反対側の側面まで到達して第１のブレード２０１まで伝搬される。その結果、第１のブレード２０１は熱膨張して、温度変化に対応した歪みが歪み検出素子３０１によって検出される。そして、所定の校正行列を用いることで、第１のブレード２０１に生じた歪みが温度変化に校正される。
　判定部６０は、温度入力部５４により操作対象１２０１の一方の側面に入力される温度と、温度センサ５１により計測される操作対象１２０１の反対側の側面の温度の関係に基づいて、操作対象１２０１の種類又は特性を判定することが可能である。例えば、操作対象１２０１の種類又は特性に応じて、入力された温度が操作対象１２０１内を伝搬する遅延時間や、伝搬に伴う減衰の仕方に特徴がある。したがって、判定部６０は、入出力の温度特性の伝達関数と操作対象の種類又は特性（術部の組織など）との対応関係を記述したデータテーブル６１を参照して、操作対象１２０１の種類又は特性を判定処理することができる。また、判別部６０は、温度と患者の術部の状態を示した教師データをニューラルネットワーク等を用いて機械学習することにより生成された学習器により構成されてもよい。
　判定部６０による判定結果は、基本的には、マスタ装置１０側からスレーブ装置１０を遠隔操作しているユーザに通知される。例えば、判定部６０による判定結果は、温覚提示部５３のディスプレイ５３－２に画面表示される。例えば、患者の術部を内視鏡で撮像した映像に、判定結果を重畳してもよい（出血部分や、施術の対象となる部位を指示する図形などの映像を重畳したりする）。勿論、判定部６０による判定結果を、映像ではなくコメントなどの文字情報で画面に表示してもよい。
　また、判定部６０による判定結果を、画面ではなく、音声ガイダンスなどの音声出力でユーザに通知するようにしてもよい。また、力覚提示部１２で提示する力覚や、振動提示部４５で提示する触覚、温覚提示部５３で提示する温覚に対して、判定部６０による判定結果を重畳するようにしてもよい（例えば、患部からの出血を判別したときに、緊急事態であることを、力覚や触覚、温覚を通じてユーザに知らせる）。
　図１に示したシステム構成例では、判定部６０は、マスタ装置１０側に配設されている。変形例として、判定部６０をマスタ装置１０ではなくスレーブ装置２０側に設けて、判定部６０による判定結果をマスタ装置１０側に伝送するようにしてもよい。
　図１３には、図１に示したマスタ－スレーブシステム１において制御システム３０として動作することができる情報処理装置２１００のハードウェア構成を示している。図示の情報処理装置２１００は、図９に示した温覚フィードバック機能部５０内の情報処理装置９０３を兼用することもできる。
　図示の情報処理装置２１００は、主にＣＰＵ２１０１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２１０３と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２１０５を備え、さらに、ホストバス２１０７と、ブリッジ２１０９と、外部バス２１１１と、インターフェース２１１３と、入力装置２１１５と、出力装置２１１７と、ストレージ装置２１１９と、ドライブ２１２１と、接続ポート２１２３と、通信装置２１２５とを備えている。
　ＣＰＵ２１０１は、演算処理装置及び制御装置として機能し、ＲＯＭ２１０３、ＲＡＭ２１０５、ストレージ装置２１１９又はリムーバブル記録媒体２１２７に記録された各種プログラムに従って、情報処理装置２１００内の動作全般又はその一部を制御する。ＲＯＭ２１０３は、ＣＰＵ２１０１が使用するプログラムや演算パラメータなどを不揮発的に記憶する。ＲＡＭ２１０５は、ＣＰＵ２１０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータなどを一時的に記憶する。これらはＣＰＵバスなどの内部バスにより構成されるホストバス２１０７により相互に接続されている。なお、図１に示したロボット・システム１における制御システム３０の機能は、例えば、ＣＰＵ２１０１が所定のプログラムを実行することにより実現され得る。
　ホストバス２１０７は、ブリッジ２１０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスなどの外部バス２１１１に接続されている。また、外部バス２１１１には、インターフェース２１１３を介して、入力装置２１１５、出力装置２１１７、ストレージ装置２１１９、ドライブ２１２１、接続ポート２１２３及び通信装置２１２５が接続されている。
　入力装置２１１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、 レバー及びペダルなどのユーザが操作する操作デバイスからなる。また、入力装置２１１５は、例えば、赤外線やその他の電波を利用したリモートコントローラ（いわゆる、リモコン）であってもよいし、情報処理装置２１００の操作に対応した携帯電話若しくはスマートフォンやＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）などの外部接続機器２１２９であってもよい。さらに、入力装置２１１５は、例えば、上記の操作デバイスを用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ２１０１に出力する入力制御回路などから構成されている。情報処理装置２１００のユーザは、入力装置２１１５を操作することにより、情報処理装置２１００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置２１１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプなどの表示装置や、スピーカ及びヘッドホンなどの音声出力装置や、プリンタ装置などが挙げられる。
　出力装置２１１７は、例えば、情報処理装置２１００が行なった各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置２１００が行なった各種処理により得られた結果をテキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データなどからなるオーディオ信号をアナログ信号に変換して音声出力する。なお、マスタ装置１０に備えられたモニタ２６０は、例えば、出力装置２１１７により実現され得る。また、出力装置２１１７は、温覚提示部５３のディスプレイ５３－２を兼ねていてもよい。
　ストレージ装置２１１９は、情報処理装置２１００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイスなどにより構成される。ストレージ装置２１１９は、ＣＰＵ２１０１が実行するプログラムや各種データなどを格納する。
　ドライブ２１２１は、記録媒体用リーダライタであり、情報処理装置２１００に内蔵あるいは外付けされる。ドライブ２１２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリなどのリムーバブル記録媒体２１２７に記録されている情報を読み出して、ＲＡＭ２１０５などに出力する。また、ドライブ２１２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリなどのリムーバブル記録媒体２１２７に記録を書き込むことも可能である。リムーバブル記録媒体２１２７は、例えば、ＤＶＤメディア、ＨＤ－ＤＶＤメディア又はＢｌｕ－ｒａｙ（登録商標）メディアなどである。また、リムーバブル記録媒体２１２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ　ｍｅｍｏｒｙ　ｃａｒｄ）などであってもよい。また、リムーバブル記録媒体２１２７は、例えば、非接触型ＩＣチップを搭載したＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）カード又は電子機器などであってもよい。
　接続ポート２１２３は、情報処理装置２１００に直接接続するためのポートである。接続ポート２１２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポートなどがある。接続ポート２１２３の別の例として、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポートなどがある。接続ポート２１２３に外部接続機器２１２９を接続することで、情報処理装置２１００は、外部接続機器２１２９から直接各種のデータを取得したり、外部接続機器２１２９に各種のデータを提供したりする。
　通信装置２１２５は、例えば、通信網（ネットワーク）２１３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置２１２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カードなどである。また、通信装置２１２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデムなどであってもよい。通信装置２１２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰなどの所定のプロトコルに則って伝送信号を送受信することができる。また、通信装置２１２５に接続される通信網２１３１は、有線又は無線によって接続されたネットワークなどにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信などであってもよい。
　以上、本実施形態に係るマスタ－スレーブシステム１における制御システム３０の機能を実現可能な情報処理装置２１００のハードウェア構成の一例について説明した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。したがって、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。図１３では図示を省略したが、本実施形態に係る制御システム３０を構成する情報処理装置２１００に対応する各種の構成を当然備えるものとする。
　なお、上述のような本実施形態に係る制御システム３０を構成する情報処理装置２１００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータなどに実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバなど）が互いに連携して実行してもよい。なお、単数のコンピュータ、又は複数のコンピュータが連携するものを、「コンピュータシステム」とも称する。
　本明細書で開示する技術を適用したマスタ－スレーブシステムによれば、スレーブ装置側のエンドエフェクタに接触した操作対象の表面温度を計測し、スレーブ装置を遠隔操作するマスタ装置側のユーザにリアルタイムで提示することができる。これによって、ユーザがスレーブ装置の先端を「あたかも自分の手のように振る舞う」ことに寄与することができる。また、鉗子や内視鏡などの術具とは別に片手を挿入するポートを開けて、術者が組織を直接触れながら手術を進めるＨＡＬＳ（Ｈａｎｄ－ａｓｓｉｓｔｅｄ　Ｌａｐａｒｏｓｃｏｐｉｃ　Ｓｕｒｇｅｒｙ）と呼ばれる内視鏡下手術に比べると、侵襲性を低くできる。
　マスタ装置側で操作対象の表面温度を提示する方法はさまざまである。例えば、マスタ装置は、計測した表面温度に対応した温覚をユーザに提示してもよいし、表面温度に関する情報を例えば色や数値で表して、画面に表示することができる。また、マスタ装置は、計測した表面温度に協調して温度変化させて、温覚を提示するようにしてもよい。その際、表面温度の温度変化を増幅させて提示することにより、ユーザが操作対象の温度変化を検知し易くすることができる。
　マスタ－スレーブシステムを医療分野に適用する場合、手の間隔が生体組織の識別や接触の判定に必要となる。本明細書で開示する技術を適用したマスタ－スレーブシステムによれば、操作中の生体組織や血液から検出した温度と環境温度との相違から、患者の患部の状態を判定することができる。さらに、本明細書で開示する技術を適用したマスタ－スレーブシステムによれば、操作対象の入出力の温度特性の伝達関数に基づいて、操作対象の種類又は特性を判定することができる。
　また、本明細書で開示する技術を適用したマスタ－スレーブシステムによれば、スレーブ装置を遠隔操作するマスタ装置のユーザに対して、力覚及び振動触覚に加えて温覚を提示することができる。したがって、ユーザはマスタ装置を通じて内視鏡下手術を行っている際などに触感を得易くなる。ユーザは、リアルタイムの温覚を得ることにより、組織判別や接触判定によるパフォーマンスが向上し、さらに接触検知や出血検知による安全性を向上させることができる。その結果として、スレーブ装置とマスタ装置との間の伝達関数を１つとしつつ、精密動作や侵襲の抑制といったユーザの能力の拡張に貢献し、効率的に施術を実施することが可能になる。
　以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
　本明細書では、本明細書で開示する技術を内視鏡下手術など医療用のロボット装置に適用した実施形態を中心に説明してきたが、医療以外のさまざまな分野で利用されるロボット装置にも同様に本明細書で開示する技術を適用することができる。また、本明細書で開示する技術は、マスタ－スレーブ方式以外のさまざまなタイプのロボット装置にも同様に適用することができる。
　また、本明細書で開示する技術は、バーチャルリアリティ（ＶＲ）など、エンターテイメント分野に適用してリアルタイムの温覚を提示することによって、よりリアルなユーザ体験を提供することができる。
　要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
　なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）温度を取得する温度取得部を含むスレーブ装置と、
　前記取得された温度を提示する提示部を含むマスタ装置と、
を具備するマスタ－スレーブシステム。
（２）前記温度取得部は、前記スレーブ装置のエンドエフェクタに取り付けられた温度センサからなる、
上記（１）に記載のマスタ－スレーブシステム。
（３）前記提示部は、前記温度取得部が取得した温度に対応した温覚を提示する、
上記（１）又は（２）のいずれかに記載のマスタ－スレーブシステム。
（４）前記提示部は、前記温度取得部が取得した温度に関する情報を表示する表示部を備える、
上記（１）乃至（３）のいずれかに記載のマスタ－スレーブシステム。
（５）前記表示部は、温度に対応した数値又は色を表示する、
上記（４）に記載のマスタ－スレーブシステム。
（６）前記温度取得部が取得した温度に基づいて前記エンドエフェクタによる操作対象の状態を判定する判定部をさらに備える、
上記（１）乃至（５）のいずれかに記載のマスタ－スレーブシステム。
（７）前記エンドエフェクタに作用する外力を検出する力覚センサをさらに備え、
　前記判定部は、前記力覚センサによる力覚及び前記温度取得部により取得される温度の情報の組み合わせに基づいて、前記操作対象の状態を判定する、
上記（６）に記載のマスタ－スレーブシステム。
（８）前記提示部は、前記判定部による判定結果に関する情報をさらに提示する、
上記（６）又は（７）のいずれかに記載のマスタ－スレーブシステム。
（９）前記マスタ装置は、前記スレーブ装置の操作に使用する操作部を備え、
　前記提示部は、前記操作部において前記取得された温度に基づく温覚を提示する、
上記（１）乃至（８）のいずれかに記載のマスタ－スレーブシステム。
（１０）前記提示部は、前記操作部に設けられた、前記取得された温度に基づいて温度変化する温度変化部を含む、
上記（９）に記載のマスタ－スレーブシステム。
（１１）前記温度変化部は、前記取得された温度と協調して温度変化する、
上記（１０）に記載のマスタ－スレーブシステム。
（１２）前記温度変化部は、前記温度取得部で取得された温度の温度変化を増幅又は減衰して温度変化する、
上記（１１）に記載のマスタ－スレーブシステム。
（１３）前記温度変化部は、前記温度取得部で取得された温度の温度変化の速度又は加速度を調節して温度変化する、
上記（１１）又は（１２）のいずれかに記載のマスタ－スレーブシステム。
（１４）前記温度変化部は、温度を変化させなくなってから一定時間が経過したときに、初期温度にリセットする、
上記（１１）乃至（１３）のいずれかに記載のマスタ－スレーブシステム。
（１５）前記温度変化部は、マイクロポンプ又はペルチェ素子のいずれかからなる、
上記（１０）乃至（１４）のいずれかに記載のマスタ－スレーブシステム。
（１６）前記スレーブ装置は、操作対象と接触する２以上の接触部を有するエンドエフェクタを備え、
　前記温度取得部は１の接触部の温度を取得し、
　前記操作対象に対して温度入力を行う温度入力部を他の接触部に備える、
上記（１）乃至（１５）のいずれかに記載のマスタ－スレーブシステム。
（１７）前記温度入力部による入力温度と、前記温度取得部により取得された温度に基づいて、前記操作対象の種類又は特性を判定する第２の判定部をさらに備える、
上記（１６）に記載のマスタ－スレーブシステム。
（１８）前記温度センサは、温度変化により前記エンドエフェクタに生じる歪みを検知可能な歪みセンサである、
上記（２）に記載のマスタ－スレーブシステム。
（１９）前記歪みセンサは、ＦＢＧセンサで構成される、
上記（１８）に記載のマスタ－スレーブシステム。
（２０）スレーブ装置において温度を取得する温度取得ステップと、
　マスタ装置において、前記スレーブ装置で取得された温度を提示する提示ステップと、
を有するマスタ－スレーブシステムの制御方法。
特開２０１６－２１４７１５号公報 特公４－４５３１０号公報
　１…マスタ－スレーブシステム
　１０…マスタ装置、１１…入力部、１２…力提示部
　２０…スレーブ装置、２１…駆動部、２２…状態検出部
　３０…制御システム
　４０…振動フィードバック機能部
　４１…第１の振動センサ、４２…第２の振動センサ
　４３…振動伝達部、４４…第１の振動提示部、４５…第２の振動提示部
　５０…温覚フィードバック機能部
　５１…温度センサ、５２…温度伝達部、５３…温覚提示部
　５３－１…温度アクチュエータ、５３－２…ディスプレイ
　５４…温度入力部
　６０…判定部、６１…データテーブル
　２００…エンドエフェクタ（鉗子）
　２０１…第１のブレード、２０２…第２のブレード
　２０３…鉗子回動軸
　２１０…支持アーム装置　
　３０１…歪み検出素子、４０１…起歪体
　５０１…溝部、５１１…光ファイバー
　８００…グリップ
　８０１…第１のグリップ部材、８０２…第２のグリップ部材
　８０３…回転軸、８０４、８０５…温度アクチュエータ
　９０１…ＦＢＧセンサ、９０２…検出部、９０３…情報処理装置
　９０４…第１のマイクロポンプ、９０５…第２のマイクロポンプ
　９０６…温度センサ、９０７…サーボコントローラ
　２１００…情報処理装置、２１０１…ＣＰＵ、２１０３…ＲＯＭ
　２１０５…ＲＡＭ、２１０７…ホストバス、２１０９…ブリッジ
　２１１１…外部バス、２１１３インターフェース、２１１５…入力装置
　２１１７…出力装置、２１１９…ストレージ装置、２１２１…ドライブ
　２１２３…接続ポート、２１２５…通信装置

Claims (20)

  1. 　温度を取得する温度取得部を含むスレーブ装置と、
    　前記取得された温度を提示する提示部を含むマスタ装置と、
    を具備するマスタ－スレーブシステム。
  2. 　前記温度取得部は、前記スレーブ装置のエンドエフェクタに取り付けられた温度センサからなる、
    請求項１に記載のマスタ－スレーブシステム。
  3. 　前記提示部は、前記温度取得部が取得した温度に対応した温覚を提示する、
    請求項１に記載のマスタ－スレーブシステム。
  4. 　前記提示部は、前記温度取得部が取得した温度に関する情報を表示する表示部を備える、
    請求項１に記載のマスタ－スレーブシステム。
  5. 　前記表示部は、温度に対応した数値又は色を表示する、
    請求項４に記載のマスタ－スレーブシステム。
  6. 　前記温度取得部が取得した温度に基づいて前記エンドエフェクタによる操作対象の状態を判定する判定部をさらに備える、
    請求項１に記載のマスタ－スレーブシステム。
  7. 　前記エンドエフェクタに作用する外力を検出する力覚センサをさらに備え、
    　前記判定部は、前記力覚センサによる力覚及び前記温度取得部により取得される温度の情報の組み合わせに基づいて、前記操作対象の状態を判定する、
    請求項６に記載のマスタ－スレーブシステム。
  8. 　前記提示部は、前記判定部による判定結果に関する情報をさらに提示する、
    請求項６に記載のマスタ－スレーブシステム。
  9. 　前記マスタ装置は、前記スレーブ装置の操作に使用する操作部を備え、
    　前記提示部は、前記操作部において前記取得された温度に基づく温覚を提示する、
    請求項１に記載のマスタ－スレーブシステム。
  10. 　前記提示部は、前記操作部に設けられた、前記取得された温度に基づいて温度変化する温度変化部を含む、
    請求項９に記載のマスタ－スレーブシステム。
  11. 　前記温度変化部は、前記取得された温度と協調して温度変化する、
    請求項１０に記載のマスタ－スレーブシステム。
  12. 　前記温度変化部は、前記温度取得部で取得された温度の温度変化を増幅又は減衰して温度変化する、
    請求項１１に記載のマスタ－スレーブシステム。
  13. 　前記温度変化部は、前記温度取得部で取得された温度の温度変化の速度又は加速度を調節して温度変化する、
    請求項１１に記載のマスタ－スレーブシステム。
  14. 　前記温度変化部は、温度を変化させなくなってから一定時間が経過したときに、初期温度にリセットする、
    請求項１１に記載のマスタ－スレーブシステム。
  15. 　前記温度変化部は、マイクロポンプ又はペルチェ素子のいずれかからなる、
    請求項１０に記載のマスタ－スレーブシステム。
  16. 　前記スレーブ装置は、操作対象と接触する２以上の接触部を有するエンドエフェクタを備え、
    　前記温度取得部は１の接触部の温度を取得し、
    　前記操作対象に対して温度入力を行う温度入力部を他の接触部に備える、
    請求項１に記載のマスタ－スレーブシステム。
  17. 　前記温度入力部による入力温度と、前記温度取得部により取得された温度に基づいて、前記操作対象の種類又は特性を判定する第２の判定部をさらに備える、
    請求項１６に記載のマスタ－スレーブシステム。
  18. 　前記温度センサは、温度変化により前記エンドエフェクタに生じる歪みを検知可能な歪みセンサである、
    請求項２に記載のマスタ－スレーブシステム。
  19. 　前記歪みセンサは、ＦＢＧ（Ｆｉｂｅｒ　Ｂｒａｇｇ　Ｇｒａｔｉｎｇ）センサで構成される、
    請求項１８に記載のマスタ－スレーブシステム。
  20. 　スレーブ装置において温度を取得する温度取得ステップと、
    　マスタ装置において、前記スレーブ装置で取得された温度を提示する提示ステップと、
    を有するマスタ－スレーブシステムの制御方法。
PCT/JP2018/033137 2017-10-30 2018-09-07 マスタ－スレーブシステム及びその制御方法 WO2019087569A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112018005072.6T DE112018005072T5 (de) 2017-10-30 2018-09-07 Master-slave-system und steuerungsverfahren dafür
US16/758,411 US20200257270A1 (en) 2017-10-30 2018-09-07 Master-slave system and control method of the same
CN201880068794.1A CN111263620A (zh) 2017-10-30 2018-09-07 主从系统及其控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-208806 2017-10-30
JP2017208806 2017-10-30

Publications (1)

Publication Number Publication Date
WO2019087569A1 true WO2019087569A1 (ja) 2019-05-09

Family

ID=66333158

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/033137 WO2019087569A1 (ja) 2017-10-30 2018-09-07 マスタ－スレーブシステム及びその制御方法

Country Status (4)

Country Link
US (1) US20200257270A1 (ja)
CN (1) CN111263620A (ja)
DE (1) DE112018005072T5 (ja)
WO (1) WO2019087569A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023188993A1 (ja) * 2022-03-28 2023-10-05 国立研究開発法人産業技術総合研究所 温度制御装置及び温度制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008237784A (ja) * 2007-03-29 2008-10-09 Univ Waseda 病変部位の位置特定システム
US20130237995A1 (en) * 2010-09-17 2013-09-12 Samsung Electronics Co., Ltd. Surgery robot system, surgery apparatus and method for providing tactile feedback
JP2015085484A (ja) * 2013-11-01 2015-05-07 国立大学法人東京工業大学 指先刺激システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6162217A (en) * 1999-04-21 2000-12-19 Oratec Interventions, Inc. Method and apparatus for controlling a temperature-controlled probe
JP4458630B2 (ja) * 2000-07-03 2010-04-28 オリンパス株式会社 加熱治療装置
JP6582549B2 (ja) 2015-05-25 2019-10-02 ソニー株式会社 振動検出モジュール、振動検出装置、振動検出方法及び手術システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008237784A (ja) * 2007-03-29 2008-10-09 Univ Waseda 病変部位の位置特定システム
US20130237995A1 (en) * 2010-09-17 2013-09-12 Samsung Electronics Co., Ltd. Surgery robot system, surgery apparatus and method for providing tactile feedback
JP2015085484A (ja) * 2013-11-01 2015-05-07 国立大学法人東京工業大学 指先刺激システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023188993A1 (ja) * 2022-03-28 2023-10-05 国立研究開発法人産業技術総合研究所 温度制御装置及び温度制御方法

Also Published As

Publication number Publication date
DE112018005072T5 (de) 2020-07-09
CN111263620A (zh) 2020-06-09
US20200257270A1 (en) 2020-08-13

Similar Documents

Publication Publication Date Title
US11166771B2 (en) Robotic hand controller
KR101840312B1 (ko) 협동 로봇 제어 및 음향 피드백을 사용하여 힘 센서 정보를 나타내기 위한 방법
Tavakoli et al. Haptics for teleoperated surgical robotic systems
US20190012006A1 (en) Operating System with Haptic Interface for Minimally Invasive, Hand-Held Surgical Instrument
JP5431527B2 (ja) モジュール式力センサ
Patel et al. Haptic feedback and force-based teleoperation in surgical robotics
JP6984647B2 (ja) 手術用システム、外科手術システム、制御装置、起歪体、外科手術用器具、並びに外力検知システム
TW200820945A (en) Haptic feedback medical scanning methods and systems
KR102149008B1 (ko) 수술용 로봇의 충돌을 완화시키는 방법 및 시스템
US8981914B1 (en) Portable haptic force magnifier
JP6931420B2 (ja) 手術ロボットシステム
US10532466B2 (en) Robotic hand controller
WO2019150866A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2019087569A1 (ja) マスタ－スレーブシステム及びその制御方法
Mack et al. Interactive force-sensing feedback system for remote robotic laparoscopic surgery
US20220218406A1 (en) System and method for controlled grasping and energy delivery
WO2020045250A1 (ja) 触覚提示装置及び触覚提示システム
Fu et al. Control of an IPMC actuated robotic surgical tool with embedded interaction sensing
Payne Ungrounded haptic-feedback for hand-held surgical robots.
IL270455B2 (en) Contact force compensation in a robot manipulator
Lim et al. Towards hapticsenabled robotic surgery system
Mack et al. Transactions of the Institute of

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18871878

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18871878

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP