WO2020262262A1 - 医療用観察システム、制御装置及び制御方法 - Google Patents

医療用観察システム、制御装置及び制御方法 Download PDF

Info

Publication number
WO2020262262A1
WO2020262262A1 PCT/JP2020/024250 JP2020024250W WO2020262262A1 WO 2020262262 A1 WO2020262262 A1 WO 2020262262A1 JP 2020024250 W JP2020024250 W JP 2020024250W WO 2020262262 A1 WO2020262262 A1 WO 2020262262A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
sensor
types
observation system
medical observation
Prior art date
Application number
PCT/JP2020/024250
Other languages
English (en)
French (fr)
Inventor
淳 新井
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/620,747 priority Critical patent/US20220400938A1/en
Priority to CN202080040082.6A priority patent/CN113905652A/zh
Publication of WO2020262262A1 publication Critical patent/WO2020262262A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00097Sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00149Holding or positioning arrangements using articulated arms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00194Optical arrangements adapted for three-dimensional imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0605Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/32Surgical robots operating autonomously
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00207Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2048Tracking techniques using an accelerometer or inertia sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2059Mechanical position encoders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/061Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • A61B2090/3612Image-producing devices, e.g. surgical cameras with images taken automatically
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information

Definitions

  • the present disclosure relates to medical observation systems, control devices and control methods.
  • the light source device 5043 is composed of, for example, a light source such as an LED (Light Emitting Diode), and supplies irradiation light for photographing the surgical site to the endoscope device 5001.
  • a light source such as an LED (Light Emitting Diode)
  • LED Light Emitting Diode
  • the arm portion 5031 can be preferably configured to have at least 6 degrees of freedom.
  • the endoscope device 5001 can be freely moved within the movable range of the arm portion 5031, so that the lens barrel 5003 of the endoscope device 5001 is inserted into the body cavity of the patient 5071 from a desired direction. Will be possible.
  • the arm control device 5045 When force control is applied, the arm control device 5045 receives an external force from the user, and the actuators of the joint portions 5033a to 5033c are moved so that the arm portion 5031 moves smoothly according to the external force. So-called power assist control for driving may be performed.
  • the arm portion 5031 when the user moves the arm portion 5031 while directly touching the arm portion 5031, the arm portion 5031 can be moved with a relatively light force. Therefore, the endoscope device 5001 can be moved more intuitively and with a simpler operation, and the convenience of the user can be improved.
  • the drive unit 5011 is composed of an actuator, and the zoom lens and focus lens of the lens unit 5007 are moved by a predetermined distance along the optical axis under the control of the camera head control unit 5015. As a result, the magnification and focus of the image captured by the imaging unit 5009 can be adjusted as appropriate.
  • the image processing unit 5061 is composed of a processor such as a CPU or GPU, and when the processor operates according to a predetermined program, the above-mentioned image processing and detection processing can be performed.
  • the image processing unit 5061 is composed of a plurality of GPUs, the image processing unit 5061 appropriately divides the information related to the image signal and performs image processing in parallel by the plurality of GPUs.
  • the communication is performed by wire using the transmission cable 5065, but the communication between the camera head 5005 and the CCU 5039 may be performed wirelessly.
  • the communication between the two is performed wirelessly, it is not necessary to lay the transmission cable 5065 in the operating room, so that the situation where the movement of the medical staff in the operating room is hindered by the transmission cable 5065 can be solved.
  • the endoscope device 223 is connected to the tip of the arm portion 220, that is, the other end of the link 222f via the active joint portion 221f.
  • the ends of the plurality of links 222a to 222f are connected to each other by the active joint portions 221a to 221f, the passive slide mechanism 231 and the passive joint portion 233 with the base portion 210 as a fulcrum, so that the base portion 210 can be connected to each other.
  • An arm shape to be extended is constructed.
  • the support arm device 200 will be described below by defining the coordinate axes as shown in FIG.
  • the vertical direction, the front-back direction, and the left-right direction are defined according to the coordinate axes. That is, the vertical direction with respect to the base portion 210 installed on the floor surface is defined as the z-axis direction and the vertical direction.
  • the y-axis is the direction orthogonal to the z-axis and the direction in which the arm portion 220 extends from the base portion 210 (that is, the direction in which the endoscope device 223 is located with respect to the base portion 210). Defined as direction and front-back direction. Further, the directions orthogonal to the y-axis and the z-axis are defined as the x-axis direction and the left-right direction.
  • the passive joint portion 233 is an aspect of the passive form changing mechanism, and links 222d and 222e are rotatably connected to each other.
  • the passive joint portion 233 is rotated by, for example, a user, and the angle formed by the link 222d and the link 222e is variable. As a result, the overall shape of the arm portion 220 can be changed.
  • FIG. 3 illustrates a hemisphere as an example of the movable range of the endoscope device 223. If the center point RCM (remote motion center) of the hemisphere is the imaging center of the treatment site imaged by the endoscope device 223, the imaging center of the endoscope device 223 is fixed to the center point of the hemisphere. By moving the endoscope device 223 on a spherical surface of a hemisphere, the treatment site can be photographed from various angles.
  • RCM remote motion center
  • the arm portion 220 of the support arm device 200 has a plurality of joint portions and has 6 degrees of freedom
  • the present disclosure is not limited to this.
  • the arm portion 220 may have a structure in which an endoscope device 223 or an endoscope is provided at the tip thereof.
  • the arm portion 220 may be configured to have only one degree of freedom in driving the endoscope device 223 to move in a direction of entering the patient's body cavity and a direction of retreating.
  • FIG. 5 is a schematic view showing the perspective mirror 4100 and the direct view mirror 4150 in comparison.
  • the direction of the objective lens toward the subject (C1) and the longitudinal direction of the direct mirror 4150 (C2) coincide with each other.
  • the direction (C1) of the objective lens with respect to the subject has a predetermined angle ⁇ with respect to the longitudinal direction (C2) of the perspective mirror 4100.
  • the slave device 50 is provided with, for example, a motion sensor for measuring the motion of the active joint at a position corresponding to each active joint.
  • the motion sensor include an encoder and the like.
  • the slave device 50 is provided with, for example, a drive mechanism for driving the active joint at a position corresponding to each of the active joints. Examples of the drive mechanism include a motor and a driver.
  • FIG. 7 is a diagram showing an example of the configuration of the medical observation system according to the embodiment of the present disclosure.
  • the medical observation system 1 includes a control device 100 and a support arm device 200.
  • the control device 100 and the support arm device 200 are communicably connected to each other via the network NW.
  • the endoscope device 223 is composed of a tubular portion 2231 and a head portion 2232 (camera head).
  • the endoscope device 223 includes a light guide 311a, a light guide 311b, a lens 312a, a lens 312b, an irradiation unit 313, a light source adapter 320, a half mirror 330, a sensor unit 340, and an image sensor 350. To be equipped.
  • the irradiation unit 313 is connected to the sensor unit 340.
  • the irradiation unit 313 outputs light or sound for measuring the distance from the tip portion of the tubular portion 2231 to the object with respect to the object.
  • the sensor unit 340 measures various information about the object.
  • the sensor unit 340 is preferably a sensor capable of acquiring distance information from the tip portion of the tubular portion 2231 to the object and shape information including the object or its peripheral portion.
  • the sensor unit 340 may be composed of a plurality of sensors instead of a single sensor.
  • the sensor unit 340 may be composed of, for example, two or more types of sensors.
  • an environment map in the body is generated based on the measurement results of a plurality of types of sensors constituting the sensor unit 340.
  • the sensor unit 340 may be, for example, a phase difference sensor that calculates the distance to the object based on the difference between the phase of the light applied to the object and the phase of the reflected light from the object.
  • the sensor unit 340 may be, for example, an ultrasonic sensor that emits sound waves to an object and calculates the distance to the object based on the time until the emitted sound waves are reflected by the object and returned. ..
  • an environment map is generated based on the measurement result of an object in the patient's body by the sensor unit 340.
  • a factor that lowers the reliability of the measurement result of the sensor unit 340 is assumed.
  • the lens 312a, the lens 312b, the irradiation unit 313, and the like become dirty in the patient's body.
  • the causes include blood adhesion due to bleeding, liquid adhesion such as physiological saline for cleaning the abdominal cavity, tissue and lipid adhesion generated by the use of instruments such as electric scalpels, and dirt adhesion due to contact with organs. Can be mentioned.
  • the determination unit 134 determines various information based on the determination result of the determination unit 133.
  • the determination unit 134 is, for example, based on the determination result of the reliability of the measurement results of the first sensor 341 to the third sensor 343 by the determination unit 133, among the first sensor 341 to the third sensor 343, in the patient's body. Determine the sensor to measure.
  • the determination unit 134 may determine two types of highly reliable sensors from the first sensor 341 to the third sensor 343 as sensors for measuring the inside of the patient's body.
  • the determination unit 134 may determine, for example, the sensor judged to have the highest reliability among the first sensor 341 to the third sensor 343 as a sensor for measuring the inside of the patient's body.
  • the recognition unit 136 recognizes various types of information.
  • the recognition unit 136 recognizes various types of information based on, for example, the information from the sensor unit 340 acquired by the acquisition unit 131.
  • the recognition unit 136 recognizes various types of information based on, for example, an image of the inside of the patient acquired by the acquisition unit 131 from the stereo image sensor included in the sensor unit 340. In this case, the recognition unit 136 recognizes the bleeding and the generation of mist that have occurred in the patient's body.
  • the detection unit 137 detects various types of information.
  • the detection unit 137 detects various types of information based on, for example, the determination result by the determination unit 133.
  • the failure or reliability of some of the sensors is reduced based on the determination result of the reliability of the measurement results of the first sensor 341 to the third sensor 343 by the determination unit 133. Is detected.
  • the reliability of the entire medical observation system 1 is low based on the determination result of the reliability of the measurement results of the first sensor 341 to the third sensor 343 by the determination unit 133. Is detected.
  • FIG. 13 is a flowchart showing an example of the flow of the first process of the control unit 130 according to the embodiment.
  • an environment map is generated based on the values of the first sensor 341 to the third sensor 343 shown in FIG.
  • the control unit 130 uses the values of the two sensors determined in step S105 to generate an environmental map inside the patient's body (step S106). Specifically, the generation unit 135 generates an environment map in the patient's body by using the values of two sensors determined from the first sensor 341 to the third sensor 343. Then, the process of FIG. 13 ends.
  • the control unit 130 determines the sensor used to generate the environment map based on the determination result in step S204 (step S205). Specifically, the determination unit 134 determines a highly reliable sensor among the first sensor 341 to the third sensor 343. Here, the determination unit 134 may determine one sensor with the highest reliability, or may determine two sensors with the highest reliability. Then, the process proceeds to step S206.
  • the reliability of each sensor can be determined based on the comparison result between the value of each sensor and the patient map information generated in advance. Then, in this embodiment, the sensor for generating the environmental map in the patient's body can be determined based on the reliability based on the comparison result with the map information. Thereby, the present embodiment can further improve the accuracy of the environment map.
  • the map information generated before surgery based on MRI and CT imaging may be deformed or misaligned due to changes in intraperitoneal pressure or body position during surgery. Therefore, the map information generated in advance may be corrected and used for comparison.
  • the control unit 130 generates an environmental map inside the patient's body using the sensor values determined in step S511 (step S512). Specifically, the generation unit 135 generates an environmental map in the patient's body using the values of the relatively good sensor determined by the determination unit 134. Then, the process proceeds to step S513.
  • the control unit 130 instructs the surgical arm system 400 to perform a crisis avoidance operation based on the environment map created in step S512 (step S513). Specifically, the instruction unit 139 instructs the surgical arm system 400 to stop the operation on the patient. As a result, the surgical arm system 400 inserts and removes the first medical instrument 411 to the third medical instrument 431 from the patient's body, for example. Then, the process of FIG. 19 ends.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program that depends on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the media is, for example, an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • a magneto-optical recording medium such as MO (Magneto-Optical disk)
  • tape medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • MO Magneto-optical disk
  • the reliability of a plurality of types of sensor units 340 can be determined in consideration of the recognition result of the surgical situation. As a result, the accuracy of the environment map is further improved.
  • the reliability of the plurality of types of sensor units 340 can be determined by comparing the preoperative information with the sensor values of the plurality of types of sensor units 340 during the operation. As a result, the accuracy of the environment map is further improved.
  • Preoperative map information of the internal environment may be generated based on at least one of MRI (Magnetic Resonance Imaging) and CT (Computed Tomography).
  • the medical observation system 1A may include a detection unit 137 that detects a failure or a decrease in reliability of at least a part of the sensor units 340 based on the determination result of the determination unit 133.
  • the medical observation system 1 can self-determine a sensor failure or deterioration of the internal environment. As a result, safety is further improved.
  • the detection unit 137 may detect a decrease in the overall reliability of the medical observation system 1.
  • the medical observation system 1 (1A) has a relatively high reliability sensor among a plurality of types of sensor units 340 when the detection unit 137 detects a decrease in the overall reliability of the medical observation system 1 (1A).
  • An instruction unit 139 for instructing the operation of the main body unit to be autonomously driven may be provided according to the environment map generated based on the measurement result of the unit 340.
  • the determination unit 133 may detect dirt on the tip of the lens barrel of the endoscope based on the value of the ToF sensor.
  • the medical observation system 1 (1A) may include a support arm device having an arm portion that is configured to be bendable at least in part and is configured to support medical instruments.
  • the plurality of types of sensor units 340 may be supported by the arm unit.
  • the control device 100 obtains the sensor values of the acquisition unit 131 that acquires the sensor values of the plurality of types of sensor units 340 that measure information about the internal environment, and the sensor values of the plurality of types of sensor units 340 acquired by the acquisition unit 131.
  • a comparison unit 132 for comparison and a determination unit 134 for determining a sensor unit 340 for observing the internal environment among a plurality of types of sensor units 340 based on the comparison result of the comparison unit 132 are provided.
  • the medical observation system according to any one of (3) to (7) above.
  • the preoperative map information of the internal environment is generated based on at least one of MRI (Magnetic Resonance Imaging) and CT (Computed Tomography).
  • the medical observation system according to (8) above.
  • the determination unit determines the reliability of each of the plurality of types of the sensor units based on the map information of the internal environment before the operation and the environment map.
  • (11) Of the plurality of types of the sensor unit one is an image sensor that captures the internal environment. It is equipped with a recognition unit that recognizes the situation based on the image acquired from the image sensor.

Abstract

医療用観察システムは、体内環境に関する情報を測定する複数種類のセンサ部と、複数種類のセンサ部のそれぞれのセンサ値を取得する取得部(131)と、取得部(131)によって取得された複数種類のセンサ部のそれぞれのセンサ値を比較する比較部(132)と、比較部(132)の比較結果に基づいて、複数種類のセンサ部のうち体内環境を観察するためのセンサ部を決定する決定部(134)と、を備える。

Description

医療用観察システム、制御装置及び制御方法
 本開示は、医療用観察システム、制御装置及び制御方法に関する。
 近年、医療分野においては、各種の施術を行う際に、アームの先端に様々な医療用のユニットが設けられた多関節アーム(支持アームとも称する)を用いる方法が提案されている。
 例えば、特許文献1には、より操作性の自由度が高い先端ユニット及びアーム部の駆動制御を行うことが可能な医療用のロボットアーム装置が開示されている。
国際公開第2015/046081号
 ところで、医療分野においては内視鏡装置を利用して人体内部を観察することが行われる。しかしながら、内視鏡装置により撮像される画像のみでは当該内視鏡装置の周囲の状況を把握することが困難な場合がある。また、今後、自律的/半自律的に駆動するアームが使用される場合、人体内部の体内環境の情報(3次元情報等)を示す環境マップを精度よく生成することが求められることが予想される。
 そこで、本開示では、環境マップの精度を向上させることのできる医療用観察システム、制御装置及び制御方法を提案する。
 上記の課題を解決するために、本開示に係る一態様の医療用観察システムは、体内環境に関する情報を測定する複数種類のセンサ部と、複数種類の前記センサ部のそれぞれのセンサ値を取得する取得部と、前記取得部によって取得された複数種類の前記センサ部のそれぞれのセンサ値を比較する比較部と、前記比較部の比較結果に基づいて、複数種類の前記センサ部のうち前記体内環境を観察するためのセンサ部を決定する決定部と、を備える。
本開示に係る技術が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。 図1に示すカメラヘッド及びCCUの機能構成の一例を示すブロック図である。 本開示の実施形態に係る支持アーム装置の外観を示す概略図である。 本開示の実施形態に係る斜視鏡の構成を示す模式図である。 本開示の実施形態に係る斜視鏡と直視鏡を対比して示す模式図である。 本開示の実施形態に係るマスタースレーブ装置の構成の一例を示す図である。 本開示の実施形態に係る医療用観察システムの構成の一例を示す図である。 本開示の各実施形態に係る内視鏡装置の断面図である。 本開示の実施形態に係る内視鏡装置の先端部分の正面図である。 各種のセンサの信頼性の低下要因に対するロバスト性を説明するための表である。 本開示の実施形態に係るセンサ部の構成の一例を示すブロック図である。 本開示の実施形態に係る制御装置の構成の一例を示すブロック図である。 本開示の実施形態に係る医療用観察システムの処理の流れの概要を示すフローチャートである。 本開示の実施形態に係る制御装置の第1の処理の流れの一例を示すフローチャートである。 本開示の実施形態に係る制御装置の第2の処理の流れの一例を示すフローチャートである。 本開示の実施形態に係る制御装置の第3の処理の流れの一例を示すフローチャートである。 本開示の実施形態に係る制御装置の第4の処理の流れの一例を示すフローチャートである。 本開示の実施形態の変形例に係る医療用観察システムの構成の一例を示す図である。 本開示の実施形態に係る手術ロボットの構成の一例を示す図である。 本開示の実施形態の変形例に係る制御装置の処理の流れの一例を示すフローチャートである。 情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
 以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
 以下に示す項目順序に従って本開示を説明する。
 1.内視鏡システムの構成例
 2.支持アーム装置の構成例
 3.斜視鏡の基本的構成
 4.医療用観察システム
  4-1.医療用観察システムの構成
  4-2.内視鏡装置
  4-3.センサ部
  4-4.制御装置
 5.医療用観察システムの処理
  5-1.医療用観察システムの処理の概要
  5-2.第1の処理
  5-3.第2の処理
  5-4.第3の処理
  5-5.第4の処理
 6.医療用観察システムの変形例
  6-1.医療用観察システムの変形例の構成
  6-2.手術用アームシステム
  6-3.医療用観察システムの変形例の処理
 7.ハードウェア構成
[1.内視鏡システムの構成例]
 図1は、本開示に係る技術が適用され得る内視鏡手術システム5000の概略的な構成の一例を示す図である。図1では、術者(医師)5067が、内視鏡手術システム5000を用いて、患者ベッド5069上の患者5071に手術を行っている様子が図示されている。図示するように、内視鏡手術システム5000は、内視鏡装置5001と、その他の術具5017と、内視鏡装置5001を支持する支持アーム装置5027と、内視鏡下手術のための各種の装置が搭載されたカート5037と、から構成される。
 腹腔鏡手術では、腹壁を切って開腹する代わりに、トロッカ5025a~5025dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ5025a~5025dから、内視鏡装置5001の鏡筒5003(即ち、内視鏡部)や、その他の術具5017が患者5071の体腔内に挿入される。図示する例では、その他の術具5017として、気腹チューブ5019、エネルギー処置具5021及び鉗子5023が、患者5071の体腔内に挿入されている。また、エネルギー処置具5021は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具5017はあくまで一例であり、術具5017としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
 内視鏡装置5001によって撮影された患者5071の体腔内の術部の画像が、表示装置5041に表示される。術者5067は、表示装置5041に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具5021や鉗子5023を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ5019、エネルギー処置具5021及び鉗子5023は、手術中に、術者5067又は助手等によって支持される。
 (支持アーム装置)
 支持アーム装置5027は、ベース部5029から延伸するアーム部5031を備える。図示する例では、アーム部5031は、関節部5033a、5033b、5033c、及びリンク5035a、5035bから構成されており、アーム制御装置5045からの制御により駆動される。アーム部5031によって内視鏡装置5001が支持され、その位置及び姿勢が制御される。これにより、内視鏡装置5001の安定的な位置の固定が実現され得る。
 (内視鏡装置)
 内視鏡装置5001は、先端から所定の長さの領域が患者5071の体腔内に挿入される鏡筒5003(内視鏡部)と、鏡筒5003の基端に接続されるカメラヘッド5005と、から構成される。図示する例では、硬性の鏡筒5003を有するいわゆる硬性鏡として構成される内視鏡装置5001を図示しているが、内視鏡装置5001は、軟性の鏡筒5003を有するいわゆる軟性鏡として構成されてもよい。
 鏡筒5003(内視鏡部)の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡装置5001には光源装置5043が接続されており、当該光源装置5043によって生成された光が、鏡筒5003の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者5071の体腔内の観察対象に向かって照射される。なお、カメラヘッド5005に接続される鏡筒5003は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
 カメラヘッド5005の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)5039に送信される。なお、カメラヘッド5005には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
 なお、例えば立体視(3D表示)等に対応するために、カメラヘッド5005には撮像素子が複数設けられてもよい。この場合、鏡筒5003の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
 (カートに搭載される各種の装置)
 CCU5039は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡装置5001及び表示装置5041の動作を統括的に制御する。具体的には、CCU5039は、カメラヘッド5005から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5039は、当該画像処理を施した画像信号を表示装置5041に提供する。また、CCU5039は、カメラヘッド5005に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
 表示装置5041は、CCU5039からの制御により、当該CCU5039によって画像処理が施された画像信号に基づく画像を表示する。内視鏡装置5001が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置5041としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置5041として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置5041が設けられてもよい。
 光源装置5043は、例えばLED(Light Emitting Diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡装置5001に供給する。
 アーム制御装置5045は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置5027のアーム部5031の駆動を制御する。
 入力装置5047は、内視鏡手術システム5000に対する入力インタフェースである。ユーザは、入力装置5047を介して、内視鏡手術システム5000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置5047を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置5047を介して、アーム部5031を駆動させる旨の指示や、内視鏡装置5001による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具5021を駆動させる旨の指示等を入力する。
 入力装置5047の種類は限定されず、入力装置5047は各種の公知の入力装置であってよい。入力装置5047としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ5057及び/又はレバー等が適用され得る。入力装置5047としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置5041の表示面上に設けられてもよい。
 あるいは、入力装置5047は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置5047は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置5047は、ユーザの声を集音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置5047が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者5067)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
 処置具制御装置5049は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具5021の駆動を制御する。気腹装置5051は、内視鏡装置5001による視野の確保及び術者の作業空間の確保の目的で、患者5071の体腔を膨らめるために、気腹チューブ5019を介して当該体腔内にガスを送り込む。レコーダ5053は、手術に関する各種の情報を記録可能な装置である。プリンタ5055は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
 以下、内視鏡手術システム5000において特に特徴的な構成について、更に詳細に説明する。
 (支持アーム装置)
 支持アーム装置5027は、基台であるベース部5029と、ベース部5029から延伸するアーム部5031と、を備える。図示する例では、アーム部5031は、複数の関節部5033a、5033b、5033cと、関節部5033bによって連結される複数のリンク5035a、5035bと、から構成されているが、図1では、簡単のため、アーム部5031の構成を簡略化して図示している。実際には、アーム部5031が所望の自由度を有するように、関節部5033a~5033c及びリンク5035a、5035bの形状、数及び配置、並びに関節部5033a~5033cの回転軸の方向等が適宜設定され得る。例えば、アーム部5031は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5031の可動範囲内において内視鏡装置5001を自由に移動させることが可能になるため、所望の方向から内視鏡装置5001の鏡筒5003を患者5071の体腔内に挿入することが可能になる。
 関節部5033a~5033cにはアクチュエータが設けられており、関節部5033a~5033cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置5045によって制御されることにより、各関節部5033a~5033cの回転角度が制御され、アーム部5031の駆動が制御される。これにより、内視鏡装置5001の位置及び姿勢の制御が実現され得る。この際、アーム制御装置5045は、力制御又は位置制御等、各種の公知の制御方式によってアーム部5031の駆動を制御することができる。
 例えば、術者5067が、入力装置5047(フットスイッチ5057を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置5045によってアーム部5031の駆動が適宜制御され、内視鏡装置5001の位置及び姿勢が制御されてよい。当該制御により、アーム部5031の先端の内視鏡装置5001を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部5031は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5031(スレイブ装置)は、スレイブ装置と離れた手術室内の位置または手術室から離れた場所に設置される入力装置5047(マスタ装置)を介してユーザによって遠隔操作され得る。
 また、力制御が適用される場合には、アーム制御装置5045は、ユーザからの外力を受け、その外力にならってスムーズにアーム部5031が移動するように、各関節部5033a~5033cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部5031に触れながらアーム部5031を移動させる際に、比較的軽い力で当該アーム部5031を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡装置5001を移動させることが可能となり、ユーザの利便性を向上させることができる。
 ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡装置5001が支持されていた。これに対して、支持アーム装置5027を用いることにより、人手によらずに内視鏡装置5001の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
 なお、アーム制御装置5045は必ずしもカート5037に設けられなくてもよい。また、アーム制御装置5045は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置5045は、支持アーム装置5027のアーム部5031の各関節部5033a~5033cにそれぞれ設けられてもよく、複数のアーム制御装置5045が互いに協働することにより、アーム部5031の駆動制御が実現されてもよい。
 (光源装置)
 光源装置5043は、内視鏡装置5001に術部を撮影する際の照射光を供給する。光源装置5043は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5043において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5005の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
 また、光源装置5043は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド5005の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
 また、光源装置5043は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5043は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
 (カメラヘッド及びCCU)
 図2を参照して、内視鏡装置5001のカメラヘッド5005及びCCU5039の機能についてより詳細に説明する。図2は、図1に示すカメラヘッド5005及びCCU5039の機能構成の一例を示すブロック図である。
 図2を参照すると、カメラヘッド5005は、その機能として、レンズユニット5007と、撮像部5009と、駆動部5011と、通信部5013と、カメラヘッド制御部5015と、を有する。また、CCU5039は、その機能として、通信部5059と、画像処理部5061と、制御部5063と、を有する。カメラヘッド5005とCCU5039とは、伝送ケーブル5065によって双方向に通信可能に接続されている。
 まず、カメラヘッド5005の機能構成について説明する。レンズユニット5007は、鏡筒5003との接続部に設けられる光学系である。鏡筒5003の先端から取り込まれた観察光は、カメラヘッド5005まで導光され、当該レンズユニット5007に入射する。レンズユニット5007は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット5007は、撮像部5009の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
 撮像部5009は撮像素子によって構成され、レンズユニット5007の後段に配置される。レンズユニット5007を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部5009によって生成された画像信号は、通信部5013に提供される。
 撮像部5009を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者5067は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
 また、撮像部5009を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者5067は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部5009が多板式で構成される場合には、各撮像素子に対応して、レンズユニット5007も複数系統設けられる。
 また、撮像部5009は、必ずしもカメラヘッド5005に設けられなくてもよい。例えば、撮像部5009は、鏡筒5003の内部に、対物レンズの直後に設けられてもよい。
 駆動部5011は、アクチュエータによって構成され、カメラヘッド制御部5015からの制御により、レンズユニット5007のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部5009による撮像画像の倍率及び焦点が適宜調整され得る。
 通信部5013は、CCU5039との間で各種の情報を送受信するための通信装置によって構成される。通信部5013は、撮像部5009から得た画像信号をRAWデータとして伝送ケーブル5065を介してCCU5039に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者5067が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部5013には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル5065を介してCCU5039に送信される。
 また、通信部5013は、CCU5039から、カメラヘッド5005の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部5013は、受信した制御信号をカメラヘッド制御部5015に提供する。なお、CCU5039からの制御信号も、光通信によって伝送されてもよい。この場合、通信部5013には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部5015に提供される。
 なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU5039の制御部5063によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡装置5001に搭載される。
 カメラヘッド制御部5015は、通信部5013を介して受信したCCU5039からの制御信号に基づいて、カメラヘッド5005の駆動を制御する。例えば、カメラヘッド制御部5015は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部5009の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部5015は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部5011を介してレンズユニット5007のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部5015は、更に、鏡筒5003やカメラヘッド5005を識別するための情報を記憶する機能を備えてもよい。
 なお、レンズユニット5007や撮像部5009等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド5005について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
 次に、CCU5039の機能構成について説明する。通信部5059は、カメラヘッド5005との間で各種の情報を送受信するための通信装置によって構成される。通信部5059は、カメラヘッド5005から、伝送ケーブル5065を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5059には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5059は、電気信号に変換した画像信号を画像処理部5061に提供する。
 また、通信部5059は、カメラヘッド5005に対して、カメラヘッド5005の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
 画像処理部5061は、カメラヘッド5005から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise Reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部5061は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
 画像処理部5061は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部5061が複数のGPUによって構成される場合には、画像処理部5061は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
 制御部5063は、内視鏡装置5001による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部5063は、カメラヘッド5005の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部5063は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡装置5001にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部5063は、画像処理部5061による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
 また、制御部5063は、画像処理部5061によって画像処理が施された画像信号に基づいて、術部の画像を表示装置5041に表示させる。この際、制御部5063は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部5063は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具5021使用時のミスト等を認識することができる。制御部5063は、表示装置5041に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者5067に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
 カメラヘッド5005及びCCU5039を接続する伝送ケーブル5065は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
 ここで、図示する例では、伝送ケーブル5065を用いて有線で通信が行われていたが、カメラヘッド5005とCCU5039との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル5065を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル5065によって妨げられる事態が解消され得る。
 以上、本開示に係る技術が適用され得る内視鏡手術システム5000の一例について説明した。なお、ここでは、一例として内視鏡手術システム5000について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
[2.支持アーム装置の構成例]
 次に、本開示に係る技術が適用され得る支持アーム装置の構成の一例について以下に説明する。以下に説明する支持アーム装置は、アーム部の先端に内視鏡を支持する支持アーム装置として構成された例であるが、本実施形態は係る例に限定されない。また、本開示の一実施形態に係る支持アーム装置が医療分野に適用された場合には、当該支持アーム装置は、医療用支持アーム装置として機能し得る。
 図3は、本実施形態に係る支持アーム装置200の外観を示す概略図である。図3に示すように、本実施形態に係る支持アーム装置200は、ベース部210及びアーム部220を備える。ベース部210は支持アーム装置200の基台であり、ベース部210からアーム部220が延伸される。また、図3には図示しないが、ベース部210内には、支持アーム装置200を統合的に制御する制御部が設けられてもよく、アーム部220の駆動が当該制御部によって制御されてもよい。当該制御部は、例えばCPUやDSP等の各種の信号処理回路によって構成される。
 アーム部220は、複数の能動関節部221a~221fと、複数のリンク222a~222fと、アーム部220の先端に設けられた先端ユニットとしての内視鏡装置223とを有する。
 リンク222a~222fは略棒状の部材である。リンク222aの一端が能動関節部221aを介してベース部210と連結され、リンク222aの他端が能動関節部221bを介してリンク222bの一端と連結され、さらに、リンク222bの他端が能動関節部221cを介してリンク222cの一端と連結される。リンク222cの他端は受動スライド機構231を介してリンク222dに連結され、さらに、リンク222dの他端は受動関節部233を介してリンク222eの一端と連結される。リンク222eの他端は能動関節部221d,221eを介してリンク222fの一端と連結される。内視鏡装置223は、アーム部220の先端、すなわち、リンク222fの他端に、能動関節部221fを介して連結される。このように、ベース部210を支点として、複数のリンク222a~222fの端同士が、能動関節部221a~221f、受動スライド機構231及び受動関節部233によって互いに連結されることにより、ベース部210から延伸されるアーム形状が構成される。
 かかるアーム部220のそれぞれの能動関節部221a~221fに設けられたアクチュエータが駆動制御されることにより、内視鏡装置223の位置及び姿勢が制御される。本実施形態において、内視鏡装置223は、その先端が施術部位である患者の体腔内に進入して施術部位の一部領域を撮影する。ただし、アーム部220の先端に設けられる先端ユニットは内視鏡装置223に限定されず、内視鏡の代わりに外視鏡や顕微鏡を用いることも可能である。また、アーム部220の先端には先端ユニットとして各種の医療用器具が接続されてよい。このように、本実施形態に係る支持アーム装置200は、医療用器具を備えた医療用支持アーム装置として構成される。
 ここで、以下では、図3に示すように座標軸を定義して支持アーム装置200の説明を行う。また、座標軸に合わせて、上下方向、前後方向、左右方向を定義する。すなわち、床面に設置されているベース部210に対する上下方向をz軸方向及び上下方向と定義する。また、z軸と互いに直交する方向であって、ベース部210からアーム部220が延伸されている方向(すなわち、ベース部210に対して内視鏡装置223が位置している方向)をy軸方向及び前後方向と定義する。さらに、y軸及びz軸と互いに直交する方向をx軸方向及び左右方向と定義する。
 能動関節部221a~221fはリンク同士を互いに回動可能に連結する。能動関節部221a~221fはアクチュエータを有し、当該アクチュエータの駆動により所定の回転軸に対して回転駆動される回転機構を有する。各能動関節部221a~221fにおける回転駆動をそれぞれ制御することにより、例えばアーム部220を伸ばしたり、縮めたり(折り畳んだり)といった、アーム部220の駆動を制御することができる。ここで、能動関節部221a~221fは、例えば公知の全身協調制御及び理想関節制御によってその駆動が制御され得る。上述したように、能動関節部221a~221fは回転機構を有するため、以下の説明において、能動関節部221a~221fの駆動制御とは、具体的には、能動関節部221a~221fの回転角度及び/又は発生トルク(能動関節部221a~221fが発生させるトルク)が制御されることを意味する。
 受動スライド機構231は、受動形態変更機構の一態様であり、リンク222cとリンク222dとを所定方向に沿って互いに進退動可能に連結する。例えば受動スライド機構231は、リンク222cとリンク222dとを互いに直動可能に連結してもよい。ただし、リンク222cとリンク222dとの進退運動は直線運動に限られず、円弧状を成す方向への進退運動であってもよい。受動スライド機構231は、例えばユーザによって進退動の操作が行われ、リンク222cの一端側の能動関節部221cと受動関節部233との間の距離を可変とする。これにより、アーム部220の全体の形態が変化し得る。
 受動関節部233は、受動形態変更機構の一態様であり、リンク222dとリンク222eとを互いに回動可能に連結する。受動関節部233は、例えばユーザによって回動の操作が行われ、リンク222dとリンク222eとの成す角度を可変とする。これにより、アーム部220の全体の形態が変化し得る。
 なお、本明細書において、「アーム部の姿勢」とは、アームを構成する部分のうち少なくとも一部が駆動制御等により変化し得るアーム部の状態を示している。具体的な一例として、一つ又は複数のリンクを挟んで隣り合う能動関節部同士の間の距離が一定の状態で、制御部による能動関節部221a~221fに設けられたアクチュエータの駆動制御によって変化し得るアーム部の状態が、「アーム部の姿勢」に該当し得る。なお、本開示では、「アーム部の姿勢」は、アクチュエータの駆動制御によって変化し得るアーム部の状態に限定されない。例えば、「アーム部の姿勢」は、受動関節部が協調的に動作することで変化した、アーム部の状態であってもよい。また、本開示では、アーム部は、必ずしも関節部を備えている必要はない。この場合、「アーム部の姿勢」は、対象物に対する位置や、対象物に対する相対角度となる。また、「アーム部の形態」とは、アームを構成する各部の位置や姿勢の関係が変わることで変化し得るアーム部の状態を示している。具体的な一例として、受動形態変更機構が操作されることに伴って、リンクを挟んで隣り合う能動関節部同士の間の距離や、隣り合う能動関節部の間をつなぐリンク同士の成す角度が変わることで変化し得るアーム部の状態が、「アーム部の形態」に該当し得る。なお、本開示では、「アーム部の形態」は、リンクを挟んで隣り合う能動関節部同士の間の距離や、隣り合う能動関節部の間をつなぐリンク同士の成す角度が変わることで変化し得るアーム部の状態に限定されない。例えば、「アーム部の形態」は、受動関節部が協調的に動作することで、受動間接部同士の位置関係や、角度が変わることで変化し得るアーム部の状態であってもよい。また、アーム部が関節部を備えていない場合には、「アーム部の姿勢」は、対象物に対する位置や、対象物に対する相対角度が変わることで変化し得るアーム部の状態であってもよい。
 本実施形態に係る支持アーム装置200は、6つの能動関節部221a~221fを有し、アーム部220の駆動に関して6自由度が実現されている。つまり、支持アーム装置200の駆動制御は制御部による6つの能動関節部221a~221fの駆動制御により実現される一方、受動スライド機構231及び受動関節部233は、制御部による駆動制御の対象とはなっていない。
 具体的には、図3に示すように、能動関節部221a,221d,221fは、接続されている各リンク222a,222eの長軸方向及び接続されている内視鏡装置223の撮影方向を回転軸方向とするように設けられている。能動関節部221b,221c,221eは、接続されている各リンク222a~222c,222e,222f及び内視鏡装置223の連結角度をy-z平面(y軸とz軸とで規定される平面)内において変更する方向であるx軸方向を回転軸方向とするように設けられている。このように、本実施形態においては、能動関節部221a,221d,221fは、いわゆるヨーイングを行う機能を有し、能動関節部221b,221c,221eは、いわゆるピッチングを行う機能を有する。
 このようなアーム部220の構成を有することにより、本実施形態に係る支持アーム装置200ではアーム部220の駆動に対して6自由度が実現されるため、アーム部220の可動範囲内において内視鏡装置223を自由に移動させることができる。図3では、内視鏡装置223の移動可能範囲の一例として半球を図示している。半球の中心点RCM(遠隔運動中心)が内視鏡装置223によって撮影される施術部位の撮影中心であるとすれば、内視鏡装置223の撮影中心を半球の中心点に固定した状態で、内視鏡装置223を半球の球面上で移動させることにより、施術部位を様々な角度から撮影することができる。
 以上、本開示に係る技術が適用され得る支持アーム装置の構成の一例について説明した。
 なお、支持アーム装置200のアーム部220は複数の関節部を有し、6自由度を持つものとして説明したが、本開示はこれに限定されない。具体的には、アーム部220は、先端に内視鏡装置223または外視鏡を設けられ構造を有していればよい。例えば、アーム部220は、内視鏡装置223が患者の体腔内への進入する方向と、後退する方向とに移動するように駆動する1自由度のみを持つ構成であってもよい。
[3.斜視鏡の基本的構成]
 続いて、内視鏡の例として斜視鏡の基本的構成について説明する。
 図4は、本開示の一実施形態に係る斜視鏡4100の構成を示す模式図である。図4に示すように、斜視鏡4100は、カメラヘッド4200の先端に装着されている。斜視鏡4100は図1及び図2で説明した鏡筒5003に対応し、カメラヘッド4200は、図1及び図2で説明したカメラヘッド5005に対応する。斜視鏡4100とカメラヘッド4200は互いに独立して回動可能としてもよい。斜視鏡4100とカメラヘッド4200の間には、各関節部5033a,5033b,5033cと同様にアクチュエータが設けられてもよく、斜視鏡4100はアクチュエータの駆動によってカメラヘッド4200に対して回転することが可能となる。これにより、後述する回転角θが制御される。
 斜視鏡4100は支持アーム装置5027によって支持される。支持アーム装置5027は、スコピストの代わりに斜視鏡4100を保持し、また術者や助手の操作によって斜視鏡4100を所望の部位が観察できるように移動させる機能を有する。
 図5は、斜視鏡4100と直視鏡4150を対比して示す模式図である。直視鏡4150では、対物レンズの被写体への向き(C1)と直視鏡4150の長手方向(C2)は一致する。一方、斜視鏡4100では、対物レンズの被写体への向き(C1)は、斜視鏡4100の長手方向(C2)に対して所定の角度φを有している。
 以上、内視鏡の例として斜視鏡の基本的構成について説明した。
 また、本開示は、図6に示されるような、マスタースレーブ装置であってもよい。図6は本開示の実施形態に係るマスタースレーブ装置の構成の一例を示す図である。
 マスター装置10は、スレーブ装置50の駆動制御、スレーブ装置50のセンサが計測した振動信号(第1の信号)をユーザへ提示する機能を有する情報処理装置(第1の情報処理装置)である。マスター装置10は、例えば、受動関節を含む1または2以上の関節と、関節に接続されるリンクとを有する装置(受動関節を含むリンク機構を有する装置)である。なお、受動関節は、モータやアクチュエータなどにより駆動しない関節である。
 図6に示すように、マスター装置10は、ユーザが把持して操作する操作装置20(20R、及び20L)を備えている。当該操作装置20は、本開示の実施形態に係る触覚提示装置に相当する。また、マスター装置10には、術野が表示されるモニタ30が接続され、ユーザが両腕又は両肘を載せる支持台32が設けられている。なお、マスター装置10は、右手用のマスター装置10R、及び左手用のマスター装置10Lで構成されている。さらに、右手用のマスター装置10Rには右手用の操作装置20Rが備えられ、左手用のマスター装置10Lには左手用の操作装置20Lが備えられている。
 ユーザは、両腕又は両肘を支持台32上に載せ、右手及び左手でそれぞれ操作装置20R、20Lを把持する。この状態で、ユーザは、術野が表示されるモニタ30を見ながら操作装置20R、20Lを操作する。ユーザは、それぞれの操作装置20R、20Lの位置及び向きを変位させることにより、スレーブ装置50に取り付けられた術具の位置又は向きを遠隔操作し、あるいは、それぞれの術具による把持動作を行ってもよい。
 スレーブ装置50は、手術における患者の患部(以下では、対象物とも称される)と、対象物と接触するスレーブ装置50の部位が接触した際の力及び振動をマスター装置10へ提示する情報処理装置(第2の情報処理装置)であってもよい。スレーブ装置50は、例えば、マスター装置10の動きに対応して動くための、1または2以上の能動関節と、能動関節に接続されるリンクとを有する装置(能動関節を含むリンク機構を有する装置)である。なお、能動関節は、モータやアクチュエータなどにより駆動する関節である。
 スレーブ装置50では、図6に示すアームの先端部分(図6に示すA)に、各種センサ(例えば、原点センサや、Limitセンサ、エンコーダ、マイクロフォン、加速度センサなど)が設けられる。また、スレーブ装置50のアームの先端部分には、力センサ(図6に示すB)が設けられる。当該力センサは、アームの先端部分が患者と接触した際に、アームの先端部分に印加される力を計測する。なお、上述した各種センサが備えられる場所は特に限定されず、各種センサは、アームの先端部分の任意の場所に備えられてもよい。
 スレーブ装置50は、例えば、能動関節の動きを計測するための動きセンサを、能動関節それぞれに対応する位置に備える。上記動きセンサとしては、例えば、エンコーダなどが挙げられる。また、スレーブ装置50は、例えば、能動関節を駆動させるための駆動機構を、能動関節それぞれに対応する位置に備える。上記駆動機構としては、例えば、モータとドライバとが挙げられる。
 なお、本開示の実施形態は、バーチャルリアリティな環境に適用されてもよい。例えば、マスター装置10を操作した際に、モニタ30に仮想的なスレーブ装置50側の環境を示す映像を映し、ユーザは、当該映像に基づき、マスター装置10を操作してもよい。
[4.医療用観察システム]
(4-1.医療用観察システムの構成)
 図7を用いて、本開示の実施形態に係る医療用観察システムの構成について説明する。図7は、本開示の実施形態に係る医療用観察システムの構成の一例を示す図である。
 図7に示すように、本開示の実施形態に係る医療用観察システム1は、制御装置100と、支持アーム装置200とを含む。制御装置100と、支持アーム装置200とは、ネットワークNWを介して、通信可能に接続されている。
 医療用観察システム1は、支持アーム装置200または支持アームに保持される医療用観察装置(内視鏡等)に設けられた複数種類のセンサのうち、患者の体内のマップ情報を示す環境マップを生成するために患者の体内環境を測定するセンサを決定する。医療用観察システム1は、支持アーム装置200または支持アームに保持される医療用観察装置(内視鏡等)に設けられた複数のセンサ部による患者の体内環境の測定結果に基づいて、体内のマップ情報を示す環境マップを生成する。
(4-2.内視鏡装置)
 図8Aと、図8Bとを用いて、本開示の実施形態に係る内視鏡装置の構成について説明する。図8Aは、本開示の実施形態に係る内視鏡装置の断面図である。図8Bは、本開示の実施形態に係る内視鏡装置の先端部分の正面図である。
 図8Aと図8Bとに示すように、内視鏡装置223は、筒部2231と、ヘッド部2232(カメラヘッド)とから構成される。内視鏡装置223は、ライトガイド311aと、ライトガイド311bと、レンズ312aと、レンズ312bと、照射部313と、光源アダプタ320と、ハーフミラー330と、センサ部340部と、イメージセンサ350とを備える。
 ライトガイド311aと、ライトガイド311bとは、測定対象物(例えば、患者の臓器)に対して光を照射する。ライトガイド311aと、ライトガイド311bとは、光源アダプタ320とライトガイドケーブルを介して、図示しない光源装置に接続されている。ライトガイド311aと、ライトガイド311bとは、光源装置からの光を測定対象物に対して照射する。ライトガイド311aは、筒部2231の上部に設けられる。ライトガイド311bは、筒部2231の下部に設けられる。ライトガイド311aと、ライトガイド311bとは、例えば光ファイバで構成することができる。
 レンズ312aと、レンズ312bとは、入射光を集光する光学系である。レンズ312aと、レンズ312bによって集光された光の一部は、ハーフミラー330によって反射され、センサ部340に到達する。レンズ312aと、レンズ312bによって集光された光の一部は、ハーフミラー330を透過して、イメージセンサ350に到達する。レンズ312aは、筒部2231の左部に設けられる。レンズ312bは、筒部2231の右部に設けられる。このため、レンズ312aと、レンズ312bとは、ステレオカメラを構成している。なお、上記内視鏡は複眼タイプ(ステレオ)であるが、単眼タイプであってもよい。
 照射部313は、センサ部340と接続されている。照射部313は、筒部2231の先端部分から対象物までの距離を測定するための光または音を、対象物に対して出力する。
 センサ部340は、対象物に関する種々の情報を測定する。センサ部340は、例えば筒部2231の先端部分から対象物までの距離情報や、対象物又はその周辺部を含む形状情報を取得可能なセンサであることが好ましい。センサ部340は、単一のセンサではなく複数のセンサから構成されてもよい。センサ部340は、例えば2種類以上のセンサから構成され得る。本開示では、センサ部340を構成する複数種類のセンサの測定結果に基づいて、体内の環境マップを生成する。
 センサ部340は、例えばレンズ312aと、レンズ312bとを用いて三角測量の方法で対象物までの距離を算出するステレオ画像センサである。センサ部340は、例えば対象物に対して光を発光し、その発光した光が対象物に反射して戻ってくるまでの時間に基づいて対象物までの距離を算出するToF(Time of Flight)センサであってよい。この場合には、例えば、反射光を検出するイメージセンサ350それぞれの画素について距離(デプス)の情報を取得することが可能となるため、比較的解像度の高い3次元空間情報を構築することが可能である。
 センサ部340は、例えば対象物に対して照射した光の位相と、対象物からの反射光の位相に差に基づいて対象物までの距離を算出する位相差センサであってもよい。センサ部340は、例えば対象物に対して音波を発し、その発した音波が対象物に反射して戻ってくるまでの時間に基づいて対象物までの距離を算出する超音波センサであってよい。
 センサ部340は、例えば対象物の3次元空間情報を構築するセンサであってもよい。センサ部340は、例えば対象物に対してパターン光を照射してステレオカメラで撮影し、撮影されたパターン光の形状に基づいて対象物の3次元空間情報を構築するセンサであってよい。この方法は、例えば、画像中における変化がより少ない物体を撮像対象とするような状況下においても3次元空間情報を再構築することが可能である。具体的には、患者の臓器などを撮影した場合に、撮影した箇所の凹凸が少なく、画像から形状の詳細が判別することが困難なことも想定される。このような場合に、パターン光を照射することで形状の詳細が判別しやすくなるため、精度が向上した3次元空間情報を再構築することができる。
 センサ部340は、偏光イメージセンサであってもよい。偏光イメージセンサは、到来する光に含まれる各種偏光のうち、一部の偏光のみを検出可能とするイメージセンサである。このような偏光イメージセンサにより撮像された画像を利用して3次元空間を再構築することで、環境マップを生成または更新することが可能である。この方法を利用することで、例えば、光量が多いことで所謂白飛びという現象が生じることによる3次元空間の再構築に係る精度低下を防止することが可能となる。また、他の一例として、当該方法を利用することで、透明や半透明の物体(例えば、体組織)や、肉眼では認識しにくい偏光度の異なる物体が存在する環境の3次元空間をより安定的に再構築することも可能となる。また、この方法を利用することで、例えば、電気メス等の利用に伴いミストが発生することで、撮像画像にノイズが顕在化したり、撮像画像のコントラストが低下したりするような状況下においても、当該ミストの影響を低減することが可能となる。
 イメージセンサ350は、撮影素子であり、例えばCMOSで構成される。レンズ312aと、レンズ312bに入射した光はイメージセンサ350に結像されることで、対象物の画像が撮像される。
 なお、以下では内視鏡装置223にセンサ部340を設けて、人体内部の体内環境の情報(3次元情報等)を示す環境マップを生成する場合について説明するが、本開示はこれに限られない。例えば、本開示は、手術室に設けられた術野カメラにセンサ部340を設ける場合に適用されてもよい。また、本開示は、外視鏡や手術顕微鏡にセンサ部340を設ける場合に適用されてもよい。この場合、術野カメラ、外視鏡、手術顕微鏡は、手術室において少なくとも患者の手術部の様子をとらえていればよい。また、本開示は、図6に図示したようなスレーブ装置50のアームの先端部分にセンサ部340を設けてもよい。
(4-3.センサ部)
 次に、センサ部340について説明する。
 本開示では、センサ部340もよる患者の体内の対象物の測定結果に基づいて環境マップを生成する。しかしながら、術中の体内においてはセンサ部340の測定結果の信頼性を低下させる要因が想定される。
 例えば、患者の体内において、レンズ312a、レンズ312b、および照射部313などが汚れてしまうことが想定される。その原因としては、出血による血液の付着、腹腔内の洗浄用の生理食塩水など液体の付着、電気メスなどの器具の使用で発生する組織や脂質の付着、臓器への接触による汚れの付着などを挙げることができる。
 また、患者の体内空間の環境が変化し測定結果に影響を与えることが想定される。その原因としては、例えば臓器からの出血を挙げることができる。また、例えば電気メスなどの器具の使用によるミストの発生を挙げることができる。また、例えば体内に配置された器具による光の反射、体内にある液体による光の反射、透明な臓器による光の反射を挙げることができる。また、体内の器具による影の発生を挙げることができる。
 上述のとおり、体内環境下では各種センサの取得データ信頼性を低下させる要因が多くある。図9を用いて、各種のセンサの信頼性の低下要因について説明する。図9は、各種のセンサの信頼性の低下要因に対するロバスト性を説明するための表である。
 図9に示す表において、「○」は信頼性が高い状態で保たれていることを意味し、「×」は信頼性が低下していることを意味している。また、「△」はセンサが一定の値を出力し続けることを意味している。
 図9では、信頼性の低下要因として「イメージセンサの汚れ」、「センサの汚れ」、「レンズの汚れ/遮蔽」、「照射部の汚れ/遮蔽」、「光源が不足(暗い)」、「光源が過剰(白とび)」、「ミストの発生」、および「先端全面の汚れ/遮蔽」が示されている。対象物までの距離または対象物の形状を取得する方法としては、「ステレオ画像センサ」、「偏光イメージセンサ」、「位相差センサ」、「ToFセンサ」、「パターン光の照射」が含まれている。
 図9に示す通り、各種のセンサや方法は、信頼性が低下する要因が異なっている。そのため、本開示では、体内の環境マップを生成する際には、複数種類のセンサで体内環境を測定することで各要因のロバスト性を担保する。この場合、判定部133は、各センサの信頼性の判定結果に基づいて、信頼性の低下要因を判定してもよい。
 図10を用いて、センサ部340の構成の一例について説明する。図10は、センサ部340の構成の一例を示すブロック図である。
 図10に示すように、センサ部340は、第1センサ341と、第2センサ342と、第3センサ343とを含む。
 第1センサ341~第3センサ343とは、それぞれ、種類の異なるセンサである。例えば、第1センサ341はステレオ画像センサであり、第2センサ342は偏光イメージセンサであり、第3センサ343はToFセンサであるが、本開示はこれに限定されない。
 以下では、センサ部340は、第1センサ341~第3センサ343の3種類のセンサを含むものとして説明するが、本開示はこれに限定されない。具体的には、センサ部340は、2種類以上のセンサを有していればよい。
 医療用観察システム1の制御装置100は、第1センサ341~第3センサ343から患者の体内の対象物までの距離情報または対象物の形状情報の測定結果を取得する。第1センサ341~第3センサ343による患者の体内の対象物の測定結果に基づいて、測定結果の信頼性の比較や判定を行う。そして、制御装置100は、第1センサ341から第3センサ343のうち、信頼性の高いセンサを決定する。これにより、制御装置100は、信頼性の高い環境マップを生成することができる。
(4-4.制御装置)
 図11を用いて、制御装置100の構成について説明する。図11は、制御装置100の構成の一例を示すブロック図である。
 図11に示すように、制御装置100は、通信部110と、記憶部120と、制御部130とを備えている。
 通信部110は、例えば、NIC(Network Interface Card)や通信回路等によって実現される。通信部110は、ネットワークNW(インターネット等)と有線又は無線で接続されている。通信部110は、ネットワークNWを介して、通信制御部140の制御に従って他の装置等との間で情報の送受信を行う。通信部110は、例えば、支持アーム装置200との間で情報の送受信を行う。
 記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部120は、マップ情報記憶部121と、データ記憶部122とを有する。
 マップ情報記憶部121は、患者の体内環境を示すマップ情報を記憶する。マップ情報は、例えば、患者の手術前にMRI(Magnetic Resonance Imaging)およびCT(Computed Tomography)の少なくとも一方に基づいて生成された情報であってもよい。また、マップ情報は、体内での処置を開始する前に、例えば医療用観察装置により、汚れのない状況で患者体内を観察して生成されて記録された情報であってもよい。また、マップ情報記憶部121は、このように手術前や処理開始前に生成された環境マップが術中に順次更新されたマップを記憶してもよい。
 データ記憶部122は、各種のデータを記憶している。
 制御部130は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、制御装置100内部に記憶されたプログラム(例えば、本開示に係る情報処理プログラム)がRAM(Random Access Memory)等を作業領域として実行されることにより実現される。また、制御部130は、コントローラ(Controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。制御部130は、取得部131と、比較部132と、判定部133と、決定部134と、生成部135と、認識部136と、通知部138と、指示部139と、通信制御部140とを有する。
 取得部131は、各種の情報を取得する。取得部131は、例えば、センサ部340から各種の情報を取得する。取得部131は、例えば、センサ部340から患者の体内の対象物やその周辺部に関する測定結果を取得する。この場合、取得部131は、センサ部340に含まれる第1センサ341~第3センサ343のそれぞれから測定結果を取得する。
 取得部131は、例えば、ステレオ画像を取得した場合、ステレオ画像に基づいて対象物までの距離を算出する機能を有していてもよい。
 比較部132は、各種の情報を比較する。比較部132は、例えば、取得部131によって取得された情報を比較する。比較部132は、例えば、取得部131によって取得された第1センサ341~第3センサ343のそれぞれの測定結果を比較する。
 判定部133は、各種の情報を判定する。判定部133は、例えば、取得部131によって取得された各種の情報を判定する。判定部133は、例えば、取得部131によって取得された第1センサ341~第3センサ343のそれぞれの測定結果の信頼性を判定する。判定部133は、例えば、マップ情報記憶部121に記憶された患者のマップ情報に基づいて、取得部131によって取得された第1センサ341~第3センサ343のそれぞれの測定結果の信頼性を判定する。
 決定部134は、各種の情報を決定する。決定部134は、例えば、比較部132の比較結果に基づいて、各種の情報を決定する。決定部134は、例えば、比較部132による第1センサ341~第3センサ343のそれぞれの測定結果の比較結果に基づいて、第1センサ341~第3センサ343のうち、患者の体内を測定するセンサを決定する。
 決定部134は、判定部133の判定結果に基づいて、各種の情報を決定する。決定部134は、例えば、判定部133による第1センサ341~第3センサ343のそれぞれの測定結果の信頼性の判定結果に基づいて、第1センサ341~第3センサ343のうち、患者の体内を測定するセンサを決定する。決定部134は、例えば、第1センサ341~第3センサ343のうち、信頼性の高い2種類のセンサを患者の体内を測定するセンサとして決定してもよい。決定部134は、例えば、第1センサ341~第3センサ343のうち、信頼性が最も高いと判断されるセンサを患者の体内を測定するセンサとして決定してもよい。
 生成部135は、各種の情報を生成する。生成部135は、決定部134により決定された情報に基づいて、各種の情報を生成する。一例として、生成部135は、決定部134により決定されたセンサの対象物の測定結果に基づいて、患者の体内情報を示す環境マップを生成する。
 認識部136は、各種の情報を認識する。認識部136は、例えば、取得部131によって取得されたセンサ部340からの情報に基づいて、各種の情報を認識する。認識部136は、例えば、センサ部340に含まれるステレオ画像センサから取得部131によって取得された患者の体内の映像に基づいて、各種の情報を認識する。この場合、認識部136は、患者の体内で発生した出血およびミストの発生などを認識する。
 検出部137は、各種の情報を検出する。検出部137は、例えば、判定部133による判定結果に基づいて、各種の情報を検出する。検出部137は、例えば、判定部133による第1センサ341~第3センサ343のそれぞれの測定結果の信頼性の判定結果に基づいて、一部のセンサの故障または信頼性が低下していることを検出する。検出部137は、例えば、判定部133による第1センサ341~第3センサ343のそれぞれの測定結果の信頼性の判定結果に基づいて、医療用観察システム1全体の信頼性が低くなっていることを検出する。
 通知部138は、各種の情報を通知する。通知部138は、例えば、検出部137による検出結果に基づいて、各種の情報を通知する。通知部138は、例えば、検出部137によって医療用観察システム1全体の信頼性が低くなっていることが検出された場合、生成部135によって生成された環境マップが通常状態ではないことを通知する。言い換えれば、通知部138は、ユーザインタフェースを通じて環境マップの信頼性が低いことを通知する。この場合、通知部138は、スピーカーによって音声で通知してもよいし、表示部に映像を表示して通知してもよい。
 指示部139は、各種の情報を指示する。指示部139は、例えば、検出部137による検出結果に基づいて、各種の情報を指示する。指示部139は、例えば、検出部137によって医療用観察システム1全体の信頼性が低くなっていることが検出された場合、生成部135によって生成された環境マップに基づいて自律/半自律駆動する手術用ロボットに対して各種指示を行う。この場合、指示部139は、例えば、環境マップに基づいて、手術ロボットに対して動作を指示する。より具体的には、指示部139は、例えば、手術用ロボットに対して危機回避動作を実行させる。危機回避動作には、例えば、処置の停止、患者に挿入されている医療用器具の抜去動作などが含まれる。
 通信制御部140は、通信部110を介した情報の送受信を制御する。通信制御部140は、通信部110を制御して、他の情報処理装置と通信を行う。通信制御部140は、例えば、通信部110を制御して、支持アーム装置200と通信を行う。通信制御部140は、例えば、通信部110を制御して、手術用ロボットと通信を行う。
[5.医療用観察システムの処理]
(5-1.医療用観察システムの処理の概要)
 図12を用いて、医療用観察システム1の処理について説明する。図12は、医療用観察システム1の処理の流れの概要を示すフローチャートである。
 まず、制御装置100は、支持アーム装置200が備える各センサのそれぞれからセンサの値を取得する(ステップS11)。そして、ステップS12に進む。
 制御装置100は、取得された各センサの値に基づいて、各センサの信頼性を判定する(ステップS12)。そして、ステップS13に進む。
 制御装置100は、各センサの信頼性に基づいて、各センサのうち患者の体内の環境マップを生成するために使用するセンサを決定する(ステップS13)。そして、ステップS14に進む。
 制御装置100は、ステップS13で決定したセンサの値を用いて、患者の体内の環境マップを生成する(ステップS14)。
(5-2.第1の処理)
 図13を用いて、実施形態に係る制御装置100の制御部130の第1の処理の流れについて説明する。図13は、実施形態に係る制御部130の第1の処理の流れの一例を示すフローチャートである。以下では、図10に図示の第1センサ341~第3センサ343の値に基づいて環境マップを生成する。
 まず、制御部130は、第1センサ341~第3センサ343のそれぞれからセンサの値を取得する(ステップS101)。具体的には、取得部131が通信部110を介して第1センサ341~第3センサ343のそれぞれからセンサの値を取得する。そして、ステップS102に進む。
 制御部130は、第1センサ341~第3センサ343のそれぞれから取得したセンサの値を比較する(ステップS102)。具体的には、比較部132が第1センサ341~第3センサ343のそれぞれから取得したセンサの値を比較する。そして、ステップS103に進む。
 制御部130は、各センサの値が全て同じであるか否かを判定する(ステップS103)。具体的には、判定部133が各センサの値が全て同じであるか否かを判定することで、各センサの値の信頼性を判定する。なお、センサの値が同じであるとは、完全に一致することだけでなく、所定の範囲内に収まっている場合も含む。言い換えれば、センサの値が同程度の場合も含む。より具体的には、各センサはそれぞれ異なる方法で測距等を行うため、各センサの値はそれぞれ異なることが想定される。このような場合には、判定部133は、異なる種類のセンサで測定されたセンサの値から導かれるデータが同じまたは所定の範囲内に収まっているか否かを判定する。各センサの値が全て同じであると判定された場合(ステップS103のYes)、ステップS104に進む。各センサの値が全て同じでないと判定された場合(ステップS103のNo)、ステップS107に進む。
 ステップS103でYesと判定された場合、制御部130は、各センサに予め定められた優先度を加味してセンサの信頼性を判定する(ステップS104)。具体的には、判定部133が第1センサ341~第3センサ343それぞれに予め定められた優先度を加味して各センサの信頼性を判定する。例えば、実際に体内の映像を撮影するステレオ画像センサが主となる可能性が高いため、ステレオ画像センサの優先度を最も高くしてもよい。そして、ステップS105に進む。
 制御部130は、ステップS104の判定結果に基づいて環境マップを生成するために使用する2つのセンサを決定する(ステップS105)。具体的には、決定部134が第1センサ341~第3センサ343のうち信頼性の高い2つのセンサを決定する。そして、ステップS106に進む。
 制御部130は、ステップS105で決定された2つのセンサの値を用いて、患者の体内の環境マップを生成する(ステップS106)。具体的には、生成部135が第1センサ341~第3センサ343のうち決定された2つのセンサの値を用いて、患者の体内の環境マップを生成する。そして、図13の処理は終了する。
 一方、ステップS103でNoと判定された場合、制御部130は、各センサの値のうち2つのセンサの値が同じであるか否かを判定する(ステップS107)。具体的には、判定部133が各センサの値のうち2つのセンサの値が同じであるか否かを判定することで、信頼性を判定する。この場合、判定部133は、同じ値の2つのセンサの信頼性が高く、値の異なる1つのセンサは信頼性が低いと判定する。2つのセンサの値が同じでない、すなわち各センサの値が全て異なっていると判定された場合(ステップS107のNo)、ステップS104に進む。判定部133は、各センサの値が全て異なっている場合には、例えば、医療用観察システム1全体の信頼性が低いと判定する。一方、2つのセンサの値が同じであると判定された場合(ステップS107のYes)、ステップS108に進む。
 ステップS107でYesと判定された場合、制御部130は、値が同じ2つのセンサを患者の体内の環境マップを生成するために使用するセンサとして決定する(ステップS108)。具体的には、決定部134が第1センサ341~第3センサ343のうち値の同じ2つのセンサを患者の体内の環境マップを生成するためのセンサとして決定する。そして、図13の処理は終了する。
 上述のとおり、本実施形態では、各センサの値に基づいて各センサの信頼性を判定することができる。そして、本実施形態は、信頼性に基づいて患者の体内の環境マップを生成するためのセンサを決定することができる。これにより、本実施形態は、環境マップの精度を向上させることができる。
(5-3.第2の処理)
 図14を用いて、実施形態に係る制御装置100の制御部130の第2の処理の流れについて説明する。図14は、実施形態に係る制御部130の第2の処理の流れの一例を示すフローチャートである。
 ステップS201と、ステップS202と、ステップS203とは、それぞれ、図13に図示のステップS101と、ステップS102と、ステップS104と同じなので、説明は省略する。
 制御部130は、各センサの値と、マップ情報記憶部121に記憶された患者のマップ情報とを比較する(ステップS204)。具体的には、判定部133が第1センサ341~第3センサ343の値と、マップ情報記憶部121に記憶されたマップ情報とを比較して、第1センサ341~第3センサ343それぞれの信頼性を判定する。この場合、マップ情報の値と近い値のセンサほど信頼性が高くなり、マップ情報の値と遠い値のセンサほど信頼性が低くなる。そして、ステップS205に進む。
 制御部130は、ステップS204の判定結果に基づいて環境マップを生成するために使用するセンサを決定する(ステップS205)。具体的には、決定部134が第1センサ341~第3センサ343のうち信頼性の高いセンサを決定する。ここでは、決定部134は、信頼性の最も高い1つのセンサを決定してもよいし、信頼性の高い2つのセンサを決定してもよい。そして、ステップS206に進む。
 制御部130は、ステップS205で決定されたセンサの値を用いて、患者の体内の環境マップを生成する(ステップS206)。具体的には、生成部135が第1センサ341~第3センサ343のうち決定されたセンサの値を用いて、患者の体内の環境マップを生成する。そして、図14の処理は終了する。
 上述のとおり、本実施形態では、各センサの値と事前に生成された患者のマップ情報との比較結果に基づいて各センサの信頼性を判定することができる。そして、本実施形態は、マップ情報との比較結果に基づいた信頼性に基づいて患者の体内の環境マップを生成するためのセンサを決定することができる。これにより、本実施形態は、環境マップの精度をより向上させることができる。なお、MRIやCT撮影に基づいて手術前に生成されるマップ情報は、術中には腹腔内の圧力の変化や体位の変化に伴い臓器の形が変形したり位置のずれが生じたりする場合があるため、事前に生成されたマップ情報を補正して比較に用いてもよい。
(5-4.第3の処理)
 図15を用いて、実施形態に係る制御装置100の制御部130の第3の処理の流れについて説明する。図15は、実施形態に係る制御部130の第3の処理の流れの一例を示すフローチャートである。
 ステップS301~ステップS303は、ぞれぞれ、図14に図示のステップS201~ステップS203と同じなので、説明は省略する。
 制御部130は、手術状況を認識する(ステップS304)。具体的には、認識部136が取得部131によって取得された術野の映像に基づいて、ミストの発生や出血の発生などの手術状況を認識する。そして、ステップS305に進む。
 制御部130は、認識部136による手術状況の認識結果を加味する(ステップS305)。具体的には、判定部133が、認識部136のミストの発生や出血の発生の認識結果に応じて第1センサ341~第3センサ343の信頼性を判定する。例えば、第1センサ341~第3センサ343のうちの2つが画像センサと、ToFセンサである場合、画像センサが取得した映像に基づいて認識部136がミストの発生を認識した場合、判定部133はToFセンサの信頼性を低く判定する。すなわち、判定部133は手術状況に応じた各センサの信頼性の変化を判定することができる。また、判定部133は、ToFセンサの値に基づいてセンサ部340の汚れを判定してもよい。例えば、判定部133は、ToFセンサが一定の値を出力し続けている場合には、内視鏡装置223のセンサ部340が設けられている先端部分全体が汚れていると判定してもよい。また、判定部133は、ステレオ画像センサの信頼性が低く、ToFセンサの信頼性が高い場合には、光源が不足していると判定してもよい。そして、ステップS306に進む。
 制御部130は、ステップS305の判定結果に基づいて環境マップを生成するために使用するセンサを決定する(ステップS306)。具体的には、決定部134が第1センサ341~第3センサ343のうち信頼性の高いセンサを決定する。ここでは、決定部134は、信頼性の最も高い1つのセンサを決定してもよいし、信頼性の高い2つのセンサを決定してもよい。そして、ステップS307に進む。
 制御部130は、ステップS307で決定されたセンサの値を用いて、患者の体内の環境マップを生成する(ステップS307)。具体的には、生成部135が第1センサ341~第3センサ343のうち決定されたセンサの値を用いて、患者の体内の環境マップを生成する。そして、図15の処理は終了する。
 上述のとおり、本実施形態では、手術状況に基づいて各センサの信頼性を判定することができる。そして、本実施形態は、手術状況に基づいた信頼性に基づいて患者の体内の環境マップを生成するためのセンサを決定することができる。これにより、本実施形態は、環境マップの精度をより向上させることができる。
(5-5.第4の処理)
 図16を用いて、実施形態に係る制御装置100の制御部130の第4の処理の流れについて説明する。図16は、実施形態に係る制御部130の第4の処理の流れの一例を示すフローチャートである。
 ステップS401~ステップS404は、それぞれ、図14に図示のステップS201~ステップS204と同じなので、説明は省略する。また、ステップS405と、ステップS406は、図15に図示のステップS304と、ステップS305と同じなので説明は省略する。すなわち、第4実施形態は、第2実施形態と、第3実施形態との組み合わせである。
 制御部130は、ステップS404の比較結果とステップS406の判定結果に基づいて環境マップを生成するために使用するセンサを決定する(ステップS407)。具体的には、決定部134が第1センサ341~第3センサ343のうち信頼性の高いセンサを決定する。ここでは、決定部134は、信頼性の最も高い1つのセンサを決定してもよいし、信頼性の高い2つのセンサを決定してもよい。そして、ステップS408に進む。
 制御部130は、ステップS407で決定されたセンサの値を用いて、患者の体内の環境マップを生成する(ステップS408)。具体的には、生成部135が第1センサ341~第3センサ343のうち決定されたセンサの値を用いて、患者の体内の環境マップを生成する。そして、図16の処理は終了する。
 上述のとおり、本実施形態では、各センサの値と事前に生成された患者のマップ情報との比較結果と、手術状況に基づいて各センサの信頼性を判定することができる。そして、本実施形態は、マップ情報との比較結果と、手術状況とに基づいた信頼性に基づいて患者の体内の環境マップを生成するためのセンサを決定することができる。これにより、本実施形態は、環境マップの精度をより向上させることができる。
[6.医療用観察システムの変形例]
(6-1.医療用観察システムの変形例の構成)
 図17を用いて、本開示の実施形態に係る医療用観察システムの変形例に構成について説明する。図17は、本開示の実施形態に係る医療用観察システムの変形例の構成を示す図である。
 図17に示すように、医療用観察システム1Aは、制御装置100と、手術用アームシステム(手術ロボットシステム)400とを含む。制御装置100と、手術用アームシステム400とは、ネットワークNWを介して、通信可能に接続されている。手術用アームシステム400は、自律/半自律駆動し、執刀医と協働して患者に対して各種の施術を施すロボットである。本実施形態では、制御装置100は、各センサの信頼性に基づいて、手術用アームシステム400を制御する。
(6-2.手術用アームシステム)
 図18を用いて、手術用アームシステムの構成の一例について説明する。図18は、手術用アームシステムの構成の一例を示す図である。
 図18に示すように、手術用アームシステム400は、例えば、第1支持アーム装置410と、第2支持アーム装置420と、第3支持アーム装置430とを備える。第1支持アーム装置410には、第1医療用器具411が設けられる。第2支持アーム装置420には、第2医療用器具421が設けられる。第3支持アーム装置430には、第3医療用器具431が設けられる。第1支持アーム装置410~第3支持アーム装置430は、例えば、図3に図示の支持アーム装置200と同様の構成を有しているが、本開示はこれに限定されない。例えば、第1支持アーム装置410~第3支持アーム装置430は、それぞれ、第1医療用器具411~第3医療用器具431を支持できる構成であれば特に制限はない。また、手術用アームシステム400にはさらに別の支持アーム装置が含まれてもよい。
 手術用アームシステム400は、第1医療用器具411と、第2医療用器具421とを用いて、医師(または執刀医やサポートスタッフを含むチーム)と協働して患者440に対して各種の施術を施す。第3医療用器具431は、例えば、内視鏡装置であり患者440の体内の様子を撮影する。また、第3医療用器具431には複数種類のセンサが設けられている。例えば、第3医療用器具431には図10に図示のセンサ部340が設けられている。すなわち、制御装置100は、第3医療用器具431の先端部分に設けられたセンサ部340により、第3医療用器具の先端部分と臓器Oとの距離を算出する。これを繰り返すことで、患者440の体内の環境マップを生成する。また、制御装置100は、第3医療用器具431に設けられたセンサ部340の測定結果に基づいて、手術用アームシステム400に対して危機回避動作を実行させる。
(6-3.医療用観察システムの変形例の処理)
 図19を用いて、実施形態の変形例に係る制御装置100の制御部130の処理の流れについて説明する。図19は、実施形態の変形例に係る制御部130の処理の流れの一例を示すフローチャートである。
 ステップS501~ステップS506は、図16に図示のステップS401~ステップS406と同じなので、説明は省略する。
 制御部130は、医療用観察システム1Aに異常が発生しているか否かを判定する(ステップS507)。具体的には、検出部137がセンサ部340に含まれる全てのセンサの故障または信頼性の低下を検出した場合に、医療用観察システム1Aに異常があると判定される。医療用観察システム1Aに異常はないと判定された場合(ステップS507のNo)、ステップS508に進む。医療用観察システム1Aに異常があると判定された場合(ステップS507のYes)、ステップS510に進む。
 ステップS508と、ステップS509とについては、それぞれ、図16に図示のステップS407と、ステップS408と同じなので、説明は省略する。
 ステップS507でYesと判定された場合、制御部130は、異常アラートで医療用観察システム1Aに異常が発生していることを通知する(ステップS510)。具体的には、通知部138が図示しないスピーカーなどから異常アラートを鳴らすことで、医療用観察システム1Aに異常が発生していることを通知する。そして、ステップS511に進む。
 制御部130は、患者の体内の環境マップを生成するために使用するセンサを決定する(ステップS511)。具体的には、決定部134が信頼性の低下している第1センサ341~第3センサ343のうち信頼性が比較的良好なセンサを、環境マップを生成するために使用するセンサとして決定する。そして、ステップS512に進む。
 制御部130は、ステップS511で決定されたセンサの値を用いて、患者の体内の環境マップを生成する(ステップS512)。具体的には、生成部135が決定部134によって決定された信頼性が比較的良好なセンサの値を用いて、患者の体内の環境マップを生成する。そして、ステップS513に進む。
 制御部130は、ステップS512で作成された環境マップに基づいて、手術用アームシステム400に対して危機回避動作を指示する(ステップS513)。具体的には、指示部139が手術用アームシステム400に対して、患者に対する施術の中止を指示する。これにより、手術用アームシステム400は、例えば、第1医療用器具411~第3医療用器具431を患者の体内から挿抜する。そして、図19の処理は終了する。
 上述のとおり、実施形態の変形例は、医療用観察システム1A全体の信頼性が低下した場合に手術用アームシステム400に対して、危機回避動作を指示することができる。これにより、医療用観察システム1Aの安全性を向上させることができる。
[7.ハードウェア構成]
 上述してきた制御装置100等の情報機器は、例えば図20に示すような構成のコンピュータ1000によって実現される。図20は、制御装置100等の情報処理装置の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。以下、実施形態に係る制御装置100を例に挙げて説明する。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
 CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
 ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
 HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
 通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインターフェイスである。例えば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
 入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。例えば、CPU1100は、入出力インターフェイス1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
 例えば、コンピュータ1000が実施形態に係る制御装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされた情報処理プログラムを実行することにより、制御部130等の機能を実現する。また、HDD1400には、本開示に係る情報処理プログラムや、記憶部14内のデータが格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
(効果)
 医療用観察システム1は、体内環境に関する情報を測定する複数種類のセンサ部340と、複数種類のセンサ部340のそれぞれのセンサ値を取得する取得部131と、取得部131によって取得された複数種類のセンサ部340のそれぞれのセンサ値を比較する比較部132と、比較部132の比較結果に基づいて、複数種類のセンサ部340のうち体内環境を観察するためのセンサ部340を決定する決定部134と、を備える。
 この構成によれば、複数種類のセンサ部340のそれぞれのセンサ値の比較結果に基づいて、体内環境を観察するためのセンサ部340を決定する。その結果、体内環境の環境マップを生成するために使用するセンサ部340を最適化することができる。
 医療用観察システム1は、決定部134によって決定されたセンサ部340のセンサ値に基づいて、体内環境の環境マップを生成する生成部135を備えてもよい。
 この構成によれば、体内環境の環境マップを精度よく作成させることができる。
 医療用観察システム1は、比較部132の比較結果に基づいて、複数種類のセンサ部340のそれぞれの信頼性を判定する判定部を備えてもよい。決定部134は、判定部133の判定結果に基づいて、複数種類のセンサ部340のうち体内環境を観察するためのセンサ部を決定する。
 この構成によれば、体内環境の環境マップを生成するために使用するセンサ部340をより最適化することができる。これにより、環境マップの精度がより向上する。
 決定部134は、判定部133の判定結果に基づいて、信頼性の高い少なくとも2種類のセンサ部340を、体内環境を観察するためのセンサ部として決定してもよい。
 この構成によれば、信頼性の高い2種類以上のセンサ部340を決定し、その平均値から環境マップを生成することができる。その結果、環境マップの精度がより向上する。
 決定部134は、判定部133の判定結果に基づいて、信頼性の最も高いセンサ部を、体内環境を観察するためのセンサ部として決定してもよい。
 この構成によれば、信頼性の最も高いセンサ部340を決定し、そのセンサ部340の値のみから環境マップを生成することができる。これにより、他の信頼性の低いセンサ部340のセンサ値を含めずに環境マップを生成することができるので、環境マップの精度がより向上する。
 判定部133は、複数種類のセンサ部340ごとに予め設定された優先度に基づいて、複数種類のセンサ部340のそれぞれの信頼性を判定してもよい。
 この構成によれば、ロバスト性の最も高いセンサ部340のセンサ値を主のセンサとして、環境マップを生成することができる。これにより、全てのセンサ部340の信頼性が低くなる環境下において、信頼性の最も低いセンサ部340のセンサ値を含めずに環境マップを生成することができるので、環境マップの精度がより向上する。
 複数種類のセンサ部340のうち、1つは体内環境を撮像する画像センサであってよい。医療用観察システム1は、画像センサから取得された映像に基づいて状況を認識する認識部136を備える。判定部133は、認識部136による認識結果に基づいて、複数種類のセンサ部340のそれぞれの信頼性を判定してもよい。
 この構成によれば、手術の状況の認識結果を加味して、複数種類のセンサ部340の信頼性を判定することができる。その結果、環境マップの精度がより向上する。
 判定部133は、術前の体内環境のマップ情報に基づいて、複数種類のセンサ部340のそれぞれの信頼性を判定してもよい。
 この構成によれば、術前情報と、術中の複数種類のセンサ部340のセンサ値とを比較することで、複数種類のセンサ部340の信頼性を判定することができる。その結果、環境マップの精度がより向上する。
 術前の体内環境のマップ情報は、MRI(Magnetic Resonance Imaging)およびCT(Computed Tomography)の少なくとも一方に基づいて生成されてよい。
 この構成によれば、術前の体内環境のマップ情報は、MRIやCTなどの既存の装置を用いて生成することができる。
 判定部133は、術前の体内環境のマップ情報と、環境マップとに基づいて、複数種類のセンサ部のそれぞれの信頼性を判定してもよい。
 この構成によれば、手術の開始時にセンサ部340で生成したマップ情報と、術中の複数種類のセンサ部340のセンサ値とを比較することで、複数種類のセンサ部340の信頼性を判定することができる。その結果、環境マップの精度がより向上する。
 複数種類のセンサ部340のうち、1つは前記体内環境を撮像する画像センサであってよい。医療用観察システム1は、画像センサから取得された映像に基づいて状況を認識する認識部136を備えてよい。判定部133は、複数種類のセンサ部340ごとに予め設定された優先度と、認識部136による認識結果と、術前の体内環境のマップ情報と、環境マップとに基づいて、複数種類のセンサ部340のそれぞれの信頼性を判定してよい。
 この構成によれば、環境マップの精度がより向上する。
 医療用観察システム1Aは、判定部133の判定結果に基づいて、少なくとも一部のセンサ部340の故障または信頼性の低下を検出する検出部137を備えてもよい。
 この構成によれば、医療用観察システム1は、センサ故障や体内環境の悪化を自己判定することができる。その結果、安全性がより向上する。
 検出部137は、医療用観察システム1の全体の信頼性の低下を検出してよい。
 この構成によれば、医療用観察システム1は、センサ故障や体内環境の悪化を自己判定することができる。その結果、安全性がより向上する。
 検出部137が医療用観察システム1の全体の信頼性の低下を検出した場合、生成部135は、複数種類のセンサ部340のうち相対的に信頼性の高いセンサ部の測定結果に基づいて、環境マップを生成してよい。
 この構成によれば、医療用観察システム1の信頼性が低くなっている場合でも、危機を回避するための環境マップを生成することができる。その結果、安全性がより向上する。
 医療用観察システム1(1A)は、検出部137が医療用観察システム1(1A)の全体の信頼性の低下を検出した場合、環境マップの信頼性が低下していることを通知する通知部138を備えてよい。
 この構成によれば、自律動作していた場合、自ら環境マップの精度が低下していることを通知することができる。その結果、安全性がより向上する。
 医療用観察システム1(1A)は、検出部137が医療用観察システム1(1A)の全体の信頼性の低下を検出した場合、複数種類のセンサ部340のうち相対的に信頼性の高いセンサ部340の測定結果に基づいて生成された環境マップに従って、自律駆動する本体部の動作を指示する指示部139を備えてよい。
 この構成によれば、自律動作していた場合、環境マップに従って自ら動作を実行することができる。その結果、安全性がより向上する。
 指示部139は、本体部に対して危機回避動作を実行させてよい。
 この構成によれば、自律動作していた場合、自ら危機を回避する動作を実行することができる。その結果、安全性がより向上する。
 複数種類のセンサ部340は、内視鏡に設けられ、かつステレオ画像センサと、ToF(Time of Flight)センサとを含んでよい。判定部133は、ミストによるToFセンサの信頼性の低下を認識部136による認識結果に基づいて判定してよい。
 この構成によれば、体内環境の変化に応じて、環境マップを生成するために使用するセンサ部340を最適化できる。その結果、環境マップの精度はより向上する。
 判定部133は、ToFセンサの値に基づいて内視鏡の鏡筒の先端部の汚れを検出してよい。
 この構成によれば、体内環境の変化に応じて、環境マップを生成するために使用するセンサ部340を最適化できる。その結果、環境マップの精度はより向上する。
 判定部133は、ステレオ画像センサの値と、ToFセンサの値との比較結果に基づいて、ステレオ画像センサの撮影範囲の光源不良を検出してよい。
 この構成によれば、体内環境の変化に応じて、環境マップを生成するために使用するセンサ部340を最適化できる。その結果、環境マップの精度はより向上する。
 医療用観察システム1(1A)は、少なくとも一部が屈曲可能に構成され、かつ医療用器具を支持可能に構成されたアーム部を有する支持アーム装置を備えてもよい。複数種類のセンサ部340は、アーム部に支持されてよい。
 この構成によれば、アーム部を備える装置に、本開示を適用することができる。
 制御装置100は、体内環境に関する情報を測定する複数種類のセンサ部340のそれぞれのセンサ値を取得する取得部131と、取得部131によって取得された複数種類のセンサ部340のそれぞれのセンサ値を比較する比較部132と、比較部132の比較結果に基づいて、複数種類のセンサ部340のうち体内環境を観察するためのセンサ部340を決定する決定部134と、を備える。
 この構成によれば、複数種類のセンサ部340のそれぞれのセンサ値の比較結果に基づいて、体内環境を観察するためのセンサ部340を決定する。その結果、体内環境の環境マップを生成するために使用するセンサ部340を最適化することができる。
 制御方法は、体内環境に関する情報を測定する複数種類のセンサ部340のそれぞれのセンサ値を取得し、取得された複数種類のセンサ部340のそれぞれのセンサ値を比較し、比較結果に基づいて、複数種類のセンサ部340のうち体内環境を観察するためのセンサ部を決定する。
 この構成によれば、複数種類のセンサ部340のそれぞれのセンサ値の比較結果に基づいて、体内環境を観察するためのセンサ部340を決定する。その結果、体内環境の環境マップを生成するために使用するセンサ部340を最適化することができる。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
 なお、本技術は以下のような構成も取ることができる。
(1)
 体内環境に関する情報を測定する複数種類のセンサ部と、
 複数種類の前記センサ部のそれぞれのセンサ値を取得する取得部と、
 前記取得部によって取得された複数の前記センサ部のそれぞれのセンサ値を比較する比較部と、
 前記比較部の比較結果に基づいて、複数の前記センサ部のうち前記体内環境を観察するためのセンサ部を決定する決定部と、
 を備える、医療用観察システム。
(2)
 前記決定部によって決定されたセンサ部による測定結果に基づいて、前記体内環境の環境マップを生成する生成部を備える、
 前記(1)に記載の医療用観察システム。
(3)
 前記比較部の比較結果に基づいて、複数種類の前記センサ部のそれぞれの信頼性を判定する判定部を備え、
 前記決定部は、前記判定部の判定結果に基づいて、複数種類の前記センサ部のうち前記体内環境を観察するためのセンサ部を決定する、
 前記(1)または(2)に記載の医療用観察システム。
(4)
 前記決定部は、前記判定部の判定結果に基づいて、信頼性の高い少なくとも2種類のセンサ部を、前記体内環境を観察するためのセンサ部として決定する、
 前記(3)に記載の医療用観察システム。
(5)
 前記決定部は、前記判定部の判定結果に基づいて、信頼性の最も高いセンサ部を、前記体内環境を観察するためのセンサ部として決定する、
 前記(3)または(4)に記載の医療用観察システム。
(6)
 前記判定部は、複数種類の前記センサ部ごとに予め設定された優先度に基づいて、複数種類の前記センサ部のそれぞれの信頼性を判定する、
 前記(3)~(5)のいずれか1つに記載の医療用観察システム。
(7)
 複数種類の前記センサ部のうち、1つは前記体内環境を撮像する画像センサであり、
 前記画像センサから取得された映像に基づいて状況を認識する認識部を備え、
 前記判定部は、前記認識部による認識結果に基づいて、複数種類の前記センサ部のそれぞれの信頼性を判定する、
 前記(3)~(6)のいずれか1つに記載の医療用観察システム。
(8)
 前記判定部は、術前の前記体内環境のマップ情報に基づいて、複数種類の前記センサ部のそれぞれの信頼性を判定する、
 前記(3)~(7)のいずれか1つに記載の医療用観察システム。
(9)
 術前の前記体内環境のマップ情報は、MRI(Magnetic Resonance Imaging)およびCT(Computed Tomography)の少なくとも一方に基づいて生成されている、
 前記(8)に記載の医療用観察システム。
(10)
 前記判定部は、術前の前記体内環境のマップ情報と、前記環境マップとに基づいて、複数種類の前記センサ部のそれぞれの信頼性を判定する、
 前記(8)または(9)に記載の医療用観察システム。
(11)
 複数種類の前記センサ部のうち、1つは前記体内環境を撮像する画像センサであり、
 前記画像センサから取得された映像に基づいて状況を認識する認識部を備え、
 前記判定部は、複数種類の前記センサ部ごとに予め設定された優先度と、前記認識部による認識結果と、術前の前記体内環境のマップ情報と、前記環境マップとに基づいて、複数種類の前記センサ部のそれぞれの信頼性を判定する、
 前記(3)~(10)のいずれか1つに記載の医療用観察システム。
(12)
 前記判定部の判定結果に基づいて、少なくとも一部のセンサ部の故障または信頼性の低下を検出する検出部を備える、
 前記(3)~(11)のいずれか1つに記載の医療用観察システム。
(13)
 前記検出部は、当該医療用観察システムの全体の信頼性の低下を検出する、
 前記(12)に記載の医療用観察システム。
(14)
 前記検出部が当該医療用観察システムの全体の信頼性の低下を検出した場合、
 前記生成部は、複数種類の前記センサ部のうち相対的に信頼性の高いセンサ部の測定結果に基づいて、前記環境マップを生成する、
 前記(13)に記載の医療用観察システム。
(15)
 前記検出部が当該医療用観察システムの全体の信頼性の低下を検出した場合、
 前記環境マップの信頼性が低下していることを通知する通知部を備える、
 前記(13)または(14)に記載の医療用観察システム。
(16)
 前記検出部が当該医療用観察システムの全体の信頼性の低下を検出した場合、
 複数種類の前記センサ部のうち相対的に信頼性の高いセンサ部の測定結果に基づいて生成された前記環境マップに従って、自律駆動する本体部の動作を指示する指示部を備える、
 前記(14)または(15)に記載の医療用観察システム。
(17)
 前記指示部は、前記本体部に対して危機回避動作を実行させる、
 前記(16)に記載の医療用観察システム。
(18)
 複数種類の前記センサ部は、内視鏡に設けられ、かつステレオ画像センサと、ToF(Time of Flight)センサとを含み、
 前記判定部は、ミストによる前記ToFセンサの信頼性の低下を前記認識部による認識結果に基づいて判定する、
 前記(7)に記載の医療用観察システム。
(19)
 前記判定部は、前記ToFセンサの値に基づいて前記内視鏡の鏡筒の先端部の汚れを検出する、
 前記(18)に記載の医療用観察システム。
(20)
 前記判定部は、前記ステレオ画像センサの値と、前記ToFセンサの値との比較結果に基づいて、前記ステレオ画像センサの撮影範囲の光源不良を検出する、
 前記(18)または(19)に記載の医療用観察システム。
(21)
 少なくとも一部が屈曲可能に構成され、かつ医療用器具を支持可能に構成されたアーム部を有する支持アーム装置を備え、
 複数種類の前記センサ部は、前記アーム部に支持されている、
 前記(1)~(20)のいずれか1つに記載の医療用観察システム。
(22)
 体内環境に関する情報を測定する複数種類のセンサ部のそれぞれのセンサ値を取得する取得部と、
 前記取得部によって取得された複数種類の前記センサ部のそれぞれのセンサ値を比較する比較部と、
 前記比較部の比較結果に基づいて、複数種類の前記センサ部のうち前記体内環境を観察するためのセンサ部を決定する決定部と、
 を備える、制御装置。
(23)
 体内環境に関する情報を測定する複数種類のセンサ部のそれぞれのセンサ値を取得し、
 取得された複数種類の前記センサ部のそれぞれのセンサ値を比較し、
 比較結果に基づいて、複数種類の前記センサ部のうち前記体内環境を観察するためのセンサ部を決定する、
 制御方法。
 1,1A 医療用観察システム
 100 制御装置
 110 通信部
 120 記憶部
 130 制御部
 131 取得部
 132 比較部
 133 判定部
 134 決定部
 135 生成部
 136 認識部
 137 検出部
 138 通知部
 139 指示部
 140 通信制御部

Claims (20)

  1.  体内環境に関する情報を測定する複数種類のセンサ部と、
     複数種類の前記センサ部のそれぞれのセンサ値を取得する取得部と、
     前記取得部によって取得された複数種類の前記センサ部のそれぞれのセンサ値を比較する比較部と、
     前記比較部の比較結果に基づいて、複数種類の前記センサ部のうち前記体内環境を観察するためのセンサ部を決定する決定部と、
     を備える、医療用観察システム。
  2.  前記決定部によって決定されたセンサ部による測定結果に基づいて、前記体内環境の環境マップを生成する生成部を備える、
     請求項1に記載の医療用観察システム。
  3.  前記比較部の比較結果に基づいて、複数種類の前記センサ部のそれぞれの信頼性を判定する判定部を備え、
     前記決定部は、前記判定部の判定結果に基づいて、複数種類の前記センサ部のうち前記体内環境を観察するためのセンサ部を決定する、
     請求項2に記載の医療用観察システム。
  4.  前記決定部は、前記判定部の判定結果に基づいて、信頼性の高い少なくとも2種類のセンサ部を、前記体内環境を観察するためのセンサ部として決定する、
     請求項3に記載の医療用観察システム。
  5.  前記判定部は、複数種類の前記センサ部ごとに予め設定された優先度に基づいて、複数種類の前記センサ部のそれぞれの信頼性を判定する、
     請求項3に記載の医療用観察システム。
  6.  複数種類の前記センサ部のうち、1つは前記体内環境を撮像する画像センサであり、
     前記画像センサから取得された映像に基づいて状況を認識する認識部を備え、
     前記判定部は、前記認識部による認識結果に基づいて、複数種類の前記センサ部のそれぞれの信頼性を判定する、
     請求項3に記載の医療用観察システム。
  7.  前記判定部は、術前の前記体内環境のマップ情報に基づいて、複数種類の前記センサ部のそれぞれの信頼性を判定する、
     請求項3に記載の医療用観察システム。
  8.  前記判定部は、術前の前記体内環境のマップ情報と、前記環境マップとに基づいて、複数種類の前記センサ部のそれぞれの信頼性を判定する、
     請求項7に記載の医療用観察システム。
  9.  複数種類の前記センサ部のうち、1つは前記体内環境を撮像する画像センサであり、
     前記画像センサから取得された映像に基づいて状況を認識する認識部を備え、
     前記判定部は、複数種類の前記センサ部ごとに予め設定された優先度と、前記認識部による認識結果と、術前の前記体内環境のマップ情報と、前記環境マップとに基づいて、複数種類の前記センサ部のそれぞれの信頼性を判定する、
     請求項3に記載の医療用観察システム。
  10.  前記判定部の判定結果に基づいて、少なくとも一部のセンサ部の故障または信頼性の低下を検出する検出部を備える、
     請求項3に記載の医療用観察システム。
  11.  前記検出部は、当該医療用観察システムの全体の信頼性の低下を検出する、
     請求項10に記載の医療用観察システム。
  12.  前記検出部が当該医療用観察システムの全体の信頼性の低下を検出した場合、
     前記生成部は、複数種類の前記センサ部のうち相対的に信頼性の高いセンサ部の測定結果に基づいて、前記環境マップを生成する、
     請求項11に記載の医療用観察システム。
  13.  前記検出部が当該医療用観察システムの全体の信頼性の低下を検出した場合、
     前記環境マップの信頼性が低下していることを通知する通知部を備える、
     請求項11に記載の医療用観察システム。
  14.  前記検出部が当該医療用観察システムの全体の信頼性の低下を検出した場合、
     複数種類の前記センサ部のうち相対的に信頼性の高いセンサ部の測定結果に基づいて生成された前記環境マップに従って、自律駆動する本体部の動作を指示する指示部を備える、
     請求項11に記載の医療用観察システム。
  15.  前記指示部は、前記本体部に対して危機回避動作を実行させる、
     請求項14に記載の医療用観察システム。
  16.  複数種類の前記センサ部は、内視鏡に設けられ、かつステレオ画像センサと、ToF(Time of Flight)センサとを含み、
     前記判定部は、ミストによる前記ToFセンサの信頼性の低下を前記認識部による認識結果に基づいて判定する、
     請求項6に記載の医療用観察システム。
  17.  前記判定部は、前記ToFセンサの値に基づいて前記内視鏡の鏡筒の先端部の汚れを検出する、
     請求項16に記載の医療用観察システム。
  18.  少なくとも一部が屈曲可能に構成され、かつ医療用器具を支持可能に構成されたアーム部を有する支持アーム装置を備え、
     複数種類の前記センサ部は、前記アーム部に支持されている、
     請求項1に記載の医療用観察システム。
  19.  体内環境に関する情報を測定する複数種類のセンサ部のそれぞれのセンサ値を取得する取得部と、
     前記取得部によって取得された複数種類の前記センサ部のそれぞれのセンサ値を比較する比較部と、
     前記比較部の比較結果に基づいて、複数種類の前記センサ部のうち前記体内環境を観察するためのセンサ部を決定する決定部と、
     を備える、制御装置。
  20.  体内環境に関する情報を測定する複数種類のセンサ部のそれぞれのセンサ値を取得し、
     取得された複数種類の前記センサ部のそれぞれのセンサ値を比較し、
     比較結果に基づいて、複数種類の前記センサ部のうち前記体内環境を観察するためのセンサ部を決定する、
     制御方法。
PCT/JP2020/024250 2019-06-27 2020-06-19 医療用観察システム、制御装置及び制御方法 WO2020262262A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/620,747 US20220400938A1 (en) 2019-06-27 2020-06-19 Medical observation system, control device, and control method
CN202080040082.6A CN113905652A (zh) 2019-06-27 2020-06-19 医学观察系统、控制装置和控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-120348 2019-06-27
JP2019120348A JP2021003530A (ja) 2019-06-27 2019-06-27 医療用観察システム、制御装置及び制御方法

Publications (1)

Publication Number Publication Date
WO2020262262A1 true WO2020262262A1 (ja) 2020-12-30

Family

ID=74060892

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/024250 WO2020262262A1 (ja) 2019-06-27 2020-06-19 医療用観察システム、制御装置及び制御方法

Country Status (4)

Country Link
US (1) US20220400938A1 (ja)
JP (1) JP2021003530A (ja)
CN (1) CN113905652A (ja)
WO (1) WO2020262262A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021141048A1 (ja) * 2020-01-07 2021-07-15
DE102022101527A1 (de) 2022-01-24 2023-07-27 Karl Storz Se & Co. Kg Messvorrichtung und Messverfahren zum Überprüfen eines Messbildzustandes

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11309156A (ja) * 1998-04-27 1999-11-09 Olympus Optical Co Ltd 排煙装置
JP2002345738A (ja) * 2001-05-30 2002-12-03 Olympus Optical Co Ltd 計測内視鏡装置
JP2006043449A (ja) * 2004-07-08 2006-02-16 Pentax Corp 内視鏡システム
WO2015046081A1 (ja) * 2013-09-24 2015-04-02 ソニー・オリンパスメディカルソリューションズ株式会社 医療用ロボットアーム装置、医療用ロボットアーム制御システム、医療用ロボットアーム制御方法及びプログラム
WO2016194718A1 (ja) * 2015-06-05 2016-12-08 ソニー株式会社 画像処理装置、画像処理方法、および手術システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11309156A (ja) * 1998-04-27 1999-11-09 Olympus Optical Co Ltd 排煙装置
JP2002345738A (ja) * 2001-05-30 2002-12-03 Olympus Optical Co Ltd 計測内視鏡装置
JP2006043449A (ja) * 2004-07-08 2006-02-16 Pentax Corp 内視鏡システム
WO2015046081A1 (ja) * 2013-09-24 2015-04-02 ソニー・オリンパスメディカルソリューションズ株式会社 医療用ロボットアーム装置、医療用ロボットアーム制御システム、医療用ロボットアーム制御方法及びプログラム
WO2016194718A1 (ja) * 2015-06-05 2016-12-08 ソニー株式会社 画像処理装置、画像処理方法、および手術システム

Also Published As

Publication number Publication date
CN113905652A (zh) 2022-01-07
JP2021003530A (ja) 2021-01-14
US20220400938A1 (en) 2022-12-22

Similar Documents

Publication Publication Date Title
WO2020045015A1 (ja) 医療システム、情報処理装置及び情報処理方法
CN111278344B (zh) 手术臂系统和手术臂控制系统
JP7151109B2 (ja) 医療用撮像装置及び医療用観察システム
JP7334499B2 (ja) 手術支援システム、制御装置及び制御方法
WO2018088105A1 (ja) 医療用支持アーム及び医療用システム
WO2021049438A1 (ja) 医療用支持アーム、及び医療用システム
WO2018088113A1 (ja) 関節駆動用アクチュエータ及び医療用システム
JP2020074926A (ja) 医療用観察システム、信号処理装置及び医療用観察方法
WO2020262262A1 (ja) 医療用観察システム、制御装置及び制御方法
JPWO2019239942A1 (ja) 手術用観察装置、手術用観察方法、手術用光源装置、及び手術用の光照射方法
WO2021049220A1 (ja) 医療用支持アーム、及び医療用システム
WO2019181242A1 (ja) 内視鏡及びアームシステム
WO2021256168A1 (ja) 医用画像処理システム、手術画像制御装置、及び、手術画像制御方法
WO2017221491A1 (ja) 制御装置、制御システム、および制御方法
WO2020203164A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2020203225A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2020045014A1 (ja) 医療システム、情報処理装置及び情報処理方法
US20220022728A1 (en) Medical system, information processing device, and information processing method
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2022201933A1 (ja) 生体内観察システム、観察システム、生体内観察方法及び生体内観察装置
WO2022219878A1 (ja) 医療用観察システム、医療用画像処理方法及び情報処理装置
WO2023176133A1 (ja) 内視鏡用保持装置、内視鏡手術システム、及び制御方法
WO2022269992A1 (ja) 医療用観察システム、情報処理装置及び情報処理方法
WO2023276242A1 (ja) 医療用観察システム、情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20832562

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20832562

Country of ref document: EP

Kind code of ref document: A1