WO2021010193A1 - 医療機器制御システム、制御装置、および制御方法 - Google Patents

医療機器制御システム、制御装置、および制御方法 Download PDF

Info

Publication number
WO2021010193A1
WO2021010193A1 PCT/JP2020/026168 JP2020026168W WO2021010193A1 WO 2021010193 A1 WO2021010193 A1 WO 2021010193A1 JP 2020026168 W JP2020026168 W JP 2020026168W WO 2021010193 A1 WO2021010193 A1 WO 2021010193A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
information
medical device
voice
control system
Prior art date
Application number
PCT/JP2020/026168
Other languages
English (en)
French (fr)
Inventor
大茂 早川
内藤　昌志
英人 四方
雄幹 小川
昭彦 中谷
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2021010193A1 publication Critical patent/WO2021010193A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems

Definitions

  • the present disclosure relates to a medical device control system, a control device, and a control method, and more particularly to a medical device control system, a control device, and a control method that enable quick execution of a process that can be executed by a voice UI.
  • Patent Document 1 discloses a surgical system that controls a surgical device based on a recognition result of non-contact input such as a user's voice, line of sight, movement, and gesture.
  • This disclosure was made in view of such a situation, and makes it possible to quickly execute a process that can be executed by a voice UI.
  • the medical device control system of the present disclosure includes a plurality of medical devices, a voice recognition unit that recognizes a voice from a voice input unit, and a device control unit that controls the execution of processing of the medical device based on the voice recognition result. And a display control unit that controls the display of the display information corresponding to the processing executed based on the recognition result on the display unit, and the device control unit selects the displayed display information. If so, it is a medical device control system that controls the execution of the process corresponding to the selected display information.
  • the control device of the present disclosure includes a voice recognition unit that recognizes a voice from a voice input unit, a device control unit that controls the execution of processing of a plurality of medical devices based on the voice recognition result, and the recognition result.
  • the device control unit includes a display control unit that controls the display of the display information corresponding to the processing to be executed on the display unit, and the device control unit is selected when the displayed display information is selected. It is a control device that controls the execution of the process corresponding to the display information.
  • the control method of the present disclosure recognizes a voice from a voice input unit, controls the execution of processing of a plurality of medical devices based on the recognition result of the voice, and corresponds to the processing executed based on the recognition result.
  • This is a control method for controlling the display of the display information to be displayed on the display unit and controlling the execution of the process corresponding to the selected display information when the displayed display information is selected.
  • a voice from a voice input unit is recognized, execution of processing of a plurality of medical devices is controlled based on the recognition result of the voice, and a display corresponding to the processing executed based on the recognition result.
  • the display of the information on the display unit is controlled, and when the displayed display information is selected, the execution of the process corresponding to the selected display information is controlled.
  • FIG. 1 is a diagram schematically showing an overall configuration of an operating room system 100 as a medical device control system to which the technique according to the present disclosure is applied.
  • the operating room system 100 is configured by connecting a group of devices installed in the operating room in a coordinated manner via an audiovisual controller (AV Controller) 107 and an operating room control device 109.
  • AV Controller audiovisual controller
  • FIG. 1 various devices are installed in the operating room.
  • various device groups 101 for endoscopic surgery a sealing camera 187, a surgical site camera 189, a plurality of display devices 103A to 103D, a recorder 105, a patient bed 183, and a lighting 191 are illustrated.
  • the ceiling camera 187 is an imaging device provided on the ceiling of the operating room to image the operator's hand
  • the operating room camera 189 is an imaging device provided on the ceiling of the operating room to image the entire operating room.
  • the device group 101 belongs to the endoscopic surgery system 113, which will be described later, and includes an endoscope, a display device that displays an image captured by the endoscope, and the like.
  • Each device belonging to the endoscopic surgery system 113 is also referred to as a medical device.
  • the display devices 103A to 103D, the recorder 105, the patient bed 183, and the lighting 191 are devices provided in the operating room, for example, separately from the endoscopic surgery system 113.
  • Each of these devices that does not belong to the endoscopic surgery system 113 is also referred to as a non-medical device.
  • the audiovisual controller 107 and / or the operating room controller 109 controls the operations of these medical devices and non-medical devices in cooperation with each other.
  • the audiovisual controller 107 comprehensively controls processing related to image display in medical devices and non-medical devices.
  • the device group 101, the sealing camera 187, and the operating room camera 189 have a function of transmitting information to be displayed during the operation (hereinafter, also referred to as display information).
  • display information (Hereinafter, also referred to as a source device).
  • the display devices 103A to 103D are devices for outputting display information (hereinafter, referred to as output destination devices).
  • the recorder 105 is a device corresponding to both the source device and the output destination device.
  • the audiovisual controller 107 has a function of controlling the operation of the source device and the output destination device, acquiring display information from the source device, and transmitting the display information to the output destination device for display or recording.
  • the displayed information is various images captured during the operation and various information related to the operation (for example, physical information of the patient, past examination results, information on the surgical procedure, etc.).
  • the audiovisual controller 107 causes at least one of the display devices 103A to 103D, which is the output destination device, to display the acquired display information (images captured during the operation and various information related to the operation).
  • the display device 103A is a display device suspended from the ceiling of the operating room
  • the display device 103B is a display device installed on the wall surface of the operating room.
  • the display device 103C is a display device installed on a desk in the operating room
  • the display device 103D is a mobile device having a display function (for example, a tablet PC (Personal Computer)).
  • the operating room system 100 may include a device outside the operating room.
  • Devices outside the operating room are, for example, servers connected to networks built inside and outside the hospital, PCs used by medical staff, projectors installed in hospital conference rooms, and the like.
  • the audiovisual controller 107 can also display the display information on the display device of another hospital via a video conferencing system or the like for telemedicine.
  • the operating room control device 109 comprehensively controls processing other than processing related to image display in non-medical equipment.
  • the operating room control device 109 controls the drive of the patient bed 183, the sealing camera 187, the operating room camera 189, and the lighting 191.
  • the operating room system 100 is provided with a centralized operation panel 111.
  • the user can give an instruction about image display to the audiovisual controller 107 and an instruction about the operation of the non-medical device to the operating room control device 109 via the centralized operation panel 111.
  • the centralized operation panel 111 is configured by providing a touch panel on the display surface of the display device.
  • FIG. 2 is a diagram showing a display example of an operation screen on the centralized operation panel 111.
  • the operation screen corresponding to the case where the operating room system 100 is provided with two display devices as output destination devices is shown.
  • the operation screen 193 is provided with a source selection area 195, a preview area 197, and a control area 201.
  • the source device provided in the operating room system 100 and the thumbnail screen showing the display information possessed by the source device are linked and displayed.
  • the user can select the display information to be displayed on the display device from any of the source devices displayed in the source selection area 195.
  • a preview of the screen displayed on the two display devices (Monitor 1 and Monitor 2), which are output destination devices, is displayed.
  • a status display area 199 is provided below the area in which the four images are displayed. In the status display area 199, the status related to the surgery (for example, the elapsed time of the surgery, the physical information of the patient, etc.) is appropriately displayed.
  • control area 201 a GUI (Graphical User Interface) component for performing an operation on the source device is displayed, and a GUI component for performing an operation on the output destination device is displayed.
  • GUI Graphic User Interface
  • the output destination operation area 205 to be output is provided.
  • the source operation area 203 is provided with GUI components for performing various operations (pan, tilt, and zoom) on the camera in the source device having an imaging function. The user can operate the operation of the camera in the source device by appropriately selecting these GUI components.
  • the output destination operation area 205 is provided with GUI components for performing various operations (swap, flip, color adjustment, contrast adjustment, switching between 2D display and 3D display) for the display on the display device which is the output destination device. Has been done. The user can operate the display on the display device by appropriately selecting these GUI components.
  • the operation screen displayed on the centralized operation panel 111 is not limited to the example of FIG. 2, and the user can refer to each device controlled by the audiovisual controller 107 and the operating room control device 109 via the centralized operation panel 111. Operation input may be possible.
  • FIG. 3 is a diagram showing an example of an operation in which the operating room system described above is applied.
  • the ceiling camera 187 and the operating room camera 189 are provided on the ceiling of the operating room, and can image the state of the operator (doctor) 181 who treats the affected part of the patient 185 on the patient bed 183 and the entire operating room. Is.
  • the sealing camera 187 and the operating field camera 189 are provided with a magnification adjustment function, a focal length adjustment function, an imaging direction adjustment function, and the like.
  • the illumination 191 is provided on the ceiling of the operating room and illuminates at least the hand of the operator 181.
  • the illumination 191 may appropriately adjust the amount of irradiation light, the wavelength (color) of the irradiation light, the irradiation direction of the light, and the like.
  • the endoscopic surgery system 113, the patient bed 183, the sealing camera 187, the operating room camera 189, and the lighting 191 cooperate with each other via the audiovisual controller 107 and the operating room controller 109, as described with reference to FIG. It is connected as possible.
  • the centralized operation panel 111 is provided in the operating room, and as described above, the user can appropriately operate these devices existing in the operating room through the centralized operation panel 111.
  • the endoscopic surgery system 113 includes an endoscope 115, other surgical tools 131, a support arm device 141 for supporting the endoscope 115, and various devices for endoscopic surgery. It is composed of a cart 151 on which the
  • troccas 139a to 139d are punctured into the abdominal wall. Then, the lens barrel 117 of the endoscope 115 and other surgical tools 131 are inserted into the body cavity of the patient 185 from the troccers 139a to 139d.
  • a pneumoperitoneum tube 133, an energy treatment tool 135, and forceps 137 are inserted into the body cavity of patient 185.
  • the energy treatment tool 135 is a treatment tool that cuts and peels tissue, seals a blood vessel, or the like by using a high-frequency current or ultrasonic vibration.
  • the surgical tool 131 shown is only an example, and as the surgical tool 131, various surgical tools generally used in endoscopic surgery such as tweezers and retractors may be used.
  • the image of the surgical site in the body cavity of the patient 185 taken by the endoscope 115 is displayed on the display device 155.
  • the operator 181 uses the energy treatment tool 135 and the forceps 137 while viewing the image of the surgical site displayed on the display device 155 in real time to perform a procedure such as excising the affected area.
  • the pneumoperitoneum tube 133, the energy treatment tool 135, and the forceps 137 are supported by the operator 181 or an assistant during the operation.
  • the support arm device 141 includes an arm portion 145 extending from the base portion 143.
  • the arm portion 145 is composed of joint portions 147a, 147b, 147c, and links 149a, 149b, and is driven by control from the arm control device 159.
  • the endoscope 115 is supported by the arm portion 145, and its position and posture are controlled. As a result, the stable position of the endoscope 115 is fixed.
  • the endoscope 115 is composed of a lens barrel 117 in which a region having a predetermined length from the tip is inserted into the body cavity of the patient 185, and a camera head 119 connected to the base end of the lens barrel 117.
  • the endoscope 115 is configured as a so-called rigid mirror having a rigid barrel 117, but the endoscope 115 is configured as a so-called flexible mirror having a flexible barrel 117. You may.
  • An opening in which an objective lens is fitted is provided at the tip of the lens barrel 117, and a light source device 157 is connected to the endoscope 115.
  • the light generated by the light source device 157 is guided to the tip of the lens barrel 117 by a light guide extending inside the lens barrel 117, and irradiates the observation target in the body cavity of the patient 185 through the objective lens. Will be done.
  • the endoscope 115 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image sensor are provided inside the camera head 119, and the reflected light (observation light) from the observation target is focused on the image sensor by the optical system.
  • the observation light is photoelectrically converted by the image sensor, and an electric signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted as RAW data to the camera control unit (CCU: Camera Control Unit) 153.
  • the camera head 119 is equipped with a function of adjusting the magnification and the focal length by appropriately driving the optical system.
  • the camera head 119 may be provided with a plurality of image pickup elements.
  • a plurality of relay optical systems are provided inside the lens barrel 117 in order to guide the observation light to each of the plurality of image pickup elements.
  • the CCU 153 is composed of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), etc., and comprehensively controls the operations of the endoscope 115 and the display device 155. Specifically, the CCU 153 performs various image processing for displaying an image based on the image signal, such as a development process (demosaic process), on the image signal received from the camera head 119.
  • a development process demosaic process
  • the CCU 153 provides the display device 155 with an image signal that has undergone image processing. Further, the audiovisual controller 107 shown in FIG. 1 is connected to the CCU 153. The CCU 153 also provides the image processed image signal to the audiovisual controller 107. Further, the CCU 153 transmits a control signal to the camera head 119 and controls the driving thereof.
  • the control signal includes information on imaging conditions such as magnification and focal length. The information regarding the imaging conditions may be input via the input device 161 or may be input via the centralized operation panel 111 described above.
  • the display device 155 displays an image based on the image signal processed by the CCU 153 under the control of the CCU 153.
  • the endoscope 115 is compatible with high-resolution imaging such as 4K (3840 horizontal pixels x 2160 vertical pixels) or 8K (7680 horizontal pixels x 4320 vertical pixels), and / or 3D display.
  • high-resolution imaging such as 4K (3840 horizontal pixels x 2160 vertical pixels) or 8K (7680 horizontal pixels x 4320 vertical pixels
  • 3D display As the display device 155, a device capable of displaying high resolution and / or a device capable of displaying in 3D is used corresponding to each of the above.
  • the display device is compatible with high-resolution imaging such as 4K or 8K, a more immersive feeling can be obtained by using a display device 155 having a size of 55 inches or more. Further, a plurality of display devices 155 having different resolutions and sizes may be provided depending on the application.
  • the light source device 157 is composed of, for example, a light source such as an LED (Light Emitting Diode), and supplies irradiation light for imaging the surgical site to the endoscope 115.
  • a light source such as an LED (Light Emitting Diode)
  • LED Light Emitting Diode
  • the arm control device 159 is configured by a processor such as a CPU, and operates according to a predetermined program to control the drive of the arm unit 145 of the support arm device 141 according to a predetermined control method.
  • the input device 161 is an input interface to the endoscopic surgery system 113.
  • the user can input various information and input instructions to the endoscopic surgery system 113 via the input device 161.
  • the user inputs various information related to the surgery, such as physical information of the patient and information about the surgical procedure, via the input device 161.
  • the user gives an instruction to drive the arm unit 145 via the input device 161 and changes the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 115.
  • the type of the input device 161 is not limited, and the input device 161 may be various known input devices.
  • the input device 161 for example, a mouse, a keyboard, a touch panel, a switch, a foot switch 171 and / or a lever and the like are applied.
  • the touch panel may be provided on the display surface of the display device 155.
  • the input device 161 may be a device worn by the user, such as a glasses-type wearable device or an HMD (Head Mounted Display). In this case, various inputs are performed according to the user's gesture and line of sight detected by these devices. Further, the input device 161 includes a camera capable of detecting the movement of the user, and various inputs may be performed according to the gesture and the line of sight of the user detected from the image captured by the camera. Further, the input device 161 includes a microphone 211 capable of picking up the user's voice, and various inputs may be performed by voice via the microphone 211.
  • the input device 161 By configuring the input device 161 to be able to input various information in a non-contact manner in this way, a user belonging to a clean area (for example, an operator 181) can operate a device belonging to a dirty area in a non-contact manner. Is possible. In addition, since the user can operate the device without taking his / her hand off the surgical tool he / she has, the convenience of the user is improved.
  • the treatment tool control device 163 controls the drive of the energy treatment tool 135 for cauterizing, incising, sealing a blood vessel, or the like of a tissue.
  • the pneumoperitoneum device 165 injects gas into the body cavity through the pneumoperitoneum tube 133 in order to inflate the body cavity of the patient 185 for the purpose of securing the field of view by the endoscope 115 and securing the work space of the operator.
  • the recorder 167 is a device capable of recording various information related to surgery.
  • the printer 169 is a device capable of printing various information related to surgery in various formats such as texts, images, and graphs.
  • FIG. 4 is a block diagram showing a functional configuration example of the operating room system 100 described above.
  • the operating room system 100 of FIG. 4 includes a control device 310, medical devices 320-1, 320-2, ..., 320-M, a voice input device 330, a voice recognition device 340, a storage device 350, a display device 360, and It consists of a server 370.
  • a plurality of medical devices 320-1, 320-2, 320-M are simply referred to as medical devices 320.
  • the control device 310 corresponds to, for example, the audiovisual controller 107 and / or the operating room control device 109 of FIG. 1, and includes a control unit 311 composed of a CPU, a GPU, and the like.
  • the control unit 311 comprehensively controls the operations of the medical device 320 and the display device 360.
  • the functional block of the control unit 311 is realized by executing a predetermined program by the processors constituting the control unit 311.
  • the control unit 311 is composed of a device control unit 311a, a display control unit 311b, and a diagnosis unit 311c.
  • the device control unit 311a controls the execution of each process of the medical device 320.
  • the display control unit 311b controls the display of display information on the display device 360.
  • the diagnosis unit 311c diagnoses the voice recognition result by the voice recognition device 340.
  • the medical device 320 is attached to the endoscopic surgery system 113, for example, an endoscope or a display device for displaying an image (moving image or still image) captured by the endoscope, which is described with reference to FIG. Corresponds to each device to which it belongs.
  • the medical device 320 executes each process based on the control of the device control unit 311a.
  • the voice input device 330 corresponds to, for example, the microphone 211 of FIG. 3, and includes a voice input unit 331 for inputting the voice of the user (operator 181).
  • the voice signal of the voice input to the voice input unit 331 is supplied to the voice recognition device 340.
  • the voice recognition device 340 includes a voice recognition unit 341 that recognizes voice.
  • the voice recognition unit 341 recognizes the voice of a user such as the operator 181 based on the voice signal from the voice input device 330.
  • the voice recognition result is supplied to the control device 310 (control unit 311).
  • the storage device 350 includes a storage unit 351 that stores various types of information.
  • the storage unit 351 stores voice commands for the device control unit 311a of the control unit 311 to control the execution of processing of the medical device 320.
  • the device control unit 311a can control the execution of the processing of each of the medical devices 320 based on the voice recognition result from the voice recognition device 340. Specifically, the device control unit 311a corresponds to a voice command that matches the recognition result by comparing the voice recognition result from the voice recognition device 340 with the voice command stored in the storage unit 351. Controls the execution of processing of the medical device 320.
  • the display device 360 corresponds to, for example, the centralized operation panel 111, and includes a display unit 361 and an input unit 362.
  • the display unit 361 constitutes the display surface of the display device 360, and displays various display information based on the control of the control unit 311.
  • the display information referred to here also includes GUI parts.
  • the input unit 362 corresponds to the touch panel provided on the display unit 361, receives an operation input to the display unit 361, and supplies the corresponding operation signal to the control unit 311.
  • the server 370 is a server connected to a network constructed inside and outside the hospital, and holds information on surgery, information on surgeon 181 and information on patients. This information is read out to the control device 310 as needed.
  • control device 310 the voice input device 330, the voice recognition device 340, the storage device 350, the display device 360, and the server 370 are configured separately. Not limited to this, in the operating room system 100, two or more of these devices may be arbitrarily combined to form one device.
  • FIG. 5 is a flowchart illustrating a flow of device control processing by the voice UI.
  • step S11 the voice recognition unit 341 determines whether or not the voice signal has been supplied from the voice input device 330, thereby determining whether or not the voice has been input by the operator 181 via the voice input device 330. ..
  • step S11 when it is determined that the voice has been input by supplying the voice signal from the voice input device 330, the process proceeds to step S12.
  • step S12 the voice recognition unit 341 recognizes the voice of the operator 181 based on the voice signal from the voice input device 330.
  • step S13 the device control unit 311a determines whether or not the voice recognition result of the voice recognition unit 341 is any process executed by any of the medical devices 320. Specifically, it is determined whether or not there is a voice command that matches the voice recognition result among the voice commands stored in the storage unit 351.
  • step S13 If it is determined in step S13 that the voice recognition result is any process executed by any of the medical devices 320, the process proceeds to step S14.
  • step S14 the device control unit 311a controls the execution of processing of the medical device 320 corresponding to the voice command that matches the voice recognition result.
  • step S13 if it is determined in step S13 that the voice recognition result is not the process executed by the medical device 320, the process returns to step S11, and the subsequent processes are repeated.
  • the processing of the medical device 320 executed based on the voice recognition result mainly includes processing related to imaging by the endoscope 115, an image of the imaged surgical site (operative site image), an image saved in the past, and the like. There are processes related to the display of and other processes related to the operation of medical devices.
  • ON / OFF of each function such as AF (Autofocus), AE (Automatic Exposure) for brightness adjustment, AWB (Automatic White Balance), AGC (Automatic Gain Control), and color tone adjustment , Switching the observation mode of the surgical site, etc. are included. According to the switching of the observation mode, the observation mode is switched to either infrared light observation or narrow band light observation.
  • the processing related to imaging may include imaging (shutter) of a still image.
  • Processing related to the display of surgical site images and the like includes switching between input and output of images, edge enhancement processing, and display of CT (Computed Tomography) images.
  • CT Computer Tomography
  • Processing related to the operation of other medical devices includes, for example, ON / OFF of the electric knife, setting of the strength of the smoke removing device, setting of the strength of the pneumoperitoneum device, and the like.
  • the operation of the medical device 320 may be controlled by performing natural language processing on the voice recognition result in cooperation with AI (Artificial Intelligence).
  • AI Artificial Intelligence
  • the doctor performing the operation can control the execution of the processing of the medical device by the voice UI during the operation, so that the medical device in the unclean area can be maintained in a clean state without directly operating the medical device. It becomes possible.
  • FIG. 6 is a flowchart illustrating a flow of device control processing by alternative display.
  • step S31 the diagnosis unit 311c determines whether or not the voice recognition result is NG by diagnosing the voice recognition result by the voice recognition device 340.
  • the diagnosis unit 311c is NG in the voice recognition result. Is determined to be.
  • the diagnostic unit 311c determines whether the input level including the environmental sound has become 0 based on the voice signal from the voice input device 330, or whether a certain time has elapsed while the input level remains 0. It may be determined whether or not the voice recognition result is NG.
  • diagnosis unit 311c may determine whether or not the voice recognition result is NG depending on whether or not the number of times the user cancels the voice recognition result exceeds a predetermined number of times.
  • the diagnostic unit 311c determines whether or not the voice recognition result is NG depending on whether or not the voice signals input from the respective input paths match. You may.
  • the diagnostic unit 311c determines whether or not the voice from the voice output device is detected. , It may be determined whether or not the voice recognition result is NG.
  • step S32 the device control process by the voice UI described with reference to FIG. 5 is performed. Will be executed.
  • step S33 if it is not determined that the voice recognition result is not NG by diagnosing the voice recognition result, that is, if the voice recognition result is NG, the process proceeds to step S33.
  • step S33 the display control unit 311b controls the display of display information corresponding to the processing of the medical device 320 executed based on the voice recognition result on the control screen displayed on the display device 360.
  • display information 411-1 corresponding to the processing of the medical device 320 executed based on the voice recognition result.
  • 411-2, 411-3, ..., 411-n, 411- (n + 1), 411- (n + 2), 411- (n + 3), ..., 411-N are N GUI parts. Displayed as a button.
  • the display information 411-1 to 411-N are associated with processing items (processing items 1 to N) executed based on the voice recognition result by each of the plurality of medical devices 320 constituting the operating room system 100. ing.
  • step S34 the device control unit 311a has selected any of the display information 411-1 to 411-N displayed on the display unit 361 based on the operation signal from the input unit 362 of the display device 360. Is determined.
  • step S34 when it is determined that any of the display information has been selected by supplying the operation signal from the input unit 362, the process proceeds to step S35.
  • step S35 the device control unit 311a controls the execution of the process corresponding to any of the selected display information 411-1 to 411-N based on the operation signal from the input unit 362.
  • the display information corresponding to the processing executed based on the voice recognition result is displayed, so that the operator can display the desired display information. Just by selecting, it is possible to quickly execute the processing that can be executed by the voice UI.
  • Control screen display example> In the example of FIG. 7, on the control screen, the display information 411-1 to 411-N corresponding to the processing of the medical device 320 executed based on the voice recognition result is displayed regardless of the type of the medical device 320. It was supposed to be done.
  • display information corresponding to the processing may be displayed for each type of medical device 320.
  • the display information 421-1 to 421-4 corresponding to the processing of the endoscope 115 executed based on the voice recognition result and the display information 431-corresponding to the processing of the other medical device 320. 1 to 431-4 are displayed in each area.
  • the display information 421-1 to 421-4 are associated with processing items (processing items 1 to 4) executed by the endoscope 115 based on the voice recognition result.
  • the display information 431-1 to 431-4 are associated with processing items (processing items A to D) executed based on the voice recognition result by the other medical device 320.
  • display information corresponding to the processing of the medical device 320 reflected in the preview of the screen displayed in the preview area 197 may be displayed.
  • display information 441-1 to 441-4 corresponding to the processing items (processing items a to d) of the medical device 320 displayed in the preview of the screen displayed on Monitor 1, for example, are displayed.
  • Priority display of display information By the way, when there are many processes of the medical device 320 executed based on the voice recognition result, if the display information corresponding to all the processes is displayed, the display of the control screen becomes complicated and the operator desires. It may be difficult to select the display information of.
  • the display control unit 311b controls the display of display information corresponding to the processing according to the type or surgical procedure currently being performed on the control screen displayed on the display device 360.
  • the server 370 can manage the operation schedule in the hospital and hold various information related to the operation schedule.
  • the display control unit 311b can identify the type or operation method of the operation currently being performed by acquiring the information on the operation schedule from the server 370.
  • the display control unit 311b may control the display of display information corresponding to the processing according to the surgical flow of the surgery currently being performed on the control screen displayed on the display device 360.
  • the surgical flow should be determined by the surgical site image and the usage status of medical equipment. For example, in a state where an electric knife is used, it is determined that the surgical flow is proceeding to the surgical site resection flow, and display information corresponding to the processing according to the surgical site resection flow is displayed. Further, when the endoscope 115 is activated, display information corresponding to the processing of the endoscope 115 may be displayed.
  • the display control unit 311b may control the display of the display information on the control screen displayed on the display device 360 based on the device information related to the medical device 320.
  • the display information corresponding to the processing of the medical device 320 connected to the control device 310 is displayed.
  • the display information is stored in a lookup table configured in the storage unit 351 of the storage device 350, and the display information corresponding to the processing of the medical device 320 in the connected state is read out based on the connection information.
  • the display information corresponding to the processing of the medical device 320 that is not in the connected state is not displayed on the control screen.
  • the display information corresponding to the related process related to the process executed in the medical device 320 in use may be displayed.
  • the medical device 320 in use when brightness adjustment is executed as a process related to imaging, in addition to display information for switching the brightness level, a dimming method, AGC ON / OFF, AGC maximum gain, Display information for selecting the metering area, maximum exposure time, etc. is displayed.
  • the device information is statistical information indicating the frequency of use of the medical device 320
  • display information corresponding to the processing of the frequently used medical device 320 such as the top four is displayed.
  • the display control unit 311b may control the display of the display information on the control screen displayed on the display device 360 based on the operator information regarding the operator who uses the medical device 320.
  • the display information corresponding to the processing of the medical device 320 associated with the surgeon specified by the unique information is displayed.
  • the medical device 320 associated with the surgeon may be, for example, a medical device 320 registered for each surgeon, or a medical device 320 used for surgery specialized by the surgeon. Good.
  • surgeon information is learning information based on the behavior history of the surgeon, it corresponds to the processing of the medical device 320 used in the next action predicted from the action immediately before the surgeon based on the learning information. Make the display information displayed.
  • the display control unit 311b may control the display of the display information on the control screen displayed on the display device 360 based on the patient information regarding the patient to be operated on.
  • the display information corresponding to the processing of the medical device 320 suitable for the patient's condition indicated by the biometric information is displayed.
  • the display information corresponding to the processing of the medical device 320 suitable for the patient's medical history indicated by the medical history information is displayed.
  • the display information corresponding to the processing of the medical device 320 suitable for the state of the surgical site determined from the imaging information is displayed.
  • the imaging information of the surgical site is an image of the surgical site showing the lesion portion
  • the display information corresponding to the process of enlarging / reducing the lesion portion is displayed.
  • the imaging information of the surgical site is three-dimensional information obtained by SLAM (Simultaneous Localization and Mapping) or the like
  • display information corresponding to the process of displaying the three-dimensional information is displayed.
  • the next action predicted from the operator's immediately preceding action is based on the operator information (learning information) at a certain time during the operation.
  • Display information 451 to 454 corresponding to the processing of the medical device 320 used in the action is displayed.
  • the display information 451 is a button selected for adjusting the brightness
  • the display information 452 is a button selected for adjusting the color tone
  • the display information 453 is selected for adjusting the focus / zoom. It is a button to be done.
  • the display information 454 is a button selected when further displaying the display information corresponding to the processing other than the processing selected by the display information 451 to 453.
  • the operator selects the display information 454 to display the display information corresponding to the other process. Is displayed.
  • display information 461 to 465 corresponding to the processes having a high frequency of use (usage probability) among the processes related to the brightness adjustment are displayed.
  • the display information 461 is a character string indicating the current brightness level, and the display information 462 is a button for changing the current brightness level.
  • the display information 463 is a character string indicating the current dimming method, and the display information 464 is a button for changing the current dimming method.
  • the display information 465 is a button selected when displaying display information corresponding to a process other than the process displayed / selected in the display information 461 to 464.
  • the display information 471 is a character string indicating the current ON / OFF of the AGC
  • the display information 472 is a button for changing the ON / OFF of the current AGC.
  • the display information 473 is a character string indicating the current AGC maximum gain
  • the display information 474 is a button for changing the current AGC maximum gain.
  • the display information 475 is a character string indicating the current metering area
  • the display information 476 is a button for changing the current metering area.
  • control screen is configured to display only the display information corresponding to the specific processing among the processing of the medical device 320 executed based on the voice recognition result. It becomes easy for the operator to efficiently select the desired display information without complicating the display of the display and reducing the visibility.
  • FIG. 14 is a block diagram showing an example of the hardware configuration of the control device 600 constituting the operating room system according to the present embodiment.
  • the control device 600 includes a CPU 601 and a ROM 603 and a RAM 605. Further, the control device 600 includes a host bus 607, a bridge 609, an external bus 611, an interface 613, an input device 615, an output device 617, and a storage device 619.
  • the control device 600 may include a drive 621, a connection port 623, and a communication device 625.
  • the CPU 601 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the control device 600 according to various programs recorded in the ROM 603, RAM 605, storage device 619, or removable recording medium 627.
  • ROM 603 stores programs, calculation parameters, etc. used by CPU 601.
  • the RAM 605 primarily stores a program used by the CPU 601 and parameters that change as appropriate in the execution of the program. These are connected to each other by a host bus 607 composed of an internal bus such as a CPU bus.
  • a host bus 607 composed of an internal bus such as a CPU bus.
  • Each configuration of the control device 310 described with reference to FIG. 4 is realized by, for example, the CPU 601.
  • the host bus 607 is connected to an external bus 611 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 609.
  • An input device 615, an output device 617, a storage device 619, a drive 621, a connection port 623, and a communication device 625 are connected to the external bus 611 via an interface 613.
  • the input device 615 is an operating means operated by the user, such as a mouse, keyboard, touch panel, buttons, switches, levers, and pedals. Further, the input device 615 may be, for example, a remote control means (so-called remote controller) using infrared rays or other radio waves, or an external connection device 629 such as a mobile phone or a PDA corresponding to the operation of the control device 600. It may be.
  • a remote control means such as a mobile phone or a PDA corresponding to the operation of the control device 600. It may be.
  • the input device 615 is composed of, for example, an input control circuit that generates an input signal based on the information input by the user using the above-mentioned operating means and outputs the input signal to the CPU 601.
  • the user can input various data to the control device 600 and instruct the processing operation.
  • the output device 617 is composed of a device capable of visually or audibly notifying the user of the acquired information.
  • the output device 617 is configured as a CRT display device, a liquid crystal display device, a plasma display device, an EL display device, a display device such as a lamp, an audio output device such as a speaker and headphones, a printer device, and the like. ..
  • the output device 617 outputs, for example, the results obtained by various processes performed by the control device 600.
  • the display device displays the results obtained by various processes performed by the control device 600 as text or an image.
  • the audio output device converts an audio signal composed of reproduced audio data and acoustic data into an analog signal and outputs the signal.
  • the storage device 619 is a data storage device configured as an example of the storage unit of the control device 600.
  • the storage device 619 is composed of, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • the storage device 619 stores a program executed by the CPU 601 and various data.
  • the drive 621 is a reader / writer for a recording medium, and is built in or externally attached to the control device 600.
  • the drive 621 reads the information recorded on the removable recording medium 627 such as the mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 605.
  • the drive 621 can also write a record to a removable recording medium 627 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the removable recording medium 627 is, for example, DVD media, HD-DVD media, Blu-ray (registered trademark) media, or the like. Further, the removable recording medium 627 may be a compact flash (registered trademark) (CF: CompactFlash), a flash memory, an SD (Secure Digital) memory card, or the like. Further, the removable recording medium 627 may be, for example, an IC (Integrated Circuit) card equipped with a non-contact IC chip, an electronic device, or the like.
  • IC Integrated Circuit
  • the connection port 623 is a port for directly connecting the external connection device 629 to the control device 600.
  • Examples of the connection port 623 include a USB (Universal Serial Bus) port, an IEEE1394 port, and a SCSI (Small Computer System Interface) port.
  • Another example of the connection port 623 is an RS-262C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, and the like.
  • the communication device 625 is a communication interface composed of, for example, a communication device for connecting to a communication network (network) 361.
  • the communication device 625 is, for example, a communication card for a wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 625 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communications, or the like.
  • the communication device 625 can transmit and receive signals to and from the Internet and other communication devices according to a predetermined protocol such as TCP / IP. Further, the communication network 631 connected to the communication device 625 may be configured by a network connected by wire or wirelessly.
  • the communication network 631 may be, for example, the Internet or a home LAN, or may be a communication network on which infrared communication, radio wave communication, or satellite communication is performed.
  • Each component of the control device 600 described above may be configured by using general-purpose members, or may be configured by hardware specialized for the function of each component. Therefore, it is possible to appropriately change the hardware configuration to be used according to the technical level at each time when the present embodiment is implemented.
  • a computer program for realizing each function of the control device 600 constituting the surgical system according to the present embodiment and implement it on a personal computer or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the computer program may be distributed via a network, for example, without using a recording medium.
  • the present disclosure can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present disclosure may have the following structure.
  • a voice recognition unit that recognizes the voice from the voice input unit
  • a device control unit that controls the execution of processing of the medical device based on the voice recognition result
  • It is provided with a display control unit that controls display of display information corresponding to the process executed based on the recognition result on the display unit.
  • the device control unit is a medical device control system that controls the execution of the process corresponding to the selected display information when the displayed display information is selected.
  • the medical device control system according to (2) wherein the display control unit controls the display of the display information corresponding to the processing according to the type or operation type of surgery.
  • the display control unit controls the display of the display information corresponding to the processing according to the surgical flow.
  • the medical device control system according to (4) wherein the surgical flow is determined based on an image of the surgical site.
  • the medical device control system according to (4), wherein the surgical flow is determined based on the usage status of the medical device.
  • the medical device control system according to (7), wherein the device information is connection information indicating a connection state of the medical device.
  • the medical device control system according to (10), wherein the operator information is unique information set for each operator.
  • the medical device control system according to (10), wherein the operator information is learning information based on the behavior history of the operator.
  • the medical device control system according to (13), wherein the patient information is biological information of the patient.
  • the medical device control system according to (13), wherein the patient information is medical history information of the patient.
  • the patient information is imaging information of the surgical site of the patient.
  • the display control unit controls the display of the display information when the function of the voice recognition unit is stopped.
  • the display control unit controls the display of the display information when the recognition accuracy of the voice by the voice recognition unit is lowered to a certain extent.
  • a voice recognition unit that recognizes the voice from the voice input unit, A device control unit that controls the execution of processing of a plurality of medical devices based on the voice recognition result, It is provided with a display control unit that controls display of display information corresponding to the process executed based on the recognition result on the display unit.
  • the device control unit is a control device that controls the execution of the process corresponding to the selected display information.
  • 310 control device 311 control unit, 311a device control unit, 311b display control unit, 311c diagnostic unit, 320 medical equipment, 330 voice input device, 331 voice input unit, 340 voice recognition device, 341 voice recognition unit , 350 storage device, 351 storage unit, 360 display device, 361 display unit, 362 input unit, 370 server, 600 control device

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Acoustics & Sound (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Endoscopes (AREA)

Abstract

本開示は、音声ＵＩにより実行可能な処理を素早く実行させることができるようにする医療機器制御システム、制御装置、および制御方法に関する。 音声認識部は、音声入力部からの音声を認識し、機器制御部は、音声の認識結果に基づいて医療機器の処理の実行を制御し、表示制御部は、認識結果に基づいて実行される処理に対応する表示情報の表示部への表示を制御する。機器制御部は、表示されている表示情報が選択された場合、選択された表示情報に対応する処理の実行を制御する。本開示は、手術室システムに適用することができる。

Description

医療機器制御システム、制御装置、および制御方法
　本開示は、医療機器制御システム、制御装置、および制御方法に関し、特に、音声ＵＩにより実行可能な処理を素早く実行させることができるようにした医療機器制御システム、制御装置、および制御方法に関する。
　手術を行う術者（医者）は、手術中、清潔状態を保つ必要があることから、不潔域にある医療機器を直接操作することができない。そこで近年、手術室においても、手を使わない、音声認識などによる音声ユーザインタフェース（ＵＩ）を用いる需要が高まっている。
　例えば、特許文献１には、ユーザの音声、視線、動き、ジェスチャなどの非接触の入力の認識結果に基づいて、手術用装置を制御する手術システムが開示されている。
特開２０１７－７０６３６号公報
　ところで、音声ＵＩを用いたシステムにおいて、マイクロフォンなどの音声入力装置が故障するなどして、音声認識を行えなくなるケースが考えられる。このときに、予備の音声入力装置を用意するのは時間がかかってしまい、これは緊急を要する場合には望ましくない。
　本開示は、このような状況に鑑みてなされたものであり、音声ＵＩにより実行可能な処理を素早く実行させることができるようにするものである。
　本開示の医療機器制御システムは、複数の医療機器と、音声入力部からの音声を認識する音声認識部と、前記音声の認識結果に基づいて前記医療機器の処理の実行を制御する機器制御部と、前記認識結果に基づいて実行される前記処理に対応する表示情報の表示部への表示を制御する表示制御部とを備え、前記機器制御部は、表示されている前記表示情報が選択された場合、選択された前記表示情報に対応する前記処理の実行を制御する医療機器制御システムである。
　本開示の制御装置は、音声入力部からの音声を認識する音声認識部と、前記音声の認識結果に基づいて複数の医療機器の処理の実行を制御する機器制御部と、前記認識結果に基づいて実行される前記処理に対応する表示情報の表示部への表示を制御する表示制御部とを備え、前記機器制御部は、表示されている前記表示情報が選択された場合、選択された前記表示情報に対応する前記処理の実行を制御する制御装置である。
　本開示の制御方法は、音声入力部からの音声を認識し、前記音声の認識結果に基づいて複数の医療機器の処理の実行を制御し、前記認識結果に基づいて実行される前記処理に対応する表示情報の表示部への表示を制御し、表示されている前記表示情報が選択された場合、選択された前記表示情報に対応する前記処理の実行を制御する制御方法である。
　本開示においては、音声入力部からの音声が認識され、前記音声の認識結果に基づいて複数の医療機器の処理の実行が制御され、前記認識結果に基づいて実行される前記処理に対応する表示情報の表示部への表示が制御され、表示されている前記表示情報が選択された場合、選択された前記表示情報に対応する前記処理の実行が制御される。
手術室システムの全体構成を概略的に示す図である。 集中操作パネルにおける操作画面の表示例を示す図である。 手術室システムが適用された手術の様子の一例を示す図である。 手術室システムの構成例を示すブロック図である。 音声ＵＩによる機器制御処理の流れについて説明するフローチャートである。 代替表示による機器制御処理の流れについて説明するフローチャートである。 コントロール画面の表示例を示す図である。 コントロール画面の表示例を示す図である。 コントロール画面の表示例を示す図である。 コントロール画面の表示例を示す図である。 コントロール画面の表示例を示す図である。 コントロール画面の表示例を示す図である。 コントロール画面の表示例を示す図である。 制御装置のハードウェア構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．手術室システムの構成
　２．手術室システムの動作
　３．コントロール画面の表示例
　４．表示情報の優先表示
　５．ハードウェア構成
＜１．手術室システムの構成＞
（手術室システムの全体構成の概略）
　図１は、本開示に係る技術が適用される医療機器制御システムとしての手術室システム１００の全体構成を概略的に示す図である。図１を参照すると、手術室システム１００は、手術室内に設置される装置群が視聴覚コントローラ（AV Controller）１０７と手術室制御装置１０９を介して互いに連携可能に接続されることにより構成される。
　手術室には、様々な装置が設置される。図１の例では、内視鏡下手術のための各種の装置群１０１、シーリングカメラ１８７、術場カメラ１８９、複数の表示装置１０３Ａ乃至１０３Ｄ、レコーダ１０５、患者ベッド１８３、及び照明１９１が図示されている。シーリングカメラ１８７は、手術室の天井に設けられ術者の手元を撮像する撮像装置であり、術場カメラ１８９は、手術室の天井に設けられ手術室全体の様子を撮像する撮像装置である。
　これらの装置のうち、装置群１０１は、後述する内視鏡手術システム１１３に属するものであり、内視鏡や内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム１１３に属する各装置は、医療機器とも呼称される。
　一方、表示装置１０３Ａ乃至１０３Ｄ、レコーダ１０５、患者ベッド１８３、及び照明１９１は、内視鏡手術システム１１３とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム１１３に属さない各装置は、非医療機器とも呼称される。視聴覚コントローラ１０７及び／又は手術室制御装置１０９は、これら医療機器と非医療機器の動作を互いに連携して制御する。
　視聴覚コントローラ１０７は、医療機器と非医療機器における画像表示に関する処理を、統括的に制御する。
　ここで、手術室システム１００が備える装置のうち、装置群１０１、シーリングカメラ１８７、及び術場カメラ１８９は、手術中に表示すべき情報（以下、表示情報ともいう）を発信する機能を有する装置（以下、発信元装置と呼称する）である。また、表示装置１０３Ａ乃至１０３Ｄは、表示情報が出力される装置（以下、出力先装置と呼称する）である。さらに、レコーダ１０５は、発信元装置と出力先装置の双方に該当する装置である。
　視聴覚コントローラ１０７は、発信元装置と出力先装置の動作を制御し、発信元装置から表示情報を取得するとともに、表示情報を出力先装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報（例えば、患者の身体情報や、過去の検査結果、術式についての情報等）である。
　視聴覚コントローラ１０７は、出力先装置である表示装置１０３Ａ乃至１０３Ｄの少なくともいずれかに、取得した表示情報（手術中に撮像された画像や、手術に関する各種の情報）を表示させる。図１の例では、表示装置１０３Ａは、手術室の天井から吊り下げられて設置される表示装置であり、表示装置１０３Ｂは、手術室の壁面に設置される表示装置である。また、表示装置１０３Ｃは、手術室内の机上に設置される表示装置であり、表示装置１０３Ｄは、表示機能を有するモバイル機器（例えば、タブレットＰＣ（Personal Computer））である。
　また、図示は省略するが、手術室システム１００には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるＰＣ、病院の会議室に設置されるプロジェクタ等である。外部の装置が病院外にある場合、視聴覚コントローラ１０７は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。
　手術室制御装置１０９は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置１０９は、患者ベッド１８３、シーリングカメラ１８７、術場カメラ１８９、及び照明１９１の駆動を制御する。
　また、手術室システム１００には、集中操作パネル１１１が設けられている。
　ユーザは、集中操作パネル１１１を介して、視聴覚コントローラ１０７に対して画像表示についての指示を与えたり、手術室制御装置１０９に対して非医療機器の動作についての指示を与えることができる。集中操作パネル１１１は、表示装置の表示面上にタッチパネルが設けられて構成される。
　図２は、集中操作パネル１１１における操作画面の表示例を示す図である。図２の例では、手術室システム１００に、出力先装置として、２つの表示装置が設けられている場合に対応する操作画面が示されている。操作画面１９３には、発信元選択領域１９５、プレビュー領域１９７、コントロール領域２０１が設けられる。
　発信元選択領域１９５には、手術室システム１００に備えられる発信元装置と、発信元装置が有する表示情報を表すサムネイル画面とが紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域１９５に表示されているいずれかの発信元装置から選択することができる。
　プレビュー領域１９７には、出力先装置である２つの表示装置（Monitor 1、Monitor 2）に表示される画面のプレビューが表示される。
　図２の例では、１つの表示装置において４つの画像がＰｉｎＰ表示されている。４つの画像は、発信元選択領域１９５において選択された発信元装置から発信された表示情報に対応するものである。４つの画像のうち、１つはメイン画像として比較的大きく表示され、残りの３つはサブ画像として比較的小さく表示される。ユーザは、４つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、４つの画像が表示される領域の下部には、ステータス表示領域１９９が設けられている。ステータス表示領域１９９には、手術に関するステータス（例えば、手術の経過時間や、患者の身体情報等）が適宜表示される。
　コントロール領域２０１には、発信元装置に対して操作を行うためのＧＵＩ（Graphical User Interface）部品が表示される発信元操作領域２０３と、出力先装置に対して操作を行うためのＧＵＩ部品が表示される出力先操作領域２０５が設けられる。
　発信元操作領域２０３には、撮像機能を有する発信元装置におけるカメラに対して各種の操作（パン、チルト、及びズーム）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、発信元装置におけるカメラの動作を操作することができる。
　また、出力先操作領域２０５には、出力先装置である表示装置における表示に対する各種の操作（スワップ、フリップ、色調整、コントラスト調整、２Ｄ表示と３Ｄ表示の切り替え）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、表示装置における表示を操作することができる。
　なお、集中操作パネル１１１に表示される操作画面は、図２の例に限定されず、ユーザは、集中操作パネル１１１を介して、視聴覚コントローラ１０７と手術室制御装置１０９によって制御される各装置に対する操作入力が可能であってよい。
　図３は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。
　シーリングカメラ１８７と術場カメラ１８９は、手術室の天井に設けられ、患者ベッド１８３上の患者１８５の患部に対して処置を行う術者（医者）１８１の手元と手術室全体の様子を撮像可能である。シーリングカメラ１８７と術場カメラ１８９には、倍率調整機能、焦点距離調整機能、撮像方向調整機能等が設けられる。照明１９１は、手術室の天井に設けられ、少なくとも術者１８１の手元を照射する。照明１９１は、その照射光量、照射光の波長（色）、及び光の照射方向等を適宜調整可能であってよい。
　内視鏡手術システム１１３、患者ベッド１８３、シーリングカメラ１８７、術場カメラ１８９、及び照明１９１は、図１を参照して説明したように、視聴覚コントローラ１０７と手術室制御装置１０９を介して互いに連携可能に接続されている。手術室内には、集中操作パネル１１１が設けられており、上述したように、ユーザは、集中操作パネル１１１を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。
　以下、内視鏡手術システム１１３の構成について詳細に説明する。
　図３に示されるように、内視鏡手術システム１１３は、内視鏡１１５、その他の術具１３１、内視鏡１１５を支持する支持アーム装置１４１、内視鏡下手術のための各種の装置が搭載されたカート１５１から構成される。
　内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ１３９ａ乃至１３９ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ１３９ａ乃至１３９ｄから、内視鏡１１５の鏡筒１１７や、その他の術具１３１が患者１８５の体腔内に挿入される。図３の例では、その他の術具１３１として、気腹チューブ１３３、エネルギー処置具１３５、及び鉗子１３７が、患者１８５の体腔内に挿入されている。エネルギー処置具１３５は、高周波電流や超音波振動により、組織の切開と剥離、又は血管の封止等を行う処置具である。ただし、図示される術具１３１はあくまで一例であり、術具１３１としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
　内視鏡１１５によって撮像された患者１８５の体腔内の術部の画像は、表示装置１５５に表示される。術者１８１は、表示装置１５５に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具１３５や鉗子１３７を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略するが、気腹チューブ１３３、エネルギー処置具１３５、及び鉗子１３７は、手術中に、術者１８１又は助手等によって支持される。
　支持アーム装置１４１は、ベース部１４３から延伸するアーム部１４５を備える。アーム部１４５は、関節部１４７ａ，１４７ｂ，１４７ｃ、及びリンク１４９ａ，１４９ｂから構成されており、アーム制御装置１５９からの制御により駆動される。アーム部１４５によって内視鏡１１５が支持され、その位置と姿勢が制御される。これにより、内視鏡１１５の安定的な位置の固定が実現される。
　内視鏡１１５は、先端から所定の長さの領域が患者１８５の体腔内に挿入される鏡筒１１７と、鏡筒１１７の基端に接続されるカメラヘッド１１９から構成される。図３の例では、内視鏡１１５は、硬性の鏡筒１１７を有するいわゆる硬性鏡として構成されるものとするが、内視鏡１１５は、軟性の鏡筒１１７を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒１１７の先端には、対物レンズが嵌め込まれた開口部が設けられており、内視鏡１１５には、光源装置１５７が接続されている。光源装置１５７によって生成された光は、鏡筒１１７の内部に延設されるライトガイドによって鏡筒１１７の先端まで導光され、対物レンズを介して患者１８５の体腔内の観察対象に向かって照射される。内視鏡１１５は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド１１９の内部には、光学系と撮像素子が設けられており、観察対象からの反射光（観察光）は光学系によって撮像素子に集光される。撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）１５３に送信される。カメラヘッド１１９には、その光学系を適宜駆動させることにより、倍率と焦点距離を調整する機能が搭載される。
　なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド１１９には撮像素子が複数設けられてもよい。この場合、鏡筒１１７の内部には、複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
　ＣＣＵ１５３は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１１５と表示装置１５５の動作を統括的に制御する。具体的には、ＣＣＵ１５３は、カメラヘッド１１９から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、画像信号に基づく画像を表示するための各種の画像処理を施す。
　ＣＣＵ１５３は、画像処理を施した画像信号を表示装置１５５に提供する。また、ＣＣＵ１５３には、図１に示される視聴覚コントローラ１０７が接続される。ＣＣＵ１５３は、画像処理を施した画像信号を視聴覚コントローラ１０７にも提供する。また、ＣＣＵ１５３は、カメラヘッド１１９に対して制御信号を送信し、その駆動を制御する。その制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれる。撮像条件に関する情報は、入力装置１６１を介して入力されてもよいし、上述した集中操作パネル１１１を介して入力されてもよい。
　表示装置１５５は、ＣＣＵ１５３からの制御により、ＣＣＵ１５３によって画像処理が施された画像信号に基づく画像を表示する。内視鏡１１５が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮像に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合、表示装置１５５としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられる。４Ｋ又は８Ｋ等の高解像度の撮像に対応したものである場合、表示装置１５５として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置１５５が設けられてもよい。
　光源装置１５７は、例えばＬＥＤ（Light Emitting Diode）等の光源から構成され、術部を撮像する際の照射光を内視鏡１１５に供給する。
　アーム制御装置１５９は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置１４１のアーム部１４５の駆動を制御する。
　入力装置１６１は、内視鏡手術システム１１３に対する入力インタフェースである。ユーザは、入力装置１６１を介して、内視鏡手術システム１１３に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置１６１を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置１６１を介して、アーム部１４５を駆動させる旨の指示や、内視鏡１１５による撮像条件（照射光の種類、倍率、及び焦点距離等）を変更する旨の指示、エネルギー処置具１３５を駆動させる旨の指示等を入力する。
　入力装置１６１の種類は限定されず、入力装置１６１は各種の公知の入力装置であってよい。入力装置１６１としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ１７１、及び／又はレバー等が適用される。入力装置１６１としてタッチパネルが用いられる場合には、タッチパネルは表示装置１５５の表示面上に設けられてもよい。
　また、入力装置１６１は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであってもよい。この場合、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置１６１は、ユーザの動きを検出可能なカメラを含み、カメラによって撮像された画像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われてもよい。更に、入力装置１６１は、ユーザの声を収音可能なマイクロフォン２１１を含み、マイクロフォン２１１を介して音声によって各種の入力が行われてもよい。
　このように、入力装置１６１が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者１８１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
　処置具制御装置１６３は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１３５の駆動を制御する。気腹装置１６５は、内視鏡１１５による視野の確保と術者の作業空間の確保の目的で、患者１８５の体腔を膨らめるために、気腹チューブ１３３を介して体腔内にガスを送り込む。レコーダ１６７は、手術に関する各種の情報を記録可能な装置である。プリンタ１６９は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
（手術室システムのブロック構成）
　図４は、上述した手術室システム１００の機能構成例を示すブロック図である。
　図４の手術室システム１００は、制御装置３１０、医療機器３２０－１，３２０－２，・・・，３２０－Ｍ、音声入力装置３３０、音声認識装置３４０、記憶装置３５０、表示装置３６０、およびサーバ３７０から構成される。以下においては、複数の医療機器３２０－１，３２０－２，３２０－Ｍを、単に医療機器３２０という。
　制御装置３１０は、例えば、図１の視聴覚コントローラ１０７および／または手術室制御装置１０９に対応し、ＣＰＵやＧＰＵなどによって構成される制御部３１１を備えている。制御部３１１は、医療機器３２０と表示装置３６０の動作を統括的に制御する。
　制御部３１１の機能ブロックは、制御部３１１を構成するプロセッサにより所定のプログラムが実行されることによって実現される。
　制御部３１１は、機器制御部３１１ａ、表示制御部３１１ｂ、および診断部３１１ｃから構成される。
　機器制御部３１１ａは、医療機器３２０それぞれの処理の実行を制御する。表示制御部３１１ｂは、表示装置３６０への表示情報の表示を制御する。診断部３１１ｃは、音声認識装置３４０による音声の認識結果を診断する。
　医療機器３２０は、例えば、図１を参照して説明した、内視鏡や内視鏡によって撮像された画像（動画像や静止画像）を表示する表示装置などの、内視鏡手術システム１１３に属する各装置に対応する。医療機器３２０は、機器制御部３１１ａの制御に基づいて、それぞれの処理を実行する。
　音声入力装置３３０は、例えば、図３のマイクロフォン２１１に対応し、ユーザ（術者１８１）の音声を入力する音声入力部３３１を備えている。音声入力部３３１に入力された音声の音声信号は、音声認識装置３４０に供給される。
　音声認識装置３４０は、音声を認識する音声認識部３４１を備えている。音声認識部３４１は、音声入力装置３３０からの音声信号に基づいて、術者１８１などのユーザの音声を認識する。音声の認識結果は、制御装置３１０（制御部３１１）に供給される。
　記憶装置３５０は、各種の情報を記憶する記憶部３５１を備えている。記憶部３５１は、制御部３１１の機器制御部３１１ａが医療機器３２０の処理の実行を制御するための音声コマンドを記憶している。
　すなわち、機器制御部３１１ａは、音声認識装置３４０からの音声の認識結果に基づいて、医療機器３２０それぞれの処理の実行を制御することができる。具体的には、機器制御部３１１ａは、音声認識装置３４０からの音声の認識結果と、記憶部３５１に記憶されている音声コマンドとを比較することで、認識結果と一致する音声コマンドに対応する医療機器３２０の処理の実行を制御する。
　表示装置３６０は、例えば、集中操作パネル１１１に対応し、表示部３６１と入力部３６２を備えている。
　表示部３６１は、表示装置３６０の表示面を構成し、制御部３１１の制御に基づいて、各種の表示情報を表示する。ここでいう表示情報には、ＧＵＩ部品も含まれる。入力部３６２は、表示部３６１上に設けられるタッチパネルに対応し、表示部３６１に対する操作入力を受け付け、対応する操作信号を制御部３１１に供給する。
　サーバ３７０は、病院内外に構築されたネットワークに接続されるサーバであり、手術に関する情報や、術者１８１に関する情報、患者に関する情報などを保持している。これらの情報は、必要に応じて、制御装置３１０に読み出される。
　なお、図４においては、制御装置３１０、音声入力装置３３０、音声認識装置３４０、記憶装置３５０、表示装置３６０、およびサーバ３７０が、それぞれ別個に構成されるものとした。これに限らず、手術室システム１００においては、これらの装置のうちの２以上の装置が、任意に組み合わされて１の装置を構成してもよい。
＜２．手術室システムの動作＞
　次に、上述した手術室システム１００の動作について説明する。
（音声ＵＩによる機器制御処理の流れ）
　図５は、音声ＵＩによる機器制御処理の流れについて説明するフローチャートである。
　ステップＳ１１において、音声認識部３４１は、音声入力装置３３０から音声信号が供給されたか否かを判定することで、音声入力装置３３０を介して術者１８１によって音声が入力されたか否かを判定する。
　音声が入力されると判定されるまで、処理はステップＳ１２に進まない。ステップＳ１１において、音声入力装置３３０から音声信号が供給されることで、音声が入力されたと判定されると、処理はステップＳ１２に進む。
　ステップＳ１２において、音声認識部３４１は、音声入力装置３３０から音声信号に基づいて、術者１８１の音声を認識する。
　ステップＳ１３において、機器制御部３１１ａは、音声認識部３４１による音声の認識結果が、いずれかの医療機器３２０によって実行されるいずれか処理であるか否かを判定する。具体的には、記憶部３５１に記憶されている音声コマンドの中に、音声の認識結果と一致する音声コマンドがあるか否かが判定される。
　ステップＳ１３において、音声の認識結果がいずれかの医療機器３２０によって実行されるいずれかの処理であると判定されると、処理はステップＳ１４に進む。
　ステップＳ１４において、機器制御部３１１ａは、音声の認識結果と一致する音声コマンドに対応する医療機器３２０の処理の実行を制御する。
　一方、ステップＳ１３において、音声の認識結果が医療機器３２０によって実行される処理でないと判定されると、処理はステップＳ１１に戻り、それ以降の処理が繰り返される。
　ここで、音声の認識結果に基づいて実行される医療機器３２０の処理について例示する。
　音声の認識結果に基づいて実行される医療機器３２０の処理には、主に、内視鏡１１５による撮像に関する処理、撮像された術部の画像（術部画像）や過去に保存された画像などの表示に関する処理、その他の医療機器の操作に関する処理がある。
　撮像に関する処理には、ＡＦ（Autofocus）、明るさ調整のためのＡＥ（Automatic Exposure）、ＡＷＢ（Automatic White Balance）、ＡＧＣ（Automatic Gain Control）などの各機能のＯＮ／ＯＦＦの他、色調の調整、術部の観察モードの切り替えなどが含まれる。観察モードの切り替えによれば、観察モードが、赤外光観察と狭帯域光観察のいずれかに切り替えられる。また、撮像に関する処理に、静止画像の撮像（シャッタ）が含まれてもよい。
　術部画像などの表示に関する処理には、画像の入出力の切り替え、エッジ強調処理、ＣＴ（Computed Tomography）画像の表示などが含まれる。画像の入出力の切り替えによれば、術部の特定部分の画像が、３次元表示されたり、助手向けに回転表示されたりする。
　その他の医療機器の操作に関する処理には、例えば、電気メスのＯＮ／ＯＦＦ、煙除去装置の強弱の設定、気腹装置の強弱の設定などが含まれる。
　さらに、ＡＩ（Artificial Intelligence）と連携し、音声の認識結果に対して自然言語処理を行うことで、医療機器３２０の動作が制御されてもよい。これにより、例えば、術者１８１の指示により、術者１８１が一度視認したものを表示させないようにしたり、術者１８１が確認したい術部を撮像範囲に収めるようにすることが可能となる。
　以上の処理によれば、手術を行う医者は、手術中、音声ＵＩにより医療機器の処理の実行を制御することができるので、不潔域にある医療機器を直接操作することなく、清潔状態を保つことが可能となる。
　ところで、上述した手術室システム１００において、マイクロフォン２１１などの音声入力装置３３０が故障するなどして、音声認識を行えなくなるケースが考えられる。このときに、予備の音声入力装置を用意するのは時間がかかってしまい、これは緊急を要する場合には望ましくない。
　そこで、以下においては、音声認識を行えないような場合であっても、音声ＵＩにより実行可能な処理を素早く実行させる処理について説明する。
（代替表示による機器制御処理の流れ）
　図６は、代替表示による機器制御処理の流れについて説明するフローチャートである。
　ステップＳ３１において、診断部３１１ｃは、音声認識装置３４０による音声の認識結果を診断することで、音声の認識結果がＮＧでないか否かを判定する。
　具体的には、診断部３１１ｃは、音声認識装置３４０の音声認識部３４１の機能が停止した場合や、音声認識部３４１による音声の認識精度が一定程度低下した場合に、音声の認識結果がＮＧであると判定する。
　例えば、診断部３１１ｃは、音声入力装置３３０からの音声信号に基づいて、環境音を含めた入力レベルが０になったか、または、入力レベルが０のまま一定時間が経過したか否かによって、音声の認識結果がＮＧでないか否かを判定してもよい。
　また、診断部３１１ｃは、音声の認識結果をユーザがキャンセルする回数が所定回数を超えたか否かによって、音声の認識結果がＮＧでないか否かを判定してもよい。
　さらに、音声信号の入力経路を多重化した場合に、診断部３１１ｃは、それぞれの入力経路から入力される音声信号が一致するか否かによって、音声の認識結果がＮＧでないか否かを判定してもよい。
　また、可聴範囲外の音声を定常的または定期的に出力する音声出力装置が、例えば手術室内に設置されている場合、診断部３１１ｃは、その音声出力装置からの音声が検出されたか否かによって、音声の認識結果がＮＧでないか否かを判定してもよい。
　このようにして、音声の認識結果を診断することで、音声の認識結果がＮＧでないと判定された場合、処理はステップＳ３２に進み、図５を参照して説明した音声ＵＩによる機器制御処理が実行される。
　一方、音声の認識結果を診断することで、音声の認識結果がＮＧでないと判定されなかった場合、すなわち、音声の認識結果がＮＧとなった場合、処理はステップＳ３３に進む。
　ステップＳ３３において、表示制御部３１１ｂは、表示装置３６０に表示されるコントロール画面において、音声の認識結果に基づいて実行される医療機器３２０の処理に対応する表示情報の表示を制御する。
　例えば、図７に示されるように、表示装置３６０の表示部３６１に表示されるコントロール画面には、音声の認識結果に基づいて実行される医療機器３２０の処理に対応する表示情報４１１－１，４１１－２，４１１－３，・・・，４１１－ｎ，４１１－（ｎ＋１），４１１－（ｎ＋２），４１１－（ｎ＋３），・・・，４１１－Ｎが、ＧＵＩ部品であるＮ個のボタンとして表示される。
　表示情報４１１－１乃至４１１－Ｎは、手術室システム１００を構成する複数の医療機器３２０それぞれによって、音声の認識結果に基づいて実行される処理の項目（処理項目１乃至Ｎ）に対応付けられている。
　ステップＳ３４において、機器制御部３１１ａは、表示装置３６０の入力部３６２からの操作信号に基づいて、表示部３６１に表示されている表示情報４１１－１乃至４１１－Ｎのいずれかが選択されたか否かを判定する。
　表示情報のいずれかが選択されたと判定されるまで、処理はステップＳ３５に進まない。ステップＳ３４において、入力部３６２からの操作信号が供給されることで、表示情報のいずれかが選択されたと判定されると、処理はステップＳ３５に進む。
　ステップＳ３５において、機器制御部３１１ａは、入力部３６２からの操作信号に基づいて、選択された表示情報４１１－１乃至４１１－Ｎのいずれかに対応する処理の実行を制御する。
　以上の処理によれば、音声認識を行えないような場合であっても、音声の認識結果に基づいて実行される処理に対応する表示情報が表示されるので、術者は、所望の表示情報を選択するだけで、音声ＵＩにより実行可能な処理を素早く実行させることが可能となる。
＜３．コントロール画面の表示例＞
　図７の例では、コントロール画面において、音声の認識結果に基づいて実行される医療機器３２０の処理に対応する表示情報４１１－１乃至４１１－Ｎが、医療機器３２０の種類などによらずに表示されるものとした。
　これに限らず、例えば、図８に示されるように、医療機器３２０の種類毎に、その処理に対応する表示情報が表示されてもよい。図８の例では、音声の認識結果に基づいて実行される内視鏡１１５の処理に対応する表示情報４２１－１乃至４２１－４と、その他の医療機器３２０の処理に対応する表示情報４３１－１乃至４３１－４が、それぞれの領域に表示されている。
　表示情報４２１－１乃至４２１－４は、内視鏡１１５によって、音声の認識結果に基づいて実行される処理の項目（処理項目１乃至４）に対応付けられている。表示情報４３１－１乃至４３１－４は、その他の医療機器３２０によって、音声の認識結果に基づいて実行される処理の項目（処理項目Ａ乃至Ｄ）に対応付けられている。
　また、図９に示されるように、プレビュー領域１９７において表示される画面のプレビューに映る医療機器３２０の処理に対応する表示情報が表示されてもよい。図９の例では、例えばMonitor 1に表示される画面のプレビューに映る医療機器３２０の処理の項目（処理項目ａ乃至ｄ）に対応する表示情報４４１－１乃至４４１－４が表示されている。
＜４．表示情報の優先表示＞
　ところで、音声の認識結果に基づいて実行される医療機器３２０の処理が数多くある場合、全ての処理に対応する表示情報が表示されてしまうと、コントロール画面の表示が煩雑になり、術者が所望の表示情報を選択することが困難になるおそれがある。
　これに対して、手術室システム１００における様々な状況や状態を示す情報に基づいて、音声の認識結果に基づいて実行される医療機器３２０の処理のうち、特定の処理に対応する表示情報のみが優先的に表示されるようにする。
　例えば、表示制御部３１１ｂは、表示装置３６０に表示されるコントロール画面において、現在行われている手術の種類または術式に応じた処理に対応する表示情報の表示を制御する。
　サーバ３７０は、病院内の手術スケジュールを管理し、その手術スケジュールに関する各種の情報を保持することができる。表示制御部３１１ｂは、サーバ３７０から手術スケジュールに関する情報を取得することで、現在行われている手術の種類または術式を特定することができる。
　また、表示制御部３１１ｂは、表示装置３６０に表示されるコントロール画面において、現在行われている手術の手術フローに応じた処理に対応する表示情報の表示を制御してもよい。
　手術フローは、術部画像や医療機器の使用状況によって判別されるようにする。例えば、電気メスが使用されている状態では、手術フローは、術部切除フローに進んでいると判別され、術部切除フローに応じた処理に対応する表示情報が表示される。また、内視鏡１１５が起動している状態では、内視鏡１１５の処理に対応する表示情報が表示されてもよい。
　さらに、表示制御部３１１ｂは、表示装置３６０に表示されるコントロール画面において、医療機器３２０に関する機器情報に基づいて、表示情報の表示を制御してもよい。
　機器情報が、医療機器３２０の接続状態を表す接続情報である場合、制御装置３１０に接続されている医療機器３２０の処理に対応する表示情報が表示されるようにする。例えば、表示情報が、記憶装置３５０の記憶部３５１内で構成されたルックアップテーブルに保存されるようにし、接続情報に基づいて、接続状態にある医療機器３２０の処理に対応する表示情報が読み出されるようにする。この場合、接続状態にない医療機器３２０の処理に対応する表示情報は、コントロール画面には表示されない。
　さらに、接続状態にある医療機器３２０の処理のうち、使用中の医療機器３２０において実行されている処理に関連する関連処理に対応する表示情報が表示されるようにしてもよい。例えば、使用中の医療機器３２０において、撮像に関する処理として明るさ調整が実行されている場合、明るさレベルを切り替えるための表示情報の他、調光方式、ＡＧＣのＯＮ／ＯＦＦ、ＡＧＣ最大ゲイン、測光エリア、最大露光時間などを選択するための表示情報が表示されるようにする。
　機器情報が、医療機器３２０の使用頻度を表す統計情報である場合、例えば上位４つなどの使用頻度の高い医療機器３２０の処理に対応する表示情報が表示されるようにする。
　また、表示制御部３１１ｂは、表示装置３６０に表示されるコントロール画面において、医療機器３２０を使用する術者に関する術者情報に基づいて、表示情報の表示を制御してもよい。
　術者情報が、術者毎に設定されたＩＤなどの固有情報である場合、固有情報で特定される術者に対応付けられた医療機器３２０の処理に対応する表示情報が表示されるようにする。術者に対応付けられた医療機器３２０は、例えば、その術者毎に登録された医療機器３２０であってもよいし、その術者が専門とする手術に用いられる医療機器３２０であってもよい。
　術者情報が、術者の行動履歴に基づいた学習情報である場合、学習情報に基づいて、その術者の直前の行動から予測される次の行動で用いられる医療機器３２０の処理に対応する表示情報が表示されるようにする。
　さらに、表示制御部３１１ｂは、表示装置３６０に表示されるコントロール画面において、手術対象の患者に関する患者情報に基づいて、表示情報の表示を制御してもよい。
　患者情報が、患者のバイタルサインなどの生体情報である場合、その生体情報で示される患者の状態に適した医療機器３２０の処理に対応する表示情報が表示されるようにする。
　患者情報が、患者の既往歴情報である場合、その既往歴情報で示される患者の既往歴に適した医療機器３２０の処理に対応する表示情報が表示されるようにする。
　患者情報が、患者の術部の撮像情報である場合、その撮像情報から判断される術部の状態に適した医療機器３２０の処理に対応する表示情報が表示されるようにする。例えば、術部の撮像情報が、病変部分が映った術部画像である場合、その病変部分を拡大／縮小表示する処理に対応する表示情報が表示される。また、術部の撮像情報が、ＳＬＡＭ（Simultaneous Localization and Mapping）などにより得られた３次元情報である場合、３次元情報を表示する処理に対応する表示情報が表示される。
　ここで、図１０乃至図１３を参照して、音声の認識結果に基づいて実行される医療機器３２０の処理のうち、特定の処理に対応する表示情報のみが表示されるコントロール画面の表示例について説明する。
　図１０に示されるように、表示部３６１に表示されるコントロール画面には、手術中のある時点での術者情報（学習情報）に基づいて、術者の直前の行動から予測される次の行動で用いられる医療機器３２０の処理に対応する表示情報４５１乃至４５４が表示されている。
　表示情報４５１は、明るさ調整のために選択されるボタンであり、表示情報４５２は、色調の調整のために選択されるボタンであり、表示情報４５３は、フォーカス・ズームの調整のために選択されるボタンである。
　また、表示情報４５４は、表示情報４５１乃至４５３で選択される処理以外の処理に対応する表示情報をさらに表示する場合に選択されるボタンである。図１０のコントロール画面において、実行したい処理に対応する表示情報が表示されていないと、術者が判断した場合、術者が表示情報４５４を選択することで、他の処理に対応する表示情報が表示される。
　図１０のコントロール画面において、術者が、明るさ調整のための表示情報４５１を選択した場合、表示部３６１には、図１１に示されるコントロール画面が表示される。
　図１１のコントロール画面には、明るさ調整に関連する処理のうち、使用頻度（使用確率）の高い処理に対応する表示情報４６１乃至４６５が表示されている。
　表示情報４６１は、現時点での明るさレベルを示す文字列であり、表示情報４６２は、現時点での明るさレベルを変更するためのボタンである。表示情報４６３は、現時点での調光方式を示す文字列であり、表示情報４６４は、現時点での調光方式を変更するためのボタンである。
　また、表示情報４６５は、表示情報４６１乃至４６４で表示・選択される処理以外の処理に対応する表示情報を表示する場合に選択されるボタンである。
　図１１のコントロール画面において、術者が表示情報４６５を選択した場合、表示部３６１には、図１２に示されるコントロール画面が表示される。
　図１２のコントロール画面には、図１１のコントロール画面に表示されていた表示情報４６１乃至４６４に加え、明るさ調整に関連するさらなる処理に対応する表示情報４７１乃至４７７が表示されている。
　表示情報４７１は、現時点でのＡＧＣのＯＮ／ＯＦＦを示す文字列であり、表示情報４７２は、現時点でのＡＧＣのＯＮ／ＯＦＦを変更するためのボタンである。表示情報４７３は、現時点でのＡＧＣ最大ゲインを示す文字列であり、表示情報４７４は、現時点でのＡＧＣ最大ゲインを変更するためのボタンである。表示情報４７５は、現時点での測光エリアを示す文字列であり、表示情報４７６は、現時点での測光エリアを変更するためのボタンである。
　図１２のコントロール画面において、ＡＧＣ最大ゲインを変更したいと、術者が判断した場合、術者が表示情報４７４を選択することで、図１４のコントロール画面に示されるように、ＡＧＣ最大ゲインの候補が表示される候補表示部４９１が表示される。
　候補表示部４９１には、現時点でのＡＧＣ最大ゲインである「＋９ｄＢ」の他、「＋３ｄＢ」，「＋１２ｄＢ」，「＋１８ｄＢ」が、ＡＧＣ最大ゲインの候補として選択可能に表示されている。
　以上のようにして、コントロール画面には、音声の認識結果に基づいて実行される医療機器３２０の処理のうち、特定の処理に対応する表示情報のみが表示されるようにすることで、コントロール画面の表示が煩雑になり視認性が下がることなく、術者が効率良く所望の表示情報を選択することが容易になる。
＜５．ハードウェア構成＞
　次に、図１４を参照して、本実施の形態に係る手術室システムを構成する制御装置のハードウェア構成の一例について、詳細に説明する。
　図１４は、本実施の形態に係る手術室システムを構成する制御装置６００のハードウェア構成の一例を示すブロック図である。
　図１４に示されるように、制御装置６００は、ＣＰＵ６０１，ＲＯＭ６０３，およびＲＡＭ６０５を備えている。さらに、制御装置６００は、ホストバス６０７、ブリッジ６０９、外部バス６１１、インタフェース６１３、入力装置６１５、出力装置６１７、およびストレージ装置６１９を備えている。なお、制御装置６００は、ドライブ６２１、接続ポート６２３、通信装置６２５を備えてもよい。
　ＣＰＵ６０１は、演算処理装置および制御装置として機能し、ＲＯＭ６０３，ＲＡＭ６０５、ストレージ装置６１９、またはリムーバブル記録媒体６２７に記録された各種プログラムに従って、制御装置６００内の動作全般またはその一部を制御する。
　ＲＯＭ６０３は、ＣＰＵ６０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ６０５は、ＣＰＵ６０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータなどを一次記憶する。これらは、ＣＰＵバスなどの内部バスにより構成されるホストバス６０７により相互に接続されている。なお、図４を参照して説明した制御装置３１０の各構成は、例えばＣＰＵ６０１により実現される。
　ホストバス６０７は、ブリッジ６０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス６１１に接続されている。外部バス６１１には、インタフェース６１３を介して、入力装置６１５、出力装置６１７、ストレージ装置６１９、ドライブ６２１、接続ポート６２３、および通信装置６２５が接続される。
　入力装置６１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー、およびペダルなど、ユーザが操作する操作手段である。また、入力装置６１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、制御装置６００の操作に対応した携帯電話やＰＤＡなどの外部接続機器６２９であってもよい。
　入力装置６１５は、例えば、上述した操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ６０１に出力する入力制御回路などから構成されている。
　ユーザは、入力装置６１５を操作することにより、制御装置６００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置６１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。具体的には、出力装置６１７は、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置、プリンタ装置などとして構成される。
　出力装置６１７は、例えば、制御装置６００が行った各種の処理により得られた結果を出力する。具体的には、表示装置は、制御装置６００が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データなどからなるオーディオ信号をアナログ信号に変換して出力する。
　ストレージ装置６１９は、制御装置６００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置６１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置６１９は、ＣＰＵ６０１が実行するプログラムや各種データなどを格納する。
　ドライブ６２１は、記録媒体用リーダライタであり、制御装置６００に内蔵されるか、または外付けされる。ドライブ６２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体６２７に記録されている情報を読み出して、ＲＡＭ６０５に出力する。また、ドライブ６２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体６２７に記録を書き込むことも可能である。
　リムーバブル記録媒体６２７は、例えば、ＤＶＤメディア、ＨＤ－ＤＶＤメディア、またはＢｌｕ－ｒａｙ（登録商標）メディアなどである。また、リムーバブル記録媒体６２７は、コンパクトフラッシュ（登録商標）（ＣＦ：CompactFlash）、フラッシュメモリ、またはＳＤ（Secure Digital）メモリカードなどであってもよい。さらに、リムーバブル記録媒体６２７は、例えば、非接触型ＩＣチップを搭載したＩＣ（Integrated Circuit）カード、または電子機器などであってもよい。
　接続ポート６２３は、外部接続機器６２９を制御装置６００に直接接続するためのポートである。接続ポート６２３の一例としては、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどがある。接続ポート６２３の別の例としては、ＲＳ－２６２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどがある。接続ポート６２３に外部接続機器６２９を接続することで、制御装置６００は、外部接続機器６２９から直接各種のデータを取得したり、外部接続機器６２９に各種のデータを提供したりする。
　通信装置６２５は、例えば、通信網（ネットワーク）３６１に接続するための通信デバイスなどで構成された通信インタフェースである。通信装置６２５は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless ＵＳＢ）用の通信カードなどである。また、通信装置６２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または各種通信用のモデムなどであってもよい。
　通信装置６２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰなどの所定のプロトコルに則して信号を送受信することができる。また、通信装置６２５に接続される通信網６３１は、有線または無線によって接続されたネットワークなどにより構成されるようにしてもよい。通信網６３１は、例えば、インターネットや家庭内ＬＡＮであってもよいし、赤外線通信、ラジオ波通信、または衛星通信が行われる通信網であってもよい。
　上述した制御装置６００の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。したがって、本実施の形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　さらに、本実施の形態に係る手術システムを構成する制御装置６００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータなどに実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することも可能である。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、コンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本開示は以下のような構成をとることができる。
（１）
　複数の医療機器と、
　音声入力部からの音声を認識する音声認識部と、
　前記音声の認識結果に基づいて前記医療機器の処理の実行を制御する機器制御部と、
　前記認識結果に基づいて実行される前記処理に対応する表示情報の表示部への表示を制御する表示制御部と
　を備え、
　前記機器制御部は、表示されている前記表示情報が選択された場合、選択された前記表示情報に対応する前記処理の実行を制御する
　医療機器制御システム。
（２）
　前記表示制御部は、前記認識結果に基づいて実行される前記処理のうち、特定の前記処理に対応する前記表示情報の表示を制御する
　（１）に記載の医療機器制御システム。
（３）
　前記表示制御部は、手術の種類または術式に応じた前記処理に対応する前記表示情報の表示を制御する
　（２）に記載の医療機器制御システム。
（４）
　前記表示制御部は、手術フローに応じた前記処理に対応する前記表示情報の表示を制御する
　（２）に記載の医療機器制御システム。
（５）
　前記手術フローは、術部画像に基づいて判別される
　（４）に記載の医療機器制御システム。
（６）
　前記手術フローは、前記医療機器の使用状況に基づいて判別される
　（４）に記載の医療機器制御システム。
（７）
　前記表示制御部は、前記医療機器に関する機器情報に基づいて、前記表示情報の表示を制御する
　（２）に記載の医療機器制御システム。
（８）
　前記機器情報は、前記医療機器の接続状態を表す接続情報である
　（７）に記載の医療機器制御システム。
（９）
　前記機器情報は、前記医療機器の使用頻度を表す統計情報である
　（７）に記載の医療機器制御システム。
（１０）
　前記表示制御部は、前記医療機器を使用する術者に関する術者情報に基づいて、前記表示情報の表示を制御する
　（２）に記載の医療機器制御システム。
（１１）
　前記術者情報は、前記術者毎に設定された固有情報である
　（１０）に記載の医療機器制御システム。
（１２）
　前記術者情報は、前記術者の行動履歴に基づいた学習情報である
　（１０）に記載の医療機器制御システム。
（１３）
　前記表示制御部は、手術対象の患者に関する患者情報に基づいて、前記表示情報の表示を制御する
　（２）に記載の医療機器制御システム。
（１４）
　前記患者情報は、前記患者の生体情報である
　（１３）に記載の医療機器制御システム。
（１５）
　前記患者情報は、前記患者の既往歴情報である
　（１３）に記載の医療機器制御システム。
（１６）
　前記患者情報は、前記患者の術部の撮像情報である
　（１３）に記載の医療機器制御システム。
（１７）
　前記表示制御部は、前記音声認識部の機能が停止した場合に、前記表示情報の表示を制御する
　（１）乃至（１６）のいずれかに記載の医療機器制御システム。
（１８）
　前記表示制御部は、前記音声認識部による前記音声の認識精度が一定程度低下した場合に、前記表示情報の表示を制御する
　（１）乃至（１６）のいずれかに記載の医療機器制御システム。
（１９）
　音声入力部からの音声を認識する音声認識部と、
　前記音声の認識結果に基づいて複数の医療機器の処理の実行を制御する機器制御部と、
　前記認識結果に基づいて実行される前記処理に対応する表示情報の表示部への表示を制御する表示制御部と
　を備え、
　前記機器制御部は、表示されている前記表示情報が選択された場合、選択された前記表示情報に対応する前記処理の実行を制御する
　制御装置。
（２０）
　音声入力部からの音声を認識し、
　前記音声の認識結果に基づいて複数の医療機器の処理の実行を制御し、
　前記認識結果に基づいて実行される前記処理に対応する表示情報の表示部への表示を制御し、
　表示されている前記表示情報が選択された場合、選択された前記表示情報に対応する前記処理の実行を制御する
　制御方法。
　１００　手術室システム，　３１０　制御装置，　３１１　制御部，　３１１ａ　機器制御部，　３１１ｂ　表示制御部，　３１１ｃ　診断部，　３２０　医療機器，　３３０　音声入力装置，　３３１　音声入力部，　３４０　音声認識装置，　３４１　音声認識部，　３５０　記憶装置，　３５１　記憶部，　３６０　表示装置，　３６１　表示部，　３６２　入力部，　３７０　サーバ，　６００　制御装置

Claims (20)

  1. 　複数の医療機器と、
    　音声入力部からの音声を認識する音声認識部と、
    　前記音声の認識結果に基づいて前記医療機器の処理の実行を制御する機器制御部と、
    　前記認識結果に基づいて実行される前記処理に対応する表示情報の表示部への表示を制御する表示制御部と
    　を備え、
    　前記機器制御部は、表示されている前記表示情報が選択された場合、選択された前記表示情報に対応する前記処理の実行を制御する
    　医療機器制御システム。
  2. 　前記表示制御部は、前記認識結果に基づいて実行される前記処理のうち、特定の前記処理に対応する前記表示情報の表示を制御する
    　請求項１に記載の医療機器制御システム。
  3. 　前記表示制御部は、手術の種類または術式に応じた前記処理に対応する前記表示情報の表示を制御する
    　請求項２に記載の医療機器制御システム。
  4. 　前記表示制御部は、手術フローに応じた前記処理に対応する前記表示情報の表示を制御する
    　請求項２に記載の医療機器制御システム。
  5. 　前記手術フローは、術部画像に基づいて判別される
    　請求項４に記載の医療機器制御システム。
  6. 　前記手術フローは、前記医療機器の使用状況に基づいて判別される
    　請求項４に記載の医療機器制御システム。
  7. 　前記表示制御部は、前記医療機器に関する機器情報に基づいて、前記表示情報の表示を制御する
    　請求項２に記載の医療機器制御システム。
  8. 　前記機器情報は、前記医療機器の接続状態を表す接続情報である
    　請求項７に記載の医療機器制御システム。
  9. 　前記機器情報は、前記医療機器の使用頻度を表す統計情報である
    　請求項７に記載の医療機器制御システム。
  10. 　前記表示制御部は、前記医療機器を使用する術者に関する術者情報に基づいて、前記表示情報の表示を制御する
    　請求項２に記載の医療機器制御システム。
  11. 　前記術者情報は、前記術者毎に設定された固有情報である
    　請求項１０に記載の医療機器制御システム。
  12. 　前記術者情報は、前記術者の行動履歴に基づいた学習情報である
    　請求項１０に記載の医療機器制御システム。
  13. 　前記表示制御部は、手術対象の患者に関する患者情報に基づいて、前記表示情報の表示を制御する
    　請求項２に記載の医療機器制御システム。
  14. 　前記患者情報は、前記患者の生体情報である
    　請求項１３に記載の医療機器制御システム。
  15. 　前記患者情報は、前記患者の既往歴情報である
    　請求項１３に記載の医療機器制御システム。
  16. 　前記患者情報は、前記患者の術部の撮像情報である
    　請求項１３に記載の医療機器制御システム。
  17. 　前記表示制御部は、前記音声認識部の機能が停止した場合に、前記表示情報の表示を制御する
    　請求項１に記載の医療機器制御システム。
  18. 　前記表示制御部は、前記音声認識部による前記音声の認識精度が一定程度低下した場合に、前記表示情報の表示を制御する
    　請求項１に記載の医療機器制御システム。
  19. 　音声入力部からの音声を認識する音声認識部と、
    　前記音声の認識結果に基づいて複数の医療機器の処理の実行を制御する機器制御部と、
    　前記認識結果に基づいて実行される前記処理に対応する表示情報の表示部への表示を制御する表示制御部と
    　を備え、
    　前記機器制御部は、表示されている前記表示情報が選択された場合、選択された前記表示情報に対応する前記処理の実行を制御する
    　制御装置。
  20. 　音声入力部からの音声を認識し、
    　前記音声の認識結果に基づいて複数の医療機器の処理の実行を制御し、
    　前記認識結果に基づいて実行される前記処理に対応する表示情報の表示部への表示を制御し、
    　表示されている前記表示情報が選択された場合、選択された前記表示情報に対応する前記処理の実行を制御する
    　制御方法。
PCT/JP2020/026168 2019-07-18 2020-07-03 医療機器制御システム、制御装置、および制御方法 WO2021010193A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019132440A JP2021018281A (ja) 2019-07-18 2019-07-18 医療機器制御システム、制御装置、および制御方法
JP2019-132440 2019-07-18

Publications (1)

Publication Number Publication Date
WO2021010193A1 true WO2021010193A1 (ja) 2021-01-21

Family

ID=74210621

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/026168 WO2021010193A1 (ja) 2019-07-18 2020-07-03 医療機器制御システム、制御装置、および制御方法

Country Status (2)

Country Link
JP (1) JP2021018281A (ja)
WO (1) WO2021010193A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4089523A1 (en) 2021-05-10 2022-11-16 Koninklijke Philips N.V. Medical system and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000513961A (ja) * 1996-06-24 2000-10-24 コンピュータ・モーション・インコーポレーテッド 多機能外科用制御システムおよびスイッチング・インターフェース
WO2013061887A1 (ja) * 2011-10-25 2013-05-02 株式会社モリタ製作所 医療用システム、及び医療用端末装置
WO2017061293A1 (ja) * 2015-10-09 2017-04-13 ソニー株式会社 手術システム、並びに、手術用制御装置および手術用制御方法
WO2019111512A1 (ja) * 2017-12-05 2019-06-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療用情報処理装置、および情報処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000513961A (ja) * 1996-06-24 2000-10-24 コンピュータ・モーション・インコーポレーテッド 多機能外科用制御システムおよびスイッチング・インターフェース
WO2013061887A1 (ja) * 2011-10-25 2013-05-02 株式会社モリタ製作所 医療用システム、及び医療用端末装置
WO2017061293A1 (ja) * 2015-10-09 2017-04-13 ソニー株式会社 手術システム、並びに、手術用制御装置および手術用制御方法
WO2019111512A1 (ja) * 2017-12-05 2019-06-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療用情報処理装置、および情報処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4089523A1 (en) 2021-05-10 2022-11-16 Koninklijke Philips N.V. Medical system and method

Also Published As

Publication number Publication date
JP2021018281A (ja) 2021-02-15

Similar Documents

Publication Publication Date Title
JP2024514634A (ja) 外科用データオーバーレイを制御するためのシステム及び方法
JP6950707B2 (ja) 情報処理装置および方法、並びにプログラム
US11672516B2 (en) Control apparatus, control method, and control system
JP2004181229A (ja) 遠隔手術支援システム及び支援方法
JPWO2018211969A1 (ja) 入力制御装置、入力制御方法、および手術システム
JPWO2018168261A1 (ja) 制御装置、制御方法、及びプログラム
JP7363767B2 (ja) 画像処理装置と画像処理方法およびプログラム
WO2019155931A1 (ja) 手術システム、画像処理装置及び画像処理方法
JP2021029258A (ja) 手術支援システム、手術支援方法、情報処理装置、及び情報処理プログラム
JP5945644B1 (ja) 医療システム
JP2019004978A (ja) 手術システムおよび手術用撮像装置
CN109565565B (zh) 信息处理装置、信息处理方法和非暂态计算机可读介质
WO2021010193A1 (ja) 医療機器制御システム、制御装置、および制御方法
WO2018180573A1 (ja) 手術用画像処理装置、画像処理方法、及び、手術システム
US20200099847A1 (en) Image processing apparatus, image processing method, and image pickup system
US11883120B2 (en) Medical observation system, medical signal processing device, and medical signal processing device driving method
WO2019021781A1 (en) SURGICAL SUPPORT SYSTEM, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING APPARATUS
JP7235035B2 (ja) 映像信号処理装置、映像信号処理方法および撮像装置
US20210281745A1 (en) Information processing apparatus, information processing method, and program
WO2018173605A1 (ja) 手術用制御装置、制御方法、手術システム、およびプログラム
US11910105B2 (en) Video processing using a blended tone curve characteristic
US11321880B2 (en) Information processor, information processing method, and program for specifying an important region of an operation target in a moving image
US12008682B2 (en) Information processor, information processing method, and program image to determine a region of an operation target in a moving image
WO2021261236A1 (ja) 医療用観察システム、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20840881

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20840881

Country of ref document: EP

Kind code of ref document: A1