WO2022113811A1 - 手術システム、手術用制御装置、制御方法、及び、プログラム - Google Patents

手術システム、手術用制御装置、制御方法、及び、プログラム Download PDF

Info

Publication number
WO2022113811A1
WO2022113811A1 PCT/JP2021/042004 JP2021042004W WO2022113811A1 WO 2022113811 A1 WO2022113811 A1 WO 2022113811A1 JP 2021042004 W JP2021042004 W JP 2021042004W WO 2022113811 A1 WO2022113811 A1 WO 2022113811A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
surgical
operating body
control device
area
Prior art date
Application number
PCT/JP2021/042004
Other languages
English (en)
French (fr)
Inventor
昭彦 中谷
俊輔 林
昌志 内藤
雄幹 小川
一輝 玄蕃
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/253,840 priority Critical patent/US20240016364A1/en
Publication of WO2022113811A1 publication Critical patent/WO2022113811A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/00052—Display arrangement positioned at proximal end of the endoscope body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects

Definitions

  • This technique relates to surgical systems, surgical controls, control methods, and programs, in particular surgical systems, surgical controls, control methods, and methods that allow the operator to easily operate the device during surgery. , Regarding the program.
  • Patent Document 1 discloses a user interface that enables operation of a medical device without using hands by voice recognition or line-of-sight recognition.
  • the surgeon may use both hands for the operation, and it is not easy to perform both the operation of the imaging device that captures the surgical area and the operation. Operation by voice without using hands is not intuitive, so it is not easier than operation by hand.
  • This technique was made in view of such a situation, and makes it easy for the operator during the operation to operate the device.
  • the surgical system of the first aspect of the present technology is based on a medical imaging device that images a surgical area and acquires a surgical image that is an image of the surgical area, and the surgical image acquired by the medical imaging device.
  • the control device is provided with a control device that outputs a display image to the display device, and the control device uses at least one of the surgical tool and the hand reflected in the surgical image as an operating body to display the image of the operating body in the surgical image. Based on this, it is a surgical system that accepts a predetermined instruction operation by the operating body regarding the control of the medical imaging device or the control device.
  • a surgical area is imaged to acquire a surgical image which is an image of the surgical area, and a display image is output based on the surgical image.
  • a predetermined instruction operation by the operating body is accepted based on the image of the operating body in the surgical image.
  • the surgical control device or program of the second aspect of the present technology uses at least one of the surgical tool and the hand shown in the surgical image captured in the surgical area as the operating body, and the image of the operating body in the surgical image.
  • a program for operating a computer as a surgical control device having a processing unit that receives a predetermined instruction operation by the operating body, or such a surgical control device.
  • the processing unit of the surgical control device having the processing unit uses at least one of the surgical tool and the hand shown in the surgical image of the surgical area as an operating body as the operating body. It is a control method that accepts a predetermined instruction operation by the operating body based on the image of the operating body in the surgical image.
  • the operating body is used based on the image of the operating body in the surgical image, with at least one of the surgical tool and the hand shown in the surgical image captured in the surgical area as the operating body.
  • a predetermined instruction operation is accepted.
  • FIG. 1 It is a figure which shows an example of the schematic structure of an endoscope system. It is a block diagram which shows an example of the functional structure of the camera head and CCU shown in FIG. It is a figure which shows an example of the schematic structure of a microscopic surgery system. It is a figure which represented the CCU of FIG. 1 by a functional block. It is a figure exemplifying the display image which displayed the virtual menu. It is a figure exemplifying the display image which displayed the virtual menu. It is a figure which illustrated the display image which the virtual menu was superimposed on the non-important area. It is a figure which illustrated the display image which the virtual menu was superimposed on the non-important area.
  • FIG. 8 It is a figure exemplifying the display image when the predetermined button of the virtual menu of FIG. 8 is a button selection state. It is a flowchart which exemplifies the procedure of the process related to the presentation of the virtual menu performed by CCU. It is a block diagram which shows the configuration example of the hardware of the computer which executes a series of processing by a program.
  • the technique according to the present disclosure can be applied to a surgical system (medical imaging system).
  • the surgical system is a medical system using imaging techniques, such as an endoscopic system and a microscopic surgery system.
  • FIG. 1 is a diagram showing an example of a schematic configuration of an endoscope system 5000 to which the technique according to the present disclosure can be applied.
  • FIG. 2 is a diagram showing an example of the configuration of the endoscope 5001 and the CCU (Camera Control Unit) 5039.
  • FIG. 1 illustrates how a surgeon (eg, a doctor) 5067, who is a participant in surgery, is performing surgery on patient 5071 on patient bed 5069 using the endoscopic system 5000. As shown in FIG.
  • the endoscope system 5000 supports an endoscope 5001, a medical imaging device, a CCU 5039, a light source device 5043, a recording device 5053, an output device 5055, and an endoscope 5001. It is composed of a support device 5027 and a support device 5027.
  • Trocca 5025 an insertion aid called Trocca 5025 is punctured by patient 5071. Then, the scope 5003 and the surgical instrument 5021 connected to the endoscope 5001 are inserted into the body of the patient 5071 via the trocca 5025.
  • the surgical tool 5021 is, for example, an energy device such as an electric knife, forceps, or the like.
  • a surgical image which is a medical image of the inside of the patient 5071 taken by the endoscope 5001, is displayed on the display device 5041.
  • the surgeon 5067 treats the surgical target using the surgical tool 5021 while looking at the surgical image displayed on the display device 5041.
  • the medical image is not limited to the surgical image, and may be a diagnostic image captured during the diagnosis.
  • the endoscope 5001 is a camera that captures the inside of the patient 5071.
  • the condensing optical system 50051 that collects the incident light and the optical zoom by changing the focal distance of the camera.
  • It is a camera head including a zoom optical system 50052 that enables the above, a focus optical system 50053 that enables focus adjustment by changing the focal distance of the camera, and a light receiving element 50054.
  • the endoscope 5001 generates a pixel signal by condensing light on a light receiving element 50054 via a connected scope 5003, and outputs the pixel signal to the CCU 5039 through a transmission system.
  • the scope 5003 is an insertion unit having an objective lens at the tip and guiding light from the connected light source device 5043 into the body of the patient 5071.
  • the scope 5003 is, for example, a rigid scope for a rigid mirror and a flexible scope for a flexible mirror.
  • the pixel signal may be a signal based on the signal output from the pixel, and is, for example, a RAW signal or an image signal.
  • a memory may be mounted in a transmission system connecting the endoscope 5001 and the CCU 5039, and parameters related to the endoscope 5001 and the CCU 5039 may be stored in the memory.
  • the memory may be arranged, for example, on a connection portion of a transmission system or a cable.
  • the light receiving element 50054 is a sensor that converts the received light into a pixel signal, and is, for example, a CMOS (Complementary Metal Oxide Semiconductor) type image pickup device.
  • the light receiving element 50054 is preferably an image pickup device having a Bayer array and capable of color photographing.
  • the light receiving element 50054 is, for example, 4K (horizontal pixel number 3840 x vertical pixel number 2160), 8K (horizontal pixel number 7680 x vertical pixel number 4320) or square 4K (horizontal pixel number 3840 or more x vertical pixel number 3840 or more). It is preferable that the image pickup element has the number of pixels corresponding to the resolution.
  • the light receiving element 50045 may be a single sensor chip or a plurality of sensor chips. For example, a prism that separates incident light into predetermined wavelength bands may be provided, and each wavelength band may be imaged by a different light receiving element. Further, a plurality of light receiving elements may be provided for stereoscopic viewing.
  • the light receiving element 50054 may be a sensor including an arithmetic processing circuit for image processing in the chip structure, or may be a sensor for ToF (Time of Flight).
  • the transmission system is, for example, an optical fiber cable or wireless transmission.
  • the wireless transmission may be performed as long as the pixel signal generated by the endoscope 5001 can be transmitted.
  • the endoscope 5001 and the CCU 5039 may be wirelessly connected, or the endoscope may be wirelessly connected to the endoscope via a base station in the operating room.
  • the mirror 5001 and the CCU 5039 may be connected.
  • the endoscope 5001 may simultaneously transmit not only the pixel signal but also information related to the pixel signal (for example, processing priority of the pixel signal, synchronization signal, etc.).
  • the endoscope may be integrated with a scope and a camera head, or a light receiving element may be provided at the tip of the scope.
  • the CCU 5039 is a control device that comprehensively controls the connected endoscope 5001 and the light source device 5043.
  • the information having the FPGA 50391, the CPU 50392, the RAM 50393, the ROM 50394, the GPU 50395, and the I / F 50396. It is a processing device.
  • the CCU 5039 may collectively control the connected display device 5041, recording device 5053, and output device 5055.
  • the CCU 5039 controls the irradiation timing, the irradiation intensity, and the type of the irradiation light source of the light source device 5043.
  • the CCU 5039 performs image processing such as development processing (for example, demosaic processing) and correction processing on the pixel signal output from the endoscope 5001, and the processed pixel signal (for example, an image) is applied to an external device such as a display device 5041. ) Is output. Further, the CCU 5039 transmits a control signal to the endoscope 5001 to control the driving of the endoscope 5001.
  • the control signal is information regarding imaging conditions such as the magnification and focal length of the camera, for example.
  • the CCU 5039 has an image down-conversion function, and may be configured to be capable of simultaneously outputting a high resolution (for example, 4K) image to the display device 5041 and a low resolution (for example, HD) image to the recording device 5053.
  • the CCU 5039 may be connected to an external device via an IP converter that converts a signal into a predetermined communication protocol (for example, IP (Internet Protocol)).
  • IP Internet Protocol
  • the connection between the IP converter and the external device may be configured by a wired network, or a part or all of the network may be constructed by a wireless network.
  • the IP converter on the CCU5039 side has a wireless communication function, and the received video is output to an IP switcher or output via a wireless communication network such as a 5th generation mobile communication system (5G) or a 6th generation mobile communication system (6G). It may be transmitted to the side IP converter.
  • 5G 5th generation mobile communication system
  • 6G 6th generation mobile communication system
  • the light source device 5043 is a device capable of irradiating light in a predetermined wavelength band, and includes, for example, a plurality of light sources and a light source optical system that guides the light of the plurality of light sources.
  • the light source is, for example, a xenon lamp, an LED light source, or an LD light source.
  • the light source device 5043 has, for example, LED light sources corresponding to each of the three primary colors R, G, and B, and emits white light by controlling the output intensity and output timing of each light source.
  • the light source device 5043 may have a light source capable of irradiating special light used for special light observation, in addition to the light source for irradiating normal light used for normal light observation.
  • the special light is light having a predetermined wavelength band different from that of normal light for observing normal light, and is, for example, near-infrared light (light having a wavelength of 760 nm or more), infrared light, blue light, and ultraviolet light.
  • Normal light is, for example, white light or green light.
  • narrow-band light observation which is a type of special light observation, by irradiating blue light and green light alternately, the wavelength dependence of light absorption in the body tissue is utilized to utilize the wavelength dependence of light absorption in a predetermined tissue such as a blood vessel on the surface layer of the mucous membrane. Can be taken with high contrast.
  • fluorescence observation which is a type of special light observation
  • the excitation light that excites the drug injected into the body tissue is irradiated, and the fluorescence emitted by the drug that is the body tissue or the label is received to obtain a fluorescence image.
  • infrared light observation using infrared light near-infrared light is irradiated as excitation light to excite a drug such as indocyanine green (ICG) injected into the body tissue, thereby irradiating the structure at the back of the body tissue.
  • ICG indocyanine green
  • a drug for example, 5-ALA
  • these agents are used for photodynamic therapy, and the light source device 5043 is controlled by the CCU 5039 to set the type of irradiation light.
  • the CCU 5039 may have a mode in which normal light observation and special light observation are alternately performed by controlling the light source device 5043 and the endoscope 5001. At this time, it is preferable to superimpose the information based on the pixel signal obtained by the special light observation on the pixel signal obtained by the normal light observation.
  • the special light observation may be an infrared light observation in which infrared light is irradiated to look deeper than the surface of the organ, or a multispectral observation utilizing hyperspectral spectroscopy.
  • the recording device 5053 is a device for recording pixels acquired from the CCU 5039, and is, for example, a recorder.
  • the recording device 5053 records the image acquired from the CCU 5039 on the HDD, SDD, or optical disk.
  • the recording device 5053 may be connected to a network within the hospital and accessible from equipment outside the operating room. Further, the recording device 5053 may have an image down-conversion function or an image down-conversion function.
  • the display device 5041 is a device capable of displaying an image, for example, a display monitor.
  • the display device 5041 displays a display image based on the pixel signal image-processed by the CCU 5039 under the control of the CCU 5039.
  • the display device 5041 may also function as an input device that enables line-of-sight recognition, voice recognition, and instruction input by gestures by including a camera and a microphone.
  • the output device 5055 is a device that outputs information acquired from the CCU 5039, and is, for example, a printer.
  • the output device 5055 prints, for example, a printed image based on the pixel signal acquired from the CCU 5039 on paper.
  • the support device 5027 is an articulated arm including a base portion 5029 having an arm control device 5045, an arm portion 5031 extending from the base portion 5029, and a holding portion 5032 attached to the tip of the arm portion 5031.
  • the arm control device 5045 is composed of a processor such as a CPU, and controls the drive of the arm unit 5031 by operating according to a predetermined program.
  • the support device 5027 controls parameters such as the length of each link 5035 constituting the arm portion 5031, the rotation angle of each joint 5033, and the torque by the arm control device 5045, for example, the endoscope 5001 held by the holding portion 5032. Control the position and posture of.
  • the support device 5027 functions as an endoscope support arm that supports the endoscope 5001 during the operation. Thereby, the support device 5027 can take the place of the assistant scoopist who has the endoscope 5001. Further, the support device 5027 may be a device that supports the microscope device 5301 described later, and may also be called a medical support arm.
  • the control of the support device 5027 may be an autonomous control method by the arm control device 5045, or may be a control method controlled by the arm control device 5045 based on the input of the user.
  • control method is a master-slave method in which the support device 5027 as a slave device (replica device) that is a patient cart is controlled based on the movement of the master device (primary device) that is the operator console at the user's hand. But it may be. Further, the control of the support device 5027 may be remotely controlled from outside the operating room.
  • slave device replica device
  • master device primary device
  • control of the support device 5027 may be remotely controlled from outside the operating room.
  • the example of the endoscope system 5000 to which the technique according to the present disclosure can be applied has been described above.
  • the techniques according to the present disclosure may be applied to a microscope system.
  • FIG. 3 is a diagram showing an example of a schematic configuration of a microsurgery system to which the techniques according to the present disclosure can be applied.
  • the same components as those of the endoscope system 5000 are designated by the same reference numerals, and the overlapping description thereof will be omitted.
  • FIG. 3 schematically shows how the surgeon 5067 is performing surgery on patient 5071 on patient bed 5069 using the microsurgery system 5300.
  • the illustration of the cart 5037 is omitted from the configuration of the microscope surgery system 5300, and the microscope device 5301 instead of the endoscope 5001 is shown in a simplified manner.
  • the microscope device 5301 in the present description may refer to the microscope unit 5303 provided at the tip of the link 5035, or may refer to the entire configuration including the microscope unit 5303 and the support device 5027.
  • the image of the surgical site taken by the microscope device 5301 is enlarged and displayed on the display device 5041 installed in the operating room by using the microscope surgery system 5300.
  • the display device 5041 is installed at a position facing the operator 5067, and the operator 5067 observes the state of the surgical site by the image projected on the display device 5041, for example, excision of the affected area, etc.
  • Various measures are taken for. Microscopic surgery systems are used, for example, in ophthalmic surgery and brain surgery, but may also be used in open surgery and the like.
  • the support device 5027 may support another observation device or other surgical instrument at its tip in place of the endoscope 5001 or the microscope unit 5303.
  • the other observation device for example, forceps, a forceps, a pneumoperitoneum tube for pneumoperitoneum, an energy treatment tool for incising a tissue or sealing a blood vessel by abdomen, or the like can be applied.
  • the technique according to the present disclosure may be applied to a support device that supports a configuration other than such a microscope unit.
  • FIG. 4 is a diagram showing the CCU 5039 of FIG. 1 as a functional block.
  • the same reference numerals are given to the parts common to the endoscope system 5000 of FIG. 1, and the description thereof will be omitted.
  • the functional blocks other than those related to the present technology are omitted.
  • the CCU 5039 has an image acquisition unit 11, an image processing unit 12, a display control unit 13, a menu generation unit 14, a tip motion detection unit 15, an instruction content detection unit 16, and a camera control unit 17.
  • the image acquisition unit 11 acquires the pixel signal output from the endoscope 5001 and acquires a surgical image which is an image of the surgical area taken by the endoscope 5001.
  • the surgical area is not limited to the area where the operation is actually performed by the surgeon, but includes the area observed by the endoscope 5001.
  • the image acquisition unit 11 supplies the acquired surgical image to the image processing unit 12.
  • the image processing unit 12 performs image processing such as development processing (for example, demosaic processing) and correction processing on the surgical image from the image acquisition unit 11.
  • the image processing unit 12 supplies the processed surgical image to the display control unit 13.
  • the image processing unit 12 includes a tip detection unit 31.
  • the tip detection unit 31 detects an image of the tip of the operating body in the surgical image based on the surgical image (or the surgical image after processing) from the image acquisition unit 11.
  • the operating body means at least one of a surgical tool and a hand.
  • the operator's hand is rarely reflected in the surgical image.
  • this technique can be applied to other surgical systems such as the microsurgery system 5300 of FIG.
  • the surgical image may show the operator's hand. Therefore, in consideration of the application of this technique to other than the endoscope system 5000, it is possible to include a hand as an operating body to be reflected in the surgical image.
  • the tip of the operating body means a range of a predetermined length including the tip of the surgical tool when the operating body is a surgical tool.
  • the tip of the operating body means a range of a predetermined length including the tip (finger tip) of an arbitrary finger.
  • the surgical instrument is, for example, an energy device such as an electric knife, or any instrument used for surgery such as forceps.
  • the tip detecting unit 31 When the tip detecting unit 31 detects an image of the tip of the operating body, the tip detecting unit 31 supplies the position of the tip of the operating body on the surgical image to the tip motion detecting unit 15.
  • the display control unit 13 generates a display image to be supplied to the display device 5041 based on the surgical image from the image processing unit 12.
  • the display image is, for example, an image including a part or the whole of the surgical image from the image processing unit 12.
  • the display control unit 13 generates a display image in which the image of the virtual menu from the menu generation unit 14 is superimposed on the surgical image from the image processing unit 12.
  • the display control unit 13 supplies the generated display image to the display device 5041.
  • the menu generation unit 14 generates an image of a virtual menu and supplies it to the display control unit 13.
  • the virtual menu is a menu that is virtually presented in the space of the surgical area, and represents the instruction content that can be instructed by the operator regarding the control of the endoscope 5001 (medical imaging device) or CCU5039 (control device). Represents a menu. Details of the virtual menu will be described later.
  • the tip motion detecting unit 15 detects the motion (position change) of the tip portion of the operating body based on the position of the tip portion of the operating body from the tip detecting unit 31 of the image processing unit 12.
  • the tip motion detection unit 15 supplies the detected motion to the instruction content detection unit 16.
  • the instruction content detection unit 16 is an instruction selected by the operation body from the selectable (instructable) instruction contents presented by the virtual menu based on the operation of the tip portion of the operation body from the tip motion detection unit 15. Detect the contents. As a result, the instruction content detection unit 16 receives the instruction operation by the operating body.
  • the instruction content detection unit 16 supplies the detected instruction content to the camera control unit 17 and the like.
  • the instruction content selected by the operating body is not limited to that related to the control of the endoscope 5001.
  • it may be an instruction content regarding control of an arbitrary device such as CCU 5039 or a display device 5041.
  • the instruction content detection unit 16 supplies the detected instruction content to a processing unit or the like other than the camera control unit 17 according to the detected instruction content.
  • the instruction content selected by the operating body relates to the control of the endoscope 5001, and the instruction content detected by the instruction content detection unit 16 is supplied to the camera control unit 17.
  • the camera control unit 17 controls the focus, zoom, etc. of the endoscope 5001 based on the instruction content supplied from the instruction content detection unit 16.
  • FIG. 5 is a diagram illustrating a display image in which a virtual menu is displayed.
  • the display image 51 in FIG. 5 is an example of a display image supplied from the display control unit 13 to the display device 5041.
  • the display image 51 includes a part or the whole of the image (surgical image) of the surgical region 52 taken by the endoscope 5001.
  • the surgical region 52 there are organs in the body of patient 5071 and surgical tools 53-1 and 53-2 such as forceps operated by the operator.
  • the image of the virtual menu 61 generated by the menu generation unit 14 and superimposed on the surgical image is displayed in the display control unit 13.
  • the virtual menu 61 is presented as a virtual translucent button (icon) in the space of the surgical area 52.
  • an operating body surgical instrument or hand
  • the zoom control of the endoscope 5001 is switched from on to off or from off to on.
  • the current zoom state is on. Therefore, when a predetermined operation is performed on the virtual menu 61 with the operating body, the zoom control of the endoscope 5001 is switched from on to off.
  • the virtual menu 61 is used, for example, by the operator using the tip portion 53-1A of the surgical tool 53-1 or the tip portion 53-2A of the surgical tool 53-2, which is an operating body operated in the surgical region 52. It is assumed that the operation of touching (contacting) is performed.
  • the operator's operation (operation) for the virtual menu 61 is detected by the tip detection unit 31, the tip motion detection unit 15, and the instruction content detection unit 16.
  • the instruction content detection unit 16 receives the instruction operation for switching the zoom control, which is the instruction content corresponding to the virtual menu 61, from on to off.
  • the camera control unit 17 controls the endoscope 5001 so that the focal length of the camera is on the widest angle side, for example.
  • the operator can perform an instruction operation to the device even when both hands of the operator are occupied by the surgical tool or when it is necessary to keep the hands clean. It will be intuitive and easy to do.
  • the surgeon performs the surgery while viewing the surgical image taken by the medical imaging device such as the endoscope 5001 or the microscope device 5301 on the display device 5041.
  • the surgeon may hold the surgical instrument in both hands or may not be able to touch the medical device in the unclean area in order to keep the hands clean.
  • it is difficult for the surgeon to directly operate the medical imaging device or other medical device for example, an energy device used for excision of the surgical site. Therefore, it is common for assistants and nurses to operate medical imaging devices and other medical devices. It is possible for the surgeon to be able to operate the medical imaging device and other medical devices by operating a foot switch connected to the medical device or by giving a voice instruction.
  • a virtual menu is superimposed on the surgical image displayed on the display device 200, and the virtual menu can be operated by the operator operating an operating body such as a surgical tool used for the operation. Therefore, even if both hands of the surgeon are occupied by the surgical tool or it is necessary to keep the hands clean, the surgeon can intuitively and easily perform the instruction operation to the device by hand without touching the device in the unclean area. You will be able to do it.
  • FIG. 6 is a diagram illustrating a display image in which a virtual menu is displayed.
  • the same reference numerals are given to the parts common to the display image of FIG. 5, and the description thereof will be omitted.
  • the image of the virtual menu 71 generated by the menu generation unit 14 and superimposed on the surgical image in the display control unit 13 is displayed.
  • the virtual menu 71 has three types of instruction contents that can be selected (instructed). Since the virtual menu 61 of FIG. 5 illustrates the case where only one type of instruction content can be selected, the virtual menu 71 of FIG. 6 is different from the virtual menu 61 of FIG.
  • the virtual menu 71 has images of three buttons 71-1, 71-2, and 71-3.
  • Button 71-1 corresponds to the instruction content regarding the brightness (Brightness Level) of the surgical image (display image).
  • Button 71-2 corresponds to the instruction content regarding autofocus (AutoFocus).
  • Buttons 71-3 correspond to instructions regarding zoom (Zoom Focus).
  • Each button 71-1, 71-2, 71-3 of the virtual menu 71 is presented as a virtual translucent button in the space of the surgical region 52.
  • the instruction content regarding the brightness (Brightness Level) of the surgical image corresponding to the button 71-1 is, for example, an instruction for adjusting the brightness.
  • the brightness adjustment menu is subsequently displayed as a virtual menu.
  • the instruction content regarding the auto focus corresponding to the button 71-2 is, for example, an instruction to select the target to be focused by the auto focus (AF).
  • AF auto focus
  • the AF adjustment menu AF selection screen
  • the content of the instruction regarding AF may be, for example, an instruction (One Push AF) for executing the operation of focusing by AF once based on the surgical image when the button 71-2 is operated by the operating body.
  • the instruction content regarding the zoom (Zoom Focus) corresponding to the button 71-3 is, for example, an instruction to select a target to be zoomed (enlarged).
  • the zoom adjustment menu zoom selection screen
  • the tip detection unit 31 detects the images of the tip 53-1A of the surgical tool 53-1 and the tip 53-2A of the surgical tool 53-2, which are reflected in the surgical image from the endoscope 5001.
  • the tip motion detection unit 15 is a tip portion 53-1A and a tip portion 53-2A based on the positions of the images of the tip portion 53-1A and the tip portion 53-2A detected by the tip detection unit 31. Detects movement (position change).
  • the instruction content detection unit 16 recognizes the positions of the buttons 71-1, 71-2, and 71-3 of the virtual menu 71 generated by the menu generation unit 14 on the surgical image.
  • the tip portion 53-1A or the tip portion 5-3-2A is based on the movements of the tip portion 53-1A and the tip portion 53-2A detected by the tip motion detection unit 15. It is assumed that it is detected that a predetermined operation has been performed on any one of the buttons 71-1, 71-2, and 71-3 of the virtual menu 71.
  • the instruction content detection unit 16 detects the instruction content corresponding to the button on which the predetermined operation has been performed. That is, the instruction content detection unit 16 receives the instruction operation of the instruction content corresponding to the button on which the predetermined operation is performed by the operating body.
  • the detection of the tip portions 53-1A and 53-2A of the surgical tools 53-1 and 53-2 in the tip detection unit 31 may be performed by a machine learning method.
  • the tip detection unit 31 detects the tip of an operating body (surgical instrument and finger) included in the surgical image by using instance segmentation that performs object detection and image region segmentation for each object on the surgical image. That is, the image area of the operating body included in the surgical image is detected by using an inference model having a neural network structure such as CNN (Convolutional Neural Network).
  • the inference model is trained using a learning image in which the image area of the operation body is annotated (tagged).
  • the detection of the operating body by the learning model may be the detection of the tip of the operating body, or may be the detection of a region of a predetermined length (for example, several cm) including the tip of the operating body.
  • the condition for accepting an operation for a virtual menu (an operation for instructing a predetermined instruction content) by an operating body in the instruction content detection unit 16 will be described.
  • the first to fourth forms described below with reference to FIG. 6 differ in the conditions for accepting operations on the virtual menu by the operating body.
  • the instruction content detection unit 16 includes an image of the tip portion 53-1A of the surgical tool 53-1 or an image of the tip portion 53-2A of the surgical tool 53-2 (an image of the tip portion of the operating body) and a virtual menu 71. It is determined whether or not an overlapping region is generated with the image of any of the buttons 71-1, 71-2, and 71-3.
  • the instruction content detection unit 16 can determine, for example, whether or not an overlapping region is generated by any one of the first determination condition to the third determination condition.
  • the first determination condition it is determined that an overlapping area has occurred when the image of the tip of the operating body and the image of the button of the virtual menu overlap by a certain area (predetermined predetermined area) or more.
  • the second determination condition it is determined that an overlapping region is generated when the tip of the image of the operating body is within the region of the image of the button of the virtual menu.
  • the third determination condition it is determined that the overlapping region has occurred when both the first determination condition and the second determination condition are satisfied.
  • the instruction content detection unit 16 determines that an overlapping region has occurred between the image of the tip of the operating body and the image of any button of the virtual menu 71, it determines that the operating body has touched the button.
  • the button determined to be in contact with the button is a button selected by the operating body.
  • the instruction content detection unit 16 when a predetermined button is selected by the operating body, the instruction content detection unit 16 receives an instruction of the instruction content corresponding to the selected button.
  • the instruction content detection unit 16 causes the camera control unit 17 or the like to control the received instruction content.
  • the touch (contact) to the virtual menu at the tip of the operating body may be detected by using the sensor for ToF.
  • the depth of the surgical area is measured by the sensor for ToF.
  • the area where the virtual menu is virtually presented and the position of the tip of the operating body are measured. Therefore, it can be detected that the tip of the operating body touches any button of the virtual menu.
  • the touch (contact) to the virtual menu at the tip of the operating body may be detected by the SLAM (Simultaneous Localization and Mapping) technique using the surgical image.
  • SLAM Simultaneous Localization and Mapping
  • the second form is as follows. It is assumed that the instruction content detection unit 16 is in a state in which a predetermined button is selected by the operating body (hereinafter referred to as a button selection state) in the same manner as in the first mode. When the image of the tip of the operating body and the image of the button do not overlap with each other, the button selection state is canceled.
  • buttons 71-1, 71-2, and 71-3 are parallel to the screen of the display image 51. Therefore, the normal direction of the buttons 71-1, 71-2, and 71-3 with respect to the plane is the optical axis direction of the endoscope 5001.
  • the instruction content detection unit 16 determines that the operation for the selected button has been performed, and determines that the operation for the selected button has been performed, and the instruction content detection unit 16 has the instruction content corresponding to the selected button. Accept instructions.
  • the instruction content detection unit 16 causes the camera control unit 17 or the like to control the received instruction content.
  • the instruction content detection unit 16 determines that the operation for the selected button has been performed when the operating body operates in a direction other than the normal direction (for example, a parallel direction) with respect to the plane of the button. You may.
  • the third form is as follows. It is assumed that the button is selected in the same manner as in the first mode.
  • the instruction content detection unit 16 is an operation of instructing a decision by a predetermined operation of the foot switch directly or indirectly connected to the CCU 5039 or a predetermined voice from the microphone (voice detection unit). Suppose voice is input.
  • the instruction content detection unit 16 determines that the operation for the selected button has been performed, and receives the instruction of the instruction content corresponding to the selected button.
  • the instruction content detection unit 16 causes the camera control unit 17 or the like to control the received instruction content.
  • the button selection operation in the virtual menu is performed by the operating body, and the determination operation is performed by the physical operation of the operator.
  • the determination operation may be performed by the operator's line-of-sight input.
  • the fourth form is as follows. It is assumed that the button is selected in the same manner as in the first mode.
  • the instruction content detection unit 16 determines that the operation for the selected button has been performed when the button selection state elapses for a time (for example, 5 seconds) equal to or longer than a predetermined threshold value, and determines that the selected button has been operated. Accepts the instruction of the instruction content corresponding to.
  • the instruction content detection unit 16 causes the camera control unit 17 or the like to control the received instruction content. It should be noted that the elapsed time from the time when the button is selected may be superimposed on the display image and displayed.
  • the menu generation unit 14 generates an image of each button of the virtual menu like the virtual menu 71 in the display image 51 of FIG.
  • the menu generation unit 14 determines a position (superimposition area) on which the image of each button of the virtual menu is superimposed on the display image.
  • the menu generation unit 14 supplies the image of each button of the generated virtual menu and the position (superimposition area) where the image of each button is superimposed on the display image to the display control unit 13.
  • the display control unit 13 generates a display image 51 in which the image of each button of the virtual menu from the menu generation unit 14 is superimposed on the superimposed area from the menu generation unit 14 with respect to the surgical image from the image processing unit 12. ..
  • the menu generation unit 14 sets the superimposed area on which the image of each button of the virtual menu is superimposed to be an area different from the important area in the display image, for example.
  • the important area is the area where bleeding occurs, the area of the organ, the area to be operated on, and the area in the center of the displayed image (center of the screen). Since the surgeon often displays an important area in the center of the screen, the center of the screen is regarded as an important area.
  • the image processing unit 12 detects important areas such as a bleeding area, an organ area, and a surgical target area based on the surgical image.
  • the image processing unit 12 may detect an important region in the surgical image by, for example, a machine learning method.
  • the image processing unit 12 may detect a non-important region that is not an important region and is not an important region. For example, since it is highly possible that the region where the contrast of the surgical image is substantially constant is not an important region, the image processing unit 12 detects the region where the contrast is substantially constant as a non-important region.
  • the image processing unit 12 supplies an area other than the non-important area as an important area to the menu generation unit 14.
  • FIGS. 7 and 8 are diagrams illustrating a display image in which a virtual menu is superimposed on a non-important area.
  • the display image 81 of FIGS. 7 and 8 includes a part or the whole of the image (surgical image) of the surgical region 82 taken by the endoscope 5001.
  • a surgical tool 53-1 such as forceps operated by the operator.
  • the contrast is substantially constant in the area on the right side of the display image 81.
  • the area on the right side of the display image 81 is detected as a non-important area.
  • the area on the right side of the display image 81 is set as the superimposed area, and as shown in FIG. 7, the buttons 71-1, 71-2, and 71-3 of the virtual menu 71 are superimposed on the area on the right side of the display image 81.
  • the central part of the display image 81 is detected as an important area where bleeding is occurring, for example. Areas other than the central part are assumed to be non-important areas. In this case, any region other than the central portion of the display image 81 can be used as the superimposed region. For example, as shown in FIG. 8, the buttons 71-1, 71-2, and 71-3 of the virtual menu 71 are superimposed on the lower side of the display image 81.
  • one or more of the bleeding region, the organ region, the surgical target region, and the central region (screen center) of the displayed image may be the weight region. ..
  • the menu generation unit 14 may set a predetermined area for the display image as a superimposing area.
  • the display control unit 13 or the menu generation unit 14 may be able to switch between a state in which the virtual menu is displayed on the display image and a state in which the virtual menu is deleted from the display image by voice input from the microphone. This allows the surgeon to immediately turn off the virtual menu when he / she finds it in the way of the virtual menu superimposed on the displayed image.
  • the on / off of the display of the virtual menu is not limited to the case where it is performed based on the input operation of the operator or the like.
  • the display of the virtual menu may be turned on / off based on the state of other medical devices. For example, if an energy device is in use (when the energy device is on), the virtual menu may not be displayed. This prevents the virtual menu from interfering with the operator's procedure.
  • the instruction content detection unit 16 determines that an overlapping area has occurred between the image of the tip of the operating body and the image of any button of the virtual menu, and the button is selected.
  • the display control unit 13 or the menu generation unit 14 may change the transmittance of the image of the selected button. For example, in FIG. 8, when none of the buttons 71-1, 71-2, and 71-3 of the virtual menu 71 is in the button selection state, the display control unit 13 or the menu generation unit 14 transmits the image of the button with a transmittance of about 80. %. When any of the buttons 71-1, 71-2, and 71-3 of the virtual menu 71 is in the button selection state, the image of the selected button is set to have a transmittance of about 20%.
  • FIG. 9 is a diagram illustrating a display image when a predetermined button of the virtual menu 71 of FIG. 8 is in the button selection state.
  • the same parts as those in FIG. 8 are designated by the same reference numerals, and the description thereof will be omitted.
  • the tip portion 53-1A of the surgical tool 53-1 is in contact with the button 71-2 of the virtual menu 71, and the button 71-2 is in the button selection state.
  • the transmittance of the image of the button 71-2 is reduced from about 80% when the button is not in the selected state to about 20%. This makes the selected button 71-2 easier to see and makes it clear to the operator that the button is in the selected state.
  • the transmittance shown here is an example, and the transmittance is not limited to a specific value.
  • the instruction content corresponding to each button of the virtual menu is not limited to switching the predetermined control content on and off, and may be the instruction content associated with various functions.
  • a virtual AF selection screen may be presented in the space of the surgical area.
  • the focus of the endoscope 5001 is controlled with the designated AF point as the AF target area.
  • the display control unit 13 When a predetermined button in the virtual menu is selected, the display control unit 13 generates, for example, a display image in which the image of the virtual slide bar is superimposed on the surgical image and outputs it to the display device 5041. As a result, a virtual slide bar may be presented in the space of the surgical area.
  • the degree corresponding to a predetermined control content for example, the intensity of the illumination light, the degree of zoom, and the like are changed.
  • the virtual menu may be presented in an area that keeps a certain distance from the organ.
  • the virtual menu may be automatically presented in an area that keeps a certain distance from the organ.
  • the display form of the virtual menu and the instruction contents that can be instructed (selectable) in the virtual menu may be set and changed by the user.
  • the user may be able to select from a plurality of candidates the presentation position of the virtual menu, the arrangement of the buttons, the instruction content (type of function) associated with the buttons, and the like.
  • FIG. 10 is a flowchart illustrating the procedure of processing related to the presentation of the virtual menu performed by CCU5039.
  • step S11 the image acquisition unit 11 acquires a surgical image obtained by photographing the surgical area from the endoscope 5001. The process proceeds from step S11 to step S12.
  • step S12 the menu generation unit 14 generates an image of the virtual menu and supplies it to the display control unit 13.
  • the display control unit 13 generates a display image in which the image of the virtual menu from the menu generation unit 14 is superimposed on the surgical image acquired in step S11, and supplies the display image to the display device 5041.
  • the process proceeds from step S12 to step S13.
  • step S13 the tip detection unit 31 detects an image of the tip of the operating body (surgical instrument and finger) reflected in the surgical image acquired in step S11. The process proceeds from step S13 to step S14.
  • step S14 the tip motion detecting unit 15 detects the motion (position change) of the tip portion detected in step S13 from the past to the present. The process proceeds from step S14 to step S15.
  • step S15 the instruction content detection unit 16 determines whether or not an instruction of a predetermined instruction content has been received by operating the tip portion of the operating body with respect to the virtual menu, based on the operation of the tip portion detected in step S14. ..
  • step S15 If it is determined in step S15 that the instruction is not accepted, the process returns to step S11 and repeats from step S11.
  • step S15 If it is determined in step S15 that the instruction has been accepted, the process proceeds from step S15 to step S16.
  • step S16 the image processing unit 12, the display control unit 13, or the camera control unit 17 executes control corresponding to the instruction content received by the instruction content detection unit 16 in step S15.
  • the process returns from step S16 to step S11 and repeats from step S11.
  • the surgeon virtually performs the instruction operation of the predetermined instruction content regarding the control of the endoscope 5001 and the CCU5039 in the operation area by using the operating body or the hand in the operation area. It can be done for the virtual menu presented in. Therefore, even when both hands of the surgeon are occupied by the surgical tool or when it is necessary to keep the hands clean, the surgeon can intuitively operate the instruction operation to the device by hand without touching the device in the unclean area. It will be easy to do.
  • the display control unit 13 When the transition to the drawing mode (instruction mode) is instructed in the virtual menu, the display control unit 13 superimposes a virtual whiteboard (transparent type) that can be written using the operating body on the surgical image. May be generated and output to the display device 5041.
  • a virtual whiteboard transparent type
  • the virtual menu may not be presented, and the predetermined instruction content may be instructed only by the operation (operation) of the operating body.
  • the instruction content detection unit 16 may accept an instruction of the instruction content corresponding to the gesture.
  • the instruction content detection unit 16 is associated with each end or each area in advance. It may be accepted as an instruction of the content of the instruction.
  • a part or all of the above-mentioned series of processes in the CCU 5039 can be executed by hardware or by software.
  • the programs constituting the software are installed in the computer.
  • the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 11 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes by a program.
  • the CPU Central Processing Unit
  • ROM ReadOnlyMemory
  • RAM RandomAccessMemory
  • the input / output interface 205 is further connected to the bus 204.
  • An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
  • the input unit 206 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 207 includes a display, a speaker, and the like.
  • the storage unit 208 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 209 includes a network interface and the like.
  • the drive 210 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads the program stored in the storage unit 208 into the RAM 203 via the input / output interface 205 and the bus 204 and executes the above-mentioned series. Is processed.
  • the program executed by the computer can be recorded and provided on the removable media 211 as a package media or the like, for example.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 208 via the input / output interface 205 by mounting the removable media 211 in the drive 210. Further, the program can be received by the communication unit 209 via a wired or wireless transmission medium and installed in the storage unit 208. In addition, the program can be pre-installed in the ROM 202 or the storage unit 208.
  • the program executed by the computer may be a program in which processing is performed in chronological order according to the order described in the present specification, in parallel, or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the present technology can also take the following configurations.
  • a medical imaging device that captures an image of a surgical area and acquires a surgical image that is an image of the surgical area.
  • a control device for outputting a display image to a display device based on the surgical image acquired by the medical image pickup device is provided.
  • the control device is Predetermined by the operating body relating to the control of the medical imaging device or the control device based on the image of the operating body in the surgical image, with at least one of the surgical tool and the hand reflected in the surgical image as the operating body.
  • Surgical system that accepts instructional operations.
  • the control device is It is a virtual menu that is virtually presented in the space of the surgical area, and the display image is generated by superimposing the image of the virtual menu representing the instruction content that can be instructed regarding the control on the surgical image.
  • the control device is The surgical system according to (4) above, which accepts an operation of the operating body for the virtual menu as an instruction operation.
  • the control device is The surgical system according to (4) or (5), which accepts the instruction operation when the operating body comes into contact with the virtual menu.
  • the control device is The image of the tip of the operating body in the surgical image is detected, and the contact of the operating body with the virtual menu is detected based on the position of the image of the tip in the surgical image.
  • the control device is The image of the tip of the operating body in the surgical image is detected, and the position of the tip in the surgical image overlaps with the position of the virtual menu image in the surgical image.
  • the surgical system according to (6) or (7) above which detects that the operating body comes into contact with a virtual menu.
  • the surgical system according to (7) or (8), wherein the tip of the operating body is the tip of the surgical instrument or the tip of a finger of the hand.
  • the control device is The surgical system according to (8) above, which accepts the instruction operation when the overlapping area is generated and the operation of the operating body with respect to the virtual menu in a predetermined direction is detected.
  • the virtual menu has a plane on which the operating body can be contacted.
  • the surgical system according to (10) above, wherein the operation of the operating body in the predetermined direction is a reciprocating operation in the normal direction of the plane.
  • the control device is The surgical system according to (8) above, which accepts the instruction operation when the overlapping region is generated and a time equal to or longer than a predetermined threshold value has elapsed.
  • the control device is The surgical system according to any one of (4) to (12) above, wherein the image of the virtual menu is superimposed on a region different from the important region in the surgery among the surgical images.
  • Surgical system. It has a voice input unit that detects voice, and has a voice input unit.
  • the control device is The surgical system according to any one of (4) to (14), wherein the presence or absence of presentation of the virtual menu is switched based on the voice from the voice input unit.
  • the control device is The surgical system according to any one of (4) to (15) above, wherein the virtual menu is not presented while the energy device is in use.
  • the control device is Described in any one of (1) to (17) above, which generates the display image in which the selection image for selecting the target area for autofocus is superimposed on the surgical image when the instruction for switching to the autofocus mode is received. Surgical system.
  • the control device is Any of the above (1) to (18) that generates the display image in which the virtual whiteboard writable by using the operation body is superimposed on the surgical image when the instruction to switch to the drawing mode is received.
  • the control device is An image of the virtual slide bar, which is a virtual slide bar that is virtually presented in the space of the surgical area when a predetermined instruction content receives an instruction, and instructs the degree corresponding to the control content by the operating body.
  • the surgical system according to any one of (1) to (19) above, which generates the display image superimposed on the surgical image.
  • the control device is The surgical system according to any one of (4) to (20) above, which presents the virtual menu at a position at a predetermined distance from an organ.
  • a process of receiving a predetermined instruction operation by the operating body based on the image of the operating body in the surgical image, using at least one of the surgical tool and the hand captured in the surgical image of the surgical area as the operating body.
  • Surgical control device with a part.
  • the processing unit of the surgical control device having the processing unit uses at least one of the surgical tool and the hand captured in the surgical image of the surgical area as an operating body, and the processing unit is used as an image of the operating body in the surgical image. Based on this, a control method for accepting a predetermined instruction operation by the operating body.
  • a computer is used as a processing unit that accepts a predetermined instruction operation by the operating body based on the image of the operating body, with at least one of the surgical tool and the hand shown in the surgical image of the surgical area as the operating body.
  • a program to make it work is used.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)

Abstract

本技術は、施術中の術者が装置の操作を容易に行うことができるようにする手術システム、手術用制御装置、制御方法、及び、プログラムに関する。 手術領域を撮像して前記手術領域の画像である手術画像が取得され、前記手術画像に基づいて、表示画像が出力される。前記手術画像に写る術具及び手のうちの少なくとも一方を操作体として、前記手術画像における前記操作体の画像に基づいて、前記操作体による所定の指示操作が受け付けられる。本技術は内視鏡システムや顕微鏡手術システムに適用される。

Description

手術システム、手術用制御装置、制御方法、及び、プログラム
　本技術は、手術システム、手術用制御装置、制御方法、及び、プログラムに関し、特に、施術中の術者が装置の操作を容易に行えるようにした手術システム、手術用制御装置、制御方法、及び、プログラムに関する。
　特許文献１には、音声認識や視線認識により、手を使わずに医療機器を操作できるユーザインタフェースが開示されている。
特開２０１８－１６１３７７号公報
　術者は、両手を施術に使用する場合があり、手術領域を撮影する撮像装置等の操作と施術との両方を行うことは容易ではない。手を使わない音声等による操作は、直感的ではないので手による操作に比べると容易ではない。
　本技術はこのような状況に鑑みてなされたものであり、施術中の術者が装置の操作を容易に行えるようにする。
　本技術の第１の側面の手術システムは、手術領域を撮像して前記手術領域の画像である手術画像を取得する医療用撮像装置と、前記医療用撮像装置により取得された前記手術画像に基づいて、表示装置に表示画像を出力する制御装置とを備え、前記制御装置は、前記手術画像に写る術具及び手のうちの少なくとも一方を操作体として、前記手術画像における前記操作体の画像に基づいて、前記医療用撮像装置又は前記制御装置の制御に関する前記操作体による所定の指示操作を受け付ける手術システムである。
　本技術の第１の側面においては、手術領域を撮像して前記手術領域の画像である手術画像が取得され、前記手術画像に基づいて、表示画像が出力される。前記手術画像に写る術具及び手のうちの少なくとも一方を操作体として、前記手術画像における前記操作体の画像に基づいて、前記操作体による所定の指示操作が受け付けられる。
　本技術の第２の側面の手術用制御装置、又は、プログラムは、手術領域を撮影した手術画像に写る術具及び手のうちの少なくとも一方を操作体として、前記手術画像における前記操作体の画像に基づいて、前記操作体による所定の指示操作を受け付ける処理部を有する手術用制御装置、又は、そのような手術用制御装置として、コンピュータを機能させるためのプログラムである。
　本技術の第２の側面の制御方法は、処理部を有する手術用制御装置の前記処理部は、手術領域を撮影した手術画像に写る術具及び手のうちの少なくとも一方を操作体として、前記手術画像における前記操作体の画像に基づいて、前記操作体による所定の指示操作を受け付ける制御方法である。
　本技術の第２の側面においては、手術領域を撮影した手術画像に写る術具及び手のうちの少なくとも一方を操作体として、前記手術画像における前記操作体の画像に基づいて、前記操作体による所定の指示操作が受け付けられる。
内視鏡システムの概略的な構成の一例を示す図である。 図１に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 顕微鏡手術システムの概略的な構成の一例を示す図である。 図１のＣＣＵを機能ブロックで表した図である。 仮想メニューが表示された表示画像を例示した図である。 仮想メニューが表示された表示画像を例示した図である。 非重要領域に仮想メニューが重畳された表示画像を例示した図である。 非重要領域に仮想メニューが重畳された表示画像を例示した図である。 図８の仮想メニューの所定のボタンがボタン選択状態のときの表示画像を例示した図である。 ＣＣＵが行う仮想メニューの提示に関連する処理の手順を例示したフローチャートである。 一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　以下、図面を参照しながら本技術の実施の形態について説明する。
＜本技術が適用された内視鏡システムの実施の形態＞
　本開示に係る技術は、手術システム（医療イメージングシステム）に適用することができる。手術システムは、イメージング技術を用いた医療システムであり、例えば、内視鏡システムや顕微鏡手術システム等である。
　［内視鏡システム］
　内視鏡システムの例を図１、図２を用いて説明する。図１は、本開示に係る技術が適用可能な内視鏡システム５０００の概略的な構成の一例を示す図である。図２は、内視鏡５００１およびＣＣＵ（Camera　Control　Unit）５０３９の構成の一例を示す図である。図１では、手術参加者である術者（例えば、医師）５０６７が、内視鏡システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図１に示すように、内視鏡システム５０００は、医療イメージング装置である内視鏡５００１と、ＣＣＵ５０３９と、光源装置５０４３と、記録装置５０５３と、出力装置５０５５と、内視鏡５００１を支持する支持装置５０２７と、から構成される。
　内視鏡手術では、トロッカ５０２５と呼ばれる挿入補助具が患者５０７１に穿刺される。そして、トロッカ５０２５を介して、内視鏡５００１に接続されたスコープ５００３や術具５０２１が患者５０７１の体内に挿入される。術具５０２１は例えば、電気メス等のエネルギーデバイスや、鉗子などである。
　内視鏡５００１によって撮影された患者５０７１の体内を映した医療画像である手術画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された手術画像を見ながら術具５０２１を用いて手術対象に処置を行う。なお、医療画像は手術画像に限らず、診断中に撮像された診断画像であってもよい。
　［内視鏡］
　内視鏡５００１は、患者５０７１の体内を撮像するカメラであり、例えば、図２に示すように、入射した光を集光する集光光学系５００５１と、カメラの焦点距離を変更して光学ズームを可能とするズーム光学系５００５２と、カメラの焦点距離を変更してフォーカス調整を可能とするフォーカス光学系５００５３と、受光素子５００５４と、を含むカメラヘッドである。内視鏡５００１は、接続されたスコープ５００３を介して光を受光素子５００５４に集光することで画素信号を生成し、ＣＣＵ５０３９に伝送系を通じて画素信号を出力する。なお、スコープ５００３は、対物レンズを先端に有し、接続された光源装置５０４３からの光を患者５０７１の体内に導光する挿入部である。スコープ５００３は、例えば硬性鏡では硬性スコープ、軟性鏡では軟性スコープである。また、画素信号は画素から出力された信号に基づいた信号であればよく、例えば、ＲＡＷ信号や画像信号である。また、内視鏡５００１とＣＣＵ５０３９とを接続する伝送系にメモリを搭載し、メモリに内視鏡５００１やＣＣＵ５０３９に関するパラメータを記憶する構成にしてもよい。メモリは、例えば、伝送系の接続部分やケーブル上に配置されてもよい。例えば、内視鏡５００１の出荷時のパラメータや通電時に変化したパラメータを伝送系のメモリに記憶し、メモリから読みだしたパラメータに基づいて内視鏡の動作を変更してもよい。また、内視鏡と伝送系をセットにして内視鏡と称してもよい。受光素子５００５４は、受光した光を画素信号に変換するセンサであり、例えばＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）タイプの撮像素子である。受光素子５００５４は、Ｂａｙｅｒ配列を有するカラー撮影可能な撮像素子であることが好ましい。また、受光素子５００５４は、例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）、８Ｋ（水平画素数７６８０×垂直画素数４３２０）または正方形４Ｋ（水平画素数３８４０以上×垂直画素数３８４０以上）の解像度に対応した画素数を有する撮像素子であることが好ましい。受光素子５００５４は、１枚のセンサチップであってもよいし、複数のセンサチップでもよい。例えば、入射光を所定の波長帯域ごとに分離するプリズムを設けて、各波長帯域を異なる受光素子で撮像する構成であってもよい。また、立体視のために受光素子を複数設けてもよい。また、受光素子５００５４は、チップ構造の中に画像処理用の演算処理回路を含んでいるセンサであってもよいし、ＴｏＦ（Time　of　Flight）用センサであってもよい。なお、伝送系は例えば光ファイバケーブルや無線伝送である。無線伝送は、内視鏡５００１で生成された画素信号が伝送可能であればよく、例えば、内視鏡５００１とＣＣＵ５０３９が無線接続されてもよいし、手術室内の基地局を経由して内視鏡５００１とＣＣＵ５０３９が接続されてもよい。このとき、内視鏡５００１は画素信号だけでなく、画素信号に関連する情報（例えば、画素信号の処理優先度や同期信号等）を同時に送信してもよい。なお、内視鏡はスコープとカメラヘッドを一体化してもよく、スコープの先端部に受光素子を設ける構成としてもよい。
　［ＣＣＵ（Camera　Control　Unit）］
　ＣＣＵ５０３９は、接続された内視鏡５００１や光源装置５０４３を統括的に制御する制御装置であり、例えば、図２に示すように、ＦＰＧＡ５０３９１、ＣＰＵ５０３９２、ＲＡＭ５０３９３、ＲＯＭ５０３９４、ＧＰＵ５０３９５、Ｉ／Ｆ５０３９６を有する情報処理装置である。また、ＣＣＵ５０３９は、接続された表示装置５０４１や記録装置５０５３、出力装置５０５５を統括的に制御してもよい。例えば、ＣＣＵ５０３９は、光源装置５０４３の照射タイミングや照射強度、照射光源の種類を制御する。また、ＣＣＵ５０３９は、内視鏡５００１から出力された画素信号に対して現像処理（例えばデモザイク処理）や補正処理といった画像処理を行い、表示装置５０４１等の外部装置に処理後の画素信号（例えば画像）を出力する。また、ＣＣＵ５０３９は、内視鏡５００１に対して制御信号を送信し、内視鏡５００１の駆動を制御する。制御信号は、例えば、カメラの倍率や焦点距離などの撮像条件に関する情報である。なお、ＣＣＵ５０３９は画像のダウンコンバート機能を有し、表示装置５０４１に高解像度（例えば４Ｋ）の画像を、記録装置５０５３に低解像度（例えばＨＤ）の画像を同時に出力可能な構成としてもよい。
　また、ＣＣＵ５０３９は、信号を所定の通信プロトコル（例えば、ＩＰ（Internet　Protocol））に変換するＩＰコンバータを経由して外部機器と接続されてもよい。ＩＰコンバータと外部機器との接続は、有線ネットワークで構成されてもよいし、一部または全てのネットワークが無線ネットワークで構築されてもよい。例えば、ＣＣＵ５０３９側のＩＰコンバータは無線通信機能を有し、受信した映像を第５世代移動通信システム（５Ｇ）、第６世代移動通信システム（６Ｇ）等の無線通信ネットワークを介してＩＰスイッチャーや出力側ＩＰコンバータに送信してもよい。
　［光源装置］
　光源装置５０４３は、所定の波長帯域の光を照射可能な装置であり、例えば、複数の光源と、複数の光源の光を導光する光源光学系と、を備える。光源は、例えばキセノンランプ、ＬＥＤ光源やＬＤ光源である。光源装置５０４３は、例えば三原色Ｒ、Ｇ、Ｂのそれぞれに対応するＬＥＤ光源を有し、各光源の出力強度や出力タイミングを制御することで白色光を出射する。また、光源装置５０４３は、通常光観察に用いられる通常光を照射する光源とは別に、特殊光観察に用いられる特殊光を照射可能な光源を有していてもよい。特殊光は、通常光観察用の光である通常光とは異なる所定の波長帯域の光であり、例えば、近赤外光（波長が７６０ｎｍ以上の光）や赤外光、青色光、紫外光である。通常光は、例えば白色光や緑色光である。特殊光観察の一種である狭帯域光観察では、青色光と緑色光を交互に照射することにより、体組織における光の吸収の波長依存性を利用して、粘膜表層の血管等の所定の組織を高コントラストで撮影することができる。また、特殊光観察の一種である蛍光観察では、体組織に注入された薬剤を励起する励起光を照射し、体組織または標識である薬剤が発する蛍光を受光して蛍光画像を得ることで、通常光では術者が視認しづらい体組織等を、術者が視認しやすくすることができる。例えば、赤外光を用いる赤外光観察では、体組織に注入されたインドシアニングリーン（ＩＣＧ）等の薬剤を励起する励起光として近赤外光を照射することで、体組織の奥の構造を視認しやすくすることができる。また、蛍光観察では、青色波長帯域の特殊光で励起され、赤色波長帯域の蛍光を発する薬剤（例えば５－ＡＬＡ）を用いてもよい。これらの薬剤は光線力学療法を、なお、光源装置５０４３は、ＣＣＵ５０３９の制御により照射光の種類を設定される。ＣＣＵ５０３９は、光源装置５０４３と内視鏡５００１を制御することにより、通常光観察と特殊光観察が交互に行われるモードを有してもよい。このとき、通常光観察で得られた画素信号に特殊光観察で得られた画素信号に基づく情報を重畳されることが好ましい。また、特殊光観察は、赤外光を照射して臓器表面より奥と見る赤外光観察や、ハイパースペクトル分光を活用したマルチスペクトル観察であってもよい。
　［記録装置］
　記録装置５０５３は、ＣＣＵ５０３９から取得した画素を記録する装置であり、例えばレコーダーである。記録装置５０５３は、ＣＣＵ５０３９から取得した画像をＨＤＤやＳＤＤ、光ディスクに記録する。記録装置５０５３は、病院内のネットワークに接続され、手術室外の機器からアクセス可能にしてもよい。また、記録装置５０５３は画像のダウンコンバート機能またはアップコンバート機能を有していてもよい。
　［表示装置］
　表示装置５０４１は、画像を表示可能な装置であり、例えば表示モニタである。表示装置５０４１は、ＣＣＵ５０３９からの制御により、ＣＣＵ５０３９によって画像処理が施された画素信号に基づく表示画像を表示する。なお、表示装置５０４１はカメラやマイクを備えることで、視線認識や音声認識、ジェスチャによる指示入力を可能にする入力デバイスとしても機能してよい。
　［出力装置］
　出力装置５０５５は、ＣＣＵ５０３９から取得した情報を出力する装置であり、例えばプリンタである。出力装置５０５５は、例えば、ＣＣＵ５０３９から取得した画素信号に基づく印刷画像を紙に印刷する。
　［支持装置］
　支持装置５０２７は、アーム制御装置５０４５を有するベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、アーム部５０３１の先端に取り付けられた保持部５０３２とを備える多関節アームである。アーム制御装置５０４５は、ＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、アーム部５０３１の駆動を制御する。支持装置５０２７は、アーム制御装置５０４５によってアーム部５０３１を構成する各リンク５０３５の長さや各関節５０３３の回転角やトルク等のパラメータを制御することで、例えば保持部５０３２が保持する内視鏡５００１の位置や姿勢を制御する。これにより、内視鏡５００１を所望の位置または姿勢に変更し、スコープ５００３を患者５０７１に挿入でき、また、体内での観察領域を変更できる。支持装置５０２７は、術中に内視鏡５００１を支持する内視鏡支持アームとして機能する。これにより、支持装置５０２７は、内視鏡５００１を持つ助手であるスコピストの代わりを担うことができる。また、支持装置５０２７は、後述する顕微鏡装置５３０１を支持する装置であってもよく、医療用支持アームと呼ぶこともできる。なお、支持装置５０２７の制御は、アーム制御装置５０４５による自律制御方式であってもよいし、ユーザの入力に基づいてアーム制御装置５０４５が制御する制御方式であってもよい。例えば、制御方式は、ユーザの手元の術者コンソールであるマスター装置（プライマリ装置）の動きに基づいて、患者カートであるスレイブ装置（レプリカ装置）としての支持装置５０２７が制御されるマスタ・スレイブ方式でもよい。また、支持装置５０２７の制御は、手術室の外から遠隔制御が可能であってもよい。
　以上、本開示に係る技術が適用され得る内視鏡システム５０００の一例について説明した。例えば、本開示に係る技術は、顕微鏡システムに適用されてもよい。
　［顕微鏡手術システム］
　図３は、本開示に係る技術が適用され得る顕微鏡手術システムの概略的な構成の一例を示す図である。なお、以下の説明において、内視鏡システム５０００と同様の構成については、同一の符号を付し、その重複する説明を省略する。
　図３では、術者５０６７が、顕微鏡手術システム５３００を用いて、患者ベッド５０６９上の患者５０７１に対して手術を行っている様子を概略的に示している。なお、図３では、簡単のため、顕微鏡手術システム５３００の構成のうちカート５０３７の図示を省略するとともに、内視鏡５００１に代わる顕微鏡装置５３０１を簡略化して図示している。ただし、本説明における顕微鏡装置５３０１は、リンク５０３５の先端に設けられた顕微鏡部５３０３を指していてもよいし、顕微鏡部５３０３及び支持装置５０２７を含む構成全体を指していてもよい。
　図３に示すように、手術時には、顕微鏡手術システム５３００を用いて、顕微鏡装置５３０１によって撮影された術部の画像が、手術室に設置される表示装置５０４１に拡大表示される。表示装置５０４１は、術者５０６７と対向する位置に設置されており、術者５０６７は、表示装置５０４１に映し出された映像によって術部の様子を観察しながら、例えば患部の切除等、当該術部に対して各種の処置を行う。顕微鏡手術システムは、例えば眼科手術や脳外科手術で使用されるが、開腹手術などに使用されてもよい。
　以上、本開示に係る技術が適用され得る内視鏡システム５０００及び顕微鏡手術システム５３００の例についてそれぞれ説明した。なお、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、支持装置５０２７は、その先端に内視鏡５００１又は顕微鏡部５３０３に代えて他の観察装置や他の術具を支持し得る。当該他の観察装置としては、例えば、鉗子、攝子、気腹のための気腹チューブ、又は焼灼によって組織の切開や血管の封止を行うエネルギー処置具等が適用され得る。これらの観察装置や術具を支持装置によって支持することにより、医療スタッフが人手で支持する場合に比べて、より安定的に位置を固定することが可能となるとともに、医療スタッフの負担を軽減することが可能となる。本開示に係る技術は、このような顕微鏡部以外の構成を支持する支持装置に適用されてもよい。
　本開示に係る技術は、以上説明した構成のうち、ＣＣＵ５０３９に好適に適用され得る。
　［ＣＣＵ５０３９の機能ブロック］
　以下、本技術が適用された手術システムとして本技術が適用された図１の内視鏡システム５０００を例にして説明する。
　図４は、図１のＣＣＵ５０３９を機能ブロックで表した図である。なお、図中、図１の内視鏡システム５０００と共通する部分には同一の符号を付してあり、その説明は省略する。図４において、本技術に関連する機能ブロック以外は省略する。
　図４において、ＣＣＵ５０３９は、画像取得部１１、画像処理部１２、表示制御部１３、メニュー生成部１４、先端動作検出部１５、指示内容検出部１６、及び、カメラ制御部１７を有する。
　画像取得部１１は、内視鏡５００１から出力された画素信号を取得し、内視鏡５００１により撮影された手術領域の画像である手術画像を取得する。なお、手術領域とは、術者により手術が実際に行われている領域に限らず、内視鏡５００１により観察されている領域を含む。画像取得部１１は、取得した手術画像を画像処理部１２に供給する。
　画像処理部１２は、画像取得部１１からの手術画像に対して、現像処理（例えばデモザイク処理）や補正処理といった画像処理を行う。画像処理部１２は、処理後の手術画像を表示制御部１３に供給する。
　画像処理部１２は、先端検出部３１を含む。先端検出部３１は、画像取得部１１からの手術画像（又は、処理後の手術画像）に基づいて、手術画像に写る操作体の先端部の画像を検出する。操作体とは、術具及び手のうちの少なくとも一方をいう。なお、内視鏡システム５０００においては、手術画像に術者の手が写ることはほとんど生じない。ただし、本技術は図３の顕微鏡手術システム５３００のような他の手術システムに適用が可能である。他の手術システムでは、手術画像に術者の手が写り得る。そのため、内視鏡システム５０００以外での本技術の適用を考慮して、手術画像に写る操作体として手を含み得るものとする。
　操作体の先端部とは、操作体が術具の場合には、術具の先端を含む所定長さの範囲をいう。操作体の先端部とは、操作体が手の場合には、任意の指の先端（指先）を含む所定長さの範囲をいう。術具は、例えば、電気メス等のエナジーデバイスや、鉗子などの手術に使用される任意の器具である。
　先端検出部３１は、操作体の先端部の画像を検出すると、操作体の先端部の手術画像上における位置を先端動作検出部１５に供給する。
　表示制御部１３は、画像処理部１２からの手術画像に基づいて表示装置５０４１に供給する表示画像を生成する。表示画像は、例えば画像処理部１２からの手術画像の一部又は全体を含む画像である。表示制御部１３は、画像処理部１２からの手術画像に対してメニュー生成部１４からの仮想メニューの画像を重畳した表示画像を生成する。表示制御部１３は生成した表示画像を表示装置５０４１に供給する。
　メニュー生成部１４は、仮想メニューの画像を生成し、表示制御部１３に供給する。仮想メニューとは、手術領域の空間に仮想的に提示するメニューであり、内視鏡５００１（医療用撮像装置）又はＣＣＵ５０３９（制御装置）等の制御に関して術者が指示可能な指示内容を表したメニューを表す。仮想メニューの詳細は後述する。
　先端動作検出部１５は、画像処理部１２の先端検出部３１からの操作体の先端部の位置に基づいて、操作体の先端部の動作（位置変化）を検出する。先端動作検出部１５は、検出した動作を指示内容検出部１６に供給する。
　指示内容検出部１６は、先端動作検出部１５からの操作体の先端部の動作に基づいて、仮想メニューにより提示された選択可能（指示可能）な指示内容のうち、操作体により選択された指示内容を検出する。これにより指示内容検出部１６は、操作体による指示操作を受け付ける。
　指示内容検出部１６は、検出した指示内容をカメラ制御部１７等に供給する。なお、操作体により選択される指示内容は、内視鏡５００１の制御に関するものに限定されない。例えば、ＣＣＵ５０３９や表示装置５０４１等の任意の装置の制御に関する指示内容であってよい。指示内容検出部１６は、検出した指示内容に応じて、カメラ制御部１７以外の処理部等にも検出した指示内容を供給する。ただし、以下においては、操作体により選択される指示内容は、内視鏡５００１の制御に関するとし、指示内容検出部１６により検出された指示内容はカメラ制御部１７に供給されるものとする。
　カメラ制御部１７は、指示内容検出部１６から供給された指示内容に基づいて、内視鏡５００１のフォーカスやズーム等の制御を行う。
　［ＣＣＵ５０３９の処理の詳細］
　ＣＣＵ５０３９における処理の詳細を説明する。
　［操作体を用いた仮想メニューに対する操作］
　図５は、仮想メニューが表示された表示画像を例示した図である。
　図５における表示画像５１は、表示制御部１３から表示装置５０４１に供給される表示画像の一例である。表示画像５１には、内視鏡５００１により撮影された手術領域５２の画像（手術画像）の一部又は全体が含まれる。手術領域５２には、患者５０７１の体内の臓器等と、術者が操作する鉗子等の術具５３－１、５３－２が存在する。
　表示画像５１の一部の領域には、メニュー生成部１４により生成され、表示制御部１３において手術画像に重畳された仮想メニュー６１の画像が表示される。
　仮想メニュー６１は、手術領域５２の空間に仮想的な半透明のボタン（アイコン）として提示される。図５の仮想メニュー６１に対して操作体（術具又は手）で所定の操作を行うと、内視鏡５００１のズームの制御がオンからオフ、又は、オフからオンに切り替えられる。具体的には、仮想メニュー６１の表示によれば、現在のズームの状態はオンである。したがって、仮想メニュー６１に対して操作体で所定の操作を行うと、内視鏡５００１のズームの制御がオンからオフに切り替えられる。
　術者が、例えば、手術領域５２で操作している操作体である術具５３－１の先端部５３－１Ａ、又は、術具５３－２の先端部５３－２Ａを用いて、仮想メニュー６１をタッチ（接触）する操作を行うとする。その術者の仮想メニュー６１に対する操作（動作）は、先端検出部３１、先端動作検出部１５、及び、指示内容検出部１６により検出される。これによって、仮想メニュー６１に対応する指示内容であるズームの制御をオンからオフに切り替える指示操作が指示内容検出部１６により受け付けられる。この場合に、カメラ制御部１７は、例えばカメラの焦点距離が最も広角側となるように内視鏡５００１を制御する。
　このような操作体を用いた仮想メニュー６１に対する操作によれば、術者の両手が術具でふさがっている場合や、手を清潔に保つ必要がある場合でも、術者が装置に対する指示操作を直感的かつ容易に行えるようになる。
　すなわち、術者は、内視鏡５００１や顕微鏡装置５３０１のような医療用撮像装置によって撮影された手術画像を表示装置５０４１で見ながら手術を行う。このとき、術者は両手に術具を把持している場合や、手を清潔に保つために非清潔領域の医療機器を触ることができない場合がある。この場合、術者が、医療用撮像装置や他の医療機器（例えば術部の切除に用いるエナジーデバイス）を直接操作することが困難である。そのため、助手や看護師が、医療用撮像装置やその他の医療機器の操作を行うのが一般的である。術者が医療機器に接続されたフットスイッチを操作することによって、又は、音声により指示することによって、医療用撮像装置やその他の医療機器を操作できるようにすることは可能である。
　しかしながら、より効率的な手術を行うため、直感的に術者の手で操作できることが好ましい。本技術では、表示装置２００に表示される手術画像に、仮想メニューが重畳され、術者が施術に使用する術具等の操作体を操作することによって仮想メニューを操作することができる。したがって、術者の両手が術具でふさがっている場合や手を清潔に保つ必要がある場合でも、不潔領域にある装置に触れることなく、術者が手により装置に対する指示操作を直感的かつ容易に行えるようになる。
　［操作体を用いた仮想メニューに対する操作の検出］
　次に、操作体を用いた仮想メニューに対する操作の検出について説明する。
　図６は、仮想メニューが表示された表示画像を例示した図である。なお、図５の表示画像と共通する部分には同一の符号を付してあり、その説明を省略する。
　図６の表示画像５１には、メニュー生成部１４により生成され、表示制御部１３において手術画像に重畳された仮想メニュー７１の画像が表示される。仮想メニュー７１には、選択可能（指示可能）な３種類の指示内容が存在する。図５の仮想メニュー６１は、選択可能な指示内容が１種類のみの場合を例示したので、図６の仮想メニュー７１は、図５の仮想メニュー６１と相違する。
　仮想メニュー７１は、３つのボタン７１－１、７１－２、７１－３の画像を有する。ボタン７１－１は、手術画像（表示画像）の明るさ（Brightness Level）に関する指示内容に対応する。ボタン７１－２は、オートフォーカス（Auto Focus）に関する指示内容に対応する。ボタン７１－３は、ズーム（Zoom Focus）に関する指示内容に対応する。仮想メニュー７１の各ボタン７１－１、７１－２、７１－３は、手術領域５２の空間に仮想的な半透明のボタンとして提示される。
　ボタン７１－１に対応する手術画像の明るさ（Brightness Level）に関する指示内容とは、例えば、明るさの調整を行う指示である。ボタン７１－１が操作体により操作された場合、例えば、仮想メニューとして明るさ調整メニューが続いて表示される。
　ボタン７１－２に対応するオートフォーカス（Auto Focus）に関する指示内容とは、例えば、オートフォーカス（AF）によりピントを合わせる対象の選択を行う指示である。ボタン７１－２が操作体により操作された場合、例えば、仮想メニューとしてAF調整メニュー（AF選択画面）が続いて表示される。AFに関する指示内容は、例えば、ボタン７１－２が操作体により操作されたときの手術画像に基づいてAFによりピントを合わせる動作を１度実行させる指示（One Push AF）であってもよい。
　ボタン７１－３に対応するズーム（Zoom Focus）に関する指示内容とは、例えば、ズーム（拡大）する対象の選択を行う指示である。ボタン７１－３が操作体により操作された場合、例えば、仮想メニューとしてズーム調整メニュー（ズーム選択画面）が続いて表示される。
　先端検出部３１は、内視鏡５００１からの手術画像に写る術具５３－１の先端部５３－１Ａ、及び、術具５３－２の先端部５３－２Ａの画像を検出する。先端動作検出部１５は、先端検出部３１により検出された先端部５３－１Ａ、及び、先端部５３－２Ａの画像の位置に基づいて、先端部５３－１Ａ、及び、先端部５３－２Ａの動作（位置変化）を検出する。
　指示内容検出部１６は、メニュー生成部１４が生成した仮想メニュー７１の各ボタン７１－１、７１－２、７１－３の画像の手術画像上での位置を認識している。指示内容検出部１６は、先端動作検出部１５により検出された先端部５３－１Ａ、及び、先端部５３－２Ａの動作に基づいて、先端部５３－１Ａ、又は、先端部５３－２Ａが、仮想メニュー７１のボタン７１－１、７１－２、７１－３のうちのいずれかに対して所定の操作を行ったことを検出したとする。この場合に、指示内容検出部１６は、所定の操作が行われたボタンに対応する指示内容を検出する。即ち、指示内容検出部１６は、操作体により所定の操作が行われたボタンに対応する指示内容の指示操作を受け付ける。
　ここで、先端検出部３１における術具５３－１、５３－２の先端部５３－１Ａ、５３－２Ａの検出は、機械学習手法による場合であってよい。例えば、先端検出部３１は、手術画像に対して物体検出と物体ごとの画像領域分割とを行うインスタンスセグメンテーションを用いて手術画像に含まれる操作体（術具及び指）の先端部を検出する。即ち、CNN（Convolutional Neural Network：畳み込みニューラルネットワーク）等のニューラルネットワークの構造を有する推論モデルを用いて手術画像に含まれる操作体の画像領域を検出する。推論モデルは、操作体の画像領域をアノテーション（タグ付け）した学習用画像を用いて学習される。学習モデルによる操作体の検出は、操作体の先端の検出であってもよいし、操作体の先端を含む所定長さ（例えば数ｃｍ）の領域の検出であってもよい。
　指示内容検出部１６において操作体による仮想メニューに対する操作（所定の指示内容を指示する操作）を受け付ける条件について説明する。図６を参照して次に説明する第１形態乃至第４形態はそれぞれ操作体による仮想メニューに対する操作を受け付ける条件が相違する。
　第１形態は、次の通りである。指示内容検出部１６は、術具５３－１の先端部５３－１Ａの画像、又は、術具５３－２の先端部５３－２Ａの画像（操作体の先端部の画像）と、仮想メニュー７１のボタン７１－１、７１－２、７１－３のいずれかの画像とに重なり領域が生じたか否かを判定する。
　指示内容検出部１６は、例えば、第１判定条件乃至第３判定条件のうちのいずれかにより重なり領域が生じたか否かを判定し得る。
　第１判定条件では、操作体の先端部の画像と、仮想メニューのボタンの画像とが一定面積（予め決められた所定面積）以上重なっている場合に重なり領域が生じたと判定される。第２判定条件では、操作体の画像の先端が、仮想メニューのボタンの画像の領域内である場合に重なり領域が生じたと判定される。第３判定条件では、第１判定条件と第２判定条件の両方が満たされている場合に重なり領域が生じたと判定される。
　指示内容検出部１６は、操作体の先端部の画像と、仮想メニュー７１のいずれかのボタンの画像とに重なり領域が生じたと判定した場合、操作体がそのボタンに接触したと判定する。なお、操作体がボタンに接触したと判定されたボタンは、操作体により選択されたボタンである。
　第１形態では、指示内容検出部１６は、操作体により所定のボタンが選択されると、選択されたボタンに対応する指示内容の指示を受け付ける。指示内容検出部１６は、受け付けた指示内容の制御をカメラ制御部１７等に実行させる。
　ここで、操作体の先端部の仮想メニューへのタッチ（接触）は、ＴｏＦ用センサを用いて検出される場合であってもよい。例えば、ＴｏＦ用センサにより手術領域の深度計測が行われる。これによって、仮想メニューが仮想的に提示される領域や、操作体の先端部の位置が計測される。したがって、操作体の先端部が仮想メニューのいずれかのボタンに接触したことが検出され得る。操作体の先端部の仮想メニューへのタッチ（接触）は、手術画像を用いたSLAM（Simultaneous Localization and Mapping）技術により検出される場合であってもよい。SLAM技術により操作体の先端部と、三次元マップ上の仮想メニューの位置に基づいて、仮想メニューの表示や、操作体の先端部の仮想メニューへのタッチ（接触）が検出され得る。
　第２形態は、次の通りである。指示内容検出部１６は、第１形態と同様にして、所定のボタンが操作体により選択された状態（以下、ボタン選択状態という）であるとする。なお、操作体の先端部の画像と、ボタンの画像とに重なり領域が生じない状態になると、ボタン選択状態は解除される。
　ボタン選択状態において、選択されたボタンが有する平面に対して法線方向に操作体が往復動作したとする。この動作はボタンを押して放す動作に相当する。図６では、ボタン７１－１、７１－２、７１－３の平面は、表示画像５１の画面に平行である。したがって、ボタン７１－１、７１－２、７１－３の平面に対する法線方向は、内視鏡５００１の光軸方向である。
　指示内容検出部１６は、操作体がボタンの平面に対して法線方向に往復動作すると、選択されたボタンに対しての操作が行われたと判定し、選択されたボタンに対応する指示内容の指示を受け付ける。指示内容検出部１６は、受け付けた指示内容の制御をカメラ制御部１７等に実行させる。なお、指示内容検出部１６は、操作体がボタンの平面に対して法線方向以外の方向（例えば平行方向）に動作した場合に、選択されたボタンに対しての操作が行われたと判定してもよい。
　第３形態は、次の通りである。第１形態と同様にして、ボタン選択状態であるとする。ボタン選択状態において、指示内容検出部１６は、ＣＣＵ５０３９に直接的又は間接的に接続されたフットスイッチの所定の操作や、マイク（音声検出部）からの所定の音声により、決定を指示する操作又は音声が入力されたとする。このとき、指示内容検出部１６は、選択されたボタンに対しての操作が行われたと判定し、選択されたボタンに対応する指示内容の指示を受け付ける。指示内容検出部１６は、受け付けた指示内容の制御をカメラ制御部１７等に実行させる。
　即ち、第３形態では、仮想メニューにおけるボタンの選択操作が、操作体により行われ、決定操作は、術者の物理的な動作によって行われる。これにより、術者が仮想メニュー上に別の意図で術具を移動させた場合でも、決定操作が行われないようにすることができる。なお、決定操作は、術者の視線入力による場合であってもよい。
　第４形態は、次の通りである。第１形態と同様にして、ボタン選択状態であるとする。指示内容検出部１６は、ボタン選択状態が予め決められた閾値以上の時間（例えば５秒）が経過した場合に、選択されたボタンに対しての操作が行われたと判定し、選択されたボタンに対応する指示内容の指示を受け付ける。指示内容検出部１６は、受け付けた指示内容の制御をカメラ制御部１７等に実行させる。なお、ボタン選択状態となったときからの経過時間が表示画像に重畳して表示されるようにしてもよい。
　［仮想メニューの表示に関する処理］
　仮想メニューの表示に関する処理について説明する。
　メニュー生成部１４は、図６の表示画像５１における仮想メニュー７１のように、仮想メニュー各ボタンの画像を生成する。メニュー生成部１４は、表示画像に対して仮想メニューの各ボタンの画像を重畳する位置（重畳領域）を決める。メニュー生成部１４は生成した仮想メニューの各ボタンの画像と、表示画像に対して各ボタンの画像を重畳する位置（重畳領域）を表示制御部１３に供給する。
　表示制御部１３は、画像処理部１２からの手術画像に対して、メニュー生成部１４からの仮想メニューの各ボタンの画像を、メニュー生成部１４からの重畳領域に重畳した表示画像５１を生成する。
　メニュー生成部１４は、仮想メニューの各ボタンの画像を重畳する重畳領域を、例えば、表示画像における重要領域とは異なる領域とする。重要領域とは、出血が生じている領域、臓器の領域、手術対象の領域、及び、表示画像の中央部（画面中央）の領域である。術者は画面中央に重要領域を表示させることが多いため、画面中央は重要領域とする。
　出血が生じている領域、臓器の領域、手術対象の領域等の重要領域は、手術画像に基づいて画像処理部１２が検出する。画像処理部１２は、例えば、機械学習手法により手術画像における重要領域を検出してもよい。画像処理部１２は、画像処理部１２は重要領域ではなく、重要領域ではない非重要領域を検出してもよい。例えば、手術画像のコントラストが略一定の領域は重要領域ではない可能性が高いので、画像処理部１２は、コントラストが略一定の領域を非重要領域として検出する。画像処理部１２は、非重要領域以外の領域を重要領域として、メニュー生成部１４に供給する。
　図７及び図８は、非重要領域に仮想メニューが重畳された表示画像を例示した図である。図７及び図８の表示画像８１には、内視鏡５００１により撮影された手術領域８２の画像（手術画像）の一部又は全体が含まれる。手術領域８２には、術者が操作する鉗子等の術具５３－１が存在する。表示画像８１の右側の領域ではコントラストが略一定であるとする。この場合、表示画像８１の右側の領域が非重要領域として検出される。これによって、表示画像８１の右側の領域が重畳領域とされ、図７のように、表示画像８１の右側の領域に仮想メニュー７１の各ボタン７１－１、７１－２、７１－３が重畳される。
　表示画像８１の中央部が例えば出血が生じている重要領域として検出されたとする。中央部以外の領域は非重要領域であるとする。この場合、表示画像８１の中央部以外の任意の領域を重畳領域とすることができる。例えば、図８のように仮想メニュー７１の各ボタン７１－１、７１－２、７１－３は、表示画像８１の下側に重畳される。
　なお、手術画像において、出血が生じている領域、臓器の領域、手術対象の領域、及び、表示画像の中央部（画面中央）の領域のうち、いずれか１以上の領域を重量領域としてもよい。メニュー生成部１４は、表示画像に対して予め決められた領域を重畳領域としてもよい。
　表示制御部１３又はメニュー生成部１４は、マイクからの音声入力により、表示画像に仮想メニューを表示させた状態と、表示画像から仮想メニューを消した状態とで切り替えられるようにしてもよい。これによって、術者が、表示画像に重畳された仮想メニューを邪魔だと思ったときに仮想メニューを即座に消すことができる。仮想メニューの表示のオン／オフは、術者等の入力操作に基づいて行われる場合に限らない。仮想メニューの表示のオン／オフは、他の医療機器の状態に基づいて行われる場合であってもよい。例えば、エナジーデバイスが使用されている場合（エナジーデバイスがオンの場合）には、仮想メニューが表示されないようにしてもよい。これにより、仮想メニューが術者の施術の妨げとなることが防止される。
　指示内容検出部１６において、操作体の先端部の画像と、仮想メニューのいずれかのボタンの画像とに重なり領域が生じたと判定され、ボタン選択状態になったとする。この場合に、表示制御部１３又はメニュー生成部１４は、選択されたボタンの画像の透過率を変更するようにしてもよい。例えば、図８において仮想メニュー７１のいずれのボタン７１－１、７１－２、７１－３もボタン選択状態でない場合には、表示制御部１３又はメニュー生成部１４はボタンの画像を透過率約８０％にする。仮想メニュー７１のいずれかのボタン７１－１、７１－２、７１－３がボタン選択状態となった場合には、選択されたボタンの画像を透過率約２０％にする。
　図９は、図８の仮想メニュー７１の所定のボタンがボタン選択状態のときの表示画像を例示した図である。図中、図８と共通する部分には同一符号を付してあり、説明は省略する。
　図９において、術具５３－１の先端部５３－１Ａが仮想メニュー７１のボタン７１－２に接触し、ボタン７１－２がボタン選択状態になっている。このとき、ボタン７１－２の画像の透過率が、ボタン選択状態ではないときの約８０％から約２０％に低減される。これによって、選択されたボタン７１－２が見やすくなり、ボタン選択状態であることが術者に対して明示される。ただし、ここで示した透過率は一例であって、透過率は特定の値に限定されない。
　なお、仮想メニューの各ボタンに対応する指示内容は、所定の制御内容のオンとオフとの切替えに限らず、様々な機能に紐付いた指示内容であってよい。例えば、AF選択モードに紐付いたAFというボタンが選択された場合に、手術領域の空間に仮想のAF選択画面が提示されるようにしてもよい。この場合、術者が操作体を用いてAF選択画面に対してAFポイントを指定すると、指定されたAFポイントがAF対象領域として内視鏡５００１のフォーカスが制御される。
　仮想メニューの所定のボタンが選択された場合に、表示制御部１３は、例えば仮想スライドバーの画像を手術画像に重畳した表示画像を生成して表示装置５０４１に出力する。これによって、手術領域の空間に、仮想のスライドバーが提示されるようにしてもよい。この場合に、術者が操作体を用いて仮想スライドバーを操作することで、所定の制御内容に対応する度合い、例えば、照明光の強度やズームの度合い等が変更される。
　仮想メニューは、臓器から一定の距離を保つ領域に提示される場合であってよい。特に手術画像や仮想メニューを3D表示する場合には、自動的に仮想メニューが臓器から一定の距離を保つ領域に提示されるようにしてもよい。これにより、術者が仮想メニューを操作する際に術具と臓器とが接触する事態が低減される。
　仮想メニューの表示形態や、仮想メニューで指示可能（選択可能）な指示内容は、ユーザが設定、変更できるようにしてもよい。例えば、仮想メニューの提示位置、ボタンの配置、ボタンに対応付ける指示内容（機能の種類）等をユーザが複数の候補の中から選択できるようにしてもよい。
　［ＣＣＵ５０３９の処理手順］
　図１０は、ＣＣＵ５０３９が行う仮想メニューの提示に関連する処理の手順を例示したフローチャートである。
　ステップＳ１１では、画像取得部１１は、内視鏡５００１から手術領域を撮影した手術画像を取得する。処理はステップＳ１１からステップＳ１２に進む。
　ステップＳ１２では、メニュー生成部１４は、仮想メニューの画像を生成し、表示制御部１３に供給する。表示制御部１３は、メニュー生成部１４からの仮想メニューの画像を、ステップＳ１１で取得された手術画像に重畳した表示画像を生成し、表示装置５０４１に供給する。処理はステップＳ１２からステップＳ１３に進む。
　ステップＳ１３では、先端検出部３１は、ステップＳ１１で取得された手術画像に写る操作体（術具及び指）の先端部の画像を検出する。処理はステップＳ１３からステップＳ１４に進む。
　ステップＳ１４では、先端動作検出部１５は、ステップＳ１３で検出された先端部の過去から現在までの動作（位置変化）を検出する。処理はステップＳ１４からステップＳ１５に進む。
　ステップＳ１５では、指示内容検出部１６は、ステップＳ１４で検出された先端部の動作に基づいて、仮想メニューに対する操作体の先端部の操作により所定の指示内容の指示を受け付けたか否かを判定する。
　ステップＳ１５において、指示を受け付けていないと判定された場合、処理はステップＳ１１に戻り、ステップＳ１１から繰り返す。
　ステップＳ１５において、指示を受け付けたと判定された場合、処理はステップＳ１５からステップＳ１６に進む。
　ステップＳ１６では、画像処理部１２、表示制御部１３、又は、カメラ制御部１７は、ステップＳ１５で指示内容検出部１６が受け付けた指示内容に対応した制御を実行する。処理はステップＳ１６からステップＳ１１に戻り、ステップＳ１１から繰り返す。
　以上のＣＣＵ５０３９の処理によれば、術者は、内視鏡５００１及びＣＣＵ５０３９等の装置の制御に関する所定の指示内容の指示操作を、手術領域の操作体又は手を用いて、手術領域に仮想的に提示された仮想メニューに対して行うことができる。したがって、術者の両手が術具でふさがっている場合や、手を清潔に保つ必要がある場合でも、不潔領域にある装置に触れることなく、術者が手により装置に対する指示操作を直感的かつ容易に行えるようになる。
　［その他の形態］
　仮想メニューでお絵描きモード（指示モード）への移行が指示された場合に、表示制御部１３は、操作体を用いた書込みが可能な仮想ホワイトボード（透過式）を手術画像に重畳した表示画像を生成し、表示装置５０４１に出力してもよい。
　仮想メニューは提示せずに、操作体の操作（動作）のみで所定の指示内容の指示が行えるようにしてもよい。例えば、指示内容検出部１６は、操作体の先端部の予め決められた所定のジェスチャを検出した場合に、そのジェスチャに対応する指示内容の指示を受け付けるようにしてもよい。例えば、指示内容検出部１６は、操作体の先端部の画像が、表示画像の上下左右のそれぞれの端部や予め決められ領域に接触した場合に、各端部や各領域に予め対応付けられた指示内容の指示として受け付けるようにしてもよい。
＜プログラム＞
　上述したＣＣＵ５０３９での一部又は全ての一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
　入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
　以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本技術は以下のような構成も取ることができる。
（１）　手術領域を撮像して前記手術領域の画像である手術画像を取得する医療用撮像装置と、
　前記医療用撮像装置により取得された前記手術画像に基づいて、表示装置に表示画像を出力する制御装置と
　を備え、
　前記制御装置は、
　前記手術画像に写る術具及び手のうちの少なくとも一方を操作体として、前記手術画像における前記操作体の画像に基づいて、前記医療用撮像装置又は前記制御装置の制御に関する前記操作体による所定の指示操作を受け付ける
　手術システム。
（２）　前記指示操作は、前記制御に関する複数種類の指示内容のうちのいずれかを選択する操作である
　前記（１）に記載の手術システム。
（３）　前記指示操作は、前記制御の内容を切り替える指示を行うための操作である
　前記（１）又は（２）に記載の手術システム。
（４）　前記制御装置は、
　前記手術領域の空間に仮想的に提示する仮想メニューであって、前記制御に関して指示可能な指示内容を表した前記仮想メニューの画像を、前記手術画像に重畳した前記表示画像を生成する
　前記（１）乃至（３）のいずれかに記載の手術システム。
（５）　前記制御装置は、
　前記仮想メニューに対する前記操作体の操作を前記指示操作として受け付ける
　前記（４）に記載の手術システム。
（６）　前記制御装置は、
　前記仮想メニューに対して前記操作体が接触した場合に、前記指示操作を受け付ける
　前記（４）又は（５）に記載の手術システム。
（７）　前記制御装置は、
　前記手術画像に写る前記操作体の先端部の画像を検出し、前記先端部の画像の前記手術画像における位置に基づいて、前記仮想メニューに対して前記操作体が接触したことを検出する
　前記（６）に記載の手術システム。
（８）　前記制御装置は、
　前記手術画像に写る前記操作体の先端部の画像を検出し、前記先端部の画像の前記手術画像における位置と、前記手術画像における前記仮想メニューの画像の位置との重なり領域に基づいて、前記仮想メニューに対して前記操作体が接触したことを検出する
　前記（６）又は（７）に記載の手術システム。
（９）　前記操作体の先端部は、前記術具の先端部又は前記手の指の先端部である
　前記（７）又は（８）に記載の手術システム。
（１０）　前記制御装置は、
　前記重なり領域が生じ、かつ、前記仮想メニューに対する前記操作体の所定方向への動作を検出した場合に、前記指示操作を受け付ける
　前記（８）に記載の手術システム。
（１１）　前記仮想メニューは、前記操作体が接触可能な平面を有し、
　前記操作体の前記所定方向への動作は、前記平面の法線方向への往復動作である
　前記（１０）に記載の手術システム。
（１２）　前記制御装置は、
　前記重なり領域が生じ、かつ、予め決められた所定の閾値以上の時間が経過した場合に、前記指示操作を受け付ける
　前記（８）に記載の手術システム。
（１３）　前記制御装置は、
　前記手術画像のうち、手術における重要領域と異なる領域に前記仮想メニューの画像を重畳する
　前記（４）乃至（１２）のいずれかに記載の手術システム。
（１４）　前記重要領域は、出血が生じている領域、臓器の領域、手術対象の領域、及び、前記表示画像の中央部の領域のうちのいずれか１以上を含む
　前記（１３）に記載の手術システム。
（１５）　音声を検出する音声入力部
　を有し、
　前記制御装置は、
　前記音声入力部からの音声に基づいて、前記仮想メニューの提示の有無を切り替える
　前記（４）乃至（１４）のいずれかに記載の手術システム。
（１６）　前記制御装置は、
　エナジーデバイスが使用されている間は、前記仮想メニューの提示を行わない
　前記（４）乃至（１５）のいずれかに記載の手術システム。
（１７）　前記仮想メニューは、指示可能な指示内容ごとのボタンを有する
　前記（４）乃至（１６）のいずれかに記載の手術システム。
（１８）　前記制御装置は、
　オートフォーカスモードへの切替えの指示を受け付けた場合に、オートフォーカスの対象領域を選択する選択画像を前記手術画像に重畳した前記表示画像を生成する
　前記（１）乃至（１７）のいずれかに記載の手術システム。
（１９）　前記制御装置は、
　お絵描きモードへの切替えの指示を受け付けた場合に、前記操作体を用いた書込みが可能な仮想ホワイトボードを前記手術画像に重畳した前記表示画像を生成する
　前記（１）乃至（１８）のいずれかに記載の手術システム。
（２０）　前記制御装置は、
　所定の指示内容が指示を受け付けた場合に、前記手術領域の空間に仮想的に提示する仮想スライドバーであって、制御内容に対応する度合いを前記操作体により指示する前記仮想スライドバーの画像を、前記手術画像に重畳した前記表示画像を生成する
　前記（１）乃至（１９）のいずれかに記載の手術システム。
（２１）　前記制御装置は、
　前記仮想メニューを臓器から所定距離となる位置に提示する
　前記（４）乃至（２０）のいずれかに記載の手術システム。
（２２）　手術領域を撮影した手術画像に写る術具及び手のうちの少なくとも一方を操作体として、前記手術画像における前記操作体の画像に基づいて、前記操作体による所定の指示操作を受け付ける処理部
　を有する
　手術用制御装置。
（２３）　処理部
　を有する
　手術用制御装置の
　前記処理部は、手術領域を撮影した手術画像に写る術具及び手のうちの少なくとも一方を操作体として、前記手術画像における前記操作体の画像に基づいて、前記操作体による所定の指示操作を受け付ける
　制御方法。
（２４）　コンピュータを
　手術領域を撮影した手術画像に写る術具及び手のうちの少なくとも一方を操作体として、前記操作体の画像に基づいて、前記操作体による所定の指示操作を受け付ける処理部
　として機能させるためのプログラム。
　１１　画像取得部，　１２　画像処理部，　１３　表示制御部，　１４　メニュー生成部，　１５　先端動作検出部，　１６　指示内容検出部，　１７　カメラ制御部，　３１　先端検出部，　５０００　内視鏡システム，　５００１　内視鏡，　５０３９　ＣＣＵ，　５３００　顕微鏡手術システム

Claims (20)

  1. 　手術領域を撮像して前記手術領域の画像である手術画像を取得する医療用撮像装置と、
    　前記医療用撮像装置により取得された前記手術画像に基づいて、表示装置に表示画像を出力する制御装置と
    　を備え、
    　前記制御装置は、
    　前記手術画像に写る術具及び手のうちの少なくとも一方を操作体として、前記手術画像における前記操作体の画像に基づいて、前記医療用撮像装置又は前記制御装置の制御に関する前記操作体による所定の指示操作を受け付ける
    　手術システム。
  2. 　前記指示操作は、前記制御に関する複数種類の指示内容のうちのいずれかを選択する操作である
    　請求項１に記載の手術システム。
  3. 　前記指示操作は、前記制御の内容を切り替える指示を行うための操作である
    　請求項１に記載の手術システム。
  4. 　前記制御装置は、
    　前記手術領域の空間に仮想的に提示する仮想メニューであって、前記制御に関して指示可能な指示内容を表した前記仮想メニューの画像を、前記手術画像に重畳した前記表示画像を生成する
    　請求項１に記載の手術システム。
  5. 　前記制御装置は、
    　前記仮想メニューに対する前記操作体の操作を前記指示操作として受け付ける
    　請求項４に記載の手術システム。
  6. 　前記制御装置は、
    　前記仮想メニューに対して前記操作体が接触した場合に、前記指示操作を受け付ける
    　請求項４に記載の手術システム。
  7. 　前記制御装置は、
    　前記手術画像に写る前記操作体の先端部の画像を検出し、前記先端部の画像の前記手術画像における位置に基づいて、前記仮想メニューに対して前記操作体が接触したことを検出する
    　請求項６に記載の手術システム。
  8. 　前記制御装置は、
    　前記手術画像に写る前記操作体の先端部の画像を検出し、前記先端部の画像の前記手術画像における位置と、前記手術画像における前記仮想メニューの画像の位置との重なり領域に基づいて、前記仮想メニューに対して前記操作体が接触したことを検出する
    　請求項６に記載の手術システム。
  9. 　前記操作体の先端部は、前記術具の先端部又は前記手の指の先端部である
    　請求項８に記載の手術システム。
  10. 　前記制御装置は、
    　前記重なり領域が生じ、かつ、前記仮想メニューに対する前記操作体の所定方向への動作を検出した場合に、前記指示操作を受け付ける
    　請求項８に記載の手術システム。
  11. 　前記仮想メニューは、前記操作体が接触可能な平面を有し、
    　前記操作体の前記所定方向への動作は、前記平面の法線方向への往復動作である
    　請求項１０に記載の手術システム。
  12. 　前記制御装置は、
    　前記重なり領域が生じ、かつ、予め決められた所定の閾値以上の時間が経過した場合に、前記指示操作を受け付ける
    　請求項８に記載の手術システム。
  13. 　前記制御装置は、
    　前記手術画像のうち、手術における重要領域と異なる領域に前記仮想メニューの画像を重畳する
    　請求項４に記載の手術システム。
  14. 　前記重要領域は、出血が生じている領域、臓器の領域、手術対象の領域、及び、前記表示画像の中央部の領域のうちのいずれか１以上を含む
    　請求項１３に記載の手術システム。
  15. 　音声を検出する音声入力部
    　を有し、
    　前記制御装置は、
    　前記音声入力部からの音声に基づいて、前記仮想メニューの提示の有無を切り替える
    　請求項４に記載の手術システム。
  16. 　前記制御装置は、
    　エナジーデバイスが使用されている間は、前記仮想メニューの提示を行わない
    　請求項４に記載の手術システム。
  17. 　前記制御装置は、
    　前記仮想メニューを臓器から所定距離となる位置に提示する
    　請求項４に記載の手術システム。
  18. 　手術領域を撮影した手術画像に写る術具及び手のうちの少なくとも一方を操作体として、前記手術画像における前記操作体の画像に基づいて、前記操作体による所定の指示操作を受け付ける処理部
    　を有する
    　手術用制御装置。
  19. 　処理部
    　を有する
    　手術用制御装置の
    　前記処理部は、手術領域を撮影した手術画像に写る術具及び手のうちの少なくとも一方を操作体として、前記手術画像における前記操作体の画像に基づいて、前記操作体による所定の指示操作を受け付ける
    　制御方法。
  20. 　コンピュータを
    　手術領域を撮影した手術画像に写る術具及び手のうちの少なくとも一方を操作体として、前記操作体の画像に基づいて、前記操作体による所定の指示操作を受け付ける処理部
    　として機能させるためのプログラム。
PCT/JP2021/042004 2020-11-30 2021-11-16 手術システム、手術用制御装置、制御方法、及び、プログラム WO2022113811A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/253,840 US20240016364A1 (en) 2020-11-30 2021-11-16 Surgery system, surgery control device, control method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020198246 2020-11-30
JP2020-198246 2020-11-30

Publications (1)

Publication Number Publication Date
WO2022113811A1 true WO2022113811A1 (ja) 2022-06-02

Family

ID=81755999

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/042004 WO2022113811A1 (ja) 2020-11-30 2021-11-16 手術システム、手術用制御装置、制御方法、及び、プログラム

Country Status (2)

Country Link
US (1) US20240016364A1 (ja)
WO (1) WO2022113811A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012065698A (ja) * 2010-09-21 2012-04-05 Fujifilm Corp 手術支援システムおよびそれを用いた手術支援方法
JP2019501747A (ja) * 2015-11-27 2019-01-24 エヌ・ゼット・テクノロジーズ・インコーポレイテッドＮｚ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｉｎｃ． 医療情報との相互作用のための方法およびシステム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012065698A (ja) * 2010-09-21 2012-04-05 Fujifilm Corp 手術支援システムおよびそれを用いた手術支援方法
JP2019501747A (ja) * 2015-11-27 2019-01-24 エヌ・ゼット・テクノロジーズ・インコーポレイテッドＮｚ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｉｎｃ． 医療情報との相互作用のための方法およびシステム

Also Published As

Publication number Publication date
US20240016364A1 (en) 2024-01-18

Similar Documents

Publication Publication Date Title
US11788966B2 (en) Imaging system
WO2018173606A1 (ja) 制御装置、制御方法、制御システム、およびプログラム
JP6950707B2 (ja) 情報処理装置および方法、並びにプログラム
WO2020045015A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2017159335A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
JPWO2018168261A1 (ja) 制御装置、制御方法、及びプログラム
US20210019921A1 (en) Image processing device, image processing method, and program
JP7095693B2 (ja) 医療用観察システム
JP7188083B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JPWO2019017208A1 (ja) 手術システム、制御方法、手術機器、並びにプログラム
JP2021003531A (ja) 手術支援システム、制御装置及び制御方法
WO2019239942A1 (ja) 手術用観察装置、手術用観察方法、手術用光源装置、及び手術用の光照射方法
JPWO2019031000A1 (ja) 信号処理装置、撮像装置、信号処理方法及びプログラム
WO2017221491A1 (ja) 制御装置、制御システム、および制御方法
JP2019004978A (ja) 手術システムおよび手術用撮像装置
WO2020203225A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2020195246A1 (ja) 撮像装置、撮像方法、及びプログラム
US11039067B2 (en) Image pickup apparatus, video signal processing apparatus, and video signal processing method
WO2022113811A1 (ja) 手術システム、手術用制御装置、制御方法、及び、プログラム
WO2018173605A1 (ja) 手術用制御装置、制御方法、手術システム、およびプログラム
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
WO2020084999A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JPWO2020045014A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
JP7480779B2 (ja) 医療用画像処理装置、医療用画像処理装置の駆動方法、医療用撮像システム、及び医療用信号取得システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21897785

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18253840

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21897785

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP