WO2017145475A1 - 医療用情報処理装置、情報処理方法、医療用情報処理システム - Google Patents

医療用情報処理装置、情報処理方法、医療用情報処理システム Download PDF

Info

Publication number
WO2017145475A1
WO2017145475A1 PCT/JP2016/085189 JP2016085189W WO2017145475A1 WO 2017145475 A1 WO2017145475 A1 WO 2017145475A1 JP 2016085189 W JP2016085189 W JP 2016085189W WO 2017145475 A1 WO2017145475 A1 WO 2017145475A1
Authority
WO
WIPO (PCT)
Prior art keywords
arm
control unit
image
zoom
unit
Prior art date
Application number
PCT/JP2016/085189
Other languages
English (en)
French (fr)
Inventor
雄生 杉江
菊地　大介
智之 平山
康宏 松田
長尾　大輔
栄良 笠井
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP16891631.0A priority Critical patent/EP3420878B1/en
Priority to CN201680082111.9A priority patent/CN108697304B/zh
Priority to JP2018500997A priority patent/JP7067467B2/ja
Priority to US16/070,317 priority patent/US11033338B2/en
Publication of WO2017145475A1 publication Critical patent/WO2017145475A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition

Definitions

  • the present disclosure relates to a medical information processing apparatus, an information processing method, and a medical information processing system.
  • endoscopic surgery using an endoscope that places little burden on patients has been performed.
  • an operation is performed while imaging the inside of the abdominal cavity of a patient using an endoscope and displaying a captured image captured by the endoscope on a display.
  • Patent Document 1 discloses an endoscopic surgical apparatus used for the endoscopic surgery as described above.
  • the surgical apparatus disclosed in Patent Literature 1 discloses that the position of the distal end of the treatment tool is detected from the captured image of the endoscope, and a part of the captured image is cut out based on the detection result and enlarged and displayed on the monitor. ing.
  • Patent Document 1 controls the cutout position of a captured image.
  • the range that can be captured in endoscopic surgery is limited.
  • an information processing apparatus that performs various imaging desired by an operator or an operator by controlling the movement of an arm unit that supports a camera is proposed.
  • the image control unit that controls processing of a captured image from a camera
  • an arm control unit that controls movement of an arm unit that supports the camera, the image control unit and the arm control
  • One of the units is provided with a medical information processing apparatus that performs control based on control information from the other.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an endoscopic surgery system.
  • FIG. 2 is a block diagram illustrating an example of a functional configuration of the camera head and the CCU illustrated in FIG.
  • FIG. 3 is a block diagram showing a part of the configuration of the surgical system shown in FIG.
  • FIG. 4A is a flowchart illustrating an example of processing of the CCU in the operation of tracking the surgical instrument of the present disclosure.
  • FIG. 4B is a flowchart illustrating an example of processing of the arm control device in the operation of tracking the surgical instrument of the present disclosure.
  • FIG. 5 is a flowchart illustrating an example of an operation for tracking the surgical instrument of the present disclosure.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an endoscopic surgery system.
  • FIG. 2 is a block diagram illustrating an example of a functional configuration of the camera head and the CCU illustrated in FIG.
  • FIG. 3 is a block diagram showing a part of the configuration of the surgical
  • FIG. 6A is a flowchart illustrating an example of processing of the CCU in a zoom operation by arm control according to the present disclosure.
  • FIG. 6B is a flowchart illustrating an example of processing of the arm control device in a zoom operation by arm control according to the present disclosure.
  • FIG. 7 is a diagram showing a transition of zoom operation by the arm control shown in FIG.
  • FIG. 8 is a diagram showing another example of the transition of the zoom operation by the arm control shown in FIG.
  • FIG. 9 is a diagram showing another example of the transition of the zoom operation by the arm control shown in FIG.
  • FIG. 10 is a diagram illustrating a display image sorting operation based on the type of surgical instrument of the present disclosure.
  • FIG. 11 is a flowchart showing a display image sorting operation based on the type of surgical instrument shown in FIG.
  • Configuration example of surgical system> The technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be applied to an endoscopic surgery system.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an endoscopic surgery system 3000 to which the technology according to the present disclosure can be applied.
  • an endoscopic surgery system 3000 includes an endoscope 3100, other surgical tools 3200, a support arm device 3300 that supports the endoscope 3100, and various devices for endoscopic surgery. And a cart 3400 on which is mounted.
  • trocars 3207a to 3207d are punctured into the abdominal wall. Then, the lens barrel 3101 of the endoscope 3100 and other surgical tools 3200 are inserted into the body cavity of the patient 3505 from the trocars 3207a to 3207d.
  • an insufflation tube 3201, an energy treatment tool 3203, and forceps 3205 are inserted into the body cavity of the patient 3505.
  • the energy treatment tool 3203 is a treatment tool that performs tissue incision and peeling, blood vessel sealing, or the like by high-frequency current or ultrasonic vibration.
  • the illustrated surgical tool 3200 is merely an example, and as the surgical tool 3200, for example, various surgical tools generally used in endoscopic surgery, such as a lever and a retractor, may be used.
  • the image of the surgical site in the body cavity of the patient 3505 captured by the endoscope 3100 is displayed on the display device 3403.
  • the surgeon 3501 performs a treatment such as excision of the affected part, for example, using the energy treatment tool 3203 and the forceps 3205 while viewing the image of the surgical part displayed on the display device 3403 in real time.
  • the pneumoperitoneum tube 3201, the energy treatment tool 3203, and the forceps 3205 are supported by an operator 3501 or an assistant during surgery.
  • the support arm device 3300 includes an arm portion 3303 extending from the base portion 3301.
  • the arm portion 3303 is composed of joint portions 3305 a, 3305 b, 3305 c and links 3307 a, 3307 b, and is driven by control from the arm control device 3407.
  • the endoscope 3100 is supported by the arm portion 3303, and the position and posture thereof are controlled. Thereby, the stable position fixing of the endoscope 3100 can be realized.
  • the endoscope 3100 includes a lens barrel 3101 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 3505, and a camera head 3103 connected to the proximal end of the lens barrel 3101.
  • a lens barrel 3101 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 3505, and a camera head 3103 connected to the proximal end of the lens barrel 3101.
  • an endoscope 3100 configured as a so-called rigid mirror having a rigid lens barrel 3101 is illustrated, but the endoscope 3100 is configured as a so-called flexible mirror having a flexible lens barrel 3101. Also good.
  • An opening into which an objective lens is fitted is provided at the tip of the lens barrel 3101.
  • a light source device 3405 is connected to the endoscope 3100, and light generated by the light source device 3405 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 3101. Irradiation is performed toward the observation target in the body cavity of the patient 3505 through the lens.
  • the endoscope 3100 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image sensor are provided inside the camera head 3103, and reflected light (observation light) from the observation target is condensed on the image sensor by the optical system. Observation light is photoelectrically converted by the imaging element, and an electrical signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted to a camera control unit (CCU) 3401 as RAW data.
  • CCU camera control unit
  • the camera head 3103 has a function of adjusting the magnification and the focal length by appropriately driving the optical system.
  • a plurality of imaging elements may be provided in the camera head 3103 in order to cope with, for example, stereoscopic viewing (3D display).
  • a plurality of relay optical systems are provided inside the lens barrel 3101 in order to guide observation light to each of the plurality of imaging elements.
  • the CCU 3401 is configured by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and comprehensively controls the operations of the endoscope 3100 and the display device 3403. Specifically, the CCU 3401 performs various image processing for displaying an image based on the image signal, such as development processing (demosaic processing), for example, on the image signal received from the camera head 3103. The CCU 3401 provides the display device 3403 with the image signal subjected to the image processing. Also, the CCU 3401 transmits a control signal to the camera head 3103 to control its driving.
  • the control signal can include information regarding imaging conditions such as magnification and focal length.
  • the display device 3403 displays an image based on an image signal subjected to image processing by the CCU 3401 under the control of the CCU 3401.
  • high-resolution imaging such as 4K (horizontal pixel number 3840 ⁇ vertical pixel number 2160) or 8K (horizontal pixel number 7680 ⁇ vertical pixel number 4320), and / or 3D display
  • a display device 3403 that can display a high-resolution image and / or can display a 3D image can be used.
  • a display device 3403 having a size of 55 inches or more can provide a more immersive feeling.
  • a plurality of display devices 3403 having different resolutions and sizes may be provided depending on applications.
  • the light source device 3405 is composed of a light source such as an LED (light emitting diode), and supplies irradiation light for imaging the surgical site to the endoscope 3100.
  • a light source such as an LED (light emitting diode)
  • the arm control device 3407 is configured by a processor such as a CPU, for example, and operates according to a predetermined program, thereby controlling driving of the arm portion 3303 of the support arm device 3300 according to a predetermined control method.
  • the input device 3409 is an input interface for the endoscopic surgery system 3000.
  • the user can input various information and instructions to the endoscopic surgery system 3000 via the input device 3409.
  • the user inputs various kinds of information related to the operation, such as the patient's physical information and information about the surgical technique, through the input device 3409.
  • the user instructs the arm unit 3303 to be driven via the input device 3409 or the instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 3100.
  • An instruction to drive the energy treatment device 3203 is input.
  • the type of the input device 3409 is not limited, and the input device 3409 may be various known input devices.
  • the input device 3409 for example, a mouse, a keyboard, a touch panel, a switch, a foot switch 3419, and / or a lever can be applied.
  • the touch panel may be provided on the display surface of the display device 3403.
  • the input device 3409 is a device worn by a user, such as a glasses-type wearable device or an HMD (Head Mounted Display), for example, and various inputs according to the user's gesture and line of sight detected by these devices. Is done.
  • the input device 3409 includes a camera capable of detecting the user's movement, and various inputs are performed according to the user's gesture and line of sight detected from the video captured by the camera.
  • the input device 3409 includes a microphone that can pick up a user's voice, and various inputs are performed by voice through the microphone.
  • the input device 3409 is configured to be able to input various types of information without contact, so that a user belonging to the clean area (for example, the operator 3501) operates a device belonging to the unclean area in a non-contact manner. Is possible.
  • the user since the user can operate the device without releasing his / her hand from the surgical tool he / she has, the convenience for the user is improved.
  • the treatment instrument control device 3411 controls driving of the energy treatment instrument 3203 for tissue ablation, incision, blood vessel sealing, or the like.
  • the pneumoperitoneum 3413 gas is introduced into the body cavity through the pneumothorax tube 3201. Send in.
  • the recorder 3415 is an apparatus capable of recording various types of information related to surgery.
  • the printer 3417 is a device that can print various types of information related to surgery in various formats such as text, images, and graphs.
  • the support arm device 3300 includes a base portion 3301 that is a base and an arm portion 3303 that extends from the base portion 3301.
  • the arm portion 3303 includes a plurality of joint portions 3305a, 3305b, and 3305c, and a plurality of links 3307a and 3307b connected by the joint portion 3305b.
  • FIG. The configuration of the arm portion 3303 is shown in a simplified manner. Actually, the shape, number and arrangement of the joint portions 3305a to 3305c and the links 3307a and 3307b, the direction of the rotation axis of the joint portions 3305a to 3305c, and the like are appropriately set so that the arm portion 3303 has a desired degree of freedom. obtain.
  • the arm portion 3303 can be preferably configured to have six degrees of freedom or more. Accordingly, the endoscope 3100 can be freely moved within the movable range of the arm portion 3303. Therefore, the barrel 3101 of the endoscope 3100 can be inserted into the body cavity of the patient 3505 from a desired direction. It becomes possible.
  • the joint portions 3305a to 3305c are provided with actuators, and the joint portions 3305a to 3305c are configured to be rotatable around a predetermined rotation axis by driving the actuators.
  • the arm control device 3407 By controlling the driving of the actuator by the arm control device 3407, the rotation angles of the joint portions 3305a to 3305c are controlled, and the driving of the arm portion 3303 is controlled. Thereby, control of the position and attitude of the endoscope 3100 can be realized.
  • the arm control device 3407 can control the driving of the arm portion 3303 by various known control methods such as force control or position control.
  • the arm controller 3407 appropriately controls the driving of the arm unit 3303 according to the operation input.
  • the position and orientation of the endoscope 3100 may be controlled. With this control, the endoscope 3100 at the tip of the arm portion 3303 can be moved from an arbitrary position to an arbitrary position, and then fixedly supported at the position after the movement.
  • the arm portion 3303 may be operated by a so-called master slave method. In this case, the arm unit 3303 can be remotely operated by the user via the input device 3409 installed at a location away from the operating room.
  • the arm control device 3407 receives the external force from the user and moves the actuators of the joint portions 3305a to 3305c so that the arm portion 3303 moves smoothly according to the external force. You may perform what is called power assist control to drive. Accordingly, when the user moves the arm portion 3303 while directly touching the arm portion 3303, the arm portion 3303 can be moved with a relatively light force. Therefore, the endoscope 3100 can be moved more intuitively and with a simpler operation, and the convenience for the user can be improved.
  • an endoscope 3100 is supported by a doctor called a scopist.
  • the position of the endoscope 3100 can be more reliably fixed without relying on human hands, so that an image of the surgical site can be stably obtained. It becomes possible to perform the operation smoothly.
  • the arm control device 3407 is not necessarily provided in the cart 3400. Further, the arm control device 3407 is not necessarily one device. For example, the arm control device 3407 may be provided in each joint portion 3305a to 3305c of the arm portion 3303 of the support arm device 3300, and the arm control device 3407 cooperates with each other to drive the arm portion 3303. Control may be realized.
  • FIG. 2 is a block diagram showing an example of the functional configuration of the camera head 3103 and CCU 3401 shown in FIG.
  • the camera head 3103 has a lens unit 3105, an imaging unit 3107, a drive unit 3109, a communication unit 3111, and a camera head control unit 3113 as its functions.
  • the CCU 3401 includes a communication unit 3421, an image processing unit 3423, and a control unit 3425 as its functions.
  • the camera head 3103 and the CCU 3401 are connected to each other via a transmission cable 3427 so that they can communicate with each other.
  • the lens unit 3105 is an optical system provided at a connection portion with the lens barrel 3101. Observation light captured from the tip of the lens barrel 3101 is guided to the camera head 3103 and enters the lens unit 3105.
  • the lens unit 3105 is configured by combining a plurality of lenses including a zoom lens and a focus lens. The optical characteristics of the lens unit 3105 are adjusted so that the observation light is condensed on the light receiving surface of the image pickup device of the image pickup unit 3107. Further, the zoom lens and the focus lens are configured such that their positions on the optical axis are movable in order to adjust the magnification and focus of the captured image.
  • the imaging unit 3107 is configured by an imaging element, and is arranged at the subsequent stage of the lens unit 3105.
  • the observation light that has passed through the lens unit 3105 is collected on the light receiving surface of the image sensor, and an image signal corresponding to the observation image is generated by photoelectric conversion.
  • the image signal generated by the imaging unit 3107 is provided to the communication unit 3111.
  • CMOS Complementary Metal Oxide Semiconductor
  • the imaging element for example, an element capable of capturing a high-resolution image of 4K or more may be used.
  • the image sensor that configures the image capturing unit 3107 is configured to include a pair of image sensors for acquiring right-eye and left-eye image signals corresponding to 3D display. By performing the 3D display, the operator 3501 can more accurately grasp the depth of the living tissue in the surgical site.
  • the imaging unit 3107 is configured as a multi-plate type, a plurality of lens units 3105 are also provided corresponding to each imaging element.
  • the imaging unit 3107 is not necessarily provided in the camera head 3103.
  • the imaging unit 3107 may be provided inside the lens barrel 3101 immediately after the objective lens.
  • the driving unit 3109 includes an actuator, and moves the zoom lens and the focus lens of the lens unit 3105 by a predetermined distance along the optical axis under the control of the camera head control unit 3113. Thereby, the magnification and the focus of the image captured by the imaging unit 3107 can be adjusted as appropriate.
  • the communication unit 3111 includes a communication device for transmitting and receiving various types of information to and from the CCU 3401.
  • the communication unit 3111 transmits the image signal obtained from the imaging unit 3107 as RAW data to the CCU 3401 via the transmission cable 3427.
  • the image signal is preferably transmitted by optical communication.
  • the operator 3501 performs the operation while observing the state of the affected part with the captured image, so that a moving image of the operated part is displayed in real time as much as possible for a safer and more reliable operation. Because it is required.
  • the communication unit 3111 is provided with a photoelectric conversion module that converts an electrical signal into an optical signal.
  • the image signal is converted into an optical signal by the photoelectric conversion module, and then transmitted to the CCU 3401 via the transmission cable 3427.
  • the communication unit 3111 receives a control signal for controlling driving of the camera head 3103 from the CCU 3401.
  • the control signal includes, for example, information for designating the frame rate of the captured image, information for designating the exposure value at the time of imaging, and / or information for designating the magnification and focus of the captured image. Contains information about the condition.
  • the communication unit 3111 provides the received control signal to the camera head control unit 3113.
  • the control signal from the CCU 3401 may also be transmitted by optical communication.
  • the communication unit 3111 is provided with a photoelectric conversion module that converts an optical signal into an electrical signal.
  • the control signal is converted into an electrical signal by the photoelectric conversion module, and then provided to the camera head control unit 3113.
  • the imaging conditions such as the frame rate, exposure value, magnification, and focus are automatically set by the control unit 3425 of the CCU 3401 based on the acquired image signal. That is, a so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are mounted on the endoscope 3100.
  • AE Auto Exposure
  • AF Automatic Focus
  • AWB Automatic White Balance
  • the camera head control unit 3113 controls driving of the camera head 3103 based on a control signal from the CCU 3401 received via the communication unit 3111. For example, the camera head control unit 3113 controls driving of the imaging element of the imaging unit 3107 based on information indicating that the frame rate of the captured image is specified and / or information indicating that the exposure at the time of imaging is specified. For example, the camera head control unit 3113 appropriately moves the zoom lens and the focus lens of the lens unit 3105 via the drive unit 3109 based on information indicating that the magnification and focus of the captured image are designated.
  • the camera head control unit 3113 may further have a function of storing information for identifying the lens barrel 3101 and the camera head 3103.
  • the camera head 3103 can be resistant to autoclave sterilization by disposing the lens unit 3105, the imaging unit 3107, and the like in a sealed structure with high airtightness and waterproofness.
  • the communication unit 3421 is configured by a communication device for transmitting and receiving various types of information to and from the camera head 3103.
  • the communication unit 3421 receives an image signal transmitted from the camera head 3103 via the transmission cable 3427.
  • the image signal can be suitably transmitted by optical communication.
  • the communication unit 3421 is provided with a photoelectric conversion module that converts an optical signal into an electric signal.
  • the communication unit 3421 provides the image processing unit 3423 with the image signal converted into the electrical signal.
  • the communication unit 3421 transmits a control signal for controlling driving of the camera head 3103 to the camera head 3103.
  • the control signal may also be transmitted by optical communication.
  • the image processing unit 3423 performs various types of image processing on the image signal that is RAW data transmitted from the camera head 3103. Examples of the image processing include development processing, high image quality processing (band enhancement processing, super-resolution processing, NR (Noise reduction) processing and / or camera shake correction processing, etc.), and / or enlargement processing (electronic zoom processing). Various known signal processing is included.
  • the image processing unit 3423 performs detection processing on the image signal for performing AE, AF, and AWB.
  • the image processing unit 3423 is configured by a processor such as a CPU or a GPU, and the above-described image processing and detection processing can be performed by the processor operating according to a predetermined program.
  • the image processing unit 3423 is configured by a plurality of GPUs, the image processing unit 3423 appropriately divides information related to the image signal and performs image processing in parallel by the plurality of GPUs.
  • the control unit 3425 performs various controls relating to imaging of the surgical site by the endoscope 3100 and display of the captured image. For example, the control unit 3425 generates a control signal for controlling driving of the camera head 3103. At this time, when the imaging condition is input by the user, the control unit 3425 generates a control signal based on the input by the user. Alternatively, when the endoscope 3100 is equipped with the AE function, the AF function, and the AWB function, the control unit 3425 determines an optimal exposure value, focal length, and the like according to the detection processing result by the image processing unit 3423. A white balance is appropriately calculated and a control signal is generated.
  • control unit 3425 causes the display device 3403 to display an image of the surgical unit based on the image signal subjected to the image processing by the image processing unit 3423.
  • the control unit 3425 recognizes various objects in the surgical unit image using various image techniques.
  • the control unit 3425 detects a surgical tool such as forceps, a specific living body part, bleeding, a mist when using the energy treatment tool 3203, and the like by detecting the shape and color of the edge of an object included in the surgical site image. Can be recognized.
  • the control unit 3425 uses the recognition result to superimpose and display various types of surgery support information on the image of the surgical site. Surgery support information is displayed in a superimposed manner and presented to the operator 3501, so that the surgery can be performed more safely and reliably.
  • the transmission cable 3427 connecting the camera head 3103 and the CCU 3401 is an electric signal cable corresponding to electric signal communication, an optical fiber corresponding to optical communication, or a composite cable thereof.
  • communication is performed by wire using the transmission cable 3427.
  • communication between the camera head 3103 and the CCU 3401 may be performed wirelessly.
  • communication between the two is performed wirelessly, it is not necessary to lay the transmission cable 3427 in the operating room, so that the situation where the movement of the medical staff in the operating room is hindered by the transmission cable 3427 can be solved.
  • endoscopic surgery system 3000 has been described here as an example, a system to which the technology according to the present disclosure can be applied is not limited to such an example.
  • the technology according to the present disclosure may be applied to a testing flexible endoscope system or a microscope operation system.
  • First Embodiment> Tracking operation of surgical tools
  • the CCU 3401 receives an image signal from the camera head 3103 and recognizes an object based on the received image signal.
  • an operation for tracking the recognized surgical tool 3200 is performed.
  • the camera head 3103 is an example of a camera that performs imaging
  • the CCU 3401 is an example of an image control unit that controls processing of a captured image.
  • the detection of the surgical instrument 3200 is performed by detecting the shape and / or color of the edge of the surgical instrument 3200 as described above.
  • the detection of the surgical instrument 3200 may be performed by other methods.
  • the detection of the surgical instrument 3200 may be performed by detecting the luminance gradient of the surgical instrument 3200. This is based on the fact that the luminance gradient of the surgical instrument 3200 is uniform (constant in a certain direction), but the luminance gradient of an object other than the surgical instrument 3200 such as an organ is not uniform.
  • the detection of the surgical tool 3200 may be performed using machine learning. By using machine learning, the detection accuracy of the surgical instrument 3200 is improved each time it is used. This is extremely effective in a system that does not allow erroneous recognition as a surgical system.
  • FIG. 3 is a diagram illustrating an example of the tracking operation of the surgical instrument 3200 according to the present disclosure.
  • a frame indicated by a solid line in FIG. 3 indicates the imaging region 100 that is imaged by the imaging element of the imaging unit 3107.
  • a frame indicated by a dotted line in FIG. 3 indicates the display area 200 that the CCU 3401 transmits to the display device 3403.
  • the imaging area 100 is larger than the display area 200, and the CCU 3401 extracts the display area 200 from the imaging area 100 and transmits the display area 200 to the display device 3403.
  • FIG. 3 shows a state in which the display area 200 is displayed on the display device 3403.
  • the lower part of FIG. 3 shows the relationship between the imaging area 100 and the display area 200.
  • an imaging target 300 such as an organ of a patient 3505 and a surgical tool 3200 such as a forceps 3205 are captured is shown.
  • FIG. 3A is an initial state, and the vicinity of the distal end of the surgical instrument 3200 is located at the center of the display area 200.
  • FIG. 3B shows a state in which the surgical instrument 3200 is moving in the right direction by the operator 3501 or an assistant moving the surgical instrument 3200.
  • the CCU 3401 changes the cutout position of the display area 200 to the right side in order to track the detected movement of the surgical instrument 3200.
  • the CCU 3401 changes the cutout position of the display area 200 according to the movement of the surgical instrument 3200, so that the vicinity of the distal end of the surgical instrument 3200 is maintained at the center of the display area 200.
  • C in FIG. 3 is a diagram showing a case where the surgical instrument 3200 is further moved to the right from B in FIG.
  • the distal end of the surgical instrument 3200 is located outside the range of the imaging region 100 (A and B imaging regions 100) in the initial state.
  • the CCU 3401 sends control information to the arm control device 3407 so as to track the surgical instrument 3200 by moving the arm unit 3303.
  • the arm control device 3407 moves the arm unit 3303 and tracks the surgical instrument 3200.
  • the arm control device 3407 is an example of an arm control unit that controls the arm unit 3303.
  • the CCU 3401 determines the cutting position of the display area 200 in the moving direction of the forceps 3205 (upper view of FIG. In FIG. 3C, the direction is changed to the opposite direction (left side). As a result, the display area 200 becomes the center of the imaging area 100, and an area for changing the cutout position next is secured.
  • the CCU 3401 transmits control information to the arm control device 3407 so as to move the arm unit 3303.
  • the surgical instrument 3200 can be tracked over a wider range.
  • camera shake may occur after the arm moves.
  • the CCU 3401 may be configured to correct this camera shake by changing the cutout position of the display area. This camera shake correction is performed by the CCU 3401 performing image processing or by attaching a gyro sensor to the arm unit 3303.
  • FIG. 4A is a flowchart showing the processing of the CCU 3401 in the tracking operation of the surgical instrument 3200 described above.
  • the CCU 3401 detects the movement of the surgical instrument 3200.
  • the CCU 3401 determines whether the movement of the surgical tool 3200 can be handled by changing the cutout position of the display area 200.
  • the process proceeds to S108.
  • the CCU 3401 changes the cutout position of the display area 200 in accordance with the movement of the surgical instrument 3200.
  • the CCU 3401 sends control information for controlling the arm unit 3303 to the arm control device 3407 (S104).
  • the arm control device 3407 moves the arm unit 3303 based on the control information transmitted in S104, the arm control device 3407 transmits the arm movement information to the CCU 3401, and the CCU 3401 receives the arm movement information (S106).
  • the CCU 3401 changes the cutout position of the display area 200 based on the arm movement information received from the arm control device 3407.
  • the change of the cutout position of the display area 200 is performed in a direction opposite to the direction of movement of the arm unit 3303 in S110.
  • FIG. 4B is a flowchart showing processing of the arm control device 3407 in the tracking operation of the surgical instrument 3200.
  • the arm control device 3407 calculates an arm movement amount for moving the arm unit 3303 based on the control information received from the CCU 3401.
  • the arm control device 3407 moves the arm unit 3303 based on the calculated arm movement amount.
  • the arm control device 3407 sends arm movement information to the CCU 3401 in S116.
  • the determination in S102 of FIG. 4A may be performed by various methods. For example, when a predetermined frame is set in advance in the imaging area 100 and the distal end of the surgical instrument 3200 moves beyond the predetermined frame, the CCU 3401 determines that the change of the cutout position of the display area 200 cannot cope with the change. Also good. Further, the CCU 3401 may calculate a motion vector of the surgical instrument 3200, and may determine that the CCU 3401 cannot cope with the change of the cutout position of the display area 200 when the vector amount of the motion vector is larger than a predetermined size. In this case, the CCU 3401 may transmit control information to the arm control device 3407 so as to move the arm at a speed and direction according to the calculated vector amount.
  • the arm control device 3407 transmits arm movement information to the CCU 3401 in S116 of FIG. 4B, and the CCU 3401 changes the cut-out position based on the arm movement information.
  • the CCU 3401 may detect the surgical instrument 3200 by image detection and change the cutout position of the display area 200 so that the vicinity of the detected distal end of the surgical instrument 3200 is in the center of the display area 200. Note that when the cutout position of the display area 200 is changed based on the arm movement information received by the CCU 3401 in S106 in FIG. 4A, the CCU 3401 does not detect an image, so the CCU 3401 can change the cutout position with a small processing load. it can.
  • the CCU 3401 receives an image signal from the camera head 3103 and processes the received image signal. Also, the CCU 3401 transmits a camera head control signal for changing the magnification or focal length of the camera head 3103 to the camera head 3103.
  • the arm control device 3407 receives external force information indicating that an external force has been applied to the arm unit 3303 from the arm unit 3303.
  • the arm control device 3407 transmits an arm control signal for controlling the arm unit 3303 to the arm unit 3303.
  • Control information is transmitted and received between the CCU 3401 and the arm control device 3407 in order to track the surgical instrument 3200 by the movement of the arm unit 3303 described above.
  • the CCU 3401 transmits, for example, the position information of the surgical instrument 3200 or the cut-out position information of the display area 200 to the arm control device 3407 as the control information shown in S104 of FIG. 4A.
  • the CCU 3401 may transmit the detected vector amount related to the motion of the surgical instrument 3200 to the arm control device 3407 as control information.
  • the arm control device 3407 can control the operation of the arm unit 3303 in accordance with the speed and direction of the movement of the surgical instrument 3200.
  • the arm control device 3407 transmits, for example, the arm position information, the moving speed, or the moving direction to the CCU 3401 as the arm movement information shown in S116 of FIG. 4B. Further, the arm control device 3407 may transmit a vector amount related to the movement of the arm unit 3303 to the CCU 3401 as arm movement information. When the arm control device 3407 transmits the vector amount, the CCU 3401 can control the cutout position change of the display area 200 according to the speed and direction of the movement of the arm unit 3303.
  • the CCU 3401 processes the image signal received from the camera head 3103, cuts out the display area 200 from the imaging area 100, and transmits it to the display device 3403.
  • the surgical tool 3200 when it cannot respond by changing the cutout position, the surgical tool 3200 may not exist in the imaging region 100.
  • the CCU 3401 may store past frames of the imaging region 100 captured by the imaging device of the imaging unit 3107. Then, the CCU 3401 and the arm control device 3407 may perform the tracking operation of the surgical instrument 3200 by arm control using information (for example, a motion vector amount) related to the motion of the surgical instrument 3200 in the past frame.
  • the arm control device 3407 controls the arm in cooperation with the CCU 3401 so that the distal end of the surgical instrument 3200 is near the center of the imaging area 100. May be.
  • the CCU 3401 not only tracks the surgical instrument 3200 by changing the cutout position of the display area 200, but the arm control device 3407 moves the arm unit 3303 that supports the camera head 3103.
  • the surgical instrument 3200 is tracked. Accordingly, even when there is a movement of the surgical tool 3200 that cannot be dealt with only by changing the cutout position of the display area 200 of the CCU 3401, the surgical tool 3200 can be tracked. Therefore, the surgeon 3501 or the assistant does not need to perform an operation of changing the display area 200 and can perform an operation without stress.
  • Second Embodiment> zoom operation by arm control
  • the example of the tracking operation of the surgical instrument 3200 by controlling the arm unit 3303 has been described above.
  • a zoom operation by controlling the arm unit 3303 will be described.
  • the endoscopic surgery system 3000 according to the present disclosure can perform optical zoom by moving the zoom lens of the lens unit 3105 by a predetermined distance along the optical axis.
  • the term “zoom” described below includes both the meanings of “zoom in” and “zoom out” unless otherwise specified.
  • the endoscopic surgery system 3000 performs zooming by controlling the arm unit 3303 in addition to optical zooming or electronic zooming performed by the camera head 3103.
  • zooming by controlling the arm unit 3303 in addition to optical zooming or electronic zooming performed by the camera head 3103.
  • the electronic zoom is performed by cutting out and enlarging a part of an image captured by the imaging unit 3107.
  • Table 1 below shows the characteristics of optical zoom, electronic zoom, and zoom control by arm control.
  • the electronic zoom is the fastest among the three zoom methods, and the arm control is the slowest among the three zoom methods.
  • the optical zoom has a response speed intermediate between the two.
  • the image quality the optical zoom and the zoom by the arm control can maintain the high image quality, but the electronic zoom deteriorates the image quality.
  • the zoom operation can be performed when there is an obstacle between the camera head 3103 and the subject (corresponding to the obstacle)
  • the optical zoom and the electronic zoom can perform the zoom operation. Can not.
  • FIG. 6A is a flowchart illustrating an example of processing of the CCU 3401 in a zoom operation in which a zoom operation by the camera head 3103 and a zoom operation by arm control are combined.
  • S200 the user inputs an instruction to specify the zoom magnification.
  • the CCU 3401 determines whether or not the magnification designated in S200 is the current magnification. If the CCU 3401 determines in S202 that the specified magnification is the current magnification, the process ends. On the other hand, if the CCU 3401 determines in S202 that the specified magnification is different from the current magnification, the process proceeds to S204.
  • the CCU 3401 performs optical zoom or electronic zoom based on the magnification designated in S200.
  • the process proceeds to S206, and the CCU 3401 determines whether or not the optical or electronic zoom magnification has reached a predetermined value. If the CCU 3401 determines in step S206 that the optical or electronic zoom magnification has not reached the predetermined value, the process returns to step S204 and the zoom operation is repeated. If the CCU 3401 determines in step S206 that the optical or electronic zoom magnification has reached a predetermined value, the process proceeds to step S208.
  • the CCU 3401 determines whether there is an obstacle by performing image detection. If the CCU 3401 determines in S208 that there is an obstacle, the process ends because it is dangerous if the arm unit 3303 moves. On the other hand, if the CCU 3401 determines that there is no obstacle in S208, the CCU 3401 sends the control information described above with reference to FIGS. 4 and 5 to the arm control device 3407 (S210).
  • the arm control device 3407 moves the arm unit 3303 based on the control information transmitted in S210, the arm control device 3407 transmits the arm movement information to the CCU 3401, and the CCU 3401 receives the arm movement information (S212). In step S214, the CCU 3401 performs field angle and focus adjustment based on the arm movement information received from the arm control device 3407.
  • FIG. 6B is a flowchart showing the processing of the arm control device 3407 in the zoom operation in which the zoom operation by the camera head 3103 and the zoom operation by the arm control are combined.
  • the arm control device 3407 calculates an arm movement amount for moving the arm unit 3303 based on the control information received from the CCU 3401. In step S220, the arm control device 3407 moves the arm unit 3303 based on the calculated arm movement amount. When the arm unit 3303 moves in S220, the arm control device 3407 sends the arm movement information described above with reference to FIGS. 4 and 5 to the CCU 3401 in S222.
  • the predetermined value in S206 may be a limit value of the magnification of the optical or electronic zoom. Further, the predetermined value in S206 may be a predetermined value lower than the limit value of the magnification of the optical or electronic zoom. If the predetermined value in S206 is a predetermined value that is lower than the limit value of the optical and / or electronic zoom magnification, the CCU 3401 can leave room for optical or electronic zoom. Accordingly, the CCU 3401 can immediately switch the display image to the overhead view image according to a user instruction.
  • the arm control device 3407 transmits arm movement information to the CCU 3401, and the CCU 3401 performs the angle of view and the focus adjustment based on the arm movement information.
  • the CCU 3401 may perform angle of view and focus adjustment by processing based on the contrast of the captured image.
  • a solid line L1 in FIG. 7 indicates zooming by arm control
  • a broken line L2 indicates zooming (optical zooming and / or electronic zooming) by the camera head 3103.
  • the left side of the vertical axis is an axis indicating the zoom magnification by the camera head 3103, and is an axis with respect to the solid line L1.
  • the right side of the vertical axis is an axis indicating a working distance (WD) that is the distance from the tip of the lens of the lens barrel 3101 to the subject, and is an axis with respect to the broken line L2.
  • the initial value of the zoom magnification by the camera head 3103 is 1 and the initial value of WD is L.
  • the magnification by the camera head 3103 is twice the limit value.
  • zooming by the camera head 3103 is performed before zooming by arm control.
  • the reason why the zoom by the camera head 3103 is performed before the zoom by the arm control is because the zoom operation by the camera head 3103 is faster than the zoom operation by the arm control.
  • the zoom operation by the arm control takes time for the arm unit 3303 to start moving, it is preferable that the zoom operation by the camera head 3103 is performed before the zoom operation by the arm control.
  • the zoom magnification by the camera head 3103 starts to decrease.
  • the zoom magnification by the camera head 3103 is lowered before reaching the limit value, so that it is possible to leave room for responding to a sudden zoom operation request from the user.
  • the zoom magnification can be quickly returned to the magnification 1 according to the user's instruction, and can be dealt with immediately when the surgeon 3501 wants to see the overhead view image of the surgical site.
  • deterioration of image quality is reduced by not using the electronic zoom up to the limit magnification.
  • zooming by arm control is started. Zooming by arm control is performed when the arm unit 3303 moves and the lens approaches the subject.
  • the zoom by the camera head 3103 returns to the zoom magnification 1.
  • zooming by arm control is performed until t4, and WD becomes 1/2 of the initial value at t4. At this time, a magnification of twice the initial value is achieved by the zoom operation by the arm control.
  • the zoom operation similar to that from t1 to t4 is repeated, and the zoom magnification becomes 3 times at time t7. Similar to the time t2, the zoom magnification by the camera head 3103 begins to decrease at the time t5, and the zoom magnification by the camera head 3103 returns to 1 at the time t6. After t6, the zoom operation by the arm control is continued. At t7, the WD becomes 1/3 of the initial value by the zoom operation by the arm control. This reduces the distance between the lens and the subject, and the zoom magnification is three times the initial value.
  • the electronic zoom is inferior in image quality compared to the other two zoom methods. Therefore, when the mode that prioritizes image quality is selected, the zoom operation is performed with priority given to the optical zoom and the zoom operation by arm control.
  • FIG. 8 is a diagram showing the relationship between each zoom operation when the image quality priority mode is selected.
  • a solid line L1 in FIG. 8 indicates an optical zoom operation
  • a broken line L2 indicates a zoom operation by arm control
  • a dotted line L3 indicates a zoom operation by an electronic zoom.
  • the operation from t1 to t6 corresponds to the zoom operation shown in FIG.
  • the zoom operation by the optical zoom is performed as the zoom operation by the camera head 3103 shown in FIG.
  • the magnification is three times the initial value at time t6.
  • the optical zoom is performed before the electronic zoom.
  • the magnification becomes 6 times the initial value.
  • the electronic zoom is finally performed.
  • the magnification becomes 12 times the initial value.
  • the zoom operation when the mode that prioritizes image quality is selected has been explained.
  • an operation when a mode in which the zooming speed is prioritized is selected will be described.
  • the response speed as the zoom operation is the fastest with the electronic zoom and the fastest with the optical zoom.
  • the zoom operation by the arm control is inferior in terms of the response speed of the zoom operation as compared with the zoom operation by the other two methods.
  • FIG. 9 is a diagram illustrating a relationship between zoom operations when the speed priority mode is selected.
  • the correspondence relationship between the dotted lines in FIG. 9 is the same as that in FIG. 8, the solid line L1 indicates the optical zoom operation, the broken line L2 indicates the zoom operation by the arm control, and the dotted line L3 indicates the zoom operation by the electronic zoom.
  • the zoom magnification by the electronic zoom decreases, and the optical zoom and the zoom by the arm control are continuously performed.
  • the zoom magnification by the optical zoom starts to decrease, and the zoom operation by the arm control is continuously performed.
  • the magnification of the electronic zoom and optical zoom returns to 1x. Then, the WD from the front end of the lens to the subject becomes 1/2 of the initial value by arm control, so that the zoom magnification by arm control is doubled. Accordingly, the zoom magnification as a whole is doubled.
  • the zoom operation is performed in the order of electronic zoom, optical zoom, and zoom by arm control, as in t1 to t6.
  • the magnification of the electronic zoom and the optical zoom is returned to 1.
  • the zoom magnification by the arm control is 3 times as the WD becomes 1/3 of the initial value. Therefore, the overall zoom magnification is three times.
  • the zoom operation is performed in the descending order of the response speed to the zoom operation, so that it is possible to quickly respond to the zoom instruction from the user.
  • the electronic zoom and the optical zoom are performed before the zoom operation by the arm control, it is possible to gain time for moving the arm.
  • the position of a part of the arm portion 3303 or the endoscope 3100 attached to the tip of the arm may be fixed by a trocar or the like. Further, even in a surgical microscope or the like, there may be a case where it is desired to limit the movement of the arm from the viewpoint of securing the operator's visual field or securing the surgical field.
  • the zoom operation in the endoscopic surgery system 3000 according to the present disclosure performs optical zoom or electronic zoom by the camera head 3103 with priority over the zoom operation by arm control. As a result, the position of the arm is controlled so as not to change as much as possible.
  • the zoom operation by the arm control is performed in addition to the zoom by the camera head 3103 (electronic zoom and optical zoom), so that only the zoom by the camera head 3103 is supported. You can zoom to a magnification that is not possible. Therefore, the display image can be enlarged or reduced to a magnification desired by the operator 3501 or the assistant.
  • an image quality priority mode and a speed priority mode are provided, and the zoom operation used is changed according to the selected mode, so that the display image is enlarged or reduced according to the image quality or speed desired by the operator 3501 or the assistant. Can be reduced.
  • FIG. 10 is a diagram illustrating an example of a captured image of the surgical site captured by the imaging unit 3107.
  • various surgical tools 3200 are used.
  • the operator 3501 excises the affected part using the energy treatment tool 3203
  • the assistant uses the forceps 3205 to pick up the affected part and assists the operator 3501.
  • surgeon 3501 and the assistant perform different treatments, the field of view they want is different. For example, since the surgeon 3501 performs a fine treatment such as cutting the affected part using the energy treatment tool 3203, the surgeon 3501 desires an enlarged image of the surgical part. On the other hand, since the assistant wants to confirm whether or not the surgical instrument 3200 has damaged other organs, the assistant desires an overhead view image including the entire surgical instrument 3200.
  • the CCU 3401 outputs the area indicated by the dotted line in FIG. 10 to the main monitor for the operator 3501, and outputs the area indicated by the solid line in FIG. 10 to a sub-monitor different from the main monitor for the assistant.
  • the region indicated by the solid line in FIG. 10 includes three surgical tools (one energy treatment tool 3203 and two forceps 3205), and all the tips of the three surgical tools 3200 are solid lines in FIG. It is contained in the captured image shown by.
  • “the tips of all the surgical tools 3200 are included” means that the tips of all the surgical tools 3200 included in the captured image are included in the captured image.
  • FIG. 11 is a flowchart showing the display image sorting operation described above.
  • the CCU 3401 detects the surgical instrument 3200.
  • the CCU 3401 determines whether the detected surgical instrument 3200 is a surgical instrument 3200 for an operator or a surgical instrument 3200 for an assistant.
  • the CCU 3401 determines whether or not the tips of all the surgical tools 3200 included in the captured image are included in the captured image.
  • the process proceeds to S308.
  • the CCU 3401 outputs an enlarged image including the surgical instrument 3200 for the surgeon to the main monitor, and outputs an image including the tips of all the surgical instruments 3200 to the sub-monitor as assistant overhead images.
  • the enlarged image is created by cutting out a part of the captured image and performing electronic zoom.
  • step S302 if the CCU 3401 determines that the tips of all the surgical tools 3200 are not included in the captured image, the process proceeds to S304.
  • step S ⁇ b> 304 the CCU 3401 sends control information for controlling the arm unit 3303 to the arm control device 3407 in order to perform a zoom operation by arm control.
  • the control information sent here may include information on the amount or speed of movement of the arm unit 3303 or the position of the surgical instrument 3200.
  • the arm control device 3407 calculates the movement amount of the arm unit 3303 and moves the arm unit 3303 (S306). Next, the process returns to S300, and S300 to S306 are repeated. That is, when the arm control device 3407 moves the arm unit 3303, the CCU 3401 determines whether or not the tips of all the surgical tools 3200 are included in the captured image. If the tips of all the surgical tools 3200 are not included, the CCU 3401 sends control information, and the arm control device 3407 moves the arm unit 3303 based on the control information.
  • the zoom-out is performed by moving the arm portion 3303 by repeating the processing from S300 to S306. If the CCU 3401 determines that all the tips of the surgical instrument 3200 are included in the captured image in S302, the CCU 3401 outputs an enlarged image including the surgical instrument 3200 of the operator 3501 to the main monitor (S308). Also, the CCU 3401 outputs an image including the tips of all the surgical tools 3200 to the sub-monitor (S308).
  • the detection of the surgical instrument 3200 in S300 is performed by detecting the shape and / or color of the edge of the surgical instrument 3200, the luminance gradient of the surgical instrument 3200, and the like as described above.
  • the detection of the surgical tool 3200 may be performed using machine learning.
  • the endoscopic operation system 3000 stores the shape and / or color of the edge of the surgical instrument 3200 and the brightness gradient pattern of the surgical instrument 3200 for each surgical instrument 3200, and pattern matching is performed. May be made by:
  • the surgical tool 3200 such as the forceps 3205 used by the assistant basically does not move much
  • the CCU 3401 detects the movement of the surgical tool 3200 and the moving surgical tool 3200 is the surgical tool 3200 used by the surgeon 3501. It may be determined that there is.
  • the zoom position and the enlargement ratio were determined according to the detection result of the surgical instrument 3200.
  • the identification of the affected area can be based on a learning process similar to the detection process of the surgical instrument 3200, or can be detected based on the result of observation with special light (narrowband light, fluorescence excitation light). It is also possible to do.
  • the display image for the operator and the display image for the assistant can be distributed to different monitors. Therefore, the display image can be provided at the angle of view desired by the operator 3501 or the assistant.
  • the zoom operation by the arm control may be performed after the optical zoom is performed. This allows a greater zoom out and provides the images desired by the surgeon 3501 and assistant.
  • the optical zoom has a faster response speed than the zoom by arm control, it is possible to gain time for the arm unit 3303 to start moving.
  • An image control unit that controls processing of a captured image from the camera;
  • An arm control unit that controls the movement of the arm unit that supports the camera,
  • One of the image control unit and the arm control unit is a medical information processing apparatus that performs control based on control information from the other.
  • the image control unit detects a treatment tool from a captured image captured by the camera;
  • the medical information processing apparatus according to (1), wherein the image control unit changes a cutout position of the captured image according to the detected movement of the treatment tool.
  • the image control unit sends control information to the arm control unit based on the detected movement of the treatment tool, The medical device according to any one of (1) and (2), wherein the arm control unit calculates a movement amount for moving the arm unit based on the control information received from the image control unit. Information processing device.
  • the arm control unit sends the calculated movement amount of the arm unit to the image control unit, The medical information processing apparatus according to (3), wherein the image control unit changes a cutout position of the captured image based on a movement amount of the arm unit received from the arm control unit.
  • the image control unit sends control information for controlling the arm unit to the arm control unit, either (3) or (4) The medical information processing apparatus according to item 1.
  • the image control unit sends an enlargement instruction to the camera, When the image control unit determines that enlargement by movement of the arm unit is more suitable than enlargement by the camera,
  • the medical information processing apparatus according to any one of (1) to (5), wherein the image control unit sends control information for controlling the arm unit to the arm control unit.
  • Enlarging with the camera includes optical zoom and electronic zoom, The medical information processing apparatus according to (6), wherein the image control unit controls the optical zoom before the electronic zoom when a mode that prioritizes image quality is selected.
  • Enlarging with the camera includes optical zoom and electronic zoom
  • the medical information processing apparatus according to (6), wherein the image control unit controls the electronic zoom prior to the optical zoom when a mode that prioritizes a speed of enlarging an image is selected.
  • Processing equipment (10)
  • the image control unit detects a plurality of treatment tools from a captured image captured by the camera, The medical control apparatus according to any one of (1) to (9), wherein the image control unit performs a reduction process so that the detected distal ends of the plurality of treatment instruments are all included in the captured image.
  • Information processing device is any one of (1) to (9).
  • the image control unit further detects the type of the treatment tool, The medical information processing apparatus according to (10), wherein the image control unit cuts out the captured image so that a treatment tool for an operator is included in a display image.
  • Controlling the processing of captured images from the camera Controlling the movement of the arm that supports the camera;
  • One of the control of the process of the captured image or the control of the movement of the arm unit includes a control based on control information by the other control.
  • a camera for capturing images An image control unit that controls processing of a captured image from the camera; An arm for supporting the camera; An arm control unit that controls the movement of the arm unit that supports the camera,
  • One of the image control unit and the arm control unit is a medical information processing system configured to perform control based on control information from the other.

Abstract

【課題】従来の手術装置は、撮像画像の切り出し位置のみを制御するので腹腔鏡手術において限られた範囲の画像制御しか行わない。 【解決手段】カメラからの撮像画像の処理を制御する画像制御部と、前記カメラを支持するアームの動きを制御するアーム制御部と、を有し、前記画像制御部及び前記アーム制御部の一方は、他方からの制御情報に基づいて前記制御を行う、医療用情報処理装置。

Description

医療用情報処理装置、情報処理方法、医療用情報処理システム
　本開示は、医療用情報処理装置、情報処理方法、医療用情報処理システムに関する。
　近年、患者への負担が小さい内視鏡を用いた内視鏡手術が多く行われている。内視鏡手術においては、内視鏡を用いて患者の腹腔内を撮像し、内視鏡が撮像する撮像画像をディスプレイに表示しながら手術が行われる。
　特許文献１には、上述したような内視鏡手術に用いられる内視鏡下手術装置が開示されている。特許文献１に開示された手術装置は、内視鏡の撮像画像から処置具の先端の位置を検出し、検出結果に基づいて撮像画像の一部を切り出してモニタに拡大表示することが開示されている。
特開平８－１６４１４８号公報
　特許文献１に開示されている手術装置は、撮像画像の切り出し位置を制御する。しかし撮像画像の切り出し位置では、内視鏡手術において撮像できる範囲が限られる。
　そこで本開示では、カメラを支持するアーム部の動きを制御することによって、操作者または術者が望む多様な撮像を行う情報処理装置が提案される。
　本開示によれば、カメラからの撮像画像の処理を制御する画像制御部と、前記カメラを支持するアーム部の動きを制御するアーム制御部と、を有し、前記画像制御部及び前記アーム制御部の一方は、他方からの制御情報に基づいて制御を行う、医療用情報処理装置が提供される。
　以上説明したように本開示によれば、操作者または術者が望む多様な撮像を行うことができる。
　なお、上記の効果は必ずしも限定されず、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
図１は、内視鏡手術システムの概略的な構成の一例を示す図である。 図２は、図１に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 図３は、図１で示した手術システムの構成の一部を示すブロック図である。 図４Ａは、本開示の術具の追跡を行う動作におけるＣＣＵの処理の一例を示すフロー図である。 図４Ｂは、本開示の術具の追跡を行う動作におけるアーム制御装置の処理の一例を示すフロー図である。 図５は、本開示の術具の追跡を行う動作の一例を示すフロー図である。 図６Ａは、本開示のアーム制御によるズーム動作におけるＣＣＵの処理の一例を示すフロー図である。 図６Ｂは、本開示のアーム制御によるズーム動作におけるアーム制御装置の処理の一例を示すフロー図である。 図７は、図６で示したアーム制御によるズーム動作の遷移を示す図である。 図８は、図６で示したアーム制御によるズーム動作の遷移の他の例を示す図である。 図９は、図６で示したアーム制御によるズーム動作の遷移の他の例を示す図である。 図１０は、本開示の術具の種類に基づく表示画像の振り分け動作を示す図である。 図１１は、図１０で示した術具の種類に基づく表示画像の振り分け動作を示すフロー図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行う。
　１．手術システムの構成例
　２．第１の実施形態
　３．第２の実施形態
　４．第３の実施形態
　５．補足
　６．むすび
　＜１．手術システムの構成例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
　図１は、本開示に係る技術が適用され得る内視鏡手術システム３０００の概略的な構成の一例を示す図である。図１では、術者（医師）３５０１が、内視鏡手術システム３０００を用いて、患者ベッド３５０３上の患者３５０５に手術を行っている様子が図示されている。図示するように、内視鏡手術システム３０００は、内視鏡３１００と、その他の術具３２００と、内視鏡３１００を支持する支持アーム装置３３００と、内視鏡下手術のための各種の装置が搭載されたカート３４００と、から構成される。
　内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ３２０７ａ～３２０７ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ３２０７ａ～３２０７ｄから、内視鏡３１００の鏡筒３１０１や、その他の術具３２００が患者３５０５の体腔内に挿入される。図示する例では、その他の術具３２００として、気腹チューブ３２０１、エネルギー処置具３２０３及び鉗子３２０５が、患者３５０５の体腔内に挿入されている。また、エネルギー処置具３２０３は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具３２００はあくまで一例であり、術具３２００としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
　内視鏡３１００によって撮影された患者３５０５の体腔内の術部の画像が、表示装置３４０３に表示される。術者３５０１は、表示装置３４０３に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具３２０３や鉗子３２０５を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ３２０１、エネルギー処置具３２０３及び鉗子３２０５は、手術中に、術者３５０１又は助手等によって支持される。
　（支持アーム装置）
　支持アーム装置３３００は、ベース部３３０１から延伸するアーム部３３０３を備える。図示する例では、アーム部３３０３は、関節部３３０５ａ、３３０５ｂ、３３０５ｃ、及びリンク３３０７ａ、３３０７ｂから構成されており、アーム制御装置３４０７からの制御により駆動される。アーム部３３０３によって内視鏡３１００が支持され、その位置及び姿勢が制御される。これにより、内視鏡３１００の安定的な位置の固定が実現され得る。
　（内視鏡）
　内視鏡３１００は、先端から所定の長さの領域が患者３５０５の体腔内に挿入される鏡筒３１０１と、鏡筒３１０１の基端に接続されるカメラヘッド３１０３と、から構成される。図示する例では、硬性の鏡筒３１０１を有するいわゆる硬性鏡として構成される内視鏡３１００を図示しているが、内視鏡３１００は、軟性の鏡筒３１０１を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒３１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡３１００には光源装置３４０５が接続されており、当該光源装置３４０５によって生成された光が、鏡筒３１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者３５０５の体腔内の観察対象に向かって照射される。なお、内視鏡３１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド３１０３の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera　Control　Unit）３４０１に送信される。なお、カメラヘッド３１０３には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
　なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド３１０３には撮像素子が複数設けられてもよい。この場合、鏡筒３１０１の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
　（カートに搭載される各種の装置）
　ＣＣＵ３４０１は、ＣＰＵ（Central　Processing　Unit）やＧＰＵ（Graphics　Processing　Unit）等によって構成され、内視鏡３１００及び表示装置３４０３の動作を統括的に制御する。具体的には、ＣＣＵ３４０１は、カメラヘッド３１０３から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ３４０１は、当該画像処理を施した画像信号を表示装置３４０３に提供する。また、ＣＣＵ３４０１は、カメラヘッド３１０３に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
　表示装置３４０３は、ＣＣＵ３４０１からの制御により、当該ＣＣＵ３４０１によって画像処理が施された画像信号に基づく画像を表示する。内視鏡３１００が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置３４０３としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置３４０３として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置３４０３が設けられてもよい。
　光源装置３４０５は、例えばＬＥＤ（light　emitting　diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡３１００に供給する。
　アーム制御装置３４０７は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置３３００のアーム部３３０３の駆動を制御する。
　入力装置３４０９は、内視鏡手術システム３０００に対する入力インタフェースである。ユーザは、入力装置３４０９を介して、内視鏡手術システム３０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置３４０９を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置３４０９を介して、アーム部３３０３を駆動させる旨の指示や、内視鏡３１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具３２０３を駆動させる旨の指示等を入力する。
　入力装置３４０９の種類は限定されず、入力装置３４０９は各種の公知の入力装置であってよい。入力装置３４０９としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ３４１９及び／又はレバー等が適用され得る。入力装置３４０９としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置３４０３の表示面上に設けられてもよい。
　あるいは、入力装置３４０９は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head　Mounted　Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置３４０９は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置３４０９は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置３４０９が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者３５０１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
　処置具制御装置３４１１は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具３２０３の駆動を制御する。気腹装置３４１３は、内視鏡３１００による視野の確保及び術者の作業空間の確保の目的で、患者３５０５の体腔を膨らめるために、気腹チューブ３２０１を介して当該体腔内にガスを送り込む。レコーダ３４１５は、手術に関する各種の情報を記録可能な装置である。プリンタ３４１７は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　以下、内視鏡手術システム３０００において特に特徴的な構成について、更に詳細に説明する。
　（支持アーム装置）
　支持アーム装置３３００は、基台であるベース部３３０１と、ベース部３３０１から延伸するアーム部３３０３と、を備える。図示する例では、アーム部３３０３は、複数の関節部３３０５ａ、３３０５ｂ、３３０５ｃと、関節部３３０５ｂによって連結される複数のリンク３３０７ａ、３３０７ｂと、から構成されているが、図１では、簡単のため、アーム部３３０３の構成を簡略化して図示している。実際には、アーム部３３０３が所望の自由度を有するように、関節部３３０５ａ～３３０５ｃ及びリンク３３０７ａ、３３０７ｂの形状、数及び配置、並びに関節部３３０５ａ～３３０５ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部３３０３は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部３３０３の可動範囲内において内視鏡３１００を自由に移動させることが可能になるため、所望の方向から内視鏡３１００の鏡筒３１０１を患者３５０５の体腔内に挿入することが可能になる。
　関節部３３０５ａ～３３０５ｃにはアクチュエータが設けられており、関節部３３０５ａ～３３０５ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置３４０７によって制御されることにより、各関節部３３０５ａ～３３０５ｃの回転角度が制御され、アーム部３３０３の駆動が制御される。これにより、内視鏡３１００の位置及び姿勢の制御が実現され得る。この際、アーム制御装置３４０７は、力制御又は位置制御等、各種の公知の制御方式によってアーム部３３０３の駆動を制御することができる。
　例えば、術者３５０１が、入力装置３４０９（フットスイッチ３４１９を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置３４０７によってアーム部３３０３の駆動が適宜制御され、内視鏡３１００の位置及び姿勢が制御されてよい。当該制御により、アーム部３３０３の先端の内視鏡３１００を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部３３０３は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部３３０３は、手術室から離れた場所に設置される入力装置３４０９を介してユーザによって遠隔操作され得る。
　また、力制御が適用される場合には、アーム制御装置３４０７は、ユーザからの外力を受け、その外力にならってスムーズにアーム部３３０３が移動するように、各関節部３３０５ａ～３３０５ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部３３０３に触れながらアーム部３３０３を移動させる際に、比較的軽い力で当該アーム部３３０３を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡３１００を移動させることが可能となり、ユーザの利便性を向上させることができる。
　ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡３１００が支持されていた。これに対して、支持アーム装置３３００を用いることにより、人手によらずに内視鏡３１００の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
　なお、アーム制御装置３４０７は必ずしもカート３４００に設けられなくてもよい。また、アーム制御装置３４０７は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置３４０７は、支持アーム装置３３００のアーム部３３０３の各関節部３３０５ａ～３３０５ｃにそれぞれ設けられてもよく、複数のアーム制御装置３４０７が互いに協働することにより、アーム部３３０３の駆動制御が実現されてもよい。
　（カメラヘッド及びＣＣＵ）
　図２を参照して、内視鏡３１００のカメラヘッド３１０３及びＣＣＵ３４０１の機能についてより詳細に説明する。図２は、図１に示すカメラヘッド３１０３及びＣＣＵ３４０１の機能構成の一例を示すブロック図である。
　図２を参照すると、カメラヘッド３１０３は、その機能として、レンズユニット３１０５と、撮像部３１０７と、駆動部３１０９と、通信部３１１１と、カメラヘッド制御部３１１３と、を有する。また、ＣＣＵ３４０１は、その機能として、通信部３４２１と、画像処理部３４２３と、制御部３４２５と、を有する。カメラヘッド３１０３とＣＣＵ３４０１とは、伝送ケーブル３４２７によって双方向に通信可能に接続されている。
　まず、カメラヘッド３１０３の機能構成について説明する。レンズユニット３１０５は、鏡筒３１０１との接続部に設けられる光学系である。鏡筒３１０１の先端から取り込まれた観察光は、カメラヘッド３１０３まで導光され、当該レンズユニット３１０５に入射する。レンズユニット３１０５は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット３１０５は、撮像部３１０７の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
　撮像部３１０７は撮像素子によって構成され、レンズユニット３１０５の後段に配置される。レンズユニット３１０５を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部３１０７によって生成された画像信号は、通信部３１１１に提供される。
　撮像部３１０７を構成する撮像素子としては、例えばＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者３５０１は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
　また、撮像部３１０７を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者３５０１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部３１０７が多板式で構成される場合には、各撮像素子に対応して、レンズユニット３１０５も複数系統設けられる。
　また、撮像部３１０７は、必ずしもカメラヘッド３１０３に設けられなくてもよい。例えば、撮像部３１０７は、鏡筒３１０１の内部に、対物レンズの直後に設けられてもよい。
　駆動部３１０９は、アクチュエータによって構成され、カメラヘッド制御部３１１３からの制御により、レンズユニット３１０５のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部３１０７による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部３１１１は、ＣＣＵ３４０１との間で各種の情報を送受信するための通信装置によって構成される。通信部３１１１は、撮像部３１０７から得た画像信号をＲＡＷデータとして伝送ケーブル３４２７を介してＣＣＵ３４０１に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者３５０１が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部３１１１には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル３４２７を介してＣＣＵ３４０１に送信される。
　また、通信部３１１１は、ＣＣＵ３４０１から、カメラヘッド３１０３の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部３１１１は、受信した制御信号をカメラヘッド制御部３１１３に提供する。なお、ＣＣＵ３４０１からの制御信号も、光通信によって伝送されてもよい。この場合、通信部３１１１には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部３１１３に提供される。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ３４０１の制御部３４２５によって自動的に設定される。つまり、いわゆるＡＥ（Auto　Exposure）機能、ＡＦ（Auto　Focus）機能及びＡＷＢ（Auto　White　Balance）機能が内視鏡３１００に搭載される。
　カメラヘッド制御部３１１３は、通信部３１１１を介して受信したＣＣＵ３４０１からの制御信号に基づいて、カメラヘッド３１０３の駆動を制御する。例えば、カメラヘッド制御部３１１３は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部３１０７の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部３１１３は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部３１０９を介してレンズユニット３１０５のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部３１１３は、更に、鏡筒３１０１やカメラヘッド３１０３を識別するための情報を記憶する機能を備えてもよい。
　なお、レンズユニット３１０５や撮像部３１０７等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド３１０３について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
　次に、ＣＣＵ３４０１の機能構成について説明する。通信部３４２１は、カメラヘッド３１０３との間で各種の情報を送受信するための通信装置によって構成される。通信部３４２１は、カメラヘッド３１０３から、伝送ケーブル３４２７を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部３４２１には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部３４２１は、電気信号に変換した画像信号を画像処理部３４２３に提供する。
　また、通信部３４２１は、カメラヘッド３１０３に対して、カメラヘッド３１０３の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
　画像処理部３４２３は、カメラヘッド３１０３から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise　reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部３４２３は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
　画像処理部３４２３は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部３４２３が複数のＧＰＵによって構成される場合には、画像処理部３４２３は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
　制御部３４２５は、内視鏡３１００による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部３４２５は、カメラヘッド３１０３の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部３４２５は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡３１００にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部３４２５は、画像処理部３４２３による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
　また、制御部３４２５は、画像処理部３４２３によって画像処理が施された画像信号に基づいて、術部の画像を表示装置３４０３に表示させる。この際、制御部３４２５は、各種の画像技術を用いて術部画像内における各種の物体を認識する。例えば、制御部３４２５は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具３２０３使用時のミスト等を認識することができる。制御部３４２５は、表示装置３４０３に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者３５０１に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
　カメラヘッド３１０３及びＣＣＵ３４０１を接続する伝送ケーブル３４２７は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル３４２７を用いて有線で通信が行われていたが、カメラヘッド３１０３とＣＣＵ３４０１との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル３４２７を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル３４２７によって妨げられる事態が解消され得る。
　なお、ここでは、一例として内視鏡手術システム３０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
　＜２．第１の実施形態＞
　（術具の追跡動作）
　以上、本実施形態に係る内視鏡手術システム３０００の構成が示された。以下では、上述した内視鏡手術システム３０００における術具３２００の追跡動作ついて説明される。上述したようにＣＣＵ３４０１は、カメラヘッド３１０３から画像信号を受信し、受信した画像信号に基づいて物体を認識する。本開示の内視鏡手術システム３０００においては、認識した術具３２００を追跡する動作がなされる。なお、カメラヘッド３１０３は撮像を行うカメラの一例であり、ＣＣＵ３４０１は撮像画像の処理を制御する画像制御部の一例である。
　また、術具３２００の検出は、上述したように術具３２００のエッジの形状及び／または色等を検出することによって行われる。しかし、術具３２００の検出は他の方法によって行われてもよく、例えば術具３２００の検出は術具３２００の輝度勾配を検出することによって行われてもよい。これは、術具３２００の輝度勾配は一様（一定方向に一定）である一方、臓器などの術具３２００以外の物体の輝度勾配は一様ではないことに基づく。また、術具３２００の検出は機械学習を用いて行われてもよい。機械学習を用いることによって、使用されるたびに術具３２００の検出精度は向上される。これは、手術システムという誤認識が許容されないシステムにおいて極めて有効である。
　図３は、本開示における術具３２００の追跡動作の一例を示す図である。図３中の実線で示される枠は、撮像部３１０７の撮像素子で撮像される撮像領域１００を示す。また、図３中の点線で示される枠は、ＣＣＵ３４０１が表示装置３４０３に送信する表示領域２００を示す。一般的に撮像領域１００は表示領域２００よりも大きく、ＣＣＵ３４０１は撮像領域１００から表示領域２００を切り出して表示装置３４０３に表示領域２００が送信される。
　また、図３の上段は、表示領域２００が表示装置３４０３において表示されている様子を示す。図３の下段は、撮像領域１００と表示領域２００との関係を示している。図３の上段では、患者３５０５の臓器等の撮像対象物３００と鉗子３２０５等の術具３２００が撮像されている様子が示されている。
　図３のＡは初期状態であり、術具３２００の先端付近が表示領域２００の中央に位置している。次に図３のＢは、術者３５０１または助手が術具３２００を動かすことなどによって、術具３２００が右方向に移動している様子を示している。
　このとき図３Ｂの下段で示されるように、ＣＣＵ３４０１は、検出されている術具３２００の動きを追跡するために表示領域２００の切り出し位置を右側に変更する。このように、ＣＣＵ３４０１が術具３２００の動きに応じて表示領域２００の切り出し位置を変更することによって、術具３２００の先端付近が表示領域２００の中央に保たれる。術具３２００の先端が表示領域２００の中央に保たれることによって、術者３５０１または助手は処置が行いやすくなる。
　次に図３のＣは、図３のＢからさらに術具３２００が右に移動した場合を示す図である。図３のＣでは、術具３２００の先端は、初期状態の撮像領域１００（Ａ及びＢの撮像領域１００）の範囲外に位置することになる。このときＣＣＵ３４０１は、アーム部３３０３を動かして術具３２００を追跡するようにアーム制御装置３４０７に対して制御情報を送る。ＣＣＵ３４０１から制御情報を受け取ったアーム制御装置３４０７は、アーム部３３０３を動かし、術具３２００の追跡を行う。なお、アーム制御装置３４０７は、アーム部３３０３の制御を行うアーム制御部の一例である。
　このとき、術具３２００の先端が表示領域２００の中央に保たれるように、図３Ｃの下段で示すようにＣＣＵ３４０１は、表示領域２００の切り出し位置を鉗子３２０５の移動方向（図３Ｃの上図では右側）とは反対の方向（図３Ｃの下図では左側）に変更する。これによって、表示領域２００は撮像領域１００の中央になり、次に切り出し位置の変更を行うための領域が確保される。
　このように表示領域２００の切り出し位置の変更では術具３２００の動きに対応できない場合に、ＣＣＵ３４０１は、アーム部３３０３を動かすように制御情報をアーム制御装置３４０７に送信する。これによって、より広い範囲において術具３２００の追跡が可能となる。
　なお、アーム部３３０３の剛性によっては、アーム移動後にカメラブレが発生する可能性がある。このときＣＣＵ３４０１は、表示領域の切り出し位置変更を行うことによってこのカメラブレを補正するように構成されてもよい。このカメラブレの補正は、ＣＣＵ３４０１が画像処理をすることによって、またはアーム部３３０３にジャイロセンサを取り付けることによって行われる。
　図４Ａは、上述した術具３２００の追跡動作におけるＣＣＵ３４０１の処理を示すフロー図である。Ｓ１００においてＣＣＵ３４０１は、術具３２００の動きを検出する。次にＳ１０２において、ＣＣＵ３４０１は、術具３２００の動きが表示領域２００の切り出し位置の変更で対応可能か否かを判断する。
　Ｓ１０２において術具３２００の動きが表示領域２００の切り出し位置の変更で対応可能である場合、処理はＳ１０８に進む。Ｓ１０８において、ＣＣＵ３４０１は、術具３２００の動きに応じて表示領域２００の切り出し位置の変更を行う。
　Ｓ１０２において術具３２００の動きが表示領域２００の切り出し位置の変更で対応できない場合、ＣＣＵ３４０１はアーム制御装置３４０７にアーム部３３０３を制御するための制御情報を送る（Ｓ１０４）。
　Ｓ１０４で送信された制御情報に基づいてアーム制御装置３４０７がアーム部３３０３を移動させると、アーム制御装置３４０７はアーム移動情報をＣＣＵ３４０１に送信し、ＣＣＵ３４０１は、アーム移動情報を受信する（Ｓ１０６）。
　そしてＳ１０８においてＣＣＵ３４０１は、アーム制御装置３４０７から受信したアーム移動情報に基づいて表示領域２００の切り出し位置を変更する。この表示領域２００の切り出し位置の変更は、Ｓ１１０によるアーム部３３０３の移動の方向とは反対方向となるように行われる。
　次に術具３２００の追跡動作におけるアーム制御装置３４０７の処理が説明される。図４Ｂは、術具３２００の追跡動作におけるアーム制御装置３４０７の処理を示すフロー図である。図４ＡのＳ１０４においてＣＣＵ３４０１が制御情報を送信すると、Ｓ１１０においてアーム制御装置３４０７は当該制御情報を受信する。
　次にＳ１１２において、アーム制御装置３４０７は、ＣＣＵ３４０１から受け取った制御情報に基づいてアーム部３３０３を移動させるアーム移動量を算出する。次にＳ１１４において、アーム制御装置３４０７は、算出されたアーム移動量に基づいてアーム部３３０３を移動させる。Ｓ１１４において、アーム部３３０３が移動すると、Ｓ１１６においてアーム制御装置３４０７はアーム移動情報をＣＣＵ３４０１に送る。
　なお、図４ＡのＳ１０２における判断は、様々な方法で行われてもよい。例えば、撮像領域１００内に所定の枠が予め設定され、術具３２００の先端がその所定の枠を越えて移動した場合に、ＣＣＵ３４０１は表示領域２００の切り出し位置の変更では対応できないと判断してもよい。また、ＣＣＵ３４０１は、術具３２００の動きベクトルを算出し、動きベクトルのベクトル量が所定の大きさよりも大きいときに、ＣＣＵ３４０１は表示領域２００の切り出し位置の変更では対応できないと判断してもよい。この場合、ＣＣＵ３４０１は、算出したベクトル量に応じた速度および方向でアームを動かすように制御情報をアーム制御装置３４０７に送信してもよい。
　また、上述した例では図４ＢのＳ１１６においてアーム制御装置３４０７はアーム移動情報をＣＣＵ３４０１に送信し、ＣＣＵ３４０１は当該アーム移動情報に基づいて切り出し位置の変更を行った。しかしＣＣＵ３４０１は、画像検出によって術具３２００を検出し、検出された術具３２００の先端付近が表示領域２００の中央になるように表示領域２００の切り出し位置の変更を行ってもよい。なお、ＣＣＵ３４０１が図４ＡのＳ１０６で受け取るアーム移動情報に基づいて表示領域２００の切り出し位置を変更する場合、ＣＣＵ３４０１は画像検出を行わないので、ＣＣＵ３４０１は切り出し位置の変更を少ない処理負担で行うことができる。
　以上では、本開示の手術システムにおいて術具３２００の追跡を行う際の動作例について説明された。以下では、図５を参照して上述した術具３２００の追跡を行う際の各装置間で送受信される情報が示される。
　上述したように、ＣＣＵ３４０１はカメラヘッド３１０３から画像信号を受信し、受信した画像信号を処理する。また、ＣＣＵ３４０１は、カメラヘッド３１０３における倍率または焦点距離等を変更するためのカメラヘッド制御信号をカメラヘッド３１０３に送信する。
　一方アーム制御装置３４０７は、アーム部３３０３に外力が加えられたことを示す外力情報をアーム部３３０３から受信する。また、アーム制御装置３４０７は、アーム部３３０３を制御するためのアーム制御信号をアーム部３３０３に送信する。
　ＣＣＵ３４０１とアーム制御装置３４０７との間では、上述したアーム部３３０３の移動による術具３２００の追跡を行うために制御情報が送受信される。ＣＣＵ３４０１は、図４ＡのＳ１０４で示した制御情報として、例えば術具３２００の位置情報または表示領域２００の切り出し位置情報をアーム制御装置３４０７に送信する。また、ＣＣＵ３４０１は、制御情報として、検出された術具３２００の動きに関するベクトル量をアーム制御装置３４０７に送信してもよい。ＣＣＵ３４０１がベクトル量を送信することによって、アーム制御装置３４０７は、アーム部３３０３の動作を術具３２００の動きの速度及び方向に合わせて制御することができる。
　また、アーム制御装置３４０７は、図４ＢのＳ１１６で示したアーム移動情報として、例えばアームの位置情報または移動速度または移動方向をＣＣＵ３４０１に送信する。また、アーム制御装置３４０７は、アーム移動情報としてアーム部３３０３の移動に関するベクトル量をＣＣＵ３４０１に送信してもよい。アーム制御装置３４０７がベクトル量を送信することによって、ＣＣＵ３４０１は、表示領域２００の切り出し位置変更をアーム部３３０３の動きの速度及び方向に合わせて制御することができる。
　そして、ＣＣＵ３４０１は、カメラヘッド３１０３から受け取った画像信号を処理し、撮像領域１００から表示領域２００を切り出して表示装置３４０３に送信する。
　なお、図４ＡのＳ１０２において、切り出し位置の変更で対応できない場合、術具３２００が撮像領域１００内に存在しない可能性がある。この場合、ＣＣＵ３４０１は、撮像部３１０７の撮像素子で撮像される撮像領域１００の過去フレームを記憶しておいてもよい。そしてＣＣＵ３４０１およびアーム制御装置３４０７は、当該過去フレームにおける術具３２００の動きに関する情報（例えば、動きベクトル量）を用いてアーム制御による術具３２００の追跡動作を行ってもよい。また、術具３２００が撮像領域１００内に存在するようになった場合、アーム制御装置３４０７は、術具３２００の先端が撮像領域１００の中央付近となるようにＣＣＵ３４０１と協働してアームを制御してもよい。
　（第１の実施形態のむすび）
　上述したように本開示の手術システムでは、ＣＣＵ３４０１が表示領域２００の切り出し位置変更によって術具３２００の追跡を行うだけではなく、アーム制御装置３４０７がカメラヘッド３１０３を支持するアーム部３３０３を移動させて術具３２００の追跡を行う。これによって、ＣＣＵ３４０１の表示領域２００の切り出し位置変更だけでは対応できない術具３２００の移動があった場合にも術具３２００の追跡が可能となる。よって、術者３５０１又は助手は、表示領域２００を変更する操作を行わなくてよく、ストレスなく手術を行うことができる。
　＜３．第２の実施形態＞
　（アーム制御によるズーム動作）
　以上では、アーム部３３０３を制御することによる術具３２００の追跡動作の例が説明された。以下では、アーム部３３０３を制御することによるズーム動作について説明される。上述したようにレンズユニット３１０５のズームレンズを光軸に沿って所定の距離だけ移動させることによって、本開示の内視鏡手術システム３０００は光学ズームを行うことができる。なお、以下に説明される「ズーム」という言葉には、特に明記されない限り「ズームイン」及び「ズームアウト」の両方の意味が含まれる。
　手術システムにおけるレンズユニット３１０５は、滅菌処理によってレンズが歪んでしまうことを考慮するため、拡大できる倍率が制限されている。よって本開示の内視鏡手術システム３０００は、カメラヘッド３１０３による光学ズームまたは電子ズームに加えて、アーム部３３０３を制御することによるズームを行う。これにより、光学ズームに加えてさらに大きいまたは小さい倍率のズームが可能となり、また電子ズームよりも高解像度の画像のズームが可能となる。なお、電子ズームは、撮像部３１０７が撮像した画像の一部を切り取って拡大することによって行われる。
　以下の表１に光学ズーム、電子ズーム、アーム制御によるズーム動作のそれぞれの特性が示される。
Figure JPOXMLDOC01-appb-T000001
　表１に示されるようにユーザからのズーム指示に対する応答速度について、電子ズームは３つのズーム方法の中で一番速く、アーム制御は３つのズーム方法の中で一番遅い。また光学ズームは両者の中間の応答速度である。次に画質については、光学ズーム及びアーム制御によるズームは高画質を保てるが、電子ズームは画質が劣化する。またカメラヘッド３１０３と被写体の間に障害物がある場合にズーム動作ができるか否か（障害物対応）については、光学ズーム及び電子ズームはズーム動作が可能であるが、アーム制御によるズーム動作はできない。
　以上では、各ズーム動作の特性が示された。以下では、カメラヘッド３１０３によるズーム動作及びアーム制御によるズーム動作を組み合わせたズーム動作について説明される。図６Ａは、カメラヘッド３１０３によるズーム動作及びアーム制御によるズーム動作を組み合わせたズーム動作におけるＣＣＵ３４０１の処理の一例を示すフロー図である。最初にＳ２００において、ユーザはズーム倍率を指定する指示を入力する。
　Ｓ２０２において、ＣＣＵ３４０１はＳ２００において指定された倍率が現在の倍率であるか否かを判定する。Ｓ２０２においてＣＣＵ３４０１が指定倍率は現在の倍率であると判定すると、処理は終了する。一方、Ｓ２０２においてＣＣＵ３４０１が指定倍率は現在の倍率と異なると判定すると、処理はＳ２０４に進む。
　Ｓ２０４において、ＣＣＵ３４０１は、Ｓ２００で指定された倍率に基づいて光学ズームまたは電子ズームを行う。次に処理はＳ２０６に進み、ＣＣＵ３４０１は光学または電子ズームの倍率が所定値に達したか否かを判定する。Ｓ２０６において、ＣＣＵ３４０１が光学または電子ズームの倍率が所定値に達していないと判定する場合、処理はＳ２０４に戻りズーム動作が繰り返される。Ｓ２０６において、ＣＣＵ３４０１が光学または電子ズームの倍率が所定値に達したと判定する場合、処理はＳ２０８に進む。
　Ｓ２０８においてＣＣＵ３４０１は、画像検出を行うことによって障害物があるか否かを判定する。Ｓ２０８においてＣＣＵ３４０１が障害物があると判定すると、アーム部３３０３が動くと危険であるため、処理は終了する。一方、Ｓ２０８においてＣＣＵ３４０１が障害物がないと判定すると、ＣＣＵ３４０１は、図４及び図５を用いて上述した制御情報をアーム制御装置３４０７に送る（Ｓ２１０）。
　Ｓ２１０で送信された制御情報に基づいてアーム制御装置３４０７がアーム部３３０３を移動させると、アーム制御装置３４０７はアーム移動情報をＣＣＵ３４０１に送信し、ＣＣＵ３４０１は、アーム移動情報を受信する（Ｓ２１２）。そしてＣＣＵ３４０１は、Ｓ２１４においてアーム制御装置３４０７から受け取ったアーム移動情報に基づいて画角及びフォーカス合わせを行う。
　次にカメラヘッド３１０３によるズーム動作及びアーム制御によるズーム動作を組み合わせたズーム動作におけるアーム制御装置３４０７の処理が説明される。図６Ｂは、カメラヘッド３１０３によるズーム動作及びアーム制御によるズーム動作を組み合わせたズーム動作におけるアーム制御装置３４０７の処理を示すフロー図である。図６ＡのＳ２１０においてＣＣＵ３４０１が制御情報を送信すると、Ｓ２１６においてアーム制御装置３４０７は当該制御情報を受信する。
　Ｓ２１８において、アーム制御装置３４０７は、ＣＣＵ３４０１から受け取った制御情報に基づいてアーム部３３０３を移動させるアーム移動量を算出する。次にＳ２２０において、アーム制御装置３４０７は、算出されたアーム移動量に基づいてアーム部３３０３を移動させる。Ｓ２２０において、アーム部３３０３が移動すると、Ｓ２２２においてアーム制御装置３４０７は、図４及び図５を用いて上述したアーム移動情報をＣＣＵ３４０１に送る。
　なお、Ｓ２０６における所定値は、光学または電子ズームの倍率の限界値であってもよい。またＳ２０６における所定値は、光学または電子ズームの倍率の限界値を下回る所定の値であってもよい。Ｓ２０６における所定値が光学及または電子ズームの倍率の限界値を下回る所定の値である場合、ＣＣＵ３４０１は光学または電子ズームを行える余地を残すことができる。これによって、ＣＣＵ３４０１は、ユーザの指示によって表示画像を俯瞰視画像にすぐに切り替えることができる。
　また、上述した例では図６ＢのＳ２２２において、アーム制御装置３４０７はアーム移動情報をＣＣＵ３４０１に送信し、ＣＣＵ３４０１は当該アーム移動情報に基づいて画角及びフォーカス合わせを行った。しかしＣＣＵ３４０１は、撮像画像のコントラスト等に基づく処理によって画角及びフォーカス合わせを行ってもよい。
　以上では、本開示の内視鏡手術システム３０００においてアーム制御によるズーム動作の動作フローが説明された。以下では、図７を用いて図６で示された本開示のズーム動作における各ズームの関係が説明される。図７の実線Ｌ１はアーム制御によるズームを示し、破線Ｌ２は、カメラヘッド３１０３によるズーム（光学ズーム及び／または電子ズーム）の動作を示す。
　縦軸の左側はカメラヘッド３１０３によるズームの倍率を示す軸であり、実線Ｌ１に対する軸である。縦軸の右側は鏡筒３１０１のレンズの先端から被写体までの距離であるワーキングディスタンス（ＷＤ）を示す軸であり、破線Ｌ２に対する軸である。
　図７においてカメラヘッド３１０３によるズームの倍率の初期値は１倍であり、ＷＤの初期値をＬとする。なお以下ではカメラヘッド３１０３による倍率は２倍が限界値であると仮定して説明がされる。
　ｔ１においてユーザがズーム指示を行うと、カメラヘッド３１０３によるズームがアーム制御によるズームの前に行われる。このようにカメラヘッド３１０３によるズームがアーム制御によるズームの前に行われる理由は、カメラヘッド３１０３によるズーム動作の方がアーム制御によるズーム動作よりも速いためである。
　また、アーム制御によるズーム動作はアーム部３３０３の動き出しに時間がかかるため、カメラヘッド３１０３によるズーム動作がアーム制御によるズーム動作よりも先に行われることが好ましい。
　次にｔ２において、カメラヘッド３１０３によるズーム倍率が限界値の２倍より小さい所定の値に達すると、カメラヘッド３１０３によるズーム倍率は下がり出す。このようにカメラヘッド３１０３によるズーム倍率が限界値に達する前に下げられることによって、急なユーザからのズーム動作要求に対応できる余地を残すことができる。例えば、ズーム倍率は、ユーザの指示によって倍率１に素早く戻ることができ、術者３５０１が術部の俯瞰画像を見たいときにすぐに対応することができる。また、電子ズームを限界倍率まで使用しないことによって、画質の劣化が低減される。
　また、ｔ２において、カメラヘッド３１０３によるズーム倍率が限界値の２倍より小さい所定の値に達すると、アーム制御によるズームが開始される。アーム制御によるズームは、アーム部３３０３が動くことによってレンズが被写体に近づくことによってなされる。次にｔ３において、カメラヘッド３１０３によるズームはズーム倍率１に戻る。そして、ｔ４までアーム制御によるズームが行われ、ｔ４においてＷＤは初期値の１／２となる。このとき、アーム制御によるズーム動作によって初期値の２倍の倍率が達成される。
　ｔ４の後、さらにユーザからズーム動作の指示がある場合、ｔ１からｔ４までと同様なズーム動作が繰り返され、ｔ７の時点でズーム倍率は３倍となる。ｔ２の時点と同様に、ｔ５の時点でカメラヘッド３１０３によるズームの倍率は減少し始め、ｔ６の時点においてカメラヘッド３１０３によるズームの倍率は１倍に戻る。ｔ６の後、アーム制御によるズーム動作が継続され、ｔ７においてアーム制御によるズーム動作によってＷＤは初期値の１／３となる。これによって、レンズと被写体との距離が小さくなり、ズーム倍率は初期値の３倍になる。
　（画質優先モード）
　以上では、本開示の内視鏡手術システム３０００におけるズーム動作の概略について説明された。以下では、ユーザによって画質を優先するモードが選択されているときの本開示の内視鏡手術システム３０００におけるズーム動作について説明される。
　上述した表１からわかるように、電子ズームは他の２つのズーム方法に比べて画質の点で劣る。よって、画質を優先するモードが選択されている場合、ズーム動作は、光学ズーム及びアーム制御によるズーム動作が優先して行われる。
　図８は、画質優先モードが選択されている場合の各ズーム動作の関係を示す図である。図８の実線Ｌ１は光学ズームの動作を示し、破線Ｌ２はアーム制御によるズームの動作を示し、点線Ｌ３は電子ズームによるズームの動作を示す。
　ｔ１からｔ６までの動作は、図７で示したズーム動作に対応する。ただし、画質優先モードでは、図７で示したカメラヘッド３１０３によるズーム動作として光学ズームによるズーム動作が行われる。図７を用いて上述したように、ｔ６の時点で倍率は初期値の３倍となっている。
　ｔ６の時点以降もユーザがズーム指示を行うと、光学ズームが電子ズームよりも先に行われる。そしてｔ７において光学ズームが限界値まで行われると、倍率は初期値の６倍となる。ｔ７以降もユーザがズーム指示を行うと、最終的に電子ズームが行われる。そしてｔ８において電子ズームが限界値まで行われると、倍率は初期値の１２倍となる。このように電子ズームが行われる前に、光学ズーム及びアーム制御によるズームが行われることによって画質が維持されたまま画像の拡大が行われる。
　以上では画質を優先するモードが選択されている場合のズーム動作について説明された。以下では、ズームが行われる速度が優先されるモードが選択された場合の動作について説明される。表１からわかるように、ズーム動作としての応答速度は、電子ズームが一番速く、次に光学ズームが速い。このようにアーム制御によるズーム動作は、他の２つの方法によるズーム動作と比べてズーム動作の応答速度の点で劣る。
　（速度優先モード）
　図９は、速度優先モードが選択されている場合の各ズーム動作の関係を示す図である。図９の点線の対応関係は図８と同様であり、実線Ｌ１は光学ズームの動作を示し、破線Ｌ２はアーム制御によるズームの動作を示し、点線Ｌ３は電子ズームによるズームの動作を示す。
　速度優先モードでは、ｔ１において一番応答速度が速い電子ズームが行われる。次にｔ２において電子ズームの次に応答速度が速い光学ズームが行われる。そしてｔ３において電子ズームの倍率が限界値である２倍になる前にアーム制御によるズームが行われる。そしてｔ４の時点において、電子ズーム、光学ズーム及びアーム制御によるズームの３つによって、倍率は初期値の２倍となる。
　ｔ４からｔ５にかけて、電子ズームによるズーム倍率は減少し、光学ズーム及びアーム制御によるズームが継続して行われる。ｔ５の時点では光学ズームによるズーム倍率が減少し始め、アーム制御によるズーム動作が継続して行われる。
　ｔ６の時点では、電子ズーム及び光学ズームの倍率は１倍まで戻る。そして、アーム制御によってレンズの先端から被写体までのＷＤが初期値の１／２になることにより、アーム制御によるズームの倍率は２倍となる。よって全体としてのズーム倍率は２倍となる。
　そしてｔ６からｔ８までは、ｔ１からｔ６と同様に、電子ズーム、光学ズーム、アーム制御によるズームの順でズーム動作が行われる。そしてｔ７からｔ８までに電子ズーム及び光学ズームの倍率は１倍に戻り、ＷＤが初期値の１／３になることによってアーム制御によるズームの倍率は３倍となる。よって全体としてのズーム倍率は３倍となる。このようにズーム動作に対する応答速度が速い順にズーム動作が行われることによって、ユーザからのズーム指示に素早く対応することができる。また、アーム制御によるズーム動作の前に電子ズーム及び光学ズームが行われることにより、アームを動かすための時間を稼ぐことができる。
　なお、内視鏡手術システム３０００においては、アーム部３３０３の一部分の位置またはアーム先端に装着される内視鏡３１００がトロッカ等によって位置が固定される場合がありうる。また、手術顕微鏡等においても、術者の視野確保または手術領域の確保の観点から、アームの動きに制約を設けたい場合が生じうる。そのようなモードの場合には、本開示の内視鏡手術システム３０００におけるズーム動作は、カメラヘッド３１０３による光学ズームまたは電子ズームを、アーム制御によるズーム動作に優先して行う。これによりアームの位置が極力変化しないように制御される。
　（第２の実施形態のむすび）
　上述したように本開示の内視鏡手術システム３０００では、カメラヘッド３１０３によるズーム（電子ズーム及び光学ズーム）に加えて、アーム制御によるズーム動作が行われることにより、カメラヘッド３１０３によるズームのみでは対応できない倍率までズームを行うことができる。よって、術者３５０１又は助手が望む倍率まで表示画像を拡大または縮小することができる。
　また、画質優先モード及び速度優先モードを備え、選択されているモードに応じて使用されるズーム動作が変更されることによって、術者３５０１又は助手が望む画質又は速度に応じて表示画像を拡大または縮小することができる。
　＜４．第３の実施形態＞
　（術具の種類に基づく表示画像の振り分け動作）
　以上では、カメラヘッド３１０３によるズーム（電子ズーム及び光学ズーム）に加えて、アーム制御によるズーム動作が行われる実施形態について説明された。以下では、術具３２００の種類に基づく表示画像の振り分け動作について説明される。
　図１０は、撮像部３１０７で撮像される術部の撮像画像の一例を示す図である。内視鏡手術システム３０００においては、様々な術具３２００が使用される。例えば、術者３５０１はエネルギー処置具３２０３を用いて患部を切除し、助手は鉗子３２０５を用いて患部を摘まんで術者３５０１の補助を行う。
　術者３５０１及び助手は行う処置が異なるため、それぞれが望む視野も異なる。例えば、術者３５０１はエネルギー処置具３２０３を使って患部を切り取るなどの細かい処置を行うため、術者３５０１は術部の拡大された画像を望む。一方助手は、術具３２００が他の臓器を傷つけていないかを確認したいため、術具３２００の全部を含む俯瞰視画像を望む。
　したがって、ＣＣＵ３４０１は、図１０の点線で示した領域を術者３５０１のためにメインモニタに出力し、図１０の実線で示した領域を助手のためにメインモニタとは異なるサブモニタに出力する。ここで図１０の実線で示された領域には、３つの術具（１つエネルギー処置具３２０３と２つの鉗子３２０５）が含まれ、その３つの術具３２００の先端のすべてが図１０の実線で示される撮像画像に含まれている。以下、すべての術具３２００の先端が含まれるとは、撮像画像に含まれるすべての術具３２００の先端が撮像画像に含まれることを意味する。
　図１１は、上述した表示画像の振り分け動作を示すフロー図である。最初にＳ３００において、ＣＣＵ３４０１は術具３２００の検出を行う。ここでＣＣＵ３４０１は、検出された術具３２００が術者用の術具３２００か、助手用の術具３２００かを判別する。次にＳ３０２において、ＣＣＵ３４０１は撮像画像に含まれているすべての術具３２００の先端が撮像画像に含まれているか否かを判別する。
　Ｓ３０２において、ＣＣＵ３４０１が、すべての術具３２００の先端が撮像画像内に含まれていると判断すると、処理はＳ３０８に進む。Ｓ３０８では、ＣＣＵ３４０１は、術者用の術具３２００が含まれる拡大画像をメインモニタに出力し、すべての術具３２００の先端が含まれる画像を助手用の俯瞰画像としてサブモニタに出力する。なお、拡大画像は、撮像画像の一部を切り出し、電子ズームを行うことによって作成される。
　Ｓ３０２において、ＣＣＵ３４０１が、すべての術具３２００の先端が撮像画像内に含まれていないと判断すると、処理はＳ３０４に進む。Ｓ３０４において、ＣＣＵ３４０１はアーム制御によるズーム動作を行うため、アーム制御装置３４０７にアーム部３３０３を制御するための制御情報を送る。ここで送られる制御情報には、アーム部３３０３を動かす移動量または速度または術具３２００の位置に関する情報が含まれてもよい。
　Ｓ３０４でアーム制御装置３４０７が制御情報を受け取ると、アーム制御装置３４０７はアーム部３３０３の移動量を算出し、アーム部３３０３を移動させる（Ｓ３０６）。次に処理はＳ３００に戻り、Ｓ３００からＳ３０６が繰り返される。つまりアーム制御装置３４０７がアーム部３３０３を動かすと、ＣＣＵ３４０１はすべての術具３２００の先端が撮像画像に含まれるか否かを判定する。そして、すべての術具３２００の先端が含まれていなければ、ＣＣＵ３４０１は制御情報を送り、アーム制御装置３４０７は当該制御情報に基づいてアーム部３３０３を動かす。
　Ｓ３００からＳ３０６の処理の繰り返しによるアーム部３３０３の移動によってズームアウトがされる。そしてＳ３０２においてＣＣＵ３４０１がすべて術具３２００の先端が撮像画像に含まれていると判定すると、ＣＣＵ３４０１は術者３５０１の術具３２００を含む拡大画像をメインモニタに出力する（Ｓ３０８）。また、ＣＣＵ３４０１は、すべての術具３２００の先端が含まれる画像をサブモニタに出力する（Ｓ３０８）。
　なお、Ｓ３００における術具３２００の検出は、上述したように術具３２００のエッジの形状及び／または色、術具３２００の輝度勾配等を検出することによって行われる。また、術具３２００の検出は機械学習を用いて行われてもよい。
　また、Ｓ３００の術具３２００の検出においては、術者３５０１が使用する術具３２００か、助手が使用する術具３２００かが判別される。この判別は、内視鏡手術システム３０００が上述した術具３２００のエッジの形状及び／または色、術具３２００の輝度勾配のパターンをそれぞれの術具３２００ごとに記憶し、パターンマッチングが行われることによってなされてもよい。また、助手が使用する鉗子３２０５等の術具３２００は基本的にあまり動かないので、ＣＣＵ３４０１は術具３２００の動きを検出して動きのある術具３２００は術者３５０１が使用する術具３２００であると判別してもよい。
　以上の例では、ズーム位置及びその拡大率については術具３２００の検出結果に応じてなされた。しかし、ズームの拡大においては、術具３２００を含むような拡大率の他にも、患部領域および術具３２００の双方を含むような拡大率で表示を行う構成とすることも可能である。この場合において、患部領域の特定にあっては、術具３２００の検出処理と同様の学習処理に拠ることもできるし、特殊光（狭帯域光、蛍光励起光）による観察の結果に基づいて検出することも可能である。
　（第３の実施形態のむすび）
　上述したように本開示の手術システムでは、術者用の表示画像と助手用の表示画像とを異なるモニタに振り分けることができる。よって、術者３５０１又は助手のそれぞれが望む画角で表示画像を提供することができる。
　＜５．補足＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明した。なお、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属する。
　例えば、図１１において、アーム制御によるズーム動作のみが説明されたが、光学ズームが行われたあとにアーム制御によるズーム動作が行われてもよい。これによってより大きくズームアウトができ、術者３５０１及び助手が望む画像が提供される。また、光学ズームはアーム制御によるズームよりも応答速度が速いため、アーム部３３０３が動き出す時間を稼ぐことができる。
　＜６．むすび＞
　以上説明したように本開示の実施形態によれば、カメラヘッド３１０３による撮像制御だけでなくアーム制御による撮像制御も行われる。これによって、術者３５０１又は助手は、自らが望む表示画像を取得することができる。
　また、本明細書に記載された効果は、あくまで例示であって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　カメラからの撮像画像の処理を制御する画像制御部と、
　前記カメラを支持するアーム部の動きを制御するアーム制御部と、を有し、
　前記画像制御部及び前記アーム制御部の一方は、他方からの制御情報に基づいて制御を行う、医療用情報処理装置。
（２）
　前記画像制御部は、前記カメラが撮像する撮像画像から処置具を検出し、
　前記画像制御部は、検出された前記処置具の動きに応じて前記撮像画像の切り出し位置を変更する、前記（１）に記載の医療用情報処理装置。
（３）
　前記画像制御部は、検出された前記処置具の動きに基づいて前記アーム制御部に制御情報を送り、
　前記アーム制御部は、前記画像制御部から受け取った前記制御情報に基づいて前記アーム部を移動させる移動量を算出する、前記（１）または前記（２）のいずれか１項に記載の医療用情報処理装置。
（４）
　前記アーム制御部は、算出した前記アーム部の移動量を前記画像制御部に送り、
　前記画像制御部は、前記アーム制御部から受け取った前記アーム部の移動量に基づいて前記撮像画像の切り出し位置の変更を行う、前記（３）に記載の医療用情報処理装置。
（５）
　前記処置具の動きが所定の基準を超えている場合、前記画像制御部は前記アーム部を制御するための制御情報を前記アーム制御部に送る、前記（３）または前記（４）のいずれか１項に記載の医療用情報処理装置。
（６）
　前記画像制御部は、前記カメラに対して拡大指示を送り、
　前記画像制御部が前記カメラによる拡大よりも前記アーム部の移動による拡大が適していると判定したときに、
　前記画像制御部は、前記アーム部を制御するための制御情報を前記アーム制御部に送る、前記（１）から前記（５）のいずれか１項に記載の医療用情報処理装置。
（７）
　前記カメラによる拡大には、光学ズームと電子ズームが含まれ、
　前記画像制御部は、画質を優先するモードが選択されている場合、前記電子ズームよりも先に前記光学ズームに対する制御を行う、前記（６）に記載の医療用情報処理装置。
（８）
　前記カメラによる拡大には、光学ズームと電子ズームが含まれ、
　前記画像制御部は、画像を拡大する速度を優先するモードが選択されている場合、前記光学ズームよりも先に前記電子ズームに対する制御を行う、前記（６）に記載の医療用情報処理装置。
（９）
　前記画像制御部は、前記カメラによる拡大倍率が限界値に達する前に、前記アーム制御部に前記制御情報を送る、前記（６）から前記（８）のいずれか１項に記載の医療用情報処理装置。
（１０）
　前記画像制御部は、前記カメラが撮像する撮像画像から複数の処置具を検出し、
　前記画像制御部は、検出された前記複数の処置具の先端が前記撮像画像に全て含まれるように縮小処理を行う、前記（１）から前記（９）のいずれか１項に記載の医療用情報処理装置。
（１１）
　前記画像制御部は、前記処置具の種類をさらに検出し、
　前記画像制御部は、術者用の処置具が表示画像に含まれるように前記撮像画像を切り出す、前記（１０）に記載の医療用情報処理装置。
（１２）
　カメラからの撮像画像の処理を制御すること、
　前記カメラを支持するアーム部の動きを制御すること、
　前記撮像画像の処理を制御することまたはアーム部の動きを制御することの一方は、他方の制御による制御情報に基づいて制御を行うこと、を含む情報処理方法。
（１３）
　画像を撮像するカメラと、
　前記カメラからの撮像画像の処理を制御する画像制御部と、
　前記カメラを支持するアーム部と、
　前記カメラを支持するアーム部の動きを制御するアーム制御部と、を有し、
　前記画像制御部及び前記アーム制御部の一方は、他方からの制御情報に基づいて制御を行うように構成されている、医療用情報処理システム。
　３０００　内視鏡手術システム
　３１００　内視鏡
　３１０１　鏡筒
　３１０３　カメラヘッド
　３１０５　レンズユニット
　３１０７　撮像部
　３１０９　駆動部
　３１１１　通信部
　３１１３　カメラヘッド制御部
　３２００　術具
　３２０１　気腹チューブ
　３２０３　エネルギー処置具
　３２０５　鉗子
　３３００　支持アーム装置
　３３０１　ベース部
　３３０３　アーム部
　３４００　カート
　３４０１　カメラコントロールユニット（ＣＣＵ）
　３４０３　表示装置
　３４０５　光源装置
　３４０７　アーム制御装置
　３４０９　入力装置
　３４１１　処置具制御装置
　３４１３　気腹装置
　３４２３　画像処理部
　３４２５　制御部
　３４２７　伝送ケーブル
　３５０１　術者
　３５０３　患者ベッド
　３５０５　患者

Claims (13)

  1. 　カメラからの撮像画像の処理を制御する画像制御部と、
    　前記カメラを支持するアーム部の動きを制御するアーム制御部と、を有し、
    　前記画像制御部及び前記アーム制御部の一方は、他方からの制御情報に基づいて制御を行う、医療用情報処理装置。
  2. 　前記画像制御部は、前記カメラが撮像する撮像画像から処置具を検出し、
    　前記画像制御部は、検出された前記処置具の動きに応じて前記撮像画像の切り出し位置を変更する、請求項１に記載の医療用情報処理装置。
  3. 　前記画像制御部は、検出された前記処置具の動きに基づいて前記アーム制御部に制御情報を送り、
    　前記アーム制御部は、前記画像制御部から受け取った前記制御情報に基づいて前記アーム部を移動させる移動量を算出する、請求項２に記載の医療用情報処理装置。
  4. 　前記アーム制御部は、算出した前記アーム部の移動量を前記画像制御部に送り、
    　前記画像制御部は、前記アーム制御部から受け取った前記アーム部の移動量に基づいて前記撮像画像の切り出し位置の変更を行う、請求項３に記載の医療用情報処理装置。
  5. 　前記処置具の動きが所定の基準を超えている場合、前記画像制御部は前記アーム部を制御するための制御情報を前記アーム制御部に送る、請求項３に記載の医療用情報処理装置。
  6. 　前記画像制御部は、前記カメラに対して拡大指示を送り、
    　前記画像制御部が前記カメラによる拡大よりも前記アーム部の移動による拡大が適していると判定したときに、
    　前記画像制御部は、前記アーム部を制御するための制御情報を前記アーム制御部に送る、請求項１に記載の医療用情報処理装置。
  7. 　前記カメラによる拡大には、光学ズームと電子ズームが含まれ、
    　前記画像制御部は、画質を優先するモードが選択されている場合、前記電子ズームよりも先に前記光学ズームに対する制御を行う、請求項６に記載の医療用情報処理装置。
  8. 　前記カメラによる拡大には、光学ズームと電子ズームが含まれ、
    　前記画像制御部は、画像を拡大する速度を優先するモードが選択されている場合、前記光学ズームよりも先に前記電子ズームに対する制御を行う、請求項６に記載の医療用情報処理装置。
  9. 　前記画像制御部は、前記カメラによる拡大倍率が限界値に達する前に、前記アーム制御部に前記制御情報を送る、請求項６に記載の医療用情報処理装置。
  10. 　前記画像制御部は、前記カメラが撮像する撮像画像から複数の処置具を検出し、
    　前記画像制御部は、検出された前記複数の処置具の先端が前記撮像画像に全て含まれるように縮小処理を行う、請求項１に記載の医療用情報処理装置。
  11. 　前記画像制御部は、前記処置具の種類をさらに検出し、
    　前記画像制御部は、術者用の処置具が表示画像に含まれるように前記撮像画像を切り出す、請求項１０に記載の医療用情報処理装置。
  12. 　カメラからの撮像画像の処理を制御すること、
    　前記カメラを支持するアーム部の動きを制御すること、
    　前記撮像画像の処理を制御することまたはアーム部の動きを制御することの一方は、他方の制御による制御情報に基づいて制御を行うこと、を含む情報処理方法。
  13. 　画像を撮像するカメラと、
    　前記カメラからの撮像画像の処理を制御する画像制御部と、
    　前記カメラを支持するアーム部と、
    　前記カメラを支持するアーム部の動きを制御するアーム制御部と、を有し、
    　前記画像制御部及び前記アーム制御部の一方は、他方からの制御情報に基づいて制御を行うように構成されている、医療用情報処理システム。
PCT/JP2016/085189 2016-02-24 2016-11-28 医療用情報処理装置、情報処理方法、医療用情報処理システム WO2017145475A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP16891631.0A EP3420878B1 (en) 2016-02-24 2016-11-28 Information processing device for medical use, information processing method, information processing system for medical use
CN201680082111.9A CN108697304B (zh) 2016-02-24 2016-11-28 医疗用信息处理装置、信息处理方法、医疗用信息处理系统
JP2018500997A JP7067467B2 (ja) 2016-02-24 2016-11-28 医療用情報処理装置、情報処理方法、医療用情報処理システム
US16/070,317 US11033338B2 (en) 2016-02-24 2016-11-28 Medical information processing apparatus, information processing method, and medical information processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-033031 2016-02-24
JP2016033031 2016-02-24

Publications (1)

Publication Number Publication Date
WO2017145475A1 true WO2017145475A1 (ja) 2017-08-31

Family

ID=59684942

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/085189 WO2017145475A1 (ja) 2016-02-24 2016-11-28 医療用情報処理装置、情報処理方法、医療用情報処理システム

Country Status (5)

Country Link
US (1) US11033338B2 (ja)
EP (1) EP3420878B1 (ja)
JP (1) JP7067467B2 (ja)
CN (2) CN114019990A (ja)
WO (1) WO2017145475A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018159155A1 (ja) * 2017-02-28 2018-09-07 ソニー株式会社 医療用観察システム、制御装置及び制御方法
WO2019116592A1 (ja) * 2017-12-14 2019-06-20 オリンパス株式会社 内視鏡の表示画像の調整装置及び手術システム
JP2020072457A (ja) * 2018-11-02 2020-05-07 ソニー株式会社 映像処理装置、映像処理方法、およびプログラム
WO2021006228A1 (en) 2019-07-10 2021-01-14 Sony Corporation Medical observation system, control device, and control method
WO2022019318A2 (en) 2020-07-20 2022-01-27 Sony Group Corporation Medical arm control system, medical arm control method, medical arm simulator, medical arm learning model, and associated programs
US20220168047A1 (en) * 2019-03-27 2022-06-02 Sony Group Corporation Medical arm system, control device, and control method
WO2022254836A1 (ja) * 2021-06-03 2022-12-08 ソニーグループ株式会社 情報処理装置、情報処理システム及び情報処理方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3633607A4 (en) * 2017-05-31 2020-05-20 EIZO Corporation SURGICAL INSTRUMENT DETECTION SYSTEM AND COMPUTER PROGRAM
WO2019049503A1 (ja) * 2017-09-07 2019-03-14 富士フイルム株式会社 診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法
CN110131532A (zh) * 2018-02-08 2019-08-16 泰科电子(上海)有限公司 成像设备
GB2580625B (en) * 2019-01-17 2023-04-19 Mo Sys Engineering Ltd Camera control
US11026561B2 (en) 2019-03-21 2021-06-08 Verb Surgical Inc. Method and system for automatically repositioning a viewable area within an endoscope video view
EP3932358B1 (en) * 2019-03-22 2023-11-22 Sony Olympus Medical Solutions Inc. Control device and medical observation system
EP3739372A1 (en) * 2019-05-15 2020-11-18 Leica Microsystems CMS GmbH Controller and method for providing an operational setting of an imaging device
DE102022116672A1 (de) 2022-07-04 2024-01-04 Karl Storz Se & Co. Kg Bildgebende Vorrichtung mit erweiterter Zoomfunktionalität und Fokusnachführung

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08187246A (ja) * 1995-01-10 1996-07-23 Olympus Optical Co Ltd 体腔内手術用マニピュレータ装置
JPH0928713A (ja) * 1995-07-20 1997-02-04 Olympus Optical Co Ltd 内視鏡下外科手術装置
JPH10118076A (ja) * 1996-10-24 1998-05-12 Olympus Optical Co Ltd 内視鏡下外科手術装置
JP2001197347A (ja) * 2000-01-05 2001-07-19 Fuji Photo Film Co Ltd 情報記録装置、情報取得方法、およびデジタルカメラ
JP2002172083A (ja) * 2000-12-06 2002-06-18 Olympus Optical Co Ltd 内視鏡装置
JP2004041778A (ja) * 2003-10-20 2004-02-12 Olympus Corp 体腔内観察システム
JP2007222238A (ja) * 2006-02-21 2007-09-06 Fujinon Corp 体腔内観察装置
JP2008252348A (ja) * 2007-03-29 2008-10-16 Fujifilm Corp デジタルカメラ及びデジタルカメラの制御方法
US20090248036A1 (en) * 2008-03-28 2009-10-01 Intuitive Surgical, Inc. Controlling a robotic surgical tool with a display monitor
JP2015139646A (ja) * 2014-01-30 2015-08-03 ソニー株式会社 内視鏡システム、画像処理装置、画像処理方法、およびプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08164148A (ja) 1994-12-13 1996-06-25 Olympus Optical Co Ltd 内視鏡下手術装置
JP2002159444A (ja) * 2000-11-28 2002-06-04 Olympus Optical Co Ltd 撮像画像表示システム
JP2005046233A (ja) 2003-07-31 2005-02-24 Fujinon Corp 電子内視鏡装置
US10588486B2 (en) * 2013-09-19 2020-03-17 Physio-Control, Inc Multi-function video system with interchangeable medical tool
US20090265671A1 (en) * 2008-04-21 2009-10-22 Invensense Mobile devices with motion gesture recognition
JP2010188893A (ja) * 2009-02-19 2010-09-02 Japan Aerospace Exploration Agency 移動体の三次元群制御方法
US8418073B2 (en) * 2009-03-09 2013-04-09 Intuitive Surgical Operations, Inc. User interfaces for electrosurgical tools in robotic surgical systems
KR101057702B1 (ko) 2009-04-09 2011-08-18 의료법인 우리들의료재단 수술용 로봇의 제어 방법 및 그 시스템
JP6006199B2 (ja) * 2011-03-31 2016-10-12 オリンパス株式会社 蛍光観察装置
WO2013176758A1 (en) * 2012-05-22 2013-11-28 Intouch Technologies, Inc. Clinical workflows utilizing autonomous and semi-autonomous telemedicine devices
EP2931161A4 (en) * 2012-12-14 2016-11-30 Univ Columbia UNLAWFUL TRACKING OF SURGICAL ROBOT INSTRUMENTS
KR102146244B1 (ko) * 2013-02-22 2020-08-21 삼성전자주식회사 휴대 단말에 대한 동작 관련 입력에 따라 복수개의 객체들의 표시를 제어하는 방법 및 이를 위한 휴대 단말
WO2015037340A1 (ja) * 2013-09-10 2015-03-19 ソニー株式会社 画像処理装置、画像処理方法、プログラム
CN105517666B (zh) * 2014-09-05 2019-08-27 深圳市大疆创新科技有限公司 基于情景的飞行模式选择
KR101740286B1 (ko) * 2015-12-17 2017-05-29 (주)미래컴퍼니 수술 로봇 시스템 및 적응 제어 방법
US10917543B2 (en) * 2017-04-24 2021-02-09 Alcon Inc. Stereoscopic visualization camera and integrated robotics platform

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08187246A (ja) * 1995-01-10 1996-07-23 Olympus Optical Co Ltd 体腔内手術用マニピュレータ装置
JPH0928713A (ja) * 1995-07-20 1997-02-04 Olympus Optical Co Ltd 内視鏡下外科手術装置
JPH10118076A (ja) * 1996-10-24 1998-05-12 Olympus Optical Co Ltd 内視鏡下外科手術装置
JP2001197347A (ja) * 2000-01-05 2001-07-19 Fuji Photo Film Co Ltd 情報記録装置、情報取得方法、およびデジタルカメラ
JP2002172083A (ja) * 2000-12-06 2002-06-18 Olympus Optical Co Ltd 内視鏡装置
JP2004041778A (ja) * 2003-10-20 2004-02-12 Olympus Corp 体腔内観察システム
JP2007222238A (ja) * 2006-02-21 2007-09-06 Fujinon Corp 体腔内観察装置
JP2008252348A (ja) * 2007-03-29 2008-10-16 Fujifilm Corp デジタルカメラ及びデジタルカメラの制御方法
US20090248036A1 (en) * 2008-03-28 2009-10-01 Intuitive Surgical, Inc. Controlling a robotic surgical tool with a display monitor
JP2015139646A (ja) * 2014-01-30 2015-08-03 ソニー株式会社 内視鏡システム、画像処理装置、画像処理方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3420878A4 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018159155A1 (ja) * 2017-02-28 2018-09-07 ソニー株式会社 医療用観察システム、制御装置及び制御方法
US11478133B2 (en) 2017-02-28 2022-10-25 Sony Corporation Medical observation system, apparatus for controlling the same, and method for controlling the same
WO2019116592A1 (ja) * 2017-12-14 2019-06-20 オリンパス株式会社 内視鏡の表示画像の調整装置及び手術システム
US11974716B2 (en) 2017-12-14 2024-05-07 Olympus Corporation Operation supporting device and method of operating operation supporting device
JP2020072457A (ja) * 2018-11-02 2020-05-07 ソニー株式会社 映像処理装置、映像処理方法、およびプログラム
US20220168047A1 (en) * 2019-03-27 2022-06-02 Sony Group Corporation Medical arm system, control device, and control method
WO2021006228A1 (en) 2019-07-10 2021-01-14 Sony Corporation Medical observation system, control device, and control method
JP2021013412A (ja) * 2019-07-10 2021-02-12 ソニー株式会社 医療用観察システム、制御装置及び制御方法
JP7480477B2 (ja) 2019-07-10 2024-05-10 ソニーグループ株式会社 医療用観察システム、制御装置及び制御方法
WO2022019318A2 (en) 2020-07-20 2022-01-27 Sony Group Corporation Medical arm control system, medical arm control method, medical arm simulator, medical arm learning model, and associated programs
WO2022254836A1 (ja) * 2021-06-03 2022-12-08 ソニーグループ株式会社 情報処理装置、情報処理システム及び情報処理方法

Also Published As

Publication number Publication date
US20190053857A1 (en) 2019-02-21
EP3420878B1 (en) 2021-11-17
CN114019990A (zh) 2022-02-08
JPWO2017145475A1 (ja) 2018-12-20
JP7067467B2 (ja) 2022-05-16
EP3420878A1 (en) 2019-01-02
EP3420878A4 (en) 2019-01-30
US11033338B2 (en) 2021-06-15
CN108697304B (zh) 2021-04-13
CN108697304A (zh) 2018-10-23

Similar Documents

Publication Publication Date Title
WO2017145475A1 (ja) 医療用情報処理装置、情報処理方法、医療用情報処理システム
CN110325093B (zh) 医疗用臂系统、控制装置与控制方法
US11612306B2 (en) Surgical arm system and surgical arm control system
WO2018088105A1 (ja) 医療用支持アーム及び医療用システム
US20220008156A1 (en) Surgical observation apparatus, surgical observation method, surgical light source device, and surgical light irradiation method
WO2018088113A1 (ja) 関節駆動用アクチュエータ及び医療用システム
US11348684B2 (en) Surgical support system, information processing method, and information processing apparatus
JP7115467B2 (ja) 手術用画像処理装置、画像処理方法、及び、手術システム
US20220322919A1 (en) Medical support arm and medical system
WO2019181242A1 (ja) 内視鏡及びアームシステム
WO2017145606A1 (ja) 画像処理装置、画像処理方法及び内視鏡システム
WO2020203164A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2023017651A1 (ja) 医療用観察システム、情報処理装置及び情報処理方法
WO2022269992A1 (ja) 医療用観察システム、情報処理装置及び情報処理方法
WO2020050187A1 (ja) 医療システム、情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018500997

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16891631

Country of ref document: EP

Kind code of ref document: A1