WO2018088105A1 - 医療用支持アーム及び医療用システム - Google Patents

医療用支持アーム及び医療用システム Download PDF

Info

Publication number
WO2018088105A1
WO2018088105A1 PCT/JP2017/036976 JP2017036976W WO2018088105A1 WO 2018088105 A1 WO2018088105 A1 WO 2018088105A1 JP 2017036976 W JP2017036976 W JP 2017036976W WO 2018088105 A1 WO2018088105 A1 WO 2018088105A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
rotation angle
support arm
perspective mirror
medical
Prior art date
Application number
PCT/JP2017/036976
Other languages
English (en)
French (fr)
Inventor
長尾 大輔
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to DE112017005655.1T priority Critical patent/DE112017005655T5/de
Priority to US16/341,315 priority patent/US11540700B2/en
Publication of WO2018088105A1 publication Critical patent/WO2018088105A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00149Holding or positioning arrangements using articulated arms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00174Optical arrangements characterised by the viewing angles
    • A61B1/00179Optical arrangements characterised by the viewing angles for off-axis viewing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05Surgical care
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission

Definitions

  • the present disclosure relates to a medical support arm and a medical system.
  • an imaging unit that captures an image of a surgical part and a holding unit that is connected to the imaging unit and is provided with a rotation shaft that can operate with at least 6 degrees of freedom.
  • at least two of the rotating shafts are active shafts whose driving is controlled based on the state of the rotating shaft, and at least one of the shafts rotates according to a direct operation from outside with contact.
  • a configuration that is a passive axis is described.
  • the observation object can be observed without being obstructed by the obstacle by using the perspective mirror.
  • Patent Document 1 describes point lock observation in a medical microscope.
  • the technique described in Patent Document 1 uses a specific part such as an abdominal wall as a constraint when a squint is inserted into a human body. I did not expect to support the squint.
  • the support arm that supports the perspective mirror the first expression that defines the coordinates of the subject in the coordinate system with the insertion port when the perspective mirror is inserted into the human body as the origin, and the perspective mirror
  • the longitudinal axis of the perspective mirror based on the second formula that defines the coordinates of the subject located in the optical axis direction of the objective lens arranged at the distal end of the perspective mirror in a coordinate system with the distal end of the perspective mirror as the origin
  • a medical support arm including a rotation angle around and a calculation unit that calculates the amount of insertion of the squint into the human body.
  • a camera head having an imaging unit that captures an image of a subject, a perspective mirror that is inserted into a human body and is rotatable with respect to the camera head around an axis in the insertion direction, and the perspective mirror
  • a support arm for supporting the support arm, and an arm control device for controlling the support arm, wherein the arm control device is configured to move the object in a coordinate system having an insertion port as an origin when the perspective mirror is inserted into the human body.
  • a medical system having a calculation unit that calculates the rotation angle around the longitudinal axis of the squint mirror and the amount of insertion of the squint mirror into the human body.
  • FIG. 1 It is a figure which shows an example of the schematic structure of the endoscopic surgery system with which the technique which concerns on this indication can be applied.
  • It is a block diagram which shows an example of a function structure of the camera head and CCU shown in FIG. It is a mimetic diagram showing the composition of the perspective mirror concerning one embodiment of this indication.
  • It is a schematic diagram which compares and shows a perspective mirror and a direct-view mirror.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an endoscopic surgery system 5000 to which the technology according to the present disclosure can be applied.
  • an operator (doctor) 5067 is performing an operation on a patient 5071 on a patient bed 5069 using an endoscopic operation system 5000.
  • an endoscopic surgery system 5000 includes an endoscope 5001, other surgical tools 5017, a support arm device 5027 that supports the endoscope 5001, and various devices for endoscopic surgery. And a cart 5037 on which is mounted.
  • trocars 5025a to 5025d are punctured into the abdominal wall.
  • the lens barrel 5003 of the endoscope 5001 and other surgical tools 5017 are inserted into the body cavity of the patient 5071 from the trocars 5025a to 5025d.
  • an insufflation tube 5019, an energy treatment tool 5021, and forceps 5023 are inserted into the body cavity of the patient 5071.
  • the energy treatment device 5021 is a treatment device that performs tissue incision and separation, blood vessel sealing, or the like by high-frequency current or ultrasonic vibration.
  • the illustrated surgical tool 5017 is merely an example, and as the surgical tool 5017, for example, various surgical tools generally used in endoscopic surgery such as a lever and a retractor may be used.
  • the image of the surgical site in the body cavity of the patient 5071 captured by the endoscope 5001 is displayed on the display device 5041.
  • the surgeon 5067 performs a treatment such as excision of the affected part, for example, using the energy treatment tool 5021 and the forceps 5023 while viewing the image of the surgical part displayed on the display device 5041 in real time.
  • the pneumoperitoneum tube 5019, the energy treatment tool 5021, and the forceps 5023 are supported by an operator 5067 or an assistant during surgery.
  • the support arm device 5027 includes an arm portion 5031 extending from the base portion 5029.
  • the arm portion 5031 includes joint portions 5033a, 5033b, and 5033c and links 5035a and 5035b, and is driven by control from the arm control device 5045.
  • the endoscope 5001 is supported by the arm unit 5031, and the position and posture thereof are controlled. Thereby, the stable position fixing of the endoscope 5001 can be realized.
  • the endoscope 5001 includes a lens barrel 5003 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 5071, and a camera head 5005 connected to the proximal end of the lens barrel 5003.
  • a lens barrel 5003 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 5071, and a camera head 5005 connected to the proximal end of the lens barrel 5003.
  • an endoscope 5001 configured as a so-called rigid mirror having a rigid lens barrel 5003 is illustrated, but the endoscope 5001 is configured as a so-called flexible mirror having a flexible lens barrel 5003. Also good.
  • An opening into which an objective lens is fitted is provided at the tip of the lens barrel 5003.
  • a light source device 5043 is connected to the endoscope 5001, and light generated by the light source device 5043 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 5003. Irradiation is performed toward the observation target in the body cavity of the patient 5071 through the lens.
  • the endoscope 5001 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image sensor are provided inside the camera head 5005, and reflected light (observation light) from the observation target is condensed on the image sensor by the optical system. Observation light is photoelectrically converted by the imaging element, and an electrical signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted to a camera control unit (CCU) 5039 as RAW data.
  • CCU camera control unit
  • the camera head 5005 is equipped with a function of adjusting the magnification and the focal length by appropriately driving the optical system.
  • a plurality of imaging elements may be provided in the camera head 5005 in order to cope with, for example, stereoscopic viewing (3D display).
  • a plurality of relay optical systems are provided inside the lens barrel 5003 in order to guide observation light to each of the plurality of imaging elements.
  • the CCU 5039 is configured by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and comprehensively controls operations of the endoscope 5001 and the display device 5041. Specifically, the CCU 5039 performs various types of image processing for displaying an image based on the image signal, such as development processing (demosaic processing), for example, on the image signal received from the camera head 5005. The CCU 5039 provides the display device 5041 with the image signal subjected to the image processing. Further, the CCU 5039 transmits a control signal to the camera head 5005 to control the driving thereof.
  • the control signal can include information regarding imaging conditions such as magnification and focal length.
  • the display device 5041 displays an image based on an image signal subjected to image processing by the CCU 5039 under the control of the CCU 5039.
  • the endoscope 5001 is compatible with high-resolution imaging such as 4K (horizontal pixel number 3840 ⁇ vertical pixel number 2160) or 8K (horizontal pixel number 7680 ⁇ vertical pixel number 4320), and / or 3D display
  • the display device 5041 may be a display device capable of high-resolution display and / or 3D display.
  • 4K or 8K high-resolution imaging a more immersive feeling can be obtained by using a display device 5041 having a size of 55 inches or more.
  • a plurality of display devices 5041 having different resolutions and sizes may be provided depending on applications.
  • the light source device 5043 is composed of a light source such as an LED (light emitting diode), for example, and supplies irradiation light to the endoscope 5001 when photographing a surgical site.
  • a light source such as an LED (light emitting diode)
  • the arm control device 5045 is configured by a processor such as a CPU, for example, and operates according to a predetermined program to control driving of the arm portion 5031 of the support arm device 5027 according to a predetermined control method.
  • the input device 5047 is an input interface for the endoscopic surgery system 5000.
  • the user can input various information and instructions to the endoscopic surgery system 5000 via the input device 5047.
  • the user inputs various types of information related to the operation, such as the patient's physical information and information about the surgical technique, via the input device 5047.
  • the user instructs the arm unit 5031 to be driven via the input device 5047 or the instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 5001. Then, an instruction to drive the energy treatment instrument 5021 is input.
  • the type of the input device 5047 is not limited, and the input device 5047 may be various known input devices.
  • the input device 5047 for example, a mouse, a keyboard, a touch panel, a switch, a foot switch 5057, and / or a lever can be applied.
  • the touch panel may be provided on the display surface of the display device 5041.
  • the input device 5047 is a device worn by the user, such as a glasses-type wearable device or an HMD (Head Mounted Display), and various types of input are performed according to the user's gesture and line of sight detected by these devices. Is done.
  • the input device 5047 includes a camera capable of detecting the user's movement, and various inputs are performed according to the user's gesture and line of sight detected from the video captured by the camera.
  • the input device 5047 includes a microphone that can pick up a user's voice, and various inputs are performed by voice through the microphone.
  • the input device 5047 is configured to be able to input various information without contact, so that a user belonging to a clean area (for example, an operator 5067) can operate a device belonging to an unclean area without contact. Is possible.
  • a user belonging to a clean area for example, an operator 5067
  • the user can operate the device without releasing his / her hand from the surgical tool he / she has, the convenience for the user is improved.
  • the treatment instrument control device 5049 controls the drive of the energy treatment instrument 5021 for tissue cauterization, incision, or blood vessel sealing.
  • the pneumoperitoneum device 5051 gas is introduced into the body cavity via the pneumoperitoneum tube 5019.
  • the recorder 5053 is an apparatus capable of recording various types of information related to surgery.
  • the printer 5055 is a device that can print various types of information related to surgery in various formats such as text, images, or graphs.
  • the support arm device 5027 includes a base portion 5029 as a base and an arm portion 5031 extending from the base portion 5029.
  • the arm portion 5031 includes a plurality of joint portions 5033a, 5033b, and 5033c and a plurality of links 5035a and 5035b connected by the joint portion 5033b.
  • FIG. The configuration of the arm portion 5031 is shown in a simplified manner. Actually, the shape, number and arrangement of the joint portions 5033a to 5033c and the links 5035a and 5035b, the direction of the rotation axis of the joint portions 5033a to 5033c, and the like are appropriately set so that the arm portion 5031 has a desired degree of freedom. obtain.
  • the arm portion 5031 can be preferably configured to have 6 degrees of freedom or more. Accordingly, the endoscope 5001 can be freely moved within the movable range of the arm portion 5031. Therefore, the barrel 5003 of the endoscope 5001 can be inserted into the body cavity of the patient 5071 from a desired direction. It becomes possible.
  • the joint portions 5033a to 5033c are provided with actuators, and the joint portions 5033a to 5033c are configured to be rotatable around a predetermined rotation axis by driving the actuators.
  • the arm control device 5045 By controlling the driving of the actuator by the arm control device 5045, the rotation angles of the joint portions 5033a to 5033c are controlled, and the driving of the arm portion 5031 is controlled. Thereby, control of the position and orientation of the endoscope 5001 can be realized.
  • the arm control device 5045 can control the driving of the arm unit 5031 by various known control methods such as force control or position control.
  • the arm control device 5045 appropriately controls the driving of the arm unit 5031 according to the operation input.
  • the position and posture of the endoscope 5001 may be controlled.
  • the endoscope 5001 at the tip of the arm portion 5031 can be moved from an arbitrary position to an arbitrary position, and then fixedly supported at the position after the movement.
  • the arm portion 5031 may be operated by a so-called master slave method.
  • the arm unit 5031 can be remotely operated by the user via the input device 5047 installed at a location away from the operating room.
  • the arm control device 5045 When force control is applied, the arm control device 5045 receives the external force from the user and moves the actuators of the joint portions 5033a to 5033c so that the arm portion 5031 moves smoothly according to the external force. You may perform what is called power assist control to drive. Accordingly, when the user moves the arm unit 5031 while directly touching the arm unit 5031, the arm unit 5031 can be moved with a relatively light force. Therefore, the endoscope 5001 can be moved more intuitively and with a simpler operation, and user convenience can be improved.
  • an endoscope 5001 is supported by a doctor called a scopist.
  • the position of the endoscope 5001 can be more reliably fixed without relying on human hands, so that an image of the surgical site can be stably obtained. It becomes possible to perform the operation smoothly.
  • the arm control device 5045 is not necessarily provided in the cart 5037. Further, the arm control device 5045 is not necessarily a single device. For example, the arm control device 5045 may be provided in each joint portion 5033a to 5033c of the arm portion 5031 of the support arm device 5027, and the plurality of arm control devices 5045 cooperate with each other to drive the arm portion 5031. Control may be realized.
  • the light source device 5043 supplies irradiation light to the endoscope 5001 when photographing a surgical site.
  • the light source device 5043 is composed of a white light source composed of, for example, an LED, a laser light source, or a combination thereof.
  • a white light source is configured by a combination of RGB laser light sources, the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. Adjustments can be made.
  • each RGB light source is controlled by irradiating the observation target with laser light from each of the RGB laser light sources in a time-sharing manner and controlling the driving of the image sensor of the camera head 5005 in synchronization with the irradiation timing. It is also possible to take the images that have been taken in time division. According to this method, a color image can be obtained without providing a color filter in the image sensor.
  • the driving of the light source device 5043 may be controlled so as to change the intensity of the output light every predetermined time.
  • the driving of the image sensor of the camera head 5005 is controlled to acquire images in a time-sharing manner, and the images are synthesized, so that high dynamics without so-called blackout and overexposure are obtained. A range image can be generated.
  • the light source device 5043 may be configured to be able to supply light of a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue, the surface of the mucous membrane is irradiated by irradiating light in a narrow band compared to irradiation light (ie, white light) during normal observation.
  • narrow band imaging is performed in which a predetermined tissue such as a blood vessel is imaged with high contrast.
  • fluorescence observation may be performed in which an image is obtained by fluorescence generated by irradiating excitation light.
  • the body tissue is irradiated with excitation light to observe fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally administered to the body tissue and applied to the body tissue.
  • a reagent such as indocyanine green (ICG) is locally administered to the body tissue and applied to the body tissue.
  • ICG indocyanine green
  • the light source device 5043 can be configured to be able to supply narrowband light and / or excitation light corresponding to such special light observation.
  • FIG. 2 is a block diagram illustrating an example of functional configurations of the camera head 5005 and the CCU 5039 illustrated in FIG.
  • the camera head 5005 has a lens unit 5007, an imaging unit 5009, a drive unit 5011, a communication unit 5013, and a camera head control unit 5015 as its functions.
  • the CCU 5039 includes a communication unit 5059, an image processing unit 5061, and a control unit 5063 as its functions.
  • the camera head 5005 and the CCU 5039 are connected to each other via a transmission cable 5065 so that they can communicate with each other.
  • the lens unit 5007 is an optical system provided at a connection portion with the lens barrel 5003. Observation light captured from the tip of the lens barrel 5003 is guided to the camera head 5005 and enters the lens unit 5007.
  • the lens unit 5007 is configured by combining a plurality of lenses including a zoom lens and a focus lens. The optical characteristics of the lens unit 5007 are adjusted so that the observation light is condensed on the light receiving surface of the image sensor of the imaging unit 5009. Further, the zoom lens and the focus lens are configured such that their positions on the optical axis are movable in order to adjust the magnification and focus of the captured image.
  • the imaging unit 5009 is configured by an imaging element, and is disposed in the subsequent stage of the lens unit 5007.
  • the observation light that has passed through the lens unit 5007 is collected on the light receiving surface of the image sensor, and an image signal corresponding to the observation image is generated by photoelectric conversion.
  • the image signal generated by the imaging unit 5009 is provided to the communication unit 5013.
  • CMOS Complementary Metal Oxide Semiconductor
  • the imaging element for example, an element capable of capturing a high-resolution image of 4K or more may be used.
  • the image sensor that configures the image capturing unit 5009 is configured to include a pair of image sensors for acquiring right-eye and left-eye image signals corresponding to 3D display. By performing the 3D display, the operator 5067 can more accurately grasp the depth of the living tissue in the surgical site.
  • the imaging unit 5009 is configured as a multi-plate type, a plurality of lens units 5007 are also provided corresponding to each imaging element.
  • the imaging unit 5009 is not necessarily provided in the camera head 5005.
  • the imaging unit 5009 may be provided inside the lens barrel 5003 immediately after the objective lens.
  • the driving unit 5011 includes an actuator, and moves the zoom lens and the focus lens of the lens unit 5007 by a predetermined distance along the optical axis under the control of the camera head control unit 5015. Thereby, the magnification and focus of the image captured by the imaging unit 5009 can be adjusted as appropriate.
  • the communication unit 5013 is configured by a communication device for transmitting and receiving various types of information to and from the CCU 5039.
  • the communication unit 5013 transmits the image signal obtained from the imaging unit 5009 as RAW data to the CCU 5039 via the transmission cable 5065.
  • the image signal is preferably transmitted by optical communication.
  • the surgeon 5067 performs the surgery while observing the state of the affected area with the captured image, so that a moving image of the surgical site is displayed in real time as much as possible for safer and more reliable surgery. Because it is required.
  • the communication unit 5013 is provided with a photoelectric conversion module that converts an electrical signal into an optical signal.
  • the image signal is converted into an optical signal by the photoelectric conversion module, and then transmitted to the CCU 5039 via the transmission cable 5065.
  • the communication unit 5013 receives a control signal for controlling driving of the camera head 5005 from the CCU 5039.
  • the control signal includes, for example, information for designating the frame rate of the captured image, information for designating the exposure value at the time of imaging, and / or information for designating the magnification and focus of the captured image. Contains information about the condition.
  • the communication unit 5013 provides the received control signal to the camera head control unit 5015.
  • the control signal from the CCU 5039 may also be transmitted by optical communication.
  • the communication unit 5013 is provided with a photoelectric conversion module that converts an optical signal into an electric signal.
  • the control signal is converted into an electric signal by the photoelectric conversion module, and then provided to the camera head control unit 5015.
  • the imaging conditions such as the frame rate, exposure value, magnification, and focus are automatically set by the control unit 5063 of the CCU 5039 based on the acquired image signal. That is, a so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are mounted on the endoscope 5001.
  • AE Auto Exposure
  • AF Automatic Focus
  • AWB Automatic White Balance
  • the camera head control unit 5015 controls driving of the camera head 5005 based on a control signal from the CCU 5039 received via the communication unit 5013. For example, the camera head control unit 5015 controls driving of the imaging element of the imaging unit 5009 based on information indicating that the frame rate of the captured image is specified and / or information indicating that the exposure at the time of imaging is specified. For example, the camera head control unit 5015 appropriately moves the zoom lens and the focus lens of the lens unit 5007 via the drive unit 5011 based on information indicating that the magnification and focus of the captured image are designated.
  • the camera head control unit 5015 may further have a function of storing information for identifying the lens barrel 5003 and the camera head 5005.
  • the communication unit 5059 is configured by a communication device for transmitting and receiving various types of information to and from the camera head 5005.
  • the communication unit 5059 receives an image signal transmitted from the camera head 5005 via the transmission cable 5065.
  • the image signal can be suitably transmitted by optical communication.
  • the communication unit 5059 is provided with a photoelectric conversion module that converts an optical signal into an electric signal.
  • the communication unit 5059 provides the image processing unit 5061 with the image signal converted into the electrical signal.
  • the communication unit 5059 transmits a control signal for controlling the driving of the camera head 5005 to the camera head 5005.
  • the control signal may also be transmitted by optical communication.
  • the image processing unit 5061 performs various types of image processing on the image signal that is RAW data transmitted from the camera head 5005. Examples of the image processing include development processing, high image quality processing (band enhancement processing, super-resolution processing, NR (Noise reduction) processing and / or camera shake correction processing, etc.), and / or enlargement processing (electronic zoom processing). Various known signal processing is included.
  • the image processing unit 5061 performs detection processing on the image signal for performing AE, AF, and AWB.
  • the image processing unit 5061 is configured by a processor such as a CPU or a GPU, and the above-described image processing and detection processing can be performed by the processor operating according to a predetermined program.
  • the image processing unit 5061 is configured by a plurality of GPUs, the image processing unit 5061 appropriately divides information related to the image signal, and performs image processing in parallel by the plurality of GPUs.
  • the control unit 5063 performs various controls relating to imaging of the surgical site by the endoscope 5001 and display of the captured image. For example, the control unit 5063 generates a control signal for controlling driving of the camera head 5005. At this time, when the imaging condition is input by the user, the control unit 5063 generates a control signal based on the input by the user. Alternatively, when the endoscope 5001 is equipped with the AE function, the AF function, and the AWB function, the control unit 5063 determines the optimum exposure value, focal length, and the like according to the detection processing result by the image processing unit 5061. A white balance is appropriately calculated and a control signal is generated.
  • control unit 5063 causes the display device 5041 to display an image of the surgical site based on the image signal subjected to the image processing by the image processing unit 5061.
  • the control unit 5063 recognizes various objects in the surgical unit image using various image recognition techniques. For example, the control unit 5063 detects the shape and color of the edge of the object included in the surgical part image, thereby removing surgical tools such as forceps, specific biological parts, bleeding, mist when using the energy treatment tool 5021, and the like. Can be recognized.
  • the control unit 5063 displays various types of surgery support information on the image of the surgical site using the recognition result. Surgery support information is displayed in a superimposed manner and presented to the operator 5067, so that the surgery can be performed more safely and reliably.
  • the transmission cable 5065 for connecting the camera head 5005 and the CCU 5039 is an electric signal cable corresponding to electric signal communication, an optical fiber corresponding to optical communication, or a composite cable thereof.
  • communication is performed by wire using the transmission cable 5065, but communication between the camera head 5005 and the CCU 5039 may be performed wirelessly.
  • communication between the two is performed wirelessly, there is no need to install the transmission cable 5065 in the operating room, so that the situation where the movement of the medical staff in the operating room is hindered by the transmission cable 5065 can be eliminated.
  • the endoscopic surgery system 5000 to which the technology according to the present disclosure can be applied has been described.
  • the endoscopic surgery system 5000 has been described as an example, but a system to which the technology according to the present disclosure can be applied is not limited to such an example.
  • the technology according to the present disclosure may be applied to a testing flexible endoscope system or a microscope operation system.
  • FIG. 3 is a schematic diagram illustrating a configuration of a perspective mirror 100 according to an embodiment of the present disclosure.
  • the perspective mirror 100 is attached to the tip of the camera head 200.
  • the perspective mirror 100 corresponds to the lens barrel 5003 described in FIGS. 1 and 2
  • the camera head 200 corresponds to the camera head 5005 described in FIGS. 1 and 2.
  • the perspective mirror 100 and the camera head 200 are rotatable independently of each other. Actuators are provided between the perspective mirror 100 and the camera head 200 in the same manner as the joints 5033a, 5033b, and 5033c, and the perspective mirror 100 rotates relative to the camera head 200 by driving the actuator. Thus, the rotation angle theta Z to be described later is controlled.
  • the perspective mirror 100 is supported by a support arm device 5027.
  • the support arm device 5027 has a function of holding the squint mirror 100 instead of the scopist and moving the squint mirror 100 so that a desired part can be observed by an operator or an assistant.
  • FIG. 4 is a schematic diagram showing the perspective mirror 100 and the direct-view mirror 150 in comparison.
  • the direction (C1) of the objective lens toward the subject coincides with the longitudinal direction (C2) of the direct-view mirror 150.
  • the direction (C1) of the objective lens toward the subject has a predetermined angle ⁇ with respect to the longitudinal direction (C2) of the perspective mirror 100.
  • FIGS. 5 and 6 are schematic views showing a state in which the observing object 300 is observed by inserting the perspective mirror 100 from the abdominal wall 320 into the human body.
  • the trocar point T is a position where the trocar 5025a is disposed, and indicates the insertion position of the perspective mirror 100 into the human body.
  • the C3 direction shown in FIGS. 5 and 6 is a direction connecting the trocar point T and the observation object 300.
  • FIG. 5 shows a state 400 in which the insertion direction of the perspective mirror 100 is different from the C3 direction using the perspective mirror 100, and a captured image 410 captured by the perspective mirror 100 in the state 400. Even when the perspective mirror 100 is used, the observation object 300 is behind the obstacle 310 in the state 400 shown in FIG.
  • FIG. 6 shows a state 420 in which the insertion direction of the perspective mirror 100 is changed from the state 400 in FIG. 5 and the direction of the objective lens is changed in addition to the state in FIG. Yes.
  • the perspective mirror 100 may be manually moved from the state 400 where the observation object 300 is blocked by the obstacle 310 to the state 420 where the observation object 300 is not blocked by the obstacle 310.
  • the existing endoscope support arm is intended only for the operation of the direct endoscope 150 and does not correspond to the operation using the perspective mirror 100 in the first place.
  • FIG. 7 is a schematic diagram showing a state in which the perspective mirror 100 is inserted into the human body through the abdominal wall 320.
  • a trocar 5025a (not shown) is disposed at a penetrating position (trocar point T) of the abdominal wall 320 of the perspective mirror 100, and the perspective mirror 100 is inserted into the human body so as to penetrate the trocar 5025a.
  • FIG. 7 shows the setting of the coordinate system in the body.
  • a coordinate system in the body a coordinate system T with the trocar point T as the origin is set.
  • a coordinate system H is set along the optical axis direction (imaging direction) in which the objective lens is directed, with the tip of the perspective mirror 100 as the origin H.
  • the center point of the captured image as viewed from the trocar point T (the center point of the object) when the P coordinates and P T, coordinates P T be represented by homogeneous transformation matrix as shown in the following (1) Can do.
  • the equation (1) shows a homogeneous coordinate expression of P T ⁇ R 4 , and ⁇ x, ⁇ y, ⁇ z are angles indicating the insertion posture of the perspective mirror at the trocar point T, and the subscripts x, y, z Is the angle rotated around each axis.
  • the x axis, the y axis, and the z axis can be defined as an example in which the z axis is a vertical direction and the xy plane is a plane orthogonal to the z axis.
  • the z-axis can be defined as the initial insertion direction of the perspective mirror 100
  • the xy plane can be defined as a plane orthogonal to the z-axis.
  • L is the length of insertion of the perspective mirror 100 from the trocar point T into the human body
  • is the angle of perspective of the objective lens
  • l is the distance from the objective lens to the shooting point. Since ⁇ x, ⁇ y, ⁇ z, L, and l at the start of this control calculation can be determined from the configuration of the support arm device, the observation target coordinate PT can be specifically obtained by applying the equation (1). Is possible.
  • Yaw, Roll, Pitch, and Transfer represent the following homogenous transformation matrix, respectively.
  • Yaw ( ⁇ z), Roll ( ⁇ x), and Pitch ( ⁇ y) in the equation (1) indicate how much the perspective mirror 100 is tilted with respect to the x axis, the y axis, and the z axis.
  • Transfer indicates how much the perspective mirror 100 is inserted into the human body.
  • ⁇ x and ⁇ y among the parameters of the equation (1) are given as new posture parameters from the outside (surgeon).
  • ⁇ x and ⁇ y are set to known values, and the remaining parameters are obtained so as to maintain the target subject (observation target 300) at the center of the screen.
  • the insertion amount L of the perspective mirror 100 from the trocar point T into the human body and the rotation angle ⁇ Z of the perspective mirror 100 around the Z axis in the coordinate system T are obtained, and the insertion amount L and the rotation angle ⁇ are obtained.
  • the support arm device 5027 is operated. As a result, when the surgeon gives the movement of rotating the perspective mirror 100 around the trocar point T, the observation object 300 is always located at the center of the screen.
  • the coordinate P T of the center point P of the captured image shown in the equation (1) is the coordinate when viewed from the coordinate system T, but the coordinate P H of the center point P of the captured image viewed from the coordinate system H is shown.
  • the expression is expressed by a homogeneous transformation matrix, but it is mathematically obvious that the same calculation can be expressed using a 3 ⁇ 3 rotation matrix and a three-dimensional vector.
  • the arm control device 5045 includes an operation amount acquisition unit 5045a, a calculation unit 5045b, and an arm control unit 5045c.
  • the configuration of the arm control device 5045 shown in FIG. 8 can be configured by a circuit (hardware) or a central processing unit such as a CPU and a program (software) for causing it to function.
  • the medical support arm according to the present embodiment includes a support arm device 5027 and an arm control device 5045 that support the perspective mirror 100.
  • the support arm device 5027 is assumed to have an active shaft (actuator) having seven or more degrees of freedom.
  • the operation amount acquisition unit 5045a acquires the rotation angles ⁇ x and ⁇ y.
  • the actuator provided in each joint part 5033a, 5033b, 5033c is provided with the encoder which detects the rotation angle of each joint part 5033a, 5033b, 5033c. Further, the rotation angle of the perspective mirror 100 with respect to the camera head 200 is also detected by the encoder. Thereby, the arm control device 5045 can detect the optical axis direction of the objective lens of the perspective mirror 100.
  • the operation amount acquisition unit 5045a can acquire the rotation angles ⁇ x and ⁇ y based on the rotation angles detected by the encoders of the joint portions 5033a, 5033b, and 5033c.
  • Calculation unit 5045b the rotation angle [theta] x, based on the [theta] y, the equation (1), calculates the insertion amount L and the rotation angle theta Z using equation (2).
  • the observation object 300 may not be disposed at the center of the captured image, and may be disposed at a position shifted from the center. In this case, the values of x H and y H may be set to arbitrary values.
  • Insertion amount L and the rotation angle [theta] x, [theta] y, if theta Z is known, the drive control of the arm portion 5031 of the support arm device 5027 may be carried out force control or position control, etc., by various known control method.
  • the insertion amount L and the rotation angle [theta] x, [theta] y, the driving of the support arm device 5027 based on the theta Z is insertion amount L and the rotation angle [theta] x, [theta] y, theta Z surgeon may be performed manually as a manipulated variable.
  • a forward kinematic model of the strabismus mirror 100 in the body can be constructed, and imaging can be performed from various directions while maintaining a desired location at the center of the screen.
  • the degree of freedom in the body (Degree OF Freedom, DOF) is 6 degrees of freedom, but in reality, the problem of 4 degrees of freedom is centered on the screen It was possible to solve the equation analytically by setting and modeling the conditions for the target point to come.
  • FIG. 9 shows a state 440 in which the operator has moved the state in the direction of pulling out the perspective mirror 100 from the state 420 shown in FIG. 6 and a captured image 450 in the case of the state 440. Even when the perspective mirror 100 is moved as shown in FIG. 9 by the calculations based on the expressions (1) and (2), the observation object 300 can be positioned at the center of the captured image 450.
  • the perspective mirror 100 when the perspective mirror 100 is inserted into the human body and the position and orientation of the perspective mirror 100 are changed, the subject can always be positioned at the center of the captured image. Accordingly, it is possible to greatly improve the operability of the squint mirror 100 by the operator.
  • a support arm that supports the perspective mirror;
  • a first formula that defines the coordinates of the subject in a coordinate system with the insertion port when the squint is inserted into the human body as the origin, and a tip of the squint mirror in the coordinate system with the tip of the squint as the origin
  • a computing unit for computing A medical support arm comprising: (2) An operation amount acquisition unit that acquires the rotation of the perspective mirror with the insertion port as a fulcrum as an operation amount of an operator, The medical support arm according to (1), wherein the calculation unit calculates the rotation angle and the insertion amount based on the operation amount.
  • the calculation unit calculates the rotation angle and the insertion amount based on a condition that the subject is positioned at the center of the optical axis of the objective lens.
  • the calculation unit calculates the rotation angle and the insertion amount based on a condition that the subject is located within a predetermined distance from the center of the optical axis of the objective lens.
  • the medical support arm according to (1) or (2).
  • a camera head having an imaging unit for imaging a subject;
  • a perspective mirror inserted into the human body and rotatable with respect to the camera head around an axis in the insertion direction;
  • a support arm that supports the perspective mirror;
  • An arm control device for controlling the support arm includes: a first expression that defines the coordinates of the subject in a coordinate system having an insertion point when the squint is inserted into the human body as an origin; And a rotation angle around the longitudinal axis of the perspective mirror and the perspective mirror based on the second equation that defines the coordinates of the subject located in the optical axis direction of the objective lens disposed at the tip of the perspective mirror in FIG.
  • the medical system which has a calculating part which calculates the amount of insertion in the human body.
  • the arm control device includes an operation amount acquisition unit that acquires rotation of the perspective mirror using the insertion port as a fulcrum as an operation amount of the operator, The medical system according to (7), wherein the calculation unit calculates the rotation angle and the insertion amount based on the operation amount. (9) In the second formula, the calculation unit calculates the rotation angle and the insertion amount based on a condition that the subject is positioned at the center of the optical axis of the objective lens. The medical system according to 8). (10) In the second equation, the calculation unit calculates the rotation angle and the insertion amount based on a condition that the subject is located within a predetermined distance from the center of the optical axis of the objective lens. The medical system according to (7) or (8).

Abstract

【課題】斜視鏡を人体内部に挿入して操作した場合に、観察対象物を常に撮像画像の領域に収める。 【解決手段】本開示に係る医療用支持アームは、斜視鏡を支持する支持アームと、前記斜視鏡を人体内部へ挿入した際の挿入口を原点とする座標系において被写体の座標を規定した第1の式と、前記斜視鏡の先端を原点とする座標系において前記斜視鏡の先端に配置された対物レンズの光軸方向に位置する前記被写体の座標を規定した第2の式とに基づき、前記斜視鏡の長手方向の軸周りの回転角と前記斜視鏡の人体内部への挿入量を演算する演算部と、を備える。

Description

医療用支持アーム及び医療用システム
 本開示は、医療用支持アーム及び医療用システムに関する。
 従来、例えば下記の特許文献1には、医療用観察装置において、術部の画像を撮影する撮像部と、前記撮像部が接続され、少なくとも6自由度で動作可能に回転軸が設けられる保持部と、を備え、前記回転軸のうち、少なくとも2軸は当該回転軸の状態に基づいて駆動が制御される能動軸であり、少なくとも1軸は接触を伴う外部からの直接的な操作に従って回転する受動軸である構成が記載されている。
国際公開第2016/017532号
 ところで、人体内部に挿入される内視鏡において、観察対象物の前に障害物があったとしても、斜視鏡を用いることで、障害物に遮られることなく観察対象物の観察が可能となる。しかしながら、術者が斜視鏡を操作しながら、観察対象物を撮像画像の中心に位置させることは、非常な困難が伴う。
 上記特許文献1には医療用顕微鏡におけるポイントロック観察に関して記載されているが、特許文献1に記載された技術は、斜視鏡を人体内部に挿入した場合に、腹壁などの特定箇所を制約条件として斜視鏡を支持することは何ら想定していなかった。
 そこで、斜視鏡を人体内部に挿入して操作した場合に、観察対象物を常に撮像画像の領域に収めることが望まれていた。
 本開示によれば、斜視鏡を支持する支持アームと、前記斜視鏡を人体内部へ挿入した際の挿入口を原点とする座標系において被写体の座標を規定した第1の式と、前記斜視鏡の先端を原点とする座標系において前記斜視鏡の先端に配置された対物レンズの光軸方向に位置する前記被写体の座標を規定した第2の式とに基づき、前記斜視鏡の長手方向の軸周りの回転角と前記斜視鏡の人体内部への挿入量を演算する演算部と、を備える、医療用支持アームが提供される。
 また、本開示によれば、被写体を撮像する撮像部を有するカメラヘッドと、人体内部に挿入され、挿入方向の軸周りに前記カメラヘッドに対して回転可能とされた斜視鏡と、前記斜視鏡を支持する支持アームと、前記支持アームを制御するアーム制御装置と、を備え、前記アーム制御装置は、前記斜視鏡を人体内部へ挿入した際の挿入口を原点とする座標系において前記被写体の座標を規定した第1の式と、前記斜視鏡の先端を原点とする座標系において前記斜視鏡の先端に配置された対物レンズの光軸方向に位置する前記被写体の座標を規定した第2の式とに基づき、前記斜視鏡の長手方向の軸周りの回転角と前記斜視鏡の人体内部への挿入量を演算する演算部を有する、医療用システムが提供される。
 以上説明したように本開示によれば、斜視鏡を人体内部に挿入して操作した場合に、観察対象物を常に撮像画像の領域に収めることが可能となる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示に係る技術が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。 図1に示すカメラヘッド及びCCUの機能構成の一例を示すブロック図である。 本開示の一実施形態に係る斜視鏡の構成を示す模式図である。 斜視鏡と直視鏡を対比して示す模式図である。 斜視鏡を腹壁から人体内部に挿入して観察対象物を観察している様子を示す模式図である。 斜視鏡を腹壁から人体内部に挿入して観察対象物を観察している様子を示す模式図である。 腹壁を貫通して斜視鏡が人体内部に挿入された状態を示す模式図である。 (1)式、(2)式に基づいて挿入量Lと回転角度θを演算するアーム制御装置5045の構成を示す模式図である。 図6に示す状態から術者が斜視鏡を外へ引き抜く方向に動かした状態を示す模式図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
1.内視鏡システムの構成例
2.斜視鏡の基本的構成
3.本実施形態に係る斜視鏡の制御
1.内視鏡システムの構成例
 図1は、本開示に係る技術が適用され得る内視鏡手術システム5000の概略的な構成の一例を示す図である。図1では、術者(医師)5067が、内視鏡手術システム5000を用いて、患者ベッド5069上の患者5071に手術を行っている様子が図示されている。図示するように、内視鏡手術システム5000は、内視鏡5001と、その他の術具5017と、内視鏡5001を支持する支持アーム装置5027と、内視鏡下手術のための各種の装置が搭載されたカート5037と、から構成される。
 内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ5025a~5025dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ5025a~5025dから、内視鏡5001の鏡筒5003や、その他の術具5017が患者5071の体腔内に挿入される。図示する例では、その他の術具5017として、気腹チューブ5019、エネルギー処置具5021及び鉗子5023が、患者5071の体腔内に挿入されている。また、エネルギー処置具5021は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具5017はあくまで一例であり、術具5017としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
 内視鏡5001によって撮影された患者5071の体腔内の術部の画像が、表示装置5041に表示される。術者5067は、表示装置5041に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具5021や鉗子5023を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ5019、エネルギー処置具5021及び鉗子5023は、手術中に、術者5067又は助手等によって支持される。
 (支持アーム装置)
 支持アーム装置5027は、ベース部5029から延伸するアーム部5031を備える。図示する例では、アーム部5031は、関節部5033a、5033b、5033c、及びリンク5035a、5035bから構成されており、アーム制御装置5045からの制御により駆動される。アーム部5031によって内視鏡5001が支持され、その位置及び姿勢が制御される。これにより、内視鏡5001の安定的な位置の固定が実現され得る。
 (内視鏡)
 内視鏡5001は、先端から所定の長さの領域が患者5071の体腔内に挿入される鏡筒5003と、鏡筒5003の基端に接続されるカメラヘッド5005と、から構成される。図示する例では、硬性の鏡筒5003を有するいわゆる硬性鏡として構成される内視鏡5001を図示しているが、内視鏡5001は、軟性の鏡筒5003を有するいわゆる軟性鏡として構成されてもよい。
 鏡筒5003の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡5001には光源装置5043が接続されており、当該光源装置5043によって生成された光が、鏡筒5003の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者5071の体腔内の観察対象に向かって照射される。なお、内視鏡5001は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
 カメラヘッド5005の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)5039に送信される。なお、カメラヘッド5005には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
 なお、例えば立体視(3D表示)等に対応するために、カメラヘッド5005には撮像素子が複数設けられてもよい。この場合、鏡筒5003の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
 (カートに搭載される各種の装置)
 CCU5039は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5001及び表示装置5041の動作を統括的に制御する。具体的には、CCU5039は、カメラヘッド5005から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5039は、当該画像処理を施した画像信号を表示装置5041に提供する。また、CCU5039は、カメラヘッド5005に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
 表示装置5041は、CCU5039からの制御により、当該CCU5039によって画像処理が施された画像信号に基づく画像を表示する。内視鏡5001が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置5041としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置5041として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置5041が設けられてもよい。
 光源装置5043は、例えばLED(light emitting diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡5001に供給する。
 アーム制御装置5045は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置5027のアーム部5031の駆動を制御する。
 入力装置5047は、内視鏡手術システム5000に対する入力インタフェースである。ユーザは、入力装置5047を介して、内視鏡手術システム5000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置5047を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置5047を介して、アーム部5031を駆動させる旨の指示や、内視鏡5001による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具5021を駆動させる旨の指示等を入力する。
 入力装置5047の種類は限定されず、入力装置5047は各種の公知の入力装置であってよい。入力装置5047としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ5057及び/又はレバー等が適用され得る。入力装置5047としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置5041の表示面上に設けられてもよい。
 あるいは、入力装置5047は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置5047は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置5047は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置5047が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者5067)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
 処置具制御装置5049は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具5021の駆動を制御する。気腹装置5051は、内視鏡5001による視野の確保及び術者の作業空間の確保の目的で、患者5071の体腔を膨らめるために、気腹チューブ5019を介して当該体腔内にガスを送り込む。レコーダ5053は、手術に関する各種の情報を記録可能な装置である。プリンタ5055は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
 以下、内視鏡手術システム5000において特に特徴的な構成について、更に詳細に説明する。
 (支持アーム装置)
 支持アーム装置5027は、基台であるベース部5029と、ベース部5029から延伸するアーム部5031と、を備える。図示する例では、アーム部5031は、複数の関節部5033a、5033b、5033cと、関節部5033bによって連結される複数のリンク5035a、5035bと、から構成されているが、図1では、簡単のため、アーム部5031の構成を簡略化して図示している。実際には、アーム部5031が所望の自由度を有するように、関節部5033a~5033c及びリンク5035a、5035bの形状、数及び配置、並びに関節部5033a~5033cの回転軸の方向等が適宜設定され得る。例えば、アーム部5031は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5031の可動範囲内において内視鏡5001を自由に移動させることが可能になるため、所望の方向から内視鏡5001の鏡筒5003を患者5071の体腔内に挿入することが可能になる。
 関節部5033a~5033cにはアクチュエータが設けられており、関節部5033a~5033cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置5045によって制御されることにより、各関節部5033a~5033cの回転角度が制御され、アーム部5031の駆動が制御される。これにより、内視鏡5001の位置及び姿勢の制御が実現され得る。この際、アーム制御装置5045は、力制御又は位置制御等、各種の公知の制御方式によってアーム部5031の駆動を制御することができる。
 例えば、術者5067が、入力装置5047(フットスイッチ5057を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置5045によってアーム部5031の駆動が適宜制御され、内視鏡5001の位置及び姿勢が制御されてよい。当該制御により、アーム部5031の先端の内視鏡5001を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部5031は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5031は、手術室から離れた場所に設置される入力装置5047を介してユーザによって遠隔操作され得る。
 また、力制御が適用される場合には、アーム制御装置5045は、ユーザからの外力を受け、その外力にならってスムーズにアーム部5031が移動するように、各関節部5033a~5033cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部5031に触れながらアーム部5031を移動させる際に、比較的軽い力で当該アーム部5031を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡5001を移動させることが可能となり、ユーザの利便性を向上させることができる。
 ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡5001が支持されていた。これに対して、支持アーム装置5027を用いることにより、人手によらずに内視鏡5001の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
 なお、アーム制御装置5045は必ずしもカート5037に設けられなくてもよい。また、アーム制御装置5045は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置5045は、支持アーム装置5027のアーム部5031の各関節部5033a~5033cにそれぞれ設けられてもよく、複数のアーム制御装置5045が互いに協働することにより、アーム部5031の駆動制御が実現されてもよい。
 (光源装置)
 光源装置5043は、内視鏡5001に術部を撮影する際の照射光を供給する。光源装置5043は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5043において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5005の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
 また、光源装置5043は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド5005の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
 また、光源装置5043は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5043は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
 (カメラヘッド及びCCU)
 図2を参照して、内視鏡5001のカメラヘッド5005及びCCU5039の機能についてより詳細に説明する。図2は、図1に示すカメラヘッド5005及びCCU5039の機能構成の一例を示すブロック図である。
 図2を参照すると、カメラヘッド5005は、その機能として、レンズユニット5007と、撮像部5009と、駆動部5011と、通信部5013と、カメラヘッド制御部5015と、を有する。また、CCU5039は、その機能として、通信部5059と、画像処理部5061と、制御部5063と、を有する。カメラヘッド5005とCCU5039とは、伝送ケーブル5065によって双方向に通信可能に接続されている。
 まず、カメラヘッド5005の機能構成について説明する。レンズユニット5007は、鏡筒5003との接続部に設けられる光学系である。鏡筒5003の先端から取り込まれた観察光は、カメラヘッド5005まで導光され、当該レンズユニット5007に入射する。レンズユニット5007は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット5007は、撮像部5009の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
 撮像部5009は撮像素子によって構成され、レンズユニット5007の後段に配置される。レンズユニット5007を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部5009によって生成された画像信号は、通信部5013に提供される。
 撮像部5009を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者5067は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
 また、撮像部5009を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者5067は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部5009が多板式で構成される場合には、各撮像素子に対応して、レンズユニット5007も複数系統設けられる。
 また、撮像部5009は、必ずしもカメラヘッド5005に設けられなくてもよい。例えば、撮像部5009は、鏡筒5003の内部に、対物レンズの直後に設けられてもよい。
 駆動部5011は、アクチュエータによって構成され、カメラヘッド制御部5015からの制御により、レンズユニット5007のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部5009による撮像画像の倍率及び焦点が適宜調整され得る。
 通信部5013は、CCU5039との間で各種の情報を送受信するための通信装置によって構成される。通信部5013は、撮像部5009から得た画像信号をRAWデータとして伝送ケーブル5065を介してCCU5039に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者5067が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部5013には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル5065を介してCCU5039に送信される。
 また、通信部5013は、CCU5039から、カメラヘッド5005の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部5013は、受信した制御信号をカメラヘッド制御部5015に提供する。なお、CCU5039からの制御信号も、光通信によって伝送されてもよい。この場合、通信部5013には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部5015に提供される。
 なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU5039の制御部5063によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡5001に搭載される。
 カメラヘッド制御部5015は、通信部5013を介して受信したCCU5039からの制御信号に基づいて、カメラヘッド5005の駆動を制御する。例えば、カメラヘッド制御部5015は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部5009の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部5015は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部5011を介してレンズユニット5007のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部5015は、更に、鏡筒5003やカメラヘッド5005を識別するための情報を記憶する機能を備えてもよい。
 なお、レンズユニット5007や撮像部5009等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド5005について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
 次に、CCU5039の機能構成について説明する。通信部5059は、カメラヘッド5005との間で各種の情報を送受信するための通信装置によって構成される。通信部5059は、カメラヘッド5005から、伝送ケーブル5065を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5059には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5059は、電気信号に変換した画像信号を画像処理部5061に提供する。
 また、通信部5059は、カメラヘッド5005に対して、カメラヘッド5005の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
 画像処理部5061は、カメラヘッド5005から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部5061は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
 画像処理部5061は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部5061が複数のGPUによって構成される場合には、画像処理部5061は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
 制御部5063は、内視鏡5001による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部5063は、カメラヘッド5005の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部5063は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡5001にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部5063は、画像処理部5061による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
 また、制御部5063は、画像処理部5061によって画像処理が施された画像信号に基づいて、術部の画像を表示装置5041に表示させる。この際、制御部5063は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部5063は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具5021使用時のミスト等を認識することができる。制御部5063は、表示装置5041に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者5067に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
 カメラヘッド5005及びCCU5039を接続する伝送ケーブル5065は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
 ここで、図示する例では、伝送ケーブル5065を用いて有線で通信が行われていたが、カメラヘッド5005とCCU5039との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル5065を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル5065によって妨げられる事態が解消され得る。
 以上、本開示に係る技術が適用され得る内視鏡手術システム5000の一例について説明した。なお、ここでは、一例として内視鏡手術システム5000について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
2.斜視鏡の基本的構成
 図3は、本開示の一実施形態に係る斜視鏡100の構成を示す模式図である。図3に示すように、斜視鏡100は、カメラヘッド200の先端に装着されている。斜視鏡100は図1及び図2で説明した鏡筒5003に対応し、カメラヘッド200は、図1及び図2で説明したカメラヘッド5005に対応する。斜視鏡100とカメラヘッド200は互いに独立して回動可能とされている。斜視鏡100とカメラヘッド200の間には、各関節部5033a,5033b,5033cと同様にアクチュエータが設けられており、斜視鏡100はアクチュエータの駆動によってカメラヘッド200に対して回転する。これにより、後述する回転角θが制御される。
 斜視鏡100は支持アーム装置5027によって支持される。支持アーム装置5027は、スコピストの代わりに斜視鏡100を保持し、また術者や助手の操作によって斜視鏡100を所望の部位が観察できるように移動させる機能を有する。
 図4は、斜視鏡100と直視鏡150を対比して示す模式図である。直視鏡150では、対物レンズの被写体への向き(C1)と直視鏡150の長手方向(C2)は一致する。一方、斜視鏡100では、対物レンズの被写体への向き(C1)は、斜視鏡100の長手方向(C2)に対して所定の角度φを有している。
 図5及び図6は、斜視鏡100を腹壁320から人体内部に挿入して観察対象物300を観察している様子を示す模式図である。図5及び図6において、トロッカ点Tは、トロッカ5025aが配置される位置であり、人体への斜視鏡100の挿入位置を示している。図5及び図6に示すC3方向は、トロッカ点Tと観察対象物300を結ぶ方向である。観察対象物300の前に臓器などの障害物310が存在する場合、直視鏡150で図5及び図6に示すC3方向から観察対象物300を観察すると、障害物310の陰となって観察対象物300の全域を観察することができない。図5では、斜視鏡100を用い、斜視鏡100の挿入方向がC3方向とは異なる状態400と、状態400の場合に斜視鏡100で撮像した撮像画像410を示している。斜視鏡100を用いた場合であっても、図5に示す状態400では、観察対象物300は障害物310の陰となってしまう。
 一方、図6は、図5の状態に加え、斜視鏡100の挿入方向を図5の状態400から変え、対物レンズの向きも変えた状態420と、状態420の場合の撮像画像430を示している。図6の状態420のように斜視鏡100の挿入方向を変え、対物レンズの向きも変えることで、障害物310に遮られることなく、視点を変えて観察対象物300を観察することが可能となる。
 一方で、図6に示すように、観察対象物300が障害物310に遮られてしまう状態400から、観察対象物300が障害物310によって遮られない状態420へ斜視鏡100を手動で動かそうとする場合に、観察対象物300を撮像画像の中心に位置させた状態を維持しながら状態400から状態420へ直感的に操作して撮影することは一般的に難しい。また、既存の内視鏡支持アームにおいては、直視鏡150の操作のみを対象としており、そもそも斜視鏡100を使用した操作に対応していない。
3.本実施形態に係る斜視鏡の制御
 本実施形態では、図6に示す状態400から状態420へ遷移させて、観察対象物300が障害物310によって遮られないようにする際に、観察対象物300が撮像画像の中央に配置されるように斜視鏡100の向きをアーム指示装置5027で自動的に調整する。以下、詳細に説明する。
 図7は、腹壁320を貫通して斜視鏡100が人体内部に挿入された状態を示す模式図である。斜視鏡100の腹壁320の貫通位置(トロッカ点T)には、トロッカ5025a(不図示)が配置され、斜視鏡100はトロッカ5025aを貫通するように人体内部へ挿入される。
 図7では、体内での座標系の設定を示している。体内での座標系として、トロッカ点Tを原点とする座標系Tを設定する。また、斜視鏡100の先端を原点Hとし、対物レンズが向いている光軸方向(撮影方向)に沿った座標系Hを設定する。このとき、トロッカ点Tから見た撮影画像の中心点(被写体の中心点)Pの座標をPとすると、座標Pは以下の(1)式に示すような同次変換行列で表すことができる。
Figure JPOXMLDOC01-appb-M000001
 但し、(1)式ではP∈Rの同次座標表現を示しており、θx,θy,θzはトロッカ点Tでの斜視鏡の挿入姿勢を示す角度であって添字x,y,zのそれぞれの軸の周りに回転した角度である。なお、座標系Tにおいて、x軸、y軸、z軸は、一例としてz軸を鉛直方向とし、xy平面をz軸に直交する平面として規定することができる。または、z軸を斜視鏡100の初期の挿入方向とし、xy平面をz軸に直交する平面として規定することもできる。また、Lはトロッカ点Tから斜視鏡100を人体内部に挿入した長さであり、φは対物レンズの斜視の角度、lは対物レンズから撮影点までの距離である。本制御演算開始時のθx,θy,θz,L,lは支持アーム装置の構成から決定可能であるため、式(1)に適用することによって観察対象の座標Pを具体的に求めることが可能である。
 また、(1)式において、Yaw,Roll,Pitch,Transferはそれぞれ以下のような同次変換行列を表す。(1)式のYaw(θz),Roll(θx),Pitch(θy)は、x軸、y軸、z軸に対して斜視鏡100をどれだけ傾けたかを示している。また、Transferは斜視鏡100を人体内部にどれだけ挿入したかを示している。
Figure JPOXMLDOC01-appb-M000002
 図6に示す状態400から状態420へ姿勢を変えて観察対象物300を観察する場合、トロッカ点Tでは、斜視鏡100の腹壁320に沿った方向の移動は制限される。このため、術者は、トロッカ点Tを中心に斜視鏡100を回転させる動きを与えることになる。つまり、(1)式のパラメータのうちθx,θyが外部(術者)から新しい姿勢のパラメータとして与えられる。本実施形態では、θx,θyを既知の値として、目的の被写体(観察対象物300)を画面の中心に維持するように、残りのパラメータを求める。特に、本実施形態では、トロッカ点Tから人体内部への斜視鏡100の挿入量Lと、座標系TにおけるZ軸周りの斜視鏡100の回転角度θを求め、挿入量Lと回転角度θに基づいて支持アーム装置5027の操作が行われる。これにより、術者がトロッカ点Tを中心に斜視鏡100を回転させる動きを与えた際に、観察対象物300が画面の中心に常に位置することになる。
 具体的な手法は以下の通りである。ここで、(1)式に示した撮影画像の中心点Pの座標Pは座標系Tから見たときの座標であるが、座標系Hから見た撮影画像の中心点Pの座標Pは、(1)式のPを用いて以下の(2)式で表すことができる。
Figure JPOXMLDOC01-appb-M000003
 座標系Hにおいて、z軸方向は斜視鏡100の対物レンズの光軸方向となる。従って、撮像画像はxy平面に相当する画像となる。このため、(2)式において、画面の中心に観察対象物300が位置する条件は、(x,y)=(0,0)に相当する。また、本実施形態では、体内の4自由度であることによる不足した2自由度分の制約として、zの目標値を設定しないこととした。これによって、解くべき方程式として、x=0,y=0という2つの方程式を解くことで、新しい姿勢のパラメータθxとθyに対応した挿入量Lと回転角度θの解を得ることができる。上述のように、Lはトロッカ点Tから人体内部への斜視鏡100の挿入量、θは座標系TにおけるZ軸(斜視鏡100の長手方向軸)周りの斜視鏡100の回転角度である。他のパラメータは既知であるので、Lとθが求まることで斜視鏡100の位置と姿勢を一意に決定することができる。
 なお、本実施形態では同次変換行列で式を表現しているが、同様の計算は3行3列の回転行列と3次元のベクトルを用いても表現できることは数学的に自明である。更に、座標の回転の順序として、上記では左からYaw、Roll、Pitchの順に乗算しているが、この順番を任意に設定しても(x,y)=(0,0)を解くことは可能である。また、斜視鏡100の対物レンズの光軸方向に対する長手方向の角度を便宜上Pitchの回転としているが、YawやRollを選択しても解くことも可能である。
 図8は、(1)式、(2)式に基づいて挿入量Lと回転角度θを演算するアーム制御装置5045の構成を示す模式図である。図8に示すように、アーム制御装置5045は、操作量取得部5045a、演算部5045b、アーム制御部5045cを有して構成される。図8に示すアーム制御装置5045の構成は、回路(ハードウェア)、またはCPUなどの中央演算処理装置とこれを機能させるためのプログラム(ソフトウェア)から構成することができる。なお、本実施形態に係る医療用支持アームは、斜視鏡100を支持する支持アーム装置5027とアーム制御装置5045とを有して構成される。支持アーム装置5027は7自由度以上の能動軸(アクチュエータ)を有するものとする。
 操作量取得部5045aは、回転角度θx,θyを取得する。各関節部5033a,5033b,5033cに設けられたアクチュエータは、各関節部5033a,5033b,5033cの回転角度を検出するエンコーダを備えている。また、カメラヘッド200に対する斜視鏡100の回転角度もエンコーダによって検出される。これにより、アーム制御装置5045は、斜視鏡100の対物レンズの光軸方向を検知可能とされている。操作量取得部5045aは、各関節部5033a,5033b,5033cのエンコーダが検出する回転角度に基づいて、回転角度θx,θyを取得することができる。
 演算部5045bは、回転角度θx,θyに基づいて、上述した(1)式、(2)式を用いて挿入量Lと回転角度θを演算する。この際、演算部5045bは、(2)式において(x,y)=(0,0)の条件を設定することで挿入量Lと回転角度θを演算する。なお、観察対象物300は、撮像画像の中心に配置されていなくても良く、中心からずれた位置に配置されても良い。この場合は、x,yの値を任意の値に設定すれば良い。
 アーム制御部5045cは、演算部5045bが演算した挿入量Lと回転角度θに基づいて、また操作量取得部5045aが取得した回転角度θx,θyに基づいて、支持アーム装置5027を制御する。挿入量Lと回転角度θx,θy,θが既知であれば、支持アーム装置5027のアーム部5031の駆動制御は、力制御又は位置制御等、各種の公知の制御方式によって行うことができる。なお、挿入量Lと回転角度θx,θy,θに基づく支持アーム装置5027の駆動は、挿入量Lと回転角度θx,θy,θを操作量として術者が手動で行うこともできる。
 以上により本実施形態では、体内での斜視鏡100の順運動学モデルを構築して所望の場所を画面中心に維持しながら様々な方向から撮影することを可能にした。その際、完全に任意の位置と姿勢から撮影するためには体内での自由度(Degree OF Freedom, DOF)が6自由度となるが、実際には4自由度である課題について、画面中心に目標点がくるような条件を設定し、モデル化することで方程式を解析的に解くことを可能とした。
 図9は、図6に示す状態420から術者が斜視鏡100を外へ引き抜く方向に動かした状態440と、状態440の場合の撮像画像450を示している。(1)式、(2)式による演算により、図9のように斜視鏡100を動かした場合であっても、撮像画像450の中央に観察対象物300を位置させることが可能である。
 以上説明したように本実施形態によれば、斜視鏡100を人体内部に挿入し、斜視鏡100の位置、向きを変えた場合に、撮像画像の中央に常に被写体を位置させることができる。従って、術者による斜視鏡100の操作性を大幅に向上することが可能となる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1) 斜視鏡を支持する支持アームと、
 前記斜視鏡を人体内部へ挿入した際の挿入口を原点とする座標系において被写体の座標を規定した第1の式と、前記斜視鏡の先端を原点とする座標系において前記斜視鏡の先端に配置された対物レンズの光軸方向に位置する前記被写体の座標を規定した第2の式とに基づき、前記斜視鏡の長手方向の軸周りの回転角と前記斜視鏡の人体内部への挿入量を演算する演算部と、
 を備える、医療用支持アーム。
(2) 前記挿入口を支点とする前記斜視鏡の回転を術者の操作量として取得する操作量取得部を備え、
 前記演算部は前記操作量に基づいて前記回転角及び前記挿入量を演算する、前記(1)に記載の医療用支持アーム。
(3) 前記演算部は、前記第2の式において、前記対物レンズの光軸の中心に前記被写体が位置する条件の基に前記回転角及び前記挿入量を演算する、前記(1)又は(2)に記載の医療用支持アーム。
(4) 前記演算部は、前記第2の式において、前記対物レンズの光軸の中心から所定距離の範囲に前記被写体が位置する条件の基に前記回転角及び前記挿入量を演算する、前記(1)又は(2)に記載の医療用支持アーム。
(5) 前記演算部は、前記挿入口を原点とする第1座標系において前記被写体の第1座標を規定した前記第1の式と、前記斜視鏡の先端を原点とする第2座標系において前記第1座標に基づいて前記被写体の座標を規定した前記第2の式とに基づき、前記回転角及び前記挿入量を演算する、前記(1)~(4)のいずれかに記載の医療用支持アーム。
(6) 前記回転角と前記挿入量に基づいて前記支持アームを制御するアーム制御部を更に備える、前記(1)~(5)のいずれかに記載の医療用支持アーム。
(7) 被写体を撮像する撮像部を有するカメラヘッドと、
 人体内部に挿入され、挿入方向の軸周りに前記カメラヘッドに対して回転可能とされた斜視鏡と、
 前記斜視鏡を支持する支持アームと、
 前記支持アームを制御するアーム制御装置と、を備え、
 前記アーム制御装置は、前記斜視鏡を人体内部へ挿入した際の挿入口を原点とする座標系において前記被写体の座標を規定した第1の式と、前記斜視鏡の先端を原点とする座標系において前記斜視鏡の先端に配置された対物レンズの光軸方向に位置する前記被写体の座標を規定した第2の式とに基づき、前記斜視鏡の長手方向の軸周りの回転角と前記斜視鏡の人体内部への挿入量を演算する演算部を有する、医療用システム。
(8) 前記アーム制御装置は、前記挿入口を支点とする前記斜視鏡の回転を術者の操作量として取得する操作量取得部を備え、
 前記演算部は前記操作量に基づいて前記回転角及び前記挿入量を演算する、前記(7)に記載の医療用システム。
(9) 前記演算部は、前記第2の式において、前記対物レンズの光軸の中心に前記被写体が位置する条件の基に前記回転角及び前記挿入量を演算する、前記(7)又は(8)に記載の医療用システム。
(10) 前記演算部は、前記第2の式において、前記対物レンズの光軸の中心から所定距離の範囲に前記被写体が位置する条件の基に前記回転角及び前記挿入量を演算する、前記(7)又は(8)に記載の医療用システム。
(11) 前記演算部は、前記挿入口を原点とする第1座標系において前記被写体の第1座標を規定した前記第1の式と、前記斜視鏡の先端を原点とする第2座標系において前記第1座標に基づいて前記被写体の座標を規定した前記第2の式とに基づき、前記回転角及び前記挿入量を演算する、前記(7)~(10)のいずれかに記載の医療用システム。
(12) 前記アーム制御装置は、前記回転角と前記挿入量に基づいて前記支持アームを制御するアーム制御部を更に備える、前記(7)~(11)のいずれかに記載の医療用システム。
 100  斜視鏡
 200  カメラヘッド
 5027  支持アーム
 5045  アーム制御装置
 5045a  操作量取得部
 5045b  演算部
 5045c  アーム制御部

Claims (12)

  1.  斜視鏡を支持する支持アームと、
     前記斜視鏡を人体内部へ挿入した際の挿入口を原点とする座標系において被写体の座標を規定した第1の式と、前記斜視鏡の先端を原点とする座標系において前記斜視鏡の先端に配置された対物レンズの光軸方向に位置する前記被写体の座標を規定した第2の式とに基づき、前記斜視鏡の長手方向の軸周りの回転角と前記斜視鏡の人体内部への挿入量を演算する演算部と、
     を備える、医療用支持アーム。
  2.  前記挿入口を支点とする前記斜視鏡の回転を術者の操作量として取得する操作量取得部を備え、
     前記演算部は前記操作量に基づいて前記回転角及び前記挿入量を演算する、請求項1に記載の医療用支持アーム。
  3.  前記演算部は、前記第2の式において、前記対物レンズの光軸の中心に前記被写体が位置する条件の基に前記回転角及び前記挿入量を演算する、請求項1に記載の医療用支持アーム。
  4.  前記演算部は、前記第2の式において、前記対物レンズの光軸の中心から所定距離の範囲に前記被写体が位置する条件の基に前記回転角及び前記挿入量を演算する、請求項1に記載の医療用支持アーム。
  5.  前記演算部は、前記挿入口を原点とする第1座標系において前記被写体の第1座標を規定した前記第1の式と、前記斜視鏡の先端を原点とする第2座標系において前記第1座標に基づいて前記被写体の座標を規定した前記第2の式とに基づき、前記回転角及び前記挿入量を演算する、請求項1に記載の医療用支持アーム。
  6.  前記回転角と前記挿入量に基づいて前記支持アームを制御するアーム制御部を更に備える、請求項1に記載の医療用支持アーム。
  7.  被写体を撮像する撮像部を有するカメラヘッドと、
     人体内部に挿入され、挿入方向の軸周りに前記カメラヘッドに対して回転可能とされた斜視鏡と、
     前記斜視鏡を支持する支持アームと、
     前記支持アームを制御するアーム制御装置と、を備え、
     前記アーム制御装置は、前記斜視鏡を人体内部へ挿入した際の挿入口を原点とする座標系において前記被写体の座標を規定した第1の式と、前記斜視鏡の先端を原点とする座標系において前記斜視鏡の先端に配置された対物レンズの光軸方向に位置する前記被写体の座標を規定した第2の式とに基づき、前記斜視鏡の長手方向の軸周りの回転角と前記斜視鏡の人体内部への挿入量を演算する演算部を有する、医療用システム。
  8.  前記アーム制御装置は、前記挿入口を支点とする前記斜視鏡の回転を術者の操作量として取得する操作量取得部を備え、
     前記演算部は前記操作量に基づいて前記回転角及び前記挿入量を演算する、請求項7に記載の医療用システム。
  9.  前記演算部は、前記第2の式において、前記対物レンズの光軸の中心に前記被写体が位置する条件の基に前記回転角及び前記挿入量を演算する、請求項7に記載の医療用システム。
  10.  前記演算部は、前記第2の式において、前記対物レンズの光軸の中心から所定距離の範囲に前記被写体が位置する条件の基に前記回転角及び前記挿入量を演算する、請求項7に記載の医療用システム。
  11.  前記演算部は、前記挿入口を原点とする第1座標系において前記被写体の第1座標を規定した前記第1の式と、前記斜視鏡の先端を原点とする第2座標系において前記第1座標に基づいて前記被写体の座標を規定した前記第2の式とに基づき、前記回転角及び前記挿入量を演算する、請求項7に記載の医療用システム。
  12.  前記アーム制御装置は、前記回転角と前記挿入量に基づいて前記支持アームを制御するアーム制御部を更に備える、請求項7に記載の医療用システム。
PCT/JP2017/036976 2016-11-10 2017-10-12 医療用支持アーム及び医療用システム WO2018088105A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112017005655.1T DE112017005655T5 (de) 2016-11-10 2017-10-12 Medizinischer stützarm und medizinisches system
US16/341,315 US11540700B2 (en) 2016-11-10 2017-10-12 Medical supporting arm and medical system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-219521 2016-11-10
JP2016219521A JP2018075218A (ja) 2016-11-10 2016-11-10 医療用支持アーム及び医療用システム

Publications (1)

Publication Number Publication Date
WO2018088105A1 true WO2018088105A1 (ja) 2018-05-17

Family

ID=62110382

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/036976 WO2018088105A1 (ja) 2016-11-10 2017-10-12 医療用支持アーム及び医療用システム

Country Status (4)

Country Link
US (1) US11540700B2 (ja)
JP (1) JP2018075218A (ja)
DE (1) DE112017005655T5 (ja)
WO (1) WO2018088105A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020008672A1 (ja) * 2018-07-03 2020-01-09 オリンパス株式会社 内視鏡システム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11612306B2 (en) * 2017-11-01 2023-03-28 Sony Corporation Surgical arm system and surgical arm control system
WO2020070883A1 (ja) * 2018-10-05 2020-04-09 オリンパス株式会社 内視鏡システム
JP2020162633A (ja) * 2019-03-28 2020-10-08 ソニー株式会社 撮影制御装置、撮影制御方法、プログラム、及び、撮影システム
GB2588829B (en) * 2019-11-11 2023-11-29 Cmr Surgical Ltd Method of controlling a surgical robot
DE102020211133A1 (de) * 2020-09-03 2022-03-03 Carl Zeiss Meditec Ag Verfahren zum Betreiben eines Mikroskopiesystems und Mikroskopiesystems
US20230020780A1 (en) * 2021-07-14 2023-01-19 Cilag Gmbh International Stereoscopic endoscope with critical structure depth estimation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08117238A (ja) * 1994-10-25 1996-05-14 Olympus Optical Co Ltd 手術用マニピュレータ
JPH10249769A (ja) * 1997-01-13 1998-09-22 Sankyo Seiki Mfg Co Ltd 力補助装置の操作装置
JP2003310638A (ja) * 2002-04-24 2003-11-05 Olympus Optical Co Ltd 手術用観察装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5515478A (en) * 1992-08-10 1996-05-07 Computer Motion, Inc. Automated endoscope system for optimal positioning
US5876325A (en) * 1993-11-02 1999-03-02 Olympus Optical Co., Ltd. Surgical manipulation system
US6120433A (en) * 1994-09-01 2000-09-19 Olympus Optical Co., Ltd. Surgical manipulator system
US6843793B2 (en) * 1998-02-24 2005-01-18 Endovia Medical, Inc. Surgical instrument
US6468265B1 (en) * 1998-11-20 2002-10-22 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
US6522906B1 (en) * 1998-12-08 2003-02-18 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
US20060178556A1 (en) * 2001-06-29 2006-08-10 Intuitive Surgical, Inc. Articulate and swapable endoscope for a surgical robot
US7440793B2 (en) * 2004-07-22 2008-10-21 Sunita Chauhan Apparatus and method for removing abnormal tissue
US8079950B2 (en) * 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
EP2082678B1 (en) * 2006-11-13 2018-12-19 Olympus Corporation Endoscope insertion shape analysis system
JP5372407B2 (ja) * 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
JP2012515065A (ja) * 2009-01-16 2012-07-05 ザ ボード オブ リージェンツ オブ ザ ユニバーシティー オブ テキサス システム 医療デバイスおよび方法
US8551115B2 (en) * 2009-09-23 2013-10-08 Intuitive Surgical Operations, Inc. Curved cannula instrument
US8465476B2 (en) * 2009-09-23 2013-06-18 Intuitive Surgical Operations, Inc. Cannula mounting fixture
US20130250081A1 (en) * 2012-03-21 2013-09-26 Covidien Lp System and method for determining camera angles by using virtual planes derived from actual images
JP6132585B2 (ja) * 2013-02-21 2017-05-24 オリンパス株式会社 被検体挿入システム
JP6091370B2 (ja) * 2013-07-26 2017-03-08 オリンパス株式会社 医療システム及び医療用器具制御方法
JP5891208B2 (ja) * 2013-08-13 2016-03-22 Hoya株式会社 内視鏡用照明光学系
EP3125808B1 (en) * 2014-03-28 2023-01-04 Intuitive Surgical Operations, Inc. Quantitative three-dimensional visualization of instruments in a field of view
WO2016017532A1 (ja) 2014-08-01 2016-02-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置
CN108882964B (zh) * 2015-10-09 2021-10-22 柯惠Lp公司 使用成角度内窥镜运用机器人手术系统使体腔可视化的方法
WO2017070610A1 (en) * 2015-10-21 2017-04-27 Inscopix, Inc. Implantable optical probes and systems and methods for implantation of optical probes
JP6657933B2 (ja) * 2015-12-25 2020-03-04 ソニー株式会社 医療用撮像装置及び手術ナビゲーションシステム
WO2018005354A1 (en) * 2016-07-01 2018-01-04 Intuitive Surgical Operations, Inc. Method for positioning an endoscope with flexible shaft

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08117238A (ja) * 1994-10-25 1996-05-14 Olympus Optical Co Ltd 手術用マニピュレータ
JPH10249769A (ja) * 1997-01-13 1998-09-22 Sankyo Seiki Mfg Co Ltd 力補助装置の操作装置
JP2003310638A (ja) * 2002-04-24 2003-11-05 Olympus Optical Co Ltd 手術用観察装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020008672A1 (ja) * 2018-07-03 2020-01-09 オリンパス株式会社 内視鏡システム

Also Published As

Publication number Publication date
US20190274524A1 (en) 2019-09-12
JP2018075218A (ja) 2018-05-17
US11540700B2 (en) 2023-01-03
DE112017005655T5 (de) 2019-08-22

Similar Documents

Publication Publication Date Title
CN110325093B (zh) 医疗用臂系统、控制装置与控制方法
US11033338B2 (en) Medical information processing apparatus, information processing method, and medical information processing system
WO2018088105A1 (ja) 医療用支持アーム及び医療用システム
JP7115493B2 (ja) 手術アームシステム及び手術アーム制御システム
JP7151109B2 (ja) 医療用撮像装置及び医療用観察システム
CN112584743A (zh) 医疗系统、信息处理装置和信息处理方法
JP2019084334A (ja) 医療用保持装置、医療用アームシステム、及びドレープ装着機構
WO2018088113A1 (ja) 関節駆動用アクチュエータ及び医療用システム
WO2021049438A1 (ja) 医療用支持アーム、及び医療用システム
JP2020074926A (ja) 医療用観察システム、信号処理装置及び医療用観察方法
US20220322919A1 (en) Medical support arm and medical system
US20220400938A1 (en) Medical observation system, control device, and control method
WO2019181242A1 (ja) 内視鏡及びアームシステム
WO2021256168A1 (ja) 医用画像処理システム、手術画像制御装置、及び、手術画像制御方法
WO2020203164A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2023176133A1 (ja) 内視鏡用保持装置、内視鏡手術システム、及び制御方法
WO2022269992A1 (ja) 医療用観察システム、情報処理装置及び情報処理方法
WO2022019057A1 (ja) 医療用アーム制御システム、医療用アーム制御方法及びプログラム
WO2022219878A1 (ja) 医療用観察システム、医療用画像処理方法及び情報処理装置
WO2020050187A1 (ja) 医療システム、情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17868791

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17868791

Country of ref document: EP

Kind code of ref document: A1