WO2017145475A1 - 医療用情報処理装置、情報処理方法、医療用情報処理システム - Google Patents
医療用情報処理装置、情報処理方法、医療用情報処理システム Download PDFInfo
- Publication number
- WO2017145475A1 WO2017145475A1 PCT/JP2016/085189 JP2016085189W WO2017145475A1 WO 2017145475 A1 WO2017145475 A1 WO 2017145475A1 JP 2016085189 W JP2016085189 W JP 2016085189W WO 2017145475 A1 WO2017145475 A1 WO 2017145475A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- arm
- control unit
- image
- zoom
- unit
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 33
- 238000003672 processing method Methods 0.000 title description 2
- 230000033001 locomotion Effects 0.000 claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 58
- 230000003287 optical effect Effects 0.000 claims description 65
- 238000000034 method Methods 0.000 claims description 27
- 238000011282 treatment Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 17
- 238000011946 reduction process Methods 0.000 claims description 2
- 238000002357 laparoscopic surgery Methods 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 description 54
- 238000004891 communication Methods 0.000 description 29
- 238000002674 endoscopic surgery Methods 0.000 description 27
- 238000001514 detection method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000010336 energy treatment Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 8
- 238000001356 surgical procedure Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 208000005646 Pneumoperitoneum Diseases 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 210000003815 abdominal wall Anatomy 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 230000001954 sterilising effect Effects 0.000 description 2
- 238000004659 sterilization and disinfection Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 201000003144 pneumothorax Diseases 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/00149—Holding or positioning arrangements using articulated arms
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
- A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
- A61B2034/2057—Details of tracking cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
Definitions
- the present disclosure relates to a medical information processing apparatus, an information processing method, and a medical information processing system.
- endoscopic surgery using an endoscope that places little burden on patients has been performed.
- an operation is performed while imaging the inside of the abdominal cavity of a patient using an endoscope and displaying a captured image captured by the endoscope on a display.
- Patent Document 1 discloses an endoscopic surgical apparatus used for the endoscopic surgery as described above.
- the surgical apparatus disclosed in Patent Literature 1 discloses that the position of the distal end of the treatment tool is detected from the captured image of the endoscope, and a part of the captured image is cut out based on the detection result and enlarged and displayed on the monitor. ing.
- Patent Document 1 controls the cutout position of a captured image.
- the range that can be captured in endoscopic surgery is limited.
- an information processing apparatus that performs various imaging desired by an operator or an operator by controlling the movement of an arm unit that supports a camera is proposed.
- the image control unit that controls processing of a captured image from a camera
- an arm control unit that controls movement of an arm unit that supports the camera, the image control unit and the arm control
- One of the units is provided with a medical information processing apparatus that performs control based on control information from the other.
- FIG. 1 is a diagram illustrating an example of a schematic configuration of an endoscopic surgery system.
- FIG. 2 is a block diagram illustrating an example of a functional configuration of the camera head and the CCU illustrated in FIG.
- FIG. 3 is a block diagram showing a part of the configuration of the surgical system shown in FIG.
- FIG. 4A is a flowchart illustrating an example of processing of the CCU in the operation of tracking the surgical instrument of the present disclosure.
- FIG. 4B is a flowchart illustrating an example of processing of the arm control device in the operation of tracking the surgical instrument of the present disclosure.
- FIG. 5 is a flowchart illustrating an example of an operation for tracking the surgical instrument of the present disclosure.
- FIG. 1 is a diagram illustrating an example of a schematic configuration of an endoscopic surgery system.
- FIG. 2 is a block diagram illustrating an example of a functional configuration of the camera head and the CCU illustrated in FIG.
- FIG. 3 is a block diagram showing a part of the configuration of the surgical
- FIG. 6A is a flowchart illustrating an example of processing of the CCU in a zoom operation by arm control according to the present disclosure.
- FIG. 6B is a flowchart illustrating an example of processing of the arm control device in a zoom operation by arm control according to the present disclosure.
- FIG. 7 is a diagram showing a transition of zoom operation by the arm control shown in FIG.
- FIG. 8 is a diagram showing another example of the transition of the zoom operation by the arm control shown in FIG.
- FIG. 9 is a diagram showing another example of the transition of the zoom operation by the arm control shown in FIG.
- FIG. 10 is a diagram illustrating a display image sorting operation based on the type of surgical instrument of the present disclosure.
- FIG. 11 is a flowchart showing a display image sorting operation based on the type of surgical instrument shown in FIG.
- Configuration example of surgical system> The technology according to the present disclosure can be applied to various products.
- the technology according to the present disclosure may be applied to an endoscopic surgery system.
- FIG. 1 is a diagram illustrating an example of a schematic configuration of an endoscopic surgery system 3000 to which the technology according to the present disclosure can be applied.
- an endoscopic surgery system 3000 includes an endoscope 3100, other surgical tools 3200, a support arm device 3300 that supports the endoscope 3100, and various devices for endoscopic surgery. And a cart 3400 on which is mounted.
- trocars 3207a to 3207d are punctured into the abdominal wall. Then, the lens barrel 3101 of the endoscope 3100 and other surgical tools 3200 are inserted into the body cavity of the patient 3505 from the trocars 3207a to 3207d.
- an insufflation tube 3201, an energy treatment tool 3203, and forceps 3205 are inserted into the body cavity of the patient 3505.
- the energy treatment tool 3203 is a treatment tool that performs tissue incision and peeling, blood vessel sealing, or the like by high-frequency current or ultrasonic vibration.
- the illustrated surgical tool 3200 is merely an example, and as the surgical tool 3200, for example, various surgical tools generally used in endoscopic surgery, such as a lever and a retractor, may be used.
- the image of the surgical site in the body cavity of the patient 3505 captured by the endoscope 3100 is displayed on the display device 3403.
- the surgeon 3501 performs a treatment such as excision of the affected part, for example, using the energy treatment tool 3203 and the forceps 3205 while viewing the image of the surgical part displayed on the display device 3403 in real time.
- the pneumoperitoneum tube 3201, the energy treatment tool 3203, and the forceps 3205 are supported by an operator 3501 or an assistant during surgery.
- the support arm device 3300 includes an arm portion 3303 extending from the base portion 3301.
- the arm portion 3303 is composed of joint portions 3305 a, 3305 b, 3305 c and links 3307 a, 3307 b, and is driven by control from the arm control device 3407.
- the endoscope 3100 is supported by the arm portion 3303, and the position and posture thereof are controlled. Thereby, the stable position fixing of the endoscope 3100 can be realized.
- the endoscope 3100 includes a lens barrel 3101 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 3505, and a camera head 3103 connected to the proximal end of the lens barrel 3101.
- a lens barrel 3101 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 3505, and a camera head 3103 connected to the proximal end of the lens barrel 3101.
- an endoscope 3100 configured as a so-called rigid mirror having a rigid lens barrel 3101 is illustrated, but the endoscope 3100 is configured as a so-called flexible mirror having a flexible lens barrel 3101. Also good.
- An opening into which an objective lens is fitted is provided at the tip of the lens barrel 3101.
- a light source device 3405 is connected to the endoscope 3100, and light generated by the light source device 3405 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 3101. Irradiation is performed toward the observation target in the body cavity of the patient 3505 through the lens.
- the endoscope 3100 may be a direct endoscope, a perspective mirror, or a side endoscope.
- An optical system and an image sensor are provided inside the camera head 3103, and reflected light (observation light) from the observation target is condensed on the image sensor by the optical system. Observation light is photoelectrically converted by the imaging element, and an electrical signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
- the image signal is transmitted to a camera control unit (CCU) 3401 as RAW data.
- CCU camera control unit
- the camera head 3103 has a function of adjusting the magnification and the focal length by appropriately driving the optical system.
- a plurality of imaging elements may be provided in the camera head 3103 in order to cope with, for example, stereoscopic viewing (3D display).
- a plurality of relay optical systems are provided inside the lens barrel 3101 in order to guide observation light to each of the plurality of imaging elements.
- the CCU 3401 is configured by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and comprehensively controls the operations of the endoscope 3100 and the display device 3403. Specifically, the CCU 3401 performs various image processing for displaying an image based on the image signal, such as development processing (demosaic processing), for example, on the image signal received from the camera head 3103. The CCU 3401 provides the display device 3403 with the image signal subjected to the image processing. Also, the CCU 3401 transmits a control signal to the camera head 3103 to control its driving.
- the control signal can include information regarding imaging conditions such as magnification and focal length.
- the display device 3403 displays an image based on an image signal subjected to image processing by the CCU 3401 under the control of the CCU 3401.
- high-resolution imaging such as 4K (horizontal pixel number 3840 ⁇ vertical pixel number 2160) or 8K (horizontal pixel number 7680 ⁇ vertical pixel number 4320), and / or 3D display
- a display device 3403 that can display a high-resolution image and / or can display a 3D image can be used.
- a display device 3403 having a size of 55 inches or more can provide a more immersive feeling.
- a plurality of display devices 3403 having different resolutions and sizes may be provided depending on applications.
- the light source device 3405 is composed of a light source such as an LED (light emitting diode), and supplies irradiation light for imaging the surgical site to the endoscope 3100.
- a light source such as an LED (light emitting diode)
- the arm control device 3407 is configured by a processor such as a CPU, for example, and operates according to a predetermined program, thereby controlling driving of the arm portion 3303 of the support arm device 3300 according to a predetermined control method.
- the input device 3409 is an input interface for the endoscopic surgery system 3000.
- the user can input various information and instructions to the endoscopic surgery system 3000 via the input device 3409.
- the user inputs various kinds of information related to the operation, such as the patient's physical information and information about the surgical technique, through the input device 3409.
- the user instructs the arm unit 3303 to be driven via the input device 3409 or the instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 3100.
- An instruction to drive the energy treatment device 3203 is input.
- the type of the input device 3409 is not limited, and the input device 3409 may be various known input devices.
- the input device 3409 for example, a mouse, a keyboard, a touch panel, a switch, a foot switch 3419, and / or a lever can be applied.
- the touch panel may be provided on the display surface of the display device 3403.
- the input device 3409 is a device worn by a user, such as a glasses-type wearable device or an HMD (Head Mounted Display), for example, and various inputs according to the user's gesture and line of sight detected by these devices. Is done.
- the input device 3409 includes a camera capable of detecting the user's movement, and various inputs are performed according to the user's gesture and line of sight detected from the video captured by the camera.
- the input device 3409 includes a microphone that can pick up a user's voice, and various inputs are performed by voice through the microphone.
- the input device 3409 is configured to be able to input various types of information without contact, so that a user belonging to the clean area (for example, the operator 3501) operates a device belonging to the unclean area in a non-contact manner. Is possible.
- the user since the user can operate the device without releasing his / her hand from the surgical tool he / she has, the convenience for the user is improved.
- the treatment instrument control device 3411 controls driving of the energy treatment instrument 3203 for tissue ablation, incision, blood vessel sealing, or the like.
- the pneumoperitoneum 3413 gas is introduced into the body cavity through the pneumothorax tube 3201. Send in.
- the recorder 3415 is an apparatus capable of recording various types of information related to surgery.
- the printer 3417 is a device that can print various types of information related to surgery in various formats such as text, images, and graphs.
- the support arm device 3300 includes a base portion 3301 that is a base and an arm portion 3303 that extends from the base portion 3301.
- the arm portion 3303 includes a plurality of joint portions 3305a, 3305b, and 3305c, and a plurality of links 3307a and 3307b connected by the joint portion 3305b.
- FIG. The configuration of the arm portion 3303 is shown in a simplified manner. Actually, the shape, number and arrangement of the joint portions 3305a to 3305c and the links 3307a and 3307b, the direction of the rotation axis of the joint portions 3305a to 3305c, and the like are appropriately set so that the arm portion 3303 has a desired degree of freedom. obtain.
- the arm portion 3303 can be preferably configured to have six degrees of freedom or more. Accordingly, the endoscope 3100 can be freely moved within the movable range of the arm portion 3303. Therefore, the barrel 3101 of the endoscope 3100 can be inserted into the body cavity of the patient 3505 from a desired direction. It becomes possible.
- the joint portions 3305a to 3305c are provided with actuators, and the joint portions 3305a to 3305c are configured to be rotatable around a predetermined rotation axis by driving the actuators.
- the arm control device 3407 By controlling the driving of the actuator by the arm control device 3407, the rotation angles of the joint portions 3305a to 3305c are controlled, and the driving of the arm portion 3303 is controlled. Thereby, control of the position and attitude of the endoscope 3100 can be realized.
- the arm control device 3407 can control the driving of the arm portion 3303 by various known control methods such as force control or position control.
- the arm controller 3407 appropriately controls the driving of the arm unit 3303 according to the operation input.
- the position and orientation of the endoscope 3100 may be controlled. With this control, the endoscope 3100 at the tip of the arm portion 3303 can be moved from an arbitrary position to an arbitrary position, and then fixedly supported at the position after the movement.
- the arm portion 3303 may be operated by a so-called master slave method. In this case, the arm unit 3303 can be remotely operated by the user via the input device 3409 installed at a location away from the operating room.
- the arm control device 3407 receives the external force from the user and moves the actuators of the joint portions 3305a to 3305c so that the arm portion 3303 moves smoothly according to the external force. You may perform what is called power assist control to drive. Accordingly, when the user moves the arm portion 3303 while directly touching the arm portion 3303, the arm portion 3303 can be moved with a relatively light force. Therefore, the endoscope 3100 can be moved more intuitively and with a simpler operation, and the convenience for the user can be improved.
- an endoscope 3100 is supported by a doctor called a scopist.
- the position of the endoscope 3100 can be more reliably fixed without relying on human hands, so that an image of the surgical site can be stably obtained. It becomes possible to perform the operation smoothly.
- the arm control device 3407 is not necessarily provided in the cart 3400. Further, the arm control device 3407 is not necessarily one device. For example, the arm control device 3407 may be provided in each joint portion 3305a to 3305c of the arm portion 3303 of the support arm device 3300, and the arm control device 3407 cooperates with each other to drive the arm portion 3303. Control may be realized.
- FIG. 2 is a block diagram showing an example of the functional configuration of the camera head 3103 and CCU 3401 shown in FIG.
- the camera head 3103 has a lens unit 3105, an imaging unit 3107, a drive unit 3109, a communication unit 3111, and a camera head control unit 3113 as its functions.
- the CCU 3401 includes a communication unit 3421, an image processing unit 3423, and a control unit 3425 as its functions.
- the camera head 3103 and the CCU 3401 are connected to each other via a transmission cable 3427 so that they can communicate with each other.
- the lens unit 3105 is an optical system provided at a connection portion with the lens barrel 3101. Observation light captured from the tip of the lens barrel 3101 is guided to the camera head 3103 and enters the lens unit 3105.
- the lens unit 3105 is configured by combining a plurality of lenses including a zoom lens and a focus lens. The optical characteristics of the lens unit 3105 are adjusted so that the observation light is condensed on the light receiving surface of the image pickup device of the image pickup unit 3107. Further, the zoom lens and the focus lens are configured such that their positions on the optical axis are movable in order to adjust the magnification and focus of the captured image.
- the imaging unit 3107 is configured by an imaging element, and is arranged at the subsequent stage of the lens unit 3105.
- the observation light that has passed through the lens unit 3105 is collected on the light receiving surface of the image sensor, and an image signal corresponding to the observation image is generated by photoelectric conversion.
- the image signal generated by the imaging unit 3107 is provided to the communication unit 3111.
- CMOS Complementary Metal Oxide Semiconductor
- the imaging element for example, an element capable of capturing a high-resolution image of 4K or more may be used.
- the image sensor that configures the image capturing unit 3107 is configured to include a pair of image sensors for acquiring right-eye and left-eye image signals corresponding to 3D display. By performing the 3D display, the operator 3501 can more accurately grasp the depth of the living tissue in the surgical site.
- the imaging unit 3107 is configured as a multi-plate type, a plurality of lens units 3105 are also provided corresponding to each imaging element.
- the imaging unit 3107 is not necessarily provided in the camera head 3103.
- the imaging unit 3107 may be provided inside the lens barrel 3101 immediately after the objective lens.
- the driving unit 3109 includes an actuator, and moves the zoom lens and the focus lens of the lens unit 3105 by a predetermined distance along the optical axis under the control of the camera head control unit 3113. Thereby, the magnification and the focus of the image captured by the imaging unit 3107 can be adjusted as appropriate.
- the communication unit 3111 includes a communication device for transmitting and receiving various types of information to and from the CCU 3401.
- the communication unit 3111 transmits the image signal obtained from the imaging unit 3107 as RAW data to the CCU 3401 via the transmission cable 3427.
- the image signal is preferably transmitted by optical communication.
- the operator 3501 performs the operation while observing the state of the affected part with the captured image, so that a moving image of the operated part is displayed in real time as much as possible for a safer and more reliable operation. Because it is required.
- the communication unit 3111 is provided with a photoelectric conversion module that converts an electrical signal into an optical signal.
- the image signal is converted into an optical signal by the photoelectric conversion module, and then transmitted to the CCU 3401 via the transmission cable 3427.
- the communication unit 3111 receives a control signal for controlling driving of the camera head 3103 from the CCU 3401.
- the control signal includes, for example, information for designating the frame rate of the captured image, information for designating the exposure value at the time of imaging, and / or information for designating the magnification and focus of the captured image. Contains information about the condition.
- the communication unit 3111 provides the received control signal to the camera head control unit 3113.
- the control signal from the CCU 3401 may also be transmitted by optical communication.
- the communication unit 3111 is provided with a photoelectric conversion module that converts an optical signal into an electrical signal.
- the control signal is converted into an electrical signal by the photoelectric conversion module, and then provided to the camera head control unit 3113.
- the imaging conditions such as the frame rate, exposure value, magnification, and focus are automatically set by the control unit 3425 of the CCU 3401 based on the acquired image signal. That is, a so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are mounted on the endoscope 3100.
- AE Auto Exposure
- AF Automatic Focus
- AWB Automatic White Balance
- the camera head control unit 3113 controls driving of the camera head 3103 based on a control signal from the CCU 3401 received via the communication unit 3111. For example, the camera head control unit 3113 controls driving of the imaging element of the imaging unit 3107 based on information indicating that the frame rate of the captured image is specified and / or information indicating that the exposure at the time of imaging is specified. For example, the camera head control unit 3113 appropriately moves the zoom lens and the focus lens of the lens unit 3105 via the drive unit 3109 based on information indicating that the magnification and focus of the captured image are designated.
- the camera head control unit 3113 may further have a function of storing information for identifying the lens barrel 3101 and the camera head 3103.
- the camera head 3103 can be resistant to autoclave sterilization by disposing the lens unit 3105, the imaging unit 3107, and the like in a sealed structure with high airtightness and waterproofness.
- the communication unit 3421 is configured by a communication device for transmitting and receiving various types of information to and from the camera head 3103.
- the communication unit 3421 receives an image signal transmitted from the camera head 3103 via the transmission cable 3427.
- the image signal can be suitably transmitted by optical communication.
- the communication unit 3421 is provided with a photoelectric conversion module that converts an optical signal into an electric signal.
- the communication unit 3421 provides the image processing unit 3423 with the image signal converted into the electrical signal.
- the communication unit 3421 transmits a control signal for controlling driving of the camera head 3103 to the camera head 3103.
- the control signal may also be transmitted by optical communication.
- the image processing unit 3423 performs various types of image processing on the image signal that is RAW data transmitted from the camera head 3103. Examples of the image processing include development processing, high image quality processing (band enhancement processing, super-resolution processing, NR (Noise reduction) processing and / or camera shake correction processing, etc.), and / or enlargement processing (electronic zoom processing). Various known signal processing is included.
- the image processing unit 3423 performs detection processing on the image signal for performing AE, AF, and AWB.
- the image processing unit 3423 is configured by a processor such as a CPU or a GPU, and the above-described image processing and detection processing can be performed by the processor operating according to a predetermined program.
- the image processing unit 3423 is configured by a plurality of GPUs, the image processing unit 3423 appropriately divides information related to the image signal and performs image processing in parallel by the plurality of GPUs.
- the control unit 3425 performs various controls relating to imaging of the surgical site by the endoscope 3100 and display of the captured image. For example, the control unit 3425 generates a control signal for controlling driving of the camera head 3103. At this time, when the imaging condition is input by the user, the control unit 3425 generates a control signal based on the input by the user. Alternatively, when the endoscope 3100 is equipped with the AE function, the AF function, and the AWB function, the control unit 3425 determines an optimal exposure value, focal length, and the like according to the detection processing result by the image processing unit 3423. A white balance is appropriately calculated and a control signal is generated.
- control unit 3425 causes the display device 3403 to display an image of the surgical unit based on the image signal subjected to the image processing by the image processing unit 3423.
- the control unit 3425 recognizes various objects in the surgical unit image using various image techniques.
- the control unit 3425 detects a surgical tool such as forceps, a specific living body part, bleeding, a mist when using the energy treatment tool 3203, and the like by detecting the shape and color of the edge of an object included in the surgical site image. Can be recognized.
- the control unit 3425 uses the recognition result to superimpose and display various types of surgery support information on the image of the surgical site. Surgery support information is displayed in a superimposed manner and presented to the operator 3501, so that the surgery can be performed more safely and reliably.
- the transmission cable 3427 connecting the camera head 3103 and the CCU 3401 is an electric signal cable corresponding to electric signal communication, an optical fiber corresponding to optical communication, or a composite cable thereof.
- communication is performed by wire using the transmission cable 3427.
- communication between the camera head 3103 and the CCU 3401 may be performed wirelessly.
- communication between the two is performed wirelessly, it is not necessary to lay the transmission cable 3427 in the operating room, so that the situation where the movement of the medical staff in the operating room is hindered by the transmission cable 3427 can be solved.
- endoscopic surgery system 3000 has been described here as an example, a system to which the technology according to the present disclosure can be applied is not limited to such an example.
- the technology according to the present disclosure may be applied to a testing flexible endoscope system or a microscope operation system.
- First Embodiment> Tracking operation of surgical tools
- the CCU 3401 receives an image signal from the camera head 3103 and recognizes an object based on the received image signal.
- an operation for tracking the recognized surgical tool 3200 is performed.
- the camera head 3103 is an example of a camera that performs imaging
- the CCU 3401 is an example of an image control unit that controls processing of a captured image.
- the detection of the surgical instrument 3200 is performed by detecting the shape and / or color of the edge of the surgical instrument 3200 as described above.
- the detection of the surgical instrument 3200 may be performed by other methods.
- the detection of the surgical instrument 3200 may be performed by detecting the luminance gradient of the surgical instrument 3200. This is based on the fact that the luminance gradient of the surgical instrument 3200 is uniform (constant in a certain direction), but the luminance gradient of an object other than the surgical instrument 3200 such as an organ is not uniform.
- the detection of the surgical tool 3200 may be performed using machine learning. By using machine learning, the detection accuracy of the surgical instrument 3200 is improved each time it is used. This is extremely effective in a system that does not allow erroneous recognition as a surgical system.
- FIG. 3 is a diagram illustrating an example of the tracking operation of the surgical instrument 3200 according to the present disclosure.
- a frame indicated by a solid line in FIG. 3 indicates the imaging region 100 that is imaged by the imaging element of the imaging unit 3107.
- a frame indicated by a dotted line in FIG. 3 indicates the display area 200 that the CCU 3401 transmits to the display device 3403.
- the imaging area 100 is larger than the display area 200, and the CCU 3401 extracts the display area 200 from the imaging area 100 and transmits the display area 200 to the display device 3403.
- FIG. 3 shows a state in which the display area 200 is displayed on the display device 3403.
- the lower part of FIG. 3 shows the relationship between the imaging area 100 and the display area 200.
- an imaging target 300 such as an organ of a patient 3505 and a surgical tool 3200 such as a forceps 3205 are captured is shown.
- FIG. 3A is an initial state, and the vicinity of the distal end of the surgical instrument 3200 is located at the center of the display area 200.
- FIG. 3B shows a state in which the surgical instrument 3200 is moving in the right direction by the operator 3501 or an assistant moving the surgical instrument 3200.
- the CCU 3401 changes the cutout position of the display area 200 to the right side in order to track the detected movement of the surgical instrument 3200.
- the CCU 3401 changes the cutout position of the display area 200 according to the movement of the surgical instrument 3200, so that the vicinity of the distal end of the surgical instrument 3200 is maintained at the center of the display area 200.
- C in FIG. 3 is a diagram showing a case where the surgical instrument 3200 is further moved to the right from B in FIG.
- the distal end of the surgical instrument 3200 is located outside the range of the imaging region 100 (A and B imaging regions 100) in the initial state.
- the CCU 3401 sends control information to the arm control device 3407 so as to track the surgical instrument 3200 by moving the arm unit 3303.
- the arm control device 3407 moves the arm unit 3303 and tracks the surgical instrument 3200.
- the arm control device 3407 is an example of an arm control unit that controls the arm unit 3303.
- the CCU 3401 determines the cutting position of the display area 200 in the moving direction of the forceps 3205 (upper view of FIG. In FIG. 3C, the direction is changed to the opposite direction (left side). As a result, the display area 200 becomes the center of the imaging area 100, and an area for changing the cutout position next is secured.
- the CCU 3401 transmits control information to the arm control device 3407 so as to move the arm unit 3303.
- the surgical instrument 3200 can be tracked over a wider range.
- camera shake may occur after the arm moves.
- the CCU 3401 may be configured to correct this camera shake by changing the cutout position of the display area. This camera shake correction is performed by the CCU 3401 performing image processing or by attaching a gyro sensor to the arm unit 3303.
- FIG. 4A is a flowchart showing the processing of the CCU 3401 in the tracking operation of the surgical instrument 3200 described above.
- the CCU 3401 detects the movement of the surgical instrument 3200.
- the CCU 3401 determines whether the movement of the surgical tool 3200 can be handled by changing the cutout position of the display area 200.
- the process proceeds to S108.
- the CCU 3401 changes the cutout position of the display area 200 in accordance with the movement of the surgical instrument 3200.
- the CCU 3401 sends control information for controlling the arm unit 3303 to the arm control device 3407 (S104).
- the arm control device 3407 moves the arm unit 3303 based on the control information transmitted in S104, the arm control device 3407 transmits the arm movement information to the CCU 3401, and the CCU 3401 receives the arm movement information (S106).
- the CCU 3401 changes the cutout position of the display area 200 based on the arm movement information received from the arm control device 3407.
- the change of the cutout position of the display area 200 is performed in a direction opposite to the direction of movement of the arm unit 3303 in S110.
- FIG. 4B is a flowchart showing processing of the arm control device 3407 in the tracking operation of the surgical instrument 3200.
- the arm control device 3407 calculates an arm movement amount for moving the arm unit 3303 based on the control information received from the CCU 3401.
- the arm control device 3407 moves the arm unit 3303 based on the calculated arm movement amount.
- the arm control device 3407 sends arm movement information to the CCU 3401 in S116.
- the determination in S102 of FIG. 4A may be performed by various methods. For example, when a predetermined frame is set in advance in the imaging area 100 and the distal end of the surgical instrument 3200 moves beyond the predetermined frame, the CCU 3401 determines that the change of the cutout position of the display area 200 cannot cope with the change. Also good. Further, the CCU 3401 may calculate a motion vector of the surgical instrument 3200, and may determine that the CCU 3401 cannot cope with the change of the cutout position of the display area 200 when the vector amount of the motion vector is larger than a predetermined size. In this case, the CCU 3401 may transmit control information to the arm control device 3407 so as to move the arm at a speed and direction according to the calculated vector amount.
- the arm control device 3407 transmits arm movement information to the CCU 3401 in S116 of FIG. 4B, and the CCU 3401 changes the cut-out position based on the arm movement information.
- the CCU 3401 may detect the surgical instrument 3200 by image detection and change the cutout position of the display area 200 so that the vicinity of the detected distal end of the surgical instrument 3200 is in the center of the display area 200. Note that when the cutout position of the display area 200 is changed based on the arm movement information received by the CCU 3401 in S106 in FIG. 4A, the CCU 3401 does not detect an image, so the CCU 3401 can change the cutout position with a small processing load. it can.
- the CCU 3401 receives an image signal from the camera head 3103 and processes the received image signal. Also, the CCU 3401 transmits a camera head control signal for changing the magnification or focal length of the camera head 3103 to the camera head 3103.
- the arm control device 3407 receives external force information indicating that an external force has been applied to the arm unit 3303 from the arm unit 3303.
- the arm control device 3407 transmits an arm control signal for controlling the arm unit 3303 to the arm unit 3303.
- Control information is transmitted and received between the CCU 3401 and the arm control device 3407 in order to track the surgical instrument 3200 by the movement of the arm unit 3303 described above.
- the CCU 3401 transmits, for example, the position information of the surgical instrument 3200 or the cut-out position information of the display area 200 to the arm control device 3407 as the control information shown in S104 of FIG. 4A.
- the CCU 3401 may transmit the detected vector amount related to the motion of the surgical instrument 3200 to the arm control device 3407 as control information.
- the arm control device 3407 can control the operation of the arm unit 3303 in accordance with the speed and direction of the movement of the surgical instrument 3200.
- the arm control device 3407 transmits, for example, the arm position information, the moving speed, or the moving direction to the CCU 3401 as the arm movement information shown in S116 of FIG. 4B. Further, the arm control device 3407 may transmit a vector amount related to the movement of the arm unit 3303 to the CCU 3401 as arm movement information. When the arm control device 3407 transmits the vector amount, the CCU 3401 can control the cutout position change of the display area 200 according to the speed and direction of the movement of the arm unit 3303.
- the CCU 3401 processes the image signal received from the camera head 3103, cuts out the display area 200 from the imaging area 100, and transmits it to the display device 3403.
- the surgical tool 3200 when it cannot respond by changing the cutout position, the surgical tool 3200 may not exist in the imaging region 100.
- the CCU 3401 may store past frames of the imaging region 100 captured by the imaging device of the imaging unit 3107. Then, the CCU 3401 and the arm control device 3407 may perform the tracking operation of the surgical instrument 3200 by arm control using information (for example, a motion vector amount) related to the motion of the surgical instrument 3200 in the past frame.
- the arm control device 3407 controls the arm in cooperation with the CCU 3401 so that the distal end of the surgical instrument 3200 is near the center of the imaging area 100. May be.
- the CCU 3401 not only tracks the surgical instrument 3200 by changing the cutout position of the display area 200, but the arm control device 3407 moves the arm unit 3303 that supports the camera head 3103.
- the surgical instrument 3200 is tracked. Accordingly, even when there is a movement of the surgical tool 3200 that cannot be dealt with only by changing the cutout position of the display area 200 of the CCU 3401, the surgical tool 3200 can be tracked. Therefore, the surgeon 3501 or the assistant does not need to perform an operation of changing the display area 200 and can perform an operation without stress.
- Second Embodiment> zoom operation by arm control
- the example of the tracking operation of the surgical instrument 3200 by controlling the arm unit 3303 has been described above.
- a zoom operation by controlling the arm unit 3303 will be described.
- the endoscopic surgery system 3000 according to the present disclosure can perform optical zoom by moving the zoom lens of the lens unit 3105 by a predetermined distance along the optical axis.
- the term “zoom” described below includes both the meanings of “zoom in” and “zoom out” unless otherwise specified.
- the endoscopic surgery system 3000 performs zooming by controlling the arm unit 3303 in addition to optical zooming or electronic zooming performed by the camera head 3103.
- zooming by controlling the arm unit 3303 in addition to optical zooming or electronic zooming performed by the camera head 3103.
- the electronic zoom is performed by cutting out and enlarging a part of an image captured by the imaging unit 3107.
- Table 1 below shows the characteristics of optical zoom, electronic zoom, and zoom control by arm control.
- the electronic zoom is the fastest among the three zoom methods, and the arm control is the slowest among the three zoom methods.
- the optical zoom has a response speed intermediate between the two.
- the image quality the optical zoom and the zoom by the arm control can maintain the high image quality, but the electronic zoom deteriorates the image quality.
- the zoom operation can be performed when there is an obstacle between the camera head 3103 and the subject (corresponding to the obstacle)
- the optical zoom and the electronic zoom can perform the zoom operation. Can not.
- FIG. 6A is a flowchart illustrating an example of processing of the CCU 3401 in a zoom operation in which a zoom operation by the camera head 3103 and a zoom operation by arm control are combined.
- S200 the user inputs an instruction to specify the zoom magnification.
- the CCU 3401 determines whether or not the magnification designated in S200 is the current magnification. If the CCU 3401 determines in S202 that the specified magnification is the current magnification, the process ends. On the other hand, if the CCU 3401 determines in S202 that the specified magnification is different from the current magnification, the process proceeds to S204.
- the CCU 3401 performs optical zoom or electronic zoom based on the magnification designated in S200.
- the process proceeds to S206, and the CCU 3401 determines whether or not the optical or electronic zoom magnification has reached a predetermined value. If the CCU 3401 determines in step S206 that the optical or electronic zoom magnification has not reached the predetermined value, the process returns to step S204 and the zoom operation is repeated. If the CCU 3401 determines in step S206 that the optical or electronic zoom magnification has reached a predetermined value, the process proceeds to step S208.
- the CCU 3401 determines whether there is an obstacle by performing image detection. If the CCU 3401 determines in S208 that there is an obstacle, the process ends because it is dangerous if the arm unit 3303 moves. On the other hand, if the CCU 3401 determines that there is no obstacle in S208, the CCU 3401 sends the control information described above with reference to FIGS. 4 and 5 to the arm control device 3407 (S210).
- the arm control device 3407 moves the arm unit 3303 based on the control information transmitted in S210, the arm control device 3407 transmits the arm movement information to the CCU 3401, and the CCU 3401 receives the arm movement information (S212). In step S214, the CCU 3401 performs field angle and focus adjustment based on the arm movement information received from the arm control device 3407.
- FIG. 6B is a flowchart showing the processing of the arm control device 3407 in the zoom operation in which the zoom operation by the camera head 3103 and the zoom operation by the arm control are combined.
- the arm control device 3407 calculates an arm movement amount for moving the arm unit 3303 based on the control information received from the CCU 3401. In step S220, the arm control device 3407 moves the arm unit 3303 based on the calculated arm movement amount. When the arm unit 3303 moves in S220, the arm control device 3407 sends the arm movement information described above with reference to FIGS. 4 and 5 to the CCU 3401 in S222.
- the predetermined value in S206 may be a limit value of the magnification of the optical or electronic zoom. Further, the predetermined value in S206 may be a predetermined value lower than the limit value of the magnification of the optical or electronic zoom. If the predetermined value in S206 is a predetermined value that is lower than the limit value of the optical and / or electronic zoom magnification, the CCU 3401 can leave room for optical or electronic zoom. Accordingly, the CCU 3401 can immediately switch the display image to the overhead view image according to a user instruction.
- the arm control device 3407 transmits arm movement information to the CCU 3401, and the CCU 3401 performs the angle of view and the focus adjustment based on the arm movement information.
- the CCU 3401 may perform angle of view and focus adjustment by processing based on the contrast of the captured image.
- a solid line L1 in FIG. 7 indicates zooming by arm control
- a broken line L2 indicates zooming (optical zooming and / or electronic zooming) by the camera head 3103.
- the left side of the vertical axis is an axis indicating the zoom magnification by the camera head 3103, and is an axis with respect to the solid line L1.
- the right side of the vertical axis is an axis indicating a working distance (WD) that is the distance from the tip of the lens of the lens barrel 3101 to the subject, and is an axis with respect to the broken line L2.
- the initial value of the zoom magnification by the camera head 3103 is 1 and the initial value of WD is L.
- the magnification by the camera head 3103 is twice the limit value.
- zooming by the camera head 3103 is performed before zooming by arm control.
- the reason why the zoom by the camera head 3103 is performed before the zoom by the arm control is because the zoom operation by the camera head 3103 is faster than the zoom operation by the arm control.
- the zoom operation by the arm control takes time for the arm unit 3303 to start moving, it is preferable that the zoom operation by the camera head 3103 is performed before the zoom operation by the arm control.
- the zoom magnification by the camera head 3103 starts to decrease.
- the zoom magnification by the camera head 3103 is lowered before reaching the limit value, so that it is possible to leave room for responding to a sudden zoom operation request from the user.
- the zoom magnification can be quickly returned to the magnification 1 according to the user's instruction, and can be dealt with immediately when the surgeon 3501 wants to see the overhead view image of the surgical site.
- deterioration of image quality is reduced by not using the electronic zoom up to the limit magnification.
- zooming by arm control is started. Zooming by arm control is performed when the arm unit 3303 moves and the lens approaches the subject.
- the zoom by the camera head 3103 returns to the zoom magnification 1.
- zooming by arm control is performed until t4, and WD becomes 1/2 of the initial value at t4. At this time, a magnification of twice the initial value is achieved by the zoom operation by the arm control.
- the zoom operation similar to that from t1 to t4 is repeated, and the zoom magnification becomes 3 times at time t7. Similar to the time t2, the zoom magnification by the camera head 3103 begins to decrease at the time t5, and the zoom magnification by the camera head 3103 returns to 1 at the time t6. After t6, the zoom operation by the arm control is continued. At t7, the WD becomes 1/3 of the initial value by the zoom operation by the arm control. This reduces the distance between the lens and the subject, and the zoom magnification is three times the initial value.
- the electronic zoom is inferior in image quality compared to the other two zoom methods. Therefore, when the mode that prioritizes image quality is selected, the zoom operation is performed with priority given to the optical zoom and the zoom operation by arm control.
- FIG. 8 is a diagram showing the relationship between each zoom operation when the image quality priority mode is selected.
- a solid line L1 in FIG. 8 indicates an optical zoom operation
- a broken line L2 indicates a zoom operation by arm control
- a dotted line L3 indicates a zoom operation by an electronic zoom.
- the operation from t1 to t6 corresponds to the zoom operation shown in FIG.
- the zoom operation by the optical zoom is performed as the zoom operation by the camera head 3103 shown in FIG.
- the magnification is three times the initial value at time t6.
- the optical zoom is performed before the electronic zoom.
- the magnification becomes 6 times the initial value.
- the electronic zoom is finally performed.
- the magnification becomes 12 times the initial value.
- the zoom operation when the mode that prioritizes image quality is selected has been explained.
- an operation when a mode in which the zooming speed is prioritized is selected will be described.
- the response speed as the zoom operation is the fastest with the electronic zoom and the fastest with the optical zoom.
- the zoom operation by the arm control is inferior in terms of the response speed of the zoom operation as compared with the zoom operation by the other two methods.
- FIG. 9 is a diagram illustrating a relationship between zoom operations when the speed priority mode is selected.
- the correspondence relationship between the dotted lines in FIG. 9 is the same as that in FIG. 8, the solid line L1 indicates the optical zoom operation, the broken line L2 indicates the zoom operation by the arm control, and the dotted line L3 indicates the zoom operation by the electronic zoom.
- the zoom magnification by the electronic zoom decreases, and the optical zoom and the zoom by the arm control are continuously performed.
- the zoom magnification by the optical zoom starts to decrease, and the zoom operation by the arm control is continuously performed.
- the magnification of the electronic zoom and optical zoom returns to 1x. Then, the WD from the front end of the lens to the subject becomes 1/2 of the initial value by arm control, so that the zoom magnification by arm control is doubled. Accordingly, the zoom magnification as a whole is doubled.
- the zoom operation is performed in the order of electronic zoom, optical zoom, and zoom by arm control, as in t1 to t6.
- the magnification of the electronic zoom and the optical zoom is returned to 1.
- the zoom magnification by the arm control is 3 times as the WD becomes 1/3 of the initial value. Therefore, the overall zoom magnification is three times.
- the zoom operation is performed in the descending order of the response speed to the zoom operation, so that it is possible to quickly respond to the zoom instruction from the user.
- the electronic zoom and the optical zoom are performed before the zoom operation by the arm control, it is possible to gain time for moving the arm.
- the position of a part of the arm portion 3303 or the endoscope 3100 attached to the tip of the arm may be fixed by a trocar or the like. Further, even in a surgical microscope or the like, there may be a case where it is desired to limit the movement of the arm from the viewpoint of securing the operator's visual field or securing the surgical field.
- the zoom operation in the endoscopic surgery system 3000 according to the present disclosure performs optical zoom or electronic zoom by the camera head 3103 with priority over the zoom operation by arm control. As a result, the position of the arm is controlled so as not to change as much as possible.
- the zoom operation by the arm control is performed in addition to the zoom by the camera head 3103 (electronic zoom and optical zoom), so that only the zoom by the camera head 3103 is supported. You can zoom to a magnification that is not possible. Therefore, the display image can be enlarged or reduced to a magnification desired by the operator 3501 or the assistant.
- an image quality priority mode and a speed priority mode are provided, and the zoom operation used is changed according to the selected mode, so that the display image is enlarged or reduced according to the image quality or speed desired by the operator 3501 or the assistant. Can be reduced.
- FIG. 10 is a diagram illustrating an example of a captured image of the surgical site captured by the imaging unit 3107.
- various surgical tools 3200 are used.
- the operator 3501 excises the affected part using the energy treatment tool 3203
- the assistant uses the forceps 3205 to pick up the affected part and assists the operator 3501.
- surgeon 3501 and the assistant perform different treatments, the field of view they want is different. For example, since the surgeon 3501 performs a fine treatment such as cutting the affected part using the energy treatment tool 3203, the surgeon 3501 desires an enlarged image of the surgical part. On the other hand, since the assistant wants to confirm whether or not the surgical instrument 3200 has damaged other organs, the assistant desires an overhead view image including the entire surgical instrument 3200.
- the CCU 3401 outputs the area indicated by the dotted line in FIG. 10 to the main monitor for the operator 3501, and outputs the area indicated by the solid line in FIG. 10 to a sub-monitor different from the main monitor for the assistant.
- the region indicated by the solid line in FIG. 10 includes three surgical tools (one energy treatment tool 3203 and two forceps 3205), and all the tips of the three surgical tools 3200 are solid lines in FIG. It is contained in the captured image shown by.
- “the tips of all the surgical tools 3200 are included” means that the tips of all the surgical tools 3200 included in the captured image are included in the captured image.
- FIG. 11 is a flowchart showing the display image sorting operation described above.
- the CCU 3401 detects the surgical instrument 3200.
- the CCU 3401 determines whether the detected surgical instrument 3200 is a surgical instrument 3200 for an operator or a surgical instrument 3200 for an assistant.
- the CCU 3401 determines whether or not the tips of all the surgical tools 3200 included in the captured image are included in the captured image.
- the process proceeds to S308.
- the CCU 3401 outputs an enlarged image including the surgical instrument 3200 for the surgeon to the main monitor, and outputs an image including the tips of all the surgical instruments 3200 to the sub-monitor as assistant overhead images.
- the enlarged image is created by cutting out a part of the captured image and performing electronic zoom.
- step S302 if the CCU 3401 determines that the tips of all the surgical tools 3200 are not included in the captured image, the process proceeds to S304.
- step S ⁇ b> 304 the CCU 3401 sends control information for controlling the arm unit 3303 to the arm control device 3407 in order to perform a zoom operation by arm control.
- the control information sent here may include information on the amount or speed of movement of the arm unit 3303 or the position of the surgical instrument 3200.
- the arm control device 3407 calculates the movement amount of the arm unit 3303 and moves the arm unit 3303 (S306). Next, the process returns to S300, and S300 to S306 are repeated. That is, when the arm control device 3407 moves the arm unit 3303, the CCU 3401 determines whether or not the tips of all the surgical tools 3200 are included in the captured image. If the tips of all the surgical tools 3200 are not included, the CCU 3401 sends control information, and the arm control device 3407 moves the arm unit 3303 based on the control information.
- the zoom-out is performed by moving the arm portion 3303 by repeating the processing from S300 to S306. If the CCU 3401 determines that all the tips of the surgical instrument 3200 are included in the captured image in S302, the CCU 3401 outputs an enlarged image including the surgical instrument 3200 of the operator 3501 to the main monitor (S308). Also, the CCU 3401 outputs an image including the tips of all the surgical tools 3200 to the sub-monitor (S308).
- the detection of the surgical instrument 3200 in S300 is performed by detecting the shape and / or color of the edge of the surgical instrument 3200, the luminance gradient of the surgical instrument 3200, and the like as described above.
- the detection of the surgical tool 3200 may be performed using machine learning.
- the endoscopic operation system 3000 stores the shape and / or color of the edge of the surgical instrument 3200 and the brightness gradient pattern of the surgical instrument 3200 for each surgical instrument 3200, and pattern matching is performed. May be made by:
- the surgical tool 3200 such as the forceps 3205 used by the assistant basically does not move much
- the CCU 3401 detects the movement of the surgical tool 3200 and the moving surgical tool 3200 is the surgical tool 3200 used by the surgeon 3501. It may be determined that there is.
- the zoom position and the enlargement ratio were determined according to the detection result of the surgical instrument 3200.
- the identification of the affected area can be based on a learning process similar to the detection process of the surgical instrument 3200, or can be detected based on the result of observation with special light (narrowband light, fluorescence excitation light). It is also possible to do.
- the display image for the operator and the display image for the assistant can be distributed to different monitors. Therefore, the display image can be provided at the angle of view desired by the operator 3501 or the assistant.
- the zoom operation by the arm control may be performed after the optical zoom is performed. This allows a greater zoom out and provides the images desired by the surgeon 3501 and assistant.
- the optical zoom has a faster response speed than the zoom by arm control, it is possible to gain time for the arm unit 3303 to start moving.
- An image control unit that controls processing of a captured image from the camera;
- An arm control unit that controls the movement of the arm unit that supports the camera,
- One of the image control unit and the arm control unit is a medical information processing apparatus that performs control based on control information from the other.
- the image control unit detects a treatment tool from a captured image captured by the camera;
- the medical information processing apparatus according to (1), wherein the image control unit changes a cutout position of the captured image according to the detected movement of the treatment tool.
- the image control unit sends control information to the arm control unit based on the detected movement of the treatment tool, The medical device according to any one of (1) and (2), wherein the arm control unit calculates a movement amount for moving the arm unit based on the control information received from the image control unit. Information processing device.
- the arm control unit sends the calculated movement amount of the arm unit to the image control unit, The medical information processing apparatus according to (3), wherein the image control unit changes a cutout position of the captured image based on a movement amount of the arm unit received from the arm control unit.
- the image control unit sends control information for controlling the arm unit to the arm control unit, either (3) or (4) The medical information processing apparatus according to item 1.
- the image control unit sends an enlargement instruction to the camera, When the image control unit determines that enlargement by movement of the arm unit is more suitable than enlargement by the camera,
- the medical information processing apparatus according to any one of (1) to (5), wherein the image control unit sends control information for controlling the arm unit to the arm control unit.
- Enlarging with the camera includes optical zoom and electronic zoom, The medical information processing apparatus according to (6), wherein the image control unit controls the optical zoom before the electronic zoom when a mode that prioritizes image quality is selected.
- Enlarging with the camera includes optical zoom and electronic zoom
- the medical information processing apparatus according to (6), wherein the image control unit controls the electronic zoom prior to the optical zoom when a mode that prioritizes a speed of enlarging an image is selected.
- Processing equipment (10)
- the image control unit detects a plurality of treatment tools from a captured image captured by the camera, The medical control apparatus according to any one of (1) to (9), wherein the image control unit performs a reduction process so that the detected distal ends of the plurality of treatment instruments are all included in the captured image.
- Information processing device is any one of (1) to (9).
- the image control unit further detects the type of the treatment tool, The medical information processing apparatus according to (10), wherein the image control unit cuts out the captured image so that a treatment tool for an operator is included in a display image.
- Controlling the processing of captured images from the camera Controlling the movement of the arm that supports the camera;
- One of the control of the process of the captured image or the control of the movement of the arm unit includes a control based on control information by the other control.
- a camera for capturing images An image control unit that controls processing of a captured image from the camera; An arm for supporting the camera; An arm control unit that controls the movement of the arm unit that supports the camera,
- One of the image control unit and the arm control unit is a medical information processing system configured to perform control based on control information from the other.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Signal Processing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Robotics (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
【課題】従来の手術装置は、撮像画像の切り出し位置のみを制御するので腹腔鏡手術において限られた範囲の画像制御しか行わない。 【解決手段】カメラからの撮像画像の処理を制御する画像制御部と、前記カメラを支持するアームの動きを制御するアーム制御部と、を有し、前記画像制御部及び前記アーム制御部の一方は、他方からの制御情報に基づいて前記制御を行う、医療用情報処理装置。
Description
本開示は、医療用情報処理装置、情報処理方法、医療用情報処理システムに関する。
近年、患者への負担が小さい内視鏡を用いた内視鏡手術が多く行われている。内視鏡手術においては、内視鏡を用いて患者の腹腔内を撮像し、内視鏡が撮像する撮像画像をディスプレイに表示しながら手術が行われる。
特許文献1には、上述したような内視鏡手術に用いられる内視鏡下手術装置が開示されている。特許文献1に開示された手術装置は、内視鏡の撮像画像から処置具の先端の位置を検出し、検出結果に基づいて撮像画像の一部を切り出してモニタに拡大表示することが開示されている。
特許文献1に開示されている手術装置は、撮像画像の切り出し位置を制御する。しかし撮像画像の切り出し位置では、内視鏡手術において撮像できる範囲が限られる。
そこで本開示では、カメラを支持するアーム部の動きを制御することによって、操作者または術者が望む多様な撮像を行う情報処理装置が提案される。
本開示によれば、カメラからの撮像画像の処理を制御する画像制御部と、前記カメラを支持するアーム部の動きを制御するアーム制御部と、を有し、前記画像制御部及び前記アーム制御部の一方は、他方からの制御情報に基づいて制御を行う、医療用情報処理装置が提供される。
以上説明したように本開示によれば、操作者または術者が望む多様な撮像を行うことができる。
なお、上記の効果は必ずしも限定されず、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行う。
1.手術システムの構成例
2.第1の実施形態
3.第2の実施形態
4.第3の実施形態
5.補足
6.むすび
1.手術システムの構成例
2.第1の実施形態
3.第2の実施形態
4.第3の実施形態
5.補足
6.むすび
<1.手術システムの構成例>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
図1は、本開示に係る技術が適用され得る内視鏡手術システム3000の概略的な構成の一例を示す図である。図1では、術者(医師)3501が、内視鏡手術システム3000を用いて、患者ベッド3503上の患者3505に手術を行っている様子が図示されている。図示するように、内視鏡手術システム3000は、内視鏡3100と、その他の術具3200と、内視鏡3100を支持する支持アーム装置3300と、内視鏡下手術のための各種の装置が搭載されたカート3400と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ3207a~3207dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ3207a~3207dから、内視鏡3100の鏡筒3101や、その他の術具3200が患者3505の体腔内に挿入される。図示する例では、その他の術具3200として、気腹チューブ3201、エネルギー処置具3203及び鉗子3205が、患者3505の体腔内に挿入されている。また、エネルギー処置具3203は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具3200はあくまで一例であり、術具3200としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡3100によって撮影された患者3505の体腔内の術部の画像が、表示装置3403に表示される。術者3501は、表示装置3403に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具3203や鉗子3205を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ3201、エネルギー処置具3203及び鉗子3205は、手術中に、術者3501又は助手等によって支持される。
(支持アーム装置)
支持アーム装置3300は、ベース部3301から延伸するアーム部3303を備える。図示する例では、アーム部3303は、関節部3305a、3305b、3305c、及びリンク3307a、3307bから構成されており、アーム制御装置3407からの制御により駆動される。アーム部3303によって内視鏡3100が支持され、その位置及び姿勢が制御される。これにより、内視鏡3100の安定的な位置の固定が実現され得る。
支持アーム装置3300は、ベース部3301から延伸するアーム部3303を備える。図示する例では、アーム部3303は、関節部3305a、3305b、3305c、及びリンク3307a、3307bから構成されており、アーム制御装置3407からの制御により駆動される。アーム部3303によって内視鏡3100が支持され、その位置及び姿勢が制御される。これにより、内視鏡3100の安定的な位置の固定が実現され得る。
(内視鏡)
内視鏡3100は、先端から所定の長さの領域が患者3505の体腔内に挿入される鏡筒3101と、鏡筒3101の基端に接続されるカメラヘッド3103と、から構成される。図示する例では、硬性の鏡筒3101を有するいわゆる硬性鏡として構成される内視鏡3100を図示しているが、内視鏡3100は、軟性の鏡筒3101を有するいわゆる軟性鏡として構成されてもよい。
内視鏡3100は、先端から所定の長さの領域が患者3505の体腔内に挿入される鏡筒3101と、鏡筒3101の基端に接続されるカメラヘッド3103と、から構成される。図示する例では、硬性の鏡筒3101を有するいわゆる硬性鏡として構成される内視鏡3100を図示しているが、内視鏡3100は、軟性の鏡筒3101を有するいわゆる軟性鏡として構成されてもよい。
鏡筒3101の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡3100には光源装置3405が接続されており、当該光源装置3405によって生成された光が、鏡筒3101の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者3505の体腔内の観察対象に向かって照射される。なお、内視鏡3100は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド3103の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)3401に送信される。なお、カメラヘッド3103には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視(3D表示)等に対応するために、カメラヘッド3103には撮像素子が複数設けられてもよい。この場合、鏡筒3101の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
(カートに搭載される各種の装置)
CCU3401は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡3100及び表示装置3403の動作を統括的に制御する。具体的には、CCU3401は、カメラヘッド3103から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU3401は、当該画像処理を施した画像信号を表示装置3403に提供する。また、CCU3401は、カメラヘッド3103に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
CCU3401は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡3100及び表示装置3403の動作を統括的に制御する。具体的には、CCU3401は、カメラヘッド3103から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU3401は、当該画像処理を施した画像信号を表示装置3403に提供する。また、CCU3401は、カメラヘッド3103に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
表示装置3403は、CCU3401からの制御により、当該CCU3401によって画像処理が施された画像信号に基づく画像を表示する。内視鏡3100が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置3403としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置3403として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置3403が設けられてもよい。
光源装置3405は、例えばLED(light emitting diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡3100に供給する。
アーム制御装置3407は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置3300のアーム部3303の駆動を制御する。
入力装置3409は、内視鏡手術システム3000に対する入力インタフェースである。ユーザは、入力装置3409を介して、内視鏡手術システム3000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置3409を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置3409を介して、アーム部3303を駆動させる旨の指示や、内視鏡3100による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具3203を駆動させる旨の指示等を入力する。
入力装置3409の種類は限定されず、入力装置3409は各種の公知の入力装置であってよい。入力装置3409としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ3419及び/又はレバー等が適用され得る。入力装置3409としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置3403の表示面上に設けられてもよい。
あるいは、入力装置3409は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置3409は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置3409は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置3409が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者3501)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置3411は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具3203の駆動を制御する。気腹装置3413は、内視鏡3100による視野の確保及び術者の作業空間の確保の目的で、患者3505の体腔を膨らめるために、気腹チューブ3201を介して当該体腔内にガスを送り込む。レコーダ3415は、手術に関する各種の情報を記録可能な装置である。プリンタ3417は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム3000において特に特徴的な構成について、更に詳細に説明する。
(支持アーム装置)
支持アーム装置3300は、基台であるベース部3301と、ベース部3301から延伸するアーム部3303と、を備える。図示する例では、アーム部3303は、複数の関節部3305a、3305b、3305cと、関節部3305bによって連結される複数のリンク3307a、3307bと、から構成されているが、図1では、簡単のため、アーム部3303の構成を簡略化して図示している。実際には、アーム部3303が所望の自由度を有するように、関節部3305a~3305c及びリンク3307a、3307bの形状、数及び配置、並びに関節部3305a~3305cの回転軸の方向等が適宜設定され得る。例えば、アーム部3303は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部3303の可動範囲内において内視鏡3100を自由に移動させることが可能になるため、所望の方向から内視鏡3100の鏡筒3101を患者3505の体腔内に挿入することが可能になる。
支持アーム装置3300は、基台であるベース部3301と、ベース部3301から延伸するアーム部3303と、を備える。図示する例では、アーム部3303は、複数の関節部3305a、3305b、3305cと、関節部3305bによって連結される複数のリンク3307a、3307bと、から構成されているが、図1では、簡単のため、アーム部3303の構成を簡略化して図示している。実際には、アーム部3303が所望の自由度を有するように、関節部3305a~3305c及びリンク3307a、3307bの形状、数及び配置、並びに関節部3305a~3305cの回転軸の方向等が適宜設定され得る。例えば、アーム部3303は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部3303の可動範囲内において内視鏡3100を自由に移動させることが可能になるため、所望の方向から内視鏡3100の鏡筒3101を患者3505の体腔内に挿入することが可能になる。
関節部3305a~3305cにはアクチュエータが設けられており、関節部3305a~3305cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置3407によって制御されることにより、各関節部3305a~3305cの回転角度が制御され、アーム部3303の駆動が制御される。これにより、内視鏡3100の位置及び姿勢の制御が実現され得る。この際、アーム制御装置3407は、力制御又は位置制御等、各種の公知の制御方式によってアーム部3303の駆動を制御することができる。
例えば、術者3501が、入力装置3409(フットスイッチ3419を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置3407によってアーム部3303の駆動が適宜制御され、内視鏡3100の位置及び姿勢が制御されてよい。当該制御により、アーム部3303の先端の内視鏡3100を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部3303は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部3303は、手術室から離れた場所に設置される入力装置3409を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置3407は、ユーザからの外力を受け、その外力にならってスムーズにアーム部3303が移動するように、各関節部3305a~3305cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部3303に触れながらアーム部3303を移動させる際に、比較的軽い力で当該アーム部3303を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡3100を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡3100が支持されていた。これに対して、支持アーム装置3300を用いることにより、人手によらずに内視鏡3100の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置3407は必ずしもカート3400に設けられなくてもよい。また、アーム制御装置3407は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置3407は、支持アーム装置3300のアーム部3303の各関節部3305a~3305cにそれぞれ設けられてもよく、複数のアーム制御装置3407が互いに協働することにより、アーム部3303の駆動制御が実現されてもよい。
(カメラヘッド及びCCU)
図2を参照して、内視鏡3100のカメラヘッド3103及びCCU3401の機能についてより詳細に説明する。図2は、図1に示すカメラヘッド3103及びCCU3401の機能構成の一例を示すブロック図である。
図2を参照して、内視鏡3100のカメラヘッド3103及びCCU3401の機能についてより詳細に説明する。図2は、図1に示すカメラヘッド3103及びCCU3401の機能構成の一例を示すブロック図である。
図2を参照すると、カメラヘッド3103は、その機能として、レンズユニット3105と、撮像部3107と、駆動部3109と、通信部3111と、カメラヘッド制御部3113と、を有する。また、CCU3401は、その機能として、通信部3421と、画像処理部3423と、制御部3425と、を有する。カメラヘッド3103とCCU3401とは、伝送ケーブル3427によって双方向に通信可能に接続されている。
まず、カメラヘッド3103の機能構成について説明する。レンズユニット3105は、鏡筒3101との接続部に設けられる光学系である。鏡筒3101の先端から取り込まれた観察光は、カメラヘッド3103まで導光され、当該レンズユニット3105に入射する。レンズユニット3105は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット3105は、撮像部3107の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部3107は撮像素子によって構成され、レンズユニット3105の後段に配置される。レンズユニット3105を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部3107によって生成された画像信号は、通信部3111に提供される。
撮像部3107を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者3501は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部3107を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者3501は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部3107が多板式で構成される場合には、各撮像素子に対応して、レンズユニット3105も複数系統設けられる。
また、撮像部3107は、必ずしもカメラヘッド3103に設けられなくてもよい。例えば、撮像部3107は、鏡筒3101の内部に、対物レンズの直後に設けられてもよい。
駆動部3109は、アクチュエータによって構成され、カメラヘッド制御部3113からの制御により、レンズユニット3105のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部3107による撮像画像の倍率及び焦点が適宜調整され得る。
通信部3111は、CCU3401との間で各種の情報を送受信するための通信装置によって構成される。通信部3111は、撮像部3107から得た画像信号をRAWデータとして伝送ケーブル3427を介してCCU3401に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者3501が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部3111には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル3427を介してCCU3401に送信される。
また、通信部3111は、CCU3401から、カメラヘッド3103の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部3111は、受信した制御信号をカメラヘッド制御部3113に提供する。なお、CCU3401からの制御信号も、光通信によって伝送されてもよい。この場合、通信部3111には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部3113に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU3401の制御部3425によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡3100に搭載される。
カメラヘッド制御部3113は、通信部3111を介して受信したCCU3401からの制御信号に基づいて、カメラヘッド3103の駆動を制御する。例えば、カメラヘッド制御部3113は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部3107の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部3113は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部3109を介してレンズユニット3105のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部3113は、更に、鏡筒3101やカメラヘッド3103を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット3105や撮像部3107等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド3103について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、CCU3401の機能構成について説明する。通信部3421は、カメラヘッド3103との間で各種の情報を送受信するための通信装置によって構成される。通信部3421は、カメラヘッド3103から、伝送ケーブル3427を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部3421には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部3421は、電気信号に変換した画像信号を画像処理部3423に提供する。
また、通信部3421は、カメラヘッド3103に対して、カメラヘッド3103の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部3423は、カメラヘッド3103から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部3423は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
画像処理部3423は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部3423が複数のGPUによって構成される場合には、画像処理部3423は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
制御部3425は、内視鏡3100による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部3425は、カメラヘッド3103の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部3425は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡3100にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部3425は、画像処理部3423による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部3425は、画像処理部3423によって画像処理が施された画像信号に基づいて、術部の画像を表示装置3403に表示させる。この際、制御部3425は、各種の画像技術を用いて術部画像内における各種の物体を認識する。例えば、制御部3425は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具3203使用時のミスト等を認識することができる。制御部3425は、表示装置3403に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者3501に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド3103及びCCU3401を接続する伝送ケーブル3427は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル3427を用いて有線で通信が行われていたが、カメラヘッド3103とCCU3401との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル3427を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル3427によって妨げられる事態が解消され得る。
なお、ここでは、一例として内視鏡手術システム3000について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
<2.第1の実施形態>
(術具の追跡動作)
以上、本実施形態に係る内視鏡手術システム3000の構成が示された。以下では、上述した内視鏡手術システム3000における術具3200の追跡動作ついて説明される。上述したようにCCU3401は、カメラヘッド3103から画像信号を受信し、受信した画像信号に基づいて物体を認識する。本開示の内視鏡手術システム3000においては、認識した術具3200を追跡する動作がなされる。なお、カメラヘッド3103は撮像を行うカメラの一例であり、CCU3401は撮像画像の処理を制御する画像制御部の一例である。
(術具の追跡動作)
以上、本実施形態に係る内視鏡手術システム3000の構成が示された。以下では、上述した内視鏡手術システム3000における術具3200の追跡動作ついて説明される。上述したようにCCU3401は、カメラヘッド3103から画像信号を受信し、受信した画像信号に基づいて物体を認識する。本開示の内視鏡手術システム3000においては、認識した術具3200を追跡する動作がなされる。なお、カメラヘッド3103は撮像を行うカメラの一例であり、CCU3401は撮像画像の処理を制御する画像制御部の一例である。
また、術具3200の検出は、上述したように術具3200のエッジの形状及び/または色等を検出することによって行われる。しかし、術具3200の検出は他の方法によって行われてもよく、例えば術具3200の検出は術具3200の輝度勾配を検出することによって行われてもよい。これは、術具3200の輝度勾配は一様(一定方向に一定)である一方、臓器などの術具3200以外の物体の輝度勾配は一様ではないことに基づく。また、術具3200の検出は機械学習を用いて行われてもよい。機械学習を用いることによって、使用されるたびに術具3200の検出精度は向上される。これは、手術システムという誤認識が許容されないシステムにおいて極めて有効である。
図3は、本開示における術具3200の追跡動作の一例を示す図である。図3中の実線で示される枠は、撮像部3107の撮像素子で撮像される撮像領域100を示す。また、図3中の点線で示される枠は、CCU3401が表示装置3403に送信する表示領域200を示す。一般的に撮像領域100は表示領域200よりも大きく、CCU3401は撮像領域100から表示領域200を切り出して表示装置3403に表示領域200が送信される。
また、図3の上段は、表示領域200が表示装置3403において表示されている様子を示す。図3の下段は、撮像領域100と表示領域200との関係を示している。図3の上段では、患者3505の臓器等の撮像対象物300と鉗子3205等の術具3200が撮像されている様子が示されている。
図3のAは初期状態であり、術具3200の先端付近が表示領域200の中央に位置している。次に図3のBは、術者3501または助手が術具3200を動かすことなどによって、術具3200が右方向に移動している様子を示している。
このとき図3Bの下段で示されるように、CCU3401は、検出されている術具3200の動きを追跡するために表示領域200の切り出し位置を右側に変更する。このように、CCU3401が術具3200の動きに応じて表示領域200の切り出し位置を変更することによって、術具3200の先端付近が表示領域200の中央に保たれる。術具3200の先端が表示領域200の中央に保たれることによって、術者3501または助手は処置が行いやすくなる。
次に図3のCは、図3のBからさらに術具3200が右に移動した場合を示す図である。図3のCでは、術具3200の先端は、初期状態の撮像領域100(A及びBの撮像領域100)の範囲外に位置することになる。このときCCU3401は、アーム部3303を動かして術具3200を追跡するようにアーム制御装置3407に対して制御情報を送る。CCU3401から制御情報を受け取ったアーム制御装置3407は、アーム部3303を動かし、術具3200の追跡を行う。なお、アーム制御装置3407は、アーム部3303の制御を行うアーム制御部の一例である。
このとき、術具3200の先端が表示領域200の中央に保たれるように、図3Cの下段で示すようにCCU3401は、表示領域200の切り出し位置を鉗子3205の移動方向(図3Cの上図では右側)とは反対の方向(図3Cの下図では左側)に変更する。これによって、表示領域200は撮像領域100の中央になり、次に切り出し位置の変更を行うための領域が確保される。
このように表示領域200の切り出し位置の変更では術具3200の動きに対応できない場合に、CCU3401は、アーム部3303を動かすように制御情報をアーム制御装置3407に送信する。これによって、より広い範囲において術具3200の追跡が可能となる。
なお、アーム部3303の剛性によっては、アーム移動後にカメラブレが発生する可能性がある。このときCCU3401は、表示領域の切り出し位置変更を行うことによってこのカメラブレを補正するように構成されてもよい。このカメラブレの補正は、CCU3401が画像処理をすることによって、またはアーム部3303にジャイロセンサを取り付けることによって行われる。
図4Aは、上述した術具3200の追跡動作におけるCCU3401の処理を示すフロー図である。S100においてCCU3401は、術具3200の動きを検出する。次にS102において、CCU3401は、術具3200の動きが表示領域200の切り出し位置の変更で対応可能か否かを判断する。
S102において術具3200の動きが表示領域200の切り出し位置の変更で対応可能である場合、処理はS108に進む。S108において、CCU3401は、術具3200の動きに応じて表示領域200の切り出し位置の変更を行う。
S102において術具3200の動きが表示領域200の切り出し位置の変更で対応できない場合、CCU3401はアーム制御装置3407にアーム部3303を制御するための制御情報を送る(S104)。
S104で送信された制御情報に基づいてアーム制御装置3407がアーム部3303を移動させると、アーム制御装置3407はアーム移動情報をCCU3401に送信し、CCU3401は、アーム移動情報を受信する(S106)。
そしてS108においてCCU3401は、アーム制御装置3407から受信したアーム移動情報に基づいて表示領域200の切り出し位置を変更する。この表示領域200の切り出し位置の変更は、S110によるアーム部3303の移動の方向とは反対方向となるように行われる。
次に術具3200の追跡動作におけるアーム制御装置3407の処理が説明される。図4Bは、術具3200の追跡動作におけるアーム制御装置3407の処理を示すフロー図である。図4AのS104においてCCU3401が制御情報を送信すると、S110においてアーム制御装置3407は当該制御情報を受信する。
次にS112において、アーム制御装置3407は、CCU3401から受け取った制御情報に基づいてアーム部3303を移動させるアーム移動量を算出する。次にS114において、アーム制御装置3407は、算出されたアーム移動量に基づいてアーム部3303を移動させる。S114において、アーム部3303が移動すると、S116においてアーム制御装置3407はアーム移動情報をCCU3401に送る。
なお、図4AのS102における判断は、様々な方法で行われてもよい。例えば、撮像領域100内に所定の枠が予め設定され、術具3200の先端がその所定の枠を越えて移動した場合に、CCU3401は表示領域200の切り出し位置の変更では対応できないと判断してもよい。また、CCU3401は、術具3200の動きベクトルを算出し、動きベクトルのベクトル量が所定の大きさよりも大きいときに、CCU3401は表示領域200の切り出し位置の変更では対応できないと判断してもよい。この場合、CCU3401は、算出したベクトル量に応じた速度および方向でアームを動かすように制御情報をアーム制御装置3407に送信してもよい。
また、上述した例では図4BのS116においてアーム制御装置3407はアーム移動情報をCCU3401に送信し、CCU3401は当該アーム移動情報に基づいて切り出し位置の変更を行った。しかしCCU3401は、画像検出によって術具3200を検出し、検出された術具3200の先端付近が表示領域200の中央になるように表示領域200の切り出し位置の変更を行ってもよい。なお、CCU3401が図4AのS106で受け取るアーム移動情報に基づいて表示領域200の切り出し位置を変更する場合、CCU3401は画像検出を行わないので、CCU3401は切り出し位置の変更を少ない処理負担で行うことができる。
以上では、本開示の手術システムにおいて術具3200の追跡を行う際の動作例について説明された。以下では、図5を参照して上述した術具3200の追跡を行う際の各装置間で送受信される情報が示される。
上述したように、CCU3401はカメラヘッド3103から画像信号を受信し、受信した画像信号を処理する。また、CCU3401は、カメラヘッド3103における倍率または焦点距離等を変更するためのカメラヘッド制御信号をカメラヘッド3103に送信する。
一方アーム制御装置3407は、アーム部3303に外力が加えられたことを示す外力情報をアーム部3303から受信する。また、アーム制御装置3407は、アーム部3303を制御するためのアーム制御信号をアーム部3303に送信する。
CCU3401とアーム制御装置3407との間では、上述したアーム部3303の移動による術具3200の追跡を行うために制御情報が送受信される。CCU3401は、図4AのS104で示した制御情報として、例えば術具3200の位置情報または表示領域200の切り出し位置情報をアーム制御装置3407に送信する。また、CCU3401は、制御情報として、検出された術具3200の動きに関するベクトル量をアーム制御装置3407に送信してもよい。CCU3401がベクトル量を送信することによって、アーム制御装置3407は、アーム部3303の動作を術具3200の動きの速度及び方向に合わせて制御することができる。
また、アーム制御装置3407は、図4BのS116で示したアーム移動情報として、例えばアームの位置情報または移動速度または移動方向をCCU3401に送信する。また、アーム制御装置3407は、アーム移動情報としてアーム部3303の移動に関するベクトル量をCCU3401に送信してもよい。アーム制御装置3407がベクトル量を送信することによって、CCU3401は、表示領域200の切り出し位置変更をアーム部3303の動きの速度及び方向に合わせて制御することができる。
そして、CCU3401は、カメラヘッド3103から受け取った画像信号を処理し、撮像領域100から表示領域200を切り出して表示装置3403に送信する。
なお、図4AのS102において、切り出し位置の変更で対応できない場合、術具3200が撮像領域100内に存在しない可能性がある。この場合、CCU3401は、撮像部3107の撮像素子で撮像される撮像領域100の過去フレームを記憶しておいてもよい。そしてCCU3401およびアーム制御装置3407は、当該過去フレームにおける術具3200の動きに関する情報(例えば、動きベクトル量)を用いてアーム制御による術具3200の追跡動作を行ってもよい。また、術具3200が撮像領域100内に存在するようになった場合、アーム制御装置3407は、術具3200の先端が撮像領域100の中央付近となるようにCCU3401と協働してアームを制御してもよい。
(第1の実施形態のむすび)
上述したように本開示の手術システムでは、CCU3401が表示領域200の切り出し位置変更によって術具3200の追跡を行うだけではなく、アーム制御装置3407がカメラヘッド3103を支持するアーム部3303を移動させて術具3200の追跡を行う。これによって、CCU3401の表示領域200の切り出し位置変更だけでは対応できない術具3200の移動があった場合にも術具3200の追跡が可能となる。よって、術者3501又は助手は、表示領域200を変更する操作を行わなくてよく、ストレスなく手術を行うことができる。
上述したように本開示の手術システムでは、CCU3401が表示領域200の切り出し位置変更によって術具3200の追跡を行うだけではなく、アーム制御装置3407がカメラヘッド3103を支持するアーム部3303を移動させて術具3200の追跡を行う。これによって、CCU3401の表示領域200の切り出し位置変更だけでは対応できない術具3200の移動があった場合にも術具3200の追跡が可能となる。よって、術者3501又は助手は、表示領域200を変更する操作を行わなくてよく、ストレスなく手術を行うことができる。
<3.第2の実施形態>
(アーム制御によるズーム動作)
以上では、アーム部3303を制御することによる術具3200の追跡動作の例が説明された。以下では、アーム部3303を制御することによるズーム動作について説明される。上述したようにレンズユニット3105のズームレンズを光軸に沿って所定の距離だけ移動させることによって、本開示の内視鏡手術システム3000は光学ズームを行うことができる。なお、以下に説明される「ズーム」という言葉には、特に明記されない限り「ズームイン」及び「ズームアウト」の両方の意味が含まれる。
(アーム制御によるズーム動作)
以上では、アーム部3303を制御することによる術具3200の追跡動作の例が説明された。以下では、アーム部3303を制御することによるズーム動作について説明される。上述したようにレンズユニット3105のズームレンズを光軸に沿って所定の距離だけ移動させることによって、本開示の内視鏡手術システム3000は光学ズームを行うことができる。なお、以下に説明される「ズーム」という言葉には、特に明記されない限り「ズームイン」及び「ズームアウト」の両方の意味が含まれる。
手術システムにおけるレンズユニット3105は、滅菌処理によってレンズが歪んでしまうことを考慮するため、拡大できる倍率が制限されている。よって本開示の内視鏡手術システム3000は、カメラヘッド3103による光学ズームまたは電子ズームに加えて、アーム部3303を制御することによるズームを行う。これにより、光学ズームに加えてさらに大きいまたは小さい倍率のズームが可能となり、また電子ズームよりも高解像度の画像のズームが可能となる。なお、電子ズームは、撮像部3107が撮像した画像の一部を切り取って拡大することによって行われる。
以下の表1に光学ズーム、電子ズーム、アーム制御によるズーム動作のそれぞれの特性が示される。
表1に示されるようにユーザからのズーム指示に対する応答速度について、電子ズームは3つのズーム方法の中で一番速く、アーム制御は3つのズーム方法の中で一番遅い。また光学ズームは両者の中間の応答速度である。次に画質については、光学ズーム及びアーム制御によるズームは高画質を保てるが、電子ズームは画質が劣化する。またカメラヘッド3103と被写体の間に障害物がある場合にズーム動作ができるか否か(障害物対応)については、光学ズーム及び電子ズームはズーム動作が可能であるが、アーム制御によるズーム動作はできない。
以上では、各ズーム動作の特性が示された。以下では、カメラヘッド3103によるズーム動作及びアーム制御によるズーム動作を組み合わせたズーム動作について説明される。図6Aは、カメラヘッド3103によるズーム動作及びアーム制御によるズーム動作を組み合わせたズーム動作におけるCCU3401の処理の一例を示すフロー図である。最初にS200において、ユーザはズーム倍率を指定する指示を入力する。
S202において、CCU3401はS200において指定された倍率が現在の倍率であるか否かを判定する。S202においてCCU3401が指定倍率は現在の倍率であると判定すると、処理は終了する。一方、S202においてCCU3401が指定倍率は現在の倍率と異なると判定すると、処理はS204に進む。
S204において、CCU3401は、S200で指定された倍率に基づいて光学ズームまたは電子ズームを行う。次に処理はS206に進み、CCU3401は光学または電子ズームの倍率が所定値に達したか否かを判定する。S206において、CCU3401が光学または電子ズームの倍率が所定値に達していないと判定する場合、処理はS204に戻りズーム動作が繰り返される。S206において、CCU3401が光学または電子ズームの倍率が所定値に達したと判定する場合、処理はS208に進む。
S208においてCCU3401は、画像検出を行うことによって障害物があるか否かを判定する。S208においてCCU3401が障害物があると判定すると、アーム部3303が動くと危険であるため、処理は終了する。一方、S208においてCCU3401が障害物がないと判定すると、CCU3401は、図4及び図5を用いて上述した制御情報をアーム制御装置3407に送る(S210)。
S210で送信された制御情報に基づいてアーム制御装置3407がアーム部3303を移動させると、アーム制御装置3407はアーム移動情報をCCU3401に送信し、CCU3401は、アーム移動情報を受信する(S212)。そしてCCU3401は、S214においてアーム制御装置3407から受け取ったアーム移動情報に基づいて画角及びフォーカス合わせを行う。
次にカメラヘッド3103によるズーム動作及びアーム制御によるズーム動作を組み合わせたズーム動作におけるアーム制御装置3407の処理が説明される。図6Bは、カメラヘッド3103によるズーム動作及びアーム制御によるズーム動作を組み合わせたズーム動作におけるアーム制御装置3407の処理を示すフロー図である。図6AのS210においてCCU3401が制御情報を送信すると、S216においてアーム制御装置3407は当該制御情報を受信する。
S218において、アーム制御装置3407は、CCU3401から受け取った制御情報に基づいてアーム部3303を移動させるアーム移動量を算出する。次にS220において、アーム制御装置3407は、算出されたアーム移動量に基づいてアーム部3303を移動させる。S220において、アーム部3303が移動すると、S222においてアーム制御装置3407は、図4及び図5を用いて上述したアーム移動情報をCCU3401に送る。
なお、S206における所定値は、光学または電子ズームの倍率の限界値であってもよい。またS206における所定値は、光学または電子ズームの倍率の限界値を下回る所定の値であってもよい。S206における所定値が光学及または電子ズームの倍率の限界値を下回る所定の値である場合、CCU3401は光学または電子ズームを行える余地を残すことができる。これによって、CCU3401は、ユーザの指示によって表示画像を俯瞰視画像にすぐに切り替えることができる。
また、上述した例では図6BのS222において、アーム制御装置3407はアーム移動情報をCCU3401に送信し、CCU3401は当該アーム移動情報に基づいて画角及びフォーカス合わせを行った。しかしCCU3401は、撮像画像のコントラスト等に基づく処理によって画角及びフォーカス合わせを行ってもよい。
以上では、本開示の内視鏡手術システム3000においてアーム制御によるズーム動作の動作フローが説明された。以下では、図7を用いて図6で示された本開示のズーム動作における各ズームの関係が説明される。図7の実線L1はアーム制御によるズームを示し、破線L2は、カメラヘッド3103によるズーム(光学ズーム及び/または電子ズーム)の動作を示す。
縦軸の左側はカメラヘッド3103によるズームの倍率を示す軸であり、実線L1に対する軸である。縦軸の右側は鏡筒3101のレンズの先端から被写体までの距離であるワーキングディスタンス(WD)を示す軸であり、破線L2に対する軸である。
図7においてカメラヘッド3103によるズームの倍率の初期値は1倍であり、WDの初期値をLとする。なお以下ではカメラヘッド3103による倍率は2倍が限界値であると仮定して説明がされる。
t1においてユーザがズーム指示を行うと、カメラヘッド3103によるズームがアーム制御によるズームの前に行われる。このようにカメラヘッド3103によるズームがアーム制御によるズームの前に行われる理由は、カメラヘッド3103によるズーム動作の方がアーム制御によるズーム動作よりも速いためである。
また、アーム制御によるズーム動作はアーム部3303の動き出しに時間がかかるため、カメラヘッド3103によるズーム動作がアーム制御によるズーム動作よりも先に行われることが好ましい。
次にt2において、カメラヘッド3103によるズーム倍率が限界値の2倍より小さい所定の値に達すると、カメラヘッド3103によるズーム倍率は下がり出す。このようにカメラヘッド3103によるズーム倍率が限界値に達する前に下げられることによって、急なユーザからのズーム動作要求に対応できる余地を残すことができる。例えば、ズーム倍率は、ユーザの指示によって倍率1に素早く戻ることができ、術者3501が術部の俯瞰画像を見たいときにすぐに対応することができる。また、電子ズームを限界倍率まで使用しないことによって、画質の劣化が低減される。
また、t2において、カメラヘッド3103によるズーム倍率が限界値の2倍より小さい所定の値に達すると、アーム制御によるズームが開始される。アーム制御によるズームは、アーム部3303が動くことによってレンズが被写体に近づくことによってなされる。次にt3において、カメラヘッド3103によるズームはズーム倍率1に戻る。そして、t4までアーム制御によるズームが行われ、t4においてWDは初期値の1/2となる。このとき、アーム制御によるズーム動作によって初期値の2倍の倍率が達成される。
t4の後、さらにユーザからズーム動作の指示がある場合、t1からt4までと同様なズーム動作が繰り返され、t7の時点でズーム倍率は3倍となる。t2の時点と同様に、t5の時点でカメラヘッド3103によるズームの倍率は減少し始め、t6の時点においてカメラヘッド3103によるズームの倍率は1倍に戻る。t6の後、アーム制御によるズーム動作が継続され、t7においてアーム制御によるズーム動作によってWDは初期値の1/3となる。これによって、レンズと被写体との距離が小さくなり、ズーム倍率は初期値の3倍になる。
(画質優先モード)
以上では、本開示の内視鏡手術システム3000におけるズーム動作の概略について説明された。以下では、ユーザによって画質を優先するモードが選択されているときの本開示の内視鏡手術システム3000におけるズーム動作について説明される。
以上では、本開示の内視鏡手術システム3000におけるズーム動作の概略について説明された。以下では、ユーザによって画質を優先するモードが選択されているときの本開示の内視鏡手術システム3000におけるズーム動作について説明される。
上述した表1からわかるように、電子ズームは他の2つのズーム方法に比べて画質の点で劣る。よって、画質を優先するモードが選択されている場合、ズーム動作は、光学ズーム及びアーム制御によるズーム動作が優先して行われる。
図8は、画質優先モードが選択されている場合の各ズーム動作の関係を示す図である。図8の実線L1は光学ズームの動作を示し、破線L2はアーム制御によるズームの動作を示し、点線L3は電子ズームによるズームの動作を示す。
t1からt6までの動作は、図7で示したズーム動作に対応する。ただし、画質優先モードでは、図7で示したカメラヘッド3103によるズーム動作として光学ズームによるズーム動作が行われる。図7を用いて上述したように、t6の時点で倍率は初期値の3倍となっている。
t6の時点以降もユーザがズーム指示を行うと、光学ズームが電子ズームよりも先に行われる。そしてt7において光学ズームが限界値まで行われると、倍率は初期値の6倍となる。t7以降もユーザがズーム指示を行うと、最終的に電子ズームが行われる。そしてt8において電子ズームが限界値まで行われると、倍率は初期値の12倍となる。このように電子ズームが行われる前に、光学ズーム及びアーム制御によるズームが行われることによって画質が維持されたまま画像の拡大が行われる。
以上では画質を優先するモードが選択されている場合のズーム動作について説明された。以下では、ズームが行われる速度が優先されるモードが選択された場合の動作について説明される。表1からわかるように、ズーム動作としての応答速度は、電子ズームが一番速く、次に光学ズームが速い。このようにアーム制御によるズーム動作は、他の2つの方法によるズーム動作と比べてズーム動作の応答速度の点で劣る。
(速度優先モード)
図9は、速度優先モードが選択されている場合の各ズーム動作の関係を示す図である。図9の点線の対応関係は図8と同様であり、実線L1は光学ズームの動作を示し、破線L2はアーム制御によるズームの動作を示し、点線L3は電子ズームによるズームの動作を示す。
図9は、速度優先モードが選択されている場合の各ズーム動作の関係を示す図である。図9の点線の対応関係は図8と同様であり、実線L1は光学ズームの動作を示し、破線L2はアーム制御によるズームの動作を示し、点線L3は電子ズームによるズームの動作を示す。
速度優先モードでは、t1において一番応答速度が速い電子ズームが行われる。次にt2において電子ズームの次に応答速度が速い光学ズームが行われる。そしてt3において電子ズームの倍率が限界値である2倍になる前にアーム制御によるズームが行われる。そしてt4の時点において、電子ズーム、光学ズーム及びアーム制御によるズームの3つによって、倍率は初期値の2倍となる。
t4からt5にかけて、電子ズームによるズーム倍率は減少し、光学ズーム及びアーム制御によるズームが継続して行われる。t5の時点では光学ズームによるズーム倍率が減少し始め、アーム制御によるズーム動作が継続して行われる。
t6の時点では、電子ズーム及び光学ズームの倍率は1倍まで戻る。そして、アーム制御によってレンズの先端から被写体までのWDが初期値の1/2になることにより、アーム制御によるズームの倍率は2倍となる。よって全体としてのズーム倍率は2倍となる。
そしてt6からt8までは、t1からt6と同様に、電子ズーム、光学ズーム、アーム制御によるズームの順でズーム動作が行われる。そしてt7からt8までに電子ズーム及び光学ズームの倍率は1倍に戻り、WDが初期値の1/3になることによってアーム制御によるズームの倍率は3倍となる。よって全体としてのズーム倍率は3倍となる。このようにズーム動作に対する応答速度が速い順にズーム動作が行われることによって、ユーザからのズーム指示に素早く対応することができる。また、アーム制御によるズーム動作の前に電子ズーム及び光学ズームが行われることにより、アームを動かすための時間を稼ぐことができる。
なお、内視鏡手術システム3000においては、アーム部3303の一部分の位置またはアーム先端に装着される内視鏡3100がトロッカ等によって位置が固定される場合がありうる。また、手術顕微鏡等においても、術者の視野確保または手術領域の確保の観点から、アームの動きに制約を設けたい場合が生じうる。そのようなモードの場合には、本開示の内視鏡手術システム3000におけるズーム動作は、カメラヘッド3103による光学ズームまたは電子ズームを、アーム制御によるズーム動作に優先して行う。これによりアームの位置が極力変化しないように制御される。
(第2の実施形態のむすび)
上述したように本開示の内視鏡手術システム3000では、カメラヘッド3103によるズーム(電子ズーム及び光学ズーム)に加えて、アーム制御によるズーム動作が行われることにより、カメラヘッド3103によるズームのみでは対応できない倍率までズームを行うことができる。よって、術者3501又は助手が望む倍率まで表示画像を拡大または縮小することができる。
上述したように本開示の内視鏡手術システム3000では、カメラヘッド3103によるズーム(電子ズーム及び光学ズーム)に加えて、アーム制御によるズーム動作が行われることにより、カメラヘッド3103によるズームのみでは対応できない倍率までズームを行うことができる。よって、術者3501又は助手が望む倍率まで表示画像を拡大または縮小することができる。
また、画質優先モード及び速度優先モードを備え、選択されているモードに応じて使用されるズーム動作が変更されることによって、術者3501又は助手が望む画質又は速度に応じて表示画像を拡大または縮小することができる。
<4.第3の実施形態>
(術具の種類に基づく表示画像の振り分け動作)
以上では、カメラヘッド3103によるズーム(電子ズーム及び光学ズーム)に加えて、アーム制御によるズーム動作が行われる実施形態について説明された。以下では、術具3200の種類に基づく表示画像の振り分け動作について説明される。
(術具の種類に基づく表示画像の振り分け動作)
以上では、カメラヘッド3103によるズーム(電子ズーム及び光学ズーム)に加えて、アーム制御によるズーム動作が行われる実施形態について説明された。以下では、術具3200の種類に基づく表示画像の振り分け動作について説明される。
図10は、撮像部3107で撮像される術部の撮像画像の一例を示す図である。内視鏡手術システム3000においては、様々な術具3200が使用される。例えば、術者3501はエネルギー処置具3203を用いて患部を切除し、助手は鉗子3205を用いて患部を摘まんで術者3501の補助を行う。
術者3501及び助手は行う処置が異なるため、それぞれが望む視野も異なる。例えば、術者3501はエネルギー処置具3203を使って患部を切り取るなどの細かい処置を行うため、術者3501は術部の拡大された画像を望む。一方助手は、術具3200が他の臓器を傷つけていないかを確認したいため、術具3200の全部を含む俯瞰視画像を望む。
したがって、CCU3401は、図10の点線で示した領域を術者3501のためにメインモニタに出力し、図10の実線で示した領域を助手のためにメインモニタとは異なるサブモニタに出力する。ここで図10の実線で示された領域には、3つの術具(1つエネルギー処置具3203と2つの鉗子3205)が含まれ、その3つの術具3200の先端のすべてが図10の実線で示される撮像画像に含まれている。以下、すべての術具3200の先端が含まれるとは、撮像画像に含まれるすべての術具3200の先端が撮像画像に含まれることを意味する。
図11は、上述した表示画像の振り分け動作を示すフロー図である。最初にS300において、CCU3401は術具3200の検出を行う。ここでCCU3401は、検出された術具3200が術者用の術具3200か、助手用の術具3200かを判別する。次にS302において、CCU3401は撮像画像に含まれているすべての術具3200の先端が撮像画像に含まれているか否かを判別する。
S302において、CCU3401が、すべての術具3200の先端が撮像画像内に含まれていると判断すると、処理はS308に進む。S308では、CCU3401は、術者用の術具3200が含まれる拡大画像をメインモニタに出力し、すべての術具3200の先端が含まれる画像を助手用の俯瞰画像としてサブモニタに出力する。なお、拡大画像は、撮像画像の一部を切り出し、電子ズームを行うことによって作成される。
S302において、CCU3401が、すべての術具3200の先端が撮像画像内に含まれていないと判断すると、処理はS304に進む。S304において、CCU3401はアーム制御によるズーム動作を行うため、アーム制御装置3407にアーム部3303を制御するための制御情報を送る。ここで送られる制御情報には、アーム部3303を動かす移動量または速度または術具3200の位置に関する情報が含まれてもよい。
S304でアーム制御装置3407が制御情報を受け取ると、アーム制御装置3407はアーム部3303の移動量を算出し、アーム部3303を移動させる(S306)。次に処理はS300に戻り、S300からS306が繰り返される。つまりアーム制御装置3407がアーム部3303を動かすと、CCU3401はすべての術具3200の先端が撮像画像に含まれるか否かを判定する。そして、すべての術具3200の先端が含まれていなければ、CCU3401は制御情報を送り、アーム制御装置3407は当該制御情報に基づいてアーム部3303を動かす。
S300からS306の処理の繰り返しによるアーム部3303の移動によってズームアウトがされる。そしてS302においてCCU3401がすべて術具3200の先端が撮像画像に含まれていると判定すると、CCU3401は術者3501の術具3200を含む拡大画像をメインモニタに出力する(S308)。また、CCU3401は、すべての術具3200の先端が含まれる画像をサブモニタに出力する(S308)。
なお、S300における術具3200の検出は、上述したように術具3200のエッジの形状及び/または色、術具3200の輝度勾配等を検出することによって行われる。また、術具3200の検出は機械学習を用いて行われてもよい。
また、S300の術具3200の検出においては、術者3501が使用する術具3200か、助手が使用する術具3200かが判別される。この判別は、内視鏡手術システム3000が上述した術具3200のエッジの形状及び/または色、術具3200の輝度勾配のパターンをそれぞれの術具3200ごとに記憶し、パターンマッチングが行われることによってなされてもよい。また、助手が使用する鉗子3205等の術具3200は基本的にあまり動かないので、CCU3401は術具3200の動きを検出して動きのある術具3200は術者3501が使用する術具3200であると判別してもよい。
以上の例では、ズーム位置及びその拡大率については術具3200の検出結果に応じてなされた。しかし、ズームの拡大においては、術具3200を含むような拡大率の他にも、患部領域および術具3200の双方を含むような拡大率で表示を行う構成とすることも可能である。この場合において、患部領域の特定にあっては、術具3200の検出処理と同様の学習処理に拠ることもできるし、特殊光(狭帯域光、蛍光励起光)による観察の結果に基づいて検出することも可能である。
(第3の実施形態のむすび)
上述したように本開示の手術システムでは、術者用の表示画像と助手用の表示画像とを異なるモニタに振り分けることができる。よって、術者3501又は助手のそれぞれが望む画角で表示画像を提供することができる。
上述したように本開示の手術システムでは、術者用の表示画像と助手用の表示画像とを異なるモニタに振り分けることができる。よって、術者3501又は助手のそれぞれが望む画角で表示画像を提供することができる。
<5.補足>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明した。なお、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属する。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明した。なお、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属する。
例えば、図11において、アーム制御によるズーム動作のみが説明されたが、光学ズームが行われたあとにアーム制御によるズーム動作が行われてもよい。これによってより大きくズームアウトができ、術者3501及び助手が望む画像が提供される。また、光学ズームはアーム制御によるズームよりも応答速度が速いため、アーム部3303が動き出す時間を稼ぐことができる。
<6.むすび>
以上説明したように本開示の実施形態によれば、カメラヘッド3103による撮像制御だけでなくアーム制御による撮像制御も行われる。これによって、術者3501又は助手は、自らが望む表示画像を取得することができる。
以上説明したように本開示の実施形態によれば、カメラヘッド3103による撮像制御だけでなくアーム制御による撮像制御も行われる。これによって、術者3501又は助手は、自らが望む表示画像を取得することができる。
また、本明細書に記載された効果は、あくまで例示であって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
カメラからの撮像画像の処理を制御する画像制御部と、
前記カメラを支持するアーム部の動きを制御するアーム制御部と、を有し、
前記画像制御部及び前記アーム制御部の一方は、他方からの制御情報に基づいて制御を行う、医療用情報処理装置。
(2)
前記画像制御部は、前記カメラが撮像する撮像画像から処置具を検出し、
前記画像制御部は、検出された前記処置具の動きに応じて前記撮像画像の切り出し位置を変更する、前記(1)に記載の医療用情報処理装置。
(3)
前記画像制御部は、検出された前記処置具の動きに基づいて前記アーム制御部に制御情報を送り、
前記アーム制御部は、前記画像制御部から受け取った前記制御情報に基づいて前記アーム部を移動させる移動量を算出する、前記(1)または前記(2)のいずれか1項に記載の医療用情報処理装置。
(4)
前記アーム制御部は、算出した前記アーム部の移動量を前記画像制御部に送り、
前記画像制御部は、前記アーム制御部から受け取った前記アーム部の移動量に基づいて前記撮像画像の切り出し位置の変更を行う、前記(3)に記載の医療用情報処理装置。
(5)
前記処置具の動きが所定の基準を超えている場合、前記画像制御部は前記アーム部を制御するための制御情報を前記アーム制御部に送る、前記(3)または前記(4)のいずれか1項に記載の医療用情報処理装置。
(6)
前記画像制御部は、前記カメラに対して拡大指示を送り、
前記画像制御部が前記カメラによる拡大よりも前記アーム部の移動による拡大が適していると判定したときに、
前記画像制御部は、前記アーム部を制御するための制御情報を前記アーム制御部に送る、前記(1)から前記(5)のいずれか1項に記載の医療用情報処理装置。
(7)
前記カメラによる拡大には、光学ズームと電子ズームが含まれ、
前記画像制御部は、画質を優先するモードが選択されている場合、前記電子ズームよりも先に前記光学ズームに対する制御を行う、前記(6)に記載の医療用情報処理装置。
(8)
前記カメラによる拡大には、光学ズームと電子ズームが含まれ、
前記画像制御部は、画像を拡大する速度を優先するモードが選択されている場合、前記光学ズームよりも先に前記電子ズームに対する制御を行う、前記(6)に記載の医療用情報処理装置。
(9)
前記画像制御部は、前記カメラによる拡大倍率が限界値に達する前に、前記アーム制御部に前記制御情報を送る、前記(6)から前記(8)のいずれか1項に記載の医療用情報処理装置。
(10)
前記画像制御部は、前記カメラが撮像する撮像画像から複数の処置具を検出し、
前記画像制御部は、検出された前記複数の処置具の先端が前記撮像画像に全て含まれるように縮小処理を行う、前記(1)から前記(9)のいずれか1項に記載の医療用情報処理装置。
(11)
前記画像制御部は、前記処置具の種類をさらに検出し、
前記画像制御部は、術者用の処置具が表示画像に含まれるように前記撮像画像を切り出す、前記(10)に記載の医療用情報処理装置。
(12)
カメラからの撮像画像の処理を制御すること、
前記カメラを支持するアーム部の動きを制御すること、
前記撮像画像の処理を制御することまたはアーム部の動きを制御することの一方は、他方の制御による制御情報に基づいて制御を行うこと、を含む情報処理方法。
(13)
画像を撮像するカメラと、
前記カメラからの撮像画像の処理を制御する画像制御部と、
前記カメラを支持するアーム部と、
前記カメラを支持するアーム部の動きを制御するアーム制御部と、を有し、
前記画像制御部及び前記アーム制御部の一方は、他方からの制御情報に基づいて制御を行うように構成されている、医療用情報処理システム。
(1)
カメラからの撮像画像の処理を制御する画像制御部と、
前記カメラを支持するアーム部の動きを制御するアーム制御部と、を有し、
前記画像制御部及び前記アーム制御部の一方は、他方からの制御情報に基づいて制御を行う、医療用情報処理装置。
(2)
前記画像制御部は、前記カメラが撮像する撮像画像から処置具を検出し、
前記画像制御部は、検出された前記処置具の動きに応じて前記撮像画像の切り出し位置を変更する、前記(1)に記載の医療用情報処理装置。
(3)
前記画像制御部は、検出された前記処置具の動きに基づいて前記アーム制御部に制御情報を送り、
前記アーム制御部は、前記画像制御部から受け取った前記制御情報に基づいて前記アーム部を移動させる移動量を算出する、前記(1)または前記(2)のいずれか1項に記載の医療用情報処理装置。
(4)
前記アーム制御部は、算出した前記アーム部の移動量を前記画像制御部に送り、
前記画像制御部は、前記アーム制御部から受け取った前記アーム部の移動量に基づいて前記撮像画像の切り出し位置の変更を行う、前記(3)に記載の医療用情報処理装置。
(5)
前記処置具の動きが所定の基準を超えている場合、前記画像制御部は前記アーム部を制御するための制御情報を前記アーム制御部に送る、前記(3)または前記(4)のいずれか1項に記載の医療用情報処理装置。
(6)
前記画像制御部は、前記カメラに対して拡大指示を送り、
前記画像制御部が前記カメラによる拡大よりも前記アーム部の移動による拡大が適していると判定したときに、
前記画像制御部は、前記アーム部を制御するための制御情報を前記アーム制御部に送る、前記(1)から前記(5)のいずれか1項に記載の医療用情報処理装置。
(7)
前記カメラによる拡大には、光学ズームと電子ズームが含まれ、
前記画像制御部は、画質を優先するモードが選択されている場合、前記電子ズームよりも先に前記光学ズームに対する制御を行う、前記(6)に記載の医療用情報処理装置。
(8)
前記カメラによる拡大には、光学ズームと電子ズームが含まれ、
前記画像制御部は、画像を拡大する速度を優先するモードが選択されている場合、前記光学ズームよりも先に前記電子ズームに対する制御を行う、前記(6)に記載の医療用情報処理装置。
(9)
前記画像制御部は、前記カメラによる拡大倍率が限界値に達する前に、前記アーム制御部に前記制御情報を送る、前記(6)から前記(8)のいずれか1項に記載の医療用情報処理装置。
(10)
前記画像制御部は、前記カメラが撮像する撮像画像から複数の処置具を検出し、
前記画像制御部は、検出された前記複数の処置具の先端が前記撮像画像に全て含まれるように縮小処理を行う、前記(1)から前記(9)のいずれか1項に記載の医療用情報処理装置。
(11)
前記画像制御部は、前記処置具の種類をさらに検出し、
前記画像制御部は、術者用の処置具が表示画像に含まれるように前記撮像画像を切り出す、前記(10)に記載の医療用情報処理装置。
(12)
カメラからの撮像画像の処理を制御すること、
前記カメラを支持するアーム部の動きを制御すること、
前記撮像画像の処理を制御することまたはアーム部の動きを制御することの一方は、他方の制御による制御情報に基づいて制御を行うこと、を含む情報処理方法。
(13)
画像を撮像するカメラと、
前記カメラからの撮像画像の処理を制御する画像制御部と、
前記カメラを支持するアーム部と、
前記カメラを支持するアーム部の動きを制御するアーム制御部と、を有し、
前記画像制御部及び前記アーム制御部の一方は、他方からの制御情報に基づいて制御を行うように構成されている、医療用情報処理システム。
3000 内視鏡手術システム
3100 内視鏡
3101 鏡筒
3103 カメラヘッド
3105 レンズユニット
3107 撮像部
3109 駆動部
3111 通信部
3113 カメラヘッド制御部
3200 術具
3201 気腹チューブ
3203 エネルギー処置具
3205 鉗子
3300 支持アーム装置
3301 ベース部
3303 アーム部
3400 カート
3401 カメラコントロールユニット(CCU)
3403 表示装置
3405 光源装置
3407 アーム制御装置
3409 入力装置
3411 処置具制御装置
3413 気腹装置
3423 画像処理部
3425 制御部
3427 伝送ケーブル
3501 術者
3503 患者ベッド
3505 患者
3100 内視鏡
3101 鏡筒
3103 カメラヘッド
3105 レンズユニット
3107 撮像部
3109 駆動部
3111 通信部
3113 カメラヘッド制御部
3200 術具
3201 気腹チューブ
3203 エネルギー処置具
3205 鉗子
3300 支持アーム装置
3301 ベース部
3303 アーム部
3400 カート
3401 カメラコントロールユニット(CCU)
3403 表示装置
3405 光源装置
3407 アーム制御装置
3409 入力装置
3411 処置具制御装置
3413 気腹装置
3423 画像処理部
3425 制御部
3427 伝送ケーブル
3501 術者
3503 患者ベッド
3505 患者
Claims (13)
- カメラからの撮像画像の処理を制御する画像制御部と、
前記カメラを支持するアーム部の動きを制御するアーム制御部と、を有し、
前記画像制御部及び前記アーム制御部の一方は、他方からの制御情報に基づいて制御を行う、医療用情報処理装置。 - 前記画像制御部は、前記カメラが撮像する撮像画像から処置具を検出し、
前記画像制御部は、検出された前記処置具の動きに応じて前記撮像画像の切り出し位置を変更する、請求項1に記載の医療用情報処理装置。 - 前記画像制御部は、検出された前記処置具の動きに基づいて前記アーム制御部に制御情報を送り、
前記アーム制御部は、前記画像制御部から受け取った前記制御情報に基づいて前記アーム部を移動させる移動量を算出する、請求項2に記載の医療用情報処理装置。 - 前記アーム制御部は、算出した前記アーム部の移動量を前記画像制御部に送り、
前記画像制御部は、前記アーム制御部から受け取った前記アーム部の移動量に基づいて前記撮像画像の切り出し位置の変更を行う、請求項3に記載の医療用情報処理装置。 - 前記処置具の動きが所定の基準を超えている場合、前記画像制御部は前記アーム部を制御するための制御情報を前記アーム制御部に送る、請求項3に記載の医療用情報処理装置。
- 前記画像制御部は、前記カメラに対して拡大指示を送り、
前記画像制御部が前記カメラによる拡大よりも前記アーム部の移動による拡大が適していると判定したときに、
前記画像制御部は、前記アーム部を制御するための制御情報を前記アーム制御部に送る、請求項1に記載の医療用情報処理装置。 - 前記カメラによる拡大には、光学ズームと電子ズームが含まれ、
前記画像制御部は、画質を優先するモードが選択されている場合、前記電子ズームよりも先に前記光学ズームに対する制御を行う、請求項6に記載の医療用情報処理装置。 - 前記カメラによる拡大には、光学ズームと電子ズームが含まれ、
前記画像制御部は、画像を拡大する速度を優先するモードが選択されている場合、前記光学ズームよりも先に前記電子ズームに対する制御を行う、請求項6に記載の医療用情報処理装置。 - 前記画像制御部は、前記カメラによる拡大倍率が限界値に達する前に、前記アーム制御部に前記制御情報を送る、請求項6に記載の医療用情報処理装置。
- 前記画像制御部は、前記カメラが撮像する撮像画像から複数の処置具を検出し、
前記画像制御部は、検出された前記複数の処置具の先端が前記撮像画像に全て含まれるように縮小処理を行う、請求項1に記載の医療用情報処理装置。 - 前記画像制御部は、前記処置具の種類をさらに検出し、
前記画像制御部は、術者用の処置具が表示画像に含まれるように前記撮像画像を切り出す、請求項10に記載の医療用情報処理装置。 - カメラからの撮像画像の処理を制御すること、
前記カメラを支持するアーム部の動きを制御すること、
前記撮像画像の処理を制御することまたはアーム部の動きを制御することの一方は、他方の制御による制御情報に基づいて制御を行うこと、を含む情報処理方法。 - 画像を撮像するカメラと、
前記カメラからの撮像画像の処理を制御する画像制御部と、
前記カメラを支持するアーム部と、
前記カメラを支持するアーム部の動きを制御するアーム制御部と、を有し、
前記画像制御部及び前記アーム制御部の一方は、他方からの制御情報に基づいて制御を行うように構成されている、医療用情報処理システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/070,317 US11033338B2 (en) | 2016-02-24 | 2016-11-28 | Medical information processing apparatus, information processing method, and medical information processing system |
JP2018500997A JP7067467B2 (ja) | 2016-02-24 | 2016-11-28 | 医療用情報処理装置、情報処理方法、医療用情報処理システム |
EP16891631.0A EP3420878B1 (en) | 2016-02-24 | 2016-11-28 | Information processing device for medical use, information processing method, information processing system for medical use |
CN201680082111.9A CN108697304B (zh) | 2016-02-24 | 2016-11-28 | 医疗用信息处理装置、信息处理方法、医疗用信息处理系统 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016033031 | 2016-02-24 | ||
JP2016-033031 | 2016-02-24 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017145475A1 true WO2017145475A1 (ja) | 2017-08-31 |
Family
ID=59684942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/085189 WO2017145475A1 (ja) | 2016-02-24 | 2016-11-28 | 医療用情報処理装置、情報処理方法、医療用情報処理システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11033338B2 (ja) |
EP (1) | EP3420878B1 (ja) |
JP (1) | JP7067467B2 (ja) |
CN (2) | CN114019990A (ja) |
WO (1) | WO2017145475A1 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018159155A1 (ja) * | 2017-02-28 | 2018-09-07 | ソニー株式会社 | 医療用観察システム、制御装置及び制御方法 |
WO2019116592A1 (ja) * | 2017-12-14 | 2019-06-20 | オリンパス株式会社 | 内視鏡の表示画像の調整装置及び手術システム |
JP2020072457A (ja) * | 2018-11-02 | 2020-05-07 | ソニー株式会社 | 映像処理装置、映像処理方法、およびプログラム |
WO2021006228A1 (en) | 2019-07-10 | 2021-01-14 | Sony Corporation | Medical observation system, control device, and control method |
WO2022019318A2 (en) | 2020-07-20 | 2022-01-27 | Sony Group Corporation | Medical arm control system, medical arm control method, medical arm simulator, medical arm learning model, and associated programs |
US20220168047A1 (en) * | 2019-03-27 | 2022-06-02 | Sony Group Corporation | Medical arm system, control device, and control method |
WO2022254836A1 (ja) * | 2021-06-03 | 2022-12-08 | ソニーグループ株式会社 | 情報処理装置、情報処理システム及び情報処理方法 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018221599A1 (ja) * | 2017-05-31 | 2018-12-06 | カリーナシステム株式会社 | 手術器具検出システムおよびコンピュータプログラム |
JP7091349B2 (ja) * | 2017-09-07 | 2022-06-27 | 富士フイルム株式会社 | 診断支援システム、内視鏡システム、プロセッサ、及び診断支援システムの作動方法 |
CN110131532B (zh) * | 2018-02-08 | 2024-09-03 | 泰科电子(上海)有限公司 | 成像设备 |
GB2580625B (en) * | 2019-01-17 | 2023-04-19 | Mo Sys Engineering Ltd | Camera control |
US11026561B2 (en) | 2019-03-21 | 2021-06-08 | Verb Surgical Inc. | Method and system for automatically repositioning a viewable area within an endoscope video view |
US20220141376A1 (en) * | 2019-03-22 | 2022-05-05 | Sony Olympus Medical Solutions Inc. | Control device and medical observation system |
EP3739372A1 (en) * | 2019-05-15 | 2020-11-18 | Leica Microsystems CMS GmbH | Controller and method for providing an operational setting of an imaging device |
JP2021029258A (ja) * | 2019-08-13 | 2021-03-01 | ソニー株式会社 | 手術支援システム、手術支援方法、情報処理装置、及び情報処理プログラム |
DE102022116672A1 (de) | 2022-07-04 | 2024-01-04 | Karl Storz Se & Co. Kg | Bildgebende Vorrichtung mit erweiterter Zoomfunktionalität und Fokusnachführung |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08187246A (ja) * | 1995-01-10 | 1996-07-23 | Olympus Optical Co Ltd | 体腔内手術用マニピュレータ装置 |
JPH0928713A (ja) * | 1995-07-20 | 1997-02-04 | Olympus Optical Co Ltd | 内視鏡下外科手術装置 |
JPH10118076A (ja) * | 1996-10-24 | 1998-05-12 | Olympus Optical Co Ltd | 内視鏡下外科手術装置 |
JP2001197347A (ja) * | 2000-01-05 | 2001-07-19 | Fuji Photo Film Co Ltd | 情報記録装置、情報取得方法、およびデジタルカメラ |
JP2002172083A (ja) * | 2000-12-06 | 2002-06-18 | Olympus Optical Co Ltd | 内視鏡装置 |
JP2004041778A (ja) * | 2003-10-20 | 2004-02-12 | Olympus Corp | 体腔内観察システム |
JP2007222238A (ja) * | 2006-02-21 | 2007-09-06 | Fujinon Corp | 体腔内観察装置 |
JP2008252348A (ja) * | 2007-03-29 | 2008-10-16 | Fujifilm Corp | デジタルカメラ及びデジタルカメラの制御方法 |
US20090248036A1 (en) * | 2008-03-28 | 2009-10-01 | Intuitive Surgical, Inc. | Controlling a robotic surgical tool with a display monitor |
JP2015139646A (ja) * | 2014-01-30 | 2015-08-03 | ソニー株式会社 | 内視鏡システム、画像処理装置、画像処理方法、およびプログラム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08164148A (ja) | 1994-12-13 | 1996-06-25 | Olympus Optical Co Ltd | 内視鏡下手術装置 |
JP2002159444A (ja) | 2000-11-28 | 2002-06-04 | Olympus Optical Co Ltd | 撮像画像表示システム |
JP2005046233A (ja) | 2003-07-31 | 2005-02-24 | Fujinon Corp | 電子内視鏡装置 |
US10588486B2 (en) * | 2013-09-19 | 2020-03-17 | Physio-Control, Inc | Multi-function video system with interchangeable medical tool |
US20090265671A1 (en) * | 2008-04-21 | 2009-10-22 | Invensense | Mobile devices with motion gesture recognition |
JP2010188893A (ja) * | 2009-02-19 | 2010-09-02 | Japan Aerospace Exploration Agency | 移動体の三次元群制御方法 |
US8418073B2 (en) * | 2009-03-09 | 2013-04-09 | Intuitive Surgical Operations, Inc. | User interfaces for electrosurgical tools in robotic surgical systems |
KR101057702B1 (ko) * | 2009-04-09 | 2011-08-18 | 의료법인 우리들의료재단 | 수술용 로봇의 제어 방법 및 그 시스템 |
CN103458759B (zh) * | 2011-03-31 | 2015-10-14 | 奥林巴斯株式会社 | 荧光观察装置 |
WO2013176758A1 (en) * | 2012-05-22 | 2013-11-28 | Intouch Technologies, Inc. | Clinical workflows utilizing autonomous and semi-autonomous telemedicine devices |
CA2933684A1 (en) * | 2012-12-14 | 2014-06-19 | The Trustees Of Columbia University In The City Of New York | Markerless tracking of robotic surgical tools |
KR102146244B1 (ko) * | 2013-02-22 | 2020-08-21 | 삼성전자주식회사 | 휴대 단말에 대한 동작 관련 입력에 따라 복수개의 객체들의 표시를 제어하는 방법 및 이를 위한 휴대 단말 |
CN105517482B (zh) * | 2013-09-10 | 2018-04-27 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
CN105517666B (zh) * | 2014-09-05 | 2019-08-27 | 深圳市大疆创新科技有限公司 | 基于情景的飞行模式选择 |
KR101740286B1 (ko) | 2015-12-17 | 2017-05-29 | (주)미래컴퍼니 | 수술 로봇 시스템 및 적응 제어 방법 |
US10917543B2 (en) * | 2017-04-24 | 2021-02-09 | Alcon Inc. | Stereoscopic visualization camera and integrated robotics platform |
-
2016
- 2016-09-27 CN CN202111129918.2A patent/CN114019990A/zh active Pending
- 2016-11-28 JP JP2018500997A patent/JP7067467B2/ja active Active
- 2016-11-28 EP EP16891631.0A patent/EP3420878B1/en active Active
- 2016-11-28 CN CN201680082111.9A patent/CN108697304B/zh active Active
- 2016-11-28 US US16/070,317 patent/US11033338B2/en active Active
- 2016-11-28 WO PCT/JP2016/085189 patent/WO2017145475A1/ja unknown
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08187246A (ja) * | 1995-01-10 | 1996-07-23 | Olympus Optical Co Ltd | 体腔内手術用マニピュレータ装置 |
JPH0928713A (ja) * | 1995-07-20 | 1997-02-04 | Olympus Optical Co Ltd | 内視鏡下外科手術装置 |
JPH10118076A (ja) * | 1996-10-24 | 1998-05-12 | Olympus Optical Co Ltd | 内視鏡下外科手術装置 |
JP2001197347A (ja) * | 2000-01-05 | 2001-07-19 | Fuji Photo Film Co Ltd | 情報記録装置、情報取得方法、およびデジタルカメラ |
JP2002172083A (ja) * | 2000-12-06 | 2002-06-18 | Olympus Optical Co Ltd | 内視鏡装置 |
JP2004041778A (ja) * | 2003-10-20 | 2004-02-12 | Olympus Corp | 体腔内観察システム |
JP2007222238A (ja) * | 2006-02-21 | 2007-09-06 | Fujinon Corp | 体腔内観察装置 |
JP2008252348A (ja) * | 2007-03-29 | 2008-10-16 | Fujifilm Corp | デジタルカメラ及びデジタルカメラの制御方法 |
US20090248036A1 (en) * | 2008-03-28 | 2009-10-01 | Intuitive Surgical, Inc. | Controlling a robotic surgical tool with a display monitor |
JP2015139646A (ja) * | 2014-01-30 | 2015-08-03 | ソニー株式会社 | 内視鏡システム、画像処理装置、画像処理方法、およびプログラム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3420878A4 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018159155A1 (ja) * | 2017-02-28 | 2018-09-07 | ソニー株式会社 | 医療用観察システム、制御装置及び制御方法 |
US11478133B2 (en) | 2017-02-28 | 2022-10-25 | Sony Corporation | Medical observation system, apparatus for controlling the same, and method for controlling the same |
WO2019116592A1 (ja) * | 2017-12-14 | 2019-06-20 | オリンパス株式会社 | 内視鏡の表示画像の調整装置及び手術システム |
US11974716B2 (en) | 2017-12-14 | 2024-05-07 | Olympus Corporation | Operation supporting device and method of operating operation supporting device |
JP2020072457A (ja) * | 2018-11-02 | 2020-05-07 | ソニー株式会社 | 映像処理装置、映像処理方法、およびプログラム |
US20220168047A1 (en) * | 2019-03-27 | 2022-06-02 | Sony Group Corporation | Medical arm system, control device, and control method |
WO2021006228A1 (en) | 2019-07-10 | 2021-01-14 | Sony Corporation | Medical observation system, control device, and control method |
JP2021013412A (ja) * | 2019-07-10 | 2021-02-12 | ソニー株式会社 | 医療用観察システム、制御装置及び制御方法 |
JP7480477B2 (ja) | 2019-07-10 | 2024-05-10 | ソニーグループ株式会社 | 医療用観察システム、制御装置及び制御方法 |
WO2022019318A2 (en) | 2020-07-20 | 2022-01-27 | Sony Group Corporation | Medical arm control system, medical arm control method, medical arm simulator, medical arm learning model, and associated programs |
WO2022254836A1 (ja) * | 2021-06-03 | 2022-12-08 | ソニーグループ株式会社 | 情報処理装置、情報処理システム及び情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20190053857A1 (en) | 2019-02-21 |
EP3420878B1 (en) | 2021-11-17 |
CN108697304B (zh) | 2021-04-13 |
JPWO2017145475A1 (ja) | 2018-12-20 |
JP7067467B2 (ja) | 2022-05-16 |
CN114019990A (zh) | 2022-02-08 |
EP3420878A4 (en) | 2019-01-30 |
US11033338B2 (en) | 2021-06-15 |
CN108697304A (zh) | 2018-10-23 |
EP3420878A1 (en) | 2019-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017145475A1 (ja) | 医療用情報処理装置、情報処理方法、医療用情報処理システム | |
CN110325093B (zh) | 医疗用臂系统、控制装置与控制方法 | |
US11612306B2 (en) | Surgical arm system and surgical arm control system | |
WO2018088105A1 (ja) | 医療用支持アーム及び医療用システム | |
JP7115467B2 (ja) | 手術用画像処理装置、画像処理方法、及び、手術システム | |
US20220008156A1 (en) | Surgical observation apparatus, surgical observation method, surgical light source device, and surgical light irradiation method | |
WO2018088113A1 (ja) | 関節駆動用アクチュエータ及び医療用システム | |
US11348684B2 (en) | Surgical support system, information processing method, and information processing apparatus | |
WO2019181242A1 (ja) | 内視鏡及びアームシステム | |
US20220322919A1 (en) | Medical support arm and medical system | |
WO2017145606A1 (ja) | 画像処理装置、画像処理方法及び内視鏡システム | |
JP7544033B2 (ja) | 医療システム、情報処理装置及び情報処理方法 | |
WO2018043205A1 (ja) | 医療用画像処理装置、医療用画像処理方法、プログラム | |
WO2023017651A1 (ja) | 医療用観察システム、情報処理装置及び情報処理方法 | |
WO2022269992A1 (ja) | 医療用観察システム、情報処理装置及び情報処理方法 | |
WO2020050187A1 (ja) | 医療システム、情報処理装置及び情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2018500997 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16891631 Country of ref document: EP Kind code of ref document: A1 |