WO2022054428A1 - 医療システムおよび制御方法 - Google Patents

医療システムおよび制御方法 Download PDF

Info

Publication number
WO2022054428A1
WO2022054428A1 PCT/JP2021/027564 JP2021027564W WO2022054428A1 WO 2022054428 A1 WO2022054428 A1 WO 2022054428A1 JP 2021027564 W JP2021027564 W JP 2021027564W WO 2022054428 A1 WO2022054428 A1 WO 2022054428A1
Authority
WO
WIPO (PCT)
Prior art keywords
endoscope
tip
control device
treatment tool
control
Prior art date
Application number
PCT/JP2021/027564
Other languages
English (en)
French (fr)
Inventor
裕行 高山
亮太 佐々井
勝 柳原
千春 水谷
寛 長谷川
大地 北口
修由 竹下
成浩 小島
悠貴 古澤
裕美 杵淵
雅昭 伊藤
Original Assignee
オリンパス株式会社
国立研究開発法人国立がん研究センター
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社, 国立研究開発法人国立がん研究センター filed Critical オリンパス株式会社
Priority to JP2022547429A priority Critical patent/JPWO2022054428A1/ja
Priority to CN202180053633.7A priority patent/CN116171122A/zh
Publication of WO2022054428A1 publication Critical patent/WO2022054428A1/ja
Priority to US18/105,291 priority patent/US20230180995A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/0016—Holding or positioning arrangements using motor drive units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/305—Details of wrist mechanisms at distal ends of robotic arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the present invention relates to a medical system and a control method, and more particularly to a medical system having a function of following an endoscope to an object and a control method thereof.
  • Patent Document 1 a permissible area extending around the central region of the image is set in the image, and the endoscope follows so that the treatment tool returns to the central region when the treatment tool goes out of the permissible area.
  • follow-up ends when the treatment tool enters the central region.
  • Patent Document 1 In order to achieve convenient tracking for the surgeon, in addition to suppressing excessive tracking of the endoscope, the object should be captured in the center of the image, and the object should be placed at an appropriate distance in the depth direction. It is even more desirable to meet the three conditions of capturing.
  • the permissible area of Patent Document 1 is a two-dimensional area set for the endoscopic image. That is, Patent Document 1 does not consider making the endoscope follow the treatment tool in a three-dimensional direction including the depth direction of the image. Therefore, it is difficult to realize good usability.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a medical system and a control method capable of realizing the tracking of an endoscope with respect to an easy-to-use object.
  • One aspect of the present invention includes an endoscope that acquires an image including an object, a moving device that moves the endoscope inside the body, and a control device that controls the moving device based on the position of the object.
  • the control device follows the object in a first control mode in which the endoscope follows the object at a first speed and a second speed in which the endoscope follows the object at a second speed slower than the first speed.
  • the moving device can be controlled in the second control mode and the object is located outside a predetermined three-dimensional region set in the field of view of the endoscope, the moving device is moved in the first control mode.
  • a medical system that controls a device and controls the mobile device in the second control mode when the object is located inside the predetermined three-dimensional region.
  • Another aspect of the present invention is a control method for controlling the movement of an endoscope for acquiring an image including an object based on the position of the object, and the object is within the field of view of the endoscope.
  • the movement of the endoscope is controlled in the first control mode in which the endoscope is made to follow the object at the first speed, and the object is the object.
  • it is located inside a predetermined three-dimensional region, it is a control method for controlling the movement of the endoscope in a second control mode for following the object at a second speed slower than the first speed.
  • FIG. It is an external view of the medical system which concerns on one Embodiment of this invention.
  • It is a block diagram of the medical system of FIG. It is a figure which shows the 3D specific area set in the field of view of an endoscope. It is an endoscopic image which shows an example of the cross section of a specific area. It is an endoscopic image showing another example of the cross section of a specific area. It is an endoscopic image showing another example of the cross section of a specific area. It is a figure explaining the size on the endoscopic image of the specific area in the depth positions X1, X2, X3 of FIG. It is a figure explaining the movement of the treatment tool in an endoscopic image by the follow-up of an endoscope.
  • the medical system 10 holds the endoscope 1 and the treatment tool 2 inserted into the body of the patient and the endoscope 1 and moves the endoscope 1 in the body. It includes a moving device 3 to be moved, a control device 4 connected to the endoscope 1 and the moving device 3 to control the moving device 3, and a display device 5 for displaying an endoscope image.
  • the endoscope 1 is, for example, a rigid mirror, and includes an image pickup unit 1a (see FIG. 2) that has an image pickup element and acquires an endoscope image.
  • the endoscope 1 acquires an endoscope image D (see FIGS. 5 and 6) including the tip 2a of the treatment tool 2 by the imaging unit 1a, and transmits the endoscope image D to the control device 4.
  • the imaging unit 1a is, for example, a three-dimensional camera provided at the tip of the endoscope 1, and acquires a stereo image including information on the three-dimensional position of the tip 2a of the treatment tool 2 as an endoscope image D.
  • the moving device 3 includes a robot arm 3a having a plurality of joints 3b, and holds the base end portion of the endoscope 1 at the tip end portion of the robot arm 3a.
  • the robot arm 3a has three degrees of freedom of motion: linear movement back and forth along the X axis, rotation around the Y axis (pitch), and rotation around the Z axis (yaw), preferably around the X axis.
  • the X-axis is an axis on the same straight line as the optical axis A of the endoscope 1
  • the Y-axis and the Z-axis are directions orthogonal to the optical axis A and corresponding to the horizontal and vertical directions of the endoscope image D. It is an axis that extends to each.
  • the control device 4 includes at least one processor 4a such as a central processing unit, a memory 4b, a storage unit 4c, an input interface 4d, an output interface 4e, and a network interface 4f. Equipped with.
  • the endoscope image D transmitted from the endoscope 1 is sequentially input to the control device 4 via the input interface 4d, sequentially output to the display device 5 via the output interface 4e, and displayed on the display device 5. Will be done.
  • the surgeon operates the treatment tool 2 inserted into the body while observing the endoscopic image D displayed on the display device 5, and treats the affected part in the body with the treatment tool 2.
  • the storage unit 4c is a non-volatile recording medium such as a ROM (read-only memory) or a hard disk, and stores programs and data necessary for the processor 4a to execute processing.
  • the functions described later of the control device 4 are realized by the program being read into the memory 4b and executed by the processor 4a. Some functions of the control device 4 may be realized by a dedicated logic circuit or the like.
  • the control device 4 has a manual mode and a follow-up mode.
  • the manual mode an operator such as an operator manually operates the endoscope 1, and in the follow-up mode, the control device 4 automatically adjusts the endoscope 1 to the tip 2a of the treatment tool (object) 2. It is a mode to follow.
  • the control device 4 switches between the manual mode and the follow-up mode based on an instruction from the operator.
  • the control device 4 has artificial intelligence capable of recognizing human voice, switches to manual mode when recognizing voice in "manual mode", and follows mode when recognizing voice in "following mode”. Switch to.
  • the control device 4 may switch between the manual mode and the follow-up mode according to the on / off of the manual operation switch (not shown) provided in the endoscope 1.
  • an operator such as an operator can remotely control the robot arm 3a by operating an operating device (not shown) connected to the control device 4.
  • the control device 4 controls the moving device 3 based on the three-dimensional position of the tip 2a of the treatment tool 2 toward the center of the endoscopic image D and of the endoscopic image D.
  • the endoscope 1 is made to follow the tip 2a three-dimensionally so that the tip 2a moves toward a predetermined depth.
  • the control device 4 recognizes the treatment tool 2 in the endoscope image D, and calculates the three-dimensional position of the tip 2a using the endoscope image D.
  • the optical axis A of the endoscope 1 moves toward the tip 2a in a direction intersecting the optical axis A, and the tip of the endoscope 1 moves from the tip 2a by a predetermined observation distance.
  • Each joint 3b is operated so as to move in the depth direction along the optical axis A toward a distant position.
  • the follow-up modes are a first control mode in which the endoscope 1 follows the tip 2a of the treatment tool 2 at the first speed, and a second speed in which the endoscope 1 is slower than the first speed. It includes a second control mode for following the tip 2a.
  • the control device 4 controls the mobile device 3 in the first control mode when the tip 2a is outside the predetermined specific area B, and the tip 2a is inside the specific area B. In this case, the mobile device 3 is controlled in the second control mode. Therefore, when the tip 2a is arranged in the specific region B, the sensitivity of the endoscope 1 to follow the movement of the tip 2a is lowered, and the excessive follow of the endoscope 1 to the tip 2a is suppressed.
  • the specific region B is a predetermined three-dimensional region set in the field of view F of the endoscope 1 and having dimensions in the X, Y, and Z directions orthogonal to each other.
  • the X direction is a depth direction parallel to the optical axis A of the endoscope 1.
  • the Y direction and the Z direction are directions orthogonal to the optical axis A, and are parallel to the horizontal direction and the vertical direction of the endoscopic image D, respectively.
  • the specific area B is arranged at a position away from the tip of the endoscope 1 in the X direction, and is set in a part of the field of view F in the X direction. Further, the specific region B includes the optical axis A and has a three-dimensional shape whose cross section becomes smaller as it approaches the tip of the endoscope 1. Therefore, the specific region B on the endoscope image D is the region of the central portion including the center of the endoscope image D. As shown in FIGS. 4A to 4C, the shape of the cross section of the specific region B orthogonal to the optical axis A may be rectangular, circular, or elliptical, and may be another shape such as a polygon. You may. The specific area B may be superimposed and displayed on the endoscope image D, or may be hidden.
  • the shape of the cross section of the specific region B is the same as the shape of the endoscopic image D.
  • the cross section of the specific region B is also rectangular. Since the specific area B displayed on the endoscope image D may interfere with the observation of the endoscope image D, it is preferable that the specific area B is hidden. When the specific area B has the same shape as the endoscopic image D, the operator can easily recognize the position of the hidden specific area B.
  • the field of view F of the endoscope 1 is a cone shape having an apex at or near the tip of the endoscope 1.
  • the specific region B preferably has a frustum shape having a common apex with the field of view F of the endoscope 1. According to such a specific area B, as shown in FIG. 5, the apparent size and position of the specific area B on the endoscopic image D are constant regardless of the positions X1, X2, and X3 in the X direction. be.
  • the size of the specific area B on the endoscope image D (that is, the size of the cross section of the specific area B with respect to the cross section of the visual field F) shall be 25% or more and 55% or less of the size of the endoscopic image D. Is preferable.
  • the apex angle ⁇ of the specific region B is preferably 25% or more and 55% of the viewing angle ⁇ of the endoscope 1. According to this configuration, it is possible to achieve both the central arrangement in which the tip 2a of the treatment tool 2 is arranged in the center of the endoscope image D and the suppression of excessive follow-up of the endoscope 1 to the tip 2a.
  • the size of the specific region B is less than 25% of the size of the endoscope image D, the effect of suppressing the excessive follow-up of the endoscope 1 to the movement of the tip 2a becomes insufficient, and the visual field F is frequently moved. I can invite you.
  • the size of the specific region B is larger than 55% of the size of the endoscope image D, the tip 2a is often arranged at a position away from the center of the endoscope image D, and the tip 2a is arranged in the center. It can be difficult to achieve.
  • the specific area B includes the non-following area B1 and the following area B2.
  • the non-following region B1 is a region of the central portion of the specific region B including the optical axis A.
  • the tracking area B2 is an area outside the specific area B surrounding the non-following area B1. Similar to the specific region B, the non-following region B1 has a three-dimensional shape whose cross section becomes smaller as it approaches the tip of the endoscope 1, and is preferably a frustum shape.
  • the control device 4 rotates, for example, the robot arm 3a around the Y axis and the Z axis.
  • the endoscope 1 is made to follow the tip 2a at the first speed V1.
  • the control device 4 does not make the endoscope 1 follow the tip 2a and maintains the position of the endoscope 1. Specifically, the control device 4 controls the angular velocity of each joint 3b to zero. Therefore, the second velocity in the non-following region B1 is zero.
  • the control device 4 continues the operation of the endoscope 1 in the previous control cycle. That is, when the position of the endoscope 1 is maintained in the previous control cycle, the control device 4 maintains the position of the endoscope 1 in the current control cycle.
  • the control device 4 causes the endoscope 1 to follow the tip 2a also in the current control cycle.
  • the follow-up speed at this time is the second speed V2, which is larger than zero.
  • the tracking region B2 functions as a trigger for the start of tracking of the endoscope 1 to the tip 2a
  • the non-following region B1 functions as a trigger for the end of tracking of the endoscope 1 to the tip 2a. do. That is, when the tip 2a goes out from the follow-up region B2 to the outer region C, the endoscope 1 starts following the tip 2a, and the tip 2a does not pass from the outer region C via the follow-up region B2.
  • the tracking area B1 is entered, the tracking of the endoscope 1 with respect to the tip 2a ends.
  • the first speed V1 and the second speed V2 are constant, and the tracking speed of the endoscope 1 may change in two steps.
  • the first speed V1 and the second speed V2 may change depending on the distance from the center of the endoscopic image D to the tip 2a.
  • the control device 4 may calculate the distances in the Y direction and the Z direction from the optical axis A of the endoscope 1 to the tip 2a, and the larger the distance, the faster the respective speeds V1 and V2 may be.
  • the tracking speeds V1 and V2 of the endoscope 1 may continuously decrease from the outer region C to the non-following region B1.
  • 7A to 7D explain a specific example of the calculation method of the specific area B.
  • the control device 4 sets the intersection of the YZ plane P passing through the tip 2a of the treatment tool 2 and perpendicular to the optical axis A and the optical axis A as the reference point E.
  • the control device 4 defines a rectangular parallelepiped or spherical region centered on the reference point E as a specific region B.
  • 7B to 7C explain a method of calculating the actual size [mm] of the specific region B.
  • L_dz_pixel 1080/2 [pixel] Therefore, the actual size L_dz [mm] in the Z direction of the specific area B is calculated from the following equation using the pixel size [px] in the Z direction of the specific area B.
  • L_dz Lmax_dz * (dz / Lmax_dz_pixel)
  • the actual size L_dy [mm] of the specific region B in the Y direction is also calculated by the same method as L_dd.
  • the actual size L_dx in the X direction of the specific area B is also set.
  • the actual size L_dx may be set to a constant value regardless of the observation distance di.
  • the actual size L_dx at the reference observation distance di (for example, d1) is preset, and the L_dx at the other observation distance di (for example, d2) is proportional to the change in the observation distance. It may be set to the specified value.
  • the control device 4 executes the control methods of steps S2 to S8 and controls the mobile device 3 in the follow mode.
  • the control method includes step S2 for determining whether or not the position of the tip 2a of the treatment tool 2 is inside the specific area B, and when the position of the tip 2a is outside the specific area B, the tip 2a of the treatment tool 2 is not.
  • the steps S3 to S8 for causing the endoscope 1 to follow the treatment tool 2 until it reaches the tracking area B1 are included.
  • the control device 4 calculates the three-dimensional position of the tip 2a using the endoscope image D which is a stereo image, and the tip 2a is in a predetermined specific region B. Whether or not it is determined (step S2).
  • the control device 4 does not execute the control to automatically follow the endoscope 1 to the treatment tool 2, and determines the position of the endoscope 1. maintain.
  • the control device 4 starts following the endoscope 1 to the treatment tool 2 (step S3).
  • the control device 4 selects either the first control mode or the second control mode based on the position of the tip 2a. As shown in FIG. 6, since the tip 2a is located outside the specific region B at the start of tracking (NO in step S4), the control device 4 controls the moving device 3 in the first control mode.
  • the endoscope 1 is made to follow the tip 2a of the treatment tool 2 at the first speed V1 so that the tip 2a of the treatment tool 2 faces the center of the endoscope image D (step S5).
  • the control device 4 controls the mobile device 3 in the first control mode until the tip 2a enters the specific area B.
  • the control device 4 After the tip 2a enters the specific region B (YES in step S4), the control device 4 subsequently controls in the second control mode so that the tip 2a of the treatment tool 2 is located at the center of the endoscopic image D.
  • the endoscope 1 is made to follow the tip 2a of the treatment tool 2 at the second speed V2 so as to face. Since the second speed V2 is slower than the first speed V1, the responsiveness of the endoscope 1 to follow the movement of the tip 2a is lowered. That is, after the tip 2a returns from the outer region C to the specific region B, the endoscope 1 is prevented from excessively following the movement of the treatment tool 2.
  • the control device 4 controls the moving device 3 in the second control mode until the tip 2a enters the non-following region B1.
  • step S6 When the tip 2a of the treatment tool 2 enters the non-following region B1 (YES in step S6), the control device 4 ends the tracking of the endoscope 1 with respect to the treatment tool 2 (step S8). While the follow-up mode continues (NO in step S9), the control device 4 repeats steps S1 to S8.
  • the endoscope 1 in order to realize the follow-up of the endoscope 1 which is convenient for the operator, it is necessary to suppress excessive follow-up, to capture the tip 2a of the treatment tool 2 in the center of the endoscope image D, and to realize the follow-up. It is desirable to make the endoscope 1 follow the treatment tool 2 three-dimensionally so as to satisfy the three conditions of capturing the tip 2a of the treatment tool 2 at an appropriate distance in the X direction.
  • the specific region B is a three-dimensional region set in the visual field F, the distance between the tip of the endoscope 1 and the specific region B in the X direction and each position in the X direction
  • the specific area B can be appropriately designed so as to satisfy the above three conditions such as the size of the cross section of the specific area B. As a result, it is possible to realize the tracking of the endoscope 1 with respect to the easy-to-use treatment tool 2.
  • the apparent size of the specific region B on the endoscope image D differs due to the difference in the position in the X direction. Is suppressed, and preferably, the apparent size of the specific region B is constant regardless of the position in the X direction. As a result, regardless of the position of the tip 2a in the X direction, it is possible to suppress excessive tracking of the endoscope 1 and to arrange the tip 2a in the center at the same time.
  • FIG. 11 shows a specific region B'as a reference example.
  • the specific region B' is formed by simply expanding the two-dimensional region on the image plane of the endoscope image D in the X direction
  • the specific region B' is the endoscope 1 It is a region extending in the X direction from the tip of. Therefore, the endoscope 1 cannot be made to follow the treatment tool 2 so as to catch the tip 2a at an appropriate distance in the X direction.
  • the size of the cross section of the specific area B' is constant, the apparent size of the specific area B on the endoscope image D differs depending on the position in the X direction, and the endoscope 1 with respect to the treatment tool 2 has a different size.
  • the control device 4 decides to continue the operation of the endoscope 1 in the previous control cycle, but instead of this, it is decided to continue the operation.
  • the endoscope 1 may always follow the tip 2a at a second velocity V2 larger than zero. That is, the control device 4 moves in the second control mode regardless of whether the tip 2a enters the follow-up region B2 from the outer region C or the tip 2a enters the follow-up region B2 from the non-following region B1.
  • the device 3 may be controlled. In this case, as shown in FIG.
  • control device 4 determines whether or not the tip 2a is in the non-following region B1 (step S2'), and the tip 2a moves from the non-following region B1 to the tracking region B2.
  • the follow-up of the endoscope 1 to the treatment tool 2 is started (step S3).
  • the control device 4 controls the moving device 3 in the second control mode to obtain an endoscopic image.
  • the endoscope 1 is made to follow the tip 2a of the treatment tool 2 at the second speed V2 so that the tip 2a of the treatment tool 2 faces the center of D (step S7).
  • the control device 4 controls the moving device 3 in the second control mode until the tip 2a enters the non-following region B1.
  • the second speed V2 is slower than the first speed V1
  • the endoscope 1 excessively follows the movement of the treatment tool 2 while the tip 2a is moving in the tracking region B2. Is suppressed.
  • the control device 4 switches from the second control mode to the first control mode. (Step S5), the moving device 3 is controlled in the first control mode until the tip 2a returns to the specific area B.
  • the control device 4 may change the size of the cross section of the specific region B according to the viewing angle ⁇ of the endoscope 1, as shown in FIGS. 9A and 9B.
  • the storage unit 4c stores the value of the viewing angle ⁇ of each type of endoscope 1.
  • the control device 4 recognizes the model of the endoscope 1 held by the robot arm 3a, reads the value of the viewing angle ⁇ of the recognized model from the storage unit 4c, and determines the apex angle ⁇ of the specific region B as the viewing angle.
  • Set to a predetermined ratio of ⁇ For example, the apex angle ⁇ is calculated by multiplying the value of the viewing angle ⁇ by a predetermined ratio k selected from 25% to 55%.
  • the size of the cross section of the specific region B increases in proportion to the viewing angle ⁇ .
  • the area ratio of the cross section of the specific region B to the cross section of the visual field F is constant regardless of the difference in the viewing angle ⁇ of the endoscope 1 used. Therefore, the apparent size of the specific region B in the endoscope image D displayed on the display device 5 can be made the same regardless of the viewing angle ⁇ of the endoscope 1.
  • the specific region B includes the non-following region B1 that does not allow the treatment tool 2 to follow the endoscope 1, but instead, as shown in FIG. 10, the specific region B includes the non-following region B1.
  • the non-following region B1 may not be included.
  • the control device 4 causes the endoscope 1 to follow the treatment tool 2 at the second speed V2 until the tip 2a of the treatment tool 2 is arranged at the center of the endoscope image D, and the tip 2a is inside. Tracking ends when it is placed in the center of the endoscope image D. In the case of FIG. 6, the tracking ends when the tip 2a reaches the end of the tracking region B2 away from the center of the endoscope image D.
  • the endoscope 1 since the endoscope 1 follows until the tip 2a reaches the center of the endoscope image D, the treatment is performed with the tip 2a arranged at the center of the endoscope image D. be able to.
  • the second speed V2 is preferably 50% or less of the first speed V1.
  • the second speed V2 may be constant and may gradually decrease as the tip 2a of the treatment tool 2 approaches the center of the endoscopic image D.
  • the second speed V2 is faster than 50% of the first speed V1, it is difficult to sufficiently obtain the effect of suppressing excessive tracking of the endoscope 1.
  • the shape of the cross section of the specific region B may be changeable.
  • the shape of the cross section can be selected from the squares, circles, and ellipses shown in FIGS. 4A to 4C, and the parameters dy, dz, R, a, b that determine the size of the cross section in each shape are It may be configurable.
  • the shape selection and parameter setting may be performed manually by the operator or automatically by the control device 4.
  • the shape and size of the cross section of the specific region B can be set according to the surgical procedure, the treatment content, the operator's preference, and the like.
  • the visual field F is set in the vertical direction of the tip 2a by setting the cross section to the vertically long ellipse shown in FIG. 4C. It is possible to prevent the tip 2a from vibrating in the vertical direction in response to the movement excessively, and to make the visual field F stationary regardless of the vertical movement of the tip 2a during the treatment.
  • the control device 4 recognizes the treatment tool 2 or the type of treatment, and automatically determines at least one of the shape, the size in the X, Y, and Z directions of the specific region B, and the position according to the treatment tool 2 or the type of treatment. May be changed to. Further, the control device 4 may automatically change the first speed and the second speed according to the treatment tool 2 or the type of treatment. For example, the control device 4 recognizes the type of the treatment tool 2 based on the endoscopic image D, and recognizes the type of treatment from the type of the treatment tool 2.
  • the appropriate shape, size and position of the specific area B will vary depending on the treatment tool 2 or the type of treatment. According to the above configuration, the shape, size and position of the specific area B can be automatically set to those suitable for the treatment tool 2 or the type of treatment.
  • a larger specific region B in the X direction is set at a position farther from the tip of the endoscope 1.
  • a range of 90 mm to 190 mm from the tip of the endoscope 1 is set in the specific region B.
  • a specific region B is set at a position closer to the tip of the endoscope 1 in order to perform delicate treatment. For example, a range of 60 mm to 90 mm from the tip of the endoscope 1 is set in the specific region B.
  • the size of the cross section of the specific region B may be increased or the second speed may be decreased.
  • the control device 4 learns the movement of the tip 2a during treatment and changes the shape and size of the specific region B so that the operating range of the tip 2a during treatment is included in the specific region B. May be.
  • the control device 4 may continuously change the tracking speed according to the distance from the center of the endoscope image D to the tip 2a. For example, the control device 4 may calculate the angular velocity Vp of rotation around the Y axis and the angular velocity Vy of rotation around the Z axis based on the following equation, and rotate the robot arm 3a at the calculated angular velocities Vp and Vy, respectively. good.
  • py is the distance in the Y direction from the center of the endoscope image D to the tip 2a
  • pz is the distance in the Z direction from the center of the endoscope image D to the tip 2a
  • the endoscope 1 acquires a three-dimensional stereo image as the endoscope image D, but instead of this, a two-dimensional endoscope image D may be acquired.
  • the position of the tip 2a of the treatment tool 2 in the X direction may be measured by another distance measuring means such as a distance sensor provided at the tip of the endoscope 1.
  • the object to be followed by the endoscope 1 is the treatment tool 2, but the object is not limited to this, and any object reflected in the endoscope image D during the operation is not limited to this. It may be an object.
  • the object may be a medical material such as a lesion, an organ, a blood vessel, a marker, or gauze, or a medical device other than the treatment tool 2.

Abstract

医療システムは、対象物を含む画像を取得する内視鏡（１）と、内視鏡（１）を体内で移動させる移動装置と、対象物の位置に基づいて移動装置を制御する制御装置とを備え、制御装置は、内視鏡（１）を第１速度で対象物に追従させる第１制御モードおよび内視鏡（１）を第１速度よりも遅い第２速度で対象物に追従させる第２制御モードで移動装置を制御可能であり、対象物が内視鏡（１）の視野（Ｆ）内に設定された所定の３次元領域（Ｂ）の外側に位置する場合、第１制御モードで移動装置を制御し、対象物が所定の３次元領域（Ｂ）の内側に位置する場合、第２制御モードで移動装置を制御する。

Description

医療システムおよび制御方法
　本発明は、医療システムおよび制御方法に関するものであり、特に、対象物に内視鏡を追従させる機能を有する医療システムおよびその制御方法に関するものである。本願は、２０２０年０９月１０日に、アメリカ合衆国に仮出願された米国特許仮出願第６３／０７６，４０８号に基づき優先権を主張し、その内容をここに援用する。
　従来、内視鏡が処置具のような対象物に追従することによって半自律的に内視鏡の視野が移動するシステムが提案されている（例えば、特許文献１参照。）。
　術者にとって使い勝手の良い追従を実現するためには、内視鏡の過度な追従を抑制し視野の過度な移動を防ぐことが望ましい。すなわち、対象物の全ての動きに内視鏡が追従する場合、視野が不安定になり、術者がストレスを感じることがある。また、鈍的剥離等の処置の際には視野が静止していることが望ましく、視野の移動は処置の妨げとなり得る。
　特許文献１では、画像の中心領域の周囲に広がる許容領域が画像内に設定され、処置具が許容領域の外に出た場合に処置具が中心領域に戻るように内視鏡が追従し、処置具が中心領域に入った場合に追従が終了する。この構成によれば、処置具が許容領域および中心領域の内側に留まっている限りは処置具に対して内視鏡が追従しないので、視野の過度な移動を抑制することができる。
米国特許出願公開第２００２／０１５６３４５号明細書
　術者にとって使い勝手の良い追従を実現するためには、内視鏡の過度な追従の抑制に加えて、対象物を画像内の中央に捉えること、および、対象物を奥行方向の適切な距離に捉えること、の３つの条件を満たすことがさらに望ましい。
　特許文献１の許容領域は、内視鏡画像に対して設定された２次元の領域である。すなわち、特許文献１は、内視鏡を画像の奥行方向も含む３次元方向に処置具に追従させることを考慮していない。したがって、良好な使い勝手を実現することが困難である。
　本発明は、上述した事情に鑑みてなされたものであって、使い勝手の良い対象物に対する内視鏡の追従を実現することができる医療システムおよび制御方法を提供することを目的とする。
　本発明の一態様は、対象物を含む画像を取得する内視鏡と、該内視鏡を体内で移動させる移動装置と、前記対象物の位置に基づいて前記移動装置を制御する制御装置と、を備え、該制御装置は、前記内視鏡を第１速度で前記対象物に追従させる第１制御モードおよび前記内視鏡を前記第１速度よりも遅い第２速度で前記対象物に追従させる第２制御モードで前記移動装置を制御可能であり、前記対象物が前記内視鏡の視野内に設定された所定の３次元領域の外側に位置する場合、前記第１制御モードで前記移動装置を制御し、前記対象物が前記所定の３次元領域の内側に位置する場合、前記第２制御モードで前記移動装置を制御する、医療システムである。
　本発明の他の態様は、対象物を含む画像を取得する内視鏡の移動を前記対象物の位置に基づいて制御する制御方法であって、前記対象物が前記内視鏡の視野内に設定された所定の３次元領域の外側に位置する場合、前記内視鏡を第１速度で前記対象物に追従させる第１制御モードで前記内視鏡の移動を制御し、前記対象物が前記所定の３次元領域の内側に位置する場合、前記第１速度よりも遅い第２速度で前記対象物に追従させる第２制御モードで前記内視鏡の移動を制御する、制御方法である。
　本発明によれば、処置具の奥行方向の位置に関わらず処置具に対する内視鏡の過度な追従を抑制することができるという効果を奏する。
本発明の一実施形態に係る医療システムの外観図である。 図１の医療システムのブロック図である。 内視鏡の視野内に設定される３次元の特定領域を示す図である。 特定領域の横断面の一例を示す内視鏡画像である。 特定領域の横断面の他の例を示す内視鏡画像である。 特定領域の横断面の他の例を示す内視鏡画像である。 図３の深さ位置Ｘ１，Ｘ２，Ｘ３における特定領域の内視鏡画像上のサイズを説明する図である。 内視鏡の追従による内視鏡画像内での処置具の移動を説明する図である。 特定領域の算出方法の具体例を説明する図である。 特定領域の算出方法の具体例を説明する図である。 特定領域の算出方法の具体例を説明する図である。 特定領域の算出方法の具体例を説明する図である。 図１の制御装置によって実行される制御方法のフローチャートである。 図１の制御装置によって実行される制御方法の変形例のフローチャートである。 内視鏡の視野角に応じた特定領域のサイズの設定方法を説明する図である。 内視鏡の視野角に応じた特定領域のサイズの設定方法を説明する図である。 内視鏡の追従による内視鏡画像内での処置具の移動の変形例を説明する図である。 参考例における３次元の特定領域を示す図である。
　以下に、本発明の一実施形態に係る医療システムおよび制御方法について図面を参照して説明する。
　図１に示されるように、本実施形態に係る医療システム１０は、患者の体内に挿入される内視鏡１および処置具２と、内視鏡１を保持し内視鏡１を体内で移動させる移動装置３と、内視鏡１および移動装置３と接続され移動装置３を制御する制御装置４と、内視鏡画像を表示する表示装置５とを備える。
　内視鏡１は、例えば硬性鏡であり、撮像素子を有し内視鏡画像を取得する撮像部１ａ（図２参照。）を備える。内視鏡１は、処置具２の先端２ａを含む内視鏡画像Ｄ（図５および図６参照。）を撮像部１ａによって取得し、内視鏡画像Ｄを制御装置４に送信する。撮像部１ａは、例えば、内視鏡１の先端部に設けられた３次元カメラであり、処置具２の先端２ａの３次元位置の情報を含むステレオ画像を内視鏡画像Ｄとして取得する。
　移動装置３は、複数の関節３ｂを有するロボットアーム３ａを備え、ロボットアーム３ａの先端部において内視鏡１の基端部を保持する。一例において、ロボットアーム３ａは、Ｘ軸に沿う前後の直線移動、Ｙ軸回りの回転（ピッチ）およびＺ軸回りの回転（ヨー）の３つの運動の自由度を有し、好ましくはＸ軸回りの回転（ロール）の運動の自由度をさらに有する。Ｘ軸は、内視鏡１の光軸Ａと同一の直線上の軸であり、Ｙ軸およびＺ軸は、光軸Ａと直交し内視鏡画像Ｄの横方向および縦方向に対応する方向にそれぞれ延びる軸である。
　図２に示されるように、制御装置４は、中央演算処理装置のような少なくとも１つのプロセッサ４ａと、メモリ４ｂと、記憶部４ｃと、入力インタフェース４ｄと、出力インタフェース４ｅと、ネットワークインタフェース４ｆとを備える。
　内視鏡１から送信された内視鏡画像Ｄは、入力インタフェース４ｄを経由して制御装置４に逐次入力され、出力インタフェース４ｅを経由して表示装置５に逐次出力され、表示装置５に表示される。術者は、表示装置５に表示される内視鏡画像Ｄを観察しながら体内に挿入された処置具２を操作し、処置具２によって体内の患部の処置を行う。
　記憶部４ｃは、ＲＯＭ（read-only　memory）またはハードディスク等の不揮発性の記録媒体であり、プロセッサ４ａに処理を実行させるために必要なプログラムおよびデータを記憶している。制御装置４の後述の機能は、プログラムがメモリ４ｂに読み込まれプロセッサ４ａによって実行されることによって、実現される。制御装置４の一部の機能は、専用の論理回路等によって実現されてもよい。
　制御装置４は、マニュアルモードおよび追従モードを有する。マニュアルモードは、術者等の操作者が内視鏡１を手動で操作するモードであり、追従モードは、制御装置４が処置具（対象物）２の先端２ａに内視鏡１を自動的に追従させるモードである。
　制御装置４は、操作者からの指示に基づいてマニュアルモードと追従モードとを切り替える。例えば、制御装置４は、人間の音声を認識することができる人工知能を備え、「マニュアルモード」の音声を認識したときにマニュアルモードへ切り替え、「追従モード」の音声を認識したときに追従モードへ切り替える。制御装置４は、内視鏡１に設けられたマニュアル操作スイッチ（図示略）のオンオフに従ってマニュアルモードと追従モードとを切り替えてもよい。
　マニュアルモードにおいて、例えば、術者等の操作者は、制御装置４に接続された操作装置（図示略）を操作することによって、ロボットアーム３ａを遠隔操作することができる。
　追従モードにおいて、制御装置４は、処置具２の先端２ａの３次元位置に基づいて移動装置３を制御することによって、内視鏡画像Ｄの中心に向かって、かつ、内視鏡画像Ｄの所定の深さに向かって先端２ａが移動するように、先端２ａに内視鏡１を３次元的に追従させる。具体的には、制御装置４は、内視鏡画像Ｄ内の処置具２を認識し、内視鏡画像Ｄを用いて先端２ａの３次元位置を算出する。次に、制御装置４は、内視鏡１の光軸Ａが先端２ａに向かって光軸Ａに交差する方向に移動し、かつ、内視鏡１の先端が先端２ａから所定の観察距離だけ離れた位置へ向かって光軸Ａに沿う奥行方向に移動するように、各関節３ｂを動作させる。
　ここで、追従モードは、内視鏡１を第１速度で処置具２の先端２ａに追従させる第１制御モードと、内視鏡１を第１速度よりも遅い第２速度で処置具２の先端２ａに追従させる第２制御モードとを含む。図３に示されるように、制御装置４は、先端２ａが所定の特定領域Ｂの外側に存在する場合に第１制御モードで移動装置３を制御し、先端２ａが特定領域Ｂの内側に存在する場合に第２制御モードで移動装置３を制御する。したがって、先端２ａが特定領域Ｂ内に配置されているとき、先端２ａの移動に対する内視鏡１の追従の感度が低下し、先端２ａに対する内視鏡１の過度な追従が抑制される。
　特定領域Ｂは、内視鏡１の視野Ｆ内に設定され、相互に直交するＸ方向、Ｙ方向およびＺ方向に寸法を有する所定の３次元領域である。Ｘ方向は、内視鏡１の光軸Ａに平行な奥行方向である。Ｙ方向およびＺ方向は、光軸Ａに直交する方向であり、内視鏡画像Ｄの横方向および縦方向にそれぞれ平行な方向である。
　特定領域Ｂは、内視鏡１の先端からＸ方向に離れた位置に配置され、Ｘ方向において視野Ｆの一部の範囲に設定される。また、特定領域Ｂは、光軸Ａを含むと共に、横断面が内視鏡１の先端に近付く程小さくなる３次元形状を有する。したがって、内視鏡画像Ｄ上における特定領域Ｂは、内視鏡画像Ｄの中心を含む中央部分の領域である。図４Ａから図４Ｃに示されるように、光軸Ａに直交する特定領域Ｂの横断面の形状は、矩形、円形および楕円形のいずれであってもよく、多角形等の他の形状であってもよい。特定領域Ｂは、内視鏡画像Ｄに重畳表示されてもよく、非表示であってもよい。
　一例において、特定領域Ｂの横断面の形状は、内視鏡画像Ｄの形状と同一である。例えば、内視鏡画像Ｄが矩形である場合、特定領域Ｂの横断面も矩形である。内視鏡画像Ｄ上に表示される特定領域Ｂは内視鏡画像Ｄの観察を妨げる可能性があるので、特定領域Ｂは非表示であることが好ましい。特定領域Ｂが内視鏡画像Ｄと同一形状である場合、術者は、非表示である特定領域Ｂの位置を認識し易くなる。
　一般に、内視鏡１の視野Ｆは、内視鏡１の先端または先端の近傍に頂点を有する錐状である。特定領域Ｂは、内視鏡１の視野Ｆと共通の頂点を有する錐台状であることが好ましい。このような特定領域Ｂによれば、図５に示されるように、Ｘ方向の位置Ｘ１，Ｘ２，Ｘ３に関わらず、内視鏡画像Ｄ上における特定領域Ｂの見かけのサイズおよび位置は一定である。
　内視鏡画像Ｄ上での特定領域Ｂのサイズ（すなわち、視野Ｆの横断面に対する特定領域Ｂの横断面のサイズ）は、内視鏡画像Ｄのサイズの２５％以上５５％以下であることが好ましい。錐台状の特定領域Ｂの場合、特定領域Ｂの頂角βは、内視鏡１の視野角αの２５％以上５５％であることが好ましい。この構成によれば、処置具２の先端２ａを内視鏡画像Ｄの中央に配置する中央配置と、先端２ａに対する内視鏡１の過度な追従の抑制とを両立することができる。
　特定領域Ｂのサイズが内視鏡画像Ｄのサイズの２５％未満である場合、先端２ａの移動に対する内視鏡１の過度の追従を抑制する効果が不十分となり、視野Ｆの頻繁な移動を招き得る。特定領域Ｂのサイズが内視鏡画像Ｄのサイズの５５％よりも大きい場合、先端２ａが内視鏡画像Ｄの中心から離れた位置に配置されることが多くなり、先端２ａの中央配置の実現が困難になり得る。
　図３から図５に示されるように、特定領域Ｂは、非追従領域Ｂ１および追従領域Ｂ２を含む。非追従領域Ｂ１は、光軸Ａを含む特定領域Ｂの中央部分の領域である。追従領域Ｂ２は、非追従領域Ｂ１を囲む特定領域Ｂの外側部分の領域である。特定領域Ｂと同様に、非追従領域Ｂ１は、内視鏡１の先端に近付く程横断面が小さくなる３次元形状を有し、好ましくは錐台状である。
　図６に示されるように、処置具２の先端２ａが追従領域Ｂ２の外側に配置されているとき、制御装置４は、例えばロボットアーム３ａをＹ軸回りおよびＺ軸回りに回転させることによって、先端２ａに内視鏡１を第１速度Ｖ１で追従させる。
　先端２ａが非追従領域Ｂ１内に配置されているとき、制御装置４は、先端２ａに内視鏡１を追従させず、内視鏡１の位置を維持する。具体的には、制御装置４は、各関節３ｂの角速度をゼロに制御する。したがって、非追従領域Ｂ１内での第２速度はゼロである。
　先端２ａが追従領域Ｂ２内に配置されているとき、制御装置４は、１つ前の制御サイクルにおける内視鏡１の動作を継続する。すなわち、１つ前の制御サイクルにおいて内視鏡１の位置を維持していた場合、制御装置４は、現在の制御サイクルにおいても内視鏡１の位置を維持する。一方、１つ前の制御サイクルにおいて内視鏡１を先端２ａに追従させていた場合、制御装置４は、現在の制御サイクルにおいても内視鏡１を先端２ａに追従させる。このときの追従速度は、ゼロよりも大きい第２速度Ｖ２である。
　上記の制御において、追従領域Ｂ２は、先端２ａへの内視鏡１の追従の開始のトリガとして機能し、非追従領域Ｂ１は、先端２ａへの内視鏡１の追従の終了のトリガとして機能する。すなわち、先端２ａが、追従領域Ｂ２から外側の領域Ｃへ出たときに、先端２ａに対する内視鏡１の追従が開始し、先端２ａが、外側の領域Ｃから追従領域Ｂ２を経由して非追従領域Ｂ１へ入ったときに、先端２ａに対する内視鏡１の追従が終了する。
　第１速度Ｖ１および第２速度Ｖ２はそれぞれ一定であり、内視鏡１の追従速度は２段階で変化してもよい。
　あるいは、第１速度Ｖ１および第２速度Ｖ２は、内視鏡画像Ｄの中心から先端２ａまでの距離に応じて変化してもよい。例えば、制御装置４は、内視鏡１の光軸Ａから先端２ａまでのＹ方向およびＺ方向の距離を算出し、距離が大きい程、各速度Ｖ１，Ｖ２を速くしてもよい。この場合、内視鏡１の追従速度Ｖ１，Ｖ２が、外側領域Ｃから非追従領域Ｂ１まで連続的に低下してもよい。
　図７Ａから図７Ｄは、特定領域Ｂの算出方法の具体例を説明している。
　図７Ａに示されるように、制御装置４は、処置具２の先端２ａを通り光軸Ａに垂直なＹＺ平面Ｐと光軸Ａとの交点を基準点Ｅに設定する。次に、制御装置４は、基準点Ｅを中心とする直方体または球形の領域を特定領域Ｂとして定義する。
　図７Ｂから図７Ｃは、特定領域Ｂの実サイズ［ｍｍ］の算出方法を説明している。
　観察距離ｄｉ（ｉ＝１，２，…）における内視鏡画像ＤのＺ方向（縦方向）のサイズ（Ｚ方向の視野Ｆのサイズ）Ｌｍａｘ＿ｄｚ［ｍｍ］は、図７Ｃの幾何学的関係から下式で表される。α［ｄｅｇ］は、内視鏡１の視野角（半画角）である。
　Ｌｍａｘ＿ｄｚ＝ｄｉ＊ｔａｎα
　また、内視鏡画像ＤのＺ方向のピクセルサイズＬｍａｘ＿ｄｚ＿ｐｉｘｅｌ［ｐｘ］は、既知であり、例えば下式の通りである。
　Ｌｍａｘ＿ｄｚ＿ｐｉｘｅｌ＝１０８０／２［ｐｉｘｅｌ］
　したがって、特定領域ＢのＺ方向の実サイズＬ＿ｄｚ［ｍｍ］は、特定領域ＢのＺ方向のピクセルサイズ［ｐｘ］を用いて下式から算出される。
　Ｌ＿ｄｚ＝Ｌｍａｘ＿ｄｚ＊（ｄｚ／Ｌｍａｘ＿ｄｚ＿ｐｉｘｅｌ）
　特定領域ＢのＹ方向の実サイズＬ＿ｄｙ［ｍｍ］も、Ｌ＿ｄｚと同様の方法によって算出される。
　特定領域ＢのＸ方向の実サイズＬ＿ｄｘも設定される。例えば、実サイズＬ＿ｄｘは、観察距離ｄｉによらずに一定値に設定されてもよい。あるいは、図７Ｄに示されるように、基準となる観察距離ｄｉ（例えば、ｄ１）における実サイズＬ＿ｄｘが予め設定され、その他の観察距離ｄｉ（例えば、ｄ２）におけるＬ＿ｄｘは、観察距離の変化に比例した値に設定されてもよい。
　次に、医療システム１０の作用について説明する。
　術者は、表示装置５に表示される内視鏡画像Ｄを観察しながら、体内に挿入された処置具２を操作することによって処置を行う。処置中、術者は、例えば音声によって、マニュアルモードから追従モードへ、または、追従モードからマニュアルモードへ切り替える。
　図８Ａに示されるように、ステップＳ１において追従モードに切り替えられたとき、制御装置４は、ステップＳ２～Ｓ８の制御方法を実行し、追従モードで移動装置３を制御する。
　制御方法は、処置具２の先端２ａの位置が特定領域Ｂ内であるか否かを判定するステップＳ２と、先端２ａの位置が特定領域Ｂ外である場合、処置具２の先端２ａが非追従領域Ｂ１内に到達するまで内視鏡１を処置具２に追従させるステップＳ３～Ｓ８とを含む。
　追従モードの開始後（ステップＳ１のＹＥＳ）、制御装置４は、ステレオ画像である内視鏡画像Ｄを用いて先端２ａの３次元位置を算出し、先端２ａが所定の特定領域Ｂ内であるか否かを判定する（ステップＳ２）。先端２ａが特定領域Ｂ内に位置する場合（ステップＳ２のＹＥＳ）、制御装置４は、処置具２に内視鏡１を自動的に追従させる制御は実行せず、内視鏡１の位置を維持する。先端２ａが特定領域Ｂの外側に位置する場合（ステップＳ２のＮＯ）、制御装置４は、処置具２に対する内視鏡１の追従を開始する（ステップＳ３）。
　処置具２の追従において、制御装置４は、先端２ａの位置に基づいて第１制御モードおよび第２制御モードのいずれかを選択する。図６に示されるように、追従開始時、先端２ａは特定領域Ｂの外側に位置するので（ステップＳ４のＮＯ）、制御装置４は、移動装置３を第１制御モードで制御することによって、内視鏡画像Ｄの中心に処置具２の先端２ａが向かうように第１速度Ｖ１で内視鏡１を処置具２の先端２ａに追従させる（ステップＳ５）。制御装置４は、先端２ａが特定領域Ｂ内に入るまで、移動装置３を第１制御モードで制御する。
　先端２ａが特定領域Ｂ内に入った後（ステップＳ４のＹＥＳ）、制御装置４は、続いて第２制御モードで制御することによって、内視鏡画像Ｄの中心に処置具２の先端２ａが向かうように第２速度Ｖ２で内視鏡１を処置具２の先端２ａに追従させる。第２速度Ｖ２は第１速度Ｖ１よりも遅いので、先端２ａの動きに対する内視鏡１の追従の応答性が低下する。すなわち、先端２ａが外側の領域Ｃから特定領域Ｂに戻った後、処置具２の動きに内視鏡１が過度に追従することが抑制される。制御装置４は、先端２ａが非追従領域Ｂ１内に入るまで、移動装置３を第２制御モードで制御する。
　処置具２の先端２ａが非追従領域Ｂ１内に入ったとき（ステップＳ６のＹＥＳ）、制御装置４は、処置具２に対する内視鏡１の追従を終了する（ステップＳ８）。
　追従モードが継続している間（ステップＳ９のＮＯ）、制御装置４は、ステップＳ１～Ｓ８を繰り返す。
　ここで、術者にとって使い勝手の良い内視鏡１の追従を実現するためには、過度な追従を抑制すること、処置具２の先端２ａを内視鏡画像Ｄの中央に捉えること、および、処置具２の先端２ａをＸ方向の適切な距離に捉えること、の３つの条件を満たすように、内視鏡１を処置具２に３次元的に追従させることが望ましい。
　本実施形態によれば、特定領域Ｂが視野Ｆ内に設定された３次元領域であるので、内視鏡１の先端と特定領域Ｂとの間のＸ方向の距離およびＸ方向の各位置における特定領域Ｂの横断面のサイズ等、上記の３つの条件を満たすように特定領域Ｂを適切に設計することができる。これにより、使い勝手の良い処置具２に対する内視鏡１の追従を実現することができる。
　また、特定領域Ｂは、横断面が内視鏡１の先端に近付く程小さくなる形状を有するので、Ｘ方向の位置の違いによる内視鏡画像Ｄ上での特定領域Ｂの見かけのサイズの違いが抑制され、好ましくは、Ｘ方向の位置に関わらず特定領域Ｂの見かけのサイズが一定である。これにより、先端２ａのＸ方向の位置に関わらず、内視鏡１の過度な追従の抑制と先端２ａの中央配置とを両立することができる。
　図１１は、参考例としての特定領域Ｂ’を示している。図１１に示されるように、内視鏡画像Ｄの画像平面上の２次元の領域をＸ方向に単に拡張することによって特定領域Ｂ’を形成した場合、特定領域Ｂ’は、内視鏡１の先端からＸ方向に延びる領域となる。したがって、先端２ａをＸ方向の適切な距離に捉えるように内視鏡１を処置具２に追従させることができない。
　また、特定領域Ｂ’の横断面のサイズが一定となるので、Ｘ方向の位置に応じて内視鏡画像Ｄ上で特定領域Ｂの見かけのサイズが異なり、処置具２に対する内視鏡１の過度な追従の抑制と先端２ａの中央配置との両立が困難になる。具体的には、内視鏡１の先端からＸ方向に離れた位置Ｘ３では特定領域Ｂの見かけのサイズが小さくなるので、先端２ａの中央配置は実現されるが、内視鏡１の過度な追従を抑制することができない。一方、内視鏡１の先端にＸ方向に近い位置Ｘ１では特定領域Ｂの見かけのサイズが大きくなるので、内視鏡１の過度な追従を抑制することはできるが、先端２ａの中央配置を実現することが困難になる。
　上記実施形態において、先端２ａが追従領域Ｂ２内に配置されているとき、制御装置４は、１つ前の制御サイクルにおける内視鏡１の動作を継続させることとしたが、これに代えて、常に内視鏡１をゼロよりも大きい第２速度Ｖ２で先端２ａに追従させてもよい。すなわち、制御装置４は、先端２ａが外側領域Ｃから追従領域Ｂ２に入った場合、および、先端２ａが非追従領域Ｂ１から追従領域Ｂ２に入った場合のいずれにおいても、第２制御モードで移動装置３を制御してもよい。
　この場合、図８Ｂに示されるように、制御装置４は、先端２ａが非追従領域Ｂ１内であるか否かを判定し（ステップＳ２’）、先端２ａが非追従領域Ｂ１から追従領域Ｂ２へ出たときに（ステップＳ２’のＮＯ）、処置具２に対する内視鏡１の追従を開始する（ステップＳ３）。
　追従開始時、先端２ａは追従領域Ｂ２内に位置するので（ステップＳ４のＹＥＳかつステップＳ６のＮＯ）、制御装置４は、移動装置３を第２制御モードで制御することによって、内視鏡画像Ｄの中心に処置具２の先端２ａが向かうように第２速度Ｖ２で内視鏡１を処置具２の先端２ａに追従させる（ステップＳ７）。制御装置４は、先端２ａが非追従領域Ｂ１内に入るまで、移動装置３を第２制御モードで制御する。前述のように、第２速度Ｖ２は第１速度Ｖ１よりも遅いので、先端２ａが追従領域Ｂ２内を移動している間は、処置具２の動きに内視鏡１が過度に追従することが抑制される。
　第２制御モードでの内視鏡１の追従に関わらず先端２ａが特定領域Ｂの外側へ出た場合（ステップＳ４のＮＯ）、制御装置４は、第２制御モードから第１制御モードへ切り替え（ステップＳ５）、先端２ａが特定領域Ｂ内に戻るまで、移動装置３を第１制御モードで制御する。
　上記実施形態において、制御装置４は、図９Ａおよび図９Ｂに示されるように、内視鏡１の視野角αに応じて、特定領域Ｂの横断面のサイズを変更してもよい。
　例えば、記憶部４ｃに、各型式の内視鏡１の視野角αの値が記憶されている。制御装置４は、ロボットアーム３ａに保持されている内視鏡１の型式を認識し、認識された型式の視野角αの値を記憶部４ｃから読み出し、特定領域Ｂの頂角βを視野角αの所定の比率に設定する。例えば、視野角αの値に２５％～５５％から選択される所定の比率ｋを乗算することによって、頂角βを算出する。これにより、視野角αに比例して特定領域Ｂの横断面のサイズが大きくなる。
　この構成によれば、使用する内視鏡１の視野角αの差異に関わらず、視野Ｆの横断面に対する特定領域Ｂの横断面の面積比が一定となる。したがって、表示装置５に表示される内視鏡画像Ｄにおける特定領域Ｂの見かけのサイズを、内視鏡１の視野角αに関わらず同一にすることができる。
　上記実施形態において、特定領域Ｂが、処置具２に内視鏡１を追従させない非追従領域Ｂ１を含むこととしたが、これに代えて、図１０に示されるように、特定領域Ｂが、非追従領域Ｂ１を含まなくてもよい。この変形例において、制御装置４は、処置具２の先端２ａが内視鏡画像Ｄの中心に配置されるまで内視鏡１を第２速度Ｖ２で処置具２に追従させ、先端２ａが内視鏡画像Ｄの中心に配置されたときに追従を終了する。
　図６の場合、先端２ａが、内視鏡画像Ｄの中心から離れた追従領域Ｂ２の端に到達したときに追従が終了する。これに対し、図１０の場合、先端２ａが内視鏡画像Ｄの中心に到達するまで内視鏡１が追従するので、内視鏡画像Ｄの中心に先端２ａを配置した状態で処置を行うことができる。
　図１０の変形例において、第２速度Ｖ２は、好ましくは第１速度Ｖ１の５０％以下である。第２速度Ｖ２は、一定であってもよく、処置具２の先端２ａが内視鏡画像Ｄの中心に近づくにつれて次第に低下してもよい。第２速度Ｖ２が第１速度Ｖ１の５０％よりも速い場合、内視鏡１の過度の追従を抑制する効果を十分に得ることが難しい。
　上記実施形態において、特定領域Ｂの横断面の形状が変更可能であってもよい。例えば、横断面の形状が、図４Ａから図４Ｃに示される四角、円および楕円の中から選択可能であり、各形状における横断面のサイズを決定するパラメータｄｙ，ｄｚ，Ｒ，ａ，ｂが設定可能であってもよい。形状の選択およびパラメータの設定は、術者によって手動で行われてもよく、制御装置４によって自動で行われてもよい。
　この構成によれば、特定領域Ｂの横断面の形状およびサイズを、術式、処置内容または術者の好み等に応じて設定することができる。
　一例において、先端２ａが内視鏡画像Ｄの縦方向に頻繁に大きく移動する処置の場合、横断面を図４Ｃに示される縦長の楕円に設定することによって、視野Ｆが先端２ａの縦方向の移動に過度に応答して縦方向に振動してしまうことを防ぎ、処置中の先端２ａの縦方向の移動に関わらず視野Ｆを静止させることができる。
　制御装置４は、処置具２または処置の種類を認識し、特定領域Ｂの形状、Ｘ、ＹおよびＺ方向のサイズ、ならびに位置の少なくとも１つを処置具２または処置の種類に応じて自動的に変更してもよい。さらに、制御装置４は、第１速度および第２速度を処置具２または処置の種類に応じて自動的に変更してもよい。例えば、制御装置４は、内視鏡画像Ｄに基づいて処置具２の種類を認識し、処置具２の種類から処置の種類を認識する。
　特定領域Ｂの適切な形状、サイズおよび位置は、処置具２または処置の種類に応じて異なる。上記構成によれば、特定領域Ｂの形状、サイズおよび位置を、処置具２または処置の種類に適したものに自動的に設定することができる。
　一例において、処置具２の種類が把持鉗子である場合、内視鏡１の先端からより離れた位置に、Ｘ方向により大きい特定領域Ｂが設定される。例えば、内視鏡１の先端から９０ｍｍ～１９０ｍｍの範囲が特定領域Ｂに設定される。
　他の例において、処置具２の種類がエネルギ処置具である場合、精緻な処置を行うために、内視鏡１の先端により近い位置に特定領域Ｂが設定される。例えば、内視鏡１の先端から６０ｍｍ～９０ｍｍの範囲が特定領域Ｂに設定される。さらに、鈍的剥離操作中の視野Ｆの移動を防ぐために、特定領域Ｂの横断面のサイズを大きくしたり、第２速度を低下させたりしてもよい。
　さらに他の例において、制御装置４が、処置中の先端２ａの動きを学習し、処置中の先端２ａの動作範囲が特定領域Ｂ内に含まれるように特定領域Ｂの形状およびサイズを変更してもよい。
　上記実施形態において、特定領域Ｂと外側の領域Ｃとの間の明確な境界が存在しなくてもよい。すなわち、制御装置４は、内視鏡画像Ｄの中心から先端２ａまでの距離に応じて、追従速度を連続的に変化させてもよい。
　例えば、制御装置４は、下式に基づいてＹ軸回りの回転の角速度ＶｐおよびＺ軸回りの回転の角速度Ｖｙを算出し、ロボットアーム３ａを算出された角速度Ｖｐ，Ｖｙでそれぞれ回転させてもよい。ｐｙは内視鏡画像Ｄの中心から先端２ａまでのＹ方向の距離であり、ｐｚは内視鏡画像Ｄの中心から先端２ａまでのＺ方向の距離であり、ＧｙおよびＧｚは所定の比例係数である。
　Ｖｐ＝Ｇｚ＊ｐｚ
　Ｖｙ＝Ｇｙ＊ｐｙ
　上記実施形態において、内視鏡１が、３次元のステレオ画像を内視鏡画像Ｄとして取得することとしたが、これに代えて、２次元の内視鏡画像Ｄを取得してもよい。この場合、例えば、内視鏡１の先端に設けられた距離センサ等の他の測距手段によって、処置具２の先端２ａのＸ方向の位置を測定してもよい。
　上記実施形態において、内視鏡１の追従の対象物が処置具２であることとしたが、対象物はこれに限定されるものではなく、手術中に内視鏡画像Ｄ内に映る任意の物体であってもよい。例えば、対象物は、病変部、臓器、血管、マーカ、ガーゼ等の医用材料、または、処置具２以外の医療器具であってもよい。
１　内視鏡
１ａ　撮像部
２　処置具（対象物）
３　移動装置
３ａ　ロボットアーム
３ｂ　関節
４　制御装置
５　表示装置
１０　医療システム
Ａ　光軸
Ｂ　特定領域（所定の３次元領域）
Ｂ１　非追従領域（特定領域）
Ｂ２　追従領域（特定領域）
Ｃ　外側の領域
Ｄ　内視鏡画像
Ｆ　視野
α　視野角

Claims (9)

  1. 　対象物を含む画像を取得する内視鏡と、
    　該内視鏡を体内で移動させる移動装置と、
    　前記対象物の位置に基づいて前記移動装置を制御する制御装置と、を備え、
    　該制御装置は、
    　前記内視鏡を第１速度で前記対象物に追従させる第１制御モードおよび前記内視鏡を前記第１速度よりも遅い第２速度で前記対象物に追従させる第２制御モードで前記移動装置を制御可能であり、
    　前記対象物が前記内視鏡の視野内に設定された所定の３次元領域の外側に位置する場合、前記第１制御モードで前記移動装置を制御し、
    　前記対象物が前記所定の３次元領域の内側に位置する場合、前記第２制御モードで前記移動装置を制御する、医療システム。
  2. 　前記３次元領域は、前記内視鏡の光軸に直交する前記３次元領域の横断面が前記内視鏡の先端に近付く程小さくなる形状を有する、請求項１に記載の医療システム。
  3. 　前記内視鏡が、ステレオ画像を取得可能であり、
    　前記制御装置が、前記ステレオ画像を用いて前記対象物の３次元位置を算出する、請求項１に記載の医療システム。
  4. 　前記対象物が、処置具であり、
    　前記制御装置が、
    　前記処置具の種類を認識し、
    　前記処置具の前記種類に応じて、前記内視鏡の光軸に直交する前記３次元領域の横断面のサイズおよび形状の少なくとも一方を変更する、請求項１に記載の医療システム。
  5. 　前記制御装置は、前記画像の中心に前記対象物が向かうように前記移動装置を前記第１制御モードおよび前記第２制御モードで制御する、請求項１に記載の医療システム。
  6. 　前記制御装置は、前記対象物が前記３次元領域内に入るまで前記移動装置を前記第１制御モードで制御する、請求項１に記載の医療システム。
  7. 　前記制御装置が、
    　処置の種類を認識し、
    　前記処置の種類に応じて前記３次元領域のサイズおよび形状の少なくとも一方を変更する、請求項１に記載の医療システム。
  8. 　前記制御装置が、前記内視鏡の視野角に応じて、前記内視鏡の光軸に直交する前記３次元領域の横断面のサイズを変更する、請求項１に記載の医療システム。
  9. 　対象物を含む画像を取得する内視鏡の移動を前記対象物の位置に基づいて制御する制御方法であって、
    　前記対象物が前記内視鏡の視野内に設定された所定の３次元領域の外側に位置する場合、前記内視鏡を第１速度で前記対象物に追従させる第１制御モードで前記内視鏡の移動を制御し、
    　前記対象物が前記所定の３次元領域の内側に位置する場合、前記第１速度よりも遅い第２速度で前記対象物に追従させる第２制御モードで前記内視鏡の移動を制御する、制御方法。
PCT/JP2021/027564 2020-09-10 2021-07-26 医療システムおよび制御方法 WO2022054428A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022547429A JPWO2022054428A1 (ja) 2020-09-10 2021-07-26
CN202180053633.7A CN116171122A (zh) 2020-09-10 2021-07-26 医疗系统和控制方法
US18/105,291 US20230180995A1 (en) 2020-09-10 2023-02-03 Medical system and control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063076408P 2020-09-10 2020-09-10
US63/076,408 2020-09-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/105,291 Continuation US20230180995A1 (en) 2020-09-10 2023-02-03 Medical system and control method

Publications (1)

Publication Number Publication Date
WO2022054428A1 true WO2022054428A1 (ja) 2022-03-17

Family

ID=80629721

Family Applications (4)

Application Number Title Priority Date Filing Date
PCT/JP2021/027564 WO2022054428A1 (ja) 2020-09-10 2021-07-26 医療システムおよび制御方法
PCT/JP2021/033209 WO2022054883A1 (ja) 2020-09-10 2021-09-09 制御装置、内視鏡システム、制御方法および制御プログラム
PCT/JP2021/033205 WO2022054882A1 (ja) 2020-09-10 2021-09-09 制御装置、内視鏡システムおよび制御方法
PCT/JP2021/033210 WO2022054884A1 (ja) 2020-09-10 2021-09-09 内視鏡システム、制御装置、制御方法および記録媒体

Family Applications After (3)

Application Number Title Priority Date Filing Date
PCT/JP2021/033209 WO2022054883A1 (ja) 2020-09-10 2021-09-09 制御装置、内視鏡システム、制御方法および制御プログラム
PCT/JP2021/033205 WO2022054882A1 (ja) 2020-09-10 2021-09-09 制御装置、内視鏡システムおよび制御方法
PCT/JP2021/033210 WO2022054884A1 (ja) 2020-09-10 2021-09-09 内視鏡システム、制御装置、制御方法および記録媒体

Country Status (4)

Country Link
US (4) US20230172675A1 (ja)
JP (3) JPWO2022054428A1 (ja)
CN (3) CN116171122A (ja)
WO (4) WO2022054428A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023195326A1 (ja) * 2022-04-05 2023-10-12 オリンパス株式会社 内視鏡システム、手技支援方法および手技支援プログラム
WO2024009901A1 (ja) * 2022-07-08 2024-01-11 オリンパス株式会社 内視鏡システム、制御方法および制御プログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05284411A (ja) * 1992-03-31 1993-10-29 Victor Co Of Japan Ltd ビデオカメラにおける被写体追尾方法
JPH0723271A (ja) * 1993-06-30 1995-01-24 Victor Co Of Japan Ltd ビデオカメラにおける被写体追尾装置
JPH0938030A (ja) * 1995-07-28 1997-02-10 Shimadzu Corp 内視鏡装置
JPH09266882A (ja) * 1996-04-02 1997-10-14 Olympus Optical Co Ltd 内視鏡装置
JP2006229322A (ja) * 2005-02-15 2006-08-31 Matsushita Electric Ind Co Ltd 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム
JP2007222239A (ja) * 2006-02-21 2007-09-06 Fujinon Corp 体腔内観察装置
US20130331644A1 (en) * 2010-12-10 2013-12-12 Abhilash Pandya Intelligent autonomous camera control for robotics with medical, military, and space applications
US20140005475A1 (en) * 2012-06-27 2014-01-02 National Chiao Tung University Image Tracking System and Image Tracking Method Thereof
WO2018235255A1 (ja) * 2017-06-23 2018-12-27 オリンパス株式会社 医療システムとその作動方法
WO2020070883A1 (ja) * 2018-10-05 2020-04-09 オリンパス株式会社 内視鏡システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3348933B2 (ja) * 1993-03-19 2002-11-20 オリンパス光学工業株式会社 電子式内視鏡装置
JP3419869B2 (ja) * 1993-12-28 2003-06-23 オリンパス光学工業株式会社 医療器具
US7037258B2 (en) * 1999-09-24 2006-05-02 Karl Storz Imaging, Inc. Image orientation for endoscopic video displays
JP2001112704A (ja) * 1999-10-20 2001-04-24 Olympus Optical Co Ltd 内視鏡システム
JP2003088532A (ja) * 2001-09-19 2003-03-25 Olympus Optical Co Ltd 手術装置
JP4331541B2 (ja) * 2003-08-06 2009-09-16 オリンパス株式会社 内視鏡装置
US20050123179A1 (en) * 2003-12-05 2005-06-09 Eastman Kodak Company Method and system for automatic axial rotation correction in vivo images
US7841980B2 (en) * 2006-05-11 2010-11-30 Olympus Medical Systems Corp. Treatment system, trocar, treatment method and calibration method
JP6021369B2 (ja) * 2012-03-21 2016-11-09 Hoya株式会社 内視鏡システム
WO2018051565A1 (ja) * 2016-09-15 2018-03-22 オリンパス株式会社 超音波内視鏡および超音波内視鏡システム
EP3603562B1 (en) * 2017-03-28 2022-06-29 Sony Olympus Medical Solutions Inc. Medical observation apparatus and observation field correction method
DE102017219621A1 (de) * 2017-09-22 2019-03-28 Carl Zeiss Meditec Ag Visualisierungssystem mit einem Beobachtungsgerät und einem Endoskop
WO2019116592A1 (ja) * 2017-12-14 2019-06-20 オリンパス株式会社 内視鏡の表示画像の調整装置及び手術システム
JP7151109B2 (ja) * 2018-03-19 2022-10-12 ソニーグループ株式会社 医療用撮像装置及び医療用観察システム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05284411A (ja) * 1992-03-31 1993-10-29 Victor Co Of Japan Ltd ビデオカメラにおける被写体追尾方法
JPH0723271A (ja) * 1993-06-30 1995-01-24 Victor Co Of Japan Ltd ビデオカメラにおける被写体追尾装置
JPH0938030A (ja) * 1995-07-28 1997-02-10 Shimadzu Corp 内視鏡装置
JPH09266882A (ja) * 1996-04-02 1997-10-14 Olympus Optical Co Ltd 内視鏡装置
JP2006229322A (ja) * 2005-02-15 2006-08-31 Matsushita Electric Ind Co Ltd 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム
JP2007222239A (ja) * 2006-02-21 2007-09-06 Fujinon Corp 体腔内観察装置
US20130331644A1 (en) * 2010-12-10 2013-12-12 Abhilash Pandya Intelligent autonomous camera control for robotics with medical, military, and space applications
US20140005475A1 (en) * 2012-06-27 2014-01-02 National Chiao Tung University Image Tracking System and Image Tracking Method Thereof
WO2018235255A1 (ja) * 2017-06-23 2018-12-27 オリンパス株式会社 医療システムとその作動方法
WO2020070883A1 (ja) * 2018-10-05 2020-04-09 オリンパス株式会社 内視鏡システム

Also Published As

Publication number Publication date
WO2022054883A1 (ja) 2022-03-17
US20230172675A1 (en) 2023-06-08
WO2022054884A1 (ja) 2022-03-17
JPWO2022054428A1 (ja) 2022-03-17
US20230180996A1 (en) 2023-06-15
US20230180995A1 (en) 2023-06-15
WO2022054882A1 (ja) 2022-03-17
CN116171122A (zh) 2023-05-26
CN116018538A (zh) 2023-04-25
US20230180998A1 (en) 2023-06-15
JPWO2022054884A1 (ja) 2022-03-17
JPWO2022054882A1 (ja) 2022-03-17
CN115996662A (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
JP5814938B2 (ja) リアルタイム速度最適化を使用した校正不要のビジュアルサーボ
JP7229319B2 (ja) 手術支援装置、その制御方法、プログラム並びに手術支援システム
CN110049742B (zh) 用于机器人控制的图像引导的运动缩放
US20230200918A1 (en) Graphical user interface for a robotic surgical system
CN109288591B (zh) 手术机器人系统
WO2022054428A1 (ja) 医療システムおよび制御方法
JP2013516264A5 (ja)
US10638915B2 (en) System for moving first insertable instrument and second insertable instrument, controller, and computer-readable storage device
WO2020196338A1 (en) Medical arm system, control device, and control method
CN108601626A (zh) 基于图像的机器人引导
WO2019087904A1 (ja) 手術アームシステム及び手術アーム制御システム
US11497569B2 (en) Touchscreen user interface for interacting with a virtual model
Zhang et al. Image-guided control of an endoscopic robot for OCT path scanning
Mattos et al. Next-generation micromanipulator for computer-assisted laser phonomicrosurgery
US20230320793A1 (en) Surgery system and control method for surgery system
Yip et al. A vision-assisted semi-automatic uterus manipulation approach based on a pose estimating trocar
WO2023195326A1 (ja) 内視鏡システム、手技支援方法および手技支援プログラム
CN116509540A (zh) 内窥镜运动控制方法、装置、计算机设备和存储介质
EP3871193A1 (en) Mixed reality systems and methods for indicating an extent of a field of view of an imaging device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21866388

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022547429

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21866388

Country of ref document: EP

Kind code of ref document: A1