WO2022054883A1 - 制御装置、内視鏡システム、制御方法および制御プログラム - Google Patents

制御装置、内視鏡システム、制御方法および制御プログラム Download PDF

Info

Publication number
WO2022054883A1
WO2022054883A1 PCT/JP2021/033209 JP2021033209W WO2022054883A1 WO 2022054883 A1 WO2022054883 A1 WO 2022054883A1 JP 2021033209 W JP2021033209 W JP 2021033209W WO 2022054883 A1 WO2022054883 A1 WO 2022054883A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
angle
treatment tool
endoscope
control device
Prior art date
Application number
PCT/JP2021/033209
Other languages
English (en)
French (fr)
Inventor
明軒 戴
亮太 佐々井
寛 長谷川
大地 北口
修由 竹下
成浩 小島
悠貴 古澤
裕美 杵淵
雅昭 伊藤
Original Assignee
オリンパス株式会社
国立研究開発法人国立がん研究センター
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社, 国立研究開発法人国立がん研究センター filed Critical オリンパス株式会社
Publication of WO2022054883A1 publication Critical patent/WO2022054883A1/ja
Priority to US18/105,314 priority Critical patent/US20230180996A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/0016—Holding or positioning arrangements using motor drive units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/305—Details of wrist mechanisms at distal ends of robotic arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the present invention relates to a control device, an endoscope system, a control method and a control program, and more particularly to a control device, an endoscope system, a control method and a control program for controlling an endoscope image displayed on a display device.
  • the angle of rotation of the treatment tool and the subject such as biological tissue in the endoscopic image that is, by the movement of the treatment tool in the subject (inside the patient's body cavity) or by the movement of the endoscope following the treatment tool.
  • the vertical direction of the endoscopic image changes.
  • the vertical direction of the endoscopic image indicates the rotation angle of the subject in the endoscopic image, and is also called the top-bottom direction in another expression.
  • it is important that the vertical direction of the endoscopic image is appropriate. For example, it is preferable that the vertical direction of the endoscopic image is adjusted so that the treatment tool operated by the operator with the right hand protrudes from the right side of the endoscopic image.
  • Patent Document 1 does not have a means for controlling the vertical direction of the endoscopic image. Therefore, in order to change the vertical direction of the endoscopic image, the surgeon needs to release the hand from the operating tool and manually operate the endoscope to adjust the posture of the endoscope. ..
  • the vertical direction of the endoscope image can be kept constant regardless of the insertion direction of the endoscope by rotating the imaging means according to the insertion angle of the endoscope with respect to the horizontal direction. can.
  • the appropriate vertical direction of the endoscopic image is not constant for each insertion angle of the endoscope, and differs depending on the site to be operated on, the progress of the operation, the preference of the operator, and the like. Therefore, if the operator wants to adjust the vertical direction of the endoscopic image to the direction desired by the operator, the operator still needs to release the hand from the treatment tool being operated and manually operate the endoscope.
  • the present invention has been made in view of the above circumstances, and is a control device and an endoscopic system capable of providing an appropriate vertical endoscopic image without letting the operator release the treatment tool. , Control methods and control programs.
  • One aspect of the present invention is a control device that controls an image captured by an image pickup element of an endoscope and displayed on a display screen of the display device, comprising a processor, and the processor is imaged by the image pickup element.
  • the first image which is an image
  • the first angle of the treatment tool is detected, and the first angle is a predetermined angle set by the treatment tool in the first image with respect to the plane of the first image.
  • An angle formed with respect to a reference line, a second image rotated with respect to the first image is generated based on the first angle and a predetermined target angle, and the treatment tool in the second image is the predetermined. It is a control device in which the second angle formed with respect to the reference line of the above is equal to the predetermined target angle.
  • Another aspect of the present invention is an endoscope system including an endoscope, a moving device for moving the endoscope in a subject, and the above-mentioned control device.
  • Another aspect of the present invention is a control method for controlling an image captured by an image pickup element of an endoscope and displayed on a display screen of a display device, wherein a first image captured by the image pickup element is used.
  • the step of acquiring and the first angle of the treatment tool are detected, and the first angle is set with respect to a predetermined reference line set by the treatment tool in the first image with respect to the plane of the first image.
  • a second image rotated with respect to the first image is generated based on the process and the first angle and a predetermined target angle, which are angles to be formed, and the treatment tool in the second image is the predetermined reference.
  • It is a control method including a step in which a second angle formed with respect to a line is equal to the predetermined target angle.
  • Another aspect of the present invention is a control program for controlling an image captured by an image pickup element of an endoscope and displayed on a display screen of a display device, and is an image captured by the image pickup element.
  • the step of acquiring an image and the first angle of the treatment tool are detected, and the first angle is set to a predetermined reference line set by the treatment tool in the first image with respect to the plane of the first image.
  • a second image rotated with respect to the first image is generated based on the process and the first angle and a predetermined target angle, which are angles formed with respect to the first image, and the treatment tool in the second image is the predetermined.
  • It is a control program that causes a processor to execute a process in which a second angle formed with respect to a reference line of the above is equal to the predetermined target angle.
  • FIGS. 1A to 1C This is an example of an endoscopic image displayed on the display screen of a display device. This is another example of an endoscopic image displayed on the display screen of a display device. This is another example of an endoscopic image displayed on the display screen of a display device. This is another example of an endoscopic image displayed on the display screen of a display device.
  • the endoscope system 10 inserts the endoscope 2 and the treatment tool 6 of 1 or more into the body of the patient P who is the subject, and the treatment tool 6 is inserted. Is used for surgery in which the treatment site is treated with the treatment tool 6 while observing with the endoscope 2, and is used, for example, in laparoscopic surgery.
  • the treatment tool 6 is held by the operator's hand and manually operated by the operator.
  • the endoscope system 10 of FIGS. 1B and 1C includes a moving device 31 that holds and moves the treatment tool 6, and a control device 101 that controls the moving device 31.
  • the treatment tool 6 may be connected to the tip of the robot arm of the moving device 31 and integrated with the robot arm, or may be separate from the robot arm and may be gripped by the robot arm. good.
  • the endoscope system 10 includes an endoscope 2, a moving device 3 that holds the endoscope 2 and moves the endoscope 2 in the subject, and an endoscope.
  • An endoscope processor 4 connected to 2 and processing the endoscope image A captured by the endoscope 2, a control device 1 connected to the moving device 3 and the endoscope processor 4 to control the moving device 3, and a control device 1. It is provided with a display device 5 connected to the endoscope processor 4 and displaying the endoscope image A.
  • the endoscope 2 is, for example, a rigid mirror and has an image pickup element 2a.
  • the image pickup element 2a is, for example, a three-dimensional camera provided at the tip of the endoscope 2, and captures a stereo image including the tip 6a of the treatment tool 6 as an endoscope image A (see FIGS. 3A to 3B). do.
  • the image sensor 2a is an image sensor such as a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Sensor) image sensor, and converts the light received from a predetermined area into an electric signal by photoelectric conversion to obtain a predetermined area. Generate an image of.
  • the stereo image which is the endoscope image E, is generated by image processing two images having parallax by an endoscope processor 4 or the like.
  • the treatment tool 6 has a long shaft 6b.
  • the treatment tool 6 may further have an end effector 6c connected to the tip of the shaft 6b.
  • the endoscope image A is transmitted from the endoscope 2 to the endoscope processor 4, is subjected to necessary processing in the endoscope processor 4, is transmitted from the endoscope processor 4 to the display device 5, and is transmitted to the display device 5. Is displayed on the display screen 5a.
  • the display device 5 is an arbitrary display such as a liquid crystal display or an organic EL display. The surgeon operates the treatment tool 6 inserted in the body while observing the endoscopic image A displayed on the display screen 5a.
  • the display device 5 may include a voice device such as a speaker.
  • a terminal used by the user to communicate with the control device 1 and the endoscope processor 4 through a communication network may be provided, and the endoscope image E may be displayed on the terminal.
  • the terminal is not particularly limited, but may be a notebook computer, a laptop computer, a tablet computer, a smartphone, or the like.
  • the moving device 3 includes a robot arm 3a (including an electric scope holder) that holds the endoscope 2 and three-dimensionally controls the position and posture of the endoscope 2.
  • the moving device 3 of FIGS. 1A to 1C includes a robot arm 3a having a plurality of joints 3b, and the position and posture of the endoscope 2 are three-dimensionally changed by moving the endoscope 2 by the operation of the joints 3b. can do.
  • the moving device 3 may further include a mechanism for rotating the endoscope 2 around the visual axis (optical axis).
  • the control device 1 includes at least one processor 1a such as a central processing unit, a memory 1b, a storage unit 1c, an input interface 1d, an output interface 1e, and a user interface 1f. To prepare for.
  • the control device 1 may be, for example, a desktop computer, a tablet computer, a laptop computer, a smartphone, a mobile phone, or the like.
  • the storage unit 1c is a non-volatile recording medium including a semiconductor memory such as a hard disk or a flash memory, and various programs including a tracking control program (not shown) and an image control program (control program) 1g, and processing of the processor 1a. It remembers the necessary data and data.
  • Some of the processes described later executed by the processor 1a are FPGA (Field Programmable Gate Array), SoC (System-on-a-Chip), ASIC (Application Specific Integrated Circuit), and PLC (Programmable Logic) dedicated to PLC (Pro). It may be realized by a logic circuit, hardware, or the like.
  • the storage unit 1c may be a server such as a cloud server connected to the control device 1 having a communication interface via a communication network instead of the recording medium built in the control device 1.
  • the communication network may be, for example, a public line such as the Internet, a dedicated line, or a LAN (Local Area Network).
  • the connection of the various devices may be either a wired connection or a wireless connection.
  • control device 1 The configuration of any one of the at least one processor 1a, memory 1b, storage unit 1c, input interface 1d, output interface 1e, and user interface 1f included in the control device 1 is separate from the endoscope processor 4 and the control device 1. It may be further provided in the terminal used by the user. Further, the control device 1 may be integrated with the mobile device 3.
  • the processor 1a executes a process according to a tracking control program (not shown) read into the memory 1b, thereby executing a control to make the treatment tool 6 to be tracked follow the endoscope 2.
  • the processor 1a acquires the three-dimensional position of the tip 6a of the treatment tool 6 from the endoscope image A, and sets the three-dimensional position of the tip 6a and a predetermined target set in the field of view of the endoscope 2.
  • the moving device 3 is controlled based on the three-dimensional position of the point.
  • the target point is, for example, a point on the optical axis separated from the tip of the endoscope 2 in a direction parallel to the optical axis by a predetermined distance, and corresponds to the center point C of the endoscope image A.
  • the control device 1 controls the movement of the endoscope 2 and automatically causes the treatment tool 6 to follow the endoscope 2 so that the target point is arranged at the tip 6a.
  • the processor 1a is configured to be operable in the rotation mode. As shown in FIGS. 3A to 3C, in the rotation mode, the processor 1a executes a process according to the image control program 1g read into the memory 1b, so that the endoscope image A displayed on the display screen 5a is displayed. The rotation angle is controlled, and the vertical direction of the endoscope image A is adjusted so that the angle ⁇ of the treatment tool 6 on the display screen 5a becomes a predetermined target angle ⁇ t.
  • 3A to 3C show an example of an endoscopic image A in which the positions of the treatment tools 6 are different from each other and the angles ⁇ and the vertical directions of the treatment tools 6 are the same.
  • reference numeral Lh is a horizontal line extending in the horizontal direction (horizontal direction) of the display screen 5a
  • reference numeral Lv is a vertical line extending in the vertical direction (vertical direction) of the display screen 5a.
  • the input interface 1d and the output interface 1e are connected to the endoscope processor 4.
  • the control device 1 can acquire the endoscope image A from the endoscope 2 via the endoscope processor 4, and displays the endoscope image A on the display device 5 via the endoscope processor 4. Can be output.
  • the input interface 1d is directly connected to the endoscope 2 so that the control device 1 can directly acquire the endoscope image A from the endoscope 2 and output the endoscope image A directly to the display device 5.
  • the output interface 1e may be directly connected to the display device 5.
  • the user interface 1f has an input device such as a mouse, a button, a keyboard, and a touch panel for a user such as an operator to input to the user interface 1f, and receives input from the user. Further, the user interface 1f has means for the user to turn on / off the rotation mode, for example, a switch.
  • the switch When the control device 1 is started, the switch is initially set to OFF. After that, when the switch is turned on by the user, the user interface 1f receives the input of ON of the rotation mode. Further, when the switch is turned off by the user, the user interface 1f receives an input of turning off the rotation mode.
  • the vertical direction of the endoscope image A displayed on the display screen 5a (the treatment tool 6 in the endoscope image A). It is important for the surgeon that the orientation of the subject such as the living tissue) is appropriate. For example, it is desirable for the surgeon to project the treatment tool 6 operated by the surgeon with his right hand at an angle of about 30 ° from the right side of the endoscopic image A. However, during the operation, the angle ⁇ of the treatment tool 6 in the endoscope image A is caused by the operator moving the treatment tool 6 or changing the posture of the endoscope 2 following the treatment tool 6. Changes.
  • the rotation mode can be started by turning on the switch.
  • the step S1 for accepting the ON input of the rotation mode the step S2 for acquiring the first image A1, and the treatment tool 6 in the first image A1.
  • a step S7 to be displayed on the display screen 5a and a step S8 to accept the OFF input of the rotation mode are included.
  • the processor 1a When the user interface 1f accepts the ON input of the rotation mode (YES in step S1), the processor 1a contains the first image A1, which is the latest endoscopic image A, as shown in FIGS. 5A and 6A. Obtained from the endoscope 2 (step S2). The top, bottom, left, and right of the first image A1 correspond to the top, bottom, left, and right of the display screen 5a, respectively.
  • the processor 1a recognizes the treatment tool 6 and the shaft 6b in the first image A1 and detects the first angle ⁇ 1 of the treatment tool 6 (step S3).
  • the first angle ⁇ 1 is an angle formed by the longitudinal axis B of the shaft 6b with respect to a predetermined reference line L.
  • the predetermined reference line L is a straight line set with respect to the plane of the first image A1 and forming a predetermined angle with respect to the horizontal line in the first image A1, and is fixed to the first image A.
  • the reference line L is a horizontal line passing through the center point C of the first image A1 and corresponds to the horizontal line Lh of the display screen 5a.
  • the processor 1a compares the first angle ⁇ 1 with the predetermined target angle ⁇ t (step S4).
  • the target angle ⁇ t is, for example, a value determined in advance by the surgeon according to his / her preference or the like, a fixed value set for each surgical case (for example, surgical site), or set for each treatment tool 6. It is a fixed value.
  • the target angle ⁇ t is stored in advance in, for example, the storage unit 1c.
  • the processor 1a does not execute steps S5 to S7 and returns to step S2. In this case, the processor 1a outputs the first image A1 to the display device 5 and displays it on the display screen 5a.
  • the processor 1a When the first angle ⁇ 1 is different from the target angle ⁇ t (NO in step S4), the processor 1a then calculates the difference ⁇ between the first angle ⁇ 1 and the target angle ⁇ t (step S5).
  • the processor 1a generates a second image A2 which is an endoscopic image A rotated by a difference ⁇ with respect to the first image A1 (step S6).
  • the second image A2 is an image rotated about a predetermined rotation axis D in a direction (clockwise in the case of FIGS. 5B and 6B) in which the difference ⁇ is eliminated by the difference ⁇ with respect to the first image A1.
  • the rotation axis D is an axis that passes through the center point C of the first image A1 and is parallel to the optical axis of the endoscope 2 (that is, perpendicular to the plane of the first image A1).
  • step S6 show the first image A1 and the second image A2, respectively, when the tip 6a is arranged at the center point C.
  • 6A and 6B show the first image A1 and the second image A2 when the tip 6a is arranged at a position deviated from the center point C, respectively.
  • the processor 1a generates the second image A2 by rotating the image pickup device 2a about the optical axis by the difference ⁇ . That is, the second image A2, which is the endoscopic image A rotated by the difference ⁇ with respect to the first image A1, is imaged by the image pickup device 2a.
  • the processor 1a generates the second image A2 by rotating the first image A1 by the difference ⁇ by image processing.
  • the processor 1a generates the second image A2 by rotating the endoscope 2 by a rotation mechanism provided at the tip of the moving device 3.
  • the processor 1a outputs the generated second image A2 to the display device 5 and displays it on the display screen 5a (step S7).
  • the treatment tool 6 in the second image A2 displayed on the display screen 5a forms a target angle ⁇ t with respect to the horizontal line Lh of the display screen 5a.
  • the processor 1a periodically acquires the first image A1 in step S2 until the user interface 1f receives the input of OFF of the rotation mode in step S8, and every time a new first image A is acquired, step S3 ⁇ S7 is executed. As a result, steps S2 to S7 are repeated while the rotation mode is being executed, and the angle ⁇ of the treatment tool 6 on the display screen 5a is maintained at the target angle ⁇ t.
  • the first angle ⁇ 1 of the treatment tool 6 in the first image A1, which is the endoscope image A captured by the endoscope 2 is equal to the predetermined target angle ⁇ t.
  • the first image A1 is displayed on the display screen 5a.
  • the second image A2 that rotates with respect to the first image A1 and the second angle ⁇ 2 of the treatment tool 6 is equal to the target angle ⁇ t is automatically generated.
  • the second image A2 is displayed on the display screen 5a instead of the first image A1.
  • the vertical direction of the endoscope images A1 and A2 displayed on the display screen 5a is automatically controlled by the processor 1a so that the angle ⁇ of the treatment tool 6 on the display screen 5a becomes the target angle ⁇ t. Therefore, the operator who is operating the treatment tool 6 does not need to manually operate the endoscope 2 for the vertical adjustment of the endoscope image A. That is, it is possible to provide appropriate vertical endoscopic images A1 and A2 that are easy for the operator to perform the treatment without letting the operator release the treatment tool 6.
  • the control device the endoscope system, the control method, and the control program according to the second embodiment of the present invention will be described with reference to the drawings.
  • the user utilizes the angle of the treatment tool 6 in the endoscopic image A to obtain a target angle ⁇ t and a second image A2 with respect to the first image A1. It differs from the first embodiment in that the rotation angle ⁇ of the above is set.
  • a configuration different from that of the first embodiment will be described, and the same reference numerals will be given to the configurations common to the first embodiment, and the description thereof will be omitted.
  • the endoscope system 10 includes a control device 1, an endoscope 2, a mobile device 3, an endoscope processor 4, and a display device 5.
  • the user interface 1f is configured to be able to receive inputs of the first trigger and the second trigger from the user.
  • the user interface 1f has a first switch for the user to input the first trigger and a second switch for the user to input the second trigger.
  • the processor 1a executes the control method shown in FIG.
  • the control method detects step S1, step S11 for receiving the first trigger, step S12 for acquiring the third image A3, and the third angle ⁇ 3 of the treatment tool 6 in the third image A3. It includes step S13, step S14 for setting the target angle ⁇ t to the third angle ⁇ 3, step S15 for receiving the second trigger, and steps S2, S3, S5 to S8.
  • the processor 1a waits for the user interface 1f to accept the first trigger (step S11). As shown in FIG. 7A, the operator moves the treatment tool 6 to arrange the treatment tool 6 in the endoscopic image A displayed on the display screen 5a at a desired angle ⁇ 3, and the first trigger. Is input to the user interface 1f.
  • the processor 1a acquires the latest endoscope image A, the third image A3, from the endoscope 2 (YES in step S11). Step S12). Next, the processor 1a detects the third angle ⁇ 3 of the treatment tool 6 in the third image A3 by the same method as in step S3 (step S13).
  • the third angle ⁇ 3 is an angle formed by the longitudinal axis B of the shaft 6b with respect to a predetermined reference line L, similarly to the first angle ⁇ 1.
  • the processor 1a sets the target angle ⁇ t to the third angle ⁇ 3 (step S14).
  • the processor 1a waits for the user interface 1f to accept the second trigger (step S15).
  • the surgeon moves the treatment tool 6 to change the angle of the treatment tool 6 in the endoscopic image A displayed on the display screen 5a from the third angle ⁇ 3 to a desired angle ⁇ .
  • the second trigger is input to the user interface 1f.
  • the processor 1a acquires the first image which is the latest endoscopic image A (step S2), and the first.
  • the first angle ⁇ 1 of the treatment tool 6 in the image A1 is detected (step S3).
  • the processor 1a calculates the difference ⁇ between the first angle ⁇ 1 and the target angle ⁇ t (step S5), and as shown in FIG. 7C, the endoscope is rotated by the difference ⁇ with respect to the first image A1.
  • a second image A2, which is an image A, is generated (step S6).
  • the second image A2 is an endoscopic image A in which the background of the biological tissue E or the like existing behind the treatment tool 6 is rotated by an angle ⁇ desired by the user with respect to the third image A3, and the second image A2.
  • the second angle ⁇ 2 of the treatment tool 6 in the third image A3 is equal to the target angle ⁇ t which is the third angle ⁇ 3 of the treatment tool 6.
  • the surgeon can set each of the target angle ⁇ t and the difference ⁇ to desired values by using the treatment tool 6 in the endoscopic image A. .. Then, the surgeon can rotate the background of the treatment tool 6 by a desired angle ⁇ and appropriately adjust the orientation of the background.
  • the biological tissue E lies diagonally in the endoscopic image A
  • the biological tissue E is displayed so as to lie horizontally suitable for treatment, as shown in FIG. 7C.
  • the vertical direction of the endoscope image A displayed on the screen 5a can be adjusted. Therefore, the rotation mode of the present embodiment is effective for adjusting the angle of the background in the endoscope image A displayed on the display screen 5a.
  • the angle ⁇ of the treatment tool 6 on the display screen 5a is displayed on the display screen 5a so as to be the target angle ⁇ t, as in the first embodiment.
  • the vertical direction of the endoscope images A1 and A2 is automatically controlled by the processor 1a. This makes it possible to provide appropriate vertical endoscopic images A1 and A2 that are easy for the operator to perform the treatment without letting the operator release the treatment tool 6.
  • the present embodiment differs from the first embodiment in that the angle ⁇ of the treatment tool 6 is an argument of the tip 6a.
  • the present embodiment a configuration different from that of the first embodiment will be described, and the same reference numerals will be given to the configurations common to the first embodiment, and the description thereof will be omitted.
  • the endoscope system 10 includes a control device 1, an endoscope 2, a mobile device 3, an endoscope processor 4, and a display device 5.
  • the processor 1a displays the endoscope image A on the display screen 5a so that the tip 6a of the treatment tool 6 is arranged on a predetermined horizontal line Lh passing through the center of the display screen 5a. Control the rotation angle of. Specifically, the processor 1a executes the control method shown in FIG.
  • the control method includes steps S1 and S2, steps S21 for determining whether or not the tip 6a of the treatment tool 6 is arranged on a predetermined reference line L, and steps S3 and S6 to S8. including.
  • the processor 1a in response to the user interface 1f receiving the ON input of the rotation mode (YES in step S1), acquires the first image A1 (step S2).
  • the processor 1a recognizes the treatment tool 6 in the first image A1 and determines whether the tip 6a of the treatment tool 6 is arranged on the predetermined reference line L (step S21).
  • the predetermined reference line L is a horizontal line passing through the center point C of the first image A1 and corresponds to the predetermined horizontal line Lh passing through the center point of the display screen 5a.
  • the processor 1a does not execute steps S3 and S6 to S8, but returns to step S2. In this case, the processor 1a outputs the first image A1 to the display device 5 and displays it on the display screen 5a.
  • the processor 1a sets the first angle ⁇ 1 of the treatment tool 6 in the first image A1.
  • the first angle ⁇ 1 is an angle formed by the line segment F connecting the center point C and the tip 6a with respect to the reference line L.
  • the processor 1a generates a second image A2 which is an endoscope image A rotated by a first angle ⁇ 1 with respect to the first image A1 (step S6). That is, in the present embodiment, the target angle ⁇ t is 0 °.
  • the declination angle (second angle) of the tip 6a is 0 °, and the tip 6a is arranged on a predetermined reference line L.
  • the tip 6a is not arranged on the reference line L
  • the second image A2 is displayed on the display screen 5a instead of the image A1.
  • the vertical direction of the endoscope images A1 and A2 displayed on the display screen 5a is automatically set by the processor 1a so that the tip 6a of the treatment tool 6 on the display screen 5a is arranged on the predetermined horizontal line Lh. Be controlled. Therefore, the operator who is operating the treatment tool 6 does not need to manually operate the endoscope 2 for the vertical adjustment of the endoscope image A. That is, it is possible to provide appropriate vertical endoscopic images A1 and A2 that are easy for the operator to perform the treatment without letting the operator release the treatment tool 6.
  • the predetermined reference line L is a horizontal line passing through the center point C, but the direction and position of the predetermined reference line L can be changed as appropriate.
  • the predetermined reference line L may be a vertical line passing through the center point C.
  • the predetermined reference line L may be an oblique straight line passing through the center point C.
  • the endoscope system 10 includes a control device 1, an endoscope 2, a mobile device 3, an endoscope processor 4, and a display device 5.
  • the control device 1 controls the mobile device 3, the processor 1a always operates in the rotation mode and executes the control method shown in FIG.
  • the control method according to the present embodiment includes steps S2 and S3, steps S31 for determining whether or not the absolute value of the difference between the first angle ⁇ 1 and the target angle ⁇ t is equal to or less than a predetermined threshold value, and steps S5 to S7. And, including.
  • the processor 1a acquires the first image A1 which is the latest endoscope image A from the endoscope 2 (step S2), and detects the first angle ⁇ 1 of the treatment tool 6 in the first image A1 (step S3). ). Next, the processor 1a determines whether or not the first angle ⁇ 1 is within the range of the target angle ⁇ t ⁇ X (step S31). As shown in FIG. 11A, when the first angle ⁇ 1 is within the range of the target angle ⁇ t ⁇ X (YES in step S31), that is, when the absolute value of the difference between the angles ⁇ 1 and ⁇ t is equal to or less than the threshold value X. The processor 1a does not execute steps S5 to S7, but returns to step S2. In this case, the processor 1a outputs the first image A1 to the display device 5 and displays it on the display screen 5a.
  • step S31 when the first angle ⁇ 1 is outside the range of the target angle ⁇ t ⁇ X (NO in step S31), that is, when the absolute value of the difference between the angles ⁇ 1 and ⁇ t is larger than the threshold value X.
  • the processor 1a calculates the difference ⁇ between the first angle ⁇ 1 and the target angle ⁇ t (step S5), and the second image A2 is an endoscopic image A rotated by the difference ⁇ with respect to the first image A1. Is generated (step S6).
  • the endoscope image A displayed on the display screen 5a is rotated every time the first angle ⁇ 1 deviates from the range of the target angle ⁇ t ⁇ X.
  • the angle of the treatment tool 6 on the display screen 5a is maintained within a predetermined range including the target angle ⁇ t.
  • the first angle ⁇ 1 of the treatment tool 6 in the first image A1, which is the endoscope image A captured by the endoscope 2, is within the range of the target angle ⁇ t ⁇ X.
  • the first image A1 is displayed on the display screen 5a.
  • the second image A2 that rotates with respect to the first image A1 and the second angle ⁇ 2 of the treatment tool 6 is equal to the target angle ⁇ t is automatically performed.
  • the second image A2 is displayed on the display screen 5a in place of the first image A1.
  • the vertical direction of the endoscope images A1 and A2 displayed on the display screen 5a is automatically set by the processor 1a so that the angle of the treatment tool 6 on the display screen 5a is within the range of the target angle ⁇ t ⁇ X. Be controlled. Therefore, the operator who is operating the treatment tool 6 does not need to manually operate the endoscope 2 for the vertical adjustment of the endoscope image A. That is, it is possible to provide appropriate vertical endoscopic images A1 and A2 that are easy for the operator to perform the treatment without letting the operator release the treatment tool 6.
  • the control method includes steps S1 and S8, and the processor 1a rotates in response to the ON and OFF inputs of the rotation mode to the user interface 1f. You may start and end the mode.
  • the predetermined reference line L is the horizontal line of the first image A1, but the predetermined reference line L is not limited to this, and a line extending in an arbitrary direction is a reference line. It can be set to L.
  • the predetermined reference line L may be a vertical line extending in the vertical direction (vertical direction) of the first image A1, or may be a line extending in the diagonal direction of the first image A1.
  • the processor 1a has decided to generate the second image A2 rotated around the rotation axis D passing through the center point C of the first image A1 and parallel to the optical axis, but the direction of the rotation axis D and The position can be changed as appropriate according to the user's request or the like. That is, the rotation axis D may be inclined with respect to the optical axis, or may pass through a position deviated from the center point C.
  • the processor 1a has a first rotation mode in which the second image A2 is generated based on the first angle ⁇ 1 of the treatment tool 6 in the first image A1 and an anatomical feature in the first image A1. Based on this, it may be configured to be operable in any of the second rotation modes that generate the fourth image A4.
  • the processor 1a executes the second rotation mode in response to the user interface 1f receiving the OFF input of the rotation mode. In the first rotation mode, the processor 1a executes any of the control methods of the first to fourth embodiments.
  • the angle of the anatomical feature G is the angle of rotation around the center point C of the endoscopic image A.
  • the second rotation mode is a mode in which the anatomical feature G in the endoscopic image A is displayed on the display screen 5a at a predetermined target angle ⁇ s, for example, before and after treating the treatment site with the treatment tool 6. It is used in situations other than treatment of the treatment site.
  • the storage unit 1c stores a predetermined target angle ⁇ s of the anatomical feature G in the endoscopic image A for each type of the anatomical feature G.
  • the processor 1a acquires the first image A1 from the endoscope 2, detects the anatomical feature G of the biological tissue in the first image A1, and recognizes the type of the anatomical feature G. do.
  • the processor 1a determines the angle of the anatomical feature G in the first image A1 and the target angle ⁇ s of the type of the anatomical feature G stored in the storage unit 1c.
  • the fourth image A4 is generated by rotating with respect to the first image A1 and having the angle of the anatomical feature G equal to the target angle ⁇ s.
  • the target angle ⁇ s is the angle at which the aorta is placed horizontally below the endoscopic image A.
  • the vertical direction of the endoscopic image A displayed on the display screen 5a changes, the arrangement of organs and the appearance of living tissue change. Therefore, in order for the operator to easily recognize the organs and biological tissues in the endoscopic image A, it is important that the vertical direction of the endoscopic image A displayed on the display screen 5a is appropriate.
  • the vertical direction of A can be appropriately adjusted, and the anatomical feature G of the living tissue can be displayed on the display screen 5a at a predetermined target angle ⁇ s.
  • the processor 1a may be able to operate in the four types of rotation modes described in the first to fourth embodiments.
  • the user may input the rotation mode selected from the four types to the user interface 1f, and the processor 1a may execute the input rotation mode.
  • a Endoscopic image (image) A1 endoscopy image, first image A2 endoscopy image, second image A3 endoscopy image, third image A4 endoscopy image, fourth image B shaft longitudinal axis C center point D rotation axis G anatomy Characteristic L Reference line Lh Horizontal line

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

制御装置は、内視鏡の撮像素子によって撮像され表示装置の表示画面に表示される画像を制御する。制御装置は、プロセッサを備える。プロセッサは、撮像素子によって撮像された画像である第１画像を取得し（Ｓ２）、処置具の第１角度を検出し（Ｓ３）、第１角度および所定の目標角度に基づいて第１画像に対して回転した第２画像を生成する（Ｓ６）。第１角度は、第１画像内の処置具が第１画像の平面に対して設定された所定の基準線に対して成す角度である。第２画像内の処置具が所定の基準線に対して成す第２角度は所定の目標角度と等しい。

Description

制御装置、内視鏡システム、制御方法および制御プログラム
　本発明は、制御装置、内視鏡システム、制御方法および制御プログラムに関し、特に、表示装置に表示される内視鏡画像を制御する制御装置、内視鏡システム、制御方法および制御プログラムに関するものである。
　本出願は、２０２０年９月１０日にアメリカ合衆国に仮出願された米国特許仮出願第６３／０７６，４０８号に基づいて優先権を主張し、その内容をここに援用する。
　従来、内視鏡を処置具に追従させることによって半自律的に内視鏡の視野を移動させるシステムが提案されている（例えば、特許文献１，２参照。）。
特開２００３－１２７０７６号公報 特開２００１－１１２７０４号公報
　被検体内（患者体腔内）での処置具の移動によって、または、処置具に追従する内視鏡の移動によって、内視鏡画像内での処置具および生体組織等の被写体の回転角、すなわち内視鏡画像の上下方向が変化する。内視鏡画像の上下方向は、内視鏡画像内の被写体の回転角を示し、別の表現では天地方向とも言う。術者にとって手術し易い内視鏡画像を提供するためには、内視鏡画像の上下方向が適切であることが重要である。例えば、内視鏡画像の上下方向は、術者が右手で操作する処置具が内視鏡画像の右側から突出するように調整されることが好ましい。
　特許文献１のシステムは、内視鏡画像の上下方向を制御する手段を有しない。したがって、内視鏡画像の上下方向を変更するために、術者は、操作中の処置具から一旦手を放し、内視鏡を手動で操作して内視鏡の姿勢を調整する必要がある。
　特許文献２のシステムは、水平方向に対する内視鏡の挿入角度に応じて撮像手段を回転させることによって、内視鏡の挿入方向に関わらず内視鏡画像の上下方向を一定に維持することができる。しかし、内視鏡画像の適切な上下方向は、内視鏡の挿入角度毎に一定ではなく、手術対象の部位、手術の進行および術者の好み等に応じて異なる。したがって、内視鏡画像の上下方向を術者が所望する方向に調整したい場合、やはり、術者は、操作中の処置具から一旦手を放し、内視鏡を手動で操作する必要がある。
　本発明は、上述した事情に鑑みてなされたものであって、術者が処置具から手を放すことなく適切な上下方向の内視鏡画像を提供することができる制御装置、内視鏡システム、制御方法および制御プログラムを提供することを目的とする。
　本発明の一態様は、内視鏡の撮像素子によって撮像され表示装置の表示画面に表示される画像を制御する制御装置であって、プロセッサを備え、該プロセッサが、前記撮像素子によって撮像された画像である第１画像を取得し、処置具の第１角度を検出し、該第１角度は、前記第１画像内の前記処置具が前記第１画像の平面に対して設定された所定の基準線に対して成す角度であり、前記第１角度および所定の目標角度に基づいて前記第１画像に対して回転した第２画像を生成し、該第２画像内の前記処置具が前記所定の基準線に対して成す第２角度が前記所定の目標角度と等しい、制御装置である。
　本発明の他の態様は、内視鏡と、該内視鏡を被検体内で移動させる移動装置と、上記の制御装置と、を備える内視鏡システムである。
　本発明の他の態様は、内視鏡の撮像素子によって撮像され表示装置の表示画面に表示される画像を制御する制御方法であって、前記撮像素子によって撮像された画像である第１画像を取得する工程と、処置具の第１角度を検出し、該第１角度は、前記第１画像内の前記処置具が前記第１画像の平面に対して設定された所定の基準線に対して成す角度である、工程と、前記第１角度および所定の目標角度に基づいて前記第１画像に対して回転した第２画像を生成し、該第２画像内の前記処置具が前記所定の基準線に対して成す第２角度が前記所定の目標角度と等しい、工程と、を含む制御方法である。
　本発明の他の態様は、内視鏡の撮像素子によって撮像され表示装置の表示画面に表示される画像を制御するための制御プログラムであって、前記撮像素子によって撮像された画像である第１画像を取得する工程と、処置具の第１角度を検出し、該第１角度は、前記第１画像内の前記処置具が前記第１画像の平面に対して設定された所定の基準線に対して成す角度である、工程と、前記第１角度および所定の目標角度に基づいて前記第１画像に対して回転した第２画像を生成し、該第２画像内の前記処置具が前記所定の基準線に対して成す第２角度が前記所定の目標角度と等しい、工程と、をプロセッサに実行させる制御プログラムである。
　本発明によれば、術者が処置具から手を放すことなく適切な上下方向の内視鏡画像を提供することができるという効果を奏する。
本発明の第１実施形態に係る内視鏡システムの一例の全体構成図である。 本発明の第１実施形態に係る内視鏡システムの他の例の全体構成図である。 本発明の第１実施形態に係る内視鏡システムの他の例の全体構成図である。 図１Ａから図１Ｃの内視鏡システムのブロック図である。 表示装置の表示画面に表示される内視鏡画像の一例である。 表示装置の表示画面に表示される内視鏡画像の他の例である。 表示装置の表示画面に表示される内視鏡画像の他の例である。 本発明の第１実施形態に係る制御方法のフローチャートである。 第１画像の一例を示す図である。 図５Ａの第１画像に対して回転した第２画像を示す図である。 第１画像の他の例を示す図である。 図６Ａの第１画像に対して回転した第２画像を示す図である。 本発明の第２実施形態に係る内視鏡システムにおいて、制御装置が取得する第３画像の一例を示す図である。 本発明の第２実施形態に係る内視鏡システムにおいて、制御装置が取得する第１画像の一例を示す図である。 図７Ｂの第１画像に対して回転した第２画像を示す図である。 本発明の第２実施形態に係る制御方法のフローチャートである。 本発明の第３実施形態に係る内視鏡システムにおいて、制御装置が取得する第１画像の一例を示す図である。 図９Ａの第１画像に対して回転した第２画像を示す図である。 本発明の第３実施形態に係る制御方法のフローチャートである。 本発明の第４実施形態に係る内視鏡システムにおいて、制御装置が取得する第１画像の一例を示す図である。 本発明の第４実施形態に係る内視鏡システムにおいて、制御装置が取得する第１画像の他の例を示す図である。 図１１Ｂの第１画像に対して回転した第２画像を示す図である。 本発明の第４実施形態に係る制御方法のフローチャートである。 第２回転モードにおいて、制御装置が取得する第１画像の一例を示す図である。 第２回転モードにおいて、制御装置が取得する第１画像の他の例を示す図である。 図１３Ｂの第１画像に対して回転した第４画像を示す図である。
（第１実施形態）
　本発明の第１実施形態に係る制御装置、内視鏡システム、制御方法および制御プログラムについて図面を参照して説明する。
　図１Ａから図１Ｃに示されるように、本実施形態に係る内視鏡システム１０は、内視鏡２および１以上の処置具６を被検体である患者Ｐの体内に挿入し、処置具６を内視鏡２によって観察しながら処置具６で処置部位を処置する手術に使用され、例えば、腹腔鏡下手術に使用される。
　図１Ａの内視鏡システム１０おいて、処置具６は、術者の手に把持され術者によって手動で操作される。図１Ｂおよび図１Ｃの内視鏡システム１０は、処置具６を保持し移動させる移動装置３１と、移動装置３１を制御する制御装置１０１とを備える。処置具６は、図１Ｂに示されるように、移動装置３１のロボットアームの先端に接続されロボットアームと一体であってもよく、ロボットアームとは別体でありロボットアームによって把持されていてもよい。
　図１Ａから図２に示されるように、内視鏡システム１０は、内視鏡２と、内視鏡２を保持し内視鏡２を被検体内で移動させる移動装置３と、内視鏡２と接続され内視鏡２によって撮像された内視鏡画像Ａを処理する内視鏡プロセッサ４と、移動装置３および内視鏡プロセッサ４と接続され移動装置３を制御する制御装置１と、内視鏡プロセッサ４と接続され内視鏡画像Ａを表示する表示装置５とを備える。
　内視鏡２は、例えば硬性鏡であり、撮像素子２ａを有する。撮像素子２ａは、例えば内視鏡２の先端部に設けられた３次元カメラであり、処置具６の先端６ａを含むステレオ画像を内視鏡画像Ａ（図３Ａから図３Ｂ参照。）として撮像する。撮像素子２ａは、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどのイメージセンサであり、所定領域から受光した光を光電変換により電気信号に変換することで、所定領域の画像を生成する。内視鏡画像Ｅであるステレオ画像は、視差を有する２つの画像を内視鏡プロセッサ４等によって画像処理することで生成される。処置具６は、長尺のシャフト６ｂを有する。処置具６は、シャフト６ｂの先端に接続されたエンドエフェクタ６ｃをさらに有していてもよい。
　内視鏡画像Ａは、内視鏡２から内視鏡プロセッサ４に送信され、内視鏡プロセッサ４において必要な処理が施され、内視鏡プロセッサ４から表示装置５に送信され、表示装置５の表示画面５ａに表示される。表示装置５は、液晶ディスプレイ、有機ＥＬディスプレイ等の任意のディスプレイである。術者は、表示画面５ａに表示される内視鏡画像Ａを観察しながら体内に挿入された処置具６を操作する。表示装置５は、スピーカ等の音声装置を備えていてもよい。
　表示装置５以外に、ユーザによって使用され制御装置１および内視鏡プロセッサ４と通信ネットワークを通じて通信する端末が設けられ、端末に内視鏡画像Ｅが表示されてもよい。端末は、特に限定しないが、ノート型コンピュータ、ラップトップ型コンピュータ、タブレット型コンピュータまたはスマートフォンなどである。
　移動装置３は、内視鏡２を保持し内視鏡２の位置および姿勢を３次元的に制御するロボットアーム３ａ（電動スコープホルダを含む）を備える。図１Ａから図１Ｃの移動装置３は、複数の関節３ｂを有するロボットアーム３ａを備え、関節３ｂの動作によって、内視鏡２を移動させ内視鏡２の位置および姿勢を３次元的に変更することができる。移動装置３は、内視鏡２を視軸（光軸）回りに回転させる機構をさらに備えていてもよい。
　図２に示されるように、制御装置１は、中央演算処理装置のような少なくとも１つのプロセッサ１ａと、メモリ１ｂと、記憶部１ｃと、入力インタフェース１ｄと、出力インタフェース１ｅと、ユーザインタフェース１ｆとを備える。制御装置１は、例えば、デスクトップ型コンピュータ、タブレット型コンピュータ、ラップトップ型コンピュータ、スマートフォンまたは携帯電話などでよい。
　記憶部１ｃは、ハードディスクまたはフラッシュメモリ等の半導体メモリを含む不揮発性の記録媒体であり、追従制御プログラム（図示略）および画像制御プログラム（制御プログラム）１ｇを含む各種のプログラムと、プロセッサ１ａの処理に必要なデータとを記憶している。プロセッサ１ａが実行する後述の処理の一部は、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、およびＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）など専用の論理回路やハードウェア等によって実現されてもよい。
　記憶部１ｃは、制御装置１に内蔵された記録媒体に代えて、通信インタフェースを備えた制御装置１と通信ネットワークを経由して接続された、クラウドサーバのようなサーバであってもよい。通信ネットワークは、例えば、インターネットなどの公衆回線、専用回線、または、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）であってもよい。各種装置の接続は、有線接続および無線接続のいずれであってもよい。
　制御装置１が備える上記少なくとも１つのプロセッサ１ａ、メモリ１ｂ、記憶部１ｃ、入力インタフェース１ｄ、出力インタフェース１ｅおよびユーザインタフェース１ｆのいずれかの構成は、内視鏡プロセッサ４および制御装置１とは別に、ユーザが使用する端末にさらに備えられていてもよい。また、制御装置１は、移動装置３と一体であってもよい。
　プロセッサ１ａは、メモリ１ｂに読み込まれた追従制御プログラム（図示略）に従って処理を実行することによって、追従対象である処置具６に内視鏡２を追従させる制御を実行する。具体的には、プロセッサ１ａは、処置具６の先端６ａの３次元位置を内視鏡画像Ａから取得し、先端６ａの３次元位置と内視鏡２の視野内に設定された所定の目標点の３次元位置とに基づいて移動装置３を制御する。目標点は、例えば、内視鏡２の先端から光軸に平行な方向に所定の距離だけ離れた光軸上の点であり、内視鏡画像Ａの中心点Ｃに対応する。これにより、制御装置１は、内視鏡２の移動を制御し、目標点が先端６ａに配置されるように処置具６に内視鏡２を自動的に追従させる。
　また、プロセッサ１ａは、回転モードで動作可能に構成される。図３Ａから図３Ｃに示されるように、回転モードにおいて、プロセッサ１ａは、メモリ１ｂに読み込まれた画像制御プログラム１ｇに従って処理を実行することによって、表示画面５ａに表示される内視鏡画像Ａの回転角を制御し、表示画面５ａ上での処置具６の角度θが所定の目標角度θｔとなるように内視鏡画像Ａの上下方向を調整する。図３Ａから図３Ｃは、処置具６の位置が相互に相違し、処置具６の角度θおよび上下方向が相互に同一である内視鏡画像Ａの例を示している。図３Ａから図３Ｃにおいて、符号Ｌｈは、表示画面５ａの横方向（左右方向）に延びる水平線であり、符号Ｌｖは、表示画面５ａの縦方向（上下方向）に延びる垂直線である。
　入力インタフェース１ｄおよび出力インタフェース１ｅは内視鏡プロセッサ４と接続されている。制御装置１は、内視鏡２から内視鏡プロセッサ４を経由して内視鏡画像Ａを取得することができ、内視鏡画像Ａを内視鏡プロセッサ４を経由して表示装置５に出力することができる。制御装置１が内視鏡２から内視鏡画像Ａを直接取得し、内視鏡画像Ａを表示装置５に直接出力することができるように、入力インタフェース１ｄは内視鏡２と直接接続され、出力インタフェース１ｅは表示装置５と直接接続されていてもよい。
　ユーザインタフェース１ｆは、術者等のユーザがユーザインタフェース１ｆに入力を行うための、マウス、ボタン、キーボードおよびタッチパネル等の入力デバイスを有し、ユーザからの入力を受け付ける。
　また、ユーザインタフェース１ｆは、ユーザが回転モードをＯＮ／ＯＦＦするための手段、例えばスイッチを有する。制御装置１の起動時、スイッチはＯＦＦに初期設定される。その後、ユーザによってスイッチがＯＮにされると、ユーザインタフェース１ｆは、回転モードのＯＮの入力を受け付ける。また、ユーザによってスイッチがＯＦＦにされると、ユーザインタフェース１ｆは、回転モードのＯＦＦの入力を受け付ける。
　術者が内視鏡画像Ａを観察しながら処置具６を適切に操作するためには、表示画面５ａに表示される内視鏡画像Ａの上下方向（内視鏡画像Ａ内における処置具６および生体組織等の被写体の向き）が適切であることが術者にとって重要である。例えば、術者が右手で操作する処置具６は、内視鏡画像Ａの右側から約３０°の角度で突出することが、術者にとって望ましい。しかし、手術中、術者が処置具６を移動させることによって、または、処置具６に追従する内視鏡２の姿勢が変化することによって、内視鏡画像Ａ内の処置具６の角度θが変化する。術者等のユーザは、内視鏡画像Ａ内の処置具６を表示画面５ａ上に目標角度θｔで表示させたいとき、スイッチをＯＮにすることによって回転モードを開始させることができる。
　次に、回転モードにおいてプロセッサ１ａが実行する制御方法について説明する。
　図４に示されるように、本実施形態に係る制御方法は、回転モードのＯＮの入力を受け付けるステップＳ１と、第１画像Ａ１を取得するステップＳ２と、第１画像Ａ１内の処置具６の第１角度θ１を検出するステップＳ３と、第１角度θ１および所定の目標角度θｔに基づき第１画像Ａ１に対して回転した第２画像Ａ２を生成するステップＳ４～Ｓ６と、第２画像Ａ２を表示画面５ａに表示するステップＳ７と、回転モードのＯＦＦの入力を受け付けるステップＳ８と、を含む。
　ユーザインタフェース１ｆが回転モードのＯＮの入力を受け付けると（ステップＳ１のＹＥＳ）、プロセッサ１ａは、図５Ａおよび図６Ａに示されるように、最新の内視鏡画像Ａである第１画像Ａ１を内視鏡２から取得する（ステップＳ２）。第１画像Ａ１の上、下、左および右は、表示画面５ａの上、下、左および右とそれぞれ対応する。
　次に、プロセッサ１ａは、第１画像Ａ１内の処置具６およびシャフト６ｂを認識し、処置具６の第１角度θ１を検出する（ステップＳ３）。処置具６およびシャフト６ｂの認識には、例えば深層学習を使用した公知の画像認識技術が使用される。第１角度θ１は、シャフト６ｂの長手軸Ｂが所定の基準線Ｌに対して成す角度である。
　所定の基準線Ｌは、第１画像Ａ１の平面に対して設定され第１画像Ａ１における水平線に対して所定の角度をなす直線であり、第１画像Ａに対して固定されている。本実施形態において、基準線Ｌは、第１画像Ａ１の中心点Ｃを通る水平線であり、表示画面５ａの水平線Ｌｈと対応する。
　次に、プロセッサ１ａは、第１角度θ１を所定の目標角度θｔと比較する（ステップＳ４）。目標角度θｔは、例えば、術者が自身の好み等に応じて事前に決定した値、手術の症例（例えば、手術部位）毎に設定された固定値、または、処置具６毎に設定された固定値である。目標角度θｔは、例えば記憶部１ｃに予め記憶されている。
　第１角度θ１が目標角度θｔと等しい場合（ステップＳ４のＹＥＳ）、プロセッサ１ａは、ステップＳ５～Ｓ７を実行せず、ステップＳ２に戻る。この場合、プロセッサ１ａは、第１画像Ａ１を表示装置５に出力し表示画面５ａに表示させる。
　第１角度θ１が目標角度θｔとは異なる場合（ステップＳ４のＮＯ）、次に、プロセッサ１ａは、第１角度θ１と目標角度θｔとの差分Δθを算出する（ステップＳ５）。
　次に、図５Ｂおよび図６Ｂに示されるように、プロセッサ１ａは、第１画像Ａ１に対して差分Δθだけ回転した内視鏡画像Ａである第２画像Ａ２を生成する（ステップＳ６）。第２画像Ａ２は、第１画像Ａ１に対して、差分Δθだけ当該差分Δθを無くす方向（図５Ｂおよび図６Ｂの場合、時計方向）に所定の回転軸線Ｄ回りに回転した画像である。したがって、第２画像Ａ２内のシャフト６ｂの長手軸Ｂが基準線Ｌに対して成す第２角度θ２は目標角度θｔに等しくなる。回転軸線Ｄは、第１画像Ａ１の中心点Ｃを通り、内視鏡２の光軸に平行（すなわち、第１画像Ａ１の平面に垂直）な軸線である。
　図５Ａおよび図５Ｂは、先端６ａが中心点Ｃに配置されている場合の第１画像Ａ１および第２画像Ａ２をそれぞれ示している。図６Ａおよび図６Ｂは、先端６ａが中心点Ｃからずれた位置に配置されている場合の第１画像Ａ１および第２画像Ａ２をそれぞれ示している。
　ステップＳ６の一例において、プロセッサ１ａは、撮像素子２ａを差分Δθだけ光軸回りに回転させることによって第２画像Ａ２を生成する。すなわち、第１画像Ａ１に対して差分Δθだけ回転した内視鏡画像Ａである第２画像Ａ２が撮像素子２ａによって撮像される。
　ステップＳ６の他の例において、プロセッサ１ａは、第１画像Ａ１を画像処理によって差分Δθだけ回転させることで、第２画像Ａ２を生成する。
　ステップＳ６の他の例において、プロセッサ１ａは、移動装置３の先端に設けられた回転機構によって内視鏡２を回転させることにより、第２画像Ａ２を生成する。
　次に、プロセッサ１ａは、生成された第２画像Ａ２を表示装置５に出力し表示画面５ａに表示させる（ステップＳ７）。表示画面５ａに表示された第２画像Ａ２内の処置具６は、表示画面５ａの水平線Ｌｈに対して目標角度θｔを成す。
　ステップＳ８においてユーザインタフェース１ｆが回転モードのＯＦＦの入力を受け付けるまで、プロセッサ１ａは、ステップＳ２の第１画像Ａ１の取得を定期的に実行し、新たな第１画像Ａを取得する度にステップＳ３～Ｓ７を実行する。これにより、回転モードが実行されている間、ステップＳ２～Ｓ７が繰り返され、表示画面５ａ上の処置具６の角度θは目標角度θｔに維持される。
　以上説明したように、本実施形態によれば、内視鏡２によって撮像された内視鏡画像Ａである第１画像Ａ１内の処置具６の第１角度θ１が所定の目標角度θｔと等しいときは、第１画像Ａ１が表示画面５ａに表示される。一方、第１角度θ１が所定の目標角度θｔと異なるときは、第１画像Ａ１に対して回転し処置具６の第２角度θ２が目標角度θｔと等しい第２画像Ａ２が自動的に生成され、第１画像Ａ１に代えて第２画像Ａ２が表示画面５ａに表示される。
　このように、表示画面５ａ上の処置具６の角度θが目標角度θｔとなるように、表示画面５ａに表示される内視鏡画像Ａ１，Ａ２の上下方向がプロセッサ１ａによって自動制御される。したがって、処置具６を操作中の術者は、内視鏡画像Ａの上下方向の調整のために内視鏡２を手動で操作する必要がない。すなわち、術者が処置具６から手を放すことなく、術者が処置を行い易い適切な上下方向の内視鏡画像Ａ１，Ａ２を提供することができる。
（第２実施形態）
　次に、本発明の第２実施形態に係る制御装置、内視鏡システム、制御方法および制御プログラムについて図面を参照して説明する。
　図７Ａおよび図７Ｂに示されるように、本実施形態は、ユーザが、内視鏡画像Ａ内の処置具６の角度を利用して、目標角度θｔと、第１画像Ａ１に対する第２画像Ａ２の回転角度Δθとを設定する点において、第１実施形態と相違する。本実施形態においては、第１実施形態と異なる構成について説明し、第１実施形態と共通する構成については同一の符号を付して説明を省略する。
　第１実施形態と同様、本実施形態に係る内視鏡システム１０は、制御装置１、内視鏡２、移動装置３、内視鏡プロセッサ４および表示装置５を備える。
　ユーザインタフェース１ｆは、ユーザからの第１トリガおよび第２トリガの入力を受け付けることができるように構成されている。例えば、ユーザインタフェース１ｆは、ユーザが第１トリガを入力するための第１スイッチと、ユーザが第２トリガを入力するための第２スイッチとを有する。
　本実施形態の回転モードにおいて、プロセッサ１ａは、図８に示される制御方法を実行する。
　本実施形態に係る制御方法は、ステップＳ１と、第１トリガを受け付けるステップＳ１１と、第３画像Ａ３を取得するステップＳ１２と、第３画像Ａ３内の処置具６の第３角度θ３を検出するステップＳ１３と、目標角度θｔを第３角度θ３に設定するステップＳ１４と、第２トリガを受け付けるステップＳ１５と、ステップＳ２，Ｓ３，Ｓ５～Ｓ８と、を含む。
　ユーザインタフェース１ｆが回転モードのＯＮの入力を受け付けると（ステップＳ１のＹＥＳ）、プロセッサ１ａは、ユーザインタフェース１ｆが第１トリガを受け付けるのを待つ（ステップＳ１１）。図７Ａに示されるように、術者は、処置具６を移動させることによって、表示画面５ａに表示される内視鏡画像Ａ内の処置具６を所望の角度θ３に配置し、第１トリガをユーザインタフェース１ｆに入力する。
　次に、ユーザインタフェース１ｆが第１トリガを受け付けたことに応答し（ステップＳ１１のＹＥＳ）、プロセッサ１ａは、最新の内視鏡画像Ａである第３画像Ａ３を内視鏡２から取得する（ステップＳ１２）。
　次に、プロセッサ１ａは、ステップＳ３と同じ方法によって、第３画像Ａ３内の処置具６の第３角度θ３を検出する（ステップＳ１３）。第３角度θ３は、第１角度θ１と同様、シャフト６ｂの長手軸Ｂが所定の基準線Ｌに対して成す角度である。
　次に、プロセッサ１ａは、目標角度θｔを第３角度θ３に設定する（ステップＳ１４）。
　次に、プロセッサ１ａは、ユーザインタフェース１ｆが第２トリガを受け付けるのを待つ（ステップＳ１５）。図７Ｂに示されるように、術者は、処置具６を移動させることによって、表示画面５ａに表示される内視鏡画像Ａ内の処置具６の角度を第３角度θ３から所望の角度Δθだけ変化させ、第２トリガをユーザインタフェース１ｆに入力する。
　次に、ユーザインタフェース１ｆが第２トリガを受け付けたことに応答し（ステップＳ１５のＹＥＳ）、プロセッサ１ａは、最新の内視鏡画像Ａである第１画像を取得し（ステップＳ２）、第１画像Ａ１内の処置具６の第１角度θ１を検出する（ステップＳ３）。
　次に、プロセッサ１ａは、第１角度θ１と目標角度θｔとの差分Δθを算出し（ステップＳ５）、図７Ｃに示されるように、第１画像Ａ１に対して差分Δθだけ回転した内視鏡画像Ａである第２画像Ａ２を生成する（ステップＳ６）。第２画像Ａ２は、処置具６の背後に存在する生体組織Ｅ等の背景が、第３画像Ａ３に対してユーザが所望する角度Δθだけ回転した内視鏡画像Ａであり、第２画像Ａ２内の処置具６の第２角度θ２は、第３画像Ａ３内の処置具６の第３角度θ３である目標角度θｔに等しくなる。
　その後、第１実施形態と同様に、ステップＳ２～Ｓ７が繰り返されることによって、表示画面５ａ上の処置具６の角度θは目標角度θｔに維持される。
　以上説明したように、本実施形態によれば、術者は、内視鏡画像Ａ内の処置具６を利用して、目標角度θｔおよび差分Δθの各々を所望の値に設定することができる。そして、術者は、処置具６の背景を所望の角度Δθだけ回転させ、背景の向きを適切に調整することができる。例えば、図７Ａに示されるように、生体組織Ｅが内視鏡画像Ａ内において斜めに横たわる場合、図７Ｃに示されるように、生体組織Ｅが処置に適した水平方向に横たわるように、表示画面５ａに表示される内視鏡画像Ａの上下方向を調整することができる。したがって、本実施形態の回転モードは、表示画面５ａに表示される内視鏡画像Ａ内の背景の角度を調整するのに有効である。
　さらに、目標角度θｔおよび差分Δθが設定された後、第１実施形態と同様に、表示画面５ａ上の処置具６の角度θが目標角度θｔとなるように、表示画面５ａに表示される内視鏡画像Ａ１，Ａ２の上下方向がプロセッサ１ａによって自動制御される。これにより、術者が処置具６から手を放すことなく、術者が処置を行い易い適切な上下方向の内視鏡画像Ａ１，Ａ２を提供することができる。
（第３実施形態）
　次に、本発明の第３実施形態に係る制御装置、内視鏡システム、制御方法および制御プログラムについて図面を参照して説明する。
　図９Ａおよび図９Ｂに示されるように、本実施形態は、処置具６の角度θが先端６ａの偏角である点において、第１実施形態と相違する。本実施形態においては、第１実施形態と異なる構成について説明し、第１実施形態と共通する構成については同一の符号を付して説明を省略する。
　第１実施形態と同様、本実施形態に係る内視鏡システム１０は、制御装置１、内視鏡２、移動装置３、内視鏡プロセッサ４および表示装置５を備える。
　本実施形態の回転モードにおいて、プロセッサ１ａは、処置具６の先端６ａが表示画面５ａの中心を通る所定の水平線Ｌｈ上に配置されるように、表示画面５ａに表示される内視鏡画像Ａの回転角度を制御する。具体的には、プロセッサ１ａは、図１０に示される制御方法を実行する。
　本実施形態に係る制御方法は、ステップＳ１，Ｓ２と、処置具６の先端６ａが所定の基準線Ｌ上に配置されているか否かを判断するステップＳ２１と、ステップＳ３，Ｓ６～Ｓ８と、を含む。
　第１実施形態と同様に、ユーザインタフェース１ｆが回転モードのＯＮの入力を受け付けたことに応答し（ステップＳ１のＹＥＳ）、プロセッサ１ａは第１画像Ａ１を取得する（ステップＳ２）。
　次に、プロセッサ１ａは、第１画像Ａ１内の処置具６を認識し、処置具６の先端６ａが所定の基準線Ｌ上に配置されているかを判断する（ステップＳ２１）。所定の基準線Ｌは、第１画像Ａ１の中心点Ｃを通る水平線であり、表示画面５ａの中心点を通る所定の水平線Ｌｈと対応する。
　先端６ａが基準線Ｌ上に配置されている場合（ステップＳ２１のＹＥＳ）、プロセッサ１ａは、ステップＳ３，Ｓ６～Ｓ８を実行せず、ステップＳ２に戻る。この場合、プロセッサ１ａは、第１画像Ａ１を表示装置５に出力し表示画面５ａに表示させる。
　図９Ａに示されるように、先端６ａが基準線Ｌ上に配置されていない場合（ステップＳ２１のＮＯ）、次に、プロセッサ１ａは、第１画像Ａ１内の処置具６の第１角度θ１を検出する。第１角度θ１は、中心点Ｃと先端６ａとを結ぶ線分Ｆが基準線Ｌに対して成す角度である。
　次に、プロセッサ１ａは、第１画像Ａ１に対して第１角度θ１だけ回転した内視鏡画像Ａである第２画像Ａ２を生成する（ステップＳ６）。すなわち、本実施形態において、目標角度θｔは０°である。第２画像Ａ２内において、先端６ａの偏角（第２角度）は０°であり、先端６ａは所定の基準線Ｌ上に配置される。
　その後、ステップＳ２，Ｓ２１，Ｓ３，Ｓ６，Ｓ７が繰り返されることによって、表示画面５ａ上の処置具６の角度θは０°に維持され、処置具６の先端６ａは水平線Ｌｈ上に維持される。
　以上説明したように、本実施形態によれば、内視鏡２によって撮像された内視鏡画像Ａである第１画像Ａ１内の処置具６の先端６ａが基準線Ｌ上に配置されているときは、第１画像Ａ１が表示画面５ａに表示される。一方、先端６ａが基準線Ｌ上に配置されていないときは、第１画像Ａ１に対して回転し先端６ａが基準線Ｌ上に配置された第２画像Ａ２が自動的に生成され、第１画像Ａ１に代えて第２画像Ａ２が表示画面５ａに表示される。
　このように、表示画面５ａ上の処置具６の先端６ａが所定の水平線Ｌｈ上に配置されるように、表示画面５ａに表示される内視鏡画像Ａ１，Ａ２の上下方向がプロセッサ１ａによって自動制御される。したがって、処置具６を操作中の術者は、内視鏡画像Ａの上下方向の調整のために内視鏡２を手動で操作する必要がない。すなわち、術者が処置具６から手を放すことなく、術者が処置を行い易い適切な上下方向の内視鏡画像Ａ１，Ａ２を提供することができる。
　本実施形態において、所定の基準線Ｌが中心点Ｃを通る水平線であることとしたが、所定の基準線Ｌの向きおよび位置は適宜変更可能である。
　例えば、表示画面５ａの中心点を通る鉛直線Ｌｖ上に先端６ａを配置したい場合、所定の基準線Ｌは、中心点Ｃを通る鉛直線であってもよい。または、表示画面５ａの中心点を通る斜めの直線上に先端６ａを配置したい場合、所定の基準線Ｌは、中心点Ｃを通る斜めの直線であってもよい。
（第４実施形態）
　次に、本発明の第４実施形態に係る制御装置、内視鏡システム、制御方法および制御プログラムについて図面を参照して説明する。
　本実施形態は、図１１Ａから図１１Ｃに示されるように、第１画像Ａ１内の処置具６の第１角度θ１の目標角度θｔからのずれ量が所定の閾値Ｘを超えたときに第２画像Ａ２の生成を実行する点において、第１実施形態と相違する。本実施形態においては、第１実施形態と異なる構成について説明し、第１実施形態と共通する構成については同一の符号を付して説明を省略する。
　第１実施形態と同様、本実施形態に係る内視鏡システム１０は、制御装置１、内視鏡２、移動装置３、内視鏡プロセッサ４および表示装置５を備える。
　本実施形態において、制御装置１が移動装置３を制御している間、プロセッサ１ａは、常に回転モードで動作し、図１２に示される制御方法を実行する。
　本実施形態に係る制御方法は、ステップＳ２，Ｓ３と、第１角度θ１と目標角度θｔとの差分の絶対値が所定の閾値以下であるか否かを判断するステップＳ３１と、ステップＳ５～Ｓ７と、を含む。
　プロセッサ１ａは、最新の内視鏡画像Ａである第１画像Ａ１を内視鏡２から取得し（ステップＳ２）、第１画像Ａ１内の処置具６の第１角度θ１を検出する（ステップＳ３）。
　次に、プロセッサ１ａは、第１角度θ１が目標角度θｔ±Ｘの範囲内であるか否かを判断する（ステップＳ３１）。
　図１１Ａに示されるように、第１角度θ１が目標角度θｔ±Ｘの範囲内である場合（ステップＳ３１のＹＥＳ）、すなわち角度θ１，θｔ間の差の絶対値が閾値Ｘ以下である場合、プロセッサ１ａは、ステップＳ５～Ｓ７を実行せず、ステップＳ２に戻る。この場合、プロセッサ１ａは、第１画像Ａ１を表示装置５に出力し表示画面５ａに表示させる。
　図１１Ｂに示されるように、第１角度θ１が目標角度θｔ±Ｘの範囲外である場合（ステップＳ３１のＮＯ）、すなわち角度θ１，θｔ間の差の絶対値が閾値Ｘよりも大きい場合、次に、プロセッサ１ａは、第１角度θ１と目標角度θｔとの差分Δθを算出し（ステップＳ５）、第１画像Ａ１に対して差分Δθだけ回転した内視鏡画像Ａである第２画像Ａ２を生成する（ステップＳ６）。
　第１実施形態と同様、ステップＳ２～Ｓ７が繰り返されることによって、第１角度θ１が目標角度θｔ±Ｘの範囲から外れる度に、表示画面５ａに表示される内視鏡画像Ａが回転し、表示画面５ａ上の処置具６の角度は目標角度θｔを含む所定の範囲内に維持される。
　以上説明したように、本実施形態によれば、内視鏡２によって撮像された内視鏡画像Ａである第１画像Ａ１内の処置具６の第１角度θ１が目標角度θｔ±Ｘの範囲内であるときは、第１画像Ａ１が表示画面５ａに表示される。一方、第１角度θ１が目標角度θｔ±Ｘの範囲から外れたときは、第１画像Ａ１に対して回転し処置具６の第２角度θ２が目標角度θｔと等しい第２画像Ａ２が自動的に生成され、第１画像Ａ１に代えて第２画像Ａ２が表示画面５ａに表示される。
　このように、表示画面５ａ上の処置具６の角度が目標角度θｔ±Ｘの範囲内となるように、表示画面５ａに表示される内視鏡画像Ａ１，Ａ２の上下方向がプロセッサ１ａによって自動制御される。したがって、処置具６を操作中の術者は、内視鏡画像Ａの上下方向の調整のために内視鏡２を手動で操作する必要がない。すなわち、術者が処置具６から手を放すことなく、術者が処置を行い易い適切な上下方向の内視鏡画像Ａ１，Ａ２を提供することができる。
　本実施形態においても、第１から第３実施形態と同様に、制御方法がステップＳ１，Ｓ８を含み、プロセッサ１ａが、ユーザインタフェース１ｆへの回転モードのＯＮおよびＯＦＦの入力に応答して、回転モードを開始および終了してもよい。
　上記各実施形態において、所定の基準線Ｌが、第１画像Ａ１の水平線であることとしたが、所定の基準線Ｌはこれに限定されるものではなく、任意の方向に延びる線を基準線Ｌに設定することができる。
　例えば、所定の基準線Ｌは、第１画像Ａ１の縦方向（上下方向）に延びる垂直線であってもよく、または、第１画像Ａ１の斜め方向に延びる線であってもよい。
　上記各実施形態において、プロセッサ１ａが、第１画像Ａ１の中心点Ｃを通り光軸に平行な回転軸線Ｄ回りに回転した第２画像Ａ２を生成することとしたが、回転軸線Ｄの方向および位置は、ユーザの要求等に応じて適宜変更可能である。すなわち、回転軸線Ｄは、光軸に対して傾斜していてもよく、中心点Ｃからずれた位置を通ってもよい。
　上記各実施形態において、プロセッサ１ａが、第１画像Ａ１内の処置具６の第１角度θ１に基づき第２画像Ａ２を生成する第１回転モードと、第１画像Ａ１内の解剖学的特徴に基づき第４画像Ａ４を生成する第２回転モードのいずれかで動作可能に構成されていてもよい。プロセッサ１ａは、ユーザインタフェース１ｆが回転モードのＯＦＦの入力を受け付けたことに応答し、第２回転モードを実行する。
　第１回転モードにおいて、プロセッサ１ａは、第１から第４実施形態の制御方法のいずれかを実行する。
　図１３Ａおよび図１３Ｂに示されるように、被検体内での内視鏡２の移動に伴って、表示画面５ａに表示される内視鏡画像Ａ内の生体組織の解剖学的特徴Ｇの角度が変化する。解剖学的特徴Ｇの角度は、内視鏡画像Ａの中心点Ｃ回りの回転角である。第２回転モードは、内視鏡画像Ａ内の解剖学的特徴Ｇを所定の目標角度θｓで表示画面５ａに表示するモードであり、例えば処置具６によって処置部位を処置する前および後等、処置部位の処置以外の場面で使用される。
　記憶部１ｃには、解剖学的特徴Ｇの種類毎に、内視鏡画像Ａ内での解剖学的特徴Ｇの所定の目標角度θｓが記憶されている。第２回転モードにおいて、プロセッサ１ａは、内視鏡２から第１画像Ａ１を取得し、第１画像Ａ１内の生体組織の解剖学的特徴Ｇを検出し、解剖学的特徴Ｇの種類を認識する。次に、図１３Ｃに示されるように、プロセッサ１ａは、第１画像Ａ１内の解剖学的特徴Ｇの角度と、記憶部１ｃに記憶されている解剖学的特徴Ｇの種類の目標角度θｓとに基づき、第１画像Ａ１に対して回転し解剖学的特徴Ｇの角度が目標角度θｓと等しい第４画像Ａ４を生成する。例えば、解剖学的特徴Ｇが大動脈である場合、目標角度θｓは大動脈が内視鏡画像Ａの下側において水平に配置される角度である。
　表示画面５ａに表示される内視鏡画像Ａの上下方向が変化すると、臓器の配置や生体組織の見え方は変化する。したがって、術者が内視鏡画像Ａ内の臓器や生体組織を容易に認識するためには、表示画面５ａに表示される内視鏡画像Ａの上下方向が適切であることが重要である。第１回転モードがＯＦＦであるときにプロセッサ１ａが第２回転モードにおいて表示画面５ａに表示される内視鏡画像Ａの上下方向を制御することによって、表示画面５ａに表示される内視鏡画像Ａの上下方向を適切に調整し、生体組織の解剖学的特徴Ｇを所定の目標角度θｓで表示画面５ａ上に表示することができる。
　上記第１から第４実施形態は、適宜組み合わせて実施されてもよい。例えば、プロセッサ１ａは、第１から第４実施形態において説明した４種類の回転モードで動作可能であってもよい。この場合、ユーザが、４種類の中から選択した回転モードをユーザインタフェース１ｆに入力し、プロセッサ１ａが、入力された回転モードを実行してもよい。
１　制御装置
１ａ　プロセッサ
１ｃ　記憶部
１ｆ　ユーザインタフェース
１ｇ　制御プログラム
２　内視鏡
３　移動装置
５　表示装置
５ａ　表示画面
６　処置具
６ｂ　シャフト
１０　内視鏡システム
θ１　第１角度
θ２　第２角度
θ３　第３角度
θｔ　目標角度
Δθ　差分
Ａ　内視鏡画像（画像）
Ａ１　内視鏡画像、第１画像
Ａ２　内視鏡画像、第２画像
Ａ３　内視鏡画像、第３画像
Ａ４　内視鏡画像、第４画像
Ｂ　シャフトの長手軸
Ｃ　中心点
Ｄ　回転軸線
Ｇ　解剖学的特徴
Ｌ　基準線
Ｌｈ　水平線

Claims (20)

  1. 　内視鏡の撮像素子によって撮像され表示装置の表示画面に表示される画像を制御する制御装置であって、
    　プロセッサを備え、
    　該プロセッサが、
    　前記撮像素子によって撮像された画像である第１画像を取得し、
    　処置具の第１角度を検出し、該第１角度は、前記第１画像内の前記処置具が前記第１画像の平面に対して設定された所定の基準線に対して成す角度であり、
    　前記第１角度および所定の目標角度に基づいて前記第１画像に対して回転した第２画像を生成し、該第２画像内の前記処置具が前記所定の基準線に対して成す第２角度が前記所定の目標角度と等しい、制御装置。
  2. 　前記プロセッサが、前記撮像素子を回転させることによって前記第２画像を生成する、請求項１に記載の制御装置。
  3. 　前記プロセッサが、前記第１画像を画像処理により回転させることによって前記第２画像を生成する、請求項１に記載の制御装置。
  4. 　前記目標角度が０°である、請求項１に記載の制御装置。
  5. 　前記プロセッサが、前記第１画像を前記内視鏡の光軸と平行な回転軸線回りに回転させる、請求項１に記載の制御装置。
  6. 　前記回転軸線が、前記第１画像の中心点を通る、請求項５に記載の制御装置。
  7. 　前記第１角度は、前記第１画像内の前記処置具のシャフトの長手軸が前記基準線と成す角度であり、
    　前記第２角度は、前記第２画像内の前記処置具のシャフトの長手軸が前記基準線と成す角度である、請求項１に記載の制御装置。
  8. 　前記基準線が、前記第１画像における水平線に対して所定の角度をなす直線であり、前記第１画像に対して固定されている、請求項１に記載の制御装置。
  9. 　前記基準線が、前記表示画面における水平線と対応する前記第１画像における水平線である、請求項１に記載の制御装置。
  10. 　前記基準線が、前記表示画面における垂直線と対応する前記第１画像における垂直線である、請求項１に記載の制御装置。
  11. 　前記プロセッサは、前記第１角度と前記目標角度との差の絶対値が閾値よりも大きいときに、前記第２画像を生成する、請求項１に記載の制御装置。
  12. 　ユーザからのトリガの入力を受け付けるユーザインタフェースをさらに備え、
    　前記プロセッサは、
    　前記ユーザインタフェースが第１トリガを受け付けたことに応答して、前記撮像素子によって取得された画像である第３画像を取得し、
    　前記目標角度を前記第３画像内の前記処置具の第３角度に設定し、該第３角度は、前記第３画像内の前記処置具が前記基準線に対して成す角度である、請求項１に記載の制御装置。
  13. 　前記目標角度を設定した後、
    　前記プロセッサは、前記ユーザインタフェースが第２トリガを受け付けたことに応答して、前記第１画像を取得する、請求項１２に記載の制御装置。
  14. 　前記プロセッサは、前記処置具の先端が前記表示画面における所定の水平線上に配置される前記処置具の角度を前記目標角度に設定する、請求項１に記載の制御装置。
  15. 　前記プロセッサが、回転モードで動作可能であり、
    　該回転モードにおいて、前記プロセッサが、前記第１画像の取得、前記第１角度の検出および前記第２画像の生成を定期的に実行する、請求項１に記載の制御装置。
  16. 　前記回転モードのＯＮ／ＯＦＦの入力を受け付けるユーザインタフェースをさらに備える請求項１５に記載の制御装置。
  17. 　解剖学的特徴の種類毎に、前記解剖学的特徴の前記所定の目標角度を記憶する記憶部をさらに備え、
    　前記ユーザインタフェースが前記回転モードのＯＦＦの入力を受け付けた場合、
    　前記プロセッサが、
    　前記第１画像内の前記解剖学的特徴の種類を認識し、
    　前記記憶部に記憶されている認識された前記種類の前記所定の目標角度に基づき、前記第１画像に対して回転した第４画像を生成する、請求項１６に記載の制御装置。
  18. 　内視鏡と、
    　該内視鏡を被検体内で移動させる移動装置と、
    　請求項１から請求項１７のいずれかに記載の制御装置と、を備える内視鏡システム。
  19. 　内視鏡の撮像素子によって撮像され表示装置の表示画面に表示される画像を制御する制御方法であって、
    　前記撮像素子によって撮像された画像である第１画像を取得する工程と、
    　処置具の第１角度を検出し、該第１角度は、前記第１画像内の前記処置具が前記第１画像の平面に対して設定された所定の基準線に対して成す角度である、工程と、
    　前記第１角度および所定の目標角度に基づいて前記第１画像に対して回転した第２画像を生成し、該第２画像内の前記処置具が前記所定の基準線に対して成す第２角度が前記所定の目標角度と等しい、工程と、を含む制御方法。
  20. 　内視鏡の撮像素子によって撮像され表示装置の表示画面に表示される画像を制御するための制御プログラムであって、
    　前記撮像素子によって撮像された画像である第１画像を取得する工程と、
    　処置具の第１角度を検出し、該第１角度は、前記第１画像内の前記処置具が前記第１画像の平面に対して設定された所定の基準線に対して成す角度である、工程と、
    　前記第１角度および所定の目標角度に基づいて前記第１画像に対して回転した第２画像を生成し、該第２画像内の前記処置具が前記所定の基準線に対して成す第２角度が前記所定の目標角度と等しい、工程と、をプロセッサに実行させる制御プログラム。
PCT/JP2021/033209 2020-09-10 2021-09-09 制御装置、内視鏡システム、制御方法および制御プログラム WO2022054883A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/105,314 US20230180996A1 (en) 2020-09-10 2023-02-03 Controller, endoscope system, control method, and control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063076408P 2020-09-10 2020-09-10
US63/076,408 2020-09-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/105,314 Continuation US20230180996A1 (en) 2020-09-10 2023-02-03 Controller, endoscope system, control method, and control program

Publications (1)

Publication Number Publication Date
WO2022054883A1 true WO2022054883A1 (ja) 2022-03-17

Family

ID=80629721

Family Applications (4)

Application Number Title Priority Date Filing Date
PCT/JP2021/027564 WO2022054428A1 (ja) 2020-09-10 2021-07-26 医療システムおよび制御方法
PCT/JP2021/033210 WO2022054884A1 (ja) 2020-09-10 2021-09-09 内視鏡システム、制御装置、制御方法および記録媒体
PCT/JP2021/033205 WO2022054882A1 (ja) 2020-09-10 2021-09-09 制御装置、内視鏡システムおよび制御方法
PCT/JP2021/033209 WO2022054883A1 (ja) 2020-09-10 2021-09-09 制御装置、内視鏡システム、制御方法および制御プログラム

Family Applications Before (3)

Application Number Title Priority Date Filing Date
PCT/JP2021/027564 WO2022054428A1 (ja) 2020-09-10 2021-07-26 医療システムおよび制御方法
PCT/JP2021/033210 WO2022054884A1 (ja) 2020-09-10 2021-09-09 内視鏡システム、制御装置、制御方法および記録媒体
PCT/JP2021/033205 WO2022054882A1 (ja) 2020-09-10 2021-09-09 制御装置、内視鏡システムおよび制御方法

Country Status (4)

Country Link
US (4) US20230172675A1 (ja)
JP (3) JPWO2022054428A1 (ja)
CN (3) CN116171122A (ja)
WO (4) WO2022054428A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023195326A1 (ja) * 2022-04-05 2023-10-12 オリンパス株式会社 内視鏡システム、手技支援方法および手技支援プログラム
WO2024009901A1 (ja) * 2022-07-08 2024-01-11 オリンパス株式会社 内視鏡システム、制御方法および制御プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001112704A (ja) * 1999-10-20 2001-04-24 Olympus Optical Co Ltd 内視鏡システム
JP2003088532A (ja) * 2001-09-19 2003-03-25 Olympus Optical Co Ltd 手術装置
JP2003127076A (ja) * 1993-12-28 2003-05-08 Olympus Optical Co Ltd 医療器具
JP2007301378A (ja) * 2006-05-11 2007-11-22 Olympus Medical Systems Corp 治療システム及びトラカール並びに治療システムの制御方法
JP2013192803A (ja) * 2012-03-21 2013-09-30 Hoya Corp 内視鏡システム
WO2018051565A1 (ja) * 2016-09-15 2018-03-22 オリンパス株式会社 超音波内視鏡および超音波内視鏡システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2797830B2 (ja) * 1992-03-31 1998-09-17 日本ビクター株式会社 ビデオカメラにおける被写体追尾方法
JP3348933B2 (ja) * 1993-03-19 2002-11-20 オリンパス光学工業株式会社 電子式内視鏡装置
JP2833425B2 (ja) * 1993-06-30 1998-12-09 日本ビクター株式会社 ビデオカメラにおける被写体追尾装置
JPH0938030A (ja) * 1995-07-28 1997-02-10 Shimadzu Corp 内視鏡装置
JPH09266882A (ja) * 1996-04-02 1997-10-14 Olympus Optical Co Ltd 内視鏡装置
US7037258B2 (en) * 1999-09-24 2006-05-02 Karl Storz Imaging, Inc. Image orientation for endoscopic video displays
JP4331541B2 (ja) * 2003-08-06 2009-09-16 オリンパス株式会社 内視鏡装置
US20050123179A1 (en) * 2003-12-05 2005-06-09 Eastman Kodak Company Method and system for automatic axial rotation correction in vivo images
JP4699040B2 (ja) * 2005-02-15 2011-06-08 パナソニック株式会社 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム
JP4980625B2 (ja) * 2006-02-21 2012-07-18 富士フイルム株式会社 体腔内観察装置
US9439556B2 (en) * 2010-12-10 2016-09-13 Wayne State University Intelligent autonomous camera control for robotics with medical, military, and space applications
TWI517828B (zh) * 2012-06-27 2016-01-21 國立交通大學 影像追蹤系統及其影像追蹤方法
EP3603562B1 (en) * 2017-03-28 2022-06-29 Sony Olympus Medical Solutions Inc. Medical observation apparatus and observation field correction method
WO2018235255A1 (ja) * 2017-06-23 2018-12-27 オリンパス株式会社 医療システムとその作動方法
DE102017219621A1 (de) * 2017-09-22 2019-03-28 Carl Zeiss Meditec Ag Visualisierungssystem mit einem Beobachtungsgerät und einem Endoskop
WO2019116592A1 (ja) * 2017-12-14 2019-06-20 オリンパス株式会社 内視鏡の表示画像の調整装置及び手術システム
JP7151109B2 (ja) * 2018-03-19 2022-10-12 ソニーグループ株式会社 医療用撮像装置及び医療用観察システム
WO2020070883A1 (ja) * 2018-10-05 2020-04-09 オリンパス株式会社 内視鏡システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003127076A (ja) * 1993-12-28 2003-05-08 Olympus Optical Co Ltd 医療器具
JP2001112704A (ja) * 1999-10-20 2001-04-24 Olympus Optical Co Ltd 内視鏡システム
JP2003088532A (ja) * 2001-09-19 2003-03-25 Olympus Optical Co Ltd 手術装置
JP2007301378A (ja) * 2006-05-11 2007-11-22 Olympus Medical Systems Corp 治療システム及びトラカール並びに治療システムの制御方法
JP2013192803A (ja) * 2012-03-21 2013-09-30 Hoya Corp 内視鏡システム
WO2018051565A1 (ja) * 2016-09-15 2018-03-22 オリンパス株式会社 超音波内視鏡および超音波内視鏡システム

Also Published As

Publication number Publication date
US20230172675A1 (en) 2023-06-08
CN115996662A (zh) 2023-04-21
CN116018538A (zh) 2023-04-25
US20230180998A1 (en) 2023-06-15
CN116171122A (zh) 2023-05-26
JPWO2022054428A1 (ja) 2022-03-17
JPWO2022054884A1 (ja) 2022-03-17
US20230180996A1 (en) 2023-06-15
WO2022054884A1 (ja) 2022-03-17
JPWO2022054882A1 (ja) 2022-03-17
US20230180995A1 (en) 2023-06-15
WO2022054882A1 (ja) 2022-03-17
WO2022054428A1 (ja) 2022-03-17

Similar Documents

Publication Publication Date Title
CN110325331B (zh) 医疗支撑臂系统和控制装置
WO2022054883A1 (ja) 制御装置、内視鏡システム、制御方法および制御プログラム
CN110225720B (zh) 手术辅助装置、记录介质、以及手术辅助系统
JP4744595B2 (ja) 内視鏡外科手術器具
KR102358967B1 (ko) 이미징 기기의 방향 제어 시스템 및 방법
JP7081584B2 (ja) 医療用観察システム、制御装置及び制御方法
US20170071457A1 (en) Endoscope and image processing apparatus using the same
US20140288413A1 (en) Surgical robot system and method of controlling the same
WO2020196338A1 (en) Medical arm system, control device, and control method
US10638915B2 (en) System for moving first insertable instrument and second insertable instrument, controller, and computer-readable storage device
JP7480477B2 (ja) 医療用観察システム、制御装置及び制御方法
WO2017145475A1 (ja) 医療用情報処理装置、情報処理方法、医療用情報処理システム
WO2020054566A1 (ja) 医療用観察システム、医療用観察装置及び医療用観察方法
EP3705018A1 (en) Surgical arm system and surgical arm control system
US10743744B2 (en) Endoscope with multidirectional extendible arms and tool with integrated image capture for use therewith
WO2018116582A1 (ja) 制御装置、制御方法、及び医療用観察システム
CN108885335B (zh) 医用立体观察装置、医用立体观察方法以及程序
JPWO2018173681A1 (ja) 医療用システムの制御装置、医療用システムの制御方法及び医療用システム
CN114340469A (zh) 医疗支撑臂和医疗系统
WO2017145606A1 (ja) 画像処理装置、画像処理方法及び内視鏡システム
WO2020196026A1 (ja) 撮影制御装置、撮影制御方法、プログラム、及び、撮影システム
WO2020203405A1 (ja) 医療用観察システムおよび方法、並びに医療用観察装置
US9332242B2 (en) Dual sensor imaging system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21866840

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21866840

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP