WO2023195326A1 - 内視鏡システム、手技支援方法および手技支援プログラム - Google Patents

内視鏡システム、手技支援方法および手技支援プログラム Download PDF

Info

Publication number
WO2023195326A1
WO2023195326A1 PCT/JP2023/010648 JP2023010648W WO2023195326A1 WO 2023195326 A1 WO2023195326 A1 WO 2023195326A1 JP 2023010648 W JP2023010648 W JP 2023010648W WO 2023195326 A1 WO2023195326 A1 WO 2023195326A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical system
imaging optical
endoscope
observation target
procedure
Prior art date
Application number
PCT/JP2023/010648
Other languages
English (en)
French (fr)
Inventor
畠山直也
雅史 原口
雅昭 伊藤
成浩 小島
大地 北口
寛 長谷川
悠貴 古澤
Original Assignee
オリンパス株式会社
国立研究開発法人国立がん研究センター
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社, 国立研究開発法人国立がん研究センター filed Critical オリンパス株式会社
Publication of WO2023195326A1 publication Critical patent/WO2023195326A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor

Definitions

  • the present invention relates to an endoscope system, a procedure support method, and a procedure support program.
  • Patent Documents 1 and 2 Conventionally, techniques for reducing the effort required for manual operations by a surgeon are known (for example, see Patent Documents 1 and 2).
  • the technology described in Patent Document 1 records the angle information of the joints of the holder, and returns the endoscope to its original position by reproducing the angles of the joints of the holder in reverse chronological order based on the angle information. and return to position.
  • the technology described in Patent Document 2 is based on a machine learning model that is trained by using surgical tool image data or anatomical structure images that include surgical procedure status and procedure type, etc. during a surgical procedure. control the functions of energy treatment devices, etc.
  • the present invention has been made in view of the above-mentioned circumstances, and provides the operator with an observation field that corresponds to the treatment process and observation target, thereby reducing the operator's effort and making the treatment smoother.
  • the purpose is to provide an endoscope system, a procedure support method, and a procedure support program that can perform the following tasks.
  • a first aspect of the present invention provides an endoscope that includes an imaging optical system that photographs an observation target, an electric arm that changes the position and posture of the endoscope while supporting the endoscope, and an electric arm that changes the position and posture of the endoscope while supporting the endoscope.
  • a viewing direction changing unit that can change the viewing direction of the mirror, a storage device that stores a plurality of library data for realizing an endoscopic field of view associated with each procedure scene, and at least one processor;
  • the library data includes at least one relative parameter regarding the relative position and orientation of the imaging optical system and the observation target, and the processor stores the library data associated with any of the procedure scenes in the storage device.
  • the endoscope system controls at least one of the visual field direction changing unit and the electric arm based on the library data that is called from the library data.
  • library data for realizing an endoscopic field of view associated with an arbitrary procedure scene is called from the storage device by the operation of the processor. Then, the viewing direction changing unit and the electric arm are controlled based on the retrieved library data.
  • each library data includes relative parameters regarding the relative position and posture of the endoscope's imaging optical system and the observation target, the surgeon can adjust the endoscopic field of view according to both the procedure scene and the observation target. can be provided to Therefore, the operator's effort can be reduced and the treatment can be performed smoothly.
  • the library is associated with the identified procedure scene.
  • the data may be retrieved from the storage device.
  • the visual field direction changing unit and the electric arm are controlled based on the procedure scene specified by image processing by the processor. Therefore, the operator does not need to specify the procedure scene from the image information, which further reduces the operator's effort.
  • the relative parameter is distance information between the imaging optical system and the observation target
  • the processor controls at least one of the visual field direction changing unit and the electric arm. Accordingly, the distance between the imaging optical system and the observation target calculated from the image information acquired by the imaging optical system may be made to match the distance information.
  • the imaging optical system of the endoscope is placed at a preset distance from the observation target depending on both the procedure scene and the observation target. Thereby, the object to be observed can be presented with a desired sense of distance.
  • the relative parameter is orientation information of the imaging optical system with respect to the observation target
  • the processor controls at least one of the visual field direction changing unit and the electric arm.
  • the orientation of the imaging optical system with respect to the observation target calculated from the image information acquired by the imaging optical system may be made to match the orientation information.
  • the imaging optical system of the endoscope is arranged in a preset orientation with respect to the observation target, depending on both the procedure scene and the observation target. Since the posture of the imaging optical system is determined according to the posture of the organ or other tissue to be observed, even if there are individual differences, a preset endoscopic field of view can be more easily and accurately reproduced. Further, even if the posture or orientation of the observed tissue changes due to an assistant's operation of forceps or the like, a preset endoscopic field of view can be easily obtained.
  • the relative parameter is tilt information about the optical axis of the long observation target extending in a direction perpendicular to the optical axis of the imaging optical system
  • the processor An inclination of the elongated observation target around the optical axis of the imaging optical system, which is calculated from image information acquired by the imaging optical system, by controlling at least one of the viewing direction changing unit and the electric arm. may be made to match the slope information.
  • the direction in which the intestines, blood vessels, etc. extend can be arranged in a preset direction with respect to the endoscopic field of view, depending on both the procedure scene and the observation target. Thereby, it is possible to easily obtain an endoscopic field of view that is more responsive to individual differences among patients.
  • the viewing direction changing section may be a curved section that can change the angle of the imaging optical system in the endoscope.
  • the endoscope includes an elongated section in which the imaging optical system is disposed at the distal end, and the library data includes the inclination of the longitudinal axis of the elongated section on base coordinates and the curvature of the curved section. It is also possible to include a parameter related to the orientation of the imaging optical system on the base coordinates, which is determined by the sum of the amount and the amount.
  • the orientations of the imaging optical systems viewed from the base coordinates can be matched.
  • the orientation of the imaging optical system does not change even if the position of the observed tissue changes depending on individual differences or the inclination of the long part of the endoscope changes, making it easy to adjust the preset endoscopic field of view. And it can be reproduced with high accuracy.
  • the endoscope has a lens barrel portion that accommodates the imaging optical system, and the optical axis of the imaging optical system is inclined with respect to the central axis of the lens barrel portion.
  • the viewing direction changing section may change the angle of the lens barrel section around the central axis.
  • the viewing direction of the oblique mirror which has a fixed angle with respect to the central axis of the lens barrel section, changes around the central axis of the lens barrel section, thereby changing the field of view of the oblique mirror.
  • the direction can be switched to diagonally upward or diagonally downward.
  • the viewing direction of the oblique mirror can be directed toward a desired observation target simply by rotating the lens barrel around the central axis. Therefore, even when an oblique scope is used as the endoscope, the observation target specified by the operator can be easily brought into the field of view of the endoscope.
  • the endoscope has a lens barrel portion that accommodates the imaging optical system, and a state in which the central axis of the lens barrel portion and the optical axis of the imaging optical system coincide with each other.
  • a direct viewing mirror arranged in The angle around the rotation axis perpendicular to the central axis may be changed.
  • the viewing direction changing unit changes the viewing direction of the direct mirror by changing the angle around the rotation axis perpendicular to the central axis of the lens barrel in accordance with the change in the position of the observation target on the display screen. The direction is changed to capture the observation target at the changed position on the screen.
  • the viewing direction of the direct scope changes to the direction in which the observation target is captured at the edge of the viewing angle, making it easier to look into the observation target.
  • An angular endoscopic view can be created. Therefore, even when a direct endoscope is used as the endoscope, the observation target designated by the operator can be easily brought into the field of view of the endoscope.
  • the processor may recognize the observation target by processing image information acquired by the imaging optical system.
  • the endoscope system may include an input unit that allows a user to specify the observation target based on image information acquired by the imaging optical system. This configuration allows the operator to select a desired observation target.
  • a second aspect of the present invention is a step of calling, from a storage device, library data associated with an arbitrary procedure scene among a plurality of library data for realizing an endoscopic field of view associated with each procedure scene; based on the retrieved library data, changing at least one of the viewing direction, position, and posture of the endoscope that photographs the observation target, and each of the library data
  • the technique support method includes at least one relative parameter regarding the relative position and posture of the imaging optical system and the observation target.
  • the procedure support method specifies the procedure scene by processing image information acquired by the imaging optical system, and then stores the library data associated with the identified procedure scene in the memory. It may also be called from the device.
  • the relative parameter is distance information between the imaging optical system and the observation target, and at least one of the viewing direction, position, and posture of the endoscope is changed. Accordingly, the distance between the imaging optical system and the observation target calculated from the image information acquired by the imaging optical system may be made to match the distance information.
  • the relative parameter is orientation information of the imaging optical system with respect to the observation target, and by changing at least one of the viewing direction, position, and posture of the endoscope.
  • the orientation of the imaging optical system with respect to the observation target calculated from the image information acquired by the imaging optical system may be made to match the orientation information.
  • the relative parameter is tilt information about the optical axis of the long observation target extending in a direction perpendicular to the optical axis of the imaging optical system, and an inclination of the elongated observation target around the optical axis of the imaging optical system, which is calculated from image information acquired by the imaging optical system by changing at least one of the viewing direction, position, and orientation; may be made to match the slope information.
  • the endoscope includes a curved portion that can change the angle of the imaging optical system, and by changing the angle of the imaging optical system with the curved portion, the endoscope It is also possible to change the viewing direction.
  • the endoscope includes an elongated section in which the imaging optical system is disposed at the distal end, and the library data includes the inclination of the longitudinal axis of the elongated section of the endoscope on the base coordinates and the elongated section. It is also possible to include a parameter related to the orientation of the imaging optical system on the base coordinates, which is determined by the sum of the amount of curvature of the curved portion.
  • the endoscope has a lens barrel portion that accommodates the imaging optical system, and the optical axis of the imaging optical system is inclined with respect to the central axis of the lens barrel portion.
  • the viewing direction of the endoscope may be changed by changing the angle of the lens barrel around the central axis.
  • the endoscope has a lens barrel portion that accommodates the imaging optical system, and the central axis of the lens barrel portion and the optical axis of the imaging optical system are aligned. Rotation perpendicular to the central axis of the lens barrel section in accordance with a change in the position of the observation target on a display screen that displays image information acquired by the imaging optical system.
  • the viewing direction of the endoscope may be changed by changing the angle around the axis.
  • the observation target may be recognized by processing image information acquired by the imaging optical system by a processor.
  • the observation target may be specified by the user based on image information acquired by the imaging optical system.
  • a third aspect of the present invention is a step of calling, from a storage device, library data associated with an arbitrary procedure scene among a plurality of library data for realizing an endoscopic field of view associated with each procedure scene; Based on the retrieved library data, the computer executes a step of changing at least one of the visual field direction, position, and posture of the endoscope that photographs the observation target, and each of the library data.
  • This is a procedure support program that includes at least one relative parameter regarding the relative position and posture of the imaging optical system of the endoscope and the observation target.
  • the procedure support program includes a step of specifying the procedure scene by processing image information acquired by the imaging optical system, and a step of specifying the library data associated with the specified procedure scene.
  • a computer may execute the step of calling from a storage device.
  • the relative parameter is distance information between the imaging optical system and the observation target, and at least one of the viewing direction, position, and posture of the endoscope is changed. Accordingly, the distance between the imaging optical system and the observation target calculated from the image information acquired by the imaging optical system may be made to match the distance information.
  • the relative parameter is orientation information of the imaging optical system with respect to the observation target, and by changing at least one of the viewing direction, position, and posture of the endoscope.
  • the orientation of the imaging optical system with respect to the observation target calculated from the image information acquired by the imaging optical system may be made to match the orientation information.
  • the relative parameter is tilt information about the optical axis of the long observation target extending in a direction perpendicular to the optical axis of the imaging optical system, and an inclination of the elongated observation target around the optical axis of the imaging optical system, which is calculated from image information acquired by the imaging optical system by changing at least one of the viewing direction, position, and orientation; may be made to match the slope information.
  • the endoscope includes a curved part that can change the angle of the imaging optical system, and by changing the angle of the imaging optical system with the curved part, the endoscope It is also possible to change the viewing direction.
  • the endoscope includes an elongated section in which the imaging optical system is disposed at the distal end, and the library data includes the inclination of the longitudinal axis of the elongated section on base coordinates and the curvature of the curved section. It is also possible to include a parameter related to the orientation of the imaging optical system on the base coordinates, which is determined by the sum of the amount and the amount.
  • the endoscope has a lens barrel section that accommodates the imaging optical system, and the optical axis of the imaging optical system is inclined with respect to the central axis of the lens barrel section.
  • the viewing direction of the endoscope may be changed by changing the angle of the lens barrel around the central axis.
  • the endoscope has a lens barrel portion that accommodates the imaging optical system, and the central axis of the lens barrel portion and the optical axis of the imaging optical system are aligned. Rotation perpendicular to the central axis of the lens barrel section in accordance with a change in the position of the observation target on a display screen that displays image information acquired by the imaging optical system.
  • the viewing direction of the endoscope may be changed by changing the angle around the axis.
  • the procedure support program according to the above aspect may cause a computer to execute a step of recognizing the observation target by processing image information acquired by the imaging optical system.
  • the observation target may be specified by the user based on image information acquired by the imaging optical system.
  • the present invention by providing the operator with an observation field that corresponds to the treatment process and the observation target, it is possible to reduce the operator's effort and make the treatment smoother.
  • FIG. 1 is a schematic configuration diagram of an endoscope system according to a first embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a schematic configuration of an electric scope and an example of relative parameters.
  • FIG. 2 is a diagram illustrating a control method by a control device.
  • 1 is a flowchart illustrating a procedure support method and a procedure support program according to a first embodiment of the present invention.
  • FIG. 3 is a diagram illustrating the relationship between the tilt of the electric scope and the direction of the camera.
  • FIG. 3 is a diagram illustrating the orientation of the imaging optical system viewed from base coordinates.
  • FIG. 3 is a diagram illustrating the relationship between the posture of an observation target and the direction of a camera.
  • FIG. 3 is a diagram illustrating the orientation of an imaging optical system with respect to an observation target.
  • FIG. 3 is a diagram illustrating the relationship between the direction in which a long observation object travels and the tilt of the camera around the optical axis.
  • FIG. 3 is a diagram illustrating an example of an endoscope field of view in a state in which the direction in which a long observation object runs is lateral to the screen of a monitor.
  • FIG. 4 is a diagram illustrating a method of adjusting the roll angle of an electric scope in accordance with the direction in which a long observation object travels.
  • FIG. 6 is a diagram illustrating a method of adjusting the roll angle of the electric scope according to the posture of the patient or the operating table.
  • FIG. 3 is a diagram showing the relationship between the coordinates of the operating table or the patient and the base coordinates in normal times.
  • FIG. 3 is a diagram showing the relationship between the coordinates of a tilted operating table or patient and uncalibrated base coordinates.
  • FIG. 3 is a diagram showing the relationship between the coordinates of a tilted operating table or patient and calibrated base coordinates.
  • FIG. 3 is a diagram showing the relationship between the coordinates of the operating table or the patient and the base coordinates in normal times.
  • FIG. 7 is a diagram showing the relationship between the coordinates of a tilted operating table or a patient and the orientation of an electric scope when library data is not calibrated.
  • FIG. 7 is a diagram showing the relationship between the coordinates of a tilted operating table or a patient and the orientation of an electric scope when library data is calibrated.
  • FIG. 3 is a diagram illustrating that the main controller switches library data in accordance with the determination of a procedure scene by AI.
  • FIG. 3 is a diagram illustrating that the main controller switches library data in accordance with the specification of a surgical procedure scene by a surgeon.
  • FIG. 3 is a diagram illustrating how the main controller switches library data in response to instructions from a surgeon.
  • FIG. 6 is a diagram illustrating that the main controller switches library data according to the treatment position on the patient.
  • FIG. 3 is a diagram illustrating a treatment position with the insertion point in the patient as the origin.
  • FIG. 7 is a diagram illustrating another treatment position with the insertion point in the patient as the origin.
  • FIG. 3 is a diagram illustrating a method of controlling an endoscope system when a roll angle around a visual axis is employed as library data.
  • FIG. 2 is a diagram illustrating a method of controlling an endoscope system when creating a bird's-eye view of the endoscope.
  • FIG. 2 is a schematic configuration diagram of a perspective scope of an endoscope system according to a second embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a control method by a control device.
  • FIG. 6 is a diagram illustrating that the viewing direction of the oblique mirror changes around the longitudinal axis of the lens barrel.
  • FIG. 3 is a diagram illustrating an upward field of view of a perspective scope. It is a figure explaining the field of view when the curved part of the electric scope is bent by about 30 degrees in the UP direction.
  • FIG. 3 is a diagram illustrating a downward view of the oblique scope.
  • FIG. 3 is a diagram illustrating the field of view when the curved portion of the electric scope is bent by about 30 degrees in the DOWN direction.
  • FIG. 3 is a diagram illustrating that the visual axis of the camera rotates around the axis. It is a schematic block diagram of the direct scope of the endoscope system based on 3rd Embodiment of this invention.
  • FIG. 2 is a diagram illustrating a control method by a control device.
  • FIG. 3 is a diagram illustrating that the visual axis of the camera rotates around the axis.
  • FIG. 2 is a diagram showing how an observation target is captured at the center of the field of view of an endoscope.
  • FIG. 3 is a diagram showing how the observation target is located at the center of the screen.
  • FIG. 3 is a diagram showing how the observation target is captured at the edge of the angle of view.
  • FIG. 3 is a diagram illustrating how hidden areas become visible depending on the endoscopic field of view at the angle at which the observation target is viewed.
  • the endoscope system 1 includes an electric scope (endoscope) 3 that acquires images inside a patient's body cavity, and a robot arm (electric arm) that supports the electric scope 3. ) 5, a control device 7 for controlling the electric scope 3 and the robot arm 5, and the like.
  • reference numeral 9 indicates a video system center
  • reference numeral 11 indicates a monitor.
  • the video system center 9 is connected to the electric scope 3 and the control device 7.
  • the monitor 11 is connected to the control device 7.
  • the electric scope 3 includes a long insertion section (long section) 13 inserted into a patient's body cavity, and a camera (imaging optical system) provided at the distal end of the insertion section 13. 15, a bending section (viewing direction changing section) 17 that changes the inclination angle of the endoscopic field of view of the camera 15 with respect to the longitudinal axis of the insertion section 13, a bending motor that drives the bending section 17, and a bending section that changes the inclination angle of the endoscopic field of view of the camera 15 with respect to the longitudinal axis of the insertion section 13; and a roll motor (both not shown) that rotates the roll.
  • the camera 15 includes, for example, at least one lens and an imager such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal-Oxide-Semiconductor).
  • the camera 15 may be a monocular camera or a stereo camera.
  • the electric scope 3 has a distance measurement function that measures the distance to the observation target captured within the field of view of the camera 15.
  • a known mechanism can be employed as the mechanism for realizing the distance measurement function.
  • the robot arm 5 is, for example, an electric holder of a general-purpose 6-axis articulated robot that movably holds the electric scope 3 at any position.
  • the robot arm 5 is equipped with a motor (not shown) for operating each joint.
  • the control device 7 is realized, for example, by a dedicated or general-purpose computer. That is, as shown in FIGS. 1 and 3, the control device 7 includes a main controller (processor) 21 such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit), a visual field controller (processor) 23, and a position and orientation controller. (processor) 25, a main storage device (not shown) such as a RAM (Random Access Memory) used as a work area for each of these controllers 21, 23, 25, and an auxiliary storage device (storage device) 27. ing.
  • a main controller such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit)
  • a visual field controller processor
  • processor position and orientation controller
  • main storage device not shown
  • RAM Random Access Memory
  • the auxiliary storage device 27 is a computer-readable non-temporary recording medium such as an SSD (Solid State Drive) or an HDD (Hard Disk Drive).
  • the auxiliary storage device 27 includes a procedure support program that causes each controller 21, 23, and 25 to execute processing, and a plurality of library data for realizing the endoscopic field of view of the electric scope 3 associated with each procedure scene. remembered.
  • the main storage device and the auxiliary storage device 27 may be connected to the control device 7 via a network.
  • the procedure support program includes a process of recognizing the observation target S photographed by the camera 15 and a process of specifying the procedure scene by processing image information acquired by the electric scope 3. (steps S2, S6), and a step (steps S3, S4) of calling the library data associated with the identified procedure scene from the auxiliary storage device 27.
  • the step of changing at least one of the position and orientation of the scope 3 is executed by each of the controllers 21, 23, and 25 of the control device 7.
  • the main controller 21 includes a capture board 29 that captures endoscopic images from the video system center 9, and a graphic board 31 that outputs endoscopic images and status signals. By processing the endoscopic image, the main controller 21 recognizes the observation target S on the endoscopic image and identifies the procedure scene in the endoscopic image. The main controller 21 then calls the library data associated with the specified procedure scene from the auxiliary storage device 27.
  • the visual field controller 23 is connected to the electric scope 3 and sends a bending operation command to the electric scope 3 while receiving bending angle information from the electric scope 3.
  • the position and orientation controller 25 is connected to the electric scope 3, the robot arm 5, and the voice recognition unit 33.
  • the position/orientation controller 25 sends an endoscope operation command to the electric scope 3 , and receives the amount of rotation of the insertion section 13 around the longitudinal axis from the electric scope 3 . Further, the position/orientation controller 25 sends an endoscope operation command to the robot arm 5 and receives signals indicating the position and state (orientation) of the robot arm 5 from the robot arm 5 .
  • a headset (input section) 35, a hand switch (input section) 37, a foot switch (input section) 39, etc. are connected to the control device 7 as various user interfaces (UI).
  • the headset 35 allows the operator to input endoscope operation commands, operation switching commands, etc. by voice. Endoscope operation commands, operation switching commands, etc. input from the headset 35 are sent to the position and orientation controller 25 via the voice recognition unit 33.
  • the hand switch 37 is attached to, for example, a treatment tool, and allows the operator to input an endoscope operation command by operating the hand.
  • An endoscope operation command input from the hand switch 37 is sent to the position/posture controller 25 via the voice recognition unit 33.
  • the foot switch 39 allows the operator to input endoscope operation commands and operation switching commands by operating his or her feet. Endoscope operation commands and operation switching commands input from the foot switch 39 are sent to the main controller 21.
  • the plurality of library data stored in the auxiliary storage device 27 includes at least one relative parameter regarding the relative position and orientation of the camera 15 of the electric scope 3 and the observation target S photographed by the camera 15.
  • Examples of the relative parameters include scope axis roll angle information, distance information between the camera 15 and the observation target S, and information on the amount of curvature of the bending portion 17 of the electric scope 3.
  • the scope axis roll angle information is the roll angle from the initial state around the longitudinal axis of the insertion section 13 of the electric scope 3, as shown in FIG.
  • the distance information between the camera 15 and the observation target S is the distance between the camera 15 and the observation target S in the direction along the visual axis of the camera 15.
  • the bending amount information of the bending portion 17 is the orientation of the camera 15 with respect to the scope axis of the electric scope 3.
  • these pieces of information will be referred to as roll angle information, distance information, and curvature amount information. That is, in the auxiliary storage device 27, the endoscopic field of view suitable for each procedure scene is preset for each procedure scene, and the roll angle information, distance information, and At least one piece of curvature amount information is stored in association with each procedure scene.
  • the control device 7 retrieves roll angle information, distance information, and/or curvature amount information associated with an arbitrary procedure scene from the auxiliary storage device 27, and then controls the curvature of the electric scope 3 based on each of the retrieved pieces of information. 17 and at least one of the robot arm 5.
  • the control device 7 retrieves distance information from the auxiliary storage device 27, the distance information is calculated from the image information of the observation target S by controlling at least one of the bending section 17 of the electric scope 3 and the robot arm 5. The actual distance between the camera 15 and the observation target S is made to match the retrieved distance information.
  • a trajectory is calculated to match the distance to S with the distance information.
  • the current distance measurement value to the observation target S is measured by the distance measurement function of the electric scope 3.
  • the main controller 21 After distributing the joint control commands for the robot arm 5 and the bending angle commands for the electric scope 3, the main controller 21 inputs the joint control commands to the position and orientation controller 25, and inputs the bending angle commands to the visual field controller 23. do.
  • the position/posture controller 25 determines the amount of drive of each joint necessary to match the distance between the camera 15 and the observation target S with the distance information by using inverse kinematics of the robot arm 5 in accordance with the joint control command. .
  • the determined drive amount of each joint is input to each motor of the robot arm 5 as an angle command (endoscope operation command) for each joint.
  • the visual field controller 23 determines the bending angle of the bending portion 17 necessary to match the distance between the camera 15 and the observation target S with the distance information, according to the bending angle command.
  • the determined bending angle of the bending portion 17 is input to the motor of the electric scope 3 as a motor angle command (bending operation command).
  • Each joint of the robot arm 5 operates according to the respective angle command, and the bending section 17 of the electric scope 3 curves according to the motor angle command, so that the distance between the camera 15 and the observation target S matches the distance information. A mirror view can be obtained.
  • control device 7 retrieves the curvature amount information from the auxiliary storage device 27, the control device 7 controls at least one of the curving portion 17 of the electric scope 3 and the robot arm 5 to obtain information from the image information of the observation target S.
  • the calculated orientation of the camera 15 with respect to the observation target S is made to match the called curvature amount information.
  • the main controller 21 compares the current bending amount of the bending portion 17 with the bending amount information read from the auxiliary storage device 27 to match the bending amount of the bending portion 17 with the bending amount information. Calculate the trajectory of. After distributing the joint control commands for the robot arm 5 and the bending angle commands for the electric scope 3, the main controller 21 inputs the joint control commands to the position and orientation controller 25, and inputs the bending angle commands to the visual field controller 23. do.
  • the position/posture controller 25 uses inverse kinematics of the robot arm 5 in accordance with the joint control command to determine the amount of drive of each joint required to make the amount of curvature of the bending section 17 match the amount of curvature information.
  • the determined drive amount of each joint is input to each motor of the robot arm 5 as an angle command (endoscope operation command) for each joint.
  • the visual field controller 23 determines the curving angle of the curving portion 17 necessary to match the curving amount of the curving portion 17 with the curving amount information in accordance with the curving angle command.
  • the determined bending angle of the bending portion 17 is input to the motor of the electric scope 3 as a motor angle command (bending operation command).
  • Each joint of the robot arm 5 moves according to the respective angle commands, and the bending section 17 of the electric scope 3 curves according to the motor angle command, so that the direction of the camera 15 with respect to the observation target S matches the curvature amount information.
  • a mirror view can be obtained.
  • control device 7 retrieves the roll angle information from the auxiliary storage device 27, the control device 7 controls the robot arm 5 to perform observation around the optical axis of the camera 15 calculated from the image information of the observation target S. The inclination of the object S is made to match the retrieved roll angle information.
  • the main controller 21 compares the current roll angle of the scope axis with the roll angle information to determine the position and position around the pivot point necessary to match the roll angle of the scope axis with the roll angle information. Determine the amount of change in posture.
  • the determined amount of change in position and orientation around the pivot point is input to the position and orientation controller 25 as a position and orientation command.
  • the position and orientation command includes, for example, a roll angle, a pitch angle, a yaw angle, and a movement amount of the electric scope 3.
  • the position/posture controller 25 determines the amount of drive of each joint required to match the roll angle of the scope axis with the roll angle information by using inverse kinematics of the robot arm 5 in accordance with the position/posture command.
  • the determined drive amount of each joint is input to each motor of the robot arm 5 as an angle command (endoscope operation command) for each joint.
  • the position and orientation controller 25 controls the robot arm 5, it calculates Euler angles (roll, pitch, yaw) based on the angles of each joint by using the forward kinematics of the robot arm 5. This calculates the current roll angle of the scope axis. The calculated current roll angle of the scope axis is stored in the main controller 21.
  • the visual field controller 23 controls the bending portion 17 of the electric scope 3, it calculates the current amount of bending of the bending portion 17 by converting the motor angle of the bending portion 17 into the amount of bending.
  • the calculated current amount of curvature is stored in the main controller 21.
  • the electric scope 3 is first inserted into the patient's body (step S1). Then, image information is acquired by photographing the observation target S by the camera 15 of the electric scope 3. The acquired image information is input to the main controller 21 of the control device 7 via the video system center 9 .
  • the main controller 21 processes the input image information to recognize the observation target S and identify the procedure scene (step S2).
  • the main controller 21 calls out the library data associated with the specified procedure scene from the auxiliary storage device 27 (step S3), an endoscope field of view for expansion is created (step S4).
  • Deployment refers to an operation in which tension is applied to the surrounding tissue by pulling the surrounding tissue with an assistant's forceps or the like, for example, in order to make the tissue easier to incise or visualize.
  • the main controller 21 determines whether the camera 15 and the observation target S are connected to each other based on the current distance measurement value and the distance information. A joint control command and a bending angle command for matching the distance to the object S with the distance information are determined.
  • the position and orientation controller 25 determines the drive amount of each joint of the robot arm 5 based on the joint control command.
  • the viewing angle controller 23 determines the bending angle of the bending portion 17 based on the bending angle command. Then, each joint of the robot arm 5 and the bending portion 17 of the electric scope 3 operate according to the respective commands, thereby creating an endoscopic field of view in which the distance between the camera 15 and the observation target S matches the distance information.
  • the main controller 21 determines the amount of curvature of the bending portion 17 based on the current amount of curvature of the bending portion 17 and the amount of curvature information. A joint control command and a curvature angle command for matching the amount with the curvature amount information are determined.
  • the position and orientation controller 25 determines the drive amount of each joint of the robot arm 5 based on the joint control command.
  • the viewing angle controller 23 determines the bending angle of the bending portion 17 in accordance with the bending angle command. Then, each joint of the robot arm 5 and the bending section 17 of the electric scope 3 operate according to the respective commands, thereby creating an endoscopic field of view in which the direction of the camera 15 with respect to the observation target S matches the bending amount information.
  • the main controller 21 calculates the roll angle of the scope axis based on the current roll angle of the scope axis and the roll angle information. A position and orientation command around the pivot point is determined to match the roll angle information.
  • the position/posture controller 25 determines the drive amount of each joint based on the position/posture command. Then, each joint of the robot arm 5 operates according to the respective angle commands, thereby creating an endoscopic field of view in which the inclination of the observation target S around the optical axis of the camera 15 matches the roll angle information. Next, the assistant performs forceps operation, expansion operation, etc. in the created endoscopic field of view (step S5).
  • the main controller 21 processes the image information newly acquired by the camera 15, thereby recognizing the observation target S and specifying the procedure scene (Ste S6).
  • the main controller 21 calls out the library data associated with the identified procedure scene from the auxiliary storage device 27 (step S7), the electric scope 3 and the robot arm are controlled based on the called library data.
  • an endoscopic field of view for treatment is created (step S8).
  • the method for creating the field of view for use during treatment is the same as the method for developing the endoscopic field of view, so the explanation will be omitted.
  • the operator starts following the treatment instrument in the created endoscopic field of view (step S9).
  • library data associated with an arbitrary procedure scene is stored in the auxiliary storage device 27 by the operation of the control device 7.
  • the control device 7 After being called from the library data, at least one of the robot arm 5 and the bending section 17 of the electric scope 3 is controlled based on the library data.
  • each library data includes relative parameters regarding the relative position and posture of the camera 15 of the electric scope 3 and the observation target S, the endoscopic field of view can be adjusted according to both the procedure scene and the observation target S. can be provided to Therefore, it is possible to reduce the operator's effort and to make the treatment smoother.
  • any one of distance information, curvature amount information, and roll angle information is retrieved as library data from the auxiliary storage device 27 has been described as an example.
  • a plurality of library data may be called simultaneously.
  • the position/posture controller 25 controls the camera 15 and the observation target S based on the joint control command and the position/posture command.
  • the amount of drive of each joint required to make the distance from the object, the amount of curvature of the bending portion 17, and the roll angle of the scope axis coincide with the distance information, the amount of curvature information, and the roll angle information, respectively, is determined.
  • the field of view controller 23 controls the bending portion 17 necessary to match the distance between the camera 15 and the observation target S and the bending amount of the bending portion 17 with the distance information and the bending amount information, respectively, based on the bending angle command. A curvature angle is determined.
  • each joint of the robot arm 5 moves according to each angle command, and the bending section 17 of the electric scope 3 curves according to the motor angle command, thereby changing the distance between the camera 15 and the observation target S, and the distance between the camera 15 and the observation target S.
  • An endoscope field of view is created in which the orientation of the object S and the inclination of the observation target S around the optical axis of the camera 15 match the distance information, the amount of curvature information, and the roll angle information, respectively.
  • the position and posture of the electric scope 3 with respect to the observation target S are uniquely determined. Therefore, there is no need to register data for each patient in advance, and endoscopic visual fields can be created using the same physical quantities even for different patients.
  • the main controller 21 recognizes the observation target S by processing the endoscopic image, but instead, for example, the operator uses the headset 35, the hand switch 37, and the foot
  • the observation target may be specified using a user interface (UI) such as the switch 39.
  • UI user interface
  • the operator may specify the procedure scene.
  • the amount of curvature of the bending portion 17 of the electric scope 3 has been described as an example of the library data.
  • the degree to which the camera 15 looks up or down to the observation target S changes depending on the inclination of the electric scope 3.
  • Information indicating the orientation may be employed as library data.
  • this information will be referred to as orientation information as seen from the base coordinates.
  • the orientation of the camera 15 as seen from the base coordinates is determined by the sum of the inclination of the electric scope 3 with respect to the base coordinates and the amount of curvature of the curved portion 17.
  • the angle at which the camera 15 looks into the observation target S may change relative to it.
  • the library data for example, as shown in FIG. 8, information indicating the direction of the camera 15 with respect to the observation target S, that is, the direction of the visual axis viewed from the coordinates of the observation target S, may be adopted.
  • this information will be referred to as orientation information as seen from the target.
  • the orientation of the camera 15 can be adjusted according to the posture of the organ or biological tissue. is decided. Therefore, even if the posture or orientation of the living tissue side changes due to an assistant's forceps operation or the like, the endoscope field of view, that is, the viewing angle, can be kept the same as at the time of setting registration.
  • a parameter may be set that directs the direction in which the intestines, blood vessels, etc. run in the horizontal or vertical direction of the screen of the monitor 11.
  • the field of view is adjusted so that the direction in which the intestines or blood vessels run, that is, the direction in which the dissection line extends, is directed horizontally or vertically with respect to the screen of the monitor 11. be exposed.
  • the direction in which the intestines, blood vessels, etc. run in the horizontal or vertical direction of the screen of the monitor 11 through control based on library data, it is possible to obtain an endoscopic field of view that is more responsive to individual differences among patients.
  • symbol A indicates the intestine
  • symbol B indicates the nerve bundle
  • symbol C indicates IMA (Inferior Mesenteric Artery)
  • symbol D indicates the peeling line.
  • the slopes of multiple points can be calculated. Calculate the average angle. Then, the roll angle of the electric scope 3 and the bending angle of the bending portion 17 in the UD (UP/DOWN) direction and the LR (LEFT/RIGHT) direction may be adjusted to match the average angle.
  • the roll angle of the electric scope 3 can be adjusted in the Z-axis direction (usually vertically) with respect to the coordinates of the patient or the operating table, as shown in FIG. (upward).
  • the library data or base coordinates may be calibrated according to the patient's own inclination or the inclination of the operating table on which the patient lies.
  • the base coordinates may be corrected by adding the detected tilt to the base coordinates.
  • the library data may be corrected by detecting the tilt of the patient or the operating table and then adding the detected tilt to the library data.
  • the symbol E indicates the operating table or the patient.
  • the flow of the procedure can be programmed in advance, and the library data associated with each procedure scene can be switched according to the treatment process, that is, the procedure scene.
  • the main controller 21 may switch the library data by determining the treatment process using AI (Artificial Intelligence).
  • the treatment process is, for example, the operator's manipulation of the anatomical location being treated or the incision.
  • AI can be used to estimate treatment steps based on anatomical locations and operator operations such as incisions.
  • the operator's operations may include cutting a specific blood vessel, stopping bleeding, clipping a blood vessel, excluding an organ, and observing fluorescence.
  • the steps of the treatment may be recognized by the operator.
  • the procedure may be specified by the surgeon using a UI (User Interface) such as voice or button operations.
  • UI User Interface
  • the main controller 21 may switch the library data when the surgeon specifies the treatment process using the UI.
  • the operator's instructions such as "move to the next treatment step,” “return to the previous treatment step,” or “move to the IMA cutting step.”
  • the main controller 21 may switch to library data associated with the designated procedure scene.
  • the library data may be switched based on the position and posture of the camera 15 relative to the patient, for example.
  • the insertion point is defined as the origin
  • the cranial side of the patient is defined as 0 degrees
  • the caudal side as 180 degrees
  • the orientation of the camera 15 is within the triangular frame in FIG.
  • the main controller 21 may set library data associated with the "scene of entering the retrorectal cavity.”
  • symbol F indicates a patient. The same applies to FIG.
  • the main controller 21 may switch to the library data associated with "first half of inner approach".
  • the main controller 21 may set the biological tissue recognized by tissue recognition using AI as the observation target S.
  • AI biological tissue recognized by tissue recognition using AI
  • the main controller 21 may recognize a biological tissue specified by the surgeon as the observation target S by using the UI.
  • the surgeon may specify the sanctioned tissue to be observed S by using a UI such as a touch panel, or the surgeon may specify the sanctioned tissue as the observation target S by memorizing the point on the biological tissue pointed with the tip of forceps, etc.
  • the observed biological tissue may be used as the observation target S.
  • the scope axis roll angle has been described as an example of the library data, but instead of this, for example, around the optical axis of the camera 15 on the distal side of the curved part 17, that is, around the visual axis. It is also possible to adopt a roll angle of .
  • the position/posture controller 25 uses the forward kinematics of the hand of the electric scope 3 in addition to the forward kinematics of the robot arm 5, thereby controlling each joint of the robot arm 5.
  • Euler angles (roll, pitch, yaw) may be calculated based on the angle.
  • this embodiment can also be applied when performing a deployment operation in a state where a bird's-eye view of the endoscope is created by retracting the electric scope 3 to the vicinity of the patient's insertion point, for example, to the vicinity of the trocar.
  • the library data includes, for example, as shown in FIG. 22, bending amount information where the bending amount of the bending portion 17 is zero, scope axis advance/retreat amount information where the electric scope 3 moves forward/backward amount is zero, and the roll angle. It is also possible to employ scope axis roll angle information having a desired value.
  • a state in which the amount of curvature of the curved portion 17 is zero is a state in which the curved portion 17 faces the longitudinal axis direction of the insertion portion 13 .
  • a state in which the amount of movement of the electric scope 3 is zero is a state in which the electric scope 3 is located near the insertion point of the patient.
  • the position and orientation controller 25 may calculate the current amount of movement of the electric scope 3 based on the angle of each joint of the robot arm 5 by using forward kinematics of the robot arm 5. The calculated current amount of movement of the electric scope 3 is stored in the main controller 21.
  • the endoscope system 1 according to the present embodiment differs from the first embodiment in that it includes a oblique scope (endoscope) 41 that does not include the bending part 17, as shown in FIG. 23, instead of the electric scope 3. different.
  • a oblique scope (endoscope) 41 that does not include the bending part 17, as shown in FIG. 23, instead of the electric scope 3.
  • parts that have the same configuration as the endoscope system 1, the procedure support method, and the procedure support program according to the first embodiment will be denoted by the same reference numerals, and a description thereof will be omitted.
  • the oblique scope 41 includes an elongated lens barrel section 43 that is inserted into a patient's body cavity, and a camera (imaging optical system) 15 provided at the distal end of the lens barrel section 43.
  • the oblique mirror 41 is arranged such that the optical axis of the camera 15 is inclined with respect to the longitudinal axis (center axis) of the lens barrel section 43.
  • the lens barrel portion 43 has a distal end surface 43 a that is inclined with respect to the longitudinal axis of the lens barrel portion 43 and perpendicular to the optical axis of the camera 15 .
  • Reference numeral 45 is a mounting portion supported by the robot arm 5. Further, the oblique mirror 41 has a distance measuring function.
  • the oblique mirror 41 has a built-in electric attachment (viewing direction changing unit) 47.
  • the electric attachment 47 includes a lens barrel motor that rotates the lens barrel 43 around its longitudinal axis, a viewing axis motor that rotationally drives an image rotator (not shown) that rotates the viewing axis of the camera 15 around its axis, etc. (all of which are not shown).
  • the lens barrel 43 rotates around its longitudinal axis, and as shown in FIG.
  • the facing direction and the optical axis direction of the camera 15, that is, the viewing direction of the oblique mirror 41 can be changed around the longitudinal axis of the lens barrel section 43.
  • Rotating the lens barrel part 43 of the oblique mirror 41 around the longitudinal axis is equivalent to changing the distribution of UP, DOWN, LEFT, and RIGHT in the bending direction of the bending part 17 in the electric scope 3 while keeping the amount of bend constant. It is.
  • FIG. 26 when the distal end surface 43a of the oblique mirror 41 and the camera 15 are directed diagonally upward, the upward field of view is as shown in FIG. This is equivalent to the field of view when the lens is bent by about 30 degrees.
  • FIG. 28 for example, when the distal end surface 43a of the oblique mirror 41 and the camera 15 are directed diagonally downward, the downward field of view is as shown in FIG. This is equivalent to the field of view when bent by about 30 degrees in the DOWN direction.
  • the plurality of library data stored in the auxiliary storage device 27 includes at least one relative parameter regarding the relative position and orientation of the camera 15 of the oblique mirror 41 and the observation target S photographed by the camera 15.
  • the relative parameters include distance information between the camera 15 and the observation target S, rotation angle information about the longitudinal axis of the lens barrel section 43, and roll angle information about the viewing axis.
  • the roll angle information around the viewing axis is an angle around the axis of the viewing axis of the camera 15 .
  • these pieces of information will be referred to as distance information, lens barrel angle information, and roll angle information around the viewing axis.
  • the auxiliary storage device 27 stores at least one of distance information, lens barrel angle information, and roll angle information around the visual axis for realizing each endoscopic field of view set in advance for each procedure scene. It is stored in association with a scene.
  • the procedure support method is based on called library data. , the step of changing at least one of the angle around the longitudinal axis of the lens barrel portion 43 and the position and orientation of the oblique mirror 41.
  • the procedure support program causes each controller 21, 23, 25 of the control device 7 to execute the process.
  • the control device 7 calls distance information from the auxiliary storage device 27, the control device 7 controls at least one of the electric attachment 47 and the robot arm 5 so as to read the distance information from the camera 15 calculated from the image information of the observation target S.
  • the actual distance to the observation target S is made to match the retrieved distance information.
  • the main controller 21 calculates the distance between the camera 15 and the observation target S by comparing the current distance measurement value with the observation target S and the retrieved distance information. Calculate the trajectory to match the distance information.
  • the main controller 21 then distributes the commands into a position and orientation command indicating the amount of change in position and orientation around the pivot point, an angle command around the visual axis, and a lens barrel angle command, and then sends the position and orientation command to the position and orientation controller 25.
  • an angle command around the visual axis and a lens barrel angle command are input to the visual field controller 23.
  • the position/posture controller 25 determines the amount of drive of each joint necessary to match the distance between the camera 15 and the observation target S with the distance information by using inverse kinematics of the robot arm 5 in accordance with the position/posture command. .
  • the determined drive amount of each joint is input to each motor of the robot arm 5 as an angle command (endoscope operation command) for each joint.
  • the visual field controller 23 controls the rotation angle around the visual axis and the lens barrel part necessary to match the distance between the camera 15 and the observation target S with the distance information, in accordance with the angle command around the visual axis and the lens barrel angle command.
  • the determined rotation angle around the visual axis and the rotation angle of the lens barrel section 43 are inputted as motor angle commands to the visual axis motor and the lens barrel motor of the electric attachment 47, respectively.
  • Each joint of the robot arm 5 moves in accordance with each angle command, and each motor of the electric attachment 47 is driven in accordance with each motor angle command, so that the distance between the camera 15 and the observation target S matches the distance information.
  • the main controller 21 When the control device 7 calls up the lens barrel angle information from the auxiliary storage device 27, the main controller 21 first selects the current angle around the longitudinal axis of the lens barrel 43 and the retrieved lens barrel angle information. By comparing the values, a trajectory for making the rotation angle of the lens barrel section 43 match the lens barrel angle information is calculated. Then, the position/posture controller 25 and the visual field controller 23 control at least one of the electric attachment 47 and the robot arm 5 . Thereby, the angle around the longitudinal axis of the lens barrel section 43 calculated from the image information of the observation target S is made to match the retrieved lens barrel section angle information.
  • the control by the position/orientation controller 25 and the visual field controller 23 is the same as that for distance information, so a description thereof will be omitted.
  • the main controller 21 calculates the current angle around the visual axis of the camera 15 and the roll angle information around the retrieved visual axis. By comparing the information with the angle information, a trajectory for matching the angle around the visual axis with the roll angle information around the visual axis is calculated. Then, by controlling at least one of the electric attachment 47 and the robot arm 5 by the position/orientation controller 25 and the field of view controller 23, the angle around the visual axis of the camera 15 calculated from the image information of the observation target S is adjusted. , to match the retrieved roll angle information around the visual axis.
  • the control by the position/orientation controller 25 and the visual field controller 23 is the same as that for distance information, so a description thereof will be omitted.
  • the visual field controller 23 When the visual field controller 23 drives the lens barrel motor of the electric attachment 47, the visual field controller 23 changes the angle of the lens barrel 43 by converting the motor angle of the lens barrel motor into an angle around the longitudinal axis of the lens barrel 43. Calculate the current angle amount. Further, when the visual axis motor of the electric attachment 47 is driven, the visual field controller 23 converts the motor angle of the visual axis motor into an angular amount around the axis of the visual axis. Calculate the angle amount. The calculated current angular amount of the lens barrel portion 43 and the current angular amount around the visual axis are stored in the main controller 21, respectively.
  • each library data includes relative parameters regarding the relative position and posture of the camera 15 of the oblique scope 41 and the observation target S. , it is possible to provide the operator with an endoscopic field of view that corresponds to both the procedure scene and the observation target S.
  • the angle of the oblique mirror 41 having a constant angle with respect to the longitudinal axis of the lens barrel section 43 is changed.
  • the viewing direction of the oblique mirror 41 is switched to diagonally upward, diagonally downward, or the like.
  • the viewing direction of the oblique mirror 41 can be directed toward a desired observation target simply by rotating the lens barrel section 43 around the longitudinal axis. Therefore, even when the oblique scope 41 is used as the endoscope, the observation target designated by the operator can be easily brought into the field of view of the endoscope.
  • the endoscope system 1 includes, for example, a direct scope (endoscope) 51 without a curved portion 17, as shown in FIG. 31, instead of the electric scope 3 and the oblique scope 41. This is different from the first and second embodiments.
  • parts having the same configuration as the endoscope system 1, the technique support method, and the technique support program according to the first and second embodiments will be denoted by the same reference numerals, and a description thereof will be omitted.
  • the direct viewing scope 51 includes an elongated lens barrel section 53 that is inserted into a patient's body cavity, and a camera (imaging optical system) 15 provided at the distal end of the lens barrel section 53.
  • the direct viewing mirror 51 is arranged such that the longitudinal axis (center axis) of the lens barrel portion 53 and the optical axis of the camera 15 are aligned.
  • the lens barrel portion 53 has a distal end surface 53a that is orthogonal to the longitudinal axis of the lens barrel portion 53 and the optical axis of the camera 15.
  • Reference numeral 55 is a mounting portion supported by the robot arm 5. Further, the direct viewing mirror 51 has a distance measuring function.
  • the direct viewing mirror 51 has a built-in electric attachment 57.
  • the electric attachment 57 includes a visual axis motor that rotates the visual axis of the camera 15 around the axis, that is, around the longitudinal axis of the lens barrel section 53 .
  • the direct scope 51 can rotate the vertical direction of the endoscopic image acquired by the camera 15 around the visual axis by rotating the visual axis of the camera 15 around the axis. .
  • the robot arm 5 functions as a visual field direction changing unit that changes the angle around the pivot axis (rotation axis) perpendicular to the longitudinal axis of the lens barrel unit 53 in accordance with the change in the position of capturing the observation target on the screen of the monitor 11. do. For example, if the observation target such as biological tissue is changed from the center of the screen of the monitor 11 to the upper edge of the screen, as shown in FIGS. 34 and 36, the direct scope 51 The angle around the pivot point P is changed by setting the mounting portion 55 of the pivot point P as the pivot point P.
  • the viewing direction of the direct scope 51 is changed to a direction in which the observation target is captured at the upper edge of the screen, and as a result, the position of the observation target on the screen of the monitor 11 is changed, as shown in FIGS. 35 and 37, for example. It is offset in a direction intersecting the optical axis of the camera 15.
  • FIGS. 34 and 35 when the observation target is captured at the center of the endoscopic field of view, although the observation target is located at the center of the screen, there are hidden areas that are difficult to see.
  • FIGS. 36 and 37 when the observation target is captured at the edge of the angle of view, the observation target is located at the edge of the screen, and hidden parts become visible. That is, by changing the viewing direction of the direct scope 51 to a direction in which the observation target is captured at the edge of the viewing angle, an endoscopic field of view at an angle at which the observation target is viewed can be obtained.
  • numeral 59 indicates a treatment tool
  • numeral S indicates an observation target.
  • the plurality of library data stored in the auxiliary storage device 27 includes at least one relative parameter regarding the relative position and orientation of the camera 15 of the direct scope 51 and the observation target S photographed by the camera 15.
  • the relative parameters include distance information between the camera 15 and the observation target S, position information for capturing the observation target on the screen, and roll angle information around the viewing axis.
  • these pieces of information will be referred to as distance information, target position information, and roll angle information around the visual axis.
  • the auxiliary storage device 27 stores at least one of distance information, target position information, and roll angle information around the visual axis for realizing each endoscopic field of view set in advance for each procedure scene. They are stored in association with each other. For example, a desired position on the screen of the monitor 11 at which the observation target is to be captured may be set as the target position information by voice operation using the headset 35 or button operation using the hand switch 37.
  • the procedure support method is based on called library data. , the angle around the pivot point P of the direct scope 51, and the position and posture of the direct scope 51. 25.
  • the control device 7 controls at least one of the electric attachment 57 and the robot arm 5, so that the distance information can be calculated from the camera 15 and the image information of the observation target S.
  • the actual distance to the observation target S is made to match the retrieved distance information.
  • the main controller 21 calculates the distance between the camera 15 and the observation target S by comparing the current distance measurement value with the observation target S and the retrieved distance information. Calculate the trajectory to match the distance information.
  • the main controller 21 divides the position and orientation command into a position and orientation command indicating the amount of change in position and orientation around the pivot point, and an angle command around the visual axis, and then inputs the position and orientation command to the position and orientation controller 25, and inputs the position and orientation command to the visual field controller.
  • An angle command around the visual axis is input to 23.
  • the position/posture controller 25 determines the amount of drive of each joint necessary to match the distance between the camera 15 and the observation target S with the distance information by using inverse kinematics of the robot arm 5 in accordance with the position/posture command. .
  • the determined drive amount of each joint is input to each motor of the robot arm 5 as an angle command (endoscope operation command) for each joint.
  • the visual field controller 23 determines the rotation angle around the visual axis necessary to match the distance between the camera 15 and the observation target S with the distance information, in accordance with the angle command around the visual axis.
  • the determined rotation angle around the visual axis is input to the visual axis motor of the electric attachment 57 as a motor angle command.
  • Each joint of the robot arm 5 operates according to the respective angle command, and the visual axis motor of the electric attachment 57 rotates according to the motor angle command, so that the distance between the camera 15 and the observation target S matches the distance information. Provides an endoscopic view.
  • the main controller 21 compares the current position of the observation object on the screen of the monitor 11 with the called object position information. , calculates a trajectory for matching the position of the observation target on the screen of the monitor 11 with the target position information. Then, the position/posture controller 25 and the visual field controller 23 control at least one of the electric attachment 57 and the robot arm 5. Thereby, the position of the observation object on the screen calculated from the image information of the observation object S is made to match the called object position information.
  • the control by the position/orientation controller 25 and the visual field controller 23 is the same as that for distance information, so a description thereof will be omitted.
  • the main controller 21 calculates the current angle around the visual axis of the camera 15 and the roll angle information around the retrieved visual axis. By comparing the information with the angle information, a trajectory for matching the angle around the visual axis with the roll angle information around the visual axis is calculated. Then, by controlling at least one of the electric attachment 57 and the robot arm 5 by the position/orientation controller 25 and the field of view controller 23, the angle around the visual axis of the camera 15 calculated from the image information of the observation target S is adjusted. , to match the retrieved roll angle information around the visual axis.
  • the control by the position/orientation controller 25 and the visual field controller 23 is the same as that for distance information, so a description thereof will be omitted.
  • the visual field controller 23 converts the motor angle of the visual axis motor into an angular amount around the axis of the visual axis, thereby calculating the current amount of angle around the axis of the visual axis. Calculate.
  • the calculated current angle amount is stored in the main controller 21.
  • each library data includes relative parameters regarding the relative position and posture of the camera 15 of the direct scope 51 and the observation target S.
  • the angle around the pivot axis P of the direct scope 51 is changed.
  • the viewing direction of the direct viewing mirror 51 is changed to a direction in which the observation target is captured at the edge of the viewing angle.
  • the auxiliary storage device 27 may store each library data together with specifiable metadata.
  • the main controller 21 may acquire metadata input by the surgeon according to the procedure scene, or acquire metadata corresponding to the procedure scene specified by processing image information. You can also do it. The main controller 21 may then call library data corresponding to the acquired metadata from the auxiliary storage device 27.
  • the robot arm 5 of a six-axis articulated robot has been described as an example of the electric arm, but the electric arm does not need to have six degrees of freedom, and may have fewer degrees of freedom. It may also be a robot arm.
  • a robot arm may be employed that includes a roll axis and two pitch axes, and has three joints at its tip that can move in three degrees of freedom.
  • the robot arm may have an electric attachment that rotates the electric scope 3.
  • a robot arm having a four-degree-of-freedom configuration and having a roll joint at the tip may be employed.
  • Endoscope system Electric scope (endoscope) 5 Robot arm (electric arm, viewing direction changing part) 13 Insertion part (long part) 17 Curving section 21 Main controller (processor) 23 Curvature controller (processor) 25 Position and orientation controller (processor) 27 Auxiliary storage device (storage device) 35 Headset (input section) 37 Hand switch (input section) 39 Foot switch (input section) 41 Oblique scope (endoscope) 43 Lens barrel section 47 Electric attachment (viewing direction changing section) 51 Direct scope (endoscope) 53 Lens barrel S Observation target

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

観察対象を撮影するカメラを備える電動スコープ３と、電動スコープ３を支持した状態で電動スコープ３の位置および姿勢を変化させるボットアーム５と、電動スコープ３の視野方向を変更可能な湾曲部と、手技シーンごとに関連付けられた内視鏡視野を実現するための複数のライブラリデータを記憶する補助記憶装置２７と、少なくとも１つの湾曲コントローラ２３および位置姿勢コントローラ２５とを備え、ライブラリデータが、カメラと観察対象との相対的な位置および姿勢に関する相対パラメータを少なくとも１つ含み、湾曲コントローラ２３および位置姿勢コントローラ２５が、任意の手技シーンに関連付けられているライブラリデータを補助記憶装置２７から呼び出した後、呼び出したライブラリデータに基づいて湾曲部およびボットアーム５の少なくとも一方を制御する内視鏡システムである。

Description

内視鏡システム、手技支援方法および手技支援プログラム
　本発明は、内視鏡システム、手技支援方法および手技支援プログラムに関する。
　従来、術者による手技操作の手間を軽減するための技術が知られている（例えば、特許文献１，２参照。）。特許文献１に記載の技術は、ホルダの関節の角度情報を記録しておき、その角度情報に基づいてホルダの関節の角度を時系列的に逆再生することにより、内視鏡を元の位置および姿勢に復帰させる。特許文献２に記載の技術は、外科的処置の手順状態および手順タイプ等を含む手術用具画像データまたは解剖学的構造の画像を用いることによって訓練された機械学習モデルに基づいて、外科的処置中にエネルギー処置具等の機能を制御する。
特許第６１６１６８７号公報 特開２０２１－１３７２２号公報
　しかしながら、特許文献１に記載の技術のようにホルダの関節の角度情報を利用するだけでは、異なる場所を手技する場合等、処置の工程に応じて内視鏡の位置および姿勢が変化する場合の対応が困難という問題がある。また、特許文献２に記載の技術のように、外科的な手順を制御したり、手順状態に応じてエネルギー処置具等の機能のＯＮ／ＯＦＦまたは強弱を制御したりする手法では、内視鏡の位置および姿勢を変化させることによって術者が見たい方向から覗き込む等の複雑な制御は困難である。
　本発明は、上述した事情に鑑みてなされたものであって、処置の工程および観察対象に応じた観察視野を術者に提供することにより、術者の手間を低減しかつ処置をスムーズにすることができる内視鏡システム、手技支援方法および手技支援プログラムを提供することを目的としている。
　上記目的を達成するため、本発明は以下の手段を提供する。
　本発明の第１態様は、観察対象を撮影する撮像光学系を備える内視鏡と、該内視鏡を支持した状態で前記内視鏡の位置および姿勢を変化させる電動アームと、前記内視鏡の視野方向を変更可能な視野方向変更部と、手技シーンごとに関連付けられた内視鏡視野を実現するための複数のライブラリデータを記憶する記憶装置と、少なくとも１つのプロセッサとを備え、前記ライブラリデータが、前記撮像光学系と前記観察対象との相対的な位置および姿勢に関する相対パラメータを少なくとも１つ含み、前記プロセッサが、任意の前記手技シーンに関連付けられている前記ライブラリデータを前記記憶装置から呼び出した後、呼び出した前記ライブラリデータに基づいて前記視野方向変更部および前記電動アームの少なくとも一方を制御する内視鏡システムである。
　本態様によれば、プロセッサの作動により、任意の手技シーンに関連付けられた内視鏡視野を実現するためのライブラリデータが記憶装置から呼び出される。そして、呼び出されたライブラリデータに基づいて視野方向変更部および電動アームが制御される。この場合において、各ライブラリデータが内視鏡の撮像光学系と観察対象との相対的な位置および姿勢に関する相対パラメータを含むので、手技シーンおよび観察対象の両方に応じた内視鏡視野を術者に提供することができる。よって、術者の手間を低減しかつ処置をスムーズにすることができる。
　上記態様に係る内視鏡システムは、前記プロセッサが、前記撮像光学系によって取得される画像情報を処理することにより前記手技シーンを特定した後、特定した前記手技シーンに対応付けられている前記ライブラリデータを前記記憶装置から呼び出すこととしてもよい。
　この構成によって、プロセッサによる画像処理によって特定された手技シーンに基づいて、視野方向変更部および電動アームが制御される。したがって、術者が画像情報から手技シーンを特定する必要がなく、術者の手間をより低減することができる。
　上記態様に係る内視鏡システムは、前記相対パラメータが、前記撮像光学系と前記観察対象との距離情報であり、前記プロセッサが、前記視野方向変更部および前記電動アームの少なくとも一方を制御することにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系と前記観察対象との距離を前記距離情報に一致させることとしてもよい。
　この構成によって、手技シーンおよび観察対象の両方に応じて、観察対象に対して内視鏡の撮像光学系が予め設定された距離に配置される。これにより、観察対象を所望の距離感の見せ方にすることができる。
　上記態様に係る内視鏡システムは、前記相対パラメータが、前記観察対象に対する前記撮像光学系の向き情報であり、前記プロセッサが、前記視野方向変更部および前記電動アームの少なくとも一方を制御することにより、前記撮像光学系によって取得される画像情報から算出される前記観察対象に対する前記撮像光学系の向きを前記向き情報に一致させることとしてもよい。
　この構成によって、手技シーンおよび観察対象の両方に応じて、観察対象に対して内視鏡の撮像光学系が予め設定された向きに配置される。臓器または他の観察組織の姿勢に応じて撮像光学系の姿勢が決まるため、個体差にばらつきがあったとしても、予め設定された内視鏡視野をより簡易かつ精度よく再現することができる。また、助手の鉗子操作等によって観察組織の姿勢または向きが変化したとしても、予め設定された内視鏡視野を簡易に得ることができる。
　上記態様に係る内視鏡システムは、前記相対パラメータが、前記撮像光学系の光軸に直交する方向に延びる長尺状の前記観察対象の前記光軸回りの傾き情報であり、前記プロセッサが、前記視野方向変更部および前記電動アームの少なくとも一方を制御することにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系の光軸回りの長尺状の前記観察対象の傾きを前記傾き情報に一致させることとしてもよい。
　この構成によって、手技シーンおよび観察対象の両方に応じて、内視鏡視野に対して腸や血管等が延びる方向を予め設定された向きに配置することができる。これにより、患者の個体差に、より対応した内視鏡視野を簡易に得ることができる。
　上記態様に係る内視鏡システムは、前記視野方向変更部が、前記内視鏡における前記撮像光学系の角度を変更可能な湾曲部であってもよい。その場合、前記内視鏡が、先端部に前記撮像光学系が配置された長尺部を備え、前記ライブラリデータが、ベース座標上の前記長尺部の長手軸の傾きと前記湾曲部の湾曲量との和によって決定される、ベース座標上の前記撮像光学系の向きに関するパラメータを含むこととしてもよい。
　この構成によって、ベース座標から見た撮像光学系の向きを一致させることができる。これにより、個体差に応じて観察組織の位置が変わったり内視鏡の長尺部の傾きが変わったりしても撮像光学系の向きは変わらないため、予め設定された内視鏡視野を簡易かつ精度よく再現することができる。
　上記態様に係る内視鏡システムは、前記内視鏡が、前記撮像光学系を収容する鏡筒部を有し、該鏡筒部の中心軸に対して前記撮像光学系の光軸が傾斜した状態で配置されている斜視鏡であり、前記視野方向変更部が、前記鏡筒部の前記中心軸回りの角度を変更することとしてもよい。
　鏡筒部の中心軸回りの角度を変更すると、鏡筒部の中心軸に対して一定の角度を有する斜視鏡の視野方向が鏡筒部の中心軸回りに変化することによって、斜視鏡の視野方向を斜め上方または斜め下方等に切り替えることができる。これにより、鏡筒部を中心軸回りに回転させるだけで、斜視鏡の視野方向を所望の観察対象に向けることができる。したがって、内視鏡として斜視鏡を採用した場合であっても、術者が指定した観察対象を内視鏡視野に容易に入れることができる。
　上記態様に係る内視鏡システムは、前記内視鏡が、前記撮像光学系を収容する鏡筒部を有し、該鏡筒部の中心軸と前記撮像光学系の光軸とが一致した状態で配置されている直視鏡であり、前記視野方向変更部が、前記撮像光学系によって取得される画像情報を表示する表示画面上の前記観察対象を捉える位置の変更に応じて、前記鏡筒部の前記中心軸に直交する回転軸回りの角度を変更することとしてもよい。
　視野方向変更部により、表示画面上の観察対象を捉える位置の変更に応じて、鏡筒部の中心軸に直交する回転軸回りの角度が変更されることによって、直視鏡の視野方向が、表示画面上の変更後の位置で観察対象を捉える向きに変更される。これにより、例えば、観察対象を捉える位置を表示画面の端に変更した場合は、直視鏡の視野方向が、観察対象を画角の端で捉える向きに変更されることによって、観察対象を覗き込む角度の内視鏡視野を作成することができる。したがって、内視鏡として直視鏡を採用した場合であっても、術者が指定した観察対象を内視鏡視野に容易に入れることができる。
　上記態様に係る内視鏡システムは、前記プロセッサが、前記撮像光学系によって取得される画像情報を処理することにより、前記観察対象を認識することとしてもよい。
　この構成によって、術者が画像情報から観察対象を特定する必要がなく、術者の手間をより低減することができる。
　上記態様に係る内視鏡システムは、前記撮像光学系によって取得される画像情報に基づいてユーザに前記観察対象を指定させる入力部を備えることとしてもよい。
　この構成によって、術者が所望の観察対象を選択することができる。
　本発明の第２態様は、手技シーンごとに関連付けられた内視鏡視野を実現するための複数のライブラリデータの内、任意の手技シーンに関連付けられた前記ライブラリデータを記憶装置から呼び出す工程と、呼び出された前記ライブラリデータに基づいて、観察対象を撮影する内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させる工程とを含み、各前記ライブラリデータが、前記内視鏡の撮像光学系と前記観察対象との相対的な位置および姿勢に関する相対パラメータを少なくとも１つ含む手技支援方法である。
　上記態様に係る手技支援方法は、前記撮像光学系によって取得される画像情報を処理することにより前記手技シーンを特定した後、特定された前記手技シーンに対応付けられている前記ライブラリデータを前記記憶装置から呼び出すこととしてもよい。
　上記態様に係る手技支援方法は、前記相対パラメータが、前記撮像光学系と前記観察対象との距離情報であり、前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系と前記観察対象との距離を前記距離情報に一致させることとしてもよい。
　上記態様に係る手技支援方法は、前記相対パラメータが、前記観察対象に対する前記撮像光学系の向き情報であり、前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記観察対象に対する前記撮像光学系の向きを前記向き情報に一致させることとしてもよい。
　上記態様に係る手技支援方法は、前記相対パラメータが、前記撮像光学系の光軸に直交する方向に延びる長尺状の前記観察対象の前記光軸回りの傾き情報であり、前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系の光軸回りの長尺状の前記観察対象の傾きを前記傾き情報に一致させることとしてもよい。
　上記態様に係る手技支援方法は、前記内視鏡が、前記撮像光学系の角度を変更可能な湾曲部を備え、該湾曲部により前記撮像光学系の角度を変更することによって、前記内視鏡の視野方向を変更することとしてもよい。その場合、前記内視鏡が、先端部に前記撮像光学系が配置された長尺部を備え、前記ライブラリデータが、ベース座標上の前記内視鏡の長尺部の長手軸の傾きと前記湾曲部の湾曲量との和によって決定される、ベース座標上の前記撮像光学系の向きに関するパラメータを含むこととしてもよい。
　上記態様に係る手技支援方法は、前記内視鏡が、前記撮像光学系を収容する鏡筒部を有し、該鏡筒部の中心軸に対して前記撮像光学系の光軸が傾斜した状態で配置されている斜視鏡であり、前記鏡筒部の前記中心軸回りの角度を変更することによって、前記内視鏡の視野方向を変更することとしてもよい。
　上記態様に係る手技支援方法は、前記内視鏡が、前記撮像光学系を収容する鏡筒部を有し、該鏡筒部の中心軸と前記撮像光学系の光軸とが一致した状態で配置されている直視鏡であり、前記撮像光学系によって取得される画像情報を表示する表示画面上の前記観察対象を捉える位置の変更に応じて、前記鏡筒部の前記中心軸に直交する回転軸回りの角度を変更することによって、前記内視鏡の視野方向を変更することとしてもよい。
　上記態様に係る手技支援方法は、前記撮像光学系によって取得される画像情報がプロセッサによって処理されることにより、前記観察対象が認識されることとしてもよい。
　上記態様に係る手技支援方法は、前記撮像光学系によって取得される画像情報に基づいて、ユーザによって前記観察対象が指定されることとしてもよい。
　本発明の第３態様は、手技シーンごとに関連付けられた内視鏡視野を実現するための複数のライブラリデータの内、任意の手技シーンに関連付けられた前記ライブラリデータを記憶装置から呼び出す工程と、呼び出された前記ライブラリデータに基づいて、観察対象を撮影する内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させる工程とをコンピュータに実行させ、各前記ライブラリデータが、前記内視鏡の撮像光学系と観察対象との相対的な位置および姿勢に関する相対パラメータを少なくとも１つ含む手技支援プログラムである。
　上記態様に係る手技支援プログラムは、前記撮像光学系によって取得される画像情報を処理することにより前記手技シーンを特定する工程と、特定された前記手技シーンに対応付けられている前記ライブラリデータを前記記憶装置から呼び出す工程とをコンピュータに実行させることとしてもよい。
　上記態様に係る手技支援プログラムは、前記相対パラメータが、前記撮像光学系と前記観察対象との距離情報であり、前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系と前記観察対象との距離を前記距離情報に一致させることとしてもよい。
　上記態様に係る手技支援プログラムは、前記相対パラメータが、前記観察対象に対する前記撮像光学系の向き情報であり、前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記観察対象に対する前記撮像光学系の向きを前記向き情報に一致させることとしてもよい。
　上記態様に係る手技支援プログラムは、前記相対パラメータが、前記撮像光学系の光軸に直交する方向に延びる長尺状の前記観察対象の前記光軸回りの傾き情報であり、前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系の光軸回りの長尺状の前記観察対象の傾きを前記傾き情報に一致させることとしてもよい。
　上記態様に係る手技支援プログラムは、前記内視鏡が、前記撮像光学系の角度を変更可能な湾曲部を備え、該湾曲部により前記撮像光学系の角度を変更することによって、前記内視鏡の視野方向を変更することとしてもよい。その場合、前記内視鏡が、先端部に前記撮像光学系が配置された長尺部を備え、前記ライブラリデータが、ベース座標上の前記長尺部の長手軸の傾きと前記湾曲部の湾曲量との和によって決定される、ベース座標上の前記撮像光学系の向きに関するパラメータを含むこととしてもよい。
　上記態様に係る手技支援プログラムは、前記内視鏡が、前記撮像光学系を収容する鏡筒部を有し、該鏡筒部の中心軸に対して前記撮像光学系の光軸が傾斜した状態で配置されている斜視鏡であり、前記鏡筒部の前記中心軸回りの角度を変更することによって、前記内視鏡の視野方向を変更することとしてもよい。
　上記態様に係る手技支援プログラムは、前記内視鏡が、前記撮像光学系を収容する鏡筒部を有し、該鏡筒部の中心軸と前記撮像光学系の光軸とが一致した状態で配置されている直視鏡であり、前記撮像光学系によって取得される画像情報を表示する表示画面上の前記観察対象を捉える位置の変更に応じて、前記鏡筒部の前記中心軸に直交する回転軸回りの角度を変更することによって、前記内視鏡の視野方向を変更することとしてもよい。
　上記態様に係る手技支援プログラムは、前記撮像光学系によって取得される画像情報を処理することにより、前記観察対象を認識する工程をコンピュータに実行させることとしてもよい。
　上記態様に係る手技支援プログラムは、前記撮像光学系によって取得される画像情報に基づいて、ユーザによって前記観察対象が指定されることとしてもよい。
　本発明によれば、処置の工程および観察対象に応じた観察視野を術者に提供することにより、術者の手間を低減しかつ処置をスムーズにすることができるという効果を奏する。
本発明の第１実施形態に係る内視鏡システムの概略構成図である。 電動スコープの概略構成と相対パラメータの一例を説明する図である。 制御装置による制御方法を説明する図ある。 本発明の第１実施形態に係る手技支援方法および手技支援プログラムを説明するフローチャートである。 電動スコープの傾きとカメラの向きとの関係を説明する図である。 ベース座標から見た撮像光学系の向きを説明する図である。 観察対象の姿勢とカメラの向きとの関係を説明する図である。 観察対象に対する撮像光学系の向きを説明する図である。 長尺状の観察対象が走行する方向とカメラの光軸回りの傾きとの関係を説明する図である。 長尺状の観察対象が走行する方向がモニタの画面に対して横方向を向いた状態の内視鏡視野の一例を示す図である。 長尺状の観察対象が走行する方向に合わせて電動スコープのロール角を調整する方法を説明する図である。 患者または手術台の姿勢に合わせて電動スコープのロール角を調整する方法を説明する図である。 通常時の手術台または患者の座標とベース座標との関係を示す図である。 傾いた手術台または患者の座標と、キャリブレーションしてないベース座標との関係を示す図である。 傾いた手術台または患者の座標と、キャリブレーションしたベース座標との関係を示す図である。 通常時の手術台または患者の座標とベース座標との関係を示す図である。 傾いた手術台または患者の座標と、ライブラリデータをキャリブレーションしてない場合の電動スコープの向きとの関係を示す図である。 傾いた手術台または患者の座標と、ライブラリデータをキャリブレーションした場合の電動スコープの向きとの関係を示す図である。 ＡＩによる手技シーンの判定に応じてメインコントローラがライブラリデータを切り替えることを説明する図である。 術者による手技シーンの特定に応じてメインコントローラがライブラリデータを切り替えることを説明する図である。 術者の指示に応じてメインコントローラがライブラリデータを切り替えることを説明する図である。 患者における処置位置に応じてメインコントローラがライブラリデータを切り替えることを説明する図である。 患者における刺入点を原点とした処置位置を説明する図である。 患者における刺入点を原点とした他の処置位置を説明する図である。 ライブラリデータとして視軸回りのロール角度を採用する場合の内視鏡システムの制御方法を説明する図ある。 俯瞰した内視鏡視野を作成する場合の内視鏡システムの制御方法を説明する図ある。 本発明の第２実施形態に係る内視鏡システムの斜視鏡の概略構成図である。 制御装置による制御方法を説明する図ある。 斜視鏡の視野方向が鏡筒部の長手軸回りに変化することを説明する図である。 斜視鏡の見上げの視野を説明する図である。 電動スコープの湾曲部をＵＰ方向に３０ｄｅｇ程度曲げたときの視野を説明する図である。 斜視鏡の見下げの視野を説明する図である。 電動スコープの湾曲部をＤＯＷＮ方向に３０ｄｅｇ程度曲げたときの視野を説明する図である。 カメラの視軸が軸線回りに回転することを説明する図である。 本発明の第３実施形態に係る内視鏡システムの直視鏡の概略構成図である。 制御装置による制御方法を説明する図ある。 カメラの視軸が軸線回りに回転することを説明する図である。 観察対象を内視鏡視野の中央において捉えた様子を示す図である。 観察対象が画面の中央に位置する様子を示す図である。 観察対象を画角の端で捉えた様子を示す図である。 観察対象を覗き込む角度の内視鏡視野によって、隠れて見えなかった箇所が見える様子を示す図である。
〔第１実施形態〕
　本発明の第１実施形態に係る内視鏡システム、手技支援方法および手技支援プログラムについて図面を参照して以下に説明する。
　本実施形態に係る内視鏡システム１は、図１に示されるように、患者の体腔内の画像を取得する電動スコープ（内視鏡）３と、電動スコープ３を支持するロボットアーム（電動アーム）５と、電動スコープ３およびロボットアーム５を制御する制御装置７等を備えている。図１において、符号９はビデオシステムセンタを示し、符号１１はモニタを示している。ビデオシステムセンタ９は、電動スコープ３と制御装置７とに接続されている。モニタ１１は、制御装置７に接続されている。
　電動スコープ３は、図２に示されるように、患者の体腔内に挿入される長尺の挿入部（長尺部）１３と、挿入部１３の先端部に備えられたカメラ（撮像光学系）１５と、挿入部１３の長手軸に対するカメラ１５の内視鏡視野の傾斜角度を変化させる湾曲部（視野方向変更部）１７と、湾曲部１７を駆動する湾曲モータおよび挿入部１３を長手軸回りにロール回転させるロールモータ（いずれも図示略）とを備えている。
　カメラ１５は、例えば、少なくとも一つのレンズと、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージャとによって構成されている。カメラ１５は、単眼カメラであってもよいし、ステレオカメラであってもよい。
　また、電動スコープ３は、カメラ１５の視野内に捉えた観察対象までの距離を測定する測距機能を有している。測距機能を実現する機構としては、公知の機構を採用することができる。
　ロボットアーム５は、例えば、電動スコープ３を任意の位置に移動可能に保持する汎用の６軸多関節型ロボットの電動ホルダである。ロボットアーム５には、各関節を動作させるモータ（図示略）が関節ごとに備えられている。
　制御装置７は、例えば、専用または汎用のコンピュータによって実現される。すなわち、制御装置７は、図１および図３に示されるように、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）またはＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のメインコントローラ（プロセッサ）２１、視野コントローラ（プロセッサ）２３および位置姿勢コントローラ（プロセッサ）２５と、これらの各コントローラ２１，２３，２５の作業領域として使用されるＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の主記憶装置（図示略）と、補助記憶装置（記憶装置）２７とを備えている。
　補助記憶装置２７は、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）またはＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等のコンピュータ読み取り可能な非一時的な記録媒体である。補助記憶装置２７には、各コントローラ２１，２３，２５に処理を実行させる手技支援プログラムと、手技シーンごとに関連付けられた電動スコープ３の内視鏡視野を実現するための複数のライブラリデータとが記憶されている。主記憶装置および補助記憶装置２７は、ネットワークを経由して制御装置７に接続されていることとしてもよい。
　手技支援プログラムは、例えば、図４に示されるように、電動スコープ３によって取得される画像情報を処理することにより、カメラ１５によって撮影される観察対象Ｓを認識する工程および手技シーンを特定する工程（ステップＳ２，Ｓ６）と、特定した手技シーンに関連付けられているライブラリデータを補助記憶装置２７から呼び出す工程（ステップＳ３，Ｓ４）と、呼び出されたライブラリデータに基づいて、カメラ１５の角度、電動スコープ３の位置および姿勢の少なくともいずれか一つを変化させる工程（ステップＳ４，Ｓ８）とを制御装置７の各コントローラ２１，２３，２５によって実行させる。
　メインコントローラ２１は、ビデオシステムセンタ９から内視鏡画像を取り込むキャプチャボード２９と、内視鏡画像と状態の信号を出力するグラフィックボード３１とを備えている。メインコントローラ２１は、内視鏡画像を処理することにより、内視鏡画像上の観察対象Ｓを認識するとともに、その内視鏡画像における手技シーンを特定する。そして、メインコントローラ２１は、特定した手技シーンに対応付けられているライブラリデータを補助記憶装置２７から呼び出す。
　視野コントローラ２３は、電動スコープ３に接続されており、電動スコープ３に湾曲動作指令を送る一方、電動スコープ３から湾曲角度情報を受け取る。
　位置姿勢コントローラ２５は、電動スコープ３およびロボットアーム５と、音声認識ユニット３３とに接続されている。位置姿勢コントローラ２５は、電動スコープ３に内視鏡動作指令を送る一方、電動スコープ３から挿入部１３の長手軸回りの回転量が入力される。また、位置姿勢コントローラ２５は、ロボットアーム５に内視鏡動作指令を送る一方、ロボットアーム５からロボットアーム５の位置および状態（姿勢）の信号を受け取る。
　また、制御装置７には、各種ユーザインタフェース（ＵＩ）として、ヘッドセット（入力部）３５、手元スイッチ（入力部）３７およびフットスイッチ（入力部）３９等が接続されている。ヘッドセット３５により、術者は音声によって内視鏡動作指令および動作切替指令等を入力することができる。ヘッドセット３５から入力される内視鏡動作指令および動作切替指令等は、音声認識ユニット３３を経由することによって位置姿勢コントローラ２５に送られる。
　手元スイッチ３７は、例えば処置具に取り付けられており、術者は手元の操作によって内視鏡動作指令を入力することができる。手元スイッチ３７から入力される内視鏡動作指令は、音声認識ユニット３３を経由することによって、位置姿勢コントローラ２５に送られる。フットスイッチ３９により、術者は足元の操作によって内視鏡動作指令および動作切替指令を入力することができる。フットスイッチ３９から入力される内視鏡動作指令および動作切替指令は、メインコントローラ２１に送られる。
　補助記憶装置２７に記憶される複数のライブラリデータは、電動スコープ３のカメラ１５とカメラ１５によって撮影される観察対象Ｓとの相対的な位置および姿勢に関する相対パラメータを少なくとも１つ含んでいる。相対パラメータとしては、例えば、スコープ軸ロール角度情報、カメラ１５と観察対象Ｓとの距離情報、および、電動スコープ３の湾曲部１７の湾曲量情報等が挙げられる。
　スコープ軸ロール角度情報は、図２に示されるように、電動スコープ３の挿入部１３の長手軸回りの初期状態からのロール角度である。カメラ１５と観察対象Ｓとの距離情報は、カメラ１５の視軸に沿う方向のカメラ１５と観察対象Ｓとの距離である。湾曲部１７の湾曲量情報は、電動スコープ３のスコープ軸に対するカメラ１５の向きである。以下、これらの情報をロール角度情報、距離情報および湾曲量情報という。つまり、補助記憶装置２７には、各手技シーンに適した内視鏡視野がそれぞれ手技シーンごとに予め設定されており、それらの各内視鏡視野を実現するためのロール角度情報、距離情報および湾曲量情報の少なくともいずれか一つが、各手技シーンに対応付けられて記憶されている。
　制御装置７は、任意の手技シーンに関連付けられているロール角度情報、距離情報および／または湾曲量情報を補助記憶装置２７から呼び出した後、呼び出したこれらの各情報に基づいて電動スコープ３の湾曲部１７およびロボットアーム５の少なくとも一方を制御する。
　例えば、制御装置７は、補助記憶装置２７から距離情報を呼び出した場合は、電動スコープ３の湾曲部１７およびロボットアーム５の少なくとも一方を制御することにより、観察対象Ｓの画像情報から算出されるカメラ１５と観察対象Ｓとの実際の距離を、呼び出した距離情報に一致させる。
　具体的には、メインコントローラ２１は、図３に示されるように、観察対象Ｓとの現在の距離測定値と補助記憶装置２７から呼び出した距離情報とを比較することにより、カメラ１５と観察対象Ｓとの距離を距離情報に一致させるための軌道を計算する。観察対象Ｓとの現在の距離測定値は、電動スコープ３の測距機能によって測定される。そして、メインコントローラ２１は、ロボットアーム５の関節制御指令と電動スコープ３の湾曲角度指令とに振り分けた後、位置姿勢コントローラ２５に関節制御指令を入力するとともに、視野コントローラ２３に湾曲角度指令を入力する。
　位置姿勢コントローラ２５は、関節制御指令に従い、ロボットアーム５の逆運動学を用いることによって、カメラ１５と観察対象Ｓとの距離を距離情報に一致させるために必要な各関節の駆動量を決定する。決定された各関節の駆動量は、各関節の角度指令（内視鏡動作指令）としてロボットアーム５の各モータに入力される。
　一方、視野コントローラ２３は、湾曲角度指令に従い、カメラ１５と観察対象Ｓとの距離を距離情報に一致させるために必要な湾曲部１７の湾曲角度を決定する。決定された湾曲部１７の湾曲角度は、モータ角度指令（湾曲動作指令）として電動スコープ３のモータに入力される。
　ロボットアーム５の各関節がそれぞれの角度指令に従って動作するとともに、電動スコープ３の湾曲部１７がモータ角度指令に従って湾曲することにより、カメラ１５と観察対象Ｓとの距離が距離情報に一致した内視鏡視野が得られる。
　また、例えば、制御装置７は、補助記憶装置２７から湾曲量情報を呼び出した場合は、電動スコープ３の湾曲部１７およびロボットアーム５の少なくとも一方を制御することにより、観察対象Ｓの画像情報から算出される観察対象Ｓに対するカメラ１５の向きを、呼び出した湾曲量情報に一致させる。
　具体的には、メインコントローラ２１は、湾曲部１７の現在の湾曲量と補助記憶装置２７から呼び出した湾曲量情報とを比較することにより、湾曲部１７の湾曲量を湾曲量情報に一致させるための軌道を計算する。そして、メインコントローラ２１は、ロボットアーム５の関節制御指令と電動スコープ３の湾曲角度指令とに振り分けた後、位置姿勢コントローラ２５に関節制御指令を入力するとともに、視野コントローラ２３に湾曲角度指令を入力する。
　位置姿勢コントローラ２５は、関節制御指令に従い、ロボットアーム５の逆運動学を用いることによって、湾曲部１７の湾曲量を湾曲量情報に一致させるために必要な各関節の駆動量を決定する。決定された各関節の駆動量は、各関節の角度指令（内視鏡動作指令）としてロボットアーム５の各モータに入力される。
　一方、視野コントローラ２３は、湾曲角度指令に従い、湾曲部１７の湾曲量を湾曲量情報に一致させるために必要な湾曲部１７の湾曲角度を決定する。決定された湾曲部１７の湾曲角度は、モータ角度指令（湾曲動作指令）として電動スコープ３のモータに入力される。
　ロボットアーム５の各関節がそれぞれの角度指令に従って動作するとともに、電動スコープ３の湾曲部１７がモータ角度指令に従って湾曲することにより、観察対象Ｓに対するカメラ１５の向きが湾曲量情報に一致した内視鏡視野が得られる。
　また、例えば、制御装置７は、補助記憶装置２７からロール角度情報を呼び出した場合は、ロボットアーム５を制御することにより、観察対象Ｓの画像情報から算出されるカメラ１５の光軸回りの観察対象Ｓの傾きを、呼び出したロール角度情報に一致させる。
　具体的には、メインコントローラ２１は、スコープ軸の現在のロール角度とロール角度情報とを比較することにより、スコープ軸のロール角度をロール角度情報に一致させるために必要なピボット点回りの位置および姿勢の変化量を決定する。決定されたピボット点回りの位置および姿勢の変化量は、位置姿勢指令として位置姿勢コントローラ２５に入力される。位置姿勢指令は、例えば、電動スコープ３のロール角、ピッチ角、ヨー角および進退量を含んでいる。
　位置姿勢コントローラ２５は、位置姿勢指令に従い、ロボットアーム５の逆運動学を用いることによって、スコープ軸のロール角度をロール角度情報に一致させるために必要な各関節の駆動量を決定する。決定された各関節の駆動量は、各関節の角度指令（内視鏡動作指令）としてロボットアーム５の各モータに入力される。ロボットアーム５の各関節がそれぞれの角度指令に従って動作することにより、カメラ１５の光軸回りの観察対象Ｓの傾きがロール角度情報に一致した内視鏡視野が得られる。
　位置姿勢コントローラ２５は、ロボットアーム５を制御すると、ロボットアーム５の順運動学を用いることによって、各関節の角度に基づいてオイラー角（ロール、ピッチ、ヨー）を計算する。これにより、スコープ軸の現在のロール角度が算出される。算出されたスコープ軸の現在のロール角度はメインコントローラ２１に記憶される。
　視野コントローラ２３は、電動スコープ３の湾曲部１７を制御すると、湾曲部１７のモータ角度を湾曲量に換算することにより、湾曲部１７の現在の湾曲量を算出する。算出された現在の湾曲量は、メインコントローラ２１に記憶される。
　次に、上記構成の内視鏡システム１、手技支援方法および手技支援プログラムの作用について、図４のフローチャートを参照して説明する。
　本実施形態に係る内視鏡システム１、手技支援方法および手技支援プログラムによって、術者による手技を支援するには、まず、電動スコープ３が患者の体内に挿入される（ステップＳ１）。そして、電動スコープ３のカメラ１５によって観察対象Ｓが撮影されることにより、画像情報が取得される。取得された画像情報は、ビデオシステムセンタ９を経由することによって、制御装置７のメインコントローラ２１に入力される。
　次いで、メインコントローラ２１により、入力された画像情報が処理されることによって、観察対象Ｓが認識されるとともに手技シーンが特定される（ステップＳ２）。そして、メインコントローラ２１により、特定された手技シーンに関連付けられているライブラリデータが補助記憶装置２７から呼び出された後（ステップＳ３）、展開用の内視鏡視野が作成される（ステップＳ４）。展開とは、例えば、組織を切開したり視認したりし易くするために、助手の鉗子等によって周辺組織を牽引することにより周辺組織にテンションを加える操作をいう。
　例えば、補助記憶装置２７から呼び出されたライブラリデータが距離情報である場合は、メインコントローラ２１により、カメラ１５と観察対象Ｓとの現在の距離測定値と距離情報とに基づいて、カメラ１５と観察対象Ｓとの距離を距離情報と一致させるための関節制御指令および湾曲角度指令が決定される。
　次いで、位置姿勢コントローラ２５により、関節制御指令に基づいて、ロボットアーム５の各関節の駆動量が決定される。同様に、視野コントローラ２３により、湾曲角度指令に基づいて、湾曲部１７の湾曲角度が決定される。そして、ロボットアーム５の各関節および電動スコープ３の湾曲部１７がそれぞれの指令に従って動作することにより、カメラ１５と観察対象Ｓとの距離が距離情報に一致する内視鏡視野が作成される。
　また、例えば、補助記憶装置２７から呼び出されたライブラリデータが湾曲量情報である場合は、メインコントローラ２１により、湾曲部１７の現在の湾曲量と湾曲量情報とに基づいて、湾曲部１７の湾曲量を湾曲量情報と一致させるための関節制御指令および湾曲角度指令が決定される。
　次いで、位置姿勢コントローラ２５により、関節制御指令に基づいて、ロボットアーム５の各関節の駆動量が決定される。同様に、視野コントローラ２３により、湾曲角度指令に従い、湾曲部１７の湾曲角度が決定される。そして、ロボットアーム５の各関節および電動スコープ３の湾曲部１７がそれぞれの指令に従って動作することにより、観察対象Ｓに対するカメラ１５の向きが湾曲量情報に一致する内視鏡視野が作成される。
　また、例えば、補助記憶装置２７から呼び出されたライブラリデータがロール角度情報である場合は、メインコントローラ２１により、スコープ軸の現在のロール角度とロール角度情報とに基づいて、スコープ軸のロール角度をロール角度情報に一致させるためのピボット点回りの位置姿勢指令が決定される。
　次いで、位置姿勢コントローラ２５により、位置姿勢指令に基づいて、各関節の駆動量が決定される。そして、ロボットアーム５の各関節がそれぞれの角度指令に従って動作することにより、カメラ１５の光軸回りの観察対象Ｓの傾きがロール角度情報に一致する内視鏡視野が作成される。
　次いで、作成された内視鏡視野において、助手の鉗子操作および展開の操作等が行われる（ステップＳ５）。
　続いて、術者による実際の処置に移ると、メインコントローラ２１により、カメラ１５によって新たに取得された画像情報が処理されることによって、観察対象Ｓが認識されるとともに手技シーンが特定される（ステップＳ６）。そして、メインコントローラ２１により、特定した手技シーンに関連付けられているライブラリデータが補助記憶装置２７から呼び出された後（ステップＳ７）、呼び出されたライブラリデータに基づいて電動スコープ３およびロボットアームが制御されることによって、処置用の内視鏡視野が作成される（ステップＳ８）。処置の内使用視野の作成方法は、展開用の内視鏡視野方法と同様であるので、説明を省略する。
　処置用の内視鏡視野が作成されると、作成された内視鏡視野において、術者による処置具の追従が開始される（ステップＳ９）。
　以上説明したように、本実施形態に係る内視鏡システム１、手技支援方法および手技支援プログラムによれば、制御装置７の作動により、任意の手技シーンに関連付けられたライブラリデータが補助記憶装置２７から呼び出された後、そのライブラリデータに基づいてロボットアーム５および電動スコープ３の湾曲部１７の少なくとも一方が制御される。この場合において、各ライブラリデータが電動スコープ３のカメラ１５と観察対象Ｓとの相対的な位置および姿勢に関する相対パラメータを含むので、手技シーンおよび観察対象Ｓの両方に応じた内視鏡視野を術者に提供することができる。したがって、術者の手間を低減しかつ処置をスムーズにすることができる。
　本実施形態においては、補助記憶装置２７からライブラリデータとして、距離情報、湾曲量情報およびロール角度情報のいずれか一つが呼び出される場合を例示して説明した。これに代えて、複数のライブラリデータが同時に呼び出されることとしてもよい。
　例えば、補助記憶装置２７からライブラリデータとして距離情報、湾曲量情報およびロール角度情報の３つが呼び出されると、位置姿勢コントローラ２５により、関節制御指令および位置姿勢指令に基づいて、カメラ１５と観察対象Ｓとの距離、湾曲部１７の湾曲量およびスコープ軸のロール角度を、それぞれ距離情報、湾曲量情報およびロール角度情報に一致させるために必要な各関節の駆動量が決定される。
　また、視野コントローラ２３により、湾曲角度指令に基づいて、カメラ１５と観察対象Ｓとの距離および湾曲部１７の湾曲量を、それぞれ距離情報および湾曲量情報に一致させるために必要な湾曲部１７の湾曲角度が決定される。
　次いで、ロボットアーム５の各関節が各角度指令に従って動作するとともに、電動スコープ３の湾曲部１７がモータ角度指令に従って湾曲することにより、カメラ１５と観察対象Ｓとの距離、観察対象Ｓに対するカメラ１５の向きおよびカメラ１５の光軸回りの観察対象Ｓの傾きが、それぞれ距離情報、湾曲量情報およびロール角度情報に一致した内視鏡視野が作成される。
　カメラ１５と観察対象Ｓとの距離、電動スコープ３の湾曲量およびスコープ軸のロール角度の３つが決まると、観察対象Ｓを基準として電動スコープ３の位置および姿勢が一意に決まる。したがって、事前に患者ごとにデータ登録する必要が無く、異なる患者であっても同じ物理量で内視鏡視野を作成することができる。
　本実施形態は以下のように変形することができる。
　本実施形態においては、メインコントローラ２１が、内視鏡画像を処理することによって観察対象Ｓを認識することとしたが、これに代えて、例えば、術者がヘッドセット３５、手元スイッチ３７およびフットスイッチ３９等のユーザインタフェース（ＵＩ）によって、観察対象を指定することとしてもよい。同様に、メインコントローラ２１が手技シーンを特定することに代えて、術者が手技シーンを特定することとしてもよい。
　また、本実施形態においては、ライブラリデータとして、電動スコープ３の湾曲部１７の湾曲量を例示して説明した。この場合、例えば、図５に示されるように、湾曲部１７の湾曲量は同じでも、電動スコープ３の傾きによっては、観察対象Ｓに対するカメラ１５の見上げ具合または見下ろし具合が変化する。
　そこで、湾曲量情報に代えて、例えば、図６に示されるように、ロボットアーム５のベースの中心を原点とするベース座標から見たカメラ１５の向き、すなわちベース座標を基準とした視軸の向きを示す情報をライブラリデータとして採用することとしてもよい。以下、この情報をベース座標から見た向き情報という。
　ベース座標から見たカメラ１５の向きは、ベース座標に対する電動スコープ３の傾きと湾曲部１７の湾曲量との和で決まる。ある手技シーンにおいて、ベース座標から見たカメラ１５の向きを、その手技シーンに関連付けられているベース座標から見た向き情報に一致させることにより、個体差等によって生体組織の位置の変化に応じて電動スコープ３の傾きが変わったとしても、カメラ１５の向きが変わるのを防ぐことができる。したがって、設定登録時の内視鏡視野をより簡単に精度よく再現することができる。
　また、ライブラリデータとして、湾曲部１７の湾曲量情報および視軸の向き情報を採用した場合は、例えば、図７に示されるように、助手の鉗子の操作等によって観察対象Ｓの姿勢が変化すると、観察対象Ｓに対するカメラ１５の覗き込む角度が相対的に変化することがある。
　そこで、ライブラリデータとして、例えば、図８に示されるように、観察対象Ｓに対するカメラ１５の向き、すなわち観察対象Ｓの座標から見た視軸の向きを示す情報を採用することとしてもよい。以下、この情報を対象から見た向き情報という。ある手技シーンにおいて、観察対象Ｓから見たカメラ１５の向きを、その手技シーンに関連付けられている対象から見た向き情報に一致させることにより、臓器や生体組織の姿勢に応じてカメラ１５の向きが決まる。したがって、助手の鉗子操作等によって生体組織側の姿勢または向きが変わったとしても、設定登録時と同じ内視鏡視野、すなわち覗き込み角度にすることができる。
　また、ライブラリデータとして、スコープ軸ロール角度情報を採用する場合は、例えば図９に示されるように、腸または血管等の長尺状の観察対象Ｓが走行する方向のカメラ１５の光軸回りの傾きを認識することとしてもよい。そして、ロール角度情報として、腸または血管等が走行する方向をモニタ１１の画面の横方向または縦方向に向けるパラメータを設定してもよい。
　実際の手技では、例えば、図１０に示されるように、腸または血管が走行する方向、すなわち剥離ラインが延びる方向を、モニタ１１の画面に対して横方向または縦方向に向ける視野の調整が行われる。ライブラリデータに基づく制御によって、腸または血管等が走行する方向をモニタ１１の画面の横方向または縦方向に向けることにより、患者の個体差に、より対応した内視鏡視野を得ることができる。図１０において、符号Ａは腸を示し、符号Ｂは神経束を示し、符号ＣはＩＭＡ（Ｉｎｆｅｒｉｏｒ　Ｍｅｓｅｎｔｅｒｉｃ　Ａｒｔｅｒｙ）を示し、符号Ｄは剥離ラインを示している。
　この場合、例えば、図１１に示されるように、腸または血管等の長尺状の観察対象Ｓが走行する方向を曲線によって近似した後、複数点の傾きを算出することによって、それらの傾きの平均角度を算出する。そして、電動スコープ３のロール角と、湾曲部１７のＵＤ（ＵＰ　ＤＯＷＮ）方向およびＬＲ（ＬＥＦＴ　ＲＩＧＨＴ）方向の湾曲角度とをそれぞれ調整することによって、平均角度と一致させることとしてもよい。
　また、患者または手術台の座標を予め入力または検出することによって、例えば、図１２に示されるように、患者または手術台の座標に対して電動スコープ３のロール角をＺ軸方向（通常は鉛直上向き）に合わせることとしてもよい。
　また、本実施形態においては、患者自身の傾きまたは患者が横たわる手術台の傾きに応じて、ライブラリデータまたはベース座標をキャリブレーションすることとしてもよい。例えば、図１３Ａ－１３Ｃに示されるように、患者または手術台の傾きを検出した後、検出した傾きをベース座標に加えることによって、ベース座標を補正することとしてもよい。また、例えば、図１４Ａ－図１４Ｃに示されるように、患者または手術台の傾きを検出した後、検出した傾きをライブラリデータに加えることによって、ライブラリデータを補正することとしてもよい。図１３Ａ－１３Ｃおよび図１４Ａ－図１４Ｃにおいて、符号Ｅは手術台または患者を示している。
　また、本実施形態においては、手技の流れを予めプログラムしておき、処置の工程すなわち手技シーンに応じて、各手技シーンに関連付けられているライブラリデータに切り替えられることとしてもい。この場合、例えば、図１５に示されるように、ＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）によって処置の工程を判定することにより、メインコントローラ２１がライブラリデータを切り替えることとしてもよい。
　処置の工程とは、例えば、処置している解剖学的な場所または切開等の術者の操作である。ＡＩにより、解剖学的な場所と切開等の術者の操作に基づいて、処置の工程が推定されることとしてもい。術者の操作としては、特定の血管の切離、出血に対する止血操作、脈管のクリップ、臓器の圧排操作および蛍光観察等が想定できる。
　また、処置の工程は術者が認識することとしてもよい。例えば、術者が音声またはボタン操作等のＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）を使用することによって、処置の工程を特定することとしてもよい。この場合、例えば、図１６に示されるように、術者がＵＩによって処置の工程を特定することにより、メインコントローラ２１がライブラリデータを切り替えることとしてもよい。
　また、例えば、図１７に示されるように、「次の処置の工程に移る」、「１つ前の処置の工程に戻る」または「ＩＭＡの切離の工程に移る」等の術者の指示に基づいて、メインコントローラ２１が、指定された手技シーンに関連付けられているライブラリデータに切り替えることとしてもよい。
　また、処置が進むにつれて患者に対するカメラ１５の位置が変化するため、例えば、患者に対するカメラ１５の位置および姿勢に基づいて、ライブラリデータが切り替えられることとしてもよい。図１８および図１９に示されるように、例えば、刺入点を原点、患者の頭側をゼロｄｅｇ、尾側を１８０ｄｅｇと定義した場合において、カメラ１５の向きが図１９の三角の枠内の処置を示す閾値Ａ未満のとき（例えば、カメラ１５の向きが２１０～１５０ｄｅｇ）は、メインコントローラ２１が、「直腸後腔に入るシーン」に関連付けられているライブラリデータを設定することとしてもよい。図１９において、符号Ｆは患者を示している。図２０も同様である。
　また、図１８および図２０に示されるように、カメラ１５の向きが図２０の三角の枠内の処置を示す閾値Ａ以上かつ閾値Ｂ未満のとき（例えば、カメラ１５の向きが１５０～１２０ｄｅｇ）は、メインコントローラ２１が、「内側アプローチ前半」に関連付けられているライブラリデータに切り替えることとしてもよい。
　メインコントローラ２１は、ＡＩを用いた組織認識によって認識した生体組織を観察対象Ｓとしてもよい。血管または臓器等の組織を予め機械学習等によって学習しておくことにより、学習済みの組織が画像内に映りこんだ際に、メインコントローラ２１によって自動的に観察対象Ｓとして設定することができる。
　また、メインコントローラ２１は、術者がＵＩを使用することによって指定した生体組織を観察対象Ｓとして認識してもよい。この場合、術者がタッチパネル等のＵＩを使用することによって、観察対象Ｓとする制裁組織を指定してもよいし、鉗子等の先端によって指し示した生体組織上の点を記憶することによって、記憶した生体組織を観察対象Ｓとしてもよい。このようにすることで、予め学習しておく必要が無い分、様々な生体組織を観察対象Ｓとして簡単に設定することができる。
　また、本実施形態においては、ライブラリデータとして、スコープ軸ロール角度を例示して説明したが、これに代えて、例えば、湾曲部１７よりも先端側のカメラ１５の光軸回り、すなわち視軸回りのロール角度を採用することとしてもよい。この場合、例えば、図２１に示されるように、位置姿勢コントローラ２５は、ロボットアーム５の順運動学に加えて電動スコープ３の手先の順運動学を用いることによって、ロボットアーム５の各関節の角度に基づいてオイラー角（ロール、ピッチ、ヨー）を計算することとすればよい。
　また、本実施形態は、患者の刺入点付近、例えばトロッカ付近まで電動スコープ３を後退させることによって俯瞰した内視鏡視野を作成した状態で、展開操作する際にも適用することができる。この場合、ライブラリデータとしては、例えば、図２２に示されるように、湾曲部１７の湾曲量がゼロの湾曲量情報、電動スコープ３の進退量がゼロのスコープ軸進退量情報、および、ロール角度が所望の値のスコープ軸ロール角度情報とを採用することとしてもよい。湾曲部１７の湾曲量がゼロの状態は、湾曲部１７が挿入部１３の長手軸方向を向いた状態である。電動スコープ３の進退量がゼロの状態は、電動スコープ３が患者の刺入点付近に位置する状態である。
　このようなライブラリデータに基づく制御により、湾曲部１７の湾曲量がゼロに戻された後、電動スコープ３の進退量がゼロ、すなわち抜去リミットまで後退されるとともに、電動スコープ３のロール角度が調整される。湾曲部１７が挿入部１３の長手軸に沿って真っすぐに延びた状態で電動スコープ３がトロッカ付近まで後退されることにより、完全に俯瞰した内視鏡視野を作成することができる。この場合、位置姿勢コントローラ２５は、ロボットアーム５の順運動学を用いることによって、ロボットアーム５の各関節の角度に基づいて電動スコープ３の現在の進退量を計算することとしてもよい。算出された電動スコープ３の現在の進退量はメインコントローラ２１に記憶される。
〔第２実施形態〕
　次に、本発明の第２実施形態に係る内視鏡システム、手技支援方法および手技支援プログラムについて説明する。
　本実施形態に係る内視鏡システム１は、電動スコープ３に代えて、図２３に示されるように、湾曲部１７を備えない斜視鏡（内視鏡）４１を備える点で第１実施形態と異なる。
　以下、第１実施形態に係る内視鏡システム１、手技支援方法および手技支援プログラムと構成を共通する箇所には、同一符号を付して説明を省略する。
　斜視鏡４１は、患者の体腔内に挿入される長尺の鏡筒部４３と、鏡筒部４３の先端部に備えられたカメラ（撮像光学系）１５とを備えている。斜視鏡４１は、鏡筒部４３の長手軸（中心軸）に対してカメラ１５の光軸が傾斜した状態で配置されている。鏡筒部４３は、鏡筒部４３の長手軸に対して傾斜しかつカメラ１５の光軸に直交する先端面４３ａを有している。符号４５は、ロボットアーム５によって支持される取付部である。また、斜視鏡４１は測距機能を有している。
　斜視鏡４１には、図２４に示されるように、電動のアタッチメント（視野方向変更部）４７が内蔵されている。電動のアタッチメント４７は、鏡筒部４３を長手軸回りに回転させる鏡筒部用モータ、および、カメラ１５の視軸を軸線回りに回転させる図示しないイメージローテータを回転駆動する視軸用モータ等（いずれも図示略）によって構成されている。
　鏡筒部用モータの駆動により、鏡筒部４３が長手軸回りに回転することによって、図２５に示されるように、鏡筒部４３の長手軸に対して一定の角度を有する先端面４３ａが向く方向およびカメラ１５の光軸方向、すなわち斜視鏡４１の視野方向を鏡筒部４３の長手軸回りに変化させることができる。
　斜視鏡４１の鏡筒部４３を長手軸回りに回転させることは、電動スコープ３において、湾曲量を一定として、湾曲部１７の湾曲方向におけるＵＰ、ＤＯＷＮ、ＬＥＦＴおよびＲＩＧＨＴの配分を変えることと同等である。例えば図２６に示されるように、斜視鏡４１の先端面４３ａおよびカメラ１５を斜め上方に向けたときの見上げの視野は、図２７に示されるように、電動スコープ３の湾曲部１７をＵＰ方向に３０ｄｅｇ程度曲げたときの視野と同等である。また、例えば図２８に示されるように、斜視鏡４１の先端面４３ａおよびカメラ１５を斜め下方に向けたときの見下ろしの視野は、図２９に示されるように、電動スコープ３の湾曲部１７をＤＯＷＮ方向に３０ｄｅｇ程度曲げたときの視野と同等である。
　また、視軸用モータの駆動により、例えば図３０に示されるように、カメラ１５の視軸を軸線回りに回転させることによって、カメラ１５によって取得される内視鏡画像の天地方向を視軸回りに回転させることができる。
　補助記憶装置２７に記憶される複数のライブラリデータは、斜視鏡４１のカメラ１５とカメラ１５によって撮影される観察対象Ｓとの相対的な位置および姿勢に関する相対パラメータを少なくとも１つ含んでいる。相対パラメータとしては、例えば、カメラ１５と観察対象Ｓとの距離情報、鏡筒部４３の長手軸回りの回転角度情報、および、視軸回りのロール角度情報等が挙げられる。視軸回りのロール角度情報は、カメラ１５の視軸の軸線回りの角度である。以下、これらの情報を距離情報、鏡筒部角度情報および視軸回りのロール角度情報という。補助記憶装置２７には、手技シーンごとに予め設定された各内視鏡視野を実現するための距離情報、鏡筒部角度情報および視軸回りのロール角度情報の少なくともいずれか一つが、各手技シーンに対応付けられて記憶されている。
　手技支援方法は、カメラ１５の角度、電動スコープ３の位置および姿勢の少なくともいずれか一つを変化させる工程（第１実施形態のステップＳ４，Ｓ８）に代えて、呼び出されたライブラリデータに基づいて、鏡筒部４３の長手軸回りの角度、斜視鏡４１の位置および姿勢の少なくともいずれか一つを変化させる工程を含む。手技支援プログラムは、その工程を制御装置７の各コントローラ２１，２３，２５によって実行させる。
　制御装置７は、例えば、補助記憶装置２７から距離情報を呼び出した場合は、電動のアタッチメント４７およびロボットアーム５の少なくとも一方を制御することにより、観察対象Ｓの画像情報から算出されるカメラ１５と観察対象Ｓとの実際の距離を、呼び出した距離情報に一致させる。具体的には、メインコントローラ２１は、図２４に示されるように、観察対象Ｓとの現在の距離測定値と呼び出した距離情報とを比較することにより、カメラ１５と観察対象Ｓとの距離を距離情報に一致させるための軌道を計算する。そして、メインコントローラ２１は、ピボット点回りの位置および姿勢の変化量を示す位置姿勢指令と、視軸回りの角度指令と、鏡筒部角度指令とに振り分けた後、位置姿勢コントローラ２５に位置姿勢指令を入力するとともに、視野コントローラ２３に視軸回りの角度指令および鏡筒部角度指令を入力する。
　位置姿勢コントローラ２５は、位置姿勢指令に従い、ロボットアーム５の逆運動学を用いることによって、カメラ１５と観察対象Ｓとの距離を距離情報に一致させるために必要な各関節の駆動量を決定する。決定された各関節の駆動量は、各関節の角度指令（内視鏡動作指令）としてロボットアーム５の各モータに入力される。
　一方、視野コントローラ２３は、視軸回りの角度指令および鏡筒部角度指令に従い、カメラ１５と観察対象Ｓとの距離を距離情報に一致させるために必要な視軸回りの回転角度および鏡筒部４３の回転角度を決定する。決定された視軸回りの回転角度および鏡筒部４３の回転角度は、それぞれモータ角度指令として電動のアタッチメント４７の視軸用モータおよび鏡筒部用モータに入力される。
　ロボットアーム５の各関節がそれぞれの角度指令に従って動作するとともに、電動のアタッチメント４７の各モータが各モータ角度指令に従って駆動することにより、カメラ１５と観察対象Ｓとの距離が距離情報に一致した内視鏡視野が得られる。
　また、制御装置７は、補助記憶装置２７から鏡筒部角度情報を呼び出した場合は、まず、メインコントローラ２１によって、鏡筒部４３の長手軸回りの現在の角度と呼び出した鏡筒部角度情報とを比較することにより、鏡筒部４３の回転角度を鏡筒部角度情報に一致させるための軌道を計算する。そして、位置姿勢コントローラ２５および視野コントローラ２３によって、電動のアタッチメント４７およびロボットアーム５の少なくとも一方を制御する。これにより、観察対象Ｓの画像情報から算出される鏡筒部４３の長手軸回りの角度を、呼び出した鏡筒部角度情報に一致させる。位置姿勢コントローラ２５および視野コントローラ２３による制御は、距離情報の場合と同様であるので説明を省略する。
　また、制御装置７は、補助記憶装置２７から視軸回りのロール角度情報を呼び出した場合は、メインコントローラ２１によって、カメラ１５の視軸の軸線回りの現在の角度と呼び出した視軸回りのロール角度情報とを比較することにより、視軸の軸線回りの角度を視軸回りのロール角度情報に一致させるための軌道を計算する。そして、位置姿勢コントローラ２５および視野コントローラ２３によって、電動のアタッチメント４７およびロボットアーム５の少なくとも一方を制御することにより、観察対象Ｓの画像情報から算出されるカメラ１５の視軸の軸線回りの角度を、呼び出した視軸回りのロール角度情報に一致させる。位置姿勢コントローラ２５および視野コントローラ２３による制御は、距離情報の場合と同様であるので説明を省略する。
　視野コントローラ２３は、電動のアタッチメント４７の鏡筒部用モータを駆動すると、鏡筒部用モータのモータ角度を鏡筒部４３の長手軸回りの角度量に換算することにより、鏡筒部４３の現在の角度量を算出する。また、視野コントローラ２３は、電動のアタッチメント４７の視軸用モータを駆動すると、視軸用モータのモータ角度を視軸の軸線回りの角度量に換算することにより、視軸の軸線回りの現在の角度量を算出する。算出された鏡筒部４３の現在の角度量および視軸の軸線回りの現在の角度量は、それぞれメインコントローラ２１に記憶される。
　本実施形態に係る内視鏡システム１、手技支援方法および手技支援プログラムによれば、各ライブラリデータが斜視鏡４１のカメラ１５と観察対象Ｓとの相対的な位置および姿勢に関する相対パラメータを含むので、手技シーンおよび観察対象Ｓの両方に応じた内視鏡視野を術者に提供することができる。この場合において、例えば、鏡筒部角度情報に基づいて、鏡筒部４３の長手軸回りの角度が変更されると、鏡筒部４３の長手軸に対して一定の角度を有する斜視鏡４１の視野方向が鏡筒部４３の長手軸回りに変化することによって、斜視鏡４１の視野方向が斜め上方または斜め下方等に切り替えられる。これにより、鏡筒部４３を長手軸回りに回転させるだけで、斜視鏡４１の視野方向を所望の観察対象に向けることができる。したがって、内視鏡として斜視鏡４１を採用した場合であっても、術者が指定した観察対象を内視鏡視野に容易に入れることができる。
〔第３実施形態〕
　次に、本発明の第３実施形態に係る内視鏡システム、手技支援方法および手技支援プログラムについて説明する。
　本実施形態に係る内視鏡システム１は、電動スコープ３および斜視鏡４１に代えて、例えば、図３１に示されるように、湾曲部１７を備えない直視鏡（内視鏡）５１を備える点で第１，第２実施形態と異なる。
　以下、第１，第２実施形態に係る内視鏡システム１、手技支援方法および手技支援プログラムと構成を共通する箇所には、同一符号を付して説明を省略する。
　直視鏡５１は、患者の体腔内に挿入される長尺の鏡筒部５３と、鏡筒部５３の先端部に備えられたカメラ（撮像光学系）１５とを備えている。直視鏡５１は、鏡筒部５３の長手軸（中心軸）とカメラ１５の光軸とが一致した状態で配置されている。鏡筒部５３は、鏡筒部５３の長手軸およびカメラ１５の光軸に直交する先端面５３ａを有している。符号５５は、ロボットアーム５によって支持される取付部である。また、直視鏡５１は測距機能を有している。
　直視鏡５１には、図３２に示されるように、電動のアタッチメント５７が内蔵されている。電動のアタッチメント５７は、カメラ１５の視軸を軸線回り、すなわち鏡筒部５３の長手軸回りに回転させる視軸用モータ等によって構成されている。直視鏡５１は、図３３に示されるように、カメラ１５の視軸を軸線回りに回転させることによって、カメラ１５によって取得される内視鏡画像の天地方向を視軸回りに回転させることができる。
　ロボットアーム５は、モニタ１１の画面上の観察対象を捉える位置の変更に応じて、鏡筒部５３の長手軸に直交するピボット軸（回転軸）回りの角度を変更する視野方向変更部として機能する。例えば、生体組織等における観察対象がモニタ１１の画面中央で捉えられている状態から、観察対象を捉える位置を画面上方の端に変更すると、図３４および図３６に示されるように、直視鏡５１の取付部５５をピボット点Ｐとして、ピボット点Ｐ回りの角度が変更される。これにより、直視鏡５１の視野方向が、画面上方の端で観察対象を捉える向きに変更される結果、例えば図３５および図３７に示されるように、モニタ１１の画面上の観察対象の位置がカメラ１５の光軸に交差する方向にオフセットされる。
　図３４および図３５に示されるように、観察対象を内視鏡視野の中央において捉えた場合は、観察対象が画面の中央に位置するものの、隠れて見え難い箇所がある。これに対し、図３６および図３７に示されるように、観察対象を画角の端で捉えた場合は、観察対象が画面の端に位置し、隠れて見えなかった箇所が見える状態になる。つまり、直視鏡５１の視野方向を、観察対象を画角の端で捉える向きに変更することにより、観察対象を覗き込む角度の内視鏡視野を得ることができる。図３４，３６において、符号５９は処置具を示し、符号Ｓは観察対象を示している。
　補助記憶装置２７に記憶される複数のライブラリデータは、直視鏡５１のカメラ１５とカメラ１５によって撮影される観察対象Ｓとの相対的な位置および姿勢に関する相対パラメータを少なくとも１つ含んでいる。相対パラメータとしては、例えば、カメラ１５と観察対象Ｓとの距離情報、画面上の観察対象を捉える位置情報、および、視軸回りのロール角度情報等が挙げられる。以下、これらの情報を距離情報、対象位置情報および視軸回りのロール角度情報という。補助記憶装置２７には、手技シーンごとに予め設定された各内視鏡視野を実現するための距離情報、対象位置情報および視軸回りのロール角度情報の少なくともいずれか一つが、各手技シーンに対応付けられて記憶されている。例えば、ヘッドセット３５による音声操作または手元スイッチ３７によるボタン操作等によって、モニタ１１の画面上の観察対象を捉えたい所望の位置を対象位置情報として設定することとしてもよい。
　手技支援方法は、カメラ１５の角度、電動スコープ３の位置および姿勢の少なくともいずれか一つを変化させる工程（第１実施形態のステップＳ４，Ｓ８）に代えて、呼び出されたライブラリデータに基づいて、直視鏡５１のピボット点Ｐ回りの角度、直視鏡５１の位置および姿勢の少なくともいずれか一つを変化させる工程を含み、手技支援プログラムは、その工程を制御装置７の各コントローラ２１，２３，２５によって実行させる。
　制御装置７は、例えば、補助記憶装置２７から距離情報を呼び出した場合は、電動のアタッチメント５７およびロボットアーム５の少なくとも一方を制御することにより、観察対象Ｓの画像情報から算出されるカメラ１５と観察対象Ｓとの実際の距離を、呼び出した距離情報に一致させる。具体的には、メインコントローラ２１は、図３２に示されるように、観察対象Ｓとの現在の距離測定値と呼び出した距離情報とを比較することにより、カメラ１５と観察対象Ｓとの距離を距離情報に一致させるための軌道を計算する。そして、メインコントローラ２１は、ピボット点回りの位置および姿勢の変化量を示す位置姿勢指令と視軸回りの角度指令とに振り分けた後、位置姿勢コントローラ２５に位置姿勢指令を入力するとともに、視野コントローラ２３に視軸回りの角度指令を入力する。
　位置姿勢コントローラ２５は、位置姿勢指令に従い、ロボットアーム５の逆運動学を用いることによって、カメラ１５と観察対象Ｓとの距離を距離情報に一致させるために必要な各関節の駆動量を決定する。決定された各関節の駆動量は、各関節の角度指令（内視鏡動作指令）としてロボットアーム５の各モータに入力される。
　一方、視野コントローラ２３は、視軸回りの角度指令に従い、カメラ１５と観察対象Ｓとの距離を距離情報に一致させるために必要な視軸回りの回転角度を決定する。決定された視軸回りの回転角度は、モータ角度指令として電動のアタッチメント５７の視軸用モータに入力される。
　ロボットアーム５の各関節がそれぞれの角度指令に従って動作するとともに、電動のアタッチメント５７の視軸用モータがモータ角度指令に従って回転することにより、カメラ１５と観察対象Ｓとの距離が距離情報に一致した内視鏡視野が得られる。
　また、制御装置７は、補助記憶装置２７から対象位置情報を呼び出した場合は、メインコントローラ２１によって、モニタ１１の画面上の観察対象の現在の位置と呼び出した対象位置情報とを比較することにより、モニタ１１の画面上の観察対象の位置を対象位置情報に一致させるための軌道を計算する。そして、位置姿勢コントローラ２５および視野コントローラ２３によって、電動のアタッチメント５７およびロボットアーム５の少なくとも一方を制御する。これにより、観察対象Ｓの画像情報から算出される画面上の観察対象の位置を、呼び出した対象位置情報に一致させる。位置姿勢コントローラ２５および視野コントローラ２３による制御は、距離情報の場合と同様であるので説明を省略する。
　また、制御装置７は、補助記憶装置２７から視軸回りのロール角度情報を呼び出した場合は、メインコントローラ２１によって、カメラ１５の視軸の軸線回りの現在の角度と呼び出した視軸回りのロール角度情報とを比較することにより、視軸の軸線回りの角度を視軸回りのロール角度情報に一致させるための軌道を計算する。そして、位置姿勢コントローラ２５および視野コントローラ２３によって、電動のアタッチメント５７およびロボットアーム５の少なくとも一方を制御することにより、観察対象Ｓの画像情報から算出されるカメラ１５の視軸の軸線回りの角度を、呼び出した視軸回りのロール角度情報に一致させる。位置姿勢コントローラ２５および視野コントローラ２３による制御は、距離情報の場合と同様であるので説明を省略する。
　視野コントローラ２３は、電動のアタッチメント５７の視軸用モータを駆動すると、視軸用モータのモータ角度を視軸の軸線回りの角度量に換算することにより、視軸の軸線回りの現在の角度量を算出する。算出された現在の角度量は、メインコントローラ２１に記憶される。
　本実施形態に係る内視鏡システム１、手技支援方法および手技支援プログラムによれば、各ライブラリデータが直視鏡５１のカメラ１５と観察対象Ｓとの相対的な位置および姿勢に関する相対パラメータを含むので、手技シーンおよび観察対象Ｓの両方に応じた内視鏡視野を術者に提供することができる。この場合において、例えば、対象位置情報に基づいて、モニタ１１の画面上の観察対象を捉える位置が画面の端に変更されると、直視鏡５１のピボット軸Ｐ回りの角度が変更されることによって、直視鏡５１の視野方向が、観察対象を画角の端で捉える向きに変更される。これにより、観察対象を覗き込む角度の内視鏡視野を作成することができる。したがって、内視鏡として直視鏡５１を採用した場合であっても、術者が指定した観察対象を内視鏡視野に容易に入れることができる。
　以上、本発明の各実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明を上記各実施形態および各変形例に適用したものに限定されることなく、これらの実施形態および変形例を適宜組み合わせた実施形態に適用してもよく、特に限定されるものではない。
　また、例えば、補助記憶装置２７が、ライブラリデータごとに、各ライブラリデータを特定可能なメタデータとともに記憶しておくこととしてもよい。この場合、メインコントローラ２１は、術者が手技シーンに応じて入力するメタデータを取得することとしてもよいし、あるいは、画像情報を処理することによって特定される手技シーンに対応するメタデータを取得することとしてもよい。そして、メインコントローラ２１は、取得したメタデータに対応するライブラリデータを補助記憶装置２７から呼び出すこととしてもよい。
　また、例えば、本実施形態においては、電動アームとして６軸多関節型ロボットのロボットアーム５を例示して説明したが、電動アームは６自由度である必要はなく、それよりも少ない自由度のロボットアームであってもよい。例えば、ロール軸と２個のピッチ軸からなり、先端が３自由度動作可能な３つの関節を持つロボットアームを採用することとしてもよい。この場合、例えば、ロボットアームが電動スコープ３を回転させる電動アタッチメントを有していてもよい。また、先端にロール関節を有する４自由度構成のロボットアームを採用することとしてもよい。
　１　　　内視鏡システム
　３　　　電動スコープ（内視鏡）
　５　　　ロボットアーム（電動アーム、視野方向変更部）
　１３　　挿入部（長尺部）
　１７　　湾曲部
　２１　　メインコントローラ（プロセッサ）
　２３　　湾曲コントローラ（プロセッサ）
　２５　　位置姿勢コントローラ（プロセッサ）
　２７　　補助記憶装置（記憶装置）
　３５　　ヘッドセット（入力部）
　３７　　手元スイッチ（入力部）
　３９　　フットスイッチ（入力部）      
　４１　　斜視鏡（内視鏡）
　４３　　鏡筒部
　４７　　電動のアタッチメント（視野方向変更部）
　５１　　直視鏡（内視鏡）
　５３　　鏡筒部
　Ｓ　　　観察対象

Claims (33)

  1. 　観察対象を撮影する撮像光学系を備える内視鏡と、
    　該内視鏡を支持した状態で前記内視鏡の位置および姿勢を変化させる電動アームと、
    　前記内視鏡の視野方向を変更可能な視野方向変更部と、
    　手技シーンごとに関連付けられた内視鏡視野を実現するための複数のライブラリデータを記憶する記憶装置と、
    　少なくとも１つのプロセッサとを備え、
    　前記ライブラリデータが、前記撮像光学系と前記観察対象との相対的な位置および姿勢に関する相対パラメータを少なくとも１つ含み、
    　前記プロセッサが、任意の前記手技シーンに関連付けられている前記ライブラリデータを前記記憶装置から呼び出した後、呼び出した前記ライブラリデータに基づいて前記視野方向変更部および前記電動アームの少なくとも一方を制御する内視鏡システム。
  2. 　前記プロセッサが、前記撮像光学系によって取得される画像情報を処理することにより前記手技シーンを特定した後、特定した前記手技シーンに対応付けられている前記ライブラリデータを前記記憶装置から呼び出す請求項１に記載の内視鏡システム。
  3. 　前記相対パラメータが、前記撮像光学系と前記観察対象との距離情報であり、
    　前記プロセッサが、前記視野方向変更部および前記電動アームの少なくとも一方を制御することにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系と前記観察対象との距離を前記距離情報に一致させる請求項１または請求項２に記載の内視鏡システム。
  4. 　前記相対パラメータが、前記観察対象に対する前記撮像光学系の向き情報であり、
    　前記プロセッサが、前記視野方向変更部および前記電動アームの少なくとも一方を制御することにより、前記撮像光学系によって取得される画像情報から算出される前記観察対象に対する前記撮像光学系の向きを前記向き情報に一致させる請求項１または請求項２に記載の内視鏡システム。
  5. 　前記相対パラメータが、前記撮像光学系の光軸に直交する方向に延びる長尺状の前記観察対象の前記光軸回りの傾き情報であり、
    　前記プロセッサが、前記視野方向変更部および前記電動アームの少なくとも一方を制御することにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系の光軸回りの長尺状の前記観察対象の傾きを前記傾き情報に一致させる請求項１または請求項２に記載の内視鏡システム。
  6. 　前記視野方向変更部が、前記内視鏡における前記撮像光学系の角度を変更可能な湾曲部である請求項１から請求項５のいずれかに記載の内視鏡システム。
  7. 　前記内視鏡が、先端部に前記撮像光学系が配置された長尺部を備え、
    　前記ライブラリデータが、ベース座標上の前記長尺部の長手軸の傾きと前記湾曲部の湾曲量との和によって決定される、ベース座標上の前記撮像光学系の向きに関するパラメータを含む請求項６に記載の内視鏡システム。
  8. 　前記内視鏡が、前記撮像光学系を収容する鏡筒部を有し、該鏡筒部の中心軸に対して前記撮像光学系の光軸が傾斜した状態で配置されている斜視鏡であり、
    　前記視野方向変更部が、前記鏡筒部の前記中心軸回りの角度を変更する請求項１から請求項５のいずれかに記載の内視鏡システム。
  9. 　前記内視鏡が、前記撮像光学系を収容する鏡筒部を有し、該鏡筒部の中心軸と前記撮像光学系の光軸とが一致した状態で配置されている直視鏡であり、
    　前記視野方向変更部が、前記撮像光学系によって取得される画像情報を表示する表示画面上の前記観察対象を捉える位置の変更に応じて、前記鏡筒部の前記中心軸に直交する回転軸回りの角度を変更する請求項１から請求項５のいずれかに記載の内視鏡システム。
  10. 　前記プロセッサが、前記撮像光学系によって取得される画像情報を処理することにより、前記観察対象を認識する請求項１から請求項９のいずれかに記載の内視鏡システム。
  11. 　前記撮像光学系によって取得される画像情報に基づいてユーザに前記観察対象を指定させる入力部を備える請求項１から請求項９のいずれかに記載の内視鏡システム。
  12. 　手技シーンごとに関連付けられた内視鏡視野を実現するための複数のライブラリデータの内、任意の手技シーンに関連付けられた前記ライブラリデータを記憶装置から呼び出す工程と、
    　呼び出された前記ライブラリデータに基づいて、観察対象を撮影する内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させる工程とを含み、
    　各前記ライブラリデータが、前記内視鏡の撮像光学系と前記観察対象との相対的な位置および姿勢に関する相対パラメータを少なくとも１つ含む手技支援方法。
  13. 　前記撮像光学系によって取得される画像情報を処理することにより前記手技シーンを特定した後、特定された前記手技シーンに対応付けられている前記ライブラリデータを前記記憶装置から呼び出す請求項１２に記載の手技支援方法。
  14. 　前記相対パラメータが、前記撮像光学系と前記観察対象との距離情報であり、
    　前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系と前記観察対象との距離を前記距離情報に一致させる請求項１２または請求項１３に記載の手技支援方法。
  15. 　前記相対パラメータが、前記観察対象に対する前記撮像光学系の向き情報であり、
    　前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記観察対象に対する前記撮像光学系の向きを前記向き情報に一致させる請求項１２または請求項１３に記載の手技支援方法。
  16. 　前記相対パラメータが、前記撮像光学系の光軸に直交する方向に延びる長尺状の前記観察対象の前記光軸回りの傾き情報であり、
    　前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系の光軸回りの長尺状の前記観察対象の傾きを前記傾き情報に一致させる請求項１２または請求項１３に記載の手技支援方法。
  17. 　前記内視鏡が、前記撮像光学系の角度を変更可能な湾曲部を備え、
    　該湾曲部により前記撮像光学系の角度を変更することによって、前記内視鏡の視野方向を変更する請求項１２から請求項１６のいずれかに記載の手技支援方法。
  18. 　前記内視鏡が、先端部に前記撮像光学系が配置された長尺部を備え、
    　前記ライブラリデータが、ベース座標上の前記内視鏡の長尺部の長手軸の傾きと前記湾曲部の湾曲量との和によって決定される、ベース座標上の前記撮像光学系の向きに関するパラメータを含む請求項１７に記載の手技支援方法。
  19. 　前記内視鏡が、前記撮像光学系を収容する鏡筒部を有し、該鏡筒部の中心軸に対して前記撮像光学系の光軸が傾斜した状態で配置されている斜視鏡であり、
    　前記鏡筒部の前記中心軸回りの角度を変更することによって、前記内視鏡の視野方向を変更する請求項１２から請求項１６のいずれかに記載の手技支援方法。
  20. 　前記内視鏡が、前記撮像光学系を収容する鏡筒部を有し、該鏡筒部の中心軸と前記撮像光学系の光軸とが一致した状態で配置されている直視鏡であり、
    　前記撮像光学系によって取得される画像情報を表示する表示画面上の前記観察対象を捉える位置の変更に応じて、前記鏡筒部の前記中心軸に直交する回転軸回りの角度を変更することによって、前記内視鏡の視野方向を変更する請求項１２から請求項１６のいずれかに記載の手技支援方法。
  21. 　前記撮像光学系によって取得される画像情報がプロセッサによって処理されることにより、前記観察対象が認識される請求項１２から請求項２０のいずれかに記載の手技支援方法。
  22. 　前記撮像光学系によって取得される画像情報に基づいて、ユーザによって前記観察対象が指定される請求項１２から請求項２１のいずれかに記載の手技支援方法。
  23. 　手技シーンごとに関連付けられた内視鏡視野を実現するための複数のライブラリデータの内、任意の手技シーンに関連付けられた前記ライブラリデータを記憶装置から呼び出す工程と、
    　呼び出された前記ライブラリデータに基づいて、観察対象を撮影する内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させる工程とをコンピュータに実行させ、
    　各前記ライブラリデータが、前記内視鏡の撮像光学系と観察対象との相対的な位置および姿勢に関する相対パラメータを少なくとも１つ含む手技支援プログラム。
  24. 　前記撮像光学系によって取得される画像情報を処理することにより前記手技シーンを特定する工程と、
    　特定された前記手技シーンに対応付けられている前記ライブラリデータを前記記憶装置から呼び出す工程とをコンピュータに実行させる請求項２３に記載の手技支援プログラム。
  25. 　前記相対パラメータが、前記撮像光学系と前記観察対象との距離情報であり、
    　前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系と前記観察対象との距離を前記距離情報に一致させる請求項２３または請求項２４に記載の手技支援プログラム。
  26. 　前記相対パラメータが、前記観察対象に対する前記撮像光学系の向き情報であり、
    　前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記観察対象に対する前記撮像光学系の向きを前記向き情報に一致させる請求項２３または請求項２４に記載の手技支援プログラム。
  27. 　前記相対パラメータが、前記撮像光学系の光軸に直交する方向に延びる長尺状の前記観察対象の前記光軸回りの傾き情報であり、
    　前記内視鏡の視野方向、位置および姿勢の少なくともいずれか一つを変化させることにより、前記撮像光学系によって取得される画像情報から算出される前記撮像光学系の光軸回りの長尺状の前記観察対象の傾きを前記傾き情報に一致させる請求項２３または請求項２４に記載の手技支援プログラム。
  28. 　前記内視鏡が、前記撮像光学系の角度を変更可能な湾曲部を備え、
    　該湾曲部により前記撮像光学系の角度を変更することによって、前記内視鏡の視野方向を変更する請求項２３から請求項２７のいずれかに記載の手技支援プログラム。
  29. 　前記内視鏡が、先端部に前記撮像光学系が配置された長尺部を備え、
    　前記ライブラリデータが、ベース座標上の前記長尺部の長手軸の傾きと前記湾曲部の湾曲量との和によって決定される、ベース座標上の前記撮像光学系の向きに関するパラメータを含む請求項２８に記載の手技支援プログラム。
  30. 　前記内視鏡が、前記撮像光学系を収容する鏡筒部を有し、該鏡筒部の中心軸に対して前記撮像光学系の光軸が傾斜した状態で配置されている斜視鏡であり、
    　前記鏡筒部の前記中心軸回りの角度を変更することによって、前記内視鏡の視野方向を変更する請求項２３から請求項２７のいずれかに記載の手技支援プログラム。
  31. 　前記内視鏡が、前記撮像光学系を収容する鏡筒部を有し、該鏡筒部の中心軸と前記撮像光学系の光軸とが一致した状態で配置されている直視鏡であり、
    　前記撮像光学系によって取得される画像情報を表示する表示画面上の前記観察対象を捉える位置の変更に応じて、前記鏡筒部の前記中心軸に直交する回転軸回りの角度を変更することによって、前記内視鏡の視野方向を変更する請求項２３から請求項２７のいずれかに記載の手技支援プログラム。
  32. 　前記撮像光学系によって取得される画像情報を処理することにより、前記観察対象を認識する工程をコンピュータに実行させる請求項２３から請求項３１のいずれかに記載の手技支援プログラム。
  33. 　前記撮像光学系によって取得される画像情報に基づいて、ユーザによって前記観察対象が指定される請求項２３から請求項３２のいずれかに記載の手技支援プログラム。
PCT/JP2023/010648 2022-04-05 2023-03-17 内視鏡システム、手技支援方法および手技支援プログラム WO2023195326A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202263327416P 2022-04-05 2022-04-05
US63/327,416 2022-04-05

Publications (1)

Publication Number Publication Date
WO2023195326A1 true WO2023195326A1 (ja) 2023-10-12

Family

ID=88242717

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/010648 WO2023195326A1 (ja) 2022-04-05 2023-03-17 内視鏡システム、手技支援方法および手技支援プログラム

Country Status (1)

Country Link
WO (1) WO2023195326A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10179512A (ja) * 1996-12-19 1998-07-07 Olympus Optical Co Ltd 内視鏡装置
JP2017158764A (ja) * 2016-03-09 2017-09-14 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体
WO2018225132A1 (ja) * 2017-06-05 2018-12-13 オリンパス株式会社 医療システムおよび医療システムの作動方法
KR20210110961A (ko) * 2020-03-02 2021-09-10 고려대학교 산학협력단 수술 영상 분석 기반의 복강경 카메라 조종 로봇 및 이를 이용한 복강경 카메라 촬영 뷰 조정 방법
WO2022054884A1 (ja) * 2020-09-10 2022-03-17 オリンパス株式会社 内視鏡システム、制御装置、制御方法および記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10179512A (ja) * 1996-12-19 1998-07-07 Olympus Optical Co Ltd 内視鏡装置
JP2017158764A (ja) * 2016-03-09 2017-09-14 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体
WO2018225132A1 (ja) * 2017-06-05 2018-12-13 オリンパス株式会社 医療システムおよび医療システムの作動方法
KR20210110961A (ko) * 2020-03-02 2021-09-10 고려대학교 산학협력단 수술 영상 분석 기반의 복강경 카메라 조종 로봇 및 이를 이용한 복강경 카메라 촬영 뷰 조정 방법
WO2022054884A1 (ja) * 2020-09-10 2022-03-17 オリンパス株式会社 内視鏡システム、制御装置、制御方法および記録媒体

Similar Documents

Publication Publication Date Title
JP6891244B2 (ja) 視線追跡を使用する医療装置、システム、及び方法
JP7160033B2 (ja) 入力制御装置、入力制御方法、および手術システム
KR101320379B1 (ko) 의료용 로봇 시스템의 컴퓨터 표시부 상에 보조 이미지의표시 및 조작
CN108433809B (zh) 用于在手术过程期间设置并检索参考点的设备
JP6218634B2 (ja) 内視鏡システム及び内視鏡の作動方法
US7951070B2 (en) Object observation system and method utilizing three dimensional imagery and real time imagery during a procedure
KR102117273B1 (ko) 수술 로봇 시스템 및 그 제어 방법
EP1685787B1 (en) Insertion support system
CN108778085B (zh) 图像处理设备、内窥镜手术系统以及图像处理方法
WO2019181632A1 (en) Surgical assistance apparatus, surgical method, non-transitory computer readable medium and surgical assistance system
KR20140139840A (ko) 디스플레이 장치 및 그 제어방법
JP2020156800A (ja) 医療用アームシステム、制御装置、及び制御方法
JP7334499B2 (ja) 手術支援システム、制御装置及び制御方法
JP2021166593A (ja) ロボット手術支援システム、ロボット手術支援方法、及びプログラム
JP3532660B2 (ja) 体腔内観察装置
JP4027876B2 (ja) 体腔内観察システム
US20240115338A1 (en) Endoscope master-slave motion control method and surgical robot system
JP7494196B2 (ja) コンピュータ支援手術システムの手術セッション中の撮像デバイス視点の最適化を容易にするシステム及び方法
Ko et al. A surgical knowledge based interaction method for a laparoscopic assistant robot
WO2023195326A1 (ja) 内視鏡システム、手技支援方法および手技支援プログラム
US20230255442A1 (en) Continuum robot apparatuses, methods, and storage mediums
TW201206387A (en) Robotic control of an oblique endoscope for fov images
KR20120052574A (ko) 수술용 로봇 시스템 및 수술용 로봇 시스템의 내시경 구동방법
JP2021000258A (ja) 医療用観察システム、医療用観察方法、および情報処理装置
US20220323157A1 (en) System and method related to registration for a medical procedure

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23784616

Country of ref document: EP

Kind code of ref document: A1