WO2018225132A1 - 医療システムおよび医療システムの作動方法 - Google Patents

医療システムおよび医療システムの作動方法 Download PDF

Info

Publication number
WO2018225132A1
WO2018225132A1 PCT/JP2017/020841 JP2017020841W WO2018225132A1 WO 2018225132 A1 WO2018225132 A1 WO 2018225132A1 JP 2017020841 W JP2017020841 W JP 2017020841W WO 2018225132 A1 WO2018225132 A1 WO 2018225132A1
Authority
WO
WIPO (PCT)
Prior art keywords
endoscope
image
control unit
trajectory
medical system
Prior art date
Application number
PCT/JP2017/020841
Other languages
English (en)
French (fr)
Inventor
井上　慎太郎
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/020841 priority Critical patent/WO2018225132A1/ja
Publication of WO2018225132A1 publication Critical patent/WO2018225132A1/ja
Priority to US16/699,903 priority patent/US11419481B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00131—Accessories for endoscopes
    • A61B1/00133—Drive units for endoscopic tools inserted through or with the endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/04—Surgical instruments, devices or methods, e.g. tourniquets for suturing wounds; Holders or packages for needles or suture materials
    • A61B17/0469—Suturing instruments for use in minimally invasive surgery, e.g. endoscopic surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/28—Surgical forceps
    • A61B17/29—Forceps for use in minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32—Surgical cutting instruments
    • A61B17/320016—Endoscopic cutting instruments, e.g. arthroscopes, resectoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32—Surgical cutting instruments
    • A61B2017/320004—Surgical cutting instruments abrasive
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00982—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body combined with or comprising means for visual or photographic inspections inside the body, e.g. endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A61B2018/1405—Electrodes having a specific shape
    • A61B2018/1412—Blade
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Definitions

  • the present invention relates to a medical system that performs treatment through a hole formed in an abdominal wall or the like and a method for operating the medical system.
  • Patent Document 1 describes a surgical manipulator device that adjusts the field of view of an endoscope by automatically moving the endoscope manipulator so that the treatment tool is imaged when the treatment tool is exchanged. .
  • the surgeon can concentrate on the replacement operation of the treatment tool, and can efficiently perform the replacement operation with a wide field of view obtained by the endoscope.
  • an object of the present invention is to provide a medical system and an operation method of the medical system that can provide an endoscope field of view that is optimal for treatment by automatically operating the endoscope.
  • a medical system includes a treatment instrument, an imaging unit, an endoscope that is electrically driven to operate, a driving unit that drives the endoscope, and a control unit that controls the driving unit,
  • a display unit that displays an image captured by the imaging unit, and the control unit detects a trajectory of the treatment instrument, and controls the driving unit based on the detected trajectory to perform the endoscopic operation.
  • the medical system operating method includes a detection step of detecting a trajectory of the treatment instrument, and an operating step of operating the endoscope based on the detected trajectory.
  • the endoscope can be automatically operated to provide an endoscope visual field that is optimal for treatment.
  • FIG. 1 is a diagram illustrating an overall configuration of a medical system 100 according to the present embodiment.
  • the medical system 100 includes a treatment instrument 1, an endoscope 2, a control device 3, a display unit 4, and an input unit 5.
  • the medical system 100 is a system that supports a treatment performed by inserting the treatment instrument 1, the endoscope 2, and the like through separate holes (openings) opened in the abdominal wall in laparoscopic surgery.
  • the treatment instrument 1 includes a long insertion portion 10 that can be inserted into the abdominal cavity of a patient, and an operation portion 11 provided at a proximal end portion of the insertion portion 10.
  • the operator passes the insertion portion 10 through a trocar punctured in the abdomen of the patient, and introduces the insertion portion 10 into the abdominal cavity.
  • the operator may introduce a plurality of treatment tools 1 into the abdominal cavity.
  • the insertion unit 10 includes a treatment unit 12 that treats the affected area of the patient at the distal end.
  • the treatment section 12 is a gripping mechanism configured by a pair of gripping members 12a.
  • the operation unit 11 is a member that operates the pair of gripping members 12a.
  • the operation unit 11 has a handle, and the pair of gripping members 12 a of the treatment unit 12 is opened and closed by moving the handle relative to other parts of the operation unit 11. The surgeon can operate the treatment section 12 while holding the operation section 11 with one hand.
  • FIG. 2 is a hardware configuration diagram of the medical system 100 excluding the treatment instrument 1.
  • the endoscope 2 includes a long insertion portion 20 that can be inserted into the abdominal cavity of a patient, and an arm 21. The operator passes the insertion portion 20 through a trocar punctured in the abdomen of the patient, and introduces the insertion portion 20 into the abdominal cavity.
  • the insertion unit 20 is provided with an image pickup unit 22 having a lens and an image pickup device for taking a picture of the inside of the patient's abdomen at the distal end.
  • the insertion unit 20 introduced into the abdominal cavity is disposed at a position where the imaging unit 22 can image the affected area to be treated in the abdomen.
  • the imaging unit 22 may have an optical zoom function or an electronic zoom function.
  • the insertion part 20 may further have an active bending part that bends actively. By curving the active bending portion provided in a part of the insertion portion 20, the orientation of the lens of the imaging portion 22 and the imaging element can be changed.
  • the arm 21 is an electrically driven robot arm having at least one joint 23 as shown in FIG.
  • the distal end of the arm 21 is connected to the proximal end portion of the insertion portion 20 of the endoscope, and the arm 21 can move the insertion portion 20.
  • the joint 23 is a part that bends around a rotation axis, and may be actively bent by a motor or the like, or passively bent by a forward / backward movement of a connected wire or the like. There may be.
  • control signal lines and wires for controlling the bending operation of the joint 23 are wired.
  • a control signal line for controlling the imaging unit 22 and a transmission signal for transferring a captured image captured by the imaging unit 22 are also wired inside the arm 21.
  • the control device 3 includes a drive unit 31, an image processing unit 32, and a control unit 33.
  • the control device 3 controls the arm 21 and the like from the input from the input unit 5.
  • the control device 3 transfers the captured image captured by the imaging unit 22 of the endoscope 2 to the display unit 4 as a display image.
  • the drive unit 31 drives the joint 23 of the arm 21.
  • the drive unit 31 When the joint 23 actively bends, the drive unit 31 generates a control signal to a motor or the like that operates the joint 23.
  • the drive unit 31 controls the advance and retreat of the wire that operates the joint 23. In any case, the drive unit 31 is controlled by the control unit 33.
  • the image processing unit 32 is connected to a transmission signal of a captured image captured by the imaging unit 22, and acquires a captured image via the transmission signal.
  • the image processing unit 32 generates a display image for display from the captured image.
  • the image processing unit 32 may include a memory that temporarily stores a captured image, and may perform image processing such as image format conversion and contrast adjustment on the stored captured image as necessary.
  • the generated display image is transferred to the display unit 4 at a predetermined transfer timing.
  • the image processing unit 32 can generate a display image by replacing an image such as a graphic or a character generated by the control unit 33 with a captured image or by superimposing the captured image on the captured image.
  • the image processing unit 32 can generate a display image by superimposing a character image related to a warning to the surgeon or operation support on the captured image.
  • the image processing unit 32 not the control unit 33, may generate images such as graphics and characters based on instructions from the control unit 33.
  • the control unit 33 uses the operation of the input unit 5 and the image acquired by the image processing unit 32 as inputs, and controls the drive unit 31 and the image processing unit 32 based on those inputs.
  • the control unit 33 has two types of operation modes, a manual mode and a peeling A mode.
  • the control unit 33 controls the drive unit 31 and the image processing unit 32 based on one operation mode selected from the two operation modes.
  • the manual mode is an operation mode in which the scopist operates the input unit 5 to directly operate the joint 23 and the like of the arm 21 of the endoscope 2.
  • the peeling A mode when the affected part of the patient is peeled off by the treatment unit 12, the joint 23 of the arm 21 of the endoscope 2 is automatically operated by the control unit 33, and the visual field of the endoscope 2 is automatically adjusted. Mode of operation.
  • the control unit 33 is configured by a device (computer) including hardware capable of executing programs such as a CPU (Central Processing Unit) and a memory.
  • the function of the control unit 33 can be realized as a software function by the control unit 33 reading and executing a program for controlling the CPU.
  • at least a part of the control unit 33 may be configured by a dedicated logic circuit or the like.
  • a similar function can be realized by connecting at least a part of hardware constituting the control unit 33 through a communication line.
  • FIG. 3 and 4 are diagrams illustrating an example of the overall configuration of the control unit 33.
  • the control unit 33 includes a CPU 34, a memory 35 that can read a program, a storage unit 36, and an input / output control unit 37.
  • a program provided to the control unit 33 for controlling the operation of the control device 3 is read into the memory 35 and executed by the CPU 34.
  • the storage unit 36 is a non-volatile recording medium that stores the above-described program and necessary data.
  • the storage unit 36 is composed of, for example, a ROM or a hard disk.
  • the program recorded in the storage unit 36 is read into the memory 35 and executed by the CPU 34.
  • the input / output control unit 37 receives input data from the input unit 5 and the image processing unit 32 and transfers the input data to a module inside the control unit 33 such as the CPU 34. Further, when the CPU 34 controls the drive unit 31 and the image processing unit 32, the input / output control unit 37 generates a control signal for the drive unit 31 and the image processing unit 32 based on an instruction from the CPU 34.
  • control unit 33 further includes components other than the CPU 34, the memory 35, the storage unit 36, and the input / output control unit 37 shown in FIG. 3, which are necessary for controlling the operation of the control device 3. Also good.
  • the control unit 33 may further include an image calculation unit 38 that performs part or all of specific image processing and image recognition processing. By further including the image calculation unit 38, the control unit 33 can execute specific image processing and image recognition processing at high speed.
  • the display unit 4 is a device that displays the display image generated by the image processing unit 32.
  • a known display device such as an LCD display can be used.
  • the display unit 4 may be a head mounted display or a projector.
  • the input unit 5 includes an operation input unit 51 and a mode selection unit 52.
  • the input unit 5 is a device that inputs information necessary for the operation of the medical system 100.
  • the operation input unit 51 is a device that inputs an operation of the joint 23 of the arm 21 of the endoscope 2.
  • the operation input unit 51 can also operate the zoom function when the imaging unit 22 has a zoom function.
  • the active bending part can also be bent.
  • the scopist operates the operation input unit 51 to operate the joint 23 and the like of the arm 21.
  • the operation input unit 51 may be configured with a joystick or a touch panel.
  • An arm-shaped operation input device similar to the arm 21 may be used.
  • the display unit 4 of the LCD display and the operation input unit 51 of the touch panel may be configured integrally.
  • the operation content is transferred to the control unit 33 by operating the operation input unit 51.
  • the control unit 33 calculates the movement amount of the joint 23 of the arm corresponding to the operation content.
  • the control unit 33 controls the drive unit 31 so that the joint 23 operates with the calculated operation amount.
  • the joint 23 of the arm 21 of the endoscope 2 is directly operated by the operation of the operation input unit 51.
  • the operation mode of the control unit 33 is the separation A mode
  • the operation of the operation input unit 51 is invalidated by the control unit 33 and the joint 23 of the arm 21 of the endoscope 2 cannot be operated.
  • the joint 23 of the arm 21 of the endoscope 2 is automatically operated.
  • the mode selection unit 52 is a device that selects which one of the two operation modes of the control unit 33 the control unit 33 operates in.
  • the mode selection unit 52 may be configured by a switch or a touch panel.
  • the mode selection unit 52 may be configured integrally with the operation input unit 51.
  • the operation mode selection of the control unit 33 by the mode selection unit 52 can be performed at any time.
  • FIG. 5 is a captured image of the endoscope 2 of the medical system 100.
  • FIG. 6 is a control flowchart of the control unit 33 in the peeling A mode.
  • the surgeon provides a plurality of holes (openings) for placing the trocar in the patient's abdomen, and punctures the trocar into the hole.
  • the operator passes the insertion part 10 of the treatment instrument 1 through a trocar punctured in the abdomen of the patient, and introduces the insertion part 10 into the abdominal cavity.
  • the scopist operates the mode selection unit 52 to set the operation mode of the control unit 33 to the manual mode.
  • the scopist operates the operation input unit 51 to operate the endoscope 2 so that the insertion unit 20 of the endoscope 2 is passed through the trocar punctured into the abdomen of the patient, and the insertion unit 20 is introduced into the abdominal cavity.
  • the scopist operates the operation input unit 51 to operate the endoscope 2 so that the treatment unit 12 is imaged by the imaging unit 22, and provides the surgeon with an endoscope field of view that is optimal for the treatment.
  • the scopist operates the operation input unit 51 to operate the endoscope 2 and move the endoscope 2 to the optimal position for the treatment.
  • the visual field of the endoscope 2 is adjusted so as to be an optimal visual field for the treatment.
  • the operator or the scopist operates the mode selection unit 52 to change the operation mode of the control unit 33 to the exfoliation A mode.
  • description will be made along the control flowchart of the control unit 33 in the peeling A mode shown in FIG.
  • step S10 when the operation mode of the control unit 33 is changed to the peeling A mode, the control unit 33 starts control of the peeling A mode (step S10).
  • the control unit 33 invalidates the operation input of the operation input unit 51. Therefore, the scopist cannot operate the joint 23 of the arm 21 of the endoscope 2 by operating the operation input unit 51. Further, the control unit 33 activates a time measurement timer and starts counting elapsed time. Next, the control part 33 performs step S11.
  • step S11 the control unit 33 detects the current position of the treatment instrument 1 from the display image as shown in FIG. 6 (detection step).
  • the control unit 33 performs matching processing between the image data of the treatment unit 12 stored in advance in the storage unit 36 and the display image, and detects the position of the treatment unit 12.
  • the control unit 33 includes the image calculation unit 38 that performs image matching processing at high speed, the above-described matching processing can be performed at high speed.
  • the control unit 33 can recognize each treatment tool 1 separately by applying a different pattern to each treatment unit 12.
  • step S ⁇ b> 11 the detected position of the treatment instrument 1 is recorded in the memory 35 for each treatment instrument 1.
  • the recorded position is, for example, a two-dimensional coordinate value in the display image.
  • the imaging unit 22 has a function of measuring a distance such as a stereo camera
  • the recorded position may be, for example, a three-dimensional relative coordinate with respect to the imaging unit 22.
  • the control part 33 performs step S12.
  • step S12 the control unit 33 refers to the time measurement timer and determines whether the predetermined time has elapsed. If it has elapsed, the control unit 33 next executes step S13. If not, the control unit 33 next executes step S11.
  • the predetermined time is set to several tens of seconds to several minutes.
  • step S13 the control unit 33 obtains the locus of the treatment instrument 1 and obtains the center of the locus as shown in FIG.
  • step S13 the elapsed time has passed a predetermined time, and the control unit 33 performs the process of step S11 a plurality of times. Therefore, as shown in FIG. 5A, a plurality of positions are recorded in the memory 35 for each treatment instrument 1.
  • the control unit 33 acquires a plurality of positions of the treatment instrument 1 from the memory 35 as the locus of the treatment instrument 1.
  • the alternate long and short dash line indicates the trajectory of the different treatment instrument 1.
  • the control unit 33 obtains the center of the locus of the treatment instrument 1 for each treatment instrument 1.
  • the center of the locus may be obtained from an average value of coordinates.
  • the center of the trajectory may be calculated by calculating the center of gravity of the figure drawn by the trajectory and using the center of gravity as the center.
  • the center of the locus is considered to be the center of the region currently being treated.
  • the center may be calculated by increasing the weighting coefficient for the coordinates. Coordinates recorded in duplicate are considered to be frequently treated in the current treatment area, so the center of the trajectory is duplicated by increasing the weighting coefficient for that coordinate. Thus, the center of the trajectory can be calculated so as to approach the recorded coordinates.
  • the control part 33 performs step S14.
  • step S14 the control unit 33 determines whether the center of the locus is in the center of the display image as shown in FIG. If the center of the locus is not at the center of the display image, the control unit 33 next executes step S15. If it is in the center, the control unit 33 next executes step S11. When the process branches to step S11, the control unit 33 resets the time measurement timer and returns the elapsed time to zero.
  • the center of the display screen is, for example, a region centered on the center of the display screen, and a region (center region) in which the ratio of the area to the entire display screen is approximately 20% to 60%. .
  • the proportion of the area occupied by the central region can be adjusted.
  • step S15 the control unit 33 operates the joint 23 of the arm 21 of the endoscope 2 to operate the endoscope 2 and adjust the visual field of the endoscope 2 (see FIG. 6). Operation process).
  • the control unit 33 operates the endoscope 2 so that the center of the locus of the treatment instrument 1 obtained in step S13 moves to the center of the display screen.
  • the control unit 33 so that the center of the locus of any of the treatment tools 1 or the average coordinates of the center of the locus of the treatment tool 1 moves to the center of the display screen. Operates the endoscope 2. The smaller the proportion of the area indicated by the central region, the more actively the endoscope 2 is operated.
  • control unit 33 may operate the endoscope 2 so that a part of the locus of the treatment instrument 1 does not move outside the display screen. . Since the range of the trajectory of the treatment instrument 1 is considered to be an area where treatment is currently being performed, the area can be prevented from being moved out of the display screen.
  • the center of the trajectory of the treatment instrument 1 moves to the center of the display screen, and the surgeon obtains the optimal visual field for the region currently being treated. Can do.
  • the control part 33 performs step S16.
  • step S ⁇ b> 16 the control unit 33 determines whether the operation mode selected by the mode selection unit 52 is the peeling A mode, as illustrated in FIG. 6. When the selected operation mode is the peeling A mode, the control unit 33 executes Step S11. When the process branches to step S11, the control unit 33 resets the time measurement timer and returns the elapsed time to zero. When the selected operation mode is not the peeling A mode, the control unit 33 next executes step S ⁇ b> 17 and ends the control of the peeling A mode.
  • the scopist operates the mode selection unit 52 and changes the operation mode of the control unit 33 to the manual mode, thereby ending the control of the peeling A mode by the control unit 33, and operating the operation input unit 51.
  • the joint 23 and the like of the second arm 21 can be directly operated.
  • the trajectory of the treatment tool 1 tends to concentrate on a specific region where the affected part is located. Furthermore, as the peeling treatment proceeds, the position of the peeling treatment tends to move little by little. As described above, in the peeling treatment, the region currently being treated may move little by little, and accordingly, the visual field in which the center of the region is the center of the display screen is provided to the surgeon. There may be a need. When the center of the region currently being treated is not in the center (central region) of the display screen, the control unit 33 controls the drive unit to operate the endoscope, so that the visual field of the endoscope 2 is peeled off. Is automatically adjusted to the optimal field of view.
  • the trajectory of the treatment instrument 1 that is considered to be the current treatment area is acquired, and the endoscope 2 is automatically operated so that the center of the trajectory is the center of the display screen.
  • the surgeon can obtain an optimal field of view for the current treatment.
  • the endoscope 2 is set so that the center of the area becomes the center of the display screen in accordance with the movement of the center of the area currently being treated. Is automatically operated. The repeated operation of the endoscope 2 suitable for the peeling treatment can be automated.
  • the medical system 100 of the present embodiment since the visual field is adjusted based on the trajectory of the treatment instrument 1 acquired every predetermined time, it is possible to prevent the visual field in the display screen from moving frequently. In addition, since the medical system 100 adjusts the visual field based on the trajectory of the treatment instrument 1 acquired within a predetermined time, not only the current position of the treatment instrument 1 but also the entire region where the treatment is currently performed is optimal. Can provide a clear field of view.
  • the trajectory of the treatment tool 1 is detected based on the image acquired by the image processing unit 32, but the method of detecting the trajectory of the treatment tool 1 is not limited to this.
  • a position sensor may be provided in the treatment unit 12 of the treatment tool 1, and the position of the position sensor attached to the treatment unit 12 may be acquired and recorded as a locus of the treatment tool 1.
  • the location where the treatment tool 1 is detected is not limited to the treatment portion 12 at the tip of the treatment tool 1.
  • the location where the treatment instrument 1 is detected may be the proximal end of the treatment instrument 1 or the like.
  • the treatment tool 1 is held by the surgeon in his hand.
  • the aspect of the treatment tool 1 is not limited to this.
  • the insertion unit 10 may be driven by an arm 1 ⁇ / b> C like a treatment tool 1 ⁇ / b> B that is a modification of the treatment tool 1.
  • the trajectory of the treatment instrument 1B can also be calculated from control information for driving the arm 1C.
  • the position of the treatment instrument 1 detected in step S11 is recorded.
  • the recording form of the position of the treatment instrument 1 is not limited to this.
  • the position of the treatment instrument 1 may be recorded only when the pair of gripping members 12a that are the treatment sections 12 are closed.
  • the position is considered to be a position where processing is actually performed. By storing the position, it is possible to detect the region currently being treated more accurately.
  • the treatment unit 12 is a high-frequency knife
  • the position of the treatment instrument 1 may be recorded only when a current flows through the high-frequency knife.
  • the program is recorded in the storage unit 36, but the method of storing the program is not limited to this.
  • the program may be provided by a “computer-readable recording medium” such as a flash memory.
  • a flash memory reading unit provided in the control unit 33, the stored program can be read into the memory 35.
  • the program may be provided to the control unit 33 by being transmitted to the control unit 33 via a transmission medium or by a transmission wave in the transmission medium from a computer storing the program in a storage device or the like.
  • the “transmission medium” for transmitting the program is a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
  • the program may realize a part of the functions described above. Furthermore, the above-described program may be a so-called difference file (difference program) that can realize the above-described function in combination with a program already recorded in the computer. In any case, the program provided to the control unit 33 is read into the memory 35 and executed by the CPU 34.
  • difference file difference program
  • FIGS. 1 A second embodiment of the present invention will be described with reference to FIGS. This embodiment is different from the first embodiment in the determination mode of the automatic operation of the endoscope 2.
  • components that are the same as those already described are assigned the same reference numerals and redundant description is omitted.
  • the overall configuration of the medical system 200 according to the present embodiment is the same as that of the medical system 100 according to the first embodiment.
  • the medical system 200 is different from the medical system 100 in that the control unit 33 has an operation mode of the peeling B mode instead of the peeling A mode.
  • the control flow of the control unit 33 in the peeling B mode will be described with reference to FIGS. 8 and 9.
  • FIG. 8 is a captured image of the endoscope 2 of the medical system 200.
  • FIG. 9 is a control flowchart of the control unit 33 in the peeling B mode.
  • step S20 the control unit 33 performs the same process as step S10 of the first embodiment.
  • step S21 the control part 33 performs step S21.
  • step S21 the control part 33 performs the same process as step S11 of the first embodiment (detection step). Next, the control part 33 performs step S22.
  • step S22 the control unit 33 performs the same process as step S12 of the first embodiment.
  • the control unit 33 next executes step S23. If not, the control unit 33 next executes step S21.
  • step S23 as shown in FIG. 9, the control unit 33 obtains the locus of the treatment instrument 1 and obtains the locus range.
  • step S23 the elapsed time has passed the predetermined time, and the control unit 33 performs the process of step S21 a plurality of times. Therefore, as shown in FIG. 8A, a plurality of positions are recorded in the memory 35 for each treatment instrument 1.
  • the control unit 33 acquires a plurality of positions of the treatment instrument 1 from the memory 35 as the locus of the treatment instrument 1.
  • Fig.8 (a) the dashed-dotted line and the dashed-two dotted line have each shown the locus
  • the trajectory range includes a trajectory of the treatment instrument 1 among predetermined shapes, for example, a shape such as a rectangle or an ellipse, and has a minimum area.
  • the trajectory range R indicated by the dotted line in FIG. 8A includes the trajectory of the treatment instrument 1 in the rectangular shape and has the smallest area.
  • the shape of the locus range may not be a predetermined shape.
  • trajectory of the treatment tool 1 may be sufficient.
  • the control part 33 performs step S24.
  • step S24 the control unit 33 determines whether the range of the trajectory is within an appropriate range of the display image as illustrated in FIG. If the range of the trajectory is not within the appropriate range of the display image, the control unit 33 next executes step S25. If within the appropriate range, the control unit 33 next executes step S21. When the process branches to step S21, the control unit 33 resets the time measurement timer and returns the elapsed time to zero.
  • the appropriate range of the display screen is, for example, a range centering on the center of the display screen, and a range in which the ratio of the area to the entire display screen is about 40% to 80%.
  • the proportion of the area occupied by the trajectory range can be adjusted.
  • the ratio of the area to the entire display screen is about 10% to 20%.
  • the ratio of the area occupied by the trajectory range to the entire display screen is small, and it is determined that the trajectory range of the treatment instrument 1 is not within an appropriate range of the display image. That is, the ratio of the trajectory range of the treatment instrument 1 to the display screen is too small, and it is determined that the field of view is not optimal for the surgeon.
  • the ratio of the area occupied by the trajectory range of the treatment instrument 1 to the entire display screen is about 90%, it is determined that the trajectory range of the treatment instrument 1 is not within the appropriate range of the display image. Is done. That is, the ratio of the trajectory range of the treatment instrument 1 to the display screen is too large, and it is determined that the field of view is not optimal for the surgeon.
  • step S25 the control unit 33 operates the joint 23 of the arm 21 of the endoscope 2 to operate the endoscope 2 and adjust the field of view of the endoscope 2 as shown in FIG. 9 ( Operation process).
  • the control unit 33 operates the endoscope 2 so that the range of the trajectory of the treatment instrument 1 obtained in step S23 becomes an appropriate range on the display screen.
  • the range of the trajectory of one of the treatment tools 1 or at least one of the ranges of the trajectory of the treatment tool 1 is set to an appropriate range of the display screen.
  • the control unit 33 operates the endoscope 2.
  • the endoscope may be operated to control the zoom function to adjust the field of view of the endoscope.
  • the range of the locus of the treatment instrument 1 is about 40% of the area occupied by the entire display screen, and is included in the appropriate range of the display screen. Thus, the surgeon can obtain an optimal field of view for the area currently being treated.
  • the control part 33 performs step S26.
  • step S26 the control unit 33 determines whether the operation mode selected by the mode selection unit 52 is the peeling B mode, as shown in FIG.
  • the control unit 33 executes Step S21.
  • the control unit 33 resets the time measurement timer and returns the elapsed time to zero.
  • the control unit 33 next executes step S27 and ends the control of the peeling B mode.
  • the scopist operates the mode selection unit 52 and changes the operation mode of the control unit 33 to the manual mode, thereby ending the control of the separation B mode by the control unit 33, and operating the operation input unit 51 to change the endoscope.
  • the joint 23 and the like of the second arm 21 can be directly operated.
  • the surgeon performs a treatment for actually peeling the affected area
  • the surgeon performs the treatment in a range close to the affected area.
  • the surgeon wants to obtain the field of view of the endoscope 2 close to the affected part.
  • the surgeon performs the treatment in a wide range including the affected part.
  • the normal operator wants to obtain the field of view of the endoscope 2 that includes the affected part and is looked down on.
  • the control unit 33 controls the drive unit 31 to operate the endoscope 2 so that the visual field of the endoscope 2 is peeled off. Is automatically adjusted to the optimal field of view.
  • the trajectory of the treatment tool 1 that is considered to be the region currently being treated is acquired, and the endoscope is automatically operated so that the trajectory range is an appropriate range on the display screen. By doing so, the surgeon can obtain the optimal field of view for the current treatment.
  • the visual field close to the affected area and the visual field overlooking the affected area are alternately provided to the operator in accordance with the range of the region currently being treated.
  • the endoscope 2 is automatically operated.
  • the repeated operation of the endoscope 2 suitable for the peeling treatment can be automated.
  • the medical system 200 of the present embodiment since the visual field is adjusted based on the trajectory of the treatment instrument 1 acquired every predetermined time, it is possible to prevent the visual field in the display screen from moving frequently. Further, since the medical system 200 adjusts the visual field based on the trajectory of the treatment tool 1 acquired within a predetermined time, not only the current position of the treatment tool 1 but also the entire region where the treatment is currently performed is optimal. Can provide a clear field of view.
  • FIGS. 10 and 11 A third embodiment of the present invention will be described with reference to FIGS. 10 and 11. This embodiment is different from the first embodiment and the second embodiment in the determination mode of the automatic operation of the endoscope 2.
  • components that are the same as those already described are assigned the same reference numerals and redundant description is omitted.
  • the overall configuration of the medical system 300 according to the present embodiment is the same as that of the medical system 100 according to the first embodiment.
  • the medical system 300 is different from the medical system 100 in that the control unit 33 has an operation mode of a suturing mode instead of the peeling A mode.
  • the control flow of the control unit 33 in the stitching mode will be described with reference to FIGS. 10 and 11.
  • FIG. 10 is a captured image of the endoscope 2 of the medical system 300.
  • FIG. 11 is a control flowchart of the control unit 33 in the stitching mode.
  • step S30 when the operation mode of the control unit 33 is changed to the suturing mode, the control unit 33 starts control of the suturing mode (step S30). Next, the control part 33 performs step S31.
  • step S31 the control unit 33 asks the operator to select a region where a suture treatment is performed, that is, a needle application region A.
  • the control unit 33 displays, on the display screen displayed on the display unit 4, a message requesting to select the stitching area A by the function of the image processing unit 32.
  • the selection of the needle hooking area A can be realized by various methods. For example, the treatment area 12 of the treatment instrument 1 is moved to the needle application area A, and the position of the treatment section 12 after the movement is detected by the control section 33, so that the needle application area A is selected.
  • the display unit 4 is provided with a touch panel function, the surgeon touches a part of the touch panel of the display unit 4 to select the needle area A in the display screen.
  • the dotted line in FIG. 10 shows the needle hooking area A set by the operator.
  • the control part 33 performs step S32.
  • step S32 the control unit 33 determines whether or not the needle application area A has been set by the operator. If set, the controller 33 next executes step S33. If not set, the control unit 33 next executes step S31 again and waits for the operator to set the needle application area A.
  • the control unit 33 invalidates the operation input of the operation input unit 51 before executing step S33. Therefore, the scopist cannot operate the joint 23 of the arm 21 of the endoscope 2 by operating the operation input unit 51. Further, the control unit 33 activates a time measurement timer and starts counting elapsed time.
  • step S33 the control unit 33 detects the current position of the treatment instrument 1 from the display image as shown in FIG.
  • the control unit 33 performs the same process as step S11 of the first embodiment (detection step).
  • step S34 the control part 33 performs step S34.
  • step S34 the control unit 33 performs the same process as step S12 of the first embodiment. If the elapsed time has passed the predetermined time, the control unit 33 next executes step S35. If not, the control unit 33 next executes step S33.
  • step S35 the control unit 33 acquires the trajectory of the treatment instrument 1 as shown in FIG. Next, the control part 33 performs step S36.
  • step S36 the control unit 33 determines whether the trajectory of the treatment instrument 1 acquired in step S35 is approaching the needle hooking area A as shown in FIG. Since the trajectory of the treatment instrument 1 acquired within the predetermined time is used for the determination, the control unit 33 can determine whether the treatment instrument 1 is approaching the needle hooking area A. When the locus of the treatment instrument 1 is approaching the needle hooking area A, the control unit 33 next executes step S37. When the locus of the treatment instrument 1 is not approaching the needle hooking area A, the control unit 33 next executes step S38.
  • step S37 the control unit 33 operates the joint 23 of the arm 21 of the endoscope 2 to activate the endoscope 2 to change the field of view of the endoscope 2 as shown in FIG.
  • the visual field close to the affected part including the needle hooking area A is adjusted (operation process). This is because when the trajectory of the treatment instrument 1 is approaching the needle hooking area A, there is a high possibility that the affected area will be subjected to the needle hooking treatment.
  • step S38 the control unit 33 determines whether the trajectory of the treatment instrument 1 acquired in step S35 is away from the needle hooking area A as shown in FIG. Since the trajectory of the treatment instrument 1 acquired within a predetermined time is used for the determination, the control unit 33 can determine whether the treatment instrument 1 is away from the needle hooking area A. When the locus of the treatment instrument 1 is away from the needle hooking area A, the control unit 33 next executes step S39. When the locus of the treatment instrument 1 is not away from the needle hooking area A, the control unit 33 next executes Step S3A.
  • step S39 the control unit 33 operates the joint 23 of the arm 21 of the endoscope 2 to operate the endoscope 2 to change the visual field of the endoscope 2 as shown in FIG. As shown in (b), it adjusts to the visual field which looked down at the affected part including the needle hooking area A (operation process).
  • the visual field is adjusted so that the visual field of the endoscope 2 includes the trajectory of the treatment instrument 1. This is because when the trajectory of the treatment tool 1 is away from the needle hooking area A, it is considered that an operation of pulling the needle N that has been hooked on the affected area is being performed.
  • step S3A the control unit 33 determines whether the operation mode selected by the mode selection unit 52 is the stitching mode, as shown in FIG. When the selected operation mode is the stitching mode, the control unit 33 executes step S33. When the process branches to step S33, the control unit 33 resets the time measurement timer and returns the elapsed time to zero. If the selected operation mode is not the stitching mode, the control unit 33 next executes step S3B and ends the stitching mode control.
  • the scopist operates the mode selection unit 52 and changes the operation mode of the control unit 33 to the manual mode, thereby ending the stitching mode control by the control unit 33, and operating the operation input unit 51, the endoscope 2.
  • the joint 23 of the arm 21 can be directly operated.
  • the surgeon When the surgeon performs a procedure for actually suturing the target affected area, the surgeon alternately performs the operation of hooking the affected area and pulling the needle N.
  • the operator wants to obtain an endoscope visual field close to the affected area.
  • the normal operator wants to obtain the visual field of the endoscope 2 that includes the affected part and is looked down on.
  • control unit 33 controls the drive unit 31 to operate the endoscope, so that the visual field of the endoscope 2 is subjected to the suturing treatment. It is automatically adjusted to the optimal field of view.
  • the control unit 33 adjusts the visual field based on the trajectory of the treatment tool 1 acquired every predetermined time, so that the control unit 33 is approaching or moving away from the treatment area 1. Can be determined.
  • the visual field close to the affected part and the visual field overlooking the affected part are alternated based on whether the treatment instrument 1 is approaching or moving away from the needle hooking area A.
  • the endoscope 2 is automatically operated so as to be provided to the operator.
  • the repeated operation of the endoscope 2 suitable for the suturing procedure can be automated.
  • FIGS. 12 and 13 A fourth embodiment of the present invention will be described with reference to FIGS. 12 and 13. This embodiment is different from the first to third embodiments in the determination mode of the automatic operation of the endoscope 2.
  • components that are the same as those already described are assigned the same reference numerals and redundant description is omitted.
  • the overall configuration of the medical system 400 according to the present embodiment is the same as that of the medical system 100 according to the first embodiment.
  • the medical system 400 is different from the medical system 100 in that the control unit 33 has an operation mode of the separation mode instead of the separation A mode.
  • the endoscope 2 of the medical system 400 has an active bending portion in the insertion portion 20.
  • FIGS. 12 and 13 the control flow of the control unit 33 in the separation mode will be described with reference to FIGS. 12 and 13.
  • FIG. 12 is a captured image of the endoscope 2 of the medical system 400.
  • FIG. 13 is a control flowchart of the control unit 33 in the separation mode.
  • step S40 the control unit 33 starts control of the separation mode.
  • step S41 the control part 33 performs step S41.
  • step S41 the control unit 33 asks the operator to select a region for performing a separation treatment, that is, a separation region.
  • the control unit 33 displays, on the display screen displayed on the display unit 4, a message requesting to select the separation area by the function of the image processing unit 32.
  • the selection of the separation region can be realized by a method similar to the setting of the needle hooking region A shown in step S31 of the third embodiment.
  • step S42 the control unit 33 determines whether or not a separation region has been set by the operator. If it is set, the control unit 33 next executes step S43. If not set, the control unit 33 next executes step S41 again and waits for the operator to set the separation region.
  • the control unit 33 invalidates the operation input of the operation input unit 51 before executing step S43. Therefore, the scopist cannot operate the joint 23 of the arm 21 of the endoscope 2 by operating the operation input unit 51. Further, the control unit 33 activates a time measurement timer and starts counting elapsed time.
  • step S43 the control unit 33 detects the current position of the treatment instrument 1 from the display image as shown in FIG.
  • the control unit 33 performs the same process as step S11 of the first embodiment (detection step).
  • step S44 the control part 33 performs step S44.
  • step S44 the control unit 33 performs the same process as step S12 of the first embodiment. If the elapsed time has passed the predetermined time, the control unit 33 next executes step S45. If not, the control unit 33 next executes step S43.
  • step S45 the control unit 33 acquires the locus of the treatment instrument 1 as shown in FIG. Next, the control part 33 performs step S46.
  • step S46 the control unit 33 stops the treatment tool 1 near the separation region as shown in FIG. 12A from the trajectory of the treatment tool 1 acquired in step S45. Determine whether you are doing. Since the determination is made using the trajectory of the treatment instrument 1 acquired within a predetermined time, the control unit 33 can determine whether the treatment instrument 1 is stationary near the separation region. When the treatment tool 1 is stationary near the separation region, the control unit 33 next executes step S47. In other cases, the control unit 33 next executes step S43.
  • step S47 the control unit 33 operates the joint 23 of the arm 21 of the endoscope 2 to operate the endoscope 2 to change the field of view of the endoscope 2 as shown in FIG.
  • the visual field is adjusted so that the distal end of the treatment section is imaged (operation process). This is because when the treatment tool 1 is stationary near the separation region, there is a high possibility that separation of the separation region will be started.
  • the method of adjusting the visual field of the endoscope 2 so that the distal end of the treatment tool 1 is imaged can be realized by various methods. For example, when the imaging unit 22 of the endoscope 2 has a function of measuring a distance such as a stereo camera, the longitudinal axis of the insertion unit 10 of the treatment instrument 1 is extracted from the stereo image as three-dimensional vector information. Next, the joint 23 of the arm 21 of the endoscope 2 is operated so that the inner product of the extracted longitudinal axis vector of the insertion unit 10 and the visual axis vector of the imaging unit 22 of the endoscope 2 becomes negative. Then, the visual field of the endoscope 2 is adjusted. Next, the control part 33 performs step S48.
  • step S48 the control unit 33 determines whether the operation mode selected by the mode selection unit 52 is the separation mode.
  • the control unit 33 executes Step S43.
  • the control unit 33 resets the time measurement timer and returns the elapsed time to zero. If the selected operation mode is not the separation mode, the control unit 33 next executes step S48 and ends the control of the separation mode.
  • the operation mode may be forcibly changed to the manual mode. This is to prevent the endoscope 2 from being automatically operated during the actual separation process.
  • the scopist operates the mode selection unit 52 to change the operation mode of the control unit 33 to the manual mode, thereby terminating the control of the separation mode by the control unit 33, and the endoscope by the operation of the operation input unit 51.
  • the joint 23 and the like of the second arm 21 can be directly operated.
  • the surgeon When the surgeon performs a treatment for actually separating the affected area, the surgeon places the treatment tool 1 at an appropriate position before the treatment tool 1 is arranged, so that a field of view through which the affected part and the treatment tool 1 can be seen is obtained. I want to.
  • the operator wants to obtain a field of view in which the distal end of the treatment tool 1 is imaged in order to observe the part that is actually separated.
  • the field of view required by the operator is different before and after the placement of the treatment tool 1, and therefore, a field of view different from that before the treatment tool 1 is placed after the treatment tool 1 is placed.
  • control unit 33 controls the drive unit to operate the endoscope 2 to The field of view of the endoscope 2 is automatically adjusted to the field of view that is optimal for the separation procedure.
  • the control unit 33 determines whether the treatment instrument 1 is stationary near the separation region. Can be determined.
  • an endoscope is used so that the distal end of the treatment tool 1 is imaged based on whether the treatment tool 1 is stationary near the separation region. 2 is automatically operated. It is possible to automate the repetitive operation of the endoscope 2 suitable for the separation treatment.
  • FIG. 1 A fifth embodiment of the present invention will be described with reference to FIG. This embodiment is different from the first to fourth embodiments in the number of types of operation modes.
  • components that are the same as those already described are assigned the same reference numerals and redundant description is omitted.
  • the overall configuration of the medical system 500 according to the present embodiment is the same as that of the medical system 100 according to the first embodiment.
  • the medical system 500 is different from the medical system 100 in that the control unit 33 has a plurality of operation modes.
  • FIG. 14 shows operation modes that can be controlled by the control unit 33 of the medical system 500.
  • the control unit 33 of the medical system 500 includes a manual mode, a peeling A mode that the control unit 33 of the medical system 100 has, a peeling B mode that the control unit 33 of the medical system 200 has, and a medical system 300. It is possible to operate in the suturing mode that the control unit 33 has and the separation mode that the control unit 33 of the medical system 400 has. Note that the control unit 33 of the medical system 500 may be operable only in some of the operation modes described above.
  • the surgeon or scopist operates the mode selection unit 52 to change the operation mode of the control unit 33 to an operation mode suitable for treatment.
  • the surgeon or scopist can use various modes and obtain the optimal field of view for each treatment.
  • control unit 33 of the medical system 500 may have an “automatic selection mode” as an operation mode.
  • the control unit 33 automatically selects the operation mode of the endoscope 2 based on the selection rule of the endoscope 2 acquired by machine learning in advance.
  • the selection rule in the automatic selection mode is a function that takes the display image as input and outputs the operation mode.
  • a combination of a selection made by the scoopist with respect to the mode selection unit 52 in the manual mode and a display image at that time is learning data. Based on an appropriate amount of learning data, the above function is obtained by a technique such as a neural network.
  • the selection rule may be acquired using only learning data acquired in a specific surgeon's operation. Selection rules that are specific to a particular surgeon can be obtained, and the medical system 500 can provide automatic visual field adjustment that is appropriate for that surgeon.
  • the medical system 500 automatically operates the endoscope 2 by using an operation rule that has acquired an actual display screen and an operation performed on the mode selection unit 52 as learning data. Using the automatic selection mode eliminates the need for the operator or scopist to select an operation mode depending on the type of treatment.
  • the operation mode suitable for the treatment can be selected from a plurality of operable operation modes, and the repetitive operation of the endoscope 2 suitable for each treatment can be automated. it can.
  • the medical system 500 of the present embodiment it is not necessary to select an operation mode depending on the type of treatment by using the automatic selection mode.
  • the present invention can be applied to a medical system having an endoscope and a method for operating the medical system.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Endoscopes (AREA)

Abstract

医療システムは、処置具と、撮像部を有し、電動で駆動されて作動する内視鏡と、前記内視鏡を駆動する駆動部と、前記駆動部を制御する制御部と、前記撮像部が撮像した画像を表示する表示部と、を備え、前記制御部は、前記処置具の軌跡を検出し、検出した前記軌跡に基づいて、前記駆動部を制御して前記内視鏡を作動させる。　医療システムの作動方法は、処置具の軌跡を検出する検出工程と、検出した前記軌跡に基づいて内視鏡を作動させる作動工程と、を備える。

Description

医療システムおよび医療システムの作動方法
　本発明は、腹壁等に形成した孔を通して処置を行う医療システムおよび同医療システムの作動方法に関する。
従来、腹腔鏡下手術において、腹壁に開けた別々の孔（開口）から処置具や内視鏡などを挿入して処置を行う手法が用いられている。腹腔内に挿入された内視鏡と処置具とは互いに独立に操作される。術者に対して処置に最適な内視鏡の視野を提供するために、内視鏡を操作するスコピストは、内視鏡を処置に最適な位置に移動させる必要がある。
術者に最適な内視鏡の視野を迅速に提供するには、術者とスコピストとが、効率よくコミュニケーションを行う必要がある。術者に最適な内視鏡の視野を迅速に提供することができない場合、術者は処置を中断して内視鏡の視野の調整完了を待つ必要がある。
　特許文献１には、処置具交換を行う際に、処置具が撮像されるように自動的に内視鏡マニピュレータが移動して内視鏡の視野を調整する手術用マニピュレータ装置が記載されている。術者は、処置具の交換作業に集中することができ、また、内視鏡によって得られる広範囲の視野によってその交換作業を効率的に行うことができる。
特開平８－２８０６９５号公報
　しかしながら、特許文献１に記載の手術用マニピュレータ装置においては、視野の自動調整は、処置具を交換する場合のみにおいて実施されている。
　上記事情を踏まえ、本発明は内視鏡が自動操作されて処置に最適な内視鏡の視野を提供することができる医療システムおよび医療システムの作動方法を提供することを目的とする。
　上記課題を解決するために、この発明は以下の手段を提案している。
　本発明に係る医療システムは、処置具と、撮像部を有し、電動で駆動されて作動する内視鏡と、前記内視鏡を駆動する駆動部と、前記駆動部を制御する制御部と、前記撮像部が撮像した画像を表示する表示部と、を備え、前記制御部は、前記処置具の軌跡を検出し、検出した前記軌跡に基づいて、前記駆動部を制御して前記内視鏡を作動させる。
　本発明に係る医療システムの作動方法は、処置具の軌跡を検出する検出工程と、検出した前記軌跡に基づいて内視鏡を作動させる作動工程と、を備える。
　本発明の医療システムおよび医療システムの作動方法によれば、内視鏡が自動操作されて処置に最適な内視鏡の視野を提供することができる。
本発明の第一実施形態に係る医療システムの全体構成を示す図である。 同医療システムのハードウェア構成図である。 同医療システムの制御部の全体構成例を示す図である。 同医療システムの制御部の全体構成例を示す図である。 同医療システムの内視鏡の撮像画像である。 同医療システムの剥離Ａモードにおける制御部の制御フローチャートである。 同医療システムの変形例の全体構成を示す図である。 本発明の第二実施形態に係る医療システムの内視鏡の撮像画像である。 同医療システムの剥離Ｂモードにおける制御部の制御フローチャートである。 本発明の第三実施形態に係る医療システムの内視鏡の撮像画像である。 同医療システムの縫合モードにおける制御部の制御フローチャートである。 本発明の第四実施形態に係る医療システムの内視鏡の撮像画像である。 同医療システムの切離モードにおける制御部の制御フローチャートである。 本発明の第五実施形態に係る医療システムの動作モードの種類を示す図である。
（第一実施形態）
　本発明の第一実施形態について、図１から図７を参照して説明する。なお、図面を見やすくするため、各構成要素の寸法等は適宜調整されている。
　図１は、本実施形態に係る医療システム１００の全体構成を示す図である。
医療システム１００は、図１に示すように、処置具１と、内視鏡２と、制御装置３と、表示部４と、入力部５と、を備えている。医療システム１００は、腹腔鏡下手術において、腹壁に開けた別々の孔（開口）から処置具１や内視鏡２などを挿入して行う処置を支援するシステムである。
処置具１は、図１に示すように、患者の腹腔内に挿入可能な長尺の挿入部１０と、挿入部１０の基端部に設けられた操作部１１と、を有する。術者は、患者の腹部に穿刺したトロッカに挿入部１０を通し、挿入部１０を腹腔内に導入する。処置の種類や患部の状況により、術者は複数の処置具１を腹腔内に導入する場合もある。
挿入部１０は、図１に示すように、先端部に患者の患部を処置する処置部１２を有する。本実施形態において処置部１２は、一対の把持部材１２ａで構成された把持機構である。
操作部１１は、一対の把持部材１２ａを操作する部材である。操作部１１はハンドルを有しており、ハンドルを操作部１１の他の部分に対して相対移動させることで、処置部１２の一対の把持部材１２ａを開閉させる。術者は、片手で操作部１１を保持して、処置部１２を操作することができる。
　図２は、処置具１を除く医療システム１００のハードウェア構成図である。
　内視鏡２は、図１および図２に示すように、患者の腹腔内に挿入可能な長尺の挿入部２０と、アーム２１と、を有する。術者は、患者の腹部に穿刺したトロッカに挿入部２０を通し、挿入部２０を腹腔内に導入する。
挿入部２０は先端部に、患者の腹部内の様子を撮影するためのレンズや撮像素子を有する撮像部２２が設けられている。腹腔内に導入された挿入部２０は、撮像部２２が腹部内の処置対象の患部を撮影可能な位置に配置される。撮像部２２は、光学ズームもしくは電子ズームの機能を有していてもよい。
　なお、挿入部２０は、能動的に湾曲する能動湾曲部をさらに有してもよい。挿入部２０の一部に設けられた能動湾曲部を湾曲させることで、撮像部２２のレンズや撮像素子の向きを変更することができる。
　アーム２１は、図１に示すように、少なくとも１以上の関節２３を有する電動駆動のロボットアームである。アーム２１の先端が内視鏡の挿入部２０の基端部に接続されており、アーム２１は、挿入部２０を移動させることができる。
関節２３は、回動軸を中心に屈曲する部位であり、モータ等によって能動的に屈曲動作するものであってもよいし、接続されるワイヤ等の進退動作によって受動的に屈曲動作するものであってもよい。アーム２１の内部には、関節２３の屈曲動作を制御する制御信号線やワイヤ等が配線されている。また、アーム２１の内部には、撮像部２２を制御する制御信号線や撮像部２２が撮像した撮像画像を転送する伝送信号も配線されている。
　制御装置３は、図２に示すように、駆動部３１と、画像処理部３２と、制御部３３と、を有している。制御装置３は、入力部５からの入力からアーム２１等を制御する。また、制御装置３は、内視鏡２の撮像部２２が撮像した撮像画像を表示画像として表示部４に転送する。
駆動部３１は、アーム２１の関節２３を駆動する。関節２３が能動的に屈曲動作するものである場合、駆動部３１は関節２３を動作させるモータ等への制御信号を生成する。関節２３が受動的に屈曲動作するものである場合、駆動部３１は関節２３を動作させるワイヤの進退を制御する。いずれの場合においても、駆動部３１は、制御部３３によって制御される。
画像処理部３２は、撮像部２２が撮像した撮像画像の伝送信号が接続されており、その伝送信号経由で、撮像画像を取得する。また、画像処理部３２は、撮像画像から表示用の表示画像を生成する。画像処理部３２は、一時的に撮像画像を保存するメモリを有してもよく、保存された撮像画像に対し、画像フォーマット変換やコントラスト調整などの画像処理を必要に応じて行ってもよい。生成された表示画像は、表示部４に所定の転送タイミングで転送される。
画像処理部３２は、制御部３３が生成した図形や文字などの画像を、撮像画像と差し替えて、もしくは、撮像画像に重畳して、表示画像を生成することができる。例えば、画像処理部３２は、術者への警告や操作支援に関する文字の画像を、撮像画像に重畳して、表示画像を生成することができる。
なお、上記の図形や文字などの画像は、制御部３３ではなく画像処理部３２が、制御部３３の指示に基づいて生成してもよい。
制御部３３は、入力部５の操作および画像処理部３２が取得した画像を入力とし、それらの入力に基づいて駆動部３１および画像処理部３２の制御等を行う。
本実施形態において、制御部３３は、マニュアルモードおよび剥離Ａモードの２種類の動作モードを有する。制御部３３は、二つの動作モードから選択された一つの動作モードに基づいて、駆動部３１および画像処理部３２の制御等を行う。
マニュアルモードは、スコピストが入力部５を操作して、内視鏡２のアーム２１の関節２３等を直接操作する動作モードである。
剥離Ａモードは、処置部１２により患者の患部を剥離する際に、内視鏡２のアーム２１の関節２３等が制御部３３により自動で操作され、内視鏡２の視野の自動調整が実施される動作モードである。
　制御部３３は、ＣＰＵ（Central Processing Unit）やメモリ等のプログラム実行可能なハードウェアを備えた装置（コンピュータ）によって構成される。制御部３３の機能は、ＣＰＵを制御するプログラムを制御部３３が読み込んで実行することにより、ソフトウェアの機能として実現可能である。
なお、制御部３３の少なくとも一部を専用の論理回路等によって構成してもよい。
さらには、制御部３３を構成する少なくとも一部のハードウェアを通信回線で結ぶことでも同様の機能を実現可能である。
図３および図４は、制御部３３の全体構成例を示す図である。
制御部３３は、図３に示すように、ＣＰＵ３４と、プログラムを読み込み可能なメモリ３５と、記憶部３６と、入出力制御部３７と、を有している。制御部３３に提供された、制御装置３の動作を制御するためのプログラムがメモリ３５に読み込まれ、ＣＰＵ３４によって実行される。
記憶部３６は、上述したプログラムや必要なデータを記憶する不揮発性の記録媒体である。記憶部３６は、例えばＲＯＭやハードディスク等で構成される。記憶部３６に記録されたプログラムは、メモリ３５に読み込まれ、ＣＰＵ３４によって実行される。
入出力制御部３７は、入力部５および画像処理部３２からの入力データを受け取り、その入力データをＣＰＵ３４等の制御部３３の内部のモジュールに転送等する。また、入出力制御部３７は、ＣＰＵ３４が駆動部３１や画像処理部３２を制御する際に、ＣＰＵ３４の指示に基づき、駆動部３１や画像処理部３２に対する制御信号等を生成する。
なお、制御部３３は、図３に示すＣＰＵ３４、メモリ３５、記憶部３６、および入出力制御部３７以外のもので、制御装置３の動作を制御するために必要なものを、さらに有してもよい。例えば、図４に示すように、制御部３３は、特定の画像処理や画像認識処理の一部もしくは全部を行う画像演算部３８をさらに有してもよい。画像演算部３８をさらに有することで、制御部３３は、特定の画像処理や画像認識処理を高速に実行することができる。
表示部４は、画像処理部３２が生成した表示画像を表示する装置である。表示部４は、ＬＣＤディスプレイ等の公知の表示装置を用いることができる。表示部４は、ヘッドマウントディスプレイやプロジェクタであってもよい。
入力部５は、図２に示すように、操作入力部５１と、モード選択部５２と、を有する。入力部５は、医療システム１００の動作に必要な情報を入力する装置である。
操作入力部５１は、内視鏡２のアーム２１の関節２３の操作を入力する装置である。また、操作入力部５１は、撮像部２２がズーム機能を有している場合は、そのズーム機能を操作することもできる。また、内視鏡２の挿入部２０が能動湾曲部を有している場合は、能動湾曲部を湾曲させることもできる。スコピストは、操作入力部５１を操作して、アーム２１の関節２３等を操作する。
　操作入力部５１は、図１に示すように、ジョイスティックにより構成されていてもよいし、タッチパネルにより構成されていてもよい。アーム２１と相似形状のアーム形状の操作入力デバイスであってもよい。ＬＣＤディスプレイの表示部４と、タッチパネルの操作入力部５１とが、一体に構成されていてもよい。
　操作入力部５１を操作することで、その操作内容が制御部３３に転送される。制御部３３は、操作内容に対応する、アームの関節２３の動作量を算出する。制御部３３は、算出した動作量で関節２３が動作するように、駆動部３１を制御する。
　制御部３３の動作モードがマニュアルモードである場合、操作入力部５１の操作により、内視鏡２のアーム２１の関節２３等は直接操作される。
　一方、制御部３３の動作モードが剥離Ａモードである場合、操作入力部５１の操作は、制御部３３により無効化され、内視鏡２のアーム２１の関節２３等を操作することはできない。内視鏡２のアーム２１の関節２３等は自動で操作される。
モード選択部５２は、制御部３３が有する二つの動作モードのうち、どちらの動作モードで制御部３３が動作するかを選択する装置である。モード選択部５２は、スイッチにより構成されていてもよいし、タッチパネルにより構成されていてもよい。また、モード選択部５２は、操作入力部５１と一体に構成されていてもよい。モード選択部５２による制御部３３の動作モード選択は、いつでも行うことができる。
次に、腹腔鏡下手術を例として、医療システム１００の動作および作動方法を、図５および図６を参照して説明する。図５は、医療システム１００の内視鏡２の撮像画像である。図６は、剥離Ａモードにおける制御部３３の制御フローチャートである。
　術者は、患者の腹部にトロッカを設置するための孔（開口）を複数設け、孔にトロッカを穿刺する。次に術者は、患者の腹部に穿刺したトロッカに処置具１の挿入部１０を通し、挿入部１０を腹腔内に導入する。
　次に、スコピストは、モード選択部５２を操作し、制御部３３の動作モードをマニュアルモードに設定する。スコピストは、操作入力部５１を操作して、内視鏡２を操作することで、内視鏡２の挿入部２０を患者の腹部に穿刺したトロッカに通し、挿入部２０を腹腔内に導入する。さらに、スコピストは、操作入力部５１を操作し、処置部１２が撮像部２２によって撮像されるように内視鏡２を操作し、術者に処置に最適な内視鏡の視野を提供する。
　術者が行う処置の種類や処置を行う患部の位置の変更により、スコピストは操作入力部５１を操作して、内視鏡２を作動させて内視鏡２を処置に最適な位置に移動させ、内視鏡２の視野を処置に最適な視野となるように調整する。
　術者が患部の剥離処置を行う場合、術者もしくはスコピストは、モード選択部５２を操作し、制御部３３の動作モードを剥離Ａモードに変更する。以降、図６に示す剥離Ａモードにおける制御部３３の制御フローチャートに沿って説明を行う。
図６に示すように、制御部３３の動作モードが剥離Ａモードに変更されると、制御部３３は剥離Ａモードの制御を開始する（ステップＳ１０）。制御部３３は、操作入力部５１の操作入力を無効化する。そのため、スコピストは操作入力部５１を操作して内視鏡２のアーム２１の関節２３等を操作することができない。また、制御部３３は、時間測定用タイマーを起動して、経過時間のカウントを開始する。
次に、制御部３３はステップＳ１１を実行する。
ステップＳ１１において、制御部３３は、図６に示すように、表示画像から現在の処置具１の位置を検出する（検出工程）。制御部３３は、予め記憶部３６に記憶された処置部１２の画像データと、表示画像とのマッチング処理を行い、処置部１２の位置を検出する。
制御部３３が画像のマッチング処理を高速に行う画像演算部３８を有している場合、上記のマッチング処理を高速に実行することができる。また、処置部１２に画像のマッチング処理に適した模様や光学マーカー等を施すことで、処置具１の位置の検出時間を短縮化させることも可能である。
複数の処置具１が腹腔内に導入されている場合は、処置具１ごとに位置を検出する。複数の処置具１が有する処置部１２が互いに同じ形状である場合、例えば、処置部１２ごとに異なる模様を施すことで、制御部３３は各処置具１を別々に認識できる。
　ステップＳ１１において、検出した処置具１の位置は、処置具１ごとにメモリ３５に記録される。記録される位置は、例えば、表示画像における２次元座標値である。撮像部２２がステレオカメラ等の距離を測定できる機能を有している場合は、記録される位置は、例えば、撮像部２２に対する３次元相対座標であってもいい。
　次に、制御部３３はステップＳ１２を実行する。
ステップＳ１２において、制御部３３は、図６に示すように、時間測定用タイマーを参照して、経過時間が所定時間を経過したかを判定する。経過している場合は、制御部３３は、次にステップＳ１３を実行する。経過していない場合は、制御部３３は次にステップＳ１１を実行する。ここで、所定時間は、数十秒から数分程度に設定されている。
ステップＳ１３において、制御部３３は、図６に示すように、処置具１の軌跡を取得して、軌跡の中心を求める。ステップＳ１３においては、経過時間が所定時間を経過しており、制御部３３はステップＳ１１の処理を複数回実施している。そのため、図５（ａ）に示すように、メモリ３５には一つの処置具１ごとに、複数の位置が記録されている。制御部３３は処置具１の複数の位置を処置具１の軌跡としてメモリ３５から取得する。図５（ａ）において、一点鎖線および二点鎖線はそれぞれ異なる処置具１の軌跡を示している。
　次に、制御部３３は、処置具１ごとに処置具１の軌跡の中心を求める。軌跡の中心は、例えば、座標の平均値から求めてもよい。また、軌跡の中心は、軌跡が描く図形の重心を算出し、その重心を中心としてもよい。軌跡の中心は、現在処置を行っている領域の中心と考えられる。
　重複して記録された同一座標がある場合、その座標に対する重み付け係数を大きくして、中心の算出を行ってもよい。重複して記録された座標は、現在処置を行っている領域の中で頻繁に処置を行っている部分であると考えられるため、その座標の重み付け係数を大きくすることで、軌跡の中心が重複して記録された座標に近づくように、軌跡の中心を算出することができる。
　次に、制御部３３はステップＳ１４を実行する。
ステップＳ１４において、制御部３３は、図６に示すように、軌跡の中心が、表示画像の中央にあるかを判定する。軌跡の中心が表示画像の中央にない場合は、制御部３３は、次にステップＳ１５を実行する。中央にある場合は、制御部３３は次にステップＳ１１を実行する。制御部３３は処理がステップＳ１１に分岐する場合、時間測定用タイマーをリセットして、経過時間をゼロに戻す。
ここで、表示画面の中央とは、例えば、表示画面中心を中心とする領域であって、表示画面全体に対して占める面積の割合が約２０％～６０％である領域（中央領域）である。中央領域が占める面積の割合が小さいほど（例えば約２０％～３０％）、ステップＳ１４において、処理がステップＳ１５に分岐するケースが多くなる。
術者の好みおよび処置の種類により、中央領域が占める面積の割合は調整することができる。
　ステップＳ１５において、制御部３３は、図６に示すように、内視鏡２のアーム２１の関節２３等を操作して、内視鏡２を作動させて内視鏡２の視野を調整する（作動工程）。図５（ｂ）に示すように、ステップＳ１３で求めた処置具１の軌跡の中心が表示画面の中央に移動するように、制御部３３は内視鏡２を操作する。処置具１を複数使用している場合は、いずれかの処置具１の軌跡の中心、もしくは、処置具１の軌跡の中心の平均座標が、表示画面の中央に移動するように、制御部３３は内視鏡２を操作する。上記の中央領域が示す面積の割合が小さいほど、内視鏡２は積極的に操作される。
　制御部３３は、処置具１の軌跡の中心を表示画面の中央に移動させる際、処置具１の軌跡の一部が表示画面外に移動しないように、内視鏡２を操作してもよい。処置具１の軌跡の範囲は、現在処置を行っている領域と考えられるため、その領域が表示画面外に移動されることを防ぐことができる。
　調整された視野において、図５（ｂ）に示すように、処置具１の軌跡の中心が表示画面の中央に移動し、術者は現在処置を行っている領域についての最適な視野を得ることができる。
　次に、制御部３３はステップＳ１６を実行する。
　ステップＳ１６において、制御部３３は、図６に示すように、モード選択部５２によって選択された動作モードが、剥離Ａモードであるかを判定する。選択された動作モードが剥離Ａモードである場合は、制御部３３はステップＳ１１を実行する。制御部３３は処理がステップＳ１１に分岐する場合、時間測定用タイマーをリセットして、経過時間をゼロに戻す。
　選択された動作モードが剥離Ａモードでない場合は、制御部３３は次にステップＳ１７を実行し、剥離Ａモードの制御を終了する。
　スコピストは、モード選択部５２を操作し、制御部３３の動作モードをマニュアルモードに変更することで、制御部３３による剥離Ａモードの制御を終了させ、操作入力部５１の操作により、内視鏡２のアーム２１の関節２３等を直接操作することができるようになる。
このように医療システム１００を動作させることで、以下に示す課題を解決できる。
　術者が剥離の処置を行っている場合は、処置具１の軌跡は患部が位置する特定の領域に集中する傾向がある。さらに、剥離の処置が進行するにつれて、剥離処置の位置は少しずつ移動する傾向がある。
　このように、剥離処置においては、現在処置を行っている領域が少しずつ移動することがあるため、その移動に合わせて、その領域の中心が表示画面の中央となる視野を術者に提供する必要がある場合がある。
　現在処置を行っている領域の中心が表示画面の中央（中央領域）にない場合、制御部３３が駆動部を制御して内視鏡を操作することで、内視鏡２の視野は剥離処置に最適な視野に自動調整される。
（第一実施形態の効果）
　本実施形態の医療システム１００によれば、現在処置を行っている領域と考えられる処置具１の軌跡を取得し、軌跡の中心が表示画面の中央となるように内視鏡２が自動操作されることで、術者は現在処置に最適な視野を得ることができる。
　本実施形態の医療システム１００の剥離Ａモードの制御によれば、現在処置を行っている領域の中心の移動に合わせて、その領域の中心が表示画面の中央となるように、内視鏡２が自動操作される。剥離処置に適した内視鏡２の反復操作を自動化することができる。
　処置具の位置が表示画面の中央となるように、内視鏡を随時、追従移動させる方法も考えられるが、この方法では、表示画面中の視野が頻繁に移動してしまい、術者が集中して患部を観測できない。
　本実施形態の医療システム１００によれば、所定時間ごとに取得した処置具１の軌跡に基づき視野の調整を行うため、表示画面中の視野が頻繁に移動することを防ぐことができる。また、医療システム１００は、所定時間内に取得した処置具１の軌跡に基づき視野の調整を行うため、現在の処置具１の位置だけでなく、現在処置を行っている領域全体を捉えた最適な視野を提供することができる。
（変形例）
以上、本発明の第一実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の第一実施形態および以下で示す変形例において示した構成要素は適宜に組み合わせて構成することが可能である。
例えば、上記実施形態では、処置具１の軌跡は画像処理部３２が取得した画像に基づいて検出されていたが、処置具１の軌跡の検出方法はこれに限定されない。例えば、処置具１の処置部１２に位置センサを設け、処置部１２に取り付けた位置センサの位置を取得し、処置具１の軌跡として記録してもよい。また、処置具１を検出する箇所は、処置具１の先端の処置部１２に限定されない。処置具１を検出する箇所は、処置具１の基端部等であってもよい。
例えば、上記実施形態では、処置具１は術者が手に持ち処置を行うものであった。しかしながら、処置具１の態様はこれに限定されない。例えば、図７に示すように、処置具１の変形例である処置具１Ｂのように、挿入部１０がアーム１Ｃによって駆動されるものであってもよい。この場合、処置具１Ｂの軌跡は、アーム１Ｃを駆動する制御情報から算出することもできる。
例えば、上記実施形態では、ステップＳ１１において検出した処置具１の位置を記録していた。しかしながら、処置具１の位置の記録形態はこれに限定されない。例えば、処置部１２である一対の把持部材１２ａが閉じた状態の場合のみ、処置具１の位置を記録してもよい。一対の把持部材１２ａが閉じている場合、その位置は実際に処理を行っている位置であると考えられる。その位置を記憶することで、より正確に現在処置を行っている領域を検出することができる。
処置部１２が高周波ナイフである場合、高周波ナイフに電流が流れている場合のみ、処置具１の位置として記録してもよい。
例えば、上記実施形態では、プログラムは記憶部３６に記録されていたが、プログラムの格納方法はこれに限定されない。例えば、プログラムは、フラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。プログラムが格納されたフラッシュメモリを、制御部３３に設けられたフラッシュメモリ読み取り部に接続することで、格納されたプログラムはメモリ３５に読み込み可能である。
また、プログラムは、このプログラムを記憶装置等に格納したコンピュータから、伝送媒体を介して、あるいは伝送媒体中の伝送波により制御部３３に伝送されることで制御部３３に提供されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように、情報を伝送する機能を有する媒体である。
また、プログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、前述した機能をコンピュータに既に記録されているプログラムとの組合せで実現できる、いわゆる差分ファイル（差分プログラム）であってもよい。
いずれの場合も、制御部３３に提供されたプログラムは、メモリ３５に読み込まれて、ＣＰＵ３４によって実行される。
（第二実施形態）
　本発明の第二実施形態について、図８および図９を参照して説明する。本実施形態は、内視鏡２の自動操作の判定態様が第一実施形態と異なっている。以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。
　本実施形態に係る医療システム２００の全体構成は、第一実施形態に係る医療システム１００と同じである。医療システム２００は、医療システム１００と比較して、制御部３３が剥離Ａモードの代わりに剥離Ｂモードの動作モードを有する点が異なる。以降、剥離Ｂモードにおける制御部３３の制御フローについて、図８および図９を参照して説明する。図８は、医療システム２００の内視鏡２の撮像画像である。図９は、剥離Ｂモードにおける制御部３３の制御フローチャートである。
図９に示すように、制御部３３の動作モードが剥離Ｂモードに変更されると、制御部３３は剥離Ｂモードの制御を開始する（ステップＳ２０）。ステップＳ２０において、制御部３３は、第一実施形態のステップＳ１０と同じ処理を行う。次に、制御部３３はステップＳ２１を実行する。
ステップＳ２１において、制御部３３は、第一実施形態のステップＳ１１と同じ処理を行う（検出工程）。次に、制御部３３はステップＳ２２を実行する。
　ステップＳ２２において、制御部３３は、第一実施形態のステップＳ１２と同じ処理を行う。経過時間が所定時間を経過している場合は、制御部３３は、次にステップＳ２３を実行する。経過していない場合は、制御部３３は次にステップＳ２１を実行する。
　ステップＳ２３において、制御部３３は、図９に示すように、処置具１の軌跡を取得して、軌跡の範囲を求める。ステップＳ２３においては、経過時間が所定時間を経過しており、制御部３３はステップＳ２１の処理を複数回実施している。そのため、図８（ａ）に示すように、メモリ３５には一つの処置具１ごとに、複数の位置が記録されている。制御部３３は処置具１の複数の位置を処置具１の軌跡としてメモリ３５から取得する。図８（ａ）において、一点鎖線および二点鎖線はそれぞれ左右に配置された異なる処置具１の軌跡を示している。
　軌跡の範囲は、予め決められた形状、例えば矩形や楕円形等の形状のうち、処置具１の軌跡を内側に含むもので、面積が最小となるものである。図８（ａ）において点線で示した軌跡の範囲Ｒは、矩形の形状のうち、処置具１の軌跡を内側に含むもので、面積が最小となるものである。
　なお、軌跡の範囲の形状は、予め決められた形状でなくてもよい。処置具１の軌跡の外側に形成された多角形形状等であってもよい。
　次に、制御部３３はステップＳ２４を実行する。
ステップＳ２４において、制御部３３は、図９に示すように、軌跡の範囲が、表示画像の適切な範囲にあるかを判定する。軌跡の範囲が表示画像の適切な範囲にない場合は、制御部３３は、次にステップＳ２５を実行する。適切な範囲にある場合は、制御部３３は次にステップＳ２１を実行する。制御部３３は処理がステップＳ２１に分岐する場合、時間測定用タイマーをリセットして、経過時間をゼロに戻す。
ここで、表示画面の適切な範囲とは、例えば、表示画面中心を中心とする範囲であって、表示画面全体に対して占める面積の割合が約４０％～８０％である範囲である。術者の好みおよび処置の種類により、軌跡の範囲が占める面積の割合は調整することができる。
例えば、図８（ａ）に示す処置具１の軌跡の範囲Ｒは、表示画面全体に対して占める面積の割合が約１０％～２０％である。この場合、軌跡の範囲は表示画面全体に対して占める面積の割合が小さく、処置具１の軌跡の範囲は表示画像の適切な範囲にないと判定される。すなわち、処置具１の軌跡の範囲の表示画面に占める割合が小さすぎて、術者にとって最適な視野ではないと判定されている。
また、逆に、処置具１の軌跡の範囲の表示画面全体に対して占める面積の割合が約９０％である場合も、処置具１の軌跡の範囲は表示画像の適切な範囲にないと判定される。すなわち、処置具１の軌跡の範囲の表示画面に占める割合が大きすぎて、術者にとって最適な視野ではないと判定されている。
　ステップＳ２５において、制御部３３は、図９に示すように、内視鏡２のアーム２１の関節２３等を操作して、内視鏡２を作動させて内視鏡２の視野を調整する（作動工程）。図８（ｂ）に示すように、ステップＳ２３で求めた処置具１の軌跡の範囲が表示画面の適切な範囲になるよう、制御部３３は内視鏡２を操作する。処置具１を複数使用している場合は、いずれかの処置具１の軌跡の範囲、もしくは、処置具１の軌跡の範囲の少なくも一つ以上が、表示画面の適切な範囲になるように、制御部３３は内視鏡２を操作する。
　なお、撮像部が光学ズームや電子ズームの機能を有している場合は、内視鏡を作動させてズーム機能を制御し、内視鏡の視野の調整を行ってもよい。
　調整された視野において、図８（ｂ）に示すように、処置具１の軌跡の範囲は、表示画面全体に対して占める面積の割合が約４０％であり、表示画面の適切な範囲に含まれ、術者は現在処置を行っている領域についての最適な視野を得ることができる。
　次に、制御部３３はステップＳ２６を実行する。
　ステップＳ２６において、制御部３３は、図９に示すように、モード選択部５２によって選択された動作モードが、剥離Ｂモードであるかを判定する。選択された動作モードが剥離Ｂモードである場合は、制御部３３はステップＳ２１を実行する。制御部３３は処理がステップＳ２１に分岐する場合、時間測定用タイマーをリセットして、経過時間をゼロに戻す。
　選択された動作モードが剥離Ｂモードでない場合は、制御部３３は次にステップＳ２７を実行し、剥離Ｂモードの制御を終了する。
　スコピストは、モード選択部５２を操作し、制御部３３の動作モードをマニュアルモードに変更することで、制御部３３による剥離Ｂモードの制御を終了させ、操作入力部５１の操作により、内視鏡２のアーム２１の関節２３等を直接操作することができるようになる。
このように医療システム２００を動作させることで、以下に示す課題を解決できる。
　術者が対象の患部を実際に剥離する処置を行う場合は、術者は患部に近接した範囲で処置を行う。この場合、術者は患部に近接した内視鏡２の視野を得たいと考える。
　一方、対象の患部を牽引したり、剥離処置の術場作り等を行ったりする場合は、術者は患部を含む広い範囲で処置を行う。この場合、通常術者は、患部を含み、かつ、俯瞰した内視鏡２の視野を得たいと考える。
　このように、剥離処置においては、処置の中心位置は同じであるものの、現在処置を行っている領域の範囲が変わることがあるため、患部に近接した視野と患部を俯瞰した視野とを交互に術者に提供する必要がある場合がある。
　現在処置を行っている領域の範囲が表示画面の最適な範囲にない場合、制御部３３が駆動部３１を制御して内視鏡２を操作することで、内視鏡２の視野は剥離処置に最適な視野に自動調整される。
（第二実施形態の効果）
　本実施形態の医療システム２００によれば、現在処置を行っている領域と考えられる処置具１の軌跡を取得し、軌跡の範囲が表示画面の適切な範囲となるように内視鏡が自動操作されることで、術者は現在処置に最適な視野を得ることができる。
　本実施形態の医療システム２００の剥離Ｂモードの制御によれば、現在処置を行っている領域の範囲に合わせて、患部に近接した視野と患部を俯瞰した視野とを交互に術者に提供するように、内視鏡２が自動操作される。剥離処置に適した内視鏡２の反復操作を自動化することができる。
　本実施形態の医療システム２００によれば、所定時間ごとに取得した処置具１の軌跡に基づき視野の調整を行うため、表示画面中の視野が頻繁に移動することを防ぐことができる。また、医療システム２００は、所定時間内に取得した処置具１の軌跡に基づき視野の調整を行うため、現在の処置具１の位置だけでなく、現在処置を行っている領域全体を捉えた最適な視野を提供することができる。
（第三実施形態）
　本発明の第三実施形態について、図１０および図１１を参照して説明する。本実施形態は、内視鏡２の自動操作の判定態様が第一実施形態および第二実施形態と異なっている。以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。
　本実施形態に係る医療システム３００の全体構成は、第一実施形態に係る医療システム１００と同じである。医療システム３００は、医療システム１００と比較して、制御部３３が剥離Ａモードの代わりに縫合モードの動作モードを有する点が異なる。以降、縫合モードにおける制御部３３の制御フローについて、図１０および図１１を参照して説明する。図１０は、医療システム３００の内視鏡２の撮像画像である。図１１は、縫合モードにおける制御部３３の制御フローチャートである。
図１１に示すように、制御部３３の動作モードが縫合モードに変更されると、制御部３３は縫合モードの制御を開始する（ステップＳ３０）。次に、制御部３３はステップＳ３１を実行する。
ステップＳ３１において、制御部３３は、図１１に示すように、術者に縫合処置を行う領域、すなわち、針かけ領域Ａの選択を求める。制御部３３は、表示部４に表示する表示画面に、針かけ領域Ａを選択することを要求する旨のメッセージを画像処理部３２の機能により表示する。
針かけ領域Ａの選択は、様々な方法により実現することができる。例えば、処置具１の処置部１２を針かけ領域Ａに移動させて、その移動後の処置部１２の位置を制御部３３に検出させることで、針かけ領域Ａを選択する。また、表示部４にタッチパネルの機能が設けられている場合は、術者は表示部４のタッチパネルの一部に触れることで、表示画面中の針かけ領域Ａを選択する。図１０の点線は、術者によって設定された針かけ領域Ａを示している。
次に、制御部３３はステップＳ３２を実行する。
ステップＳ３２において、制御部３３は、図１１に示すように、術者によって針かけ領域Ａが設定されたかどうかを判定する。設定されている場合は、制御部３３は次にステップＳ３３を実行する。設定されていない場合は、制御部３３は次にステップS３１を再び実行し、術者によって針かけ領域Ａが設定されるのを待つ。
制御部３３は、ステップＳ３３を実行する前に、操作入力部５１の操作入力を無効化する。そのため、スコピストは操作入力部５１を操作して内視鏡２のアーム２１の関節２３等を操作することができない。また、制御部３３は、時間測定用タイマーを起動して、経過時間のカウントを開始する。
ステップＳ３３において、制御部３３は、図１１に示すように、表示画像から現在の処置具１の位置を検出する。制御部３３は、第一実施形態のステップＳ１１と同じ処理を行う（検出工程）。次に、制御部３３はステップＳ３４を実行する。
ステップＳ３４において、制御部３３は、第一実施形態のステップＳ１２と同じ処理を行う。経過時間が所定時間を経過している場合は、制御部３３は、次にステップＳ３５を実行する。経過していない場合は、制御部３３は次にステップＳ３３を実行する。
　ステップＳ３５において、制御部３３は、図１１に示すように、処置具１の軌跡を取得する。次に、制御部３３はステップＳ３６を実行する。
　ステップＳ３６において、制御部３３は、図１１に示すように、ステップＳ３５にて取得した処置具１の軌跡が、針かけ領域Ａに近づいているかを判定する。所定時間内に取得した処置具１の軌跡を判定に用いているため、制御部３３は処置具１が針かけ領域Ａに近づいているかを判定することができる。
　処置具１の軌跡が針かけ領域Ａに近づいている場合、制御部３３は次にステップＳ３７を実行する。処置具１の軌跡が針かけ領域Ａに近づいていない場合、制御部３３は次にステップＳ３８を実行する。
　ステップＳ３７において、制御部３３は、図１１に示すように、内視鏡２のアーム２１の関節２３等を操作して、内視鏡２を作動させて内視鏡２の視野を、図１０（ａ）に示すような、針かけ領域Ａを含む、患部に近接した視野に調整する（作動工程）。
　処置具１の軌跡が針かけ領域Ａに近づいている場合、これから患部に針かけ処置を行う可能性が高いためである。
　ステップＳ３８において、制御部３３は、図１１に示すように、ステップＳ３５にて取得した処置具１の軌跡が、針かけ領域Ａから遠ざかっているかを判定する。所定時間内に取得した処置具１の軌跡を判定に用いているため、制御部３３は処置具１が針かけ領域Ａから遠ざかっているかを判定することができる。
　処置具１の軌跡が針かけ領域Ａから遠ざかっている場合、制御部３３は次にステップＳ３９を実行する。処置具１の軌跡が針かけ領域Ａから遠ざかっていない場合、制御部３３は次にステップＳ３Ａを実行する。
　ステップＳ３９において、制御部３３は、図１１に示すように、内視鏡２のアーム２１の関節２３等を操作して、内視鏡２を作動させて内視鏡２の視野を、図１０（ｂ）に示すような、針かけ領域Ａを含む、患部を俯瞰した視野に調整する（作動工程）。内視鏡２の視野が処置具１の軌跡を含むものとなるように視野を調整する。
　処置具１の軌跡が針かけ領域Ａから遠ざかっている場合、患部に針かけを行った針Ｎを引く動作を行っていると考えられるためである。
　ステップＳ３Ａにおいて、制御部３３は、図１１に示すように、モード選択部５２によって選択された動作モードが、縫合モードであるかを判定する。選択された動作モードが縫合モードである場合は、制御部３３はステップＳ３３を実行する。制御部３３は処理がステップＳ３３に分岐する場合、時間測定用タイマーをリセットして、経過時間をゼロに戻す。
　選択された動作モードが縫合モードでない場合は、制御部３３は次にステップＳ３Ｂを実行し、縫合モードの制御を終了する。
　スコピストは、モード選択部５２を操作し、制御部３３の動作モードをマニュアルモードに変更することで、制御部３３による縫合モードの制御を終了させ、操作入力部５１の操作により、内視鏡２のアーム２１の関節２３等を直接操作することができるようになる。
このように医療システム３００を動作させることで、以下に示す課題を解決できる。
　術者が対象の患部を実際に縫合する処置を行う場合は、術者は患部への針かけと針Ｎを引く動作を交互に行う。患部への針かけを行う場合、術者は患部に近接した内視鏡の視野を得たいと考える。一方、針Ｎを引く動作を行う場合、通常術者は、患部を含み、かつ、俯瞰した内視鏡２の視野を得たいと考える。
　このように、縫合処置においては、患部に近接した視野と患部を俯瞰した視野とを交互に術者に提供する必要がある場合がある。
　処置具１が針かけ領域Ａに近づいているか、遠ざかっているかに基づいて、制御部３３が駆動部３１を制御して内視鏡を操作することで、内視鏡２の視野は縫合処置に最適な視野に自動調整される。
（第三実施形態の効果）
　本実施形態の医療システム３００によれば、所定時間ごとに取得した処置具１の軌跡に基づき視野の調整を行うため、制御部３３は処置具１が針かけ領域Ａに近づいているか、遠ざかっているかを判定することができる。
　本実施形態の医療システム３００の縫合モードの制御によれば、処置具１が針かけ領域Ａに近づいているか、遠ざかっているかに基づいて、患部に近接した視野と患部を俯瞰した視野とを交互に術者に提供するように、内視鏡２が自動操作される。縫合処置に適した内視鏡２の反復操作を自動化することができる。
（第四実施形態）
　本発明の第四実施形態について、図１２および図１３を参照して説明する。本実施形態は、内視鏡２の自動操作の判定態様が第一実施形態ないし第三実施形態と異なっている。以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。
　本実施形態に係る医療システム４００の全体構成は、第一実施形態に係る医療システム１００と同じである。医療システム４００は、医療システム１００と比較して、制御部３３が剥離Ａモードの代わりに切離モードの動作モードを有する点が異なる。また、医療システム４００の内視鏡２は、挿入部２０に能動湾曲部を有していることが望ましい。以降、切離モードにおける制御部３３の制御フローについて、図１２および図１３を参照して説明する。図１２は、医療システム４００の内視鏡２の撮像画像である。図１３は、切離モードにおける制御部３３の制御フローチャートである。
図１３に示すように、制御部３３の動作モードが切離モードに変更されると、制御部３３は切離モードの制御を開始する（ステップＳ４０）。次に、制御部３３はステップＳ４１を実行する。
ステップＳ４１において、制御部３３は、図１３に示すように、術者に切離処置を行う領域、すなわち、切離領域の選択を求める。制御部３３は、表示部４に表示する表示画面に、切離領域を選択することを要求する旨のメッセージを画像処理部３２の機能により表示する。
　切離領域の選択は、第三実施形態のステップＳ３１で示した針かけ領域Ａの設定と同様の方法により実現することができる。
　内視鏡の撮像画像から、例えば図１２で示す血管Ｂのような切離領域を抽出して、それを術者に提示することで切離領域の選択を支援することもできる。
ステップＳ４２において、制御部３３は、図１３に示すように、術者によって切離領域が設定されたかどうかを判定する。設定されている場合は、制御部３３は次にステップＳ４３を実行する。設定されていない場合は、制御部３３は次にステップS４１を再び実行し、術者によって切離領域が設定されるのを待つ。
制御部３３は、ステップＳ４３を実行する前に、操作入力部５１の操作入力を無効化する。そのため、スコピストは操作入力部５１を操作して内視鏡２のアーム２１の関節２３等を操作することができない。また、制御部３３は、時間測定用タイマーを起動して、経過時間のカウントを開始する。
ステップＳ４３において、制御部３３は、図１３に示すように、表示画像から現在の処置具１の位置を検出する。制御部３３は、第一実施形態のステップＳ１１と同じ処理を行う（検出工程）。次に、制御部３３はステップＳ４４を実行する。
ステップＳ４４において、制御部３３は、第一実施形態のステップＳ１２と同じ処理を行う。経過時間が所定時間を経過している場合は、制御部３３は、次にステップＳ４５を実行する。経過していない場合は、制御部３３は次にステップＳ４３を実行する。
　ステップＳ４５において、制御部３３は、図１３に示すように、処置具１の軌跡を取得する。次に、制御部３３はステップＳ４６を実行する。
　ステップＳ４６において、制御部３３は、図１３に示すように、ステップＳ４５にて取得した処置具１の軌跡から、図１２（ａ）に示すように、処置具１が切離領域の近くで静止しているかを判定する。所定時間内に取得した処置具１の軌跡を用いて判定しているため、制御部３３は処置具１が切離領域の近くで静止しているかを判定することができる。
　処置具１が切離領域の近くで静止している場合、制御部３３は次にステップＳ４７を実行する。それ以外の場合、制御部３３は次にステップＳ４３を実行する。
　ステップＳ４７において、制御部３３は、図１３に示すように、内視鏡２のアーム２１の関節２３等を操作して、内視鏡２を作動させて内視鏡２の視野を、図１２（ｂ）に示すように、処置部の先端が撮像されるように視野を調整する（作動工程）。
　処置具１が切離領域の近くで静止している場合、これから切離領域の切離を開始する可能性が高いためである。
　内視鏡２の視野を処置具１の先端が撮像されるように視野を調整する方法は、様々な方法により実現することができる。例えば、内視鏡２の撮像部２２がステレオカメラ等の距離を測定できる機能を有している場合、ステレオ画像から処置具１の挿入部１０の長手軸を３次元ベクトル情報として抽出する。次に、抽出した挿入部１０の長手軸ベクトルと、内視鏡２の撮像部２２の視軸ベクトルとの内積が負となるように、内視鏡２のアーム２１の関節２３等を操作して、内視鏡２の視野を調整する。
　次に、制御部３３はステップＳ４８を実行する。
　ステップＳ４８において、制御部３３は、図１３に示すように、モード選択部５２によって選択された動作モードが、切離モードであるかを判定する。選択された動作モードが切離モードである場合は、制御部３３はステップＳ４３を実行する。制御部３３は処理がステップＳ４３に分岐する場合、時間測定用タイマーをリセットして、経過時間をゼロに戻す。
　選択された動作モードが切離モードでない場合は、制御部３３は次にステップＳ４８を実行し、切離モードの制御を終了する。
　ここで、選択された動作モードが切離モードであった場合であっても、動作モードをマニュアルモードに強制的に変更してもよい。実際の切離処理の際に、内視鏡２が自動操作されることを防ぐためである。
　スコピストは、モード選択部５２を操作し、制御部３３の動作モードをマニュアルモードに変更することで、制御部３３による切離モードの制御を終了させ、操作入力部５１の操作により、内視鏡２のアーム２１の関節２３等を直接操作することができるようになる。
このように医療システム４００を動作させることで、以下に示す課題を解決できる。
　術者が対象の患部を実際に切離する処置を行う場合、処置具１の配置前は、術者は処置具１を適切な位置に配置するため、患部および処置具１が見渡せる視野を得たいと考える。一方、処置具１の配置後は、術者は実際に切離される箇所を観察するため、処置具１の先端が撮像される視野を得たいと考える。
このように、切離処置においては、処置具１の配置前と配置後では、術者が求める視野が異なるため、処置具１の配置後において、処置具１の配置前とは異なる視野を術者に提供する必要がある場合がある。
　処置具１が切離領域の近くで静止している場合に、処置具１の配置が完了したと判断し、制御部３３が駆動部を制御して内視鏡２を操作することで、内視鏡２の視野は切離処置に最適な視野に自動調整される。
（第四実施形態の効果）
　本実施形態の医療システム４００によれば、所定時間ごとに取得した処置具１の軌跡に基づき視野の調整を行うため、制御部３３は処置具１が切離領域の近くで静止しているかを判定することができる。
　本実施形態の医療システム４００の切離モードの制御によれば、処置具１が切離領域の近くで静止しているかに基づいて、処置具１の先端が撮像されるように、内視鏡２が自動操作される。切離処置に適した内視鏡２の反復操作を自動化することができる。
（第五実施形態）
　本発明の第五実施形態について、図１４を参照して説明する。本実施形態は、動作モードの種類の数が第一実施形態ないし第四実施形態と異なっている。以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。
　本実施形態に係る医療システム５００の全体構成は、第一実施形態に係る医療システム１００と同じである。医療システム５００は、医療システム１００と比較して、制御部３３が複数の動作モードを有する点が異なる。
図１４は、医療システム５００の制御部３３が制御可能な動作モードを示している。医療システム５００の制御部３３は、マニュアルモードと、医療システム１００の制御部３３が有していた剥離Ａモードと、医療システム２００の制御部３３が有していた剥離Ｂモードと、医療システム３００の制御部３３が有していた縫合モードと、医療システム４００の制御部３３が有していた切離モードと、で動作可能である。
なお、医療システム５００の制御部３３は、上記に示す動作モードのうち、一部の動作モードのみで動作可能であってもよい。
術者もしくはスコピストは、モード選択部５２を操作し、制御部３３の動作モードを処置に適した動作モードに変更する。術者もしくはスコピストは、様々なモードを使い分け、処置ごとに最適な視野を得ることができる。
　また、医療システム５００の制御部３３は、動作モードとして「自動選択モード」を有してもよい。制御部３３は、自動選択モードにおいて、事前に機械学習により獲得した内視鏡２の選択ルールに基づいて、内視鏡２の動作モードを自動選択する。
　自動選択モードにおける選択ルールは、表示画像を入力とし、動作モードを出力とする関数である。マニュアルモードにおいてスコピストがモード選択部５２に対して行った選択と、その際の表示画像との組が学習データである。適切な量の学習データをもとに、ニューラルネットワーク等の手法によって、上記関数は獲得される。
選択ルールは、特定の術者の手術において取得した学習データだけを用いて獲得してもよい。特定の術者に特有の選択ルールを獲得することができ、医療システム５００は、その術者に適した視野の自動調整を提供することができる。
　医療システム５００は、自動選択モードにおいて、実際の表示画面とモード選択部５２に対して行った操作とを学習データとして獲得した操作ルールを用いて、内視鏡２を自動操作する。自動選択モードを用いれば、術者もしくはスコピストは、処置の種類により、動作モードを選択する必要がなくなる。
（第五実施形態の効果）
　本実施形態の医療システム５００によれば、処置に適した動作モードを、複数の動作可能な動作モードから選択することができ、処置ごとに適した内視鏡２の反復操作を自動化することができる。
本実施形態の医療システム５００によれば、自動選択モードを用いることで、処置の種類により、動作モードを選択する必要がなくなる。
　本発明は、内視鏡を有する医療システムおよび医療システムの作動方法に適用することができる。
１００、２００、３００、４００、５００　医療システム
１、１Ｂ　処置具
１Ｃ　　　アーム
１０　　　挿入部
１１　　　操作部
１２　　　処置部
１２ａ　　把持部材
２　　　　内視鏡
２０　　　挿入部
２１　　　アーム
２２　　　撮像部
２３　　　関節
３　　　　制御装置
３１　　　駆動部
３２　　　画像処理部
３３　　　制御部
３５　　　メモリ
３６　　　記憶部
３７　　　入出力制御部
３８　　　画像演算部
４　　　　表示部
５　　　　入力部
５１　　　操作入力部
５２　　　モード選択部

Claims (14)

  1. 　処置具と、
    撮像部を有し、電動で駆動されて作動する内視鏡と、
    前記内視鏡を駆動する駆動部と、
    　前記駆動部を制御する制御部と、
    前記撮像部が撮像した画像を表示する表示部と、
    　を備え、
    　前記制御部は、前記処置具の軌跡を検出し、検出した前記軌跡に基づいて、前記駆動部を制御して前記内視鏡を作動させる、
    　医療システム。
  2. 前記制御部は、前記撮像部が撮像した前記画像から前記処置具の前記軌跡を検出する、
    請求項１に記載の医療システム。
  3. 　前記制御部は、前記軌跡の中心が前記画像の中央となるように、前記内視鏡を作動させる、
    請求項１または請求項２に記載の医療システム。
  4. 前記制御部は、前記軌跡の範囲の前記画像に対して占める面積の割合が所定範囲となるように、前記内視鏡を作動させる、
    請求項１または請求項２に記載の医療システム。
  5. 前記制御部は、前記画像の範囲の一部の領域を術者に選択させ、
    前記軌跡が前記領域に近づいている場合、前記画像が前記領域に近接する視野となるように、前記内視鏡を作動させ、
    前記軌跡が前記領域から遠ざかっている場合、前記画像が前記領域を俯瞰する視野となるように、前記内視鏡を作動させる、
    請求項１または請求項２に記載の医療システム。
  6. 前記制御部は、前記画像の範囲の一部の領域を術者に選択させ、
    前記軌跡が前記領域に近接して静止している場合、前記処置具の先端が撮像されるように、前記内視鏡を作動させる、
    請求項１または請求項２に記載の医療システム。
  7. 前記制御部は、
    　前記軌跡の中心が前記画像の中央となるように、前記内視鏡を作動させる剥離Ａモードと、
    　前記軌跡の範囲の前記画像に対して占める面積の割合が所定範囲となるように、前記内視鏡を作動させる剥離Ｂモードと、
    　前記画像の範囲の一部の針かけ領域を術者に選択させ、前記軌跡が前記針かけ領域に近づいている場合、前記画像が前記針かけ領域に近接する視野となるように、前記内視鏡を作動させ、前記軌跡が前記針かけ領域から遠ざかっている場合、前記画像が前記針かけ領域を俯瞰する視野となるように、前記内視鏡を作動させる縫合モードと、
    　前記画像の範囲の一部の切離領域を術者に選択させ、前記軌跡が前記切離領域に近接して静止している場合、前記処置具の先端が撮像されるように、前記内視鏡を作動させる切離モード、
    の動作モードのうち少なくとも一部の前記動作モードで動作可能であり、
    動作可能な前記動作モードから選択された一つの前記動作モードで動作する、
    請求項１または請求項２に記載の医療システム。
  8. 　処置具と、撮像部を有する内視鏡と、前記内視鏡を駆動する駆動部と、前記駆動部を制御する制御部と、を備える医療システムの作動方法であって、
    　前記処置具の軌跡を検出する検出工程と、
    検出した前記軌跡に基づいて前記内視鏡を作動させる作動工程と、を備える、
    医療システムの作動方法。
  9. 　前記検出工程は、前記内視鏡が撮像した画像に基づいて行われる、
    　請求項８に記載の医療システムの作動方法。
  10. 　前記作動工程は、前記軌跡の中心が前記画像の中央となるように、前記内視鏡を作動させる、
    請求項９に記載の医療システムの作動方法。
  11. 前記作動工程は、前記軌跡の範囲の前記画像に対して占める面積の割合が所定範囲となるように、前記内視鏡を作動させる、
    請求項９に記載の医療システムの作動方法。
  12. 前記作動工程は、前記画像の範囲の一部の領域を術者に選択させ、前記軌跡が前記領域に近づいている場合、前記画像が前記領域に近接する視野となるように、前記内視鏡を作動させ、
    前記軌跡が前記領域から遠ざかっている場合、前記画像が前記領域を俯瞰する視野となるように、前記内視鏡を作動させる、
    請求項９に記載の医療システムの作動方法。
  13. 前記作動工程は、前記画像の範囲の一部の領域を術者に選択させ、前記軌跡が前記領域に近接して静止している場合、前記処置具の先端が撮像されるように、前記内視鏡を作動させる、
    請求項９に記載の医療システムの作動方法。
  14. 前記作動工程は、
    　　前記軌跡の中心が前記画像の中央となるように、前記内視鏡を作動させる剥離Ａモードと、
    　　前記軌跡の範囲の前記画像に対して占める面積の割合が所定範囲となるように、前記内視鏡を作動させる剥離Ｂモードと、
    　前記画像の範囲の一部の針かけ領域を術者に選択させ、前記軌跡が前記針かけ領域に近づいている場合、前記画像が前記針かけ領域に近接する視野となるように、前記内視鏡を作動させ、前記軌跡が前記針かけ領域から遠ざかっている場合、前記画像が前記針かけ領域を俯瞰する視野となるように、前記内視鏡を作動させる縫合モードと、
    　前記画像の範囲の一部の切離領域を術者に選択させ、前記軌跡が前記切離領域に近接して静止している場合、前記処置具の先端が撮像されるように、前記内視鏡を作動させる切離モード、
    の動作モードのうち少なくとも一部の前記動作モードから選択された一つの前記動作モードで前記内視鏡を作動させる、
    請求項９に記載の医療システムの作動方法。
PCT/JP2017/020841 2017-06-05 2017-06-05 医療システムおよび医療システムの作動方法 WO2018225132A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/020841 WO2018225132A1 (ja) 2017-06-05 2017-06-05 医療システムおよび医療システムの作動方法
US16/699,903 US11419481B2 (en) 2017-06-05 2019-12-02 Medical system and operation method of medical system for controlling a driver to move an area defined by a plurality of positions of a treatment tool to a predetermined region in next image captured

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/020841 WO2018225132A1 (ja) 2017-06-05 2017-06-05 医療システムおよび医療システムの作動方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/699,903 Continuation US11419481B2 (en) 2017-06-05 2019-12-02 Medical system and operation method of medical system for controlling a driver to move an area defined by a plurality of positions of a treatment tool to a predetermined region in next image captured

Publications (1)

Publication Number Publication Date
WO2018225132A1 true WO2018225132A1 (ja) 2018-12-13

Family

ID=64566657

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/020841 WO2018225132A1 (ja) 2017-06-05 2017-06-05 医療システムおよび医療システムの作動方法

Country Status (2)

Country Link
US (1) US11419481B2 (ja)
WO (1) WO2018225132A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021006228A1 (en) * 2019-07-10 2021-01-14 Sony Corporation Medical observation system, control device, and control method
WO2021158328A1 (en) * 2020-02-06 2021-08-12 Covidien Lp System and methods for suturing guidance
WO2022030142A1 (ja) * 2020-08-04 2022-02-10 ソニーグループ株式会社 情報処理装置、プログラム、学習モデル及び学習モデルの生成方法
WO2022054498A1 (ja) * 2020-09-11 2022-03-17 ソニーグループ株式会社 医療用アーム制御システム、医療用アーム装置、医療用アームの制御方法及びプログラム
WO2023195326A1 (ja) * 2022-04-05 2023-10-12 オリンパス株式会社 内視鏡システム、手技支援方法および手技支援プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6857748B2 (ja) * 2017-11-28 2021-04-14 オリンパス株式会社 医療システムおよび医療システムの作動方法
US11998187B2 (en) * 2021-09-10 2024-06-04 Olympus Corporation Suture method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10179512A (ja) * 1996-12-19 1998-07-07 Olympus Optical Co Ltd 内視鏡装置
JP2012147857A (ja) * 2011-01-17 2012-08-09 Olympus Medical Systems Corp 画像処理装置
WO2014156218A1 (ja) * 2013-03-28 2014-10-02 オリンパス株式会社 内視鏡システムおよび内視鏡システムの作動方法
WO2015149041A1 (en) * 2014-03-28 2015-10-01 Dorin Panescu Quantitative three-dimensional visualization of instruments in a field of view

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08280695A (ja) 1995-04-18 1996-10-29 Olympus Optical Co Ltd 手術用マニピュレータ装置
DE19961971B4 (de) * 1999-12-22 2009-10-22 Forschungszentrum Karlsruhe Gmbh Vorrichtung zum sicheren automatischen Nachführen eines Endoskops und Verfolgen eines Instruments
US7841980B2 (en) * 2006-05-11 2010-11-30 Olympus Medical Systems Corp. Treatment system, trocar, treatment method and calibration method
US7794396B2 (en) * 2006-11-03 2010-09-14 Stryker Corporation System and method for the automated zooming of a surgical camera
TWI517828B (zh) * 2012-06-27 2016-01-21 國立交通大學 影像追蹤系統及其影像追蹤方法
US9413976B2 (en) * 2012-08-08 2016-08-09 Intuitive Surgical Operations, Inc. Auto exposure of a camera in a surgical robot
WO2015121765A1 (en) * 2014-02-12 2015-08-20 Koninklijke Philips N.V. Robotic control of surgical instrument visibility
US10398521B2 (en) * 2014-03-17 2019-09-03 Intuitive Surgical Operations, Inc. System and method for recentering imaging devices and input controls
JP6323183B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置および画像処理方法
CN108261167B (zh) * 2017-01-03 2019-12-03 上银科技股份有限公司 内视镜操控系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10179512A (ja) * 1996-12-19 1998-07-07 Olympus Optical Co Ltd 内視鏡装置
JP2012147857A (ja) * 2011-01-17 2012-08-09 Olympus Medical Systems Corp 画像処理装置
WO2014156218A1 (ja) * 2013-03-28 2014-10-02 オリンパス株式会社 内視鏡システムおよび内視鏡システムの作動方法
WO2015149041A1 (en) * 2014-03-28 2015-10-01 Dorin Panescu Quantitative three-dimensional visualization of instruments in a field of view

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021006228A1 (en) * 2019-07-10 2021-01-14 Sony Corporation Medical observation system, control device, and control method
WO2021158328A1 (en) * 2020-02-06 2021-08-12 Covidien Lp System and methods for suturing guidance
WO2022030142A1 (ja) * 2020-08-04 2022-02-10 ソニーグループ株式会社 情報処理装置、プログラム、学習モデル及び学習モデルの生成方法
WO2022054498A1 (ja) * 2020-09-11 2022-03-17 ソニーグループ株式会社 医療用アーム制御システム、医療用アーム装置、医療用アームの制御方法及びプログラム
WO2023195326A1 (ja) * 2022-04-05 2023-10-12 オリンパス株式会社 内視鏡システム、手技支援方法および手技支援プログラム

Also Published As

Publication number Publication date
US11419481B2 (en) 2022-08-23
US20200100649A1 (en) 2020-04-02

Similar Documents

Publication Publication Date Title
WO2018225132A1 (ja) 医療システムおよび医療システムの作動方法
KR102501099B1 (ko) 원격조작 의료 시스템에서 기구의 스크린상 식별정보를 렌더링하기 위한 시스템 및 방법
AU2019352792B2 (en) Indicator system
KR102698268B1 (ko) 원격조작 의료 시스템에서 기구의 스크린상 식별을 위한 시스템 및 방법
KR101038417B1 (ko) 수술 로봇 시스템 및 그 제어 방법
JP7160033B2 (ja) 入力制御装置、入力制御方法、および手術システム
KR101764438B1 (ko) 하나 이상의 랜드마크를 향해 내시경 디바이스의 팁을 조종하고 운전자의 내시경 길찾기를 돕기 위한 시각적 안내를 제공하는 시스템
JP5084139B2 (ja) 内視鏡装置
JP6624705B2 (ja) 内視鏡挿入形状観測装置
US20230148847A1 (en) Information processing system, medical system and cannulation method
JP7494196B2 (ja) コンピュータ支援手術システムの手術セッション中の撮像デバイス視点の最適化を容易にするシステム及び方法
JP2004041778A (ja) 体腔内観察システム
KR100962472B1 (ko) 수술 로봇 시스템 및 그 제어 방법
WO2021115857A1 (en) Guided anatomical manipulation for endoscopic procedures
US20210030476A1 (en) Medical system and medical system operating method
US20220273368A1 (en) Auto-configurable simulation system and method
US12048501B2 (en) Medical image diagnosis apparatus, surgery assistance robot apparatus, surgery assistance robot controlling apparatus, and controlling method
CN115990042A (zh) 内窥镜系统以及使用内窥镜系统进行导引和成像的方法
JP6857748B2 (ja) 医療システムおよび医療システムの作動方法
KR102720969B1 (ko) 원격조작 의료 시스템에서 기구의 스크린상 식별정보를 렌더링하기 위한 시스템 및 방법
WO2019035206A1 (ja) 医療システムおよび画像生成方法
CN118490352A (zh) 一种用于介入手术的图像展示方法及介入手术机器人系统
JPH11318819A (ja) 内視鏡手術システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17913031

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17913031

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP