WO2023127004A1 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
WO2023127004A1
WO2023127004A1 PCT/JP2021/048541 JP2021048541W WO2023127004A1 WO 2023127004 A1 WO2023127004 A1 WO 2023127004A1 JP 2021048541 W JP2021048541 W JP 2021048541W WO 2023127004 A1 WO2023127004 A1 WO 2023127004A1
Authority
WO
WIPO (PCT)
Prior art keywords
endoscope
treatment instrument
posture
target
treatment
Prior art date
Application number
PCT/JP2021/048541
Other languages
English (en)
French (fr)
Inventor
久嗣 田島
亮太 佐々井
紀明 山中
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2021/048541 priority Critical patent/WO2023127004A1/ja
Publication of WO2023127004A1 publication Critical patent/WO2023127004A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • the present invention relates to an endoscope system, and more particularly to an endoscope system that allows an endoscope to follow a treatment instrument to be tracked.
  • an endoscope system in which an endoscope follows a treatment tool of interest, such as a treatment tool held in the right hand of an operator or a treatment tool with a marker (see, for example, Patent Document 1). .
  • Patent Literature 1 In order for the endoscope to follow the treatment tool, it is necessary to accurately determine the treatment tool to be tracked in the image.
  • Patent Literature 1 there is a problem that the accuracy of determination of the treatment instrument to be tracked is insufficient. For example, when a plurality of treatment instruments exist in the body, or when determining a predetermined treatment instrument of interest by image recognition, misrecognition of the treatment instrument to be tracked may occur. Further, when the treatment instrument to be followed is removed from the body and another treatment instrument is inserted into the body, the other treatment instrument cannot be determined as a new follow-up target.
  • the present invention has been made in view of the circumstances described above, and an object of the present invention is to provide an endoscope system capable of accurately determining a treatment instrument to be tracked.
  • One aspect of the present invention includes an endoscope, a moving device for moving the endoscope, and a control device for controlling the endoscope and the moving device, wherein the control device is configured to move the endoscope receives an image captured by the endoscope, calculates a first orientation of the first treatment instrument in the image, and determines whether the endoscope moves in response to the movement of the first treatment instrument based on the first orientation If it is determined to follow, the endoscope generates a command for the moving device to follow the first treatment instrument, and if it is determined not to follow, the internal An endoscope system, wherein a scope generates a command to the moving device to stop following the first treatment instrument.
  • FIG. 1 is an external view of the overall configuration of an endoscope system according to one embodiment of the present invention
  • FIG. FIG. 4 is a diagram for explaining movements of an endoscope and a treatment instrument inserted into the body via a body wall port
  • 2 is a block diagram showing a hardware configuration of a control device of the endoscope system of FIG. 1
  • FIG. 2 is a block diagram showing functions of a control device of the endoscope system of FIG. 1
  • FIG. 1 is an example of an endoscopic image acquired during surgery
  • 4 is another example of an endoscopic image acquired during surgery
  • FIG. 10 is a diagram illustrating an example of a method for setting a tracking target
  • FIG. 10 is a diagram illustrating another example of a tracking target setting method; It is a figure explaining the example of the recognition method of a treatment implement. It is a figure explaining other examples of the recognition method of a treatment implement. It is a figure explaining the example of the attitude
  • 4 is a flow chart of a tracking method according to the first embodiment; 8 is a flow chart of a modification of the tracking method according to the first embodiment; 8B is a flowchart of the candidate narrowing routine of FIG. 8A; It is an example of an endoscopic image during replacement of a treatment instrument to be tracked.
  • 8 is a flow chart of a tracking method according to the second embodiment; It is a figure explaining the example of the position of a treatment tool.
  • FIG. 10 is a diagram for explaining a method of determining a follow target based on pivot points;
  • FIG. 10 is a diagram for explaining a method of determining a follow target based on pivot points;
  • 9 is a flow chart of a tracking method according to the third embodiment;
  • 11 is a flow chart of a modification of the tracking method according to the third embodiment;
  • 14B is a flowchart of the candidate narrowing routine of FIG. 14A;
  • 11 is a flow chart of a modification of the tracking method according to the third embodiment; It is a figure explaining the method of estimating a pivot point from an endoscopic image.
  • 10 is a flow chart of a tracking method according to the fourth embodiment;
  • FIG. 4 is a diagram showing an example of the posture and position of a treatment instrument superimposed on an endoscopic image;
  • an endoscope system 1 is used for surgery using an endoscope 2 and one or more treatment instruments 6, such as laparoscopic surgery. . Although only one treatment instrument 6 is shown in FIGS. 1A and 1B, two or more treatment instruments 6 may be used.
  • the body wall B of the patient A is formed with a plurality of holes C as ports for inserting the endoscope 2 and one or more treatment instruments 6 into the body.
  • the endoscope 2 and one or more treatment instruments 6 are inserted into the body via trocars 7 inserted into the respective ports C, and are swingably attached to the body wall around a predetermined pivot point P that is the position of the port C. It is supported by B and can change its position and posture in the body by swinging around the pivot point P.
  • the endoscope system 1 includes an endoscope 2, a moving device 3 that holds the endoscope 2 and moves the endoscope 2 inside the body, and the endoscope 2 and the moving device 3 that are connected to the endoscope 2 and the moving device 3.
  • a control device 4 for controlling the moving device 3 and a display device 5 for displaying an endoscopic image are provided.
  • the endoscope 2 is, for example, a rigid endoscope, and includes an imaging unit (not shown) that has an imaging element and acquires an endoscopic image. As shown in FIGS. 3A and 3B, the endoscope 2 acquires an endoscopic image D including one or more treatment tools 61, 62, 63, and 64 by an imaging unit, and controls the endoscopic image D. Send to device 4.
  • the moving device 3 includes a robot arm 3a having a plurality of joints 3b, and holds the proximal end of the endoscope 2 at the distal end of the robot arm 3a.
  • the moving device 3 can move the endoscope 2 and change the position and posture of the endoscope 2 by operating the joint 3b.
  • the control device 4 comprises at least one processor 4a such as a central processing unit, a storage unit 4b, an input interface 4c, an output interface 4d and a network interface 4e.
  • Endoscopic images D transmitted from the endoscope 2 are sequentially input to the control device 4 via the input interface 4c, sequentially output to the display device 5 via the output interface 4d, and displayed on the display device 5.
  • the operator operates the treatment tools 61, 62, 63, and 64 inserted into the body while observing the endoscopic image D displayed on the display device 5, and uses the treatment tools 61, 62, 63, and 64 to Treat the affected area.
  • the display device 5 is any display such as a liquid crystal display.
  • the storage unit 4b includes a volatile working memory such as RAM (random access memory) and a non-volatile recording medium such as ROM (read-only memory) or hard disk. It stores programs and data necessary for executing processing.
  • the later-described functions of the control device 4 are realized by executing programs by the processor 4a. Some functions of the control device 4 may be realized by a dedicated logic circuit or the like.
  • the type, arrangement and number of treatment tools in the endoscopic image D change during surgery.
  • the energy device 61 is changed to the forceps 63, or another treatment instrument 64 is inserted from another port after the treatment instrument 62 is pulled out.
  • the control device 4 sets one treatment instrument 61 in the endoscopic image D as a follow-up target, and controls the moving device 3 based on the position of the follow-up target 61 to cause the endoscope 2 to follow the follow-up target 61 . to continue to capture the follow-up target 61 within the field of view F of the endoscope 2 .
  • the control device 4 arranges the distal end of the treatment instrument 61, which is the follow-up target, in a predetermined central region in the endoscopic image D. It controls the mobile device 3 .
  • the control device 4 selects a target setting unit 41 for setting a treatment tool 61 to be tracked, and the treatment tools 61 and 62 in the current endoscopic image D.
  • a recognition unit 42 that recognizes, a calculation unit 43 that calculates the current postures of the treatment instruments 61 and 62 in the current endoscopic image D, the current postures of the treatment instruments 61 and 62 and the tracking target 61
  • a judgment unit 44 for judging whether or not the endoscope 2 follows the movements of the treatment instruments 61 and 62 based on the past postures, and a tracking target treatment instrument 61 judged to be followed by the endoscope 2. It includes a storage unit 45 that stores the current posture and a command generation unit 46 that generates commands to the mobile device 3 .
  • the target setting unit 41 automatically sets one treatment instrument 61 as a follow-up target, or sets one treatment instrument 61 as a follow-up target based on the operator's operation.
  • a treatment instrument that exists in the endoscopic image D and satisfies a predetermined condition is set as a follow-up target.
  • the predetermined condition is the type of treatment instrument.
  • an energy device is a treatment tool that a doctor pays attention to during treatment, and usually only one energy device exists in the endoscopic image D.
  • the target setting unit 41 recognizes the types of the treatment instruments 61 and 62 in the endoscopic image D, and sets the energy device 61 such as an electric scalpel as a tracking target.
  • the target treatment instrument 61 is set as the follow-up target. .
  • the target treatment instrument 61 is set as the follow-up target by the operator specifying the numbers attached to the treatment instruments 61 and 62 or the numbers attached to the ports.
  • the recognition unit 42 processes the current endoscopic image D, which is the latest endoscopic image acquired by the endoscope 2, to identify all treatment tools 61, Recognize 62.
  • a known image recognition technique using deep learning such as semantic segmentation shown in FIG. 5A or instance segmentation shown in FIG. 5B, is used to recognize the treatment tools 61 and 62 .
  • the calculation unit 43 calculates the two-dimensional or three-dimensional current postures of all the treatment instruments 61 and 62 recognized by the recognition unit 42 .
  • an example of the two-dimensional posture of the treatment instruments 61 and 62 is the longitudinal vector q of each treatment instrument 61 and 62 on the image plane (XY plane) of the endoscopic image D.
  • it is the angle ⁇ between the longitudinal axis G of each of the treatment tools 61 and 62 and the predetermined reference axis H in the endoscopic image D.
  • An example of the three-dimensional posture of the treatment instruments 61 and 62 is the longitudinal vector q of each treatment instrument 61 and 62 in the three-dimensional space of the endoscopic image D.
  • the three-dimensional orientation of the treatment instruments 61 and 62 are the angle ⁇ of the treatment instruments 61 and 62 on the image plane, the tilt angle of the treatment instruments 61 and 62 in the depth direction (Z direction) perpendicular to the image plane, and the angle formed by the longitudinal axis G with the X-axis or the Y-axis (horizontal and vertical axes of the endoscopic image D).
  • the vector q or the angle is calculated from the endoscopic image D, which is a stereo image including information on the three-dimensional positions of the treatment instruments 61 and 62, or obtained by an optical or magnetic attitude sensor.
  • the vector or the angle of the shafts 61a and 62a in the two-dimensional endoscopic image D is It may be calculated from the thickness.
  • the determination unit 44 acquires the past posture (second posture) of the follow-up target (second treatment instrument) from the storage unit 45 .
  • the past posture is the posture of the object to be tracked in the past endoscopic image D, and is the posture stored in the storage unit 45 a predetermined time before the current posture, as will be described later.
  • the determination unit 44 determines whether or not the endoscope 2 follows the movements of the treatment instruments 61 and 62 based on the current postures of the treatment instruments 61 and 62 and the past posture of the tracking target. to decide.
  • the determination unit 44 compares the current orientation (first orientation) of the treatment instrument (first treatment instrument) 61 with the past orientation of the tracking target. The determination unit 44 determines that the endoscope 2 follows the movement of the treatment instrument 61 when the current posture of the treatment instrument 61 is the same or substantially the same as the past posture of the object to be tracked, and determines the current posture of the treatment instrument 61 . If the posture is the same or not substantially the same as the past posture of the target to be tracked, it is determined that the endoscope 2 does not follow the movement of the treatment tool 61 .
  • the determination unit 44 calculates the deviation d, which is the amount of deviation of the current posture of the treatment instrument 61 from the past posture of the tracking target.
  • the judgment unit 44 judges that the current orientation of the treatment instrument 61 is the same or substantially the same as the past orientation of the tracking target, and the magnitude of the deviation d is If it is larger than the predetermined threshold, it is determined that the current posture of the treatment instrument 61 is not the same or substantially the same as the past posture of the tracking target.
  • the determination unit 44 determines whether the current posture (third posture) of another treatment tool (third treatment tool) 62 is the same or substantially the same as the past posture of the tracking target. to determine whether or not the endoscope 2 follows the movement of the other treatment instrument 62 .
  • a treatment instrument whose current posture is the same or substantially the same as the past posture of the target to be tracked is a candidate for the target to be tracked. If the current orientation of the single treatment instrument 61 is the same or substantially the same as the past orientation of the target to be tracked, that is, if there is only one candidate, the determination unit 44 determines that the candidate treatment instrument 61 is the target to be tracked. , and determines that the endoscope 2 follows the movement of the treatment instrument 61 .
  • the determination unit 44 determines whether the plurality of candidates 61 and 62 Among them, the treatment instrument 61 with the smallest deviation d is determined as the target to be tracked, and the endoscope 2 finally determines that the movement of the treatment instrument 61 will be tracked.
  • the postures of the plurality of treatment instruments 61 and 62 are different from each other and the posture of each treatment instrument 61 and 62 is within a restricted range. It can change. That is, the posture of the treatment instrument 61 to be tracked differs from the posture of the other treatment instruments 62, and is constant or substantially constant unless the position and attitude of the endoscope 2 change. Therefore, the treatment instrument 61 whose current posture is the same or substantially the same as the past posture can be identified as the follow-up target.
  • the determination unit 44 determines that the movement corresponds to the target to be followed. It is determined that the treatment tool to be used does not exist in the endoscopic image D, and the determination result is notified to the target setting unit 41 .
  • the target setting unit 41 sets the tracking target again in response to the notification from the determination unit 44 .
  • the deviation d is calculated from the following equation (1).
  • q t is a vector representing the current orientation
  • q t ⁇ i is a vector representing the past orientation of the tracking target.
  • each term may be weighted.
  • the recognition unit 42 may also recognize the types of the treatment tools 61 and 62, and the determination unit 44 may determine the follow target based on the types of the treatment tools 61 and 62 in addition to the current posture.
  • the storage unit 45 may further store the type of tracking target.
  • the storage unit 45 is composed of the storage unit 4b.
  • the storage unit 45 stores the orientation of the tracking target when the tracking target is set by the target setting unit 41 .
  • This posture is calculated by the calculator 43 from the endoscopic image D when the tracking target is set, for example.
  • the storage unit 45 stores the current posture of the treatment instrument 61 determined by the determination unit 44 to be followed, among the current postures calculated by the calculation unit 43 .
  • the orientation stored in the storage unit 45 is updated.
  • the current orientation stored in the storage unit 45 is used as the past orientation in the subsequent determination of the tracking target executed by the determination unit 44 .
  • the command generation unit 46 generates a command for the mobile device 3 based on the determination result of the determination unit 44 and transmits the command to the mobile device 3 . Specifically, when it is determined that the endoscope 2 will follow the movement of the treatment tool 61 , the command generator 46 generates a command for the endoscope 2 to follow the treatment tool 61 . On the other hand, when it is determined that the endoscope 2 does not follow the movement of the treatment tool 61 , the command generation unit 46 generates a command for the endoscope 2 to stop following the treatment tool 61 .
  • An endoscope 2 and one or more treatment tools 61 and 62 are inserted into the body via trocars 7 of different ports C, and an endoscopic image D including one or more treatment tools 61 and 62 is produced by the endoscope 2. is obtained.
  • the operator performs treatment using one or more treatment tools 61 and 62 while observing the endoscopic image D displayed on the display device 5 .
  • the control device 4 executes a tracking method for causing the endoscope 2 to follow the treatment tool 61 to be tracked, which moves inside the body, as shown in FIG.
  • the following method includes step S1 for setting the treatment instrument 61 to be tracked, steps S2 to S4 for calculating the current orientation of each treatment instrument 61 and 62 in the endoscope image D, and It includes steps S5 to S8 for judging the object to be followed, step S9 for storing the current posture of the object to be followed, and steps S10 and S11 for generating a command to the mobile device 3 based on the judgment result of the object to be followed.
  • the target setting unit 41 sets one treatment tool 61 in the endoscopic image D as a follow-up target (step S1).
  • the endoscope 2 starts to track the target 61 to be tracked by the controller 4 starting to control the moving device 3 .
  • the control device 4 calculates the two-dimensional or three-dimensional position of the object 61 to be tracked based on the endoscopic image D, and endoscopically arranges the object 61 to be tracked in the central region of the endoscopic image D.
  • a mirror 2 is moved by a moving device 3 .
  • the control device 4 executes processes S2 to S11 for determining and tracking the follow target 61.
  • the recognition unit 42 receives the current endoscopic image D from the endoscope 2 (step S2), and recognizes all the treatment tools 61 and 62 in the current endoscopic image D (step S3).
  • the calculator 43 calculates the current postures of all the treatment instruments 61 and 62 in the current endoscopic image D (step S4).
  • the determination unit 44 acquires the past posture of the tracking target 61 from the storage unit 45 (step S5).
  • the past posture acquired at this time is the posture a predetermined time before the current posture, which was stored in the storage unit 45 in the previous step S9.
  • the determination unit 44 determines whether the endoscope 2 follows the movement of each of the treatment instruments 61 and 62 based on the current attitude of each treatment instrument 61 and 62 and the past attitude of the tracking target 61. That is, it is determined whether or not each treatment instrument 61, 62 is a target to be followed (step S6).
  • the determination unit 44 calculates the deviation d of the current posture of each of the treatment instruments 61 and 62 from the past posture, and determines whether the deviation d of each of the treatment instruments 61 and 62 is equal to or less than a predetermined threshold and is the minimum. to judge.
  • the determination unit 44 determines the treatment instrument 61 to be a track target (step S8).
  • the storage unit 45 stores the current posture of the treatment instrument 61 determined as the tracking target (step S9).
  • the command generation unit 46 generates a command for the endoscope 2 to follow the treatment instrument 61 (step S10), and transmits the command to the moving device 3.
  • step S7 the command generation unit 46 generates a command for the endoscope 2 to stop following the treatment instrument 61 (step S11), Send the command to the mobile device 3 .
  • the target setting unit 41 again sets one treatment tool in the endoscopic image D as a follow-up target (step S1), and steps S2 to S11 are executed again. Steps S1 to S11 are repeated until the tracking ends in step S12.
  • the current posture of each of the treatment instruments 61 and 62 in the current endoscopic image D is calculated, and whether or not each of the treatment instruments 61 and 62 is the target to be tracked is currently determined. will be judged based on the attitude of Since the postures of the treatment instruments 61 and 62 are restricted by the port C and the trocar 7, the posture of the treatment instrument 61 to be tracked in the endoscopic image D does not change suddenly. Moreover, the postures of the treatment instruments 61 and 62 in the endoscopic image D are different from each other. Therefore, based on the current attitude of each treatment instrument 61, 62, it is possible to accurately determine whether or not each treatment instrument 61, 62 is a target to be followed. Also, the deviation d of the current orientation of the tracking target from the past orientation is calculated, and the tracking target is determined based on the deviation d. As a result, it is possible to determine the target to be tracked with only a simple calculation.
  • the determination unit 44 tracks and determines only the target to be tracked based on the posture, but as shown in FIGS. You may That is, when a plurality of treatment tools 61 and 62 are included in the endoscopic image D, in step S1, the target setting unit 41 sets one treatment tool 61 as a tracking target, and the other treatment tool 62 is tracked. Target. In step S6', the determining unit 44 determines which of the plurality of treatment instruments 61 and 62 to follow based on the current orientation of each of the treatment instruments 61 and 62 and the past orientation of the tracking target, for example, based on the deviation d. Extract target candidates. Subsequently, the determination unit 44 narrows down the follow target candidate to one by tracking the track target 62 (step S13).
  • the determination unit 44 selects one tracked object j (step S131), and acquires the past posture of the tracked object j from the storage unit 45 (step S132).
  • the determination unit 44 calculates the deviation d of the current posture of the tracking target j from the past posture in the same manner as in steps S6 and S6′, and tracks the treatment instrument whose deviation d is equal to or less than a predetermined threshold value. It is extracted as a candidate for object j (step S133).
  • the determination unit 44 determines the candidate to be the tracked object j (step S135), and the history of the tracked object j stored in the storage unit 45. is updated to the current posture (step S136). Next, if there are one or more candidates ("only one" or “plural” in step S134), the determination unit 44 determines whether or not the tracked object j is included in the candidates for the tracking object. (Step S137) If it is included in the tracking target candidates, the tracking target j is deleted from the tracking target candidates (step S138).
  • the determination unit 44 selects another tracked object j+1 (step S140), and repeats steps S132 to S138, thereby executing the processes of steps S132 to S138 for all the tracked objects (step S139). As a result, the candidates for the tracking target are narrowed down.
  • step S14 the determination unit 44 determines the remaining candidate to be the tracked target.
  • Step S8 the determination unit 44 determines that there is no follow target or that the follow target cannot be determined, and the target setting unit 41 sets the follow target again.
  • the determination unit 44 determines the target to be followed based on the deviation d
  • the command generating unit 46 generates a command for stopping the endoscope 2 from following all the treatment tools 61 and 62. may generate directives. In this case, whether or not the endoscope 2 follows the movement of each treatment instrument (first treatment instrument, third treatment instrument) 61, 62 is determined by the current posture (first posture) of each treatment instrument 61, 62.
  • the determination unit 44 After making the determination based on the posture, the third posture), the determination unit 44 generates a first result of determining whether or not the endoscope 2 follows the movement of the treatment tool 61, 3) generates a second result of judging whether or not the endoscope 2 follows the movement of the treatment instrument 62 .
  • the command generator 46 If the first result is a determination to follow and the second result is a determination to not follow, the command generator 46 generates a command for the endoscope 2 to follow the treatment tool 61. do. In addition, when the first result is the judgment that it will not follow and the second result is the judgment that it will follow, the command generation unit 46 generates a command for the endoscope 2 to follow the treatment instrument 62. to generate In this way, when there is only one target to be tracked, the control device 4 controls the moving device 3 to cause the endoscope 2 to track the target to be tracked.
  • the command generation unit 46 internally A command for the scope 2 to stop following the treatment instruments 61 and 62 is generated. In this way, when there are a plurality of candidates for the tracking target, or when there are no candidates, the control device 4 controls the moving device 3 to stop the endoscope 2 from tracking the tracking target.
  • the control device 4 may automatically return the target to be tracked after determining that the target to be tracked does not exist. For example, as shown in FIG. 9, when the treatment instrument 61 to be tracked disappears from the endoscopic image D due to replacement of the treatment instrument or the like, or the posture of the treatment instrument 61 to be tracked is changed for some reason. If the deviation d temporarily exceeds the threshold, it is determined in step S7 that there is no treatment instrument corresponding to the target to be tracked, and the controller 4 loses sight of the target to be tracked. In this case, after step S7, the control device 4 uses the next endoscopic image D to execute steps S2 to S7 again.
  • the control device 4 repeats steps S2 to S7 until a treatment instrument 63 whose deviation d is equal to or less than the threshold value is found, and sets the treatment instrument 63 whose deviation d is equal to or less than the threshold value as a follow-up target, thereby restoring the follow-up target.
  • the treatment instrument 63 whose current posture is the same or substantially the same as the posture of the follow-up target 61 immediately before it is determined that there is no follow-up target automatically returns as the follow-up target.
  • the treatment tool 61 to be tracked is replaced, the treatment tool 61 is pulled out of the body so that the target to be tracked disappears from the endoscopic image D, and then another treatment tool 63 is inserted into the body. The object reappears in the endoscopic image D.
  • the posture of the follow-up target does not change between before and after the follow-up target disappears. Therefore, even after losing sight of the target to be tracked once, the control device 4 can recognize the target to be tracked again based on the current posture of the treatment instrument. As a result, it is possible to save the trouble of setting the follow-up target again when replacing the treatment instrument or the like.
  • the storage unit 45 updates the posture of the tracking target each time the tracking target is determined. Instead, the storage unit 45 adds the current posture to the past posture. By doing so, the posture of the tracking target at a plurality of times may be stored.
  • the determination unit 44 may use a plurality of past postures of the tracking target at a plurality of past points in time to determine the tracking target. For example, the determination unit 44 may calculate a deviation d of the current posture with respect to each of a plurality of past postures, and determine the tracking target based on the plurality of deviations d.
  • an endoscope system 1 according to a second embodiment of the invention differs from the first embodiment in that the follow-up target is determined based on the current positions of the treatment instruments 61 and 62 in addition to the current postures.
  • configurations different from those of the first embodiment will be described, and configurations common to those of the first embodiment will be denoted by the same reference numerals, and description thereof will be omitted.
  • an endoscope system 1 according to this embodiment includes an endoscope 2, a moving device 3, a control device 4, and a display device 5.
  • the calculator 43 calculates the current positions of the treatment instruments 61 and 62 in addition to the current postures from the current endoscopic image D (step S14).
  • the positions of the treatment instruments 61 and 62 are, for example, the coordinates of at least one characteristic point in the area of each of the treatment instruments 61 and 62 recognized by the recognition unit 42 . Examples of characteristic points are, as shown in FIG. is f.
  • the determination unit 44 acquires the past posture and past position (second position) of the tracking target from the storage unit 45 (step S15).
  • the past orientation and position acquired at this time are the orientation and position of the tracking target in the past endoscopic image D, and as will be described later, the current orientation and position are obtained in step S19 a predetermined time before the current orientation and current position. These are the posture and position stored in the storage unit 45 .
  • the determination unit 44 determines whether or not the endoscope 2 follows the movements of the treatment instruments 61 and 62 based on the current postures and current positions of the treatment instruments 61 and 62 .
  • the determination unit 44 compares the current posture and current position (first position) of the treatment instrument 61 with the past posture and past position of the follow-up target 61, respectively. If the current posture is the same or substantially the same as the past posture of the tracking target, and the current position is the same or substantially the same as the past position of the tracking target, the determination unit 44 determines that the endoscope 2 has performed the treatment. It is determined that the movement of the instrument 61 is followed, that is, the treatment instrument 61 is the object to be followed (step S16).
  • the determination unit 44 determines that the endoscope 2 does not follow the movement of the treatment instrument 61 (step S16). The determination unit 44 makes similar determinations for the other treatment instruments 62 as well.
  • the determination unit 44 calculates the deviation d' from the following equation (2), and determines the treatment instrument with the minimum deviation d' equal to or less than a predetermined threshold as the follow-up target.
  • the deviation d′ is the sum of the deviation of the current position p t from the past position p t ⁇ i and the deviation of the current pose q t from the past pose q t ⁇ i .
  • the storage unit 45 stores the current posture and the current position of the treatment instrument 61 determined by the determination unit 44 to be followed (step S19).
  • the target to be tracked is determined based on the current postures and current positions of the treatment instruments 61 and 62 . As a result, it is possible to further improve the recognition accuracy of the tracking target.
  • control device 4 may automatically return the target to be tracked after determining that the target to be tracked does not exist.
  • the control device 4 repeats steps S2 to S7 until a treatment instrument whose deviation d' is equal to or less than the threshold is found, and sets the treatment instrument whose deviation d' is equal to or less than the threshold as a follow-up target. to return the target to be followed.
  • the treatment instrument whose current posture and current position are the same or substantially the same as the posture and position of the follow-up target immediately before it is determined that the follow-up target does not exist is returned as the follow-up target.
  • the control device 4 can recognize the target to be tracked again based on the posture and position of the treatment instrument.
  • an endoscope system 1 performs endoscopic observation based on the pivot points P1 and P2 of the treatment instruments 61 and 62 in addition to the current attitudes of the treatment instruments 61 and 62 and the past attitude of the target to be tracked. It is different from the first embodiment in that it is determined whether or not the mirror 2 follows the treatment instruments 61 and 62 .
  • configurations different from those of the first and second embodiments will be described, and configurations common to those of the first and second embodiments will be denoted by the same reference numerals, and description thereof will be omitted.
  • an endoscope system 1 according to this embodiment includes an endoscope 2, a moving device 3, a control device 4, and a display device 5.
  • the positions of the pivot points P1 and P2 of all the treatment instruments 61 and 62 are set in the control device 4 and stored in the storage section 45.
  • the position of the pivot point P1 is taught to the controller 4 by pressing a setting button (not shown) with the distal end of the endoscope 2 positioned at the pivot point P1.
  • Any operator such as an operator performs the teaching operation to be performed.
  • the control device 4 calculates the position of the distal end of the endoscope 2 in the world coordinate system from the angle of each joint 3b of the robot arm 3a when the setting button is pressed, and displays the calculated position of the distal end of the endoscope 2. to the position of the pivot point P1.
  • the world coordinate system is a coordinate system fixed with respect to the base end of the robot arm 3a.
  • the control device 4 projects the pivot points P1 and P2 onto the image plane of the endoscopic image D by coordinate transformation, and calculates the positions of the pivot points P1 and P2 in the image coordinate system of the endoscopic image D. do.
  • the determination unit 44 causes the endoscope 2 to follow the movements of the treatment instruments 61 and 62 based on the current attitudes of the treatment instruments 61 and 62 and the past attitude of the tracking target.
  • the tracking target is determined by determining whether or not. Then, for example, when it is determined that the deviation d of all the treatment tools 61 and 62 is larger than the threshold value and the treatment tool corresponding to the tracking target does not exist in the endoscopic image D, the determination unit 44 then pivots The points P1 and P2 are acquired from the storage unit 45, and the endoscope 2 follows the treatment instruments 61 and 62 based on the positions of the pivot points (first pivot points) P1 and P2 of the treatment instruments 61 and 62. or not.
  • the determination unit 44 determines, for each of the treatment instruments 61 and 62 in the current endoscopic image D, the first vector V1 of the posture of the treatment instrument and the tracking vector V1.
  • a second vector V2 connecting the target pivot point (second pivot point) P1 and the treatment instrument is calculated.
  • the first vector V1 is, for example, a vector connecting the proximal end b of each of the treatment tools 61 and 62 in the endoscopic image D and the center of gravity g.
  • the second vector V2 is, for example, a vector connecting the pivot point P1 of the object to be tracked on the image plane of the endoscopic image D and the center of gravity g of each of the treatment instruments 61 and 62 .
  • the first vector V1 is parallel to the second vector V2, and in the case of the treatment instrument 62 not to be tracked, the first vector V1 forms an angle with the second vector V2.
  • the determination unit 44 calculates the angle ⁇ between the first vector V1 and the second vector V2 for the treatment instrument 61 .
  • the determination unit 44 determines that the endoscope 2 follows the movement of the treatment tool 61 when the angle ⁇ is equal to or less than a predetermined threshold, and determines that the endoscope 2 follows the movement of the treatment tool 61 when the angle ⁇ is greater than the predetermined threshold. It is determined that the movement of 61 is not followed.
  • the determination unit 44 calculates the angle ⁇ between the first vector V1 and the second vector V2 for another treatment instrument 62 .
  • the determination unit 44 determines that the endoscope 2 follows the movement of the treatment tool 62 when the angle ⁇ is equal to or less than a predetermined threshold, and determines that the endoscope 2 follows the movement of the treatment tool 62 when the angle ⁇ is greater than the predetermined threshold. It is determined that the movement of 62 is not followed.
  • a treatment instrument 61 whose angle ⁇ is less than or equal to a predetermined threshold is a candidate for a follow-up target. Therefore, as a result of the above determination, the determination unit 44 extracts candidates for the follow-up target from among the plurality of treatment instruments 61 and 62 . If there is no treatment instrument whose angle ⁇ is equal to or less than the predetermined threshold value, the determination unit 44 determines that the treatment instrument corresponding to the tracking target does not exist in the endoscopic image D, and sets the determination result as the target. The unit 41 is notified.
  • the determination unit 44 calculates a third vector V3 connecting each pivot point P2 of the treatment tool 62 other than the target to be tracked and the treatment tool for each of the treatment tools 61 and 62 in the current endoscopic image D. , the angle ⁇ ′ between the first vector V1 and the third vector V3 is calculated. Among the candidates, the treatment instruments whose angle ⁇ ′ is equal to or smaller than the threshold value are excluded from the candidates, and the remaining candidates are determined to be the follow-up targets.
  • the angle ⁇ of the other treatment instrument 62 is larger than a predetermined threshold.
  • treatment instrument 62 is not erroneously recognized as a follow-up target.
  • FIG. 12B when the pivot point P2 of another treatment instrument 62 exists near the pivot point P1 of the target to be tracked 61, the angle ⁇ of the other treatment instrument 62 is also less than or equal to the predetermined threshold, Another treatment instrument 62 may be erroneously recognized as a follow-up target. As described above, erroneous recognition of the target to be tracked can be prevented by excluding the treatment instrument having both the angle ⁇ and the angle ⁇ ′ equal to or less than the threshold value from the candidates for the target to be tracked.
  • step S21 the positions of the pivot points P1 and P2 in the image coordinate system of the treatment instruments 61 and 62 are set in the control device 4 (step S21), and then steps S1 to S1 are performed as in the first embodiment. S7 is executed. Then, when it is determined that there is no treatment instrument corresponding to the tracking target (NO in step S7), the determination unit 44 acquires the pivot points P1 and P2 from the storage unit 45, and based on the pivot points P1 and P2. A follow-up target is determined (step S22).
  • the determination unit 44 calculates a first vector V1 of the current posture of the treatment instrument 61 and a second vector V2 from the pivot point P1 to the treatment instrument 61, and calculates the angle between the two vectors V1 and V2. ⁇ is calculated, and if the angle ⁇ is equal to or less than the threshold value, the treatment instrument 61 is selected as a follow-up target candidate. Similarly, the determination unit 44 also calculates the angle ⁇ for the other treatment instruments 62, and selects the treatment instrument 62 as a follow-up target candidate when the angle ⁇ is equal to or less than the threshold.
  • the determination unit 44 calculates a third vector V3 connecting each pivot point P2 of the non-trackable treatment tool 62 and the treatment tool for each treatment tool selected as a candidate, and calculates the first vector V1 and the first vector V1. Calculate the angle ⁇ ′ between the three vectors V3. Then, the determination unit 44 excludes the treatment instruments whose angle ⁇ ′ is equal to or less than the threshold value from the candidates, determines the remaining candidates as the follow-up target (YES in step S23), and determines the remaining candidates as the follow-up target (step S8). If it is determined in step S23 that there is no treatment instrument corresponding to the target to be tracked, the control device 4 automatically restores the target to be tracked by repeating steps S2 to S8, S22, and S23 until the target to be tracked is found. Let
  • the determination unit 44 may determine that the treatment instrument having the smallest angle ⁇ equal to or less than a predetermined threshold value is the target to be tracked without narrowing down the candidates based on the angle ⁇ ′. . In this case, in step S21, only the position of the pivot point P1 to be tracked may be set.
  • the determining unit 44 determines the target to be tracked based on the current attitude and the past attitude. You can judge. Further, the determination unit 44 may narrow down the candidates for the tracking target based on the pivot points P1 and P2. That is, as shown in FIG. 14A , in step S22′, the determination unit 44 selects treatment instruments whose angle ⁇ is equal to or less than a predetermined threshold value as candidates for tracking targets in the same manner as in step S22.
  • the determination unit 44 narrows down the candidates (step S24). Specifically, as shown in FIG. 14B, in step S24, the determination unit 44 selects one treatment instrument from among the candidates as the tracking target j (step S131), and determines the posture and pivot point of the tracking target j. A candidate for the tracked object j is extracted based on (step S141). Specifically, the determination unit 44 calculates a first vector of the posture of the tracked object j and a second vector connecting the pivot point of the tracked object j and each treatment tool, and calculates the first vector and the second vector. is selected as a candidate for the tracking object j, the treatment instrument whose angle .theta.
  • the determination unit 44 determines whether or not the candidate for the tracked object j is included in the candidates for the tracking object (step S137). , the candidate for the tracked object j is deleted from the candidates for the tracked object (step S138). The determination unit 44 sequentially selects the candidate treatment instruments to be tracked one by one as the tracking target j, and executes the processes of steps S132 to S138 (steps S139 and S140). As a result, the candidates for the tracking target are narrowed down. If the number of follow-up target candidates becomes zero before all the follow-up target candidates are selected as the tracked target j (NO in step S142), the determination unit 44 terminates the narrowing down of the candidates at that point. may
  • the control device 4 controls the endoscope based on the current posture, current position, and pivot points P1, P2 of each treatment instrument 61, 62, and the past posture and pivot point P1 of the tracking target. 2 follows the movement of each treatment instrument 61, 62. That is, as shown in FIG. 15, the control device 4 may execute steps S14 to S16 of the second embodiment instead of steps S4 to S6. Furthermore, in the present embodiment, the positions of the pivot points P1 and P2 are set prior to tracking the target to be tracked. Instead, as shown in FIG. The positions of the pivot points P1 and P2 may be estimated from the optic image D.
  • step S8 after the target to be tracked is determined (step S8), the current positions of the pivot points P1 and P2 of the treatment instruments 61 and 62 are estimated using the current endoscopic image D. (Step S31), the positions of the pivot points P1 and P2 are stored in the storage section 45 (Step S32). Then, after it is determined in step S7 that there is no treatment instrument to be tracked, the past positions of the pivot points P1 and P2 already stored in the storage unit 45 are acquired (step S33), and the pivot points P1 and P2 are obtained. The tracked object is determined using the past positions of (step S22). According to this modification, the work of setting the position of the pivot point in step S21 can be eliminated.
  • step S31 the determination unit 44 uses the position of the treatment instrument 61 in the endoscopic image D, the depth information of the treatment instrument 61, and the position and orientation of the endoscope 2 to obtain the current endoscopic image D
  • the position of the pivot point P1 of the treatment instrument 61 inside is estimated.
  • the determination unit 44 also estimates the pivot point P2 of the other treatment instrument 62 within the current endoscopic image D. As shown in FIG.
  • the determination unit 44 calculates the two-dimensional positions of the distal end a and the proximal end b of the treatment instrument 61 in the image coordinate system from the current endoscopic image D. Further, the determination unit 44 obtains the positions of the distal end a and the proximal end b of the treatment instrument 61 in the depth direction by a three-dimensional measuring means such as a three-dimensional camera. Then, using the positions of the distal end a and the proximal end b in the depth direction, the determination unit 44 converts the two-dimensional positions of the distal end a and the proximal end b in the image coordinate system into three-dimensional positions of the distal end and the proximal end in the camera coordinate system.
  • the determination unit 44 calculates the position and orientation of the distal end of the endoscope 2 in the world coordinate system from the angle of each joint 3b of the robot arm 3a, and calculates the position and orientation of the distal end of the endoscope 2 in the world coordinate system. and pose are used to transform the three-dimensional positions of tip a and base b in the camera coordinate system to the positions of tip a and base b in the world coordinate system. Then, the determination unit 44 calculates the longitudinal axis G of the treatment instrument 61 connecting the distal end a and the proximal end b in the world coordinate system, acquires the past longitudinal axis G from the storage unit 45, and The intersection point is calculated as the pivot point P1. The calculated position of the pivot point P1 is stored in the storage unit 45 .
  • an endoscope system 1 includes an endoscope 2, a moving device 3, a control device 4, and a display device 5.
  • Step S22 is as described in the third embodiment.
  • the first vector V1 representing the current posture of each of the treatment instruments 61 and 62 and the second vector V2 connecting the pivot point P1 to be tracked and each of the treatment instruments 61 and 62 are is calculated, and whether or not each of the treatment instruments 61 and 62 is to be followed is determined based on the angle ⁇ between the vectors V1 and V2. Normally, the posture of the treatment instrument 61 to be tracked and the pivot point P1 do not change abruptly.
  • step S22 it is possible to determine that a treatment instrument with a minimum angle ⁇ equal to or less than a predetermined threshold value is a target to be tracked without narrowing down the candidates based on the angle ⁇ ′.
  • the posture and position calculated by the calculator 43 may be superimposed on the endoscopic image D.
  • FIG. 18 For example, as shown in FIG. 18, a line I representing the longitudinal axis of the treatment instrument 61 as the posture of the treatment instrument 61 to be tracked, and a dot J representing the base end b as the position of the treatment instrument 61 can be followed. It may be superimposed on the target 61 .
  • the treatment instrument 61 to be tracked disappears from the endoscopic image D, by continuing to display the posture I and the position J of the treatment instrument 61 immediately before, when the target to be tracked returns , posture I, and position J, the target to be tracked can be easily determined.

Abstract

内視鏡システム（１）は、内視鏡（２）と、内視鏡（２）を移動させる移動装置（３）と、内視鏡（２）および移動装置（３）を制御する制御装置（４）と、を備える。制御装置（４）は、内視鏡（２）が撮像する画像を受信し、画像内にある第１の処置具の第１の姿勢を算出し、第１の姿勢に基づいて、第１の処置具の動きに内視鏡（２）が追従するか否かを判断し、追従すると判断した場合、内視鏡（２）が第１の処置具を追従するための移動装置（３）への指令を生成し、追従しないと判断した場合、内視鏡（２）が第１の処置具の追従を中止するための移動装置（３）への指令を生成する。

Description

内視鏡システム
　本発明は、内視鏡システムに関し、特に、内視鏡を追従対象の処置具に追従させる内視鏡システムに関するものである。
　従来、術者が右手に持つ処置具またはマーカが付けられた処置具等の関心のある処置具に内視鏡を追従させる内視鏡システムが知られている（例えば、特許文献１参照。）。
米国特許第１００２８７９２号明細書
　内視鏡を処置具に追従させるために、画像内の追従対象の処置具を正確に判断する必要がある。しかしながら、特許文献１において、追従対象の処置具の判断の精度が不十分であるという不都合がある。例えば、体内に複数の処置具が存在する場合、または、関心のある所定の処置具を画像認識によって判断する場合、追従対象の処置具の誤認識が発生し得る。また、追従対象の処置具を体内から抜き、他の処置具を体内に挿入した場合、他の処置具を新たな追従対象として判断することができない。
　本発明は、上述した事情に鑑みてなされたものであって、追従対象の処置具を正確に判断することができる内視鏡システムを提供することを目的とする。
　本発明の一態様は、内視鏡と、前記内視鏡を移動させる移動装置と、前記内視鏡および前記移動装置を制御する制御装置と、を備え、前記制御装置は、前記内視鏡が撮像する画像を受信し、前記画像内にある第１の処置具の第１の姿勢を算出し、前記第１の姿勢に基づいて、前記第１の処置具の動きに前記内視鏡が追従するか否かを判断し、追従すると判断した場合、前記内視鏡が前記第１の処置具を追従するための前記移動装置への指令を生成し、追従しないと判断した場合、前記内視鏡が前記第１の処置具の追従を中止するための前記移動装置への指令を生成する、内視鏡システムである。
　本発明によれば、追従対象の処置具を正確に判断することができるという効果を奏する。
本発明の一実施形態に係る内視鏡システムの全体構成の外観図である。 体壁のポートを経由して体内に挿入された内視鏡および処置具の動きを説明する図である。 図１の内視鏡システムの制御装置のハードウェア構成を示すブロック図である。 図１の内視鏡システムの制御装置の機能を示すブロック図である。 手術中に取得される内視鏡画像の一例である。 手術中に取得される内視鏡画像の他の例である。 追従対象の設定方法の例を説明する図である。 追従対象の設定方法の他の例を説明する図である。 処置具の認識方法の例を説明する図である。 処置具の認識方法の他の例を説明する図である。 処置具の姿勢の例を説明する図である。 第１実施形態に係る追従方法のフローチャートである。 第１実施形態に係る追従方法の変形例のフローチャートである。 図８Ａの候補絞り込みルーチンのフローチャートである。 追従対象である処置具の交換中の内視鏡画像の例である。 第２実施形態に係る追従方法のフローチャートである。 処置具の位置の例を説明する図である。 ピボット点に基づく追従対象の判断方法を説明する図である。 ピボット点に基づく追従対象の判断方法を説明する図である。 第３実施形態に係る追従方法のフローチャートである。 第３実施形態に係る追従方法の変形例のフローチャートである。 図１４Ａの候補絞り込みルーチンのフローチャートである。 第３実施形態に係る追従方法の変形例のフローチャートである。 内視鏡画像からピボット点を推定する方法を説明する図である。 第４実施形態に係る追従方法のフローチャートである。 内視鏡画像に重畳される処置具の姿勢および位置の例を示す図である。
（第１実施形態）
　以下に、本発明の第１実施形態に係る内視鏡システムについて図面を参照して説明する。
　図１Ａおよび図１Ｂに示されるように、本実施形態に係る内視鏡システム１は、例えば腹腔鏡手術のように、内視鏡２および１以上の処置具６を使用する手術に使用される。図１Ａおよび図１Ｂには、処置具６が１本のみ示されているが、２本以上の処置具６が使用されてもよい。
　図１Ｂに示されるように、患者Ａの体壁Ｂには、内視鏡２および１以上の処置具６を体内に挿入するためのポートとして複数の穴Ｃが形成される。内視鏡２および１以上の処置具６は、各ポートＣに挿入されたトロッカ７を経由して体内に挿入され、ポートＣの位置である所定のピボット点Ｐ回りに揺動可能に体壁Ｂに支持され、ピボット点Ｐ回りの揺動によって体内での位置および姿勢を変更可能である。
　内視鏡システム１は、内視鏡２と、内視鏡２を保持し内視鏡２を体内で移動させる移動装置３と、内視鏡２および移動装置３と接続され内視鏡２および移動装置３を制御する制御装置４と、内視鏡画像を表示する表示装置５とを備える。
　内視鏡２は、例えば硬性鏡であり、撮像素子を有し内視鏡画像を取得する撮像部（図示略）を備える。図３Ａおよび図３Ｂに示されるように、内視鏡２は、１以上の処置具６１，６２，６３，６４を含む内視鏡画像Ｄを撮像部によって取得し、内視鏡画像Ｄを制御装置４に送信する。
　移動装置３は、複数の関節３ｂを有するロボットアーム３ａを備え、ロボットアーム３ａの先端部において内視鏡２の基端部を保持する。移動装置３は、関節３ｂの動作によって、内視鏡２を移動させ内視鏡２の位置および姿勢を変更することができる。
　図２Ａに示されるように、制御装置４は、中央演算処理装置のような少なくとも１つのプロセッサ４ａと、記憶部４ｂと、入力インタフェース４ｃと、出力インタフェース４ｄと、ネットワークインタフェース４ｅとを備える。
　内視鏡２から送信された内視鏡画像Ｄは、入力インタフェース４ｃを経由して制御装置４に逐次入力され、出力インタフェース４ｄを経由して表示装置５に逐次出力され、表示装置５に表示される。術者は、表示装置５に表示される内視鏡画像Ｄを観察しながら体内に挿入された処置具６１，６２，６３，６４を操作し、処置具６１，６２，６３，６４によって体内の患部の処置を行う。表示装置５は、液晶ディスプレイ等の任意のディスプレイである。
　記憶部４ｂは、ＲＡＭ（random　access　memory）等の揮発性の作業メモリと、ＲＯＭ（read-only　memory）またはハードディスク等の不揮発性の記録媒体とを含み、不揮発性の記録媒体は、プロセッサ４ａに処理を実行させるために必要なプログラムおよびデータを記憶している。制御装置４の後述の機能は、プログラムがプロセッサ４ａによって実行されることによって、実現される。制御装置４の一部の機能は、専用の論理回路等によって実現されてもよい。
　図３Ａおよび図３Ｂに示されるように、内視鏡画像Ｄ内の処置具の種類、配置および数は手術中に変化する。例えば、エネルギデバイス６１から鉗子６３に変更されたり、処置具６２が抜かれた後に他のポートから他の処置具６４から挿入されたりする。
　制御装置４は、内視鏡画像Ｄ内の一の処置具６１を追従対象に設定し、追従対象６１の位置に基づいて移動装置３を制御することによって内視鏡２を追従対象６１に追従させ、内視鏡２の視野Ｆ内に追従対象６１を捉え続ける。例えば、制御装置４は、追従対象である処置具６１の先端が内視鏡画像Ｄ内の所定の中央領域に配置されるように、内視鏡画像Ｄ内の追従対象６１の位置に基づいて移動装置３を制御する。
　具体的には、図２Ｂに示されるように、制御装置４は、追従対象とする処置具６１を設定する対象設定部４１と、現在の内視鏡画像Ｄ内にある処置具６１，６２を認識する認識部４２と、現在の内視鏡画像Ｄ内にある各処置具６１，６２の現在の姿勢を計算する算出部４３と、各処置具６１，６２の現在の姿勢および追従対象６１の過去の姿勢に基づいて内視鏡２が各処置具６１，６２の動きに追従するか否かを判断する判断部４４と、内視鏡２が追従すると判断された追従対象の処置具６１の現在の姿勢を記憶する記憶部４５と、移動装置３への指令を生成する指令生成部４６とを備える。
　対象設定部４１は、一の処置具６１を自動的に追従対象に設定するか、または、術者の操作に基づいて一の処置具６１を追従対象に設定する。
　自動の場合、図４Ａに示されるように、内視鏡画像Ｄ内に存在し所定の条件を満たす処置具が追従対象に設定される。
　一例において、所定の条件は処置具の種類である。例えば、エネルギデバイスは、処置中に医師が注目する処置具であり、通常、１本だけ内視鏡画像Ｄ内に存在する。対象設定部４１は、内視鏡画像Ｄ内の各処置具６１，６２の種類を認識し、電気メスのようなエネルギデバイス６１を追従対象に設定する。
　手動の場合、図４Ｂに示されるように、内視鏡画像Ｄ内に設定された所定のカーソルＥに目的の処置具６１を移動させることによって、目的の処置具６１が追従対象に設定される。あるいは、各処置具６１，６２に付された番号またはポートに付された番号が術者によって指定されることで、目的の処置具６１が追従対象に設定される。
　認識部４２は、内視鏡２によって取得された最新の内視鏡画像である現在の内視鏡画像Ｄを処理することによって、現在の内視鏡画像Ｄ内にある全ての処置具６１，６２を認識する。処置具６１，６２の認識には、図５Ａに示されるセマンティックセグメンテーションまたは図５Ｂに示されるインスタンスセグメンテーション等、深層学習を使用した公知の画像認識技術が使用される。
　算出部４３は、認識部４２によって認識された全ての処置具６１，６２の各々の２次元または３次元の現在の姿勢を算出する。
　図６に示されるように、処置具６１，６２の２次元の姿勢の一例は、内視鏡画像Ｄの画像平面（ＸＹ平面）上における各処置具６１，６２の長手方向のベクトルｑであるか、または、各処置具６１，６２の長手軸Ｇが内視鏡画像Ｄ内の所定の基準軸Ｈと成す角度φである。
　処置具６１，６２の３次元の姿勢の一例は、内視鏡画像Ｄの３次元空間における各処置具６１，６２の長手方向のベクトルｑである。処置具６１，６２の３次元の姿勢の他の例は、画像平面上における処置具６１，６２の角度φ、画像平面に垂直な奥行方向（Ｚ方向）の処置具６１，６２の傾き角、および、長手軸ＧがＸ軸またはＹ軸（内視鏡画像Ｄの横軸および縦軸）と成す角度である。ベクトルｑまたは角度は、処置具６１，６２の３次元位置の情報を含むステレオ画像である内視鏡画像Ｄから算出されるか、または、光学式または磁気式の姿勢センサによって取得される。内視鏡画像Ｄ内における処置具６１，６２のシャフト６１ａ，６２ａの太さが奥行方向に応じて異なること利用し、ベクトルまたは角度は、２次元の内視鏡画像Ｄにおけるシャフト６１ａ，６２ａの太さから算出されてもよい。
　判断部４４は、追従対象（第２の処置具）の過去の姿勢（第２の姿勢）を記憶部４５から取得する。過去の姿勢は、過去の内視鏡画像Ｄにおける追従対象の姿勢であり、後述するように、現在の姿勢の所定時間前に記憶部４５に記憶された姿勢である。
　次に、判断部４４は、各処置具６１，６２の現在の姿勢と追従対象の過去の姿勢とに基づいて、内視鏡２が各処置具６１，６２の動きに追従するか否かを判断する。
　具体的には、判断部４４は、処置具（第１の処置具）６１の現在の姿勢（第１の姿勢）を追従対象の過去の姿勢と比較する。判断部４４は、処置具６１の現在の姿勢が追従対象の過去の姿勢と同一または略同一である場合、内視鏡２が処置具６１の動きに追従すると判断し、処置具６１の現在の姿勢が追従対象の過去の姿勢と同一または略同一でない場合、内視鏡２が処置具６１の動きに追従しないと判断する。
　例えば、判断部４４は、追従対象の過去の姿勢からの処置具６１の現在の姿勢のずれ量である偏差ｄを算出する。判断部４４は、偏差ｄの大きさが所定の閾値以下である場合、処置具６１の現在の姿勢が追従対象の過去の姿勢と同一または略同一であると判断し、偏差ｄの大きさが所定の閾値よりも大きい場合、処置具６１の現在の姿勢が追従対象の過去の姿勢と同一または略同一でないと判断する。
　同様にして、判断部４４は、他の処置具（第３の処置具）６２の現在の姿勢（第３の姿勢）が追従対象の過去の姿勢と同一または略同一であるか否かに基づいて、内視鏡２が他の処置具６２の動きに追従するか否かを判断する。
　現在の姿勢が追従対象の過去の姿勢と同一または略同一である処置具は、追従対象の候補である。単一の処置具６１の現在の姿勢が追従対象の過去の姿勢と同一または略同一である場合、すなわち候補が１つのみ存在する場合、判断部４４は、その候補の処置具６１が追従対象であると判断し、内視鏡２が処置具６１の動きに追従すると判断する。一方、複数の処置具６１，６２の現在の姿勢が追従対象の過去の姿勢と同一または略同一である場合、すなわち複数の候補が存在する場合、判断部４４は、複数の候補６１，６２の中から、偏差ｄの大きさが最小である処置具６１を追従対象と判断し、内視鏡２が処置具６１の動きに追従すると最終的に判断する。
　複数の処置具６１，６２は相互に異なるポートＣから体内に挿入されるので、複数の処置具６１，６２の姿勢は相互に異なると共に各処置具６１，６２の姿勢は制限された範囲内で変化可能である。すなわち、追従対象の処置具６１の姿勢は、他の処置具６２の姿勢とは異なると共に、内視鏡２の位置および姿勢が変化しない限り一定または略一定である。したがって、現在の姿勢が過去の姿勢と同一または略同一である処置具６１が追従対象であると同定することができる。
　内視鏡２が全ての処置具６１，６２の動きに追従しないと判断された場合、例えば全ての処置具６１，６２の偏差ｄが閾値よりも大きい場合、判断部４４は、追従対象に該当する処置具が内視鏡画像Ｄ内に存在しないと判断し、その判断結果を対象設定部４１に通知する。対象設定部４１は、判断部４４からの通知に応答し、追従対象を再度設定する。
　一例において、偏差ｄは、下式（１）から算出される。ｑｔは、現在の姿勢を表すベクトルであり、ｑｔ－ｉは、過去の追従対象の姿勢を表すベクトルである。式（１）において、各項に重み付けがされてもよい。
Figure JPOXMLDOC01-appb-M000001
 　他の例において、姿勢の偏差は、下式に示されるように、姿勢ベクトルｑｔ，ｑｔ－ｉが成す角度θであってもよい。
　θ＝ｃｏｓ－１（ｑｔ・ｑｔ－ｉ）
　認識部４２が各処置具６１，６２の種類も認識し、判断部４４は、現在の姿勢に加えて処置具６１，６２の種類に基づいて追従対象を判断してもよい。この場合、記憶部４５に、追従対象の種類がさらに記憶されてもよい。
　記憶部４５は、記憶部４ｂから構成される。記憶部４５は、対象設定部４１によって追従対象が設定されたときの当該追従対象の姿勢を記憶する。この姿勢は、例えば、追従対象が設定されたときの内視鏡画像Ｄから算出部４３によって算出される。その後、記憶部４５は、算出部４３によって算出された現在の姿勢の内、判断部４４によって追従対象と判断された処置具６１の現在の姿勢を記憶する。それまで記憶されていた姿勢が新たに算出された現在の姿勢に置換されることによって、記憶部４５に記憶される姿勢は更新される。記憶部４５に記憶された現在の姿勢は、その後に判断部４４によって実行される追従対象の判断において過去の姿勢として使用される。
　指令生成部４６は、判断部４４の判断結果に基づいて、移動装置３への指令を生成し、指令を移動装置３に送信する。
　具体的には、内視鏡２が処置具６１の動きに追従すると判断された場合、指令生成部４６は、内視鏡２が処置具６１を追従するための指令を生成する。一方、内視鏡２が処置具６１の動きに追従しないと判断された場合、指令生成部４６は、内視鏡２が処置具６１への追従を中止するための指令を生成する。
　次に、内視鏡システム１の作用について説明する。
　内視鏡２および１以上の処置具６１，６２が異なるポートＣのトロッカ７を経由して体内に挿入され、１以上の処置具６１，６２を含む内視鏡画像Ｄが内視鏡２によって取得される。術者は、表示装置５に表示される内視鏡画像Ｄを観察しながら、１以上の処置具６１，６２を使用して処置を行う。
　処置具６１，６２による処置中、図７に示されるように、体内で移動する追従対象の処置具６１に内視鏡２を追従させる追従方法が制御装置４によって実行される。
　追従方法は、追従対象とする処置具６１を設定するステップＳ１と、内視鏡画像Ｄ内の各処置具６１，６２の現在の姿勢を算出するステップＳ２～Ｓ４と、現在の姿勢に基づいて追従対象を判断するステップＳ５～Ｓ８と、追従対象の現在の姿勢を記憶するステップＳ９と、追従対象の判断結果に基づいて移動装置３への指令を生成するステップＳ１０，Ｓ１１とを含む。
　まず、対象設定部４１は、内視鏡画像Ｄ内の一の処置具６１を追従対象に設定する（ステップＳ１）。追従対象の設定後、制御装置４が移動装置３の制御を開始することによって、内視鏡２が追従対象６１の追従を開始する。例えば、制御装置４は、内視鏡画像Ｄに基づいて追従対象６１の２次元または３次元の位置を算出し、追従対象６１が内視鏡画像Ｄの中央領域に配置されるように内視鏡２を移動装置３によって移動させる。
　制御装置４は、移動装置３の制御と並行して、追従対象６１を判断し追跡する処理Ｓ２～Ｓ１１を実行する。
　まず、認識部４２が、内視鏡２から現在の内視鏡画像Ｄを受信し（ステップＳ２）、現在の内視鏡画像Ｄ内の全ての処置具６１，６２を認識する（ステップＳ３）。次に、算出部４３が、現在の内視鏡画像Ｄ内の全ての処置具６１，６２の各々の現在の姿勢を算出する（ステップＳ４）。
　次に、判断部４４が、追従対象６１の過去の姿勢を記憶部４５から取得する（ステップＳ５）。このときに取得される過去の姿勢は、１つ前のステップＳ９において記憶部４５に記憶された、現在の姿勢の所定時間前の姿勢である。
　続いて、判断部４４が、各処置具６１，６２の現在の姿勢と追従対象６１の過去の姿勢とに基づいて、内視鏡２が各処置具６１，６２の動きに追従するか否か、すなわち各処置具６１，６２が追従対象であるか否かを判断する（ステップＳ６）。例えば、判断部４４は、過去の姿勢からの各処置具６１，６２の現在の姿勢の偏差ｄを算出し、各処置具６１，６２の偏差ｄが所定の閾値以下かつ最小であるか否かを判断する。
　内視鏡２が追従すると判断された追従対象の処置具６１が存在する場合（ステップＳ７のＹＥＳ）、判断部４４は、その処置具６１を追従対象に決定する（ステップＳ８）。次に、記憶部４５は、追従対象に決定された処置具６１の現在の姿勢を記憶する（ステップＳ９）。また、指令生成部４６が、内視鏡２が処置具６１を追従するための指令を生成し（ステップＳ１０）、指令を移動装置３に送信する。
　一方、追従対象に該当する処置具が存在しない場合（ステップＳ７のＮＯ）、指令生成部４６が、内視鏡２が処置具６１の追従を停止するための指令を生成し（ステップＳ１１）、指令を移動装置３に送信する。その後、対象設定部４１が内視鏡画像Ｄ内の一の処置具を追従対象に再度設定することによって（ステップＳ１）、ステップＳ２～Ｓ１１が再び実行される。
　ステップＳ１２において追従が終了されるまで、ステップＳ１～Ｓ１１が繰り返される。
　このように、本実施形態によれば、現在の内視鏡画像Ｄ内の各処置具６１，６２の現在の姿勢が算出され、各処置具６１，６２が追従対象であるか否かが現在の姿勢に基づいて判断される。各処置具６１，６２の姿勢は、ポートＣおよびトロッカ７によって制限されているので、通常、内視鏡画像Ｄ内の追従対象の処置具６１の姿勢が急激に変化することはない。また、内視鏡画像Ｄ内の複数の処置具６１，６２の姿勢は、相互に異なる。したがって、各処置具６１，６２の現在の姿勢に基づき、各処置具６１，６２が追従対象であるか否かを正確に判断することができる。
　また、追従対象の過去の姿勢に対する現在の姿勢の偏差ｄが算出され、偏差ｄに基づいて追従対象が判断される。これにより、簡単な計算のみで追従対象を判断することができる。
　本実施形態において、判断部４４が、追従対象のみを姿勢に基づいて追跡し判断することとしたが、図８Ａおよび図８Ｂに示されるように、他の処置具も姿勢に基づいて追跡すると判断してもよい。
　すなわち、内視鏡画像Ｄ内に複数の処置具６１，６２が含まれる場合、ステップＳ１において、対象設定部４１は、一の処置具６１を追従対象に設定し、他の処置具６２を追跡対象に設定する。判断部４４は、ステップＳ６’において、各処置具６１，６２の現在の姿勢と追従対象の過去の姿勢とに基づいて、例えば偏差ｄに基づいて、複数の処置具６１，６２の中から追従対象の候補を抽出する。続いて、判断部４４は、追跡対象６２を追跡することによって追従対象の候補を１つに絞る（ステップＳ１３）。
　具体的には、図８Ｂに示されるように、判断部４４は、一の追跡対象ｊを選択し（ステップＳ１３１）、追跡対象ｊの過去の姿勢を記憶部４５から取得する（ステップＳ１３２）。次に、判断部４４は、ステップＳ６，Ｓ６’と同様にして、過去の姿勢からの追跡対象ｊの現在の姿勢の偏差ｄを算出し、偏差ｄが所定の閾値以下である処置具を追跡対象ｊの候補として抽出する（ステップＳ１３３）。
　候補が１つのみである場合（ステップＳ１３４の「１つのみ」）、判断部４４は、候補を追跡対象ｊに決定し（ステップＳ１３５）、記憶部４５に記憶されている追跡対象ｊの過去の姿勢を現在の姿勢に更新する（ステップＳ１３６）。次に、候補が１つまたは複数である場合（ステップＳ１３４の「１つのみ」または「複数」）、判断部４４は、追跡対象ｊが追従対象の候補に含まれているか否かを判断し（ステップＳ１３７）、追従対象の候補に含まれている場合、追従対象の候補の中から追跡対象ｊを削除する（ステップＳ１３８）。
　その後、判断部４４は、他の追跡対象ｊ＋１を選択し（ステップＳ１４０）、ステップＳ１３２～Ｓ１３８を繰り返すことによって、全ての追跡対象についてステップＳ１３２～Ｓ１３８の処理を実行する（ステップＳ１３９）。これにより、追従対象の候補が絞り込まれる。
　図８Ａに示されるように、ステップＳ１３において候補を絞り込んだ後、追従対象の残った候補が１つのみであった場合（ステップＳ１４）、判断部４４は、残った候補を追従対象に決定する（ステップＳ８）。
　一方、残った候補がゼロまたは複数であった場合（ステップＳ１４）、判断部４４は、追従対象が存在しないまたは追従対象を判断不能と判断し、対象設定部４１が、追従対象を再度設定する（ステップＳ１）。
　このように、本変形例によれば、内視鏡画像Ｄ内に含まれる全ての処置具６１，６２を追跡することによって、追従対象の候補の中から他の処置具６２である可能性が高いものを削除し、追従対象の候補を絞り込むことができる。これにより、追従対象の誤認識を抑制し、追従対象の認識精度をさらに向上することができる。
　仮に、追従対象が誤認識された場合、それ以降、内視鏡２は誤った処置具を追従し続ける。したがって、追従対象の誤認識を防ぐことが重要である。候補を絞り込んだ結果、追従対象の候補がゼロまたは複数になった場合、追従対象を再度設定することによって、内視鏡２が誤った処置具を追従し続けることを防止することができる。
　上記実施形態において、内視鏡２が複数の処置具６１，６２の動きに追従すると判断された場合、判断部４４が偏差ｄに基づいて追従対象を判断し、指令生成部４６が、内視鏡２が追従対象に追従するための指令を生成することとしたが、これに代えて、指令生成部４６は、内視鏡２の全ての処置具６１，６２への追従を中止するための指令を生成してもよい。
　この場合、内視鏡２が各処置具（第１の処置具、第３の処置具）６１，６２の動きに追従するか否かを各処置具６１，６２の現在の姿勢（第１の姿勢、第３の姿勢）に基づいて判断した後、判断部４４は、処置具６１の動きに内視鏡２が追従するか否かを判断した第１の結果を生成し、処置具（第３の処置具）６２の動きに内視鏡２が追従するか否かを判断した第２の結果を生成する。
　第１の結果が追従するとの判断であり、かつ、第２の結果が追従しないとの判断である場合、指令生成部４６は、内視鏡２が処置具６１を追従するための指令を生成する。また、第１の結果が追従しないとの判断であり、かつ、第２の結果が追従するとの判断である場合、指令生成部４６は、内視鏡２が処置具６２を追従するための指令を生成する。このように、追従対象の候補が１つのみである場合、制御装置４は、移動装置３を制御して内視鏡２を追従対象に追従させる。
　第１の結果および第２の結果の両方が追従するとの判断である場合、または、第１の結果および第２の結果の両方が追従しないとの判断である場合、指令生成部４６は、内視鏡２が処置具６１，６２への追従を中止するための指令を生成する。このように、追従対象の複数の候補が存在する場合、または、候補が存在しない場合、制御装置４は、移動装置３を制御して内視鏡２の追従対象への追従を中止させる。
　上記実施形態において、制御装置４は、追従対象が存在しないと判断した後、追従対象を自動的に復帰させてもよい。
　例えば、図９に示されるように、処置具の交換等によって追従対象の処置具６１が内視鏡画像Ｄから消えた場合、または、何等かの理由により追従対象である処置具６１の姿勢の偏差ｄが一時的に閾値を超えた場合、ステップＳ７において追従対象に該当する処置具が存在しないと判断され、制御装置４は追従対象を見失う。この場合、制御装置４は、ステップＳ７の後、次の内視鏡画像Ｄを用いてステップＳ２～Ｓ７を再度実行する。制御装置４は、偏差ｄが閾値以下である処置具６３が見つかるまでステップＳ２～Ｓ７を繰り返し、偏差ｄが閾値以下である処置具６３を追従対象に設定することによって追従対象を復帰させる。これにより、現在の姿勢が、追従対象が存在しないと判断される直前の追従対象６１の姿勢と同一または略同一である処置具６３が追従対象として自動的に復帰する。
　例えば、追従対象の処置具６１を交換する際、処置具６１が体内から抜かれることによって内視鏡画像Ｄから追従対象が消え、その後に他の処置具６３が体内に挿入されることによって追従対象が内視鏡画像Ｄ内に再び出現する。処置具６１，６３の交換中に内視鏡２を移動させない限りは、追従対象の姿勢は、追従対象が消える前と後との間で変化しない。したがって、制御装置４は、追従対象を一度見失った後も、処置具の現在の姿勢に基づいて追従対象を再度認識することができる。これにより、処置具の交換等に際して、追従対象を再度設定する手間を省くことができる。
　上記実施形態において、記憶部４５は、追従対象が決定される度に追従対象の姿勢を更新することとしたが、これに代えて、記憶部４５は、過去の姿勢に現在の姿勢を追加することによって複数の時刻における追従対象の姿勢を記憶してもよい。
　この場合、判断部４４は、追従対象の判断に、過去の複数の時点における追従対象の複数の過去の姿勢を用いてもよい。例えば、判断部４４は、複数の過去の姿勢の各々に対する現在の姿勢の偏差ｄを算出し、複数の偏差ｄに基づいて追従対象を判断してもよい。
（第２実施形態）
　次に、本発明の第２実施形態に係る内視鏡システムについて説明する。
　本実施形態に係る内視鏡システム１は、処置具６１，６２の現在の姿勢に加えて現在の位置に基づいて追従対象を判断する点において、第１実施形態と相違する。本実施形態において、第１実施形態と異なる構成について説明し、第１実施形態と共通する構成については同一の符号を付して説明を省略する。
　第１実施形態と同様に、本実施形態に係る内視鏡システム１は、内視鏡２と、移動装置３と、制御装置４と、表示装置５とを備える。
　図１０に示されるように、算出部４３は、現在の姿勢に加えて各処置具６１，６２の現在の位置を現在の内視鏡画像Ｄから算出する（ステップＳ１４）。
　処置具６１，６２の位置は、例えば、認識部４２によって認識される各処置具６１，６２の領域の少なくとも１つの特徴点の座標である。特徴点の例は、図１１に示されるように、処置具６１の先端ａまたは基端ｂ、シャフト６１ａの先端ｃ、処置具６１の重心ｇ、または、処置具領域を囲む矩形の角ｅ，ｆである。
　判断部４４は、追従対象の過去の姿勢および過去の位置（第２の位置）を記憶部４５から取得する（ステップＳ１５）。このときに取得される過去の姿勢および位置は、過去の内視鏡画像Ｄにおける追従対象の姿勢および位置であり、後述するように、現在の姿勢および現在の位置の所定時間前にステップＳ１９において記憶部４５に記憶された姿勢および位置である。
　次に、判断部４４は、処置具６１，６２の現在の姿勢および現在の位置に基づいて、内視鏡２が各処置具６１，６２の動きに追従するか否かを判断する。
　具体的には、判断部４４は、処置具６１の現在の姿勢および現在の位置（第１の位置）を追従対象６１の過去の姿勢および過去の位置とそれぞれ比較する。現在の姿勢が追従対象の過去の姿勢と同一または略同一であり、かつ、現在の位置が追従対象の過去の位置と同一または略同一である場合、判断部４４は、内視鏡２が処置具６１の動きに追従する、すなわち処置具６１が追従対象であると判断する（ステップＳ１６）。一方、現在の姿勢が追従対象の過去の姿勢と同一または略同一ではなく、かつ／または、現在の位置が追従対象の過去の位置と同一または略同一でない場合、判断部４４は、内視鏡２が処置具６１の動きに追従しないと判断する（ステップＳ１６）。
　他の処置具６２についても、判断部４４は、同様の判断を行う。
　例えば、判断部４４は、下式（２）から偏差ｄ’を算出し、偏差ｄ’が所定の閾値以下かつ最小である処置具を追従対象と判断する。偏差ｄ’は、過去の位置ｐｔ－ｉからの現在の位置ｐｔの偏差と、過去の姿勢ｑｔ－ｉからの現在の姿勢ｑｔの偏差と、の和である。
Figure JPOXMLDOC01-appb-M000002
　記憶部４５は、判断部４４によって追従対象と判断された処置具６１の現在の姿勢および現在の位置を記憶する（ステップＳ１９）。
　本実施形態によれば、処置具６１，６２の現在の姿勢および現在の位置に基づいて追従対象が判断される。これにより、追従対象の認識精度をさらに向上することができる。
　本実施形態においても、制御装置４は、追従対象が存在しないと判断した後、追従対象を自動的に復帰させてもよい。この場合、制御装置４は、ステップＳ７の後、偏差ｄ’が閾値以下である処置具が見つかるまでステップＳ２～Ｓ７を繰り返し、偏差ｄ’が閾値以下である処置具を追従対象に設定することによって追従対象を復帰させる。これにより、現在の姿勢および現在の位置が、追従対象が存在しないと判断される直前の追従対象の姿勢および位置と同一または略同一である処置具が追従対象として復帰する。
　例えば処置具の交換中、内視鏡を移動させない限りは、追従対象の姿勢および位置は、追従対象が消える前と後との間で変化しない。したがって、制御装置４は、追従対象を一度見失った後も、処置具の姿勢および位置に基づいて追従対象を再度認識することができる。
（第３実施形態）
　次に、本発明の第３実施形態に係る内視鏡システムについて説明する。
　本実施形態に係る内視鏡システム１は、各処置具６１，６２の現在の姿勢および追従対象の過去の姿勢に加えて各処置具６１，６２のピボット点Ｐ１，Ｐ２に基づいて、内視鏡２が各処置具６１，６２に追従するか否かを判断する点において、第１実施形態と相違する。本実施形態において、第１および第２実施形態と異なる構成について説明し、第１および第２実施形態と共通する構成については同一の符号を付して説明を省略する。
　第１実施形態と同様に、本実施形態に係る内視鏡システム１は、内視鏡２と、移動装置３と、制御装置４と、表示装置５とを備える。
　本実施形態において、全ての処置具６１，６２の各々のピボット点Ｐ１，Ｐ２の位置が制御装置４に設定され記憶部４５に記憶される。例えば、内視鏡２を体内に挿入する前、内視鏡２の先端をピボット点Ｐ１に配置した状態で設定ボタン（図示略）を押下することによってピボット点Ｐ１の位置を制御装置４に教示する教示作業が術者等の任意の作業者によって実行される。制御装置４は、設定ボタンが押下されたときのロボットアーム３ａの各関節３ｂの角度からワールド座標系における内視鏡２の先端の位置を算出し、算出された内視鏡２の先端の位置をピボット点Ｐ１の位置に設定する。ワールド座標系は、ロボットアーム３ａの基端に対して固定された座標系である。次に、制御装置４は、座標変換によって各ピボット点Ｐ１，Ｐ２を内視鏡画像Ｄの画像平面に投影し、内視鏡画像Ｄの画像座標系における各ピボット点Ｐ１，Ｐ２の位置を算出する。
　判断部４４は、第１実施形態と同様に、各処置具６１，６２の現在の姿勢と追従対象の過去の姿勢とに基づいて内視鏡２が各処置具６１，６２の動きに追従するか否かを判断することによって、追従対象を判断する。そして、例えば全ての処置具６１，６２の偏差ｄが閾値よりも大きく、追従対象に該当する処置具が内視鏡画像Ｄ内に存在しないと判断した場合、判断部４４は、続いて、ピボット点Ｐ１，Ｐ２を記憶部４５から取得し、各処置具６１，６２のピボット点（第１のピボット点）Ｐ１，Ｐ２の位置に基づいて内視鏡２が各処置具６１，６２に追従するか否かを判断する。
　具体的には、図１２Ａおよび図１２Ｂに示されるように、判断部４４は、現在の内視鏡画像Ｄ内の各処置具６１，６２について、処置具の姿勢の第１ベクトルＶ１と、追従対象のピボット点（第２のピボット点）Ｐ１と処置具とを結ぶ第２ベクトルＶ２とを算出する。第１ベクトルＶ１は、例えば、内視鏡画像Ｄ内の各処置具６１，６２の基端ｂと重心ｇとを結ぶベクトルである。第２ベクトルＶ２は、例えば、内視鏡画像Ｄの画像平面上の追従対象のピボット点Ｐ１と各処置具６１，６２の重心ｇとを結ぶベクトルである。
　追従対象の処置具６１の場合、第１ベクトルＶ１は第２ベクトルＶ２に平行であり、追従対象ではない処置具６２の場合、第１ベクトルＶ１は第２ベクトルＶ２に対して角度を成す。
　判断部４４は、処置具６１について第１ベクトルＶ１と第２ベクトルＶ２との間の角度θを算出する。判断部４４は、角度θが所定の閾値以下である場合、内視鏡２が処置具６１の動きに追従すると判断し、角度θが所定の閾値よりも大きい場合、内視鏡２が処置具６１の動きに追従しないと判断する。
　同様に、判断部４４は、他の処置具６２について第１ベクトルＶ１と第２ベクトルＶ２との間の角度θを算出する。判断部４４は、角度θが所定の閾値以下である場合、内視鏡２が処置具６２の動きに追従すると判断し、角度θが所定の閾値よりも大きい場合、内視鏡２が処置具６２の動きに追従しないと判断する。
　角度θが所定の閾値以下である処置具６１は、追従対象の候補である。したがって、判断部４４は、上記の判断の結果、複数の処置具６１，６２の中から追従対象の候補を抽出する。
　もし、角度θが所定の閾値以下である処置具が存在しない場合、判断部４４は、追従対象に該当する処置具が内視鏡画像Ｄ内に存在しないと判断し、その判断結果を対象設定部４１に通知する。
　次に、判断部４４は、現在の内視鏡画像Ｄ内の各処置具６１，６２について、追従対象以外の処置具６２の各ピボット点Ｐ２と処置具とを結ぶ第３ベクトルＶ３を算出し、第１ベクトルＶ１と第３ベクトルＶ３との間の角度θ’を算出する。そして、候補の内、角度θ’が閾値以下である処置具を候補から除外し、残った候補を追従対象と判断する。
　図１２Ａに示されるように、追従対象６１のピボット点Ｐ１が他の処置具６２のピボット点Ｐ２から離れている場合、他の処置具６２の角度θは所定の閾値よりも大きくなるので、他の処置具６２が追従対象として誤認識されることはない。一方、図１２Ｂに示されるように、追従対象６１のピボット点Ｐ１の近くに他の処置具６２のピボット点Ｐ２が存在する場合、他の処置具６２の角度θも所定の閾値以下になり、他の処置具６２が追従対象として誤認識される可能性が生じる。
　上記のように、角度θおよび角度θ’の両方が閾値以下である処置具を追従対象の候補から除外することによって、追従対象の誤認識を防止することができる。
　次に、内視鏡システム１の作用について説明する。
　図１３に示されるように、各処置具６１，６２の画像座標系におけるピボット点Ｐ１，Ｐ２の位置が制御装置４に設定され（ステップＳ２１）、その後、第１実施形態と同様にステップＳ１～Ｓ７が実行される。そして、追従対象に該当する処置具が存在しないと判断された場合（ステップＳ７のＮＯ）、判断部４４は、ピボット点Ｐ１，Ｐ２を記憶部４５から取得し、ピボット点Ｐ１，Ｐ２に基づいて追従対象を判断する（ステップＳ２２）。
　具体的には、判断部４４は、処置具６１の現在の姿勢の第１ベクトルＶ１とピボット点Ｐ１から処置具６１までの第２ベクトルＶ２とを算出し、２つのベクトルＶ１，Ｖ２間の角度θを算出し、角度θが閾値以下である場合、処置具６１を追従対象の候補として選択する。同様に、判断部４４は、他の処置具６２についても角度θを算出し、角度θが閾値以下である場合、処置具６２を追従対象の候補として選択する。次に、判断部４４は、候補として選択された各処置具について、追従対象以外の処置具６２の各ピボット点Ｐ２と処置具とを結ぶ第３ベクトルＶ３を算出し、第１ベクトルＶ１と第３ベクトルＶ３との間の角度θ’を算出する。そして、判断部４４は、角度θ’が閾値以下である処置具を候補から除外し、残った候補を追従対象と判断し（ステップＳ２３のＹＥＳ）、残った候補を追従対象に決定する（ステップＳ８）。
　ステップＳ２３においても追従対象に該当する処置具が存在しないと判断された場合、制御装置４は、追従対象が見つかるまでステップＳ２～Ｓ８，Ｓ２２，Ｓ２３を繰り返すことによって、追従対象を自動的に復帰させる。
　このように、本実施形態によれば、処置具６１，６２の現在の姿勢に基づいて追従対象を判断することができなかった場合、続いて、ピボット点Ｐ１，Ｐ２に基づいて追従対象が判断される。これにより、制御装置４が追従対象を見失ってしまうことを低減することができる。
　本実施形態において、判断部４４は、ステップＳ２２において、角度θ’に基づく候補の絞り込みを行わず、角度θが所定の閾値以下でありかつ最小である処置具を追従対象と判断してもよい。この場合、ステップＳ２１において、追従対象のピボット点Ｐ１の位置のみが設定されてもよい。
　本実施形態において、判断部４４が、現在の姿勢および過去の姿勢に基づいて追従対象を判断することとしたが、これに代えて、現在の姿勢およびピボット点Ｐ１，Ｐ２に基づいて追従対象を判断してもよい。また、判断部４４は、追従対象の候補をピボット点Ｐ１，Ｐ２に基づいて絞り込んでもよい。
　すなわち、図１４Ａに示されるように、ステップＳ２２’において、判断部４４は、ステップＳ２２と同様にして、角度θが所定の閾値以下である処置具を追従対象の候補として選択する。
　選択された追従対象の候補が複数である場合（ステップＳ７’の「複数」）、判断部４４は、候補の絞り込みを行う（ステップＳ２４）。具体的には、図１４Ｂに示されるように、ステップＳ２４において、判断部４４は、候補の内から一の処置具を追跡対象ｊとして選択し（ステップＳ１３１）、追跡対象ｊの姿勢およびピボット点に基づいて追跡対象ｊの候補を抽出する（ステップＳ１４１）。具体的には、判断部４４は、追跡対象ｊの姿勢の第１ベクトルと、追跡対象ｊのピボット点と各処置具とを結ぶ第２ベクトルとを算出し、第１ベクトルと第２ベクトルとの間の角度θが所定の閾値以下である処置具を追跡対象ｊの候補として選択する。
　候補が１つまたは複数である場合、判断部４４は、追跡対象ｊの候補が追従対象の候補に含まれているか否かを判断し（ステップＳ１３７）、追従対象の候補に含まれている場合、追従対象の候補の中から追跡対象ｊの候補を削除する（ステップＳ１３８）。
　判断部４４は、追従対象の候補の処置具を１つずつ順番に追跡対象ｊとして選択し、ステップＳ１３２～Ｓ１３８の処理を実行する（ステップＳ１３９，Ｓ１４０）。これにより、追従対象の候補が絞り込まれる。
　追従対象の全ての候補の処置具が追跡対象ｊとして選択される前に追従対象の候補がゼロになった場合（ステップＳ１４２のＮＯ）、判断部４４は、その時点で候補の絞り込みを終了してもよい。
　本実施形態において、制御装置４が、各処置具６１，６２の現在の姿勢、現在の位置およびピボット点Ｐ１，Ｐ２と、追従対象の過去の姿勢およびピボット点Ｐ１とに基づいて、内視鏡２が各処置具６１，６２の動きに追従するか否かを判断してもよい。すなわち、図１５に示されるように、制御装置４が、ステップＳ４～Ｓ６に代えて、第２実施形態のステップＳ１４～Ｓ１６を実行してもよい。
　さらに、本実施形態において、追従対象の追跡に先立ちピボット点Ｐ１，Ｐ２の位置が設定されることとしたが、これに代えて、図１５に示されるように、判断部４４が、現在の内視鏡画像Ｄからピボット点Ｐ１，Ｐ２の位置を推定してもよい。
　図１５に示される変形例において、追従対象が決定された後（ステップＳ８）、現在の内視鏡画像Ｄを用いて各処置具６１，６２のピボット点Ｐ１，Ｐ２の現在の位置が推定され（ステップＳ３１）、ピボット点Ｐ１，Ｐ２の位置が記憶部４５に記憶される（ステップＳ３２）。そして、ステップＳ７において追従対象の処置具が存在しないと判断された後、既に記憶部４５に記憶されているピボット点Ｐ１，Ｐ２の過去の位置が取得され（ステップＳ３３）、ピボット点Ｐ１，Ｐ２の過去の位置を使用して追従対象が判断される（ステップＳ２２）。
　本変形例によれば、ステップＳ２１のピボット点の位置を設定する作業を不要にすることができる。
　ステップＳ３１において、判断部４４は、内視鏡画像Ｄ内の処置具６１の位置、処置具６１の奥行情報、ならびに内視鏡２の位置および姿勢を使用して、現在の内視鏡画像Ｄ内の処置具６１のピボット点Ｐ１の位置を推定する。同様に、判断部４４は、現在の内視鏡画像Ｄ内の他の処置具６２のピボット点Ｐ２も推定する。
　具体的には、図１６に示されるように、判断部４４は、現在の内視鏡画像Ｄから画像座標系での処置具６１の先端ａおよび基端ｂの２次元位置を算出する。また、判断部４４は、処置具６１の先端ａおよび基端ｂの奥行方向の位置を、３次元カメラ等の３次元計測手段によって取得する。そして、判断部４４は、先端ａおよび基端ｂの奥行方向の位置を用いて、画像座標系での先端ａおよび基端ｂの２次元位置をカメラ座標系での先端および基端の３次元位置に変換する。次に、判断部４４は、ロボットアーム３ａの各関節３ｂの角度からワールド座標系での内視鏡２の先端の位置および姿勢を算出し、ワールド座標系での内視鏡２の先端の位置および姿勢を用いて、カメラ座標系での先端ａおよび基端ｂの３次元位置をワールド座標系での先端ａおよび基端ｂの位置に変換する。そして、判断部４４は、ワールド座標系での先端ａおよび基端ｂを結ぶ処置具６１の長手軸Ｇを算出し、記憶部４５から過去の長手軸Ｇを取得し、２つの長手軸Ｇの交点をピボット点Ｐ１として算出する。算出されたピボット点Ｐ１の位置は記憶部４５に記憶される。
（第４実施形態）
　次に、本発明の第４実施形態に係る内視鏡システムについて説明する。
　本実施形態に係る内視鏡システム１は、処置具６１，６２の姿勢の偏差ｄに基づく追従対象の判断を行わず、処置具６１，６２の現在の姿勢およびピボット点Ｐ１，Ｐ２に基づいて、内視鏡２が各処置具６１，６２の動きに追従するか否かを判断する点において、第１実施形態と相違する。本実施形態において、第１から第３実施形態と異なる構成について説明し、第１から第３実施形態と共通する構成については同一の符号を付して説明を省略する。
　第１実施形態と同様に、本実施形態に係る内視鏡システム１は、内視鏡２と、移動装置３と、制御装置４と、表示装置５とを備える。
　図１７に示されるように、ステップＳ４の次に、判断部４４は、ピボット点Ｐ１，Ｐ２の位置に基づいて追従対象を判断する（ステップＳ２２）。ステップＳ２２は、第３の実施形態において説明した通りである。
　このように、本実施形態によれば、各処置具６１，６２の現在の姿勢である第１ベクトルＶ１と、追従対象のピボット点Ｐ１と各処置具６１，６２とを結ぶ第２ベクトルＶ２とが算出され、各処置具６１，６２が追従対象であるか否かがベクトルＶ１，Ｖ２間の角度θに基づいて判断される。通常、追従対象の処置具６１の姿勢およびピボット点Ｐ１が急激に変化することはない。また、内視鏡画像Ｄ内の複数の処置具６１，６２の姿勢は、相互に異なる。したがって、角度θに基づき、各処置具６１，６２が追従対象であるか否かを正確に判断することができる。
　本実施形態においても、ステップＳ２２において、角度θ’に基づく候補の絞り込みを行わず、角度θが所定の閾値以下かつ最小である処置具を追従対象と判断してもよい。
　上記の各実施形態において、算出部４３によって算出された姿勢および位置が内視鏡画像Ｄに重畳表示されてもよい。
　例えば、図１８に示されるように、追従対象の処置具６１の姿勢としての処置具６１の長手軸を表すラインＩと、処置具６１の位置としての基端ｂを表すドットＪとが、追従対象６１に重畳表示されてもよい。
　この構成によれば、追従対象の処置具６１が内視鏡画像Ｄ内から消えた場合に、直前の処置具６１の姿勢Ｉおよび位置Ｊを表示し続けることによって、追従対象が復帰したときに、姿勢Ｉおよび位置Ｊに基づいて追従対象を容易に判断することができる。
１　内視鏡システム
２　内視鏡
３　移動装置
４　制御装置
５　表示装置
６，６３　処置具
６１　処置具（第１の処置具、第２の処置具）
６２　処置具（第３の処置具）
Ｐ１　ピボット点（第１のピボット点、第２のピボット点）
Ｐ２　ピボット点

Claims (12)

  1. 　内視鏡と、
    　前記内視鏡を移動させる移動装置と、
    　前記内視鏡および前記移動装置を制御する制御装置と、を備え、
    　前記制御装置は、
    　前記内視鏡が撮像する画像を受信し、
    　前記画像内にある第１の処置具の第１の姿勢を算出し、
    　前記第１の姿勢に基づいて、前記第１の処置具の動きに前記内視鏡が追従するか否かを判断し、
    　追従すると判断した場合、前記内視鏡が前記第１の処置具を追従するための前記移動装置への指令を生成し、
    　追従しないと判断した場合、前記内視鏡が前記第１の処置具の追従を中止するための前記移動装置への指令を生成する、内視鏡システム。
  2. 　前記制御装置は、
    　前記第１の姿勢の所定時間前に記憶されている第２の処置具の第２の姿勢を取得し、
    　前記第１の姿勢および前記第２の姿勢に基づいて、前記第１の処置具の動きに前記内視鏡が追従するか否かを判断する、請求項１に記載の内視鏡システム。
  3. 　前記第２の処置具は前記第１の処置具である、請求項２に記載の内視鏡システム。
  4. 　前記制御装置は、
    　前記画像内にある前記第１の処置具の第１の位置を算出し、
    　前記第１の姿勢および前記第１の位置に基づいて、前記第１の処置具の動きに前記内視鏡が追従するか否かを判断する、請求項１に記載の内視鏡システム。
  5. 　前記制御装置は、
    　前記第１の姿勢の所定時間前に記憶されている第２の処置具の第２の姿勢を取得し、
    　前記第１の位置の所定時間前に記憶されている第２の処置具の第２の位置を取得し、
    　前記第１の姿勢、前記第１の位置、前記第２の姿勢および前記第２の位置に基づいて、前記第１の処置具の動きに前記内視鏡が追従するか否かを判断する、請求項４に記載の内視鏡システム。
  6. 　前記第２の処置具は前記第１の処置具である、請求項５に記載の内視鏡システム。
  7. 　前記制御装置は、
    　前記第１の処置具のピボット点を取得し、
    　前記第１の姿勢、前記第２の姿勢および前記ピボット点に基づいて、前記第１の処置具の動きに前記内視鏡が追従するか否かを判断する、請求項２に記載の内視鏡システム。
  8. 　前記制御装置は、
    　前記第１の処置具のピボット点を取得し、
    　前記第１の姿勢および前記ピボット点に基づいて、前記第１の処置具の動きに前記内視鏡が追従するか否かを判断する、請求項１に記載の内視鏡システム。
  9. 　前記制御装置は、
    　前記第１の処置具の第１のピボット点を取得し、
    　前記第２の処置具の第２のピボット点を取得し、
    　前記第１の姿勢、前記第１の位置、前記第１のピボット点、前記第２の姿勢、前記第２の位置および前記第２のピボット点に基づいて、前記第１の処置具の動きに前記内視鏡が追従するか否かを判断する、請求項５に記載の内視鏡システム。
  10. 　前記第１の姿勢は、前記画像内の基準軸と前記第１の処置具とのなす角度である、請求項１に記載の内視鏡システム。
  11. 　前記第１の姿勢は、前記画像内の前記第１の処置具の長手方向のベクトルである、請求項１に記載の内視鏡システム。
  12. 　前記制御装置は、
    　前記第１の姿勢に基づいて、前記第１の処置具の動きに前記内視鏡が追従するか否かを判断した第１の結果を生成し、
    　前記画像内にある第３の処置具の第３の姿勢を算出し、
    　前記第３の姿勢に基づいて、前記第３の処置具の動きに前記内視鏡が追従するか否かを判断した第２の結果を生成し、
    　前記第１の結果および前記第２の結果の両方が追従するとの判断である場合、または、前記第１の結果および前記第２の結果の両方が追従しないとの判断である場合、前記内視鏡が前記第１の処置具または前記第３の処置具への追従を中止するための前記移動装置への指令を生成し、
    　前記第１の結果が追従するとの判断であり、前記第２の結果が追従しないとの判断である場合、前記内視鏡が前記第１の処置具を追従するために前記移動装置への指令を生成し、
    　前記第１の結果が追従しないとの判断であり、前記第２の結果が追従するとの判断である場合、前記内視鏡が前記第３の処置具を追従するための前記移動装置への指令を生成する、請求項１に記載の内視鏡システム。
PCT/JP2021/048541 2021-12-27 2021-12-27 内視鏡システム WO2023127004A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/048541 WO2023127004A1 (ja) 2021-12-27 2021-12-27 内視鏡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/048541 WO2023127004A1 (ja) 2021-12-27 2021-12-27 内視鏡システム

Publications (1)

Publication Number Publication Date
WO2023127004A1 true WO2023127004A1 (ja) 2023-07-06

Family

ID=86998520

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/048541 WO2023127004A1 (ja) 2021-12-27 2021-12-27 内視鏡システム

Country Status (1)

Country Link
WO (1) WO2023127004A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0928663A (ja) * 1995-05-15 1997-02-04 Olympus Optical Co Ltd 内視鏡装置
JPH10118006A (ja) * 1996-10-21 1998-05-12 Olympus Optical Co Ltd 内視鏡装置
JP2008194303A (ja) * 2007-02-14 2008-08-28 Olympus Medical Systems Corp 内視鏡システム
WO2018159328A1 (ja) * 2017-02-28 2018-09-07 ソニー株式会社 医療用アームシステム、制御装置及び制御方法
WO2018235255A1 (ja) * 2017-06-23 2018-12-27 オリンパス株式会社 医療システムとその作動方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0928663A (ja) * 1995-05-15 1997-02-04 Olympus Optical Co Ltd 内視鏡装置
JPH10118006A (ja) * 1996-10-21 1998-05-12 Olympus Optical Co Ltd 内視鏡装置
JP2008194303A (ja) * 2007-02-14 2008-08-28 Olympus Medical Systems Corp 内視鏡システム
WO2018159328A1 (ja) * 2017-02-28 2018-09-07 ソニー株式会社 医療用アームシステム、制御装置及び制御方法
WO2018235255A1 (ja) * 2017-06-23 2018-12-27 オリンパス株式会社 医療システムとその作動方法

Similar Documents

Publication Publication Date Title
CN109077699B (zh) 通过联合传感器和/或照相机导出数据实现3-d刀具跟踪的方法与系统
CN112288742B (zh) 用于超声探头的导航方法、装置、存储介质以及电子设备
JP6824967B2 (ja) 管状網のナビゲーション
USRE49930E1 (en) Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
JP5814938B2 (ja) リアルタイム速度最適化を使用した校正不要のビジュアルサーボ
US20210077195A1 (en) Confidence-based robotically-assisted surgery system
US11896441B2 (en) Systems and methods for measuring a distance using a stereoscopic endoscope
CN112043397B (zh) 手术机器人及其运动错误检测方法、检测装置
US20220415006A1 (en) Robotic surgical safety via video processing
EP3414737A1 (en) Autonomic system for determining critical points during laparoscopic surgery
Baek et al. Robust visual tracking of robotic forceps under a microscope using kinematic data fusion
WO2023127004A1 (ja) 内視鏡システム
US20220249174A1 (en) Surgical navigation system, information processing device and information processing method
US20210287434A1 (en) System and methods for updating an anatomical 3d model
KR20180100831A (ko) 수술로봇 카메라의 시점 제어 방법 및 이를 위한 장치
WO2020232406A1 (en) Confidence-based robotically-assisted surgery system
Huang et al. Hybrid method for 3D instrument reconstruction and tracking in laparoscopy surgery
US20230190135A1 (en) Method and system for using tool width data to estimate measurements in a surgical site
Marzi et al. Continuous feature-based tracking of the inner ear for robot-assisted microsurgery
Tian et al. Semi-Autonomous Laparoscopic Robot Docking with Learned Hand-Eye Information Fusion
Shinde et al. SURESTEP: An Uncertainty-Aware Trajectory Optimization Framework to Enhance Visual Tool Tracking for Robust Surgical Automation
WO2024058965A1 (en) Determination of a contour physical distance within a subject based on a deformable three-dimensional model
Finke et al. Automatic positioning of a surgical microscope
Yang et al. 3D instrument localization and tracking with the integration of image-based and electromagnetic techniques

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21969888

Country of ref document: EP

Kind code of ref document: A1