WO2024053698A1 - 手術支援プログラム、手術支援装置、および手術支援方法 - Google Patents

手術支援プログラム、手術支援装置、および手術支援方法 Download PDF

Info

Publication number
WO2024053698A1
WO2024053698A1 PCT/JP2023/032611 JP2023032611W WO2024053698A1 WO 2024053698 A1 WO2024053698 A1 WO 2024053698A1 JP 2023032611 W JP2023032611 W JP 2023032611W WO 2024053698 A1 WO2024053698 A1 WO 2024053698A1
Authority
WO
WIPO (PCT)
Prior art keywords
behavior
surgical
information
surgical image
risky
Prior art date
Application number
PCT/JP2023/032611
Other languages
English (en)
French (fr)
Inventor
優志 竹内
Original Assignee
慶應義塾
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 慶應義塾 filed Critical 慶應義塾
Publication of WO2024053698A1 publication Critical patent/WO2024053698A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]

Definitions

  • the present invention relates to a surgery support program, a surgery support device, and a surgery support method.
  • postoperative complications not only reduce a patient's QOL (quality of life) but also worsen long-term prognosis and increase medical costs, and reducing postoperative complications has been one of the most important issues for surgeons. There is one. Complication rates are known to be strongly related to the experience of the surgeon and the size of the facility, and there is no doubt that intraoperative surgical techniques are a cause of postoperative complications. Postoperative complications are often caused by a lack of awareness of the intraoperative situation or a lack of caution, rather than a lack of technical skill.
  • Patent Document 1 discloses a method of learning surgical images and information regarding complication risk, and inputting the surgical images and outputting risk analysis information at the time of inference. is disclosed.
  • Patent Document 1 inferences are only made by learning surgical images and information regarding complication risk, and accurate notification is not provided when dangerous behavior that may cause postoperative complications occurs during surgery. It was hoped that this would be possible.
  • the present invention aims to accurately notify dangerous behavior during surgery.
  • a program causes a computer to acquire a surgical image in which a surgical site is photographed, and performs machine learning on learning data in which the input is the surgical image and the output is information related to risky behavior. detecting a dangerous behavior from the acquired surgical image using the model generated by the method, and notifying that the dangerous behavior has been detected, and the information related to the dangerous behavior is It includes region information of a structure in the surgical image that changes due to the risky behavior.
  • FIG. 1 is a diagram showing an overall configuration according to an embodiment of the present invention.
  • FIG. 1 is a functional block diagram of a surgery support device according to an embodiment of the present invention.
  • FIG. 3 is a diagram for explaining region information of a structure in a surgical image that changes due to risky behavior according to an embodiment of the present invention.
  • FIG. 3 is a diagram for explaining region information of a structure in a surgical image that changes due to risky behavior according to an embodiment of the present invention.
  • FIG. 3 is a diagram for explaining region information of a structure in a surgical image that changes due to risky behavior according to an embodiment of the present invention.
  • FIG. 3 is a diagram for explaining region information of a structure in a surgical image that changes due to risky behavior according to an embodiment of the present invention.
  • FIG. 3 is a diagram for explaining region information of a structure in a surgical image that changes due to risky behavior according to an embodiment of the present invention.
  • FIG. 3 is a diagram for explaining region information of a structure in a surgical image that changes due to risky behavior according to an embodiment of the present invention.
  • FIG. 3 is a diagram for explaining region information of a structure in a surgical image that changes due to risky behavior according to an embodiment of the present invention.
  • FIG. 3 is a diagram for explaining region information of a structure in a surgical image that changes due to risky behavior according to an embodiment of the present invention.
  • FIG. 3 is a diagram for explaining learning according to an embodiment of the present invention.
  • FIG. 3 is a diagram for explaining learning according to an embodiment of the present invention.
  • 3 is a flowchart of learning processing according to an embodiment of the present invention.
  • 3 is a flowchart of dangerous behavior notification processing according to an embodiment of the present invention.
  • FIG. 3 is a flowchart of learning data creation processing according to an embodiment of the present invention. 12 is a flowchart of dangerous behavior notification processing that also uses other information according to an embodiment of the present invention. It is a flowchart of evaluation processing concerning one embodiment of the present invention. 3 is an example of information on which evaluation is based and evaluation results according to an embodiment of the present invention.
  • FIG. 1 is a hardware configuration diagram of a surgical support device according to an embodiment of the present invention.
  • surgical may be any surgery, and may be a surgery performed only by a human, or a surgery performed by a human operating a medical device such as an endoscope (for example, The surgery may be a laparoscopic surgery, a thoracoscopic surgery, etc.), a surgery performed by a human operating a robot, or a surgery performed only by a robot.
  • surgery is a surgical procedure that removes cancerous tissue, including the primary tumor and lymph nodes, from the tissue.
  • risky behavior refers to behavior that occurs during surgery that may cause postoperative complications.
  • risky behavior refers to behavior that can easily lead to postoperative complications (for example, behavior that paralyzes the recurrent laryngeal nerve, behavior that causes blood vessels to bleed). This is the action of pulling the blood vessels, exposing the blood vessels). It can be said that "risky behavior” is the behavior that precedes the behavior that causes postoperative complications.
  • risky behaviors include actions that deform any object (structure) that makes up the human body, or expose an arbitrary object (structure) that makes up the human body (i.e., surgical images (images in which the surgical site is photographed)) behavior).
  • a risky behavior is a behavior that causes recurrent laryngeal nerve paralysis (that is, a behavior that causes traction on the recurrent laryngeal nerve).
  • a "structure" is any object that constitutes the human body.
  • the structure may be an internal body organ (eg, recurrent laryngeal nerve, muscularis, blood vessels), body fluid (eg, bile, intestinal fluid, hemorrhaged blood), or the like.
  • FIG. 1 is a diagram showing the overall configuration according to an embodiment of the present invention.
  • the surgical support system 1 includes a surgical support device 10, an imaging device 20, and a display device 30. A case where the doctor 11 performs surgery on the patient 12 will be explained. Each will be explained below.
  • the surgical support device 10 detects dangerous behavior based on the image taken by the imaging device 20 during the surgery, and notifies the doctor 11 that the dangerous behavior has been detected (for example, displays it on the display device 30). ).
  • the surgical support device 10 consists of one or more computers.
  • the surgical support device 10 can acquire images taken by the imaging device 20 from the imaging device 20. Further, the surgical support device 10 can display information such as detection of dangerous behavior on the display device 30.
  • the imaging device 20 is a device that photographs a region of the patient 12 undergoing surgery (hereinafter also referred to as a surgical region).
  • a surgical region a region of the patient 12 undergoing surgery
  • the image captured by the imaging device 20 and showing the surgical site will also be referred to as a surgical image.
  • the display device 30 is a monitor, display, or the like that displays information acquired from the surgical support device 10. By viewing the information displayed on the display device 30, the doctor 11 can know that he or she is engaging in dangerous behavior.
  • the surgical support device 10, the imaging device 20, and the display device 30 may be implemented in one device.
  • FIG. 2 is a functional block diagram of the surgical support device 10 according to an embodiment of the present invention.
  • the surgical support device 10 includes a learning data storage section 101 , a learning data acquisition section 102 , a dangerous behavior detection section 103 , an error calculation section 104 , a parameter updating section 105 , a parameter storage section 106 , and a surgical image acquisition section 107 , a dangerous behavior detection section 108 , and a dangerous behavior notification section 109 .
  • the surgical support device 10 acquires a learning data acquisition section 102, a dangerous behavior detection section 103, an error calculation section 104, a parameter update section 105, a surgical image acquisition section 107, a dangerous behavior detection section 108, and a dangerous behavior notification. 109.
  • a learning data acquisition section 102 a dangerous behavior detection section 103
  • an error calculation section 104 a parameter update section 105
  • a surgical image acquisition section 107 a dangerous behavior detection section 108
  • a dangerous behavior notification. 109 a dangerous behavior notification.
  • the learning data is stored in the learning data storage unit 101.
  • the learning data includes a surgical image in which a surgical site is photographed and information related to risky behavior in the surgical image.
  • the learning data acquisition unit 102 acquires the learning data stored in the learning data storage unit 101.
  • region information of structures in the surgical image that change due to risky behavior is “region information of structures in the surgical image that change due to risky behavior (region information is segmentation information indicating the region of structures in the image)". (Information indicating a structure that has been removed) and frame information (information such as a rectangle surrounding the structure) indicating the area of the structure in the image)” and “If the surgical image indicates dangerous behavior. "A label indicating whether the image is an image or an image indicating non-dangerous behavior (non-dangerous behavior).”
  • region information of a structure in a surgical image will be described in detail.
  • the region information of a structure in a surgical image that changes due to a risky behavior is such that the region in the surgical image changes when the doctor 11 or the like performs a risky behavior (for example, due to a change in the shape of a structure).
  • This is area information of a structure (the area of the structure changes, the area of the structure changes when the structure appears).
  • the area information of a structure in a surgical image that changes due to a risky behavior is the area information of a structure whose shape changes due to a risky behavior (that is, the area information of a structure in which the doctor 11 or the like performs a risky behavior) (This will be explained with reference to FIG.
  • FIG. 3 is a diagram for explaining region information of a structure in a surgical image that changes due to risky behavior according to an embodiment of the present invention.
  • FIG. 3 shows how nerves are deformed when a doctor 11 or the like performs a dangerous action.
  • the "surgical image” in FIG. 3 is an image of the surgical site taken during the surgery.
  • region information of structures in a surgical image that change due to risky behavior in Figure 3, structures in the surgical image that change due to risky behavior (that is, areas clearly shown in the surgical image) are displayed in the surgical image.
  • the area information of the structures structures that are Information on the area of structures that changes due to such dangerous behavior is used for model learning.
  • FIG. 4 is a diagram for explaining region information of a structure in a surgical image that changes due to risky behavior according to an embodiment of the present invention.
  • FIG. 4 shows how the thoracic tube appears when the doctor 11 or the like performs a dangerous action.
  • the "surgical image” in FIG. 4 is an image of the surgical site taken during the surgery.
  • FIG. 5 is a diagram for explaining region information of a structure in a surgical image that changes due to risky behavior according to an embodiment of the present invention.
  • FIG. 5 shows how a pulmonary artery appears when the doctor 11 or the like performs a dangerous action.
  • the "surgical image” in FIG. 5 is an image of the surgical site taken during the surgery.
  • region information of the pulmonary artery (a structure that appears in surgical images due to risky behavior) is added to the surgical image. There is. In esophagectomy, region information on the pulmonary artery (a structure that appears in surgical images due to risky behavior) can be used for model learning.
  • FIG. 6 is a diagram for explaining region information of a structure in a surgical image that changes due to risky behavior according to an embodiment of the present invention.
  • FIG. 6 shows how the hypogastric nerve appears when the doctor 11 or the like performs a dangerous action.
  • the "surgical image” in FIG. 6 is an image of the surgical site taken during the surgery.
  • region information of the hypogastric nerve a structure that appears in surgical images due to risky behavior
  • region information of the hypogastric nerve is added to the surgical image.
  • colon resection surgery regional information on the hypogastric nerve and pelvic plexus (structures that appear in surgical images due to risky behavior) can be used for model learning.
  • FIG. 7 is a diagram for explaining region information of a structure in a surgical image that changes due to risky behavior according to an embodiment of the present invention.
  • FIG. 7 shows how small blood vessels appear under the mucosa when the doctor 11 or the like performs a risky action.
  • the "surgical image” in FIG. 7 is an image of the surgical site taken during the surgery.
  • area information of structures in surgical images that change due to risky behavior may be area information of structures covered with mucous membranes, etc. (as shown in Figure 7, area information of structures covered with mucous membranes etc.) Area information may also be used, or area information such as mucous membranes may not be used), or area information of structures that are not covered with mucous membranes or the like.
  • FIG. 8 is a diagram for explaining region information of a structure in a surgical image that changes due to risky behavior according to an embodiment of the present invention.
  • FIG. 8 shows how hepatic veins and Gleason appear when the doctor 11 and others perform dangerous actions.
  • the "surgical image” in FIG. 8 is an image of the surgical site taken during the surgery.
  • FIG. 9 is a diagram for explaining region information of a structure in a surgical image that changes due to risky behavior according to an embodiment of the present invention.
  • FIG. 9 shows how small blood vessels appear when the doctor 11 or the like performs a dangerous action.
  • the "surgical image” in FIG. 9 is an image of the surgical site taken during the surgery.
  • structure area information may be generated by a human specifying the structure area in a surgical image, or inference can be made using a machine learning model using a surgical image in which a human specifies the structure area. By doing so, region information of the structure may be generated. Further, a human may look at the surgical image and determine whether the action is dangerous or non-dangerous and then label it, or, as will be explained later, a label may be added using information detected by a sensor.
  • the dangerous behavior detection unit 103 detects dangerous behavior using the model that is being learned.
  • Example 1 In Example 1 described in FIG. 10, the dangerous behavior detection unit 103 inputs the surgical images acquired by the learning data acquisition unit 102 to the model under learning (the feature extractor 111 and the restorer 112 in FIG. 10). , outputs region information of structures in the surgical image. In addition, the dangerous behavior detection unit 103 inputs the surgical images acquired by the learning data acquisition unit 102 into the learning model (the feature extractor 111 and the classifier 113 in FIG. or is not a dangerous behavior). Note that the presence or absence of dangerous behavior may be expressed as a ratio.
  • the dangerous behavior detection unit 103 inputs the surgical images acquired by the learning data acquisition unit 102 to the model under learning (the feature extractor A 211A and the restorer 212 in FIG. 11). Then, the region information of the structure in the surgical image is output. In addition, the dangerous behavior detection unit 103 uses the surgical image acquired by the learning data acquisition unit 102 and the region information of the structure in the surgical image restored by the restorer 212 to the model under learning (the feature extractor B in FIG. 211B and feature extractor C (211C and classifier 213), and outputs the presence or absence of dangerous behavior (dangerous behavior or not dangerous behavior). Note that the presence or absence of dangerous behavior may be expressed as a ratio.
  • the error calculation unit 104 calculates the error between the information related to the risky behavior detected from the surgical image by the risky behavior detection unit 103 and the information related to the risky behavior in the surgical image acquired by the learning data acquisition unit 102. .
  • the parameter update unit 105 updates the parameters of the model under learning so that the error calculated by the error calculation unit 104 becomes smaller, and stores the updated parameters in the parameter storage unit 106.
  • the parameter storage unit 106 stores model parameters updated by the parameter update unit 105.
  • FIG. 10 is a diagram for explaining learning according to an embodiment of the present invention (Example 1).
  • the feature extractor 111 extracts feature amounts from the surgical image that is learning data, the restorer 112 restores structure region information or a surgical image including structure region information from the feature amount, and the classifier 113 Based on the feature amount, it is determined whether the behavior is dangerous or not. That is, in the first embodiment, at the time of inference, the classifier 113 classifies the surgical image using the feature amount extracted by the feature extractor 111 at the time of learning.
  • the classifier 113 classifies the surgical image using the feature amount extracted by the feature extractor 111 at the time of learning.
  • a feature extractor (also called an encoder) 111 extracts feature amounts of the surgical image from the surgical image. Specifically, the feature extractor 111 reduces the dimensions of the surgical image and extracts the feature amount.
  • a restorer 112 restores structure region information or a surgical image including structure region information based on the feature amount of the surgical image extracted by the feature extractor 111 (note that restoration
  • the area information of the structure that changes due to the dangerous behavior may be only the area information of the structure that changes due to the dangerous behavior, or it may include not only the area information of the structure that changes due to the dangerous behavior but also the area information of the structure that changes due to the dangerous behavior. (may also include area information).
  • An error is calculated between the result restored by the restorer 112 and the region information of the structure in the learning data (correct data) (that is, the region information of the structure in the surgical image that changes due to risky behavior); Learning (that is, parameters are updated) is performed so that the error becomes smaller.
  • the classifier 113 determines whether the surgical image is an image indicating a risky behavior or an image indicating a non-risky behavior.
  • the error between the result determined by the classifier 113 and the label of the learning data (correct data) (that is, the label indicating that the behavior is dangerous or the label indicating that the behavior is not dangerous) is calculated, and the error is calculated. It is learned (that is, the parameters are updated) to become smaller.
  • FIG. 11 is a diagram for explaining learning according to an embodiment of the present invention (Example 2).
  • the feature extractor A 211A extracts a feature amount from the surgical image that is the learning data, and the restorer 212 restores structure area information or a surgical image including the structure area information from the feature amount.
  • the feature extractor B 211B extracts feature amounts from the region information of the structure restored by the restorer 212 or from the surgical image containing the region information of the structure.
  • the feature extractor C 211C extracts feature amounts from the surgical images that are learning data.
  • the classifier 213 determines whether the behavior is dangerous or not based on the feature amount that is a combination of the feature amount extracted by the feature extractor B 211B and the feature amount extracted by the feature extractor C 211C. In other words, in Example 2, at the time of inference, the feature extractor A 211A and the restorer 212 restore the region information of the structure from the surgical image, and the classifier 213 Classify surgical images using feature amounts of region information.
  • the feature extractor (also called encoder) A 211A extracts the feature amount of the surgical image from the surgical image. Specifically, the feature extractor A 211A reduces the dimensions of the surgical image and extracts the feature amount.
  • the restorer (also called a decoder) 212 restores the region information of the structure or the surgical image containing the region information of the structure based on the feature amount of the surgical image extracted by the feature extractor A 211A.
  • the region information of the structure to be restored may be only the region information of the structure that changes due to dangerous behavior, or may include not only the region information of the structure that changes due to dangerous behavior but also other structures. (It may also include area information of the object).
  • the error between the result restored by the restorer 212 and the structure area information of the learning data (correct data) that is, the structure area information that changes due to dangerous behavior) is calculated, and the error is reduced. It is learned (that is, the parameters are updated) as follows.
  • a feature extractor (also called an encoder) B 211B extracts feature amounts of structure area information from the structure area information restored by the restorer 212. Specifically, the feature extractor B 211B reduces the dimensions of the region information of the structure restored by the restorer 212 and extracts the feature amount.
  • the feature extractor (also called encoder) C 211C extracts the feature amount of the surgical image from the surgical image. Specifically, the feature extractor C 211C reduces the dimensions of the surgical image and extracts the feature amount.
  • the classifier 213 determines whether the surgical image is an image indicating dangerous behavior based on the feature amount that is a combination of the feature amount extracted by the feature extractor B 211B and the feature amount extracted by the feature extractor C 211C. It is determined whether the image indicates that the behavior is not dangerous.
  • the error between the result determined by the classifier 213 and the label of the learning data (correct data) (that is, the label indicating dangerous behavior or the label indicating not dangerous behavior) is calculated, and the error is calculated. It is learned (that is, the parameters are updated) to become smaller.
  • the surgical support device 10 can reflect the degree of recognition and positional relationship of structures, which change due to dangerous behavior during surgery, in the detection of dangerous behavior.
  • dangerous behavior is detected using the results of segmentation and frame information of anatomical structures (that is, area information of each structure) as attention, so that the information of each structure can be used to detect dangerous behavior. It is possible to contribute to the determination of whether or not.
  • the region information of a structure in a surgical image that changes due to risky behavior is information about the shape of the recurrent laryngeal nerve in esophagectomy (that is, region information of the recurrent laryngeal nerve).
  • region information of the recurrent laryngeal nerve when the recurrent laryngeal nerve is deformed due to some action, serious complications can be prevented by notifying the operator as a dangerous action.
  • area information of structures in surgical images that change due to risky behavior may include information on at least one of the muscular layer and blood vessels in endoscopic submucosal dissection (i.e., information on at least one of the muscular layer and blood vessels). area information).
  • information on at least one of the muscular layer and blood vessels in endoscopic submucosal dissection i.e., information on at least one of the muscular layer and blood vessels.
  • area information may include information on at least one of the muscular layer and blood vessels in endoscopic submucosal dissection.
  • region information of structures in surgical images that change due to risky behavior may include information on bile, intestinal fluid, and/or hemorrhage (bleeded blood) during esophagectomy (i.e., information on bile, intestinal fluid, and hemorrhage (bleeded blood)). (at least some area information).
  • information on bile, intestinal fluid, or bleeding i.e., information on bile, intestinal fluid, and hemorrhage (bleeded blood)
  • at least some area information may be prevented by notifying the surgeon as a dangerous behavior.
  • model inference accuracy is 46.8%
  • model inference accuracy is 46.8%.
  • Accuracy was 88.0%. In this way, by using the region information of the structure, the accuracy of model inference can be improved.
  • the surgical image acquisition unit 107 acquires surgical images (for example, moving images) captured by the imaging device 20 during the surgery.
  • the dangerous behavior detection unit 108 detects dangerous behavior based on the surgical images acquired by the surgical image acquisition unit 107. Specifically, the dangerous behavior detection unit 108 inputs the surgical images acquired by the surgical image acquisition unit 107 into a model (specifically, a model using the parameters stored in the parameter storage unit 106), and Outputs the presence or absence of the behavior (dangerous behavior or not dangerous behavior). Note that the presence or absence of risky behavior may be expressed as a ratio (a classification model may be used to output the probability of dangerous behavior or the probability of non-risky behavior, or a regression model may be used to output the probability of dangerous behavior). Or you can output the probability that the behavior is not dangerous).
  • the dangerous behavior notification unit 109 notifies the dangerous behavior detected by the dangerous behavior detection unit 108 in real time (for example, displays it on the display device 30). For example, the dangerous behavior notification unit 109 displays on the surgical image acquired by the surgical image acquisition unit 107 that a dangerous behavior has been detected. For example, the dangerous behavior notification unit 109 displays "dangerous behavior" or the like.
  • FIG. 12 is a flowchart of learning processing according to an embodiment of the present invention.
  • step 101 the surgical support device 10 acquires surgical images that are learning data.
  • step 102 the surgical support device 10 detects dangerous behavior using the model that is being learned.
  • the surgical support device 10 inputs the surgical image acquired in S101 to the model being learned (the feature extractor 111 and the restorer 112 in FIG. 10), and Output area information of the structure.
  • the surgical support device 10 inputs the surgical image acquired in S101 into the learning model (the feature extractor 111 and the classifier 113 in FIG. (not dangerous behavior) is output.
  • the surgical support device 10 inputs the surgical image acquired in S101 to the model being learned (the feature extractor A 211A and the restorer 212 in FIG. 11), and Output area information.
  • the surgical support device 10 uses the surgical image acquired in S101 and the region information of the structure restored by the restorer 212 as the learning model (feature extractor B 211B and feature extractor C 211C in FIG. 11 and the classification 213) and outputs the presence or absence of dangerous behavior (dangerous behavior or not dangerous behavior).
  • step 111 the surgical support device 10 stores information related to risky behavior (specifically, information that changes due to the risky behavior) in the surgical image that is learning data (that is, the surgical image acquired in S101). Region information of the structure in the surgical image and a label indicating whether the surgical image is an image showing a dangerous behavior or a non-risky behavior (a behavior that is not a dangerous behavior) are acquired.
  • step 112 the surgical support device 10 converts the data acquired in S111 into correct data. Specifically, the surgical support device 10 arranges the data acquired in S111 in the format of the output of the model.
  • step 103 the surgical support device 10 calculates the error between the information related to the dangerous behavior detected in S102 and the correct data in S112.
  • step 104 the surgical support device 10 updates the parameters of the model being learned so that the error calculated in S103 becomes smaller, and stores the updated parameters in the parameter storage unit 106.
  • step 105 the surgical support device 10 determines whether to end learning. If learning is not to be completed, the process returns to S101 and S111 to acquire the next learning data, and if learning is to be completed, this process is ended.
  • FIG. 13 is a flowchart of dangerous behavior notification processing according to an embodiment of the present invention.
  • step 201 the surgical support device 10 acquires a surgical image (for example, a video) captured by the imaging device 20 during the surgery.
  • a surgical image for example, a video
  • step 202 the surgical support device 10 detects risky behavior based on the surgical image acquired in S201. Specifically, the surgical support device 10 inputs the surgical image acquired in S201 into the model generated in FIG. 12, and outputs the presence or absence of risky behavior (risky behavior or not dangerous behavior). If dangerous behavior is detected, the process proceeds to step 203.
  • the classifier 113 classifies the surgical image using the feature amount extracted by the feature extractor 111 during learning.
  • the feature extractor A 211A and the restorer 212 restore the region information of the structure from the surgical image, and the classifier 213 extracts the feature amount of the surgical image and the reconstructed structure. Classify surgical images using feature amounts of region information.
  • step 203 the surgical support device 10 notifies in real time (for example, displays on the display device 30) that the dangerous behavior was detected in S202.
  • the surgical support device 10 displays that a dangerous behavior has been detected on the surgical image acquired in S201.
  • ⁇ Effect> when a dangerous behavior that may cause postoperative complications occurs during a surgical procedure, it is notified in real time on the surgical image, so the surgeon can immediately identify the danger. actions can be avoided and, as a result, postoperative complications can be avoided.
  • the surgical support device 10 can create learning data using information detected by the sensor. Specifically, the surgical support device 10 can label surgical images that are learning data based on information detected by a sensor (for example, a sensor of an intraoperative nerve monitoring system). For example, the information detected by the sensor may be related to dangerous behavior such as behavior that causes recurrent laryngeal nerve paralysis, such as behavior that excessively pulls on the recurrent laryngeal nerve or surrounding tissue, or behavior that damages the recurrent laryngeal nerve. It is information. Labeling of learning data will be described with reference to FIG. 14.
  • FIG. 14 is a flowchart of learning data creation processing according to an embodiment of the present invention.
  • step 301 the surgical support device 10 acquires a surgical image (for example, a video) captured by the imaging device 20 during the surgery.
  • a surgical image for example, a video
  • step 302 the surgical support device 10 acquires information detected by the sensor during the surgery in which the surgical image in S301 was acquired (for example, information detected by the sensor of the intraoperative nerve monitoring system).
  • step 303 the surgical support device 10 determines whether the information acquired in S302 is a notification of dangerous behavior. If the information acquired in S302 is a notification of dangerous behavior, the process advances to step 304, and if the information acquired in S302 is not a notification of dangerous behavior, the process advances to step 305.
  • step 304 the surgical support device 10 attaches a label indicating that the surgical image is a dangerous behavior to the surgical image corresponding to the time period in which the risky behavior was notified in S303.
  • step 305 the surgical support device 10 attaches a label indicating that the surgical image is not a dangerous behavior to the surgical image corresponding to the time period for which the dangerous behavior was not notified in S303.
  • the information related to risky behavior may further include information on structures that are not clearly shown in the surgical image. Understanding information about structures that do not appear in surgical images is important for detecting dangerous behavior. Therefore, information on structures that do not appear in surgical images is obtained and used to determine whether the behavior is dangerous. For example, information on a structure that is not clearly shown in the surgical image is information indicating a region in the surgical image where the recurrent laryngeal nerve is predicted to run.
  • the surgical support device 10 can detect dangerous behavior by further using information on the patient's condition before surgery. Whether or not it is a risky behavior during surgery depends on the patient's condition. Therefore, information on the patient's condition is obtained before surgery and used to determine whether the patient's behavior is dangerous. For example, information on a patient's condition before surgery is a preoperative CT image or patient background when detecting and notifying risky behavior that may cause complications of pneumonia in esophagectomy.
  • FIG. 15 is a flowchart of dangerous behavior notification processing that also uses other information according to an embodiment of the present invention.
  • step 401 the surgical support device 10 acquires a surgical image captured by the imaging device 20 during the surgery.
  • step 411 the surgical support device 10 acquires other information (for example, information on the patient's condition before surgery).
  • step 402 the surgical support device 10 detects risky behavior based on the surgical image acquired in S401 and other information acquired in S411. Specifically, when learning the model, in addition to surgical images, other information (for example, information on the patient's condition before surgery) is input.
  • the surgical support device 10 is generated by machine learning learning data in which the input is a surgical image and other information (for example, information on the patient's condition before surgery), and the output is information related to risky behavior.
  • the surgical image acquired in S401 and other information acquired in S411 are input into the model, and the presence or absence of risky behavior (dangerous behavior or not) is output. If dangerous behavior is detected, the process advances to step 403.
  • step 403 the surgical support device 10 notifies in real time (for example, displays on the display device 30) that the dangerous behavior was detected in S402.
  • the surgical support device 10 can evaluate the technique of an operator such as a surgeon or an endoscopist based on information related to risky behavior output by inputting surgical images into a model. The evaluation of the procedure will be described below with reference to FIGS. 16 and 17.
  • FIG. 16 is a flowchart of evaluation processing according to an embodiment of the present invention.
  • step 501 the surgical support device 10 acquires information related to the dangerous behavior output by inputting the surgical image into the model.
  • step 502 the surgical support device 10 acquires information regarding the surgery.
  • the information regarding the surgery may include the entire surgery time, the surgery time in each phase, data recognizing the movements of instruments and the surgeon, and the like.
  • step 503 the surgical support device 10 evaluates the surgeon's technique based on the information acquired in S501 and S502.
  • the surgical support device 10 may evaluate the surgeon's technique using machine learning.
  • FIG. 17 is an example of information on which evaluation is based and evaluation results according to an embodiment of the present invention.
  • the information on which the evaluation is based includes the time of each phase of surgery (for example, lymph node removal around the recurrent laryngeal nerve), the type of risky behavior (for example, recurrent laryngeal nerve traction), and the like.
  • the evaluation result may be a score.
  • FIG. 18 is a hardware configuration diagram of the surgical support device 10 according to an embodiment of the present invention.
  • the surgical support device 10 can include a control section 1001, a main storage section 1002, an auxiliary storage section 1003, an input section 1004, an output section 1005, and an interface section 1006. Each will be explained below.
  • the control unit 1001 is a processor (for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), etc.) that executes various programs installed in the auxiliary storage unit 1003.
  • a processor for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), etc.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the main storage unit 1002 includes nonvolatile memory (ROM (Read Only Memory)) and volatile memory (RAM (Random Access Memory)).
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the ROM stores various programs, data, etc. necessary for the control unit 1001 to execute various programs installed in the auxiliary storage unit 1003.
  • the RAM provides a work area in which various programs installed in the auxiliary storage unit 1003 are expanded when the control unit 1001 executes them.
  • the auxiliary storage unit 1003 is an auxiliary storage device that stores various programs and information used when the various programs are executed.
  • the input unit 1004 is an input device through which the operator of the surgical support device 10 inputs various instructions to the surgical support device 10.
  • the output unit 1005 is an output device that outputs the internal state of the surgical support device 10 and the like.
  • the interface unit 1006 is a communication device for connecting to a network and communicating with other devices.
  • Surgery support system 10
  • Surgery support device 20
  • Imaging device 30
  • Display device 11
  • Doctor 12 Patient 101
  • Learning data storage unit 102
  • Learning data acquisition unit 103
  • Risky behavior detection unit 104
  • Error calculation unit 105
  • Parameter update unit 106
  • Parameter storage unit 107
  • Surgical image acquisition unit 108
  • Dangerous behavior detection unit 109
  • Dangerous behavior notification unit 111
  • Feature extractor 112 Restorer 113 Classifier 211A Feature extractor A 211B
  • Feature extractor B 211C
  • Feature extractor C 212 Restorer 213
  • Control unit 1002
  • Main storage unit 1003
  • Auxiliary storage unit 1004
  • Input unit 1005
  • Output unit 1006 Interface unit

Abstract

手術中の危険行動を精度よく通知する。本発明の一実施形態に係るプログラムは、コンピュータに、手術部位が撮影された手術画像を取得することと、入力が手術画像であり出力が危険行動に関連する情報である学習データを機械学習することにより生成されたモデルを用いて、前記取得した手術画像から危険行動を検知することと、前記危険行動を検知したことを通知することと、を実行させ、前記危険行動に関連する情報は、前記危険行動に起因して変化する前記手術画像内の構造物の領域情報を含む。

Description

手術支援プログラム、手術支援装置、および手術支援方法
　本発明は、手術支援プログラム、手術支援装置、および手術支援方法に関する。
　従来、術後合併症は、患者のＱＯＬ（quality of life）を低下させるだけでなく、長期予後の悪化や医療費の増大を招き、術後合併症の低減は、外科医にとって最も重要な課題の一つである。合併症率は外科医の経験や施設の規模に強く関連することが分かっており、術中の手術手技が術後合併症の原因となることは疑いのない事実である。術後合併症の原因となるのは、手技の技術力の不足よりも術中状況の認識不足や注意不足によるものが多い。
　術後合併症を低減させるための手法として、例えば、特許文献１には、手術画像と合併症リスクに関する情報とを学習して、推論時に、手術画像を入力してリスク解析情報を出力することが開示されている。
特開２０２１－０２９２５８号公報
　しかしながら、特許文献１では、手術画像と合併症リスクに関する情報とを学習して推論しているに過ぎず、手術中に術後合併症の原因となり得る危険行動が起きた際に精度よく通知することができることが望まれていた。
　そこで、本発明では、手術中の危険行動を精度よく通知することを目的とする。
　本発明の一実施形態に係るプログラムは、コンピュータに、手術部位が撮影された手術画像を取得することと、入力が手術画像であり出力が危険行動に関連する情報である学習データを機械学習することにより生成されたモデルを用いて、前記取得した手術画像から危険行動を検知することと、前記危険行動を検知したことを通知することと、を実行させ、前記危険行動に関連する情報は、前記危険行動に起因して変化する前記手術画像内の構造物の領域情報を含む。
　本発明によれば、手術中の危険行動を精度よく通知することができる。
本発明の一実施形態に係る全体の構成を示す図である。 本発明の一実施形態に係る手術支援装置の機能ブロック図である。 本発明の一実施形態に係る危険行動に起因して変化する手術画像内の構造物の領域情報について説明するための図である。 本発明の一実施形態に係る危険行動に起因して変化する手術画像内の構造物の領域情報について説明するための図である。 本発明の一実施形態に係る危険行動に起因して変化する手術画像内の構造物の領域情報について説明するための図である。 本発明の一実施形態に係る危険行動に起因して変化する手術画像内の構造物の領域情報について説明するための図である。 本発明の一実施形態に係る危険行動に起因して変化する手術画像内の構造物の領域情報について説明するための図である。 本発明の一実施形態に係る危険行動に起因して変化する手術画像内の構造物の領域情報について説明するための図である。 本発明の一実施形態に係る危険行動に起因して変化する手術画像内の構造物の領域情報について説明するための図である。 本発明の一実施形態に係る学習について説明するための図である。 本発明の一実施形態に係る学習について説明するための図である。 本発明の一実施形態に係る学習処理のフローチャートである。 本発明の一実施形態に係る危険行動通知処理のフローチャートである。 本発明の一実施形態に係る学習データ作成処理のフローチャートである。 本発明の一実施形態に係る他の情報も用いた危険行動通知処理のフローチャートである。 本発明の一実施形態に係る評価処理のフローチャートである。 本発明の一実施形態に係る評価のもととなる情報および評価結果の一例である。 本発明の一実施形態に係る手術支援装置のハードウェア構成図である。
　以下、図面に基づいて発明の実施の形態を説明する。
＜用語の説明＞
・本明細書において、「手術」とは、任意の手術であってよく、人間のみで行う手術であってもよいし、人間が内視鏡等の医療機器を操作して行う手術（例えば、腹腔鏡手術、胸腔鏡手術等）であってもよいし、人間がロボットを操作して行う手術であってもよいし、ロボットのみで行う手術であってもよい。例えば、手術は、組織から原発巣およびリンパ節を含む癌組織を切除する外科手術である。例えば、手術は、食道切除術、胃切除術、大腸切除術、肝臓切除術、膵臓切除術、早期消化管癌等の早期癌に対する内視鏡手術（内視鏡的粘膜下層剥離術）である。
・本明細書において、「危険行動」とは、手術中に起こる行動のうち術後合併症の原因となり得る行動である。つまり、「危険行動」とは、術後合併症を生じさせる行動（例えば、反回神経を麻痺させる行動、血管から出血させる行動）に容易に移行する可能性のある行動（例えば、反回神経を牽引する行動、血管を露出させる行動）である。「危険行動」は、術後合併症を生じさせる行動の１つ前の行動であるといえる。例えば、危険行動は、人体を構成する任意の物（構造物）を変形させる行動、人体を構成する任意の物（構造物）を露出させる（つまり、手術画像（手術部位が撮影された画像）に表れるようにする）行動である。例えば、危険行動は、反回神経麻痺を引き起こす行動（つまり、反回神経を牽引する行動）である。
・本明細書において、「構造物」とは、人体を構成する任意の物である。例えば、構造物は、体内の器官（例えば、反回神経、筋層、血管）、体液（例えば、胆汁、腸液、出血した血液）等である。
＜システム構成＞
　図１は、本発明の一実施形態に係る全体の構成を示す図である。手術支援システム１は、手術支援装置１０と、撮像装置２０と、表示装置３０と、を含む。医師１１が患者１２の手術を行う場合を説明する。以下、それぞれについて説明する。
＜＜手術支援装置＞＞
　手術支援装置１０は、手術中に撮像装置２０が撮影している画像に基づいて、危険行動を検知して、危険行動を検知したことを医師１１に対して通知（例えば、表示装置３０に表示）する装置である。手術支援装置１０は、１つまたは複数のコンピュータからなる。手術支援装置１０は、撮像装置２０が撮影した画像を撮像装置２０から取得することができる。また、手術支援装置１０は、危険行動の検知等の情報を表示装置３０に表示することができる。
＜＜撮像装置＞＞
　撮像装置２０は、患者１２の手術されている部位（以下、手術部位ともいう）を撮影する装置である。以下、撮像装置２０が撮影した、手術部位が撮影された画像を手術画像ともいう。
＜＜表示装置＞＞
　表示装置３０は、手術支援装置１０から取得した情報を表示するモニター、ディスプレイ等である。医師１１は、表示装置３０に表示される情報を見ることによって、自身が危険行動を起こしていることを知ることができる。
　なお、手術支援装置１０と、撮像装置２０と、表示装置３０と、のうちの少なくとも２つを１つの装置で実装してもよい。
＜機能ブロック＞
　図２は、本発明の一実施形態に係る手術支援装置１０の機能ブロック図である。手術支援装置１０は、学習データ記憶部１０１と、学習データ取得部１０２と、危険行動検知部１０３と、誤差算出部１０４と、パラメータ更新部１０５と、パラメータ記憶部１０６と、手術画像取得部１０７と、危険行動検知部１０８と、危険行動通知部１０９と、を備える。手術支援装置１０は、プログラムを実行することによって、学習データ取得部１０２、危険行動検知部１０３、誤差算出部１０４、パラメータ更新部１０５、手術画像取得部１０７、危険行動検知部１０８、危険行動通知部１０９、として機能する。以下、それぞれについて説明する。
　学習データ記憶部１０１には、学習データが記憶されている。学習データは、手術部位が撮影された手術画像と、当該手術画像の危険行動に関連する情報と、である。
　学習データ取得部１０２は、学習データ記憶部１０１に記憶されている学習データを取得する。
　ここで、「危険行動に関連する情報」について説明する。「危険行動に関連する情報」は、「危険行動に起因して変化する手術画像内の構造物の領域情報（なお、領域情報は、画像内での構造物の領域を示すセグメンテーション情報（セグメンテーションされた構造物を示す情報）と、画像内での構造物の領域を示す枠情報（構造物を囲む矩形等の情報）と、の少なくとも一方である）」と、「手術画像が危険行動を示す画像であるか非危険行動（危険行動ではない行動）を示す画像であるかのラベル」と、を含む。以下、図３、図４～９を参照しながら、手術画像内の構造物の領域情報について詳細に説明する。
　危険行動に起因して変化する手術画像内の構造物の領域情報は、医師１１等が危険行動を行うことで手術画像内での領域が変化する（例えば、構造物の形状が変化することで当該構造物の領域が変化する、構造物が表れることで当該構造物の領域が変化する）構造物の領域情報である。具体的には、危険行動に起因して変化する手術画像内の構造物の領域情報は、危険行動に起因して形状が変化する構造物の領域情報（つまり、医師１１等が危険行動を行うことにより変形する構造物の領域情報。図３を参照しながら説明する）と、危険行動に起因して手術画像に表れる構造物の領域情報（つまり、医師１１等が危険行動を行うことにより手術画像に表れる構造物の領域情報。図４～９を参照しながら説明する）と、の少なくとも一方を含む。
　図３は、本発明の一実施形態に係る危険行動に起因して変化する手術画像内の構造物の領域情報について説明するための図である。図３では、医師１１等が危険行動を行うことにより神経が変形する様子を示す。
　図３の「手術画像」は、手術中に手術部位が撮影された画像である。
　図３の「危険行動に起因して変化する手術画像内の構造物の領域情報」では、手術画像に、危険行動に起因して変化する手術画像内の構造物（つまり、手術画像内に明示されている構造物）の領域情報が付与されている。このような危険行動に起因して変化する構造物の領域情報がモデルの学習に用いられる。
　図４は、本発明の一実施形態に係る危険行動に起因して変化する手術画像内の構造物の領域情報について説明するための図である。図４では、医師１１等が危険行動を行うことにより胸管が表れる様子を示す。
　図４の「手術画像」は、手術中に手術部位が撮影された画像である。
　図４の「危険行動に起因して変化する手術画像内の構造物の領域情報」では、手術画像に、胸管（危険行動に起因して手術画像に表れる構造物）の領域情報が付与されている。食道切除術では、胸管（危険行動に起因して手術画像に表れる構造物）の領域情報をモデルの学習に用いることができる。
　このように、食道切除術において、リンパ節の切除中に、通常では認識しづらく、かつ、損傷しやすい胸管（損傷すると乳糜胸になる）が画像内で認識された際に、危険行動として術者に通知することにより、重篤な合併症を未然に防ぐことができる。
　図５は、本発明の一実施形態に係る危険行動に起因して変化する手術画像内の構造物の領域情報について説明するための図である。図５では、医師１１等が危険行動を行うことにより肺動脈が表れる様子を示す。
　図５の「手術画像」は、手術中に手術部位が撮影された画像である。
　図５の「危険行動に起因して変化する手術画像内の構造物の領域情報」では、手術画像に、肺動脈（危険行動に起因して手術画像に表れる構造物）の領域情報が付与されている。食道切除術では、肺動脈（危険行動に起因して手術画像に表れる構造物）の領域情報をモデルの学習に用いることができる。
　このように、食道切除術において、リンパ節の切除中に、通常では認識しづらく、かつ、損傷しやすい肺動脈（損傷すると大量出血、死亡の危険性がある）が画像内で認識された際に、危険行動として術者に通知することにより、重篤な合併症を未然に防ぐことができる。
　図６は、本発明の一実施形態に係る危険行動に起因して変化する手術画像内の構造物の領域情報について説明するための図である。図６では、医師１１等が危険行動を行うことにより下腹神経が表れる様子を示す。
　図６の「手術画像」は、手術中に手術部位が撮影された画像である。
　図６の「危険行動に起因して変化する手術画像内の構造物の領域情報」では、手術画像に、下腹神経（危険行動に起因して手術画像に表れる構造物）の領域情報が付与されている。大腸切除術では、下腹神経、骨盤神経叢（危険行動に起因して手術画像に表れる構造物）の領域情報をモデルの学習に用いることができる。
　このように、大腸切除術において、リンパ節の切除中に、露出されるべきでない神経（損傷すると射精障害、勃起障害、排尿障害が起こる）が画像内で認識された際に、危険行動として術者に通知することにより、重篤な合併症を未然に防ぐことができる。
　図７は、本発明の一実施形態に係る危険行動に起因して変化する手術画像内の構造物の領域情報について説明するための図である。図７では、医師１１等が危険行動を行うことにより小血管が粘膜下に表れる様子を示す。
　図７の「手術画像」は、手術中に手術部位が撮影された画像である。
　図７の「危険行動に起因して変化する手術画像内の構造物の領域情報」では、手術画像に、小血管（危険行動に起因して手術画像に表れる構造物）の領域情報が付与されている。早期消化管癌に対する内視鏡手術では、小血管（危険行動に起因して手術画像に表れる構造物）の領域情報をモデルの学習に用いることができる。
　このように、早期消化管癌に対する内視鏡手術において、通常では見逃しやすく、かつ、損傷しやすい小血管（損傷すると出血が起こる）が画像内で認識された際に、危険行動として術者に通知することにより、重篤な合併症を未然に防ぐことができる。
　なお、「危険行動に起因して変化する手術画像内の構造物の領域情報」は、粘膜等に覆われている構造物の領域情報であってもよいし（図７のように粘膜等の領域情報も用いてもよいし、粘膜等の領域情報は用いなくもよい）、粘膜等に覆われていない構造物の領域情報であってもよい。
　図８は、本発明の一実施形態に係る危険行動に起因して変化する手術画像内の構造物の領域情報について説明するための図である。図８では、医師１１等が危険行動を行うことにより肝静脈、グリソンが表れる様子を示す。
　図８の「手術画像」は、手術中に手術部位が撮影された画像である。
　図８の「危険行動に起因して変化する手術画像内の構造物の領域情報」では、手術画像に、肝静脈、グリソン（危険行動に起因して手術画像に表れる構造物）の領域情報が付与されている。肝臓切除術では、肝静脈、グリソン（危険行動に起因して手術画像に表れる構造物）の領域情報をモデルの学習に用いることができる。
　このように、肝臓切除術において、通常では認識しづらく、かつ、損傷しやすい肝静脈、グリソン（損傷すると胆汁瘻、出血が起こる）が画像内で認識された際に、危険行動として術者に通知することにより、重篤な合併症を未然に防ぐことができる。
　図９は、本発明の一実施形態に係る危険行動に起因して変化する手術画像内の構造物の領域情報について説明するための図である。図９では、医師１１等が危険行動を行うことにより小血管が表れる様子を示す。
　図９の「手術画像」は、手術中に手術部位が撮影された画像である。
　図９の「危険行動に起因して変化する手術画像内の構造物の領域情報」では、手術画像に、小血管（危険行動に起因して手術画像に表れる構造物）の領域情報が付与されている。膵臓切除術では、小血管（危険行動に起因して手術画像に表れる構造物）の領域情報をモデルの学習に用いることができる。
　このように、膵臓切除術において、通常では見逃しやすく、かつ、損傷しやすい下大静脈等の大血管の分岐（損傷すると大出血が起こる）が画像内で認識された際に、危険行動として術者に通知することにより、重篤な合併症を未然に防ぐことができる。
　なお、人間が手術画像内の構造物の領域を指定することによって構造物の領域情報を生成してもよいし、人間が構造物の領域を指定した手術画像で機械学習したモデルを用いて推論することによって構造物の領域情報を生成してもよい。また、人間が手術画像を見て危険行動または非危険行動と判定してラベルを付けてもよいし、後段で説明するように、センサーが検知した情報を用いてラベルを付けてもよい。
　図２の説明に戻る。危険行動検知部１０３は、学習中のモデルを用いて、危険行動を検知する。
［実施例１］
　図１０で説明する実施例１では、危険行動検知部１０３は、学習データ取得部１０２が取得した手術画像を、学習中のモデル（図１０の特徴抽出器１１１および復元器１１２）に入力して、手術画像内の構造物の領域情報を出力する。また、危険行動検知部１０３は、学習データ取得部１０２が取得した手術画像を、学習中のモデル（図１０の特徴抽出器１１１および分類器１１３）に入力して、危険行動の有無（危険行動である、または、危険行動ではない）を出力する。なお、危険行動の有無は比率で表してもよい。
［実施例２］
　図１１で説明する実施例２では、危険行動検知部１０３は、学習データ取得部１０２が取得した手術画像を、学習中のモデル（図１１の特徴抽出器Ａ　２１１Ａおよび復元器２１２）に入力して、手術画像内の構造物の領域情報を出力する。また、危険行動検知部１０３は、学習データ取得部１０２が取得した手術画像と復元器２１２が復元した手術画像内の構造物の領域情報とを、学習中のモデル（図１１の特徴抽出器Ｂ　２１１Ｂおよび特徴抽出器Ｃ　２１１Ｃおよび分類器２１３）に入力して、危険行動の有無（危険行動である、または、危険行動ではない）を出力する。なお、危険行動の有無は比率で表してもよい。
　誤差算出部１０４は、危険行動検知部１０３が手術画像から検知した危険行動に関連する情報と、学習データ取得部１０２が取得した当該手術画像の危険行動に関連する情報と、の誤差を算出する。
　パラメータ更新部１０５は、誤差算出部１０４が算出した誤差が小さくなるように学習中のモデルのパラメータを更新して、更新したパラメータをパラメータ記憶部１０６に記憶させる。
　パラメータ記憶部１０６には、パラメータ更新部１０５が更新した、モデルのパラメータが記憶されている。
　以下、図１０（実施例１）および図１１（実施例２）を参照しながら、学習処理について詳細に説明する。
　図１０は、本発明の一実施形態に係る学習について説明するための図である（実施例１）。特徴抽出器１１１が学習データである手術画像から特徴量を抽出し、復元器１１２が当該特徴量から、構造物の領域情報あるいは構造物の領域情報を含む手術画像を復元し、分類器１１３が当該特徴量から危険行動であるか危険行動ではないかを判定する。つまり、実施例１では、推論時に、分類器１１３は、特徴抽出器１１１が学習時に抽出した特徴量を用いて手術画像を分類する。以下、それぞれについて説明する。
　特徴抽出器（エンコーダとも呼ばれる）１１１は、手術画像から手術画像の特徴量を抽出する。具体的には、特徴抽出器１１１は、手術画像を次元削減して特徴量を抽出する。
　復元器（デコーダとも呼ばれる）１１２は、特徴抽出器１１１が抽出した手術画像の特徴量に基づいて、構造物の領域情報、あるいは、構造物の領域情報を含む手術画像を復元する（なお、復元される構造物の領域情報は、危険行動に起因して変化する構造物の領域情報のみであってもよいし、危険行動に起因して変化する構造物の領域情報だけでなくその他の構造物の領域情報も含んでもよい）。復元器１１２が復元した結果と、学習データ（正解データ）の構造物の領域情報（つまり、危険行動に起因して変化する手術画像内の構造物の領域情報）と、の誤差が算出され、誤差が小さくなるように学習（つまり、パラメータを更新）される。
　分類器１１３は、特徴抽出器１１１が抽出した手術画像の特徴量に基づいて、手術画像が危険行動であることを示す画像であるか危険行動ではないことを示す画像であるかを判定する。分類器１１３が判定した結果と、学習データ（正解データ）のラベル（つまり、危険行動であることを示すラベル、または、危険行動ではないことを示すラベル）と、の誤差が算出され、誤差が小さくなるように学習（つまり、パラメータを更新）される。
　図１１は、本発明の一実施形態に係る学習について説明するための図である（実施例２）。特徴抽出器Ａ　２１１Ａは、学習データである手術画像から特徴量を抽出し、復元器２１２は、当該特徴量から、構造物の領域情報あるいは構造物の領域情報を含む手術画像を復元する。特徴抽出器Ｂ　２１１Ｂは、復元器２１２が復元した構造物の領域情報あるいは構造物の領域情報を含む手術画像から特徴量を抽出する。特徴抽出器Ｃ　２１１Ｃは、学習データである手術画像から特徴量を抽出する。分類器２１３は、特徴抽出器Ｂ　２１１Ｂが抽出した特徴量と特徴抽出器Ｃ　２１１Ｃが抽出した特徴量とが結合された特徴量から、危険行動であるか危険行動ではないかを判定する。つまり、実施例２では、推論時に、特徴抽出器Ａ　２１１Ａおよび復元器２１２は、手術画像から構造物の領域情報を復元し、分類器２１３は、手術画像の特徴量および復元された構造物の領域情報の特徴量を用いて手術画像を分類する。以下、それぞれについて説明する。
　特徴抽出器（エンコーダとも呼ばれる）Ａ　２１１Ａは、手術画像から手術画像の特徴量を抽出する。具体的には、特徴抽出器Ａ　２１１Ａは、手術画像を次元削減して特徴量を抽出する。
　復元器（デコーダとも呼ばれる）２１２は、特徴抽出器Ａ　２１１Ａが抽出した手術画像の特徴量に基づいて、構造物の領域情報、あるいは、構造物の領域情報を含む手術画像を復元する（なお、復元される構造物の領域情報は、危険行動に起因して変化する構造物の領域情報のみであってもよいし、危険行動に起因して変化する構造物の領域情報だけでなくその他の構造物の領域情報も含んでもよい）。復元器２１２が復元した結果と、学習データ（正解データ）の構造物の領域情報（つまり、危険行動に起因して変化する構造物の領域情報）と、の誤差が算出され、誤差が小さくなるように学習（つまり、パラメータを更新）される。
　特徴抽出器（エンコーダとも呼ばれる）Ｂ　２１１Ｂは、復元器２１２が復元した構造物の領域情報から構造物の領域情報の特徴量を抽出する。具体的には、特徴抽出器Ｂ　２１１Ｂは、復元器２１２が復元した構造物の領域情報を次元削減して特徴量を抽出する。
　特徴抽出器（エンコーダとも呼ばれる）Ｃ　２１１Ｃは、手術画像から手術画像の特徴量を抽出する。具体的には、特徴抽出器Ｃ　２１１Ｃは、手術画像を次元削減して特徴量を抽出する。
　分類器２１３は、特徴抽出器Ｂ　２１１Ｂが抽出した特徴量と特徴抽出器Ｃ　２１１Ｃが抽出した特徴量とを結合した特徴量に基づいて、手術画像が危険行動であることを示す画像であるか危険行動ではないことを示す画像であるかを判定する。分類器２１３が判定した結果と、学習データ（正解データ）のラベル（つまり、危険行動であることを示すラベル、または、危険行動ではないことを示すラベル）と、の誤差が算出され、誤差が小さくなるように学習（つまり、パラメータを更新）される。
　このように学習することによって、手術支援装置１０は、手術中の危険行動に起因して変化する構造物の認識の度合いや位置関係を、危険行動の検知に反映させることができる。つまり、本願発明では、解剖学的構造のセグメンテーションや枠情報の結果（つまり、各構造物の領域情報）をアテンションとして用いて危険行動を検知するので、各構造物の情報が、危険行動であるか否かの判断に寄与することができる。
　例えば、危険行動に起因して変化する手術画像内の構造物の領域情報は、食道切除術における反回神経の形状の情報（つまり、反回神経の領域情報）である。この場合、何らかの行動により反回神経が変形した際に、危険行動として術者に通知することにより、重篤な合併症を未然に防ぐことができる。
　例えば、危険行動に起因して変化する手術画像内の構造物の領域情報は、内視鏡的粘膜下層剥離術における筋層と血管の少なくとも一方の情報（つまり、筋層と血管の少なくとも一方の領域情報）である。この場合、露出されるべきでない筋層や血管が認識された際に、危険行動として術者に通知することにより、重篤な合併症を未然に防ぐことができる。
　例えば、危険行動に起因して変化する手術画像内の構造物の領域情報は、食道切除術における胆汁、腸液、出血（出血した血液）の少なくともいずれかの情報（つまり、胆汁、腸液、出血の少なくともいずれかの領域情報）である。この場合、手術中に胆汁や腸液・出血が一定量以上認識された際に、危険行動として術者に通知することにより、重篤な合併症を未然に防ぐことができる。
　なお、構造物の領域情報を用いずに機械学習した場合には、モデルの推論の精度は４６．８パーセントであり、構造物の領域情報を用いて機械学習した場合には、モデルの推論の精度は８８．０パーセントであった。このように、構造物の領域情報を用いることによって、モデルの推論の精度を向上させることができる。
　図２の説明に戻る。手術画像取得部１０７は、手術中に撮像装置２０が撮影している手術画像（例えば、動画）を取得する。
　危険行動検知部１０８は、手術画像取得部１０７が取得した手術画像に基づいて、危険行動を検知する。具体的には、危険行動検知部１０８は、手術画像取得部１０７が取得した手術画像をモデル（具体的には、パラメータ記憶部１０６に記憶されたパラメータを用いたモデル）に入力して、危険行動の有無（危険行動である、または、危険行動ではない）を出力する。なお、危険行動の有無は比率で表してもよい（分類モデルを用いて、危険行動である確率または危険行動ではない確率を出力してもよいし、回帰モデルを用いて、危険行動である確率または危険行動ではない確率を出力してもよい）。
　危険行動通知部１０９は、危険行動検知部１０８が検知した危険行動をリアルタイムで通知（例えば、表示装置３０に表示）する。例えば、危険行動通知部１０９は、手術画像取得部１０７が取得した手術画像上に、危険行動を検知したことを表示する。例えば、危険行動通知部１０９は、「危険行動あり」等を表示する。
＜処理方法＞
　以下、図１２を参照しながら、学習処理の方法について説明し、図１３を参照しながら、危険行動通知処理の方法について説明する。
　図１２は、本発明の一実施形態に係る学習処理のフローチャートである。
　ステップ１０１（Ｓ１０１）において、手術支援装置１０は、学習データである手術画像を取得する。
　ステップ１０２（Ｓ１０２）において、手術支援装置１０は、学習中のモデルを用いて、危険行動を検知する。
　図１０で説明した実施例１では、手術支援装置１０は、Ｓ１０１で取得した手術画像を、学習中のモデル（図１０の特徴抽出器１１１および復元器１１２）に入力して、手術画像内の構造物の領域情報を出力する。また、手術支援装置１０は、Ｓ１０１で取得した手術画像を、学習中のモデル（図１０の特徴抽出器１１１および分類器１１３）に入力して、危険行動の有無（危険行動である、または、危険行動ではない）を出力する。
　図１１で説明した実施例２では、手術支援装置１０は、Ｓ１０１で取得した手術画像を、学習中のモデル（図１１の特徴抽出器Ａ　２１１Ａおよび復元器２１２）に入力して、構造物の領域情報を出力する。また、手術支援装置１０は、Ｓ１０１で取得した手術画像と復元器２１２が復元した構造物の領域情報とを、学習中のモデル（図１１の特徴抽出器Ｂ　２１１Ｂおよび特徴抽出器Ｃ　２１１Ｃおよび分類器２１３）に入力して、危険行動の有無（危険行動である、または、危険行動ではない）を出力する。
　ステップ１１１（Ｓ１１１）において、手術支援装置１０は、学習データである手術画像（つまり、Ｓ１０１で取得した手術画像）の危険行動に関連する情報（具体的には、危険行動に起因して変化する手術画像内の構造物の領域情報、および、手術画像が危険行動を示す画像であるか非危険行動（危険行動ではない行動）を示す画像であるかのラベル）を取得する。
　ステップ１１２（Ｓ１１２）において、手術支援装置１０は、Ｓ１１１で取得したデータを正解データに変換する。具体的には、手術支援装置１０は、Ｓ１１１で取得したデータを、モデルの出力の形式に揃える。
　ステップ１０３（Ｓ１０３）において、手術支援装置１０は、Ｓ１０２で検知した危険行動に関連する情報と、Ｓ１１２の正解データと、の誤差を算出する。
　ステップ１０４（Ｓ１０４）において、手術支援装置１０は、Ｓ１０３で算出した誤差が小さくなるように学習中のモデルのパラメータを更新して、更新したパラメータをパラメータ記憶部１０６に記憶させる。
　ステップ１０５（Ｓ１０５）において、手術支援装置１０は、学習を終了するか否かを判断する。学習を終了しない場合には、Ｓ１０１およびＳ１１１へ戻って次の学習データを取得し、学習を終了する場合には、本処理を終了する。
　図１３は、本発明の一実施形態に係る危険行動通知処理のフローチャートである。
　ステップ２０１（Ｓ２０１）において、手術支援装置１０は、手術中に撮像装置２０が撮影している手術画像（例えば、動画）を取得する。
　ステップ２０２（Ｓ２０２）において、手術支援装置１０は、Ｓ２０１で取得した手術画像に基づいて、危険行動を検知する。具体的には、手術支援装置１０は、Ｓ２０１で取得した手術画像を図１２で生成したモデルに入力して、危険行動の有無（危険行動である、または、危険行動ではない）を出力する。危険行動が検知されると、ステップ２０３へ進む。
　図１０で説明した実施例１では、分類器１１３は、特徴抽出器１１１が学習時に抽出した特徴量を用いて手術画像を分類する。
　図１１で説明した実施例２では、特徴抽出器Ａ　２１１Ａおよび復元器２１２は、手術画像から構造物の領域情報を復元し、分類器２１３は、手術画像の特徴量および復元された構造物の領域情報の特徴量を用いて手術画像を分類する。
　ステップ２０３（Ｓ２０３）において、手術支援装置１０は、Ｓ２０２で危険行動を検知したことをリアルタイムで通知（例えば、表示装置３０に表示）する。例えば、手術支援装置１０は、Ｓ２０１で取得した手術画像上に、危険行動を検知したことを表示する。
＜効果＞
　本発明の一実施形態では、外科手術の手技の最中に、術後合併症の原因となり得る危険行動が起きた際にリアルタイムで手術画像上に通知されるので、術者は、即座に危険行動を回避し、結果として術後合併症を回避することができる。
　以下、その他の実施形態を説明する。なお、以下で説明する実施形態の複数を組み合わせて実装してもよい。
［学習データの作成］
　手術支援装置１０は、センサーが検知した情報を用いて学習データを作成することができる。具体的には、手術支援装置１０は、センサー（例えば、術中神経モニタリングシステムのセンサー）が検知した情報に基づいて、学習データである手術画像にラベルを付けることができる。例えば、センサーが検知する情報とは、反回神経や周囲の組織を過度に牽引する行動、反回神経を損傷する行動等の反回神経麻痺を引き起こす行動が発生したか否かの危険行動に関する情報である。図１４を参照しながら、学習データのラベル付けについて説明する。
　図１４は、本発明の一実施形態に係る学習データ作成処理のフローチャートである。
　ステップ３０１（Ｓ３０１）において、手術支援装置１０は、手術中に撮像装置２０が撮影した手術画像（例えば、動画）を取得する。
　ステップ３０２（Ｓ３０２）において、手術支援装置１０は、Ｓ３０１の手術画像が取得された手術中にセンサーが検知した情報（例えば、術中神経モニタリングシステムのセンサーが検知した情報）を取得する。
　ステップ３０３（Ｓ３０３）において、手術支援装置１０は、Ｓ３０２で取得した情報が危険行動の通知であるか否かを判断する。Ｓ３０２で取得した情報が危険行動の通知である場合には、ステップ３０４ヘ進み、Ｓ３０２で取得した情報が危険行動の通知ではない場合には、ステップ３０５へ進む。
　ステップ３０４（Ｓ３０４）において、手術支援装置１０は、Ｓ３０３の危険行動の通知があった時間帯に対応する手術画像に対して、危険行動であることを示すラベルを付ける。
　ステップ３０５（Ｓ３０５）において、手術支援装置１０は、Ｓ３０３の危険行動の通知ではなかった時間帯に対応する手術画像に対して、危険行動ではないことを示すラベルを付ける。
　このように、センサーが検知した情報を用いて学習データを作成することによって、人間が手術画像に危険行動の有無のラベルを付けて学習データを作成する負担を無くすことができる。
［手術画像に明示されていない構造物の情報］
　危険行動に関連する情報は、手術画像に明示されていない構造物の情報をさらに含んでもよい。手術画像には現れていない構造物の情報も把握することは、危険行動の検知に重要である。そこで、手術画像には現れていない構造物の情報を取得し、危険行動であるか否かの判定に用いる。例えば、手術画像に明示されていない構造物の情報は、反回神経が走行していると予測される手術画像内の領域を示す情報である。
　この場合、図１０および図１１で説明した「危険行動に起因して変化する手術画像内の構造物の領域情報」に加えて、「手術画像に明示されていない構造物の情報（例えば、反回神経が走行していると予測される手術画像内の領域）の領域情報（なお、領域情報は、画像内での構造物の領域を示すセグメンテーション情報（セグメンテーションされた構造物を示す情報）と、画像内での構造物の領域を示す枠情報（構造物を囲む矩形等の情報）と、の少なくとも一方である）」を用いて、学習する。
　このように、手術画像に明示されていない構造物の情報も用いることによって、不要な剥離操作を防ぎ、合併症の低減、出血量の低下、手術時間の短縮等が可能となる。
［他の情報も用いた危険行動の検知および通知］
　本発明の一実施形態では、他の情報も用いて危険行動を検知して通知することができる。以下、［［手術前の患者の状態の情報］］を用いる場合について説明する。
［［手術前の患者の状態の情報］］
　手術支援装置１０は、手術前の患者の状態の情報をさらに用いて、危険行動を検知することができる。手術において危険行動であるか否かは、患者の状態によって異なる。そこで、患者の状態の情報を手術前に取得し、危険行動であるか否かの判定に用いる。例えば、手術前の患者の状態の情報は、食道切除術において肺炎の合併症の原因となり得る危険行動を検知および通知する際には、術前ＣＴ画像や患者背景である。
　このように、手術前の患者の情報も用いることによって、患者の状態やリスクに合わせた手術手技の選択が可能となる。
　図１５は、本発明の一実施形態に係る他の情報も用いた危険行動通知処理のフローチャートである。
　ステップ４０１（Ｓ４０１）において、手術支援装置１０は、手術中に撮像装置２０が撮影している手術画像を取得する。
　ステップ４１１（Ｓ４１１）において、手術支援装置１０は、他の情報（例えば、手術前の患者の状態の情報）を取得する。
　ステップ４０２（Ｓ４０２）において、手術支援装置１０は、Ｓ４０１で取得した手術画像およびＳ４１１で取得した他の情報に基づいて、危険行動を検知する。具体的には、モデルの学習時に、手術画像に加えて他の情報（例えば、手術前の患者の状態の情報）を入力する。手術支援装置１０は、入力が手術画像および他の情報（例えば、手術前の患者の状態の情報）であり、出力が危険行動に関連する情報である学習データを機械学習することにより生成されたモデルに、Ｓ４０１で取得した手術画像およびＳ４１１で取得した他の情報を入力して、危険行動の有無（危険行動である、または、危険行動ではない）を出力する。危険行動が検知されると、ステップ４０３へ進む。
　ステップ４０３（Ｓ４０３）において、手術支援装置１０は、Ｓ４０２で危険行動を検知したことをリアルタイムで通知（例えば、表示装置３０に表示）する。
［手技の評価］
　手術支援装置１０は、手術画像をモデルに入力することによって出力した危険行動に関連する情報に基づいて、外科医や内視鏡医等の術者の手技を評価することができる。以下、図１６および図１７を参照しながら、手技の評価について説明する。
　図１６は、本発明の一実施形態に係る評価処理のフローチャートである。
　ステップ５０１（Ｓ５０１）において、手術支援装置１０は、手術画像をモデルに入力することによって出力した危険行動に関連する情報を取得する。
　ステップ５０２（Ｓ５０２）において、手術支援装置１０は、手術に関する情報を取得する。手術に関する情報は、全体の手術時間、各フェーズにおける手術時間、器具や術者の動きを認識したデータ等であってもよい。
　ステップ５０３（Ｓ５０３）において、手術支援装置１０は、Ｓ５０１およびＳ５０２で取得した情報に基づいて、術者の手技を評価する。例えば、手術支援装置１０は、機械学習を用いて、術者の手技を評価してもよい。
　図１７は、本発明の一実施形態に係る評価のもととなる情報および評価結果の一例である。例えば、評価のもととなる情報は、手術の各フェーズ（例えば、反回神経周囲リンパ節切除）の時間、危険行動の種別（例えば、反回神経牽引）等である。例えば、評価結果は、スコアであってもよい。
　このように、手技を評価することによって、術後に手術の手技のフィードバックを行なったり、手術教育に用いたりすることが可能となる。
＜ハードウェア構成＞
　図１８は、本発明の一実施形態に係る手術支援装置１０のハードウェア構成図である。手術支援装置１０は、制御部１００１と、主記憶部１００２と、補助記憶部１００３と、入力部１００４と、出力部１００５と、インタフェース部１００６と、を備えることができる。以下、それぞれについて説明する。
　制御部１００１は、補助記憶部１００３にインストールされている各種プログラムを実行するプロセッサ（例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等）である。
　主記憶部１００２は、不揮発性メモリ（ＲＯＭ（Read Only Memory））および揮発性メモリ（ＲＡＭ（Random Access Memory））を含む。ＲＯＭは、補助記憶部１００３にインストールされている各種プログラムを制御部１００１が実行するために必要な各種プログラム、データ等を格納する。ＲＡＭは、補助記憶部１００３にインストールされている各種プログラムが制御部１００１によって実行される際に展開される作業領域を提供する。
　補助記憶部１００３は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。
　入力部１００４は、手術支援装置１０の操作者が手術支援装置１０に対して各種指示を入力する入力デバイスである。
　出力部１００５は、手術支援装置１０の内部状態等を出力する出力デバイスである。
　インタフェース部１００６は、ネットワークに接続し、他の装置と通信を行うための通信デバイスである。
　以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
　本国際出願は２０２２年９月９日に出願された日本国特許出願２０２２－１４３９７２号に基づく優先権を主張するものであり、２０２２－１４３９７２号の全内容をここに本国際出願に援用する。
１　手術支援システム
１０　手術支援装置
２０　撮像装置
３０　表示装置
１１　医師
１２　患者
１０１　学習データ記憶部
１０２　学習データ取得部
１０３　危険行動検知部
１０４　誤差算出部
１０５　パラメータ更新部
１０６　パラメータ記憶部
１０７　手術画像取得部
１０８　危険行動検知部
１０９　危険行動通知部
１１１　特徴抽出器
１１２　復元器
１１３　分類器
２１１Ａ　特徴抽出器Ａ
２１１Ｂ　特徴抽出器Ｂ
２１１Ｃ　特徴抽出器Ｃ
２１２　復元器
２１３　分類器
１００１　制御部
１００２　主記憶部
１００３　補助記憶部
１００４　入力部
１００５　出力部
１００６　インタフェース部

Claims (10)

  1. 　コンピュータに、
    　手術部位が撮影された手術画像を取得することと、
    　入力が手術画像であり出力が危険行動に関連する情報である学習データを機械学習することにより生成されたモデルを用いて、前記取得した手術画像から危険行動を検知することと、
    　前記危険行動を検知したことを通知することと、を実行させ、
    　前記危険行動に関連する情報は、前記危険行動に起因して変化する前記手術画像内の構造物の領域情報を含む、プログラム。
  2. 　前記危険行動に起因して変化する前記手術画像内の構造物の領域情報は、前記危険行動に起因して形状が変化する構造物の領域情報と、前記危険行動に起因して前記手術画像に表れる構造物の領域情報と、の少なくとも一方を含む、請求項１に記載のプログラム。
  3. 　前記コンピュータに、
    　前記取得した手術画像上に、前記危険行動を検知したことを表示すること、を実行させる、請求項１または２に記載のプログラム。
  4. 　前記学習データは、センサーが検知した情報を用いて作成される、請求項１または２に記載のプログラム。
  5. 　前記危険行動に関連する情報は、前記手術画像に明示されていない構造物の情報をさらに含む、請求項１または２に記載のプログラム。
  6. 　前記コンピュータに、
    　手術前の患者の状態の情報をさらに用いて前記危険行動を検知すること、を実行させる、請求項１または２に記載のプログラム。
  7. 　前記コンピュータに、
    　前記取得した手術画像を前記モデルに入力することによって出力した前記危険行動に関連する情報に基づいて、術者の手術の手技を評価すること、を実行させる、請求項１または２に記載のプログラム。
  8. 　前記危険行動は、反回神経麻痺を引き起こす行動である、請求項１または２に記載のプログラム。
  9. 　手術部位が撮影された手術画像を取得する手術画像取得部と、
    　入力が手術画像であり出力が危険行動に関連する情報である学習データを機械学習することにより生成されたモデルを用いて、前記取得した手術画像から危険行動を検知する危険行動検知部と、
    　前記危険行動を検知したことを通知する危険行動通知部と、を備え、
    　前記危険行動に関連する情報は、前記危険行動に起因して変化する前記手術画像内の構造物の領域情報を含む、手術支援装置。
  10. 　手術支援装置が実行する方法であって、
    　手術部位が撮影された手術画像を取得するステップと、
    　入力が手術画像であり出力が危険行動に関連する情報である学習データを機械学習することにより生成されたモデルを用いて、前記取得した手術画像から危険行動を検知するステップと、
    　前記危険行動を検定したことを通知するステップと、を含み、
    　前記危険行動に関連する情報は、前記危険行動に起因して変化する前記手術画像内の構造物の領域情報を含む、方法。
PCT/JP2023/032611 2022-09-09 2023-09-07 手術支援プログラム、手術支援装置、および手術支援方法 WO2024053698A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022143972 2022-09-09
JP2022-143972 2022-09-09

Publications (1)

Publication Number Publication Date
WO2024053698A1 true WO2024053698A1 (ja) 2024-03-14

Family

ID=90191279

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/032611 WO2024053698A1 (ja) 2022-09-09 2023-09-07 手術支援プログラム、手術支援装置、および手術支援方法

Country Status (1)

Country Link
WO (1) WO2024053698A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009233240A (ja) * 2008-03-28 2009-10-15 Univ Waseda 手術支援システム、接近状態検出装置及びそのプログラム
JP2015503963A (ja) * 2011-12-21 2015-02-05 ニューウェーブ メディカル, インコーポレイテッドNeuwave Medical, Inc. エネルギー供給システムおよびその使用方法
JP2021029258A (ja) * 2019-08-13 2021-03-01 ソニー株式会社 手術支援システム、手術支援方法、情報処理装置、及び情報処理プログラム
JP2022002069A (ja) * 2020-03-29 2022-01-06 貴志 山本 医療評価システム、医療評価方法及び医療評価プログラム
JP2022044909A (ja) * 2020-09-08 2022-03-18 智信 児玉 血管内治療用アシスト装置
WO2022145424A1 (ja) * 2020-12-29 2022-07-07 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、及び手術支援装置
WO2022158451A1 (ja) * 2021-01-19 2022-07-28 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、及び支援装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009233240A (ja) * 2008-03-28 2009-10-15 Univ Waseda 手術支援システム、接近状態検出装置及びそのプログラム
JP2015503963A (ja) * 2011-12-21 2015-02-05 ニューウェーブ メディカル, インコーポレイテッドNeuwave Medical, Inc. エネルギー供給システムおよびその使用方法
JP2021029258A (ja) * 2019-08-13 2021-03-01 ソニー株式会社 手術支援システム、手術支援方法、情報処理装置、及び情報処理プログラム
JP2022002069A (ja) * 2020-03-29 2022-01-06 貴志 山本 医療評価システム、医療評価方法及び医療評価プログラム
JP2022044909A (ja) * 2020-09-08 2022-03-18 智信 児玉 血管内治療用アシスト装置
WO2022145424A1 (ja) * 2020-12-29 2022-07-07 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、及び手術支援装置
WO2022158451A1 (ja) * 2021-01-19 2022-07-28 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、及び支援装置

Similar Documents

Publication Publication Date Title
US10803582B2 (en) Image diagnosis learning device, image diagnosis device, image diagnosis method, and recording medium for storing program
WO2020110278A1 (ja) 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
US8238629B2 (en) Image analysis device and image analysis method
US8768436B2 (en) Coronary artery angiography image processing method to detect occlusion and degree effect of blood vessel occlusion to an organ
JP2004057804A (ja) 骨関節評価方法、装置およびそのためのプログラム
De Backer et al. Improving augmented reality through deep learning: real-time instrument delineation in robotic renal surgery
JP5961504B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
WO2010064687A1 (ja) 医用画像表示装置及び医用画像表示方法
CN115023193A (zh) 计算机程序、学习模型的生成方法、图像处理装置、以及手术辅助系统
WO2019187049A1 (ja) 診断支援装置、診断支援方法及び診断支援プログラム
de Groen Using artificial intelligence to improve adequacy of inspection in gastrointestinal endoscopy
US10290099B2 (en) Image processing device and image processing method
WO2024053698A1 (ja) 手術支援プログラム、手術支援装置、および手術支援方法
Silva et al. Analysis of current deep learning networks for semantic segmentation of anatomical structures in laparoscopic surgery
WO2022051362A1 (en) System, method, and computer-accessible medium for automatically tracking and/or identifing at least one portion of an anatomical structure during a medical procedure
JP2009165718A (ja) 医用画像表示装置
US20230237657A1 (en) Information processing device, information processing method, program, model generating method, and training data generating method
WO2021193015A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
WO2024053697A1 (ja) 手術支援プログラム、手術支援装置、および手術支援方法
JP2009045110A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2022064763A (ja) Ｘ線撮影装置、画像処理方法、および、学習済みモデルの生成方法
Sadda et al. Real-time computerized video enhancement for minimally invasive fetoscopic surgery
JP5957409B2 (ja) 領域抽出装置および方法並びにプログラム
JP7391113B2 (ja) 学習用医療画像データ作成装置、学習用医療画像データ作成方法及びプログラム
JP2014108313A (ja) 医用画像処理装置