WO2022181714A1 - 手術内容評価システム、手術内容評価方法及びコンピュータプログラム - Google Patents

手術内容評価システム、手術内容評価方法及びコンピュータプログラム Download PDF

Info

Publication number
WO2022181714A1
WO2022181714A1 PCT/JP2022/007707 JP2022007707W WO2022181714A1 WO 2022181714 A1 WO2022181714 A1 WO 2022181714A1 JP 2022007707 W JP2022007707 W JP 2022007707W WO 2022181714 A1 WO2022181714 A1 WO 2022181714A1
Authority
WO
WIPO (PCT)
Prior art keywords
surgery
evaluation
instrument
surgeon
surgical
Prior art date
Application number
PCT/JP2022/007707
Other languages
English (en)
French (fr)
Inventor
直 小林
勇太 熊頭
成昊 銭谷
Original Assignee
アナウト株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アナウト株式会社 filed Critical アナウト株式会社
Priority to CN202280015798.XA priority Critical patent/CN116982117A/zh
Priority to EP22759749.9A priority patent/EP4285853A1/en
Priority to JP2022576562A priority patent/JP7412812B2/ja
Priority to US18/547,520 priority patent/US20240135542A1/en
Publication of WO2022181714A1 publication Critical patent/WO2022181714A1/ja
Priority to JP2023071447A priority patent/JP7412822B2/ja
Priority to JP2023158208A priority patent/JP7412830B2/ja
Priority to JP2023191567A priority patent/JP7496648B2/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation

Definitions

  • the present invention relates to a surgical content evaluation method and a computer program for evaluating the content of a surgical operation performed by a surgeon.
  • Patent Literature 1 describes a first process in which a simulated motion calculation device loads an educational scenario sequence from a storage device at the start of a surgical simulation and executes it; , a second step of storing the information of the simulation model data in the storage device; A surgical simulation using a computer simulator has been proposed, which consists of a third process of evaluation.
  • a surgery content evaluation system for evaluating the content of a surgery performed by a surgeon, Acquisition means for acquiring a surgical image, which is an image of the body of a patient undergoing surgery by a surgeon; analysis means for analyzing physical information indicating the state of the body and/or instrument information indicating the state of instruments operated by the surgeon in the surgical image; and evaluation means for evaluating details of a surgery performed by the surgeon based on the physical information and/or the instrument information analyzed by the analysis means.
  • the surgery content evaluation system includes acquisition means, analysis means, and evaluation means, and evaluates the content of the surgery performed by the surgeon.
  • An acquisition means acquires a surgical image, which is an image of a patient's body being operated on by a surgeon.
  • the analyzing means analyzes the physical information indicating the state of the body and/or the instrument information indicating the state of the instrument operated by the surgeon in the surgical image.
  • the evaluation means evaluates the details of the operation performed by the surgeon based on the physical information and/or instrument information analyzed by the analysis means.
  • the analysis means analyzes a specific region in the surgical image;
  • a region that spreads when body fluid outflow or organ damage occurs is defined as a specific region, and it is determined whether or not this specific region exceeds a predetermined threshold.
  • a predetermined threshold it is possible to objectively evaluate the outflow of body fluids and organ damage, which are important targets of evaluation, by evaluating that there has been outflow of body fluids and organ damage.
  • the analyzing means analyzes the instrument information including information about the instrument;
  • the surgery content evaluation system according to (1) or (2), wherein the evaluation means evaluates the operating mode of the instrument in the surgery based on the information about the instrument.
  • the manner in which instruments are operated is important as an evaluation target for the details of surgery, considering the reduction of the burden on the body of the patient during surgery.
  • the operation mode of the instrument by evaluating the operation mode of the instrument in the surgery based on the information about the instrument included in the instrument information, the operation mode of the instrument can be determined by the operator's sense, whether there is no organ damage, etc. It is possible to objectively evaluate not only from the results of
  • the analysis means analyzing the body information, including information about the anatomy of the body; analyzing the body information and/or the instrument information including information regarding the position of the instrument relative to the anatomy; The evaluation means according to any one of (1) to (3), wherein the evaluation means evaluates the operating mode of the instrument with respect to the anatomical structure in surgery based on information regarding the position of the instrument with respect to the anatomical structure. Operation content evaluation system.
  • an electric scalpel which is an example of an instrument
  • the connective tissue which is an example of the anatomical structure connecting the affected area and other organs. If the position of the electric scalpel with respect to the connective tissue is not appropriate, the electric scalpel may come into contact with other organs and damage them. For this reason, the position of the instrument relative to the anatomy is important as an evaluation target for factors leading to errors in surgery.
  • the operating mode of the instrument with respect to the anatomical structure in surgery based on the information on the position of the instrument with respect to the anatomical structure
  • the operating mode of the instrument with respect to the anatomical structure is evaluated based on the operator's sense and organ damage. It is possible to objectively evaluate not only the results such as no failure, but also the possibility of causing mistakes such as organ damage.
  • the analysis means analyzes each of the steps in the surgical image of the surgery consisting of a plurality of steps; further comprising timing means for measuring an inter-step time, which is the time from one said step to the next said step;
  • the surgical content evaluation according to any one of (1) to (4), wherein the evaluation means evaluates the skill of the operation based on the inter-step time measured by the timing means for a given step. system.
  • a surgery consists of multiple steps, and each step has a different degree of technical difficulty and a different impact on the patient's body, so it is necessary to evaluate the details of the surgery for each step. For this reason, the time between steps, which is the time from one step to the next step, is important as an evaluation target when examining the details of surgery for each step.
  • the skill of the operation is evaluated based on the inter-step time, which is the time from one step to the next step. can be evaluated objectively.
  • a method performed by a surgical performance evaluation system for evaluating surgical performance performed by a surgeon comprising: obtaining a surgical image, which is an image of the patient's body undergoing surgery by a surgeon; analyzing physical information indicating the state of the body and/or instrument information indicating the state of instruments being operated by the surgeon in the surgical image; and a step of evaluating details of a surgical operation being performed by the surgeon based on the physical information and/or the instrument information.
  • a surgery content evaluation system for evaluating the content of surgery performed by a surgeon; Acquisition means for acquiring a surgical image, which is an image of the body of a patient undergoing surgery by a surgeon; Analysis means for analyzing physical information indicating the state of the body and/or instrument information indicating the state of instruments operated by the surgeon in the surgical image; A program functioning as evaluation means for evaluating the content of surgery performed by the surgeon based on the physical information and/or the instrument information analyzed by the analysis means.
  • a surgery content evaluation system for evaluating the content of a surgery performed by a surgeon, Acquisition means for acquiring a surgical image, which is an image of the body of a patient undergoing surgery by a surgeon; analysis means for analyzing physical information indicating a physical condition in the surgical image; and evaluation means for evaluating details of a surgery performed by the surgeon based on the physical information analyzed by the analysis means.
  • the details of the operation performed by the surgeon are evaluated based on the body information indicating the state of the body in the surgical image obtained by imaging the body of the patient undergoing the operation by the surgeon. Therefore, it is possible to objectively evaluate the contents of actual surgery. Therefore, it is possible to provide a surgery content evaluation system capable of objectively evaluating the content of an actual surgery.
  • the analysis means calculates a recognition degree indicating the degree of recognition of the physical information in the surgical image;
  • the surgery content evaluation system according to (8), wherein the evaluation means evaluates the content of the surgery performed by the surgeon according to the degree of recognition.
  • the analysis means calculating a certainty factor indicating the certainty of the analysis result of the physical information;
  • the analysis means can calculate the degree of recognition based on the degree of certainty that indicates the certainty of the analysis result of the physical information.
  • the analysis means analyzes the trajectory of the tip position of the instrument being operated by the surgeon;
  • the surgery content evaluation system according to any one of (8) to (12), wherein the evaluation means evaluates the operating mode of the instrument in surgery based on the trajectory.
  • the analysis means analyzes the positional relationship between an action point, which is a portion of the instrument being operated by the surgeon that abuts against the anatomical structure, and a portion of the anatomical structure where the instrument abuts;
  • the surgery content evaluation system according to any one of (8) to (13), wherein the evaluation means evaluates the operating mode of the instrument in surgery based on the positional relationship.
  • the surgical instrument is determined. It is possible to evaluate the operation mode of
  • the acquisition means continuously acquires the plurality of surgical images in time series, From (9), the evaluation means is characterized in that the analysis means specifies the surgical image for which the degree of recognition for information relating to a specific anatomical structure contained in the body information is determined to be equal to or greater than a specific threshold.
  • the surgery content evaluation system according to any one of the items.
  • a surgical image for which the degree of recognition of information related to a specific anatomical structure included in body information is determined to be equal to or higher than a specific threshold is specified. becomes possible.
  • a method performed by a surgical evaluation system for evaluating surgical procedures performed by a surgeon comprising: obtaining a surgical image, which is an image of the patient's body undergoing surgery by a surgeon; a step of analyzing physical information indicating a physical condition in the surgical image; and a step of evaluating details of a surgical operation being performed by the surgeon based on the physical information analyzed by the analyzing means.
  • a surgical content evaluation system for evaluating the content of surgery performed by a surgeon; Acquisition means for acquiring a surgical image, which is an image of the body of a patient undergoing surgery by a surgeon; Analysis means for analyzing physical information indicating the state of the body in the surgical image; A program that functions as evaluation means for evaluating the content of surgery performed by the surgeon based on the physical information analyzed by the analysis means.
  • the present invention it is possible to provide a surgery content evaluation system, a surgery content evaluation method, and a computer program that can objectively evaluate the content of an actual surgery.
  • FIG. 4(a) is a surgical image in a state in which bloodshed has not occurred.
  • FIG. 4(b) is a surgical image in which bleeding has occurred. It is a figure explaining the process of the evaluation means in the surgery content evaluation system which concerns on embodiment of this invention.
  • FIG. 6(a) shows a situation in which the instrument has not been properly manipulated relative to the anatomy.
  • FIG. 6(b) shows the instrument properly manipulated relative to the anatomy.
  • FIG. 7(a) shows a situation in which the instrument has not been properly manipulated relative to the anatomy.
  • FIG. 7(b) shows the instrument properly manipulated relative to the anatomy. It is a figure which shows the surgery content evaluation processing flow which the surgery content evaluation system which concerns on embodiment of this invention performs.
  • FIG. 10 is a diagram showing an example of evaluation criteria in the evaluation means of the surgery content evaluation system according to the application example of the embodiment of the present invention; It is a figure which shows an example of the evaluation information produced
  • FIG. 16(a) is a surgical image of a lean patient.
  • FIG. 16(b) is a surgical image of an obese patient.
  • FIG. 10 is a diagram showing an example of evaluation criteria in the evaluation means of the surgery content evaluation system according to the application example of the embodiment of the present invention.
  • FIG. 10 is a diagram for explaining processing in an image editing unit of the surgery content evaluation system according to an application example of the embodiment of the present invention
  • FIG. 10 is a diagram for explaining processing in an image editing unit of the surgery content evaluation system according to an application example of the embodiment of the present invention
  • FIG. 1 is a diagram for explaining an overview of a surgery content evaluation system according to an embodiment of the present invention.
  • a surgery content evaluation system 1 evaluates the content of a surgery performed by a surgeon.
  • the surgery content evaluation system 1 acquires a surgical image, which is an image of a surgical operation performed by a surgeon at a medical institution (for example, an institution such as a hospital where surgery is performed by a surgeon).
  • Surgical images are images of the patient's body undergoing surgery and instruments operated by surgeons and assistants (e.g., forceps, electric scissors, electric scalpels, energy devices such as ultrasonic coagulation and incision devices, etc.). ) is captured.
  • surgeons and assistants e.g., forceps, electric scissors, electric scalpels, energy devices such as ultrasonic coagulation and incision devices, etc.
  • the surgical images may be moving images or, for example, still images captured continuously in time series.
  • the surgical image is an image captured by a camera inserted through an access port in an endoscopic surgery.
  • an image acquired by a surgical assistance robot or an image taken from above the patient may be used as long as the patient's body and the instruments operated by the surgeon or assistant are imaged.
  • the surgery content evaluation system 1 uses AI (Artificial Intelligence) to analyze physical information indicating the state of the body and/or instrument information indicating the state of the instruments operated by the surgeon in the surgical image.
  • AI Artificial Intelligence
  • the surgery content evaluation system 1 evaluates the content of the surgery performed by the surgeon by AI based on the physical information and/or instrument information analyzed by the analysis means, and outputs evaluation information indicating the evaluation result, for example , the surgeon transmits the evaluation results to the terminal of the medical institution where the evaluation results can be confirmed.
  • the surgery content evaluation system 1 physical information indicating the state of the body and/or the state of instruments operated by the surgeon can be obtained from the surgical image obtained by imaging the body of the patient undergoing surgery by the surgeon. Since the AI evaluates the details of the surgery performed by the surgeon based on the instrument information indicating the, it is possible to objectively evaluate the details of the actual surgery. Therefore, it is possible to objectively evaluate the details of the actual surgery.
  • FIG. 2 is a diagram showing the functional configuration of the surgery content evaluation system according to the embodiment of the present invention.
  • the surgery content evaluation system 1 is connected to a plurality of medical institution terminals 2 via a network, and includes acquisition means 11, analysis means 12, clocking means 13, evaluation means 14, transmission means 15, and storage. means 20;
  • the medical institution terminal 2 may be a terminal managed by the medical institution, or may be installed in the medical institution and managed by the operator of the surgery content evaluation system 1, and is an imaging means (for example, , camera) to the surgical operation evaluation system 1 and receive evaluation information from the surgical operation evaluation system 1 .
  • an imaging means for example, , camera
  • the acquisition means 11 acquires a surgical image, which is an image of a patient's body undergoing surgery by a surgeon.
  • the acquisition means 11 may receive the surgical image from the medical institution terminal 2, may receive the surgical image from another device (for example, a server that accumulates surgical images, etc.), or may store the surgical image in the storage means 20 in advance.
  • the stored surgical images may be read out from the storage means 20 .
  • the acquisition means 11 may receive voice data during surgery corresponding to the surgical image.
  • the analysis results of surgical images based on such audio data, for example, the state of communication between the operator and the assistant, etc., the operator's independence, the operator's mental state such as impatience, and the operator's assistant You may evaluate the leadership for
  • the acquisition means 11 acquires instrument information indicating the state of the instrument being operated by the surgeon (for example, position information detected in chronological order of surgery) by various sensors (for example, a gyro sensor, etc.) provided in the instrument. If detected, such instrument information may be acquired and stored in the storage means 20 in association with the corresponding surgical image.
  • instrument information indicating the state of the instrument being operated by the surgeon (for example, position information detected in chronological order of surgery) by various sensors (for example, a gyro sensor, etc.) provided in the instrument. If detected, such instrument information may be acquired and stored in the storage means 20 in association with the corresponding surgical image.
  • the storage means 20 stores surgical images, learned information for analysis used for analysis by the analysis means 12 described later, and learned information for evaluation used for evaluation by the evaluation means 14 described later.
  • the learned information for analysis is generated by having AI learn multiple surgical images that have been performed in the past, and includes step recognition models for recognizing multiple steps that constitute surgery, and specific regions in surgical images. (e.g., areas identified as bodily fluids (e.g., red areas formed by blood outflow, yellow areas formed by bile outflow, etc.), areas of burnt organs, etc.)
  • a specific area analysis model for anatomical analysis e.g., an anatomical structure identification model for identifying a patient's anatomical structure (organs, blood vessels, fat, connective tissue, etc.), and instruments used by surgeons (operators, assistants, etc.) (for example, forceps, energy devices such as electric scissors and electric scalpels, etc.).
  • the learned information for analysis be able to change the detection threshold at the time of analysis.
  • the learned information for evaluation is generated by having AI learn a plurality of surgical images that have been performed in the past.
  • An anatomical structure/instrument state determination model for determining the state of the anatomical structure and the state of the instrument (instrument type, instrument position, instrument orientation, etc.) for each of a plurality of steps included.
  • the learned information for analysis be able to change the detection threshold at the time of determination.
  • the learned information for analysis and the learned information for evaluation are generated by any learning method such as known machine learning, deep learning, and reinforcement learning, and stored in the storage means 20 in advance. remembered. Also, the learned information for analysis and the learned information for evaluation may be generated by the surgery content evaluation system 1 or may be generated by an external device and stored in the storage means 20 .
  • the analysis means 12 analyzes the physical information indicating the condition of the body and/or the instrument information indicating the condition of the instruments operated by the surgeon in the surgical image acquired by the acquisition means 11 .
  • the analysis means 12 compares the surgical image acquired by the acquisition means 11 with the step recognition model stored in the storage means 20, and the state shown in the surgical image is a plurality of conditions constituting surgery. Analyze which step.
  • the analyzing means 12 analyzes which step is for each frame in a moving image or for each of a plurality of continuous still images acquired in time series (hereinafter also referred to as “frames, etc.”).
  • the analyzing means 12 may analyze after adjusting the fps (frames per second) of the moving image. For example, by suppressing the fps of the moving image, it is possible to suppress the processing load and processing time of the surgery content evaluation system 1 .
  • the analysis means 12 compares the surgical image acquired by the acquisition means 11 with the specific region analysis model stored in the storage means 20, and analyzes the specific region in the surgical image.
  • the analysis means 12 analyzes the specific region for each frame or the like.
  • the specific region is a region formed by outflow of bodily fluid (for example, blood, bile, etc.) in the surgical image. yellow, white or black when organs are burnt, etc.) and the edge of the area (bodily fluids are more viscous than water and have distinctive edges). , are analyzed by the analysis means 12 .
  • the analysis means 12 compares the surgical image acquired by the acquisition means 11 with the anatomical structure identification model stored in the storage means 20, and analyzes the anatomical structure imaged in the surgical image, which is an example of physical information. do.
  • the analysis means 12 analyzes the anatomical structure for each frame or the like.
  • the analysis means 12 compares the surgical image acquired by the acquisition means 11 with the instrument identification model stored in the storage means 20, and determines the state of the instrument captured in the surgical image, which is an example of instrument information (for example, , instrument type, and instrument orientation).
  • the analyzing means 12 analyzes the state of the instrument being imaged for each frame or the like.
  • the timing means 13 measures the inter-step time, which is the time from one step to the next step in a plurality of steps constituting the surgery captured in the surgical image acquired by the acquisition means 11 .
  • FIG. 3 is a diagram for explaining the processing of the timing means in the surgery content evaluation system according to the embodiment of the present invention.
  • the example shown in FIG. 3 is a surgical image of cholecystectomy. From the top in FIG. , the next step, step X+2 (excision of the gallbladder).
  • the analyzing means 12 uses the step recognition model to detect step X, step X+1, and step X+2 among a plurality of continuous frames in a moving image or a plurality of continuous still images acquired in time series. Identify frames and still images.
  • the timer 13 measures, for example, the step-to-step time TX+1, which is the time difference between the frame of step X specified by the analysis unit 12 and the frame of step X+1.
  • the evaluation means 14 evaluates the content of the operation performed by the surgeon based on the physical information and/or instrument information analyzed by the analysis means 12.
  • the evaluation means 14 evaluates the skill of surgery based on the inter-step time measured by the timer 13 between certain steps.
  • the storage means 20 stores a determination table in which a time that serves as a reference for surgical skill is associated with each inter-step time. is compared with the inter-step time of each step measured by the timing means 13. For example, if the inter-step time is shorter than the reference time, the evaluation value for the skill of the operation is set to a higher value than the reference time. A longer time between steps gives a lower score for surgical performance.
  • FIG. 4 is a diagram for explaining the processing of the evaluation means in the surgery content evaluation system according to the embodiment of the present invention.
  • FIG. 4(a) is a surgical image in a state in which bloodshed has not occurred.
  • FIG. 4(b) is a surgical image in which bleeding has occurred.
  • the red component which is an example of the specific color, is increased in the entire image, and the image is darker than the image in FIG. 4(a).
  • the evaluation means 14 compares the analysis result of the specific region of the surgical image by the analysis means 12 with the specific region threshold model indicating a predetermined threshold for the size of the specific region stored in the storage means 20, and compares the specific region threshold model in the surgical image. , it is determined whether or not the size of the specific region exceeds a predetermined threshold, and if the size of the specific region exceeds the predetermined threshold, it is evaluated that there has been an outflow of bodily fluid or organ damage.
  • the evaluation unit 14 may evaluate the outflow of body fluids and organ damage step by step according to the size of the specific region regardless of the size of the specific region. For example, the evaluation means 14 may give a lower evaluation value for outflow of bodily fluid or organ damage as the specific region is larger.
  • the evaluation means 14 determines whether or not the size of the specific region exceeds a predetermined threshold for each frame or the like.
  • a predetermined threshold for each frame or the like.
  • the elapsed time from the start of the moving image or the elapsed time from the start of surgery may be specified. By identifying such a time, it becomes easier to confirm the operation images before and after this time, and to easily identify the operation of the instrument that caused the bleeding or the location of the bleeding in the organ.
  • the evaluation means 14 evaluates the operating mode of the instruments in surgery based on the information about the instruments included in the instrument information analyzed by the analysis means 12 .
  • the evaluation means 14 compares the analysis result of the state of the instrument for each frame, etc., by the analysis means 12 with the anatomical structure/instrument state determination model stored in the storage means 20, and evaluates the operation of the instrument in surgery. Evaluate aspects.
  • the evaluation means 14 compares such an anatomical structure/instrument state determination model with the analysis results by the analysis means 12 to determine, for example, whether an appropriate instrument has been selected or whether the instrument is being used appropriately. , Whether the ligation is properly performed, whether the suturing is properly performed, whether the blood vessel is properly processed, etc. are evaluated.
  • FIG. 5 is a diagram explaining the processing of the evaluation means in the surgery content evaluation system according to the embodiment of the present invention.
  • the forceps D1 operated by the operator's left hand (non-dominant hand) and the energy device D2 operated by the operator's right hand are imaged.
  • the analysis means 12 analyzes the trajectory of the appliance (energy device D2 in the example shown in FIG. 5) that changes in time series by analyzing the state of the appliance being imaged for each frame.
  • the position of the tip of the instrument in each frame is schematically indicated by a dot, and the trajectory of the instrument is indicated by a black line connecting these dots.
  • the evaluation means 14 evaluates whether the trajectory analyzed by the analysis means 12 is straight or has no deviation, and evaluates whether the instrument is being used appropriately based on the total distance operated on the trajectory. The longer the total distance of such an instrument trajectory than the reference value (the standard defined in the anatomical structure/instrument condition determination model), the lower the evaluation value of whether the instrument is being used appropriately.
  • the evaluation means 14 compares the trajectory analyzed by the analysis means 12 with the anatomical structure/instrument state determination model to determine the presence or absence of tremor during operation of the instrument, the consistency of the movement speed (low acceleration), the If the device is an energy device, it is possible to remain still while using it It is possible to evaluate whether separation and sharp separation are properly used, whether the separation line is linear, and the like.
  • Such an evaluation can be used to evaluate the operator's mental state (deterioration in concentration) due to changes in the properties of the trajectory over time during the course of surgery.
  • the evaluation means 14 evaluates the operating mode of the instruments with respect to the anatomical structures in the surgery based on the body information including the information on the anatomical structures of the body analyzed by the analyzing means 12 and the information on the positions of the instruments with respect to the anatomical structures contained in the instrument information. evaluate.
  • Information about the position of the instrument with respect to the anatomical structure may be included not only in the instrument information but also in the body information and/or the instrument information.
  • the evaluation means 14 compares the analysis result of the anatomical structure and the state of the instrument for each frame, etc., by the analysis means 12 with the anatomical structure/instrument state determination model stored in the storage means 20, and Evaluate instrument manipulation relative to anatomy.
  • the anatomical structure for each of a plurality of steps composing a surgical operation, includes an appropriate exposed area of the connective tissue, an appropriate tension for the blood vessel and the connective tissue, and the surrounding area of the ligated blood vessel.
  • Appropriate situations for example, situations in which unnecessary organs are not clinging around the blood vessel to be ligated
  • the evaluation means 14 compares such an anatomical structure/instrument state determination model with the analysis result by the analysis means 12, so that the instrument can be positioned at an appropriate position with respect to the anatomical structure and with an appropriate amount of force. Evaluate whether it is being manipulated.
  • the appropriate shape and color of each organ are specified in the anatomical structure/instrument state determination model.
  • the evaluation means 14 compares the anatomical structure/instrument state determination model and the analysis result by the analysis means 12, and if there is any difference, it is possible to detect inappropriate operation of the instrument with respect to the organ. and evaluated. For example, if the color of the organ is different from the appropriate color, it is a burn mark caused by an instrument (such as an electric scalpel), and it is evaluated that there was an inappropriate operation of the instrument.
  • FIG. 6 is a diagram explaining the processing of the evaluation means in the surgery content evaluation system according to the embodiment of the present invention.
  • FIG. 6(a) shows a situation in which the instrument has not been properly manipulated relative to the anatomy.
  • FIG. 6(b) shows the instrument properly manipulated relative to the anatomy.
  • an instrument FIG. 6 ( In the example shown in a), the appropriate tension is not applied by the forceps D4), and the portion to be cut by the energy device D4 is close to another organ. May damage other organs.
  • the evaluation means 14 lowers the evaluation value of the operation mode of the instrument with respect to the anatomical structure in surgery.
  • the connective tissue (the part surrounded by the white circle in the figure), which is an example of the anatomical structure, is properly tensioned by the forceps D4, and cut by the energy device D4.
  • the part is separated from other organs.
  • the evaluation means 14 increases the evaluation value of the operating mode of the instrument with respect to the anatomical structure in surgery.
  • the evaluation means 14 can give a higher evaluation value for the operation mode of the instrument for the anatomical structure in the operation, as the tension for the connective tissue defined in the anatomical structure/instrument condition determination model is approximated.
  • FIG. 7 is a diagram explaining the processing of the evaluation means in the surgery content evaluation system according to the embodiment of the present invention.
  • FIG. 7(a) shows a situation in which the instrument has not been properly manipulated relative to the anatomy.
  • FIG. 7(b) shows the instrument properly manipulated relative to the anatomy.
  • the fat which is an example of the anatomical structure
  • an instrument forceps D5 in the example shown in FIG. 7(a) operated by the assistant.
  • the evaluation means 14 lowers the evaluation value of the mode of operation of the instrument with respect to the anatomical structure in surgery and cooperation with the assistant.
  • the upper part of the fat which is an example of the anatomical structure, is held straight by the forceps D5 operated by the assistant, and the lower part is held by the operator's left hand (non-dominant hand).
  • the fat is grasped by the forceps D6 being operated, and an appropriate tension is applied to the fat, forming a triangular shape (white line portion in FIG. 7(b)) suitable for a cut portion in the fat.
  • the evaluation means 14 increases the evaluation value of the mode of operation of the instrument with respect to the anatomical structure in surgery and cooperation with the assistant.
  • the evaluation means 14 converts the analysis result into a shape corresponding to the fat cutting position defined in the anatomical structure/equipment state determination model (for example, a triangular shape stretched with appropriate tension, such as the sail of a yacht). The more similar the shape of the position is, the higher the evaluation value can be given to the operating mode of the instrument with respect to the anatomical structure in surgery and cooperation with the assistant.
  • the evaluation means 14 associates the evaluation values determined according to the analysis results by the analysis means 12 with each item for evaluating the content of the surgery, and arranges them in an arbitrary form such as a table form, a graph form, or a radar form. , to generate evaluation information that can be displayed on the medical institution terminal 2 .
  • the evaluation means 14 may extract proposal information that serves as a proposal for promoting technical improvement according to the evaluation value, or an ideal procedure image for each evaluation item according to the evaluation value.
  • the surgery content evaluation system 1 stores, for example, proposal information and procedure images corresponding to evaluation values for each evaluation item in the storage means 20, and the evaluation means 14 refers to the storage means 20. , to extract proposal information and procedure images according to the determined evaluation value.
  • the evaluation means 14 may determine a relative evaluation value of the analysis result with respect to the ideal surgical image.
  • the surgery content evaluation system 1 may also include image editing means for generating a digest image of the surgical image acquired by the acquisition means 11 .
  • the image editing means extracts from the surgical image acquired by the acquisition means 11, for example, a moving image of a predetermined time including the frame of each step in the operation specified by the analysis means 12 for each step, and synthesizes them. Generate a digest image.
  • the image editing means extracts, from the surgical images acquired by the acquiring means 11, moving images of a predetermined time including frames evaluated by the evaluating means 14 as being lower than a preset reference value, and extracts these moving images.
  • a digest version image may be generated by synthesizing.
  • the transmission means 15 transmits the evaluation information generated by the evaluation means 14 to the medical institution terminal 2 . Further, the transmission unit 15 may transmit the proposal information extracted by the evaluation unit 14 , the ideal procedure image, and the digest version image to the medical institution terminal 2 . Note that the transmission means 15 may transmit to the medical institution terminal 2 of an evaluator (for example, a surgeon who can evaluate the contents of the surgery in the digest version image) who is different from the operator of the surgery in the digest version image. . In this case, the surgery content evaluation system 1 may receive, from the medical institution terminal 2, human evaluation information indicating an evaluator's evaluation based on the transmitted digest version image. Then, the transmission means 15 may transmit the human evaluation information to the medical institution terminal 2 together with the evaluation information generated by the evaluation means 14 .
  • an evaluator for example, a surgeon who can evaluate the contents of the surgery in the digest version image
  • the surgery content evaluation system 1 may receive, from the medical institution terminal 2, human evaluation information indicating an evaluator's evaluation based on the transmitted digest version
  • each function processing unit is stored in a storage device (storage unit) such as ROM (Read Only Memory), flash memory, SSD (Solid State Drive), hard disk, etc. It is realized by a computer program executed by the CPU by reading out a computer program (for example, basic software or an application that causes the CPU to execute the various processes described above).
  • ROM Read Only Memory
  • SSD Solid State Drive
  • hard disk etc.
  • each functional processing unit may be configured with an FPGA (Field-Programmable Gate Array).
  • each functional processing unit reads and writes necessary data such as a table from a database (DB; Data Base) stored in a storage device or a storage area on a memory, and depending on the case, the related hardware It is realized by controlling hardware (for example, GPU (Graphics Processing Unit), input/output device, display device, communication interface device).
  • DB database
  • the database (DB) in the embodiment of the present invention may be a commercial database, but it also means a simple collection of tables and files, and the internal structure itself of the database itself is not a concern.
  • FIG. 8 is a diagram showing a surgery content evaluation processing flow executed by the surgery content evaluation system according to the embodiment of the present invention.
  • step S1 the acquisition means 11 acquires from the medical institution terminal 2 or the storage means 20 a surgical image, which is an image of the patient's body being operated on by a surgeon.
  • step S2 the analysis means 12 analyzes the physical information indicating the condition of the body and/or the instrument information indicating the condition of the instruments operated by the surgeon in the surgical image acquired by the acquisition means 11 in step S1. Also, in this step, the analysis means 12 analyzes the color component of a specific color (for example, red, which is the color of blood, and yellow, which is the color of bile) in the surgical image acquired by the acquisition means 11 in step S1. .
  • a specific color for example, red, which is the color of blood, and yellow, which is the color of bile
  • step S3 the timer 13 measures the inter-step time, which is the time from a certain step to the next step in a plurality of steps constituting the surgery imaged in the surgical image acquired by the acquisition unit 11 in step S1. Measure.
  • step S4 the evaluation means 14 evaluates the skill of the surgery based on the inter-step time measured by the timing means 13 between certain steps. Further, in this step, the evaluation means 14 determines whether or not the specific color component has increased in the surgical image based on the analysis result of the specific color component of the surgical image by the analysis means 12 in step S2, When it is determined that the component of the specific color has increased, it is evaluated that there has been an outflow of body fluid. Also, in this step, the evaluation means 14 evaluates the operating mode of the instrument in the surgery based on the information regarding the instrument included in the instrument information analyzed by the analysis means 12 in step S2.
  • the evaluation means 14 performs surgery based on the body information including the information on the anatomical structure of the body analyzed by the analysis means 12 in step S2 and the information on the position of the instrument with respect to the anatomical structure contained in the instrument information. Evaluate instrument manipulation relative to anatomy. Then, in this step, the evaluation means 14 generates evaluation information that can be displayed on the terminal 2 of the medical institution.
  • step S5 the transmission means 15 transmits the evaluation information generated by the evaluation means 14 in step S4 to the medical institution terminal 2.
  • a surgery content evaluation system physical information indicating the state of the body and/or the state of instruments operated by the surgeon can be displayed in a surgical image obtained by imaging the body of a patient undergoing surgery by the surgeon. Since the details of the surgery performed by the surgeon are evaluated based on the displayed instrument information, it is possible to objectively evaluate the details of the actual surgery. Therefore, it is possible to provide a surgery content evaluation system capable of objectively evaluating the content of an actual surgery.
  • the surgery content evaluation system 1 by evaluating the operation mode of the instruments in the surgery based on the information about the instruments included in the instrument information, the operation mode of the instruments can be evaluated based on the operator's senses and whether there is no organ damage. It is possible to objectively evaluate not only from the results such as
  • the surgery content evaluation system 1 by evaluating the operating mode of the instruments with respect to the anatomical structure in surgery based on the information about the position of the instruments with respect to the anatomical structure, the operating mode of the instruments with respect to the anatomical structure can be perceived by the operator's sense. In addition, it is possible to objectively evaluate not only the results such as no organ damage, but also the possibility of causing mistakes such as organ damage.
  • the skill of surgery is evaluated based on the time between steps, which is the time from one step to the next step. It is possible to objectively evaluate the skill of
  • the “recognition degree” refers to the number of pixels or area of which the degree of certainty indicating the certainty of the analysis result by the analysis means 12 for the surgical image is equal to or higher than a certain threshold, the total amount of certainty, or the speed or acceleration of their increase or decrease. , the degree of continuity (without interruption) of structures such as organs.
  • FIG. 9 is a diagram showing an example of evaluation information generated by the surgery content evaluation system according to the application example of the embodiment of the present invention.
  • the example shown in FIG. 9 is an example of evaluation information that is generated by the evaluation means 14 and can be displayed on the medical institution terminal 2, and the evaluation values determined according to the analysis results by the analysis means 12 are shown in a graph format.
  • the graph on the right side of the figure shows the data transition during surgery
  • the horizontal axis is the elapsed time in surgery (in the example shown in FIG. time is set to 100.)
  • the vertical axis indicates the degree of each item.
  • graphs showing changes in confidence, amount of device movement, amount of bleeding, operation time between steps, and relative positions of instruments/structures are superimposed on the same time axis.
  • the evaluation information includes information indicating the transition of events during surgery (elapsed time of each event) in a pie chart, and the AI model used by the analysis means 12 and the evaluation means 14. Information indicating rate and information indicating surgery time may also be included.
  • the analysis means 12 calculates a recognition degree indicating the degree of recognition of body information (for example, anatomical structure) in the surgical image. Specifically, the analysis means 12 calculates a degree of certainty indicating the certainty of the analysis result of the physical information, and calculates the degree of recognition based on the degree of certainty. Then, the evaluation means 14 evaluates the content of the operation performed by the surgeon according to this degree of recognition.
  • FIG. 10 is a diagram explaining the processing of the evaluation means in the operation content evaluation system according to the application example of the embodiment of the present invention.
  • FIG. 10 shows surgical images of the steps of ablating adipose tissue and exposing nerves. Nerve tissue is not exposed in the surgical image (upper panel) before adipose tissue ablation. Then, as the operation progresses, it can be confirmed that the nerve tissue is exposed in the surgical image (lower diagram) after the adipose tissue is removed, and that the nerve tissue is not disrupted and is continuous.
  • the left side is the original image captured by the camera
  • the right side is the original image
  • the nerve tissue portion is specified by the analysis of the analysis means 12, Colored.
  • the analysis means 12 analyzes the portion where the nerve tissue is displayed in the surgical image, and colors the portion where the degree of certainty exceeds a predetermined threshold among the analysis results.
  • the exposure of the nerve tissue is less than that shown in the surgical image after the adipose tissue exfoliation in FIG.
  • the area (the area of the portion where the certainty exceeds a predetermined threshold) is reduced.
  • the contents of such an operation are considered to be low evaluation.
  • the degree of recognition of the nerve tissue which is an example of the body information calculated by the analysis means 12, is lowered compared to the case where the nerve tissue is sufficiently exposed and the nerve tissue is not interrupted. Then, when the degree of recognition is lowered, the evaluation means 14 lowers the content of the operation performed by the surgeon accordingly.
  • the analysis means 12 may calculate the exposed area of the target organ (the total number of pixels whose certainty factor exceeds the threshold), which is an example of the body information, as the recognition level, or may calculate the total amount of the certainty factor of the target organ. may be used as the recognition level, the recognition level may be calculated from the continuity of the target organ, or the recognition level may be calculated by combining these.
  • the evaluation means 14 may evaluate the content of the operation performed by the surgeon according to the time-dependent change in the degree of recognition. Specifically, the evaluation means 14 may evaluate the details of the surgery according to the speed or acceleration of increase/decrease in the degree of recognition.
  • the evaluation means 14 may evaluate that the surgery is progressing quickly if the rate of increase/decrease in the degree of recognition is fast, or that it is stable if the acceleration of increase/decrease in the degree of recognition is constant. You may assess that the surgery is progressing.
  • the evaluation means 14 is a learning model that AI learns good evaluation examples (examples evaluated as good surgery) and bad evaluation examples (examples evaluated as bad surgery) reflecting the analysis results of the analysis means 12. may be generated and evaluated using this learning model.
  • good surgery includes surgery that has no surgical complications, is performed by a skilled doctor, and is judged to be a good surgery by a skilled doctor.
  • bad surgery includes surgery that has surgical complications, is performed by an inexperienced doctor, or is judged to be a bad surgery by a skilled doctor.
  • the evaluation means 14 learns the evaluation by AI by attaching information to these as correct data, and gives good evaluation and bad evaluation.
  • FIG. 11 is a diagram showing an example of evaluation information generated by the surgery content evaluation system according to the application example of the embodiment of the present invention.
  • FIG. 11 is an example of evaluation information generated by the evaluation means 14 and displayable on the medical institution terminal 2, and shows evaluation values determined according to analysis results by the analysis means 12 in a graph format.
  • the example shown in FIG. 11 shows the transition of the degree of certainty of the resected organ in surgery for resecting an organ, and shows an example with a higher evaluation score of the evaluation means 14 and an example with a lower evaluation score.
  • the evaluation means 14 has a higher maximum confidence value for the analysis result with the resected organ (well exposed, less camera shake and bleeding), and a confidence value of 0
  • the evaluation index for the evaluation by the evaluation means 14 may be the amount of pixels with a certain degree of certainty or more, or the rate of increase/decrease of the amount of pixels (quick processing time), instead of the degree of certainty. good (there is no deviation in technique). In this way, the evaluation means 14 may evaluate the content of the operation performed by the surgeon according to the recognition level based on other factors, not limited to the recognition level based on the confidence level.
  • FIG. 12 is a diagram showing an example of evaluation criteria in the evaluation means of the surgery content evaluation system according to the application example of the embodiment of the present invention.
  • FIG. 12 shows temporal changes in the degree of recognition of resected organs and preserved organs in such cases.
  • the evaluation means 14 recognizes the surgical scene (event recognition of resecting the resected organ from the preserved organ) based on the analysis result of the anatomical structure and the state of the instrument (type of instrument used, etc.) by the analysis means 12 .
  • the evaluation means 14 evaluates the content of the operation performed by the surgeon based on the change in the degree of recognition of the resected organ (for example, connective tissue) and the change in the degree of recognition of the preserved organ (nerve) after event recognition. Evaluate. For example, the evaluation unit 14 gives a higher evaluation score if the degree of recognition of resected organs decreases and the degree of recognition of preserved organs increases after event recognition.
  • FIG. 13 is a diagram showing an example of evaluation information generated by the surgery content evaluation system according to the application example of the embodiment of the present invention.
  • FIG. 13 is an example of evaluation information that is generated by the evaluation means 14 and can be displayed on the medical institution terminal 2, and shows the amount of movement calculated according to the analysis result by the analysis means 12 in a graph format.
  • the example shown in FIG. 13 shows the transition of the amount of movement in the trajectory of the distal end position of the instrument being operated by the surgeon.
  • the evaluation means 14 gives a higher evaluation score because it can be estimated that the operation was performed more efficiently as the amount of movement of the instrument decreased.
  • the analysis means 12 analyzes the trajectory of the tip position of the instrument (see FIG. 5), as in the present embodiment.
  • the evaluation means 14 evaluates whether the trajectory analyzed by the analysis means 12 is straight or not blurred, and determines whether the instrument is used appropriately based on the total distance operated on the trajectory, as in the present embodiment. Evaluate whether Since the total distance and deviation in the trajectory of the tip position of the instrument increases in proportion to the useless movement in operating the instrument, it is a technical evaluation of the operator.
  • the evaluation means 14 may evaluate whether the instrument is being used appropriately based on the frequency of opening and closing of the distal end portion.
  • the evaluation means 14 evaluates the operating mode of the instrument in surgery based on the velocity calculated from the distance between the tip positions of the instrument between adjacent frames and the acceleration measured at the gyro center (forceps side). good too.
  • the analysis means 12 analyzes the points of action (for example, the tip of forceps or cutting instruments), which are the parts of the instrument being operated by the surgeon that abut against the anatomical structure, and the parts of the anatomical structure where the instrument abuts ( For example, the positional relationship with a portion grasped with forceps or a portion cut with an excision instrument is analyzed. Specifically, the anatomical structure and the part where the tissue is grasped, including the instrument, are image-recognized.
  • a good rating is a good surgical maneuver with a high degree of confidence in the grasping state.
  • the evaluation means 14 evaluates the anatomical structure in surgery based on the body information including the information on the anatomical structure of the body analyzed by the analyzing means 12 and the information on the position of the instrument relative to the anatomical structure contained in the instrument information. Evaluate how the instrument operates. Furthermore, the evaluation means 14 provides information on the position of the anatomical structure of the body analyzed by the analysis means 12 and the instrument (for example, forceps, etc.) The positional relationship between the point of action and the site of the anatomical structure with which the instrument abuts) may be used to evaluate the details of the surgery. Specifically, the evaluation means 14 may evaluate whether the organ is grasped at an appropriate position by the forceps based on the anatomical structure and the positional information of the tip of the forceps.
  • the evaluation means 14 determine the three-dimensional absolute position of the anatomy and the instrument, the two-dimensional absolute position of the anatomy and the instrument, the three-dimensional relative position of the anatomy and the instrument or the two-dimensional relative position of the anatomy and the instrument. Based on the location, the content of surgery can be evaluated.
  • FIG. 14 is a diagram showing an example of evaluation information generated by the surgery content evaluation system according to the application example of the embodiment of the present invention.
  • FIG. 14 shows an example of evaluation information generated by the evaluation means 14 and displayable on the medical institution terminal 2.
  • the anatomical structure calculated according to the analysis result by the analysis means 12 and the position of the tip of the surgical instrument are shown in a graph. format.
  • the example shown in FIG. 14 shows the transition between the three-dimensional absolute position of the center of gravity of the structure (anatomical structure) and the three-dimensional absolute position of the distal end position of the surgical instrument.
  • the center of gravity of the structure is the position of the center of gravity (1/2 point, 1/3 point, etc.) of the area analyzed by the analysis means 12 as the target structure (for example, pancreas). Note that the position of the outline (upper edge, lower edge, left edge, right edge) of the part may be used instead of the center of gravity of the structure.
  • FIG. 15 is a diagram showing an example of evaluation information generated by the surgery content evaluation system according to the application example of the embodiment of the present invention.
  • FIG. 15 is an example of evaluation information generated by the evaluation means 14 and displayable on the medical institution terminal 2.
  • the relative position between the anatomical structure and the tip of the surgical instrument calculated according to the analysis result by the analysis means 12 is shown in FIG. , shown in graphical form.
  • the example shown in FIG. 15 shows transition of the relative position between the center of gravity of the structure (anatomical structure) and the tip of the surgical instrument.
  • the relative x, y, z position transitions of the center of gravity of the structure and the tip of the surgical instrument are shown.
  • the evaluation means 14 evaluates the content of the surgery from the transition of the positional relationship between the anatomical structure and the instruments according to the type of anatomical structure and the content of the surgery. For example, when the anatomical structure is a preserved organ, the evaluation means 14 evaluates the contents of the surgery more highly when the instrument used for the purpose of resection (excision instrument) is separated from the preserved organ. In addition, when the anatomical structure is a resected organ, the evaluation unit 14 evaluates the details of the surgery more highly when the resecting instrument is closer to the resected organ. Also, in this case, the evaluation unit 14 may evaluate the details of the surgery more highly when the speed at which the relative positions of the cutting instrument and the resected organ are closer to each other is high or when the acceleration is constant.
  • the evaluation information as shown in FIGS. 14 and 15 is cumulatively recorded in the storage means 20, and this evaluation information is used for appropriate surgery (for example, surgery in which no adverse events of surgery occurred, experienced surgeons, etc.). Surgery performed by a surgeon, etc.) and unfamiliar surgery (surgery in which adverse events occurred, surgery performed by an inexperienced surgeon, etc.)
  • a learning model for evaluating the content of surgery may be generated from the transition of the positional relationship between the anatomical structure and the instrument by learning the boundary point of the AI.
  • the evaluation means 14 can evaluate the contents of the operation from the transition of the positional relationship between the anatomical structure and the instrument using such boundary points and learning models.
  • the evaluation means 14 evaluates the degree of difficulty of surgery according to the information about the anatomical structure of the body included in the body information.
  • FIG. 16 is a diagram explaining the processing of the evaluation means in the surgery content evaluation system according to the embodiment of the present invention.
  • FIG. 16(a) is a surgical image of a lean patient.
  • FIG. 16(b) is a surgical image of an obese patient.
  • the evaluation means 14 evaluates the amount of area such as adhesions composed of fat, blood vessels, and connective tissue at the beginning of surgery, and evaluates the degree of surgical difficulty. Moreover, the evaluation means 14 may correct the final evaluation value of the details of the surgery based on the evaluation at the beginning of the surgery.
  • the evaluation means 14 evaluates that the operation is of a high degree of difficulty at the beginning of such an operation, the evaluation means 14 transmits warning information indicating a warning/suggestion such as a high bleeding risk to the terminal of the medical institution. good too.
  • FIG. 17 is a diagram for explaining the processing of the evaluation means in the surgery content evaluation system according to the embodiment of the present invention.
  • the analysis means 12 compares the surgical image acquired by the acquisition means 11 with the specific region analysis model stored in the storage means 20, and analyzes the specific region (body fluid (eg, blood, Bile, intestinal fluid, etc.) is analyzed, and the specific region (in the example shown in FIG. 17, the part indicated as bleeding) and the outline of the specific region are colored.
  • body fluid eg, blood, Bile, intestinal fluid, etc.
  • the evaluation means 14 quantifies the number of times the specific region has been analyzed by the analysis means 12 (the number of times the body fluid has flowed out), and evaluates the content of the operation performed by the surgeon according to this number.
  • the analysis means 12 may also determine the type of body fluid (blood, bile, intestinal fluid, etc.) that forms the specific region. In this case, the evaluation means 14 may evaluate the content of the operation performed by the surgeon according to the number of times for each type of body fluid forming the specific region. For example, when the analysis means 12 determines the type of body fluid to be blood, the evaluation means 14 gradually lowers the evaluation as the number of times increases, and the analysis means 12 determines the type of body fluid to be a specific body fluid (bile, intestinal fluid, etc.). If it is determined that the outflow of the specific body fluid is analyzed even once, the evaluation may be significantly lowered.
  • the analysis means 12 analyzes, as instrument information, a bodily fluid treatment tool (for example, gauze used for wiping up bleeding) that treats the bodily fluid that has flowed out.
  • the evaluation means 14 may evaluate the content of surgery performed by the surgeon according to the number of times the body fluid disposal tool is analyzed by the analysis means 12 and the movement distance (area per frame) of the body fluid disposal tool. . If the body fluid disposal device (eg, gauze, etc.) has been inserted many times or traveled many distances, there is a possibility that many treatments for bleeding have been performed. Therefore, the evaluation unit 14 may lower the evaluation as the number of times the body fluid treatment tool is analyzed or the moving distance of the body fluid treatment tool increases.
  • a body fluid disposal tool eg, gauze, etc.
  • the evaluation means 14 may use the anatomical structure of the body and the position information of the bodily fluid disposal device to correct the evaluation of the content of the surgery. For example, when the positions of the preserved tissue and the body fluid handling device are close to each other and the movement of the body fluid handling device is not analyzed (when it is estimated that the body fluid handling device is being used to gently suppress ), even if the body fluid treatment device is analyzed, the evaluation may not be lowered.
  • FIG. 18 is a diagram showing an example of evaluation criteria in the evaluation means of the surgery content evaluation system according to the application example of the embodiment of the present invention.
  • FIG. 18 shows temporal changes in the area of a specific region (eg, blood) and the movement distance of an instrument (eg, cutting instrument).
  • a specific region eg, blood
  • an instrument eg, cutting instrument
  • the cutting instrument continues to move without reducing the area of the specific region (without reducing the amount of bleeding). In such a case, it is presumed that the operation is proceeding without hemostasis, and the evaluation means 14 lowers the evaluation.
  • the surgery content evaluation system 1 may include image editing means for generating a digest image of the surgical image acquired by the acquisition means 11 .
  • the image editing means extracts from the surgical image acquired by the acquisition means 11, for example, a moving image of a predetermined time including the frame of each step in the operation specified by the analysis means 12 for each step, and synthesizes them. Generate a digest image.
  • the evaluation means 14 identifies surgical images (frames) for which the analysis means 12 has determined that the degree of recognition of information regarding a specific anatomical structure contained in the body information is equal to or greater than a specific threshold.
  • FIG. 19 is a diagram for explaining processing in the image editing means of the surgery content evaluation system according to the application example of the embodiment of the present invention.
  • FIG. 19 shows temporal changes in the degree of recognition of the target organ and the range of extracted moving images.
  • the evaluation means 14 determines that the analysis means 12 determines that the degree of recognition of information regarding a specific anatomical structure (for example, a target organ such as nerve tissue) included in the body information is equal to or greater than a specific threshold (area of nerve tissue (pixel amount or certainty The surgical image (frame) determined to be the total amount of )) is set as the moving image extraction point. Then, the image editing means automatically extracts a predetermined period before and after the moving image extraction point, and edits the moving image. As the predetermined period, for example, after the anatomical structure is analyzed by the analysis means 12 (after the recognition degree of the anatomical structure is generated) until the anatomical structure is no longer analyzed (the recognition degree of the anatomical structure is 0). until ).
  • a specific threshold area of nerve tissue (pixel amount or certainty
  • the evaluation means 14 may specify surgical images (frames) with a certain degree of certainty or more for the target organ.
  • the evaluation unit 14 may set moving image extraction points based on the relationship between the degree of certainty of the operating tool and the structure, or the relationship between the graph of the area of the structure.
  • the image editing means extracts the trajectory of the instrument (for example, the resection line, etc.) presented by the AI model that has learned the resection line of each expert doctor when extracting a specific scene during surgery. You may display it in a moving image. Further, the image editing means may display the predicted surgical field and predicted structure after excision by GAN (Generative adversarial network) or the like in the extracted moving image.
  • GAN Generative adversarial network
  • FIG. 20 is a diagram for explaining processing in the image editing means of the surgery content evaluation system according to the application example of the embodiment of the present invention.
  • FIG. 20 shows the transition of surgical images due to the operation of imaging means (for example, a camera) that captures surgical images.
  • imaging means for example, a camera
  • a camera for imaging the inside of the body is passed through a camera port that is inserted into the body from the outside.
  • the upper part of FIG. 20 shows transition of surgical images when the camera placed inside the body is pulled out of the body.
  • the lower part of FIG. 20 shows transition of surgical images when a camera is inserted into the body from outside the body.
  • the evaluation means 14 may specify a first point at which the degree of certainty of the target organ becomes 0, and a second point at which the degree of certainty increases again thereafter.
  • the analyzing means 12 may analyze a fixed structure outside the camera (eg, camera port) as the appliance information. In this case, the evaluation means 14 may specify the time when such a structure is analyzed after starting the analysis of the physical information as the first point. Based on the first point and the second point specified by the evaluation means 14 in this way, the image editing means may automatically delete the moving image between the first point and the second point.
  • the surgery content evaluation system 1 it is possible to evaluate the content of the surgery performed by the surgeon according to the degree of recognition that indicates the degree of recognition of body information in the surgical image. .
  • the target organ, etc. of the surgery is separated from other organs and exposed, the physical information of the target organ, etc. will be clear in the surgical image, and the degree of recognition of the physical information will be higher. Higher and more recognizable.
  • the target organ, etc. for surgery cannot be clearly separated from other organs, the physical information of the target organ, etc. will be unclear in the surgical image, and the degree of recognition of the body information will be lower, and the degree of recognition will be lower. lower.
  • the more exposed the target organ, etc. of the surgery the more smoothly the target organ is treated, and the less likely it is that other organs will be damaged. , it becomes a good surgery with less burden on the patient's body (the contents of the surgery are evaluated higher).
  • the analysis means can calculate the degree of recognition based on the degree of certainty that indicates the certainty of the analysis result of the physical information. As a result, from a more objective point of view, it is possible to calculate the degree of recognition that indicates the degree of recognition of body information, and to evaluate the content of surgery performed by a surgeon according to such a degree of recognition. Therefore, it is possible to more objectively evaluate the contents of the actual surgery.
  • the surgery content evaluation system 1 it is possible to evaluate the content of the surgery performed by the surgeon according to the change in recognition level over time.
  • the target organ for surgery (physical information to be analyzed) is a preserved organ
  • the faster the recognition rate increases the more skillfully the target organ will be exposed.
  • the target organ of surgery (physical information to be analyzed) is a resected organ
  • the more the recognition level changes at a relatively low value the more skillfully the target organ has been resected.
  • the degree of recognition of a certain organ changes with time relatively little, it means that there is no deviation in the technique. In these cases, the surgery is good with less burden on the patient's body (evaluation of the content of the surgery is higher).
  • the surgery content evaluation system 1 it is possible to evaluate the degree of difficulty of the surgery according to the information about the anatomical structure of the body included in the body information.
  • the fat which is an example of an anatomical structure
  • the blood vessels can be clearly seen through, which reduces the difficulty of the operation. Since the blood vessels are covered with fat, the blood vessels cannot be seen, and since there are adhesions, the fat cannot be sufficiently lifted, resulting in a poor visual field and increasing the difficulty of the operation.
  • the surgery content evaluation system 1 it is possible to evaluate the operation mode of the instrument in surgery based on the trajectory of the tip position of the instrument being operated by the surgeon. This improves the analysis accuracy of the trajectory and eliminates the need to recognize all instruments, thereby reducing the load of analysis processing.
  • the surgery content evaluation system 1 according to the application example, the positional relationship between the point of action, which is the portion of the instrument being operated by the surgeon that abuts against the anatomical structure, and the part of the anatomical structure with which the instrument abuts. Based on this, it becomes possible to evaluate the operation mode of instruments in surgery.
  • the degree of recognition of information related to a specific anatomical structure included in body information among a plurality of consecutive surgical images in time series is determined to be greater than or equal to a specific threshold. It is possible to identify the surgical image that has been acquired. This makes it possible to specify the time point at which a specific anatomical structure is exposed in a moving image composed of a plurality of surgical images that are consecutively arranged in time series. For example, by adding a marker to the specified time point in a moving image, it is possible to quickly reproduce a scene in which a specific anatomical structure is exposed, or to edit the video based on the specified time point.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Urology & Nephrology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Surgery (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Surgical Instruments (AREA)
  • Instructional Devices (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

実際の手術の内容を客観的に評価することを可能とする。手術内容評価システム１は、外科医によって行われた手術の内容を評価し、外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する取得手段１１と、手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報を解析する解析手段１２と、解析手段１２が解析した身体情報及び／又は器具情報に基づき、当該外科医によって行われている手術の内容を評価する評価手段１４と、を備える。

Description

手術内容評価システム、手術内容評価方法及びコンピュータプログラム
　本発明は、外科医によって行われた手術の内容を評価する手術内容評価方法及びコンピュータプログラムに関する。
　従来、外科医における手術の技術や、手術の進め方によって、患者の身体への負担が大きく異なることが知られている。このため、外科医には、手術のスキルの向上が求められている。
　例えば、特許文献１には、模擬運動演算装置が、手術シミュレーション開始時に記憶装置から教育シナリオシーケンスをロードし、実行する第１の過程と、模擬運動演算装置で計算したシミュレーション中の模擬術具情報、シミュレーションモデルデータの情報を記憶装置に保存する第２の過程と、模擬運動演算装置は、シミュレーション終了時に記憶装置に保存された模擬術具情報、シミュレーションモデルデータの情報を基に評価項目に従い、評価する第３の過程とからなるコンピュータシミュレータを用いた手術シミュレーションが提案されている。
特開２０２０－７１４１８号公報
　しかしながら、特許文献１の手術シミュレーションでは、模擬的な手術シミュレーションにおける技術を評価できるものの、実際の手術の内容を評価することはできない。手術のスキルの向上には、実際の手術の内容を客観的に評価することが欠かせない。外科医は、実際の手術の内容の客観的な評価を確認することで、反省点や改善点が明確になり、この反省点や改善点を解消することで、手術のスキルがより向上する。
　本発明は、上記の点に鑑みてなされたものであり、実際の手術の内容を客観的に評価することが可能な手術内容評価システム、手術内容評価方法及びコンピュータプログラムを提供することを目的とする。
　（１）　外科医によって行われた手術の内容を評価する手術内容評価システムであって、
　外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する取得手段と、
　前記手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報を解析する解析手段と、
　前記解析手段が解析した前記身体情報及び／又は前記器具情報に基づき、当該外科医によって行われている手術の内容を評価する評価手段と、を備えることを特徴とする手術内容評価システム。
　（１）の発明では、手術内容評価システムは、取得手段と、解析手段と、評価手段と、を備え、外科医によって行われた手術の内容を評価する。
　取得手段と、外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する。
　解析手段は、手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報を解析する。
　評価手段は、解析手段が解析した身体情報及び／又は器具情報に基づき、当該外科医によって行われている手術の内容を評価する。
　（１）の発明によれば、外科医によって手術が行われている患者の身体を撮像した手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報に基づき、当該外科医によって行われている手術の内容を評価するので、実際の手術の内容を客観的に評価することが可能となる。
　したがって、実際の手術の内容を客観的に評価することが可能な手術内容評価システムを提供できる。
　（２）　前記解析手段は、前記手術画像における特定領域を分析し、
　前記評価手段は、前記手術画像における前記特定領域が所定の閾値を超えた場合には、体液の流出又は臓器損傷があったと評価することを特徴とする（１）に記載の手術内容評価システム。
　ここで、例えば、臓器を損傷させた場合、手術画像において、出血が発生すると血液の領域が広がり、胆汁が流出すると胆汁の領域が広がり、電気メス等による損傷は白色や黒色など焼灼された領域が広がる。このような体液の流出や臓器損傷は、患者への身体への影響を考慮すれば、手術の内容の評価対象として重要である。
　（２）の発明によれば、例えば、体液の流出や臓器損傷があった場合に広がる領域を特定領域とし、この特定領域が所定の閾値を超えたか否かを判断し、所定の閾値を超えた場合には、体液の流出や臓器損傷があったと評価することで、重要な評価対象である体液の流出や臓器損傷を、客観的に評価することが可能となる。
　（３）　前記解析手段は、前記器具に関する情報を含む前記器具情報を解析し、
　前記評価手段は、前記器具に関する情報に基づき、手術における前記器具の操作態様を評価することを特徴とする（１）又は（２）に記載の手術内容評価システム。
　ここで、手術において器具の操作態様に無駄な動き（例えば、器具が施術部位まで最短距離を移動しない等）があると、手術時間が長引き、患者への身体への負担が大きくなる。また、手術において器具の操作態様が不適切な場合（例えば、器具の向きが不適切な場合等）、器具により臓器損傷を起こしてしまう可能性が高まる。このため、器具の操作態様は、手術における患者への身体への負担を軽減することを考慮すれば、手術の内容の評価対象として重要である。
　（３）の発明によれば、器具情報に含まれる器具に関する情報に基づき、手術における器具の操作態様を評価することで、器具の操作態様を、術者の感覚や、臓器損傷が無かった等の結果からだけでなく、客観的に評価することが可能となる。
　（４）　前記解析手段は、
　　身体の解剖構造に関する情報を含む前記身体情報を解析し、
　　前記解剖構造に対する前記器具の位置に関する情報を含む前記身体情報及び／又は前記器具情報を解析し、
　前記評価手段は、前記解剖構造に対する前記器具の位置に関する情報に基づき、手術における前記解剖構造に対する前記器具の操作態様を評価することを特徴とする（１）から（３）のいずれかに記載の手術内容評価システム。
　ここで、例えば、内臓における患部を切除する場合、患部を他の臓器と分離する必要がある。この場合、患部と他の臓器とを結合している解剖構造の一例である結合組織に対して、適切に器具の一例である電気メスを当てる必要がある。仮に、結合組織に対する電気メス位置が適切でなかった場合、電気メスが他の臓器に触れてしまい、他の臓器を損傷させてしまうおそれがある。このため、解剖構造に対する器具の位置は、手術におけるミスにつながる要素の評価対象として重要である。
　（４）の発明では、解剖構造に対する器具の位置に関する情報に基づき、手術における解剖構造に対する器具の操作態様を評価することで、解剖構造に対する器具の操作態様を、術者の感覚や、臓器損傷が無かった等の結果だけでなく、臓器損傷等のミスにつながる可能性も、客観的に評価することが可能となる。
　（５）　前記解析手段は、複数のステップからなる手術の前記手術画像において、前記ステップをそれぞれ解析し、
　ある前記ステップから、次の前記ステップまでの時間であるステップ間時間を測定する計時手段を、更に備え、
　前記評価手段は、ある前記ステップ間に対して、前記計時手段が測定した前記ステップ間時間に基づき、手術の手際を評価することを特徴とする（１）から（４）に記載の手術内容評価システム。
　ここで、手術は、複数のステップからなるところ、ステップ毎に、技術的な難易度や、患者への身体への影響が異なるため、ステップ毎に手術の内容を評価する必要がある。このため、あるステップから、次のステップまでの時間であるステップ間時間は、手術の内容を、ステップ毎に検討する際、評価対象として重要である。
　（５）の発明によれば、あるステップから、次のステップまでの時間であるステップ間時間に基づき、手術の手際を評価するので、手術全体の時間だけでなく、ステップ毎の術者の手際を、客観的に評価することが可能となる。
　（６）　外科医によって行われた手術の内容を評価する手術内容評価システムが実行する方法であって、
　外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得するステップと、
　前記手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報を解析するステップと、
　前記身体情報及び／又は前記器具情報に基づき、当該外科医によって行われている手術の内容を評価するステップと、を含むことを特徴とする手術内容評価方法。
　（７）　外科医によって行われた手術の内容を評価する手術内容評価システムを、
　外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する取得手段、
　前記手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報を解析する解析手段、
　前記解析手段が解析した前記身体情報及び／又は前記器具情報に基づき、当該外科医によって行われている手術の内容を評価する評価手段、として機能させるプログラム。
　（６）及び（７）の発明によれば、（１）の発明と同様の作用効果を奏する。
　（８）　外科医によって行われた手術の内容を評価する手術内容評価システムであって、
　外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する取得手段と、
　前記手術画像において、身体の状態を示す身体情報を解析する解析手段と、
　前記解析手段が解析した前記身体情報に基づき、当該外科医によって行われている手術の内容を評価する評価手段と、を備えることを特徴とする手術内容評価システム。
　（８）の発明によれば、外科医によって手術が行われている患者の身体を撮像した手術画像において、身体の状態を示す身体情報に基づき、当該外科医によって行われている手術の内容を評価するので、実際の手術の内容を客観的に評価することが可能となる。
　したがって、実際の手術の内容を客観的に評価することが可能な手術内容評価システムを提供できる。
　（９）　前記解析手段は、前記手術画像における前記身体情報の認識の程度を示す認識度を算出し、
　前記評価手段は、前記認識度に応じて、外科医によって行われている手術の内容を評価することを特徴とする（８）に記載の手術内容評価システム。
　（９）の発明によれば、手術画像における身体情報の認識の程度を示す認識度に応じて、外科医によって行われている手術の内容を評価することが可能となる。
　（１０）　前記解析手段は、
　　前記身体情報の解析結果の確からしさを示す確信度を算出し、
　　前記認識度を、前記確信度に基づき算出することを特徴とする（９）に記載の手術内容評価システム。
　（１０）の発明によれば、解析手段は、認識度を、身体情報の解析結果の確からしさを示す確信度に基づき算出することが可能となる。
　（１１）　前記評価手段は、前記認識度の経時変化に応じて、外科医によって行われている手術の内容を評価することを特徴とする（９）又は（１０）のいずれかに記載の手術内容評価システム。
　（１１）の発明によれば、認識度の経時変化に応じて、外科医によって行われている手術の内容を評価することが可能となる。
　（１２）　前記評価手段は、前記身体情報に含まれる身体の解剖構造に関する情報に応じて、手術の難易度を評価することを特徴とする（８）から（１１）のいずれかに記載の手術内容評価システム。
　（１２）の発明によれば、身体情報に含まれる身体の解剖構造に関する情報に応じて、手術の難易度を評価することが可能となる。
　（１３）　前記解析手段は、外科医に操作されている器具の先端位置の軌道を解析し、
　前記評価手段は、前記軌道に基づき、手術における前記器具の操作態様を評価することを特徴とする（８）から（１２）のいずれかに記載の手術内容評価システム。
　（１３）の発明によれば、外科医に操作されている器具の先端位置の軌道に基づき、手術における器具の操作態様を評価することが可能となる。
　（１４）　前記解析手段は、外科医に操作されている器具の解剖構造に当接した部分である作用点と、解剖構造の前記器具が当接した部位との位置関係を解析し、
　前記評価手段は、前記位置関係に基づき、手術における前記器具の操作態様を評価することを特徴とする（８）から（１３）のいずれかに記載の手術内容評価システム。
　（１４）の発明によれば、外科医に操作されている器具の解剖構造に当接した部分である作用点と、解剖構造の当該器具が当接した部位との位置関係に基づき、手術における器具の操作態様を評価することが可能となる。
　（１５）　前記取得手段は、時系列で連続的に複数の前記手術画像を取得し、
　　前記評価手段は、前記解析手段において、前記身体情報に含まれる特定の解剖構造に関する情報に対する前記認識度が、特定閾値以上と判定された前記手術画像を特定することを特徴とする（９）から（１４）のいずれかに記載の手術内容評価システム。
　（１５）の発明によれば、時系列で連続的に複数の手術画像のうち、身体情報に含まれる特定の解剖構造に関する情報に対する認識度が、特定閾値以上と判定された手術画像を特定することが可能となる。
　（１６）　外科医によって行われた手術の内容を評価する手術内容評価システムが実行する方法であって、
　外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得するステップと、
　前記手術画像において、身体の状態を示す身体情報を解析するステップと、
　前記解析手段が解析した前記身体情報に基づき、当該外科医によって行われている手術の内容を評価するステップと、を含むことを特徴とする手術内容評価方法。
　（１７）　外科医によって行われた手術の内容を評価する手術内容評価システムを、
　外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する取得手段、
　前記手術画像において、身体の状態を示す身体情報を解析する解析手段、
　前記解析手段が解析した前記身体情報に基づき、当該外科医によって行われている手術の内容を評価する評価手段、として機能させるプログラム。
　（１６）及び（１７）の発明によれば、（８）の発明と同様の作用効果を奏する。
　本発明によれば、実際の手術の内容を客観的に評価することが可能な手術内容評価システム、手術内容評価方法及びコンピュータプログラムを提供することができる。
本発明の実施形態に係る手術内容評価システムの概要を説明する図である。 本発明の実施形態に係る手術内容評価システムの機能構成を示す図である。 本発明の実施形態に係る手術内容評価システムにおける計時手段の処理を説明する図である。 本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。図４（ａ）は、流血が発生していない状態の手術画像である。図４（ｂ）は、流血が発生した状態の手術画像である。 本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。 本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。図６（ａ）は、解剖構造に対して、適切に器具が操作されていない状態を示している。図６（ｂ）は、解剖構造に対して、適切に器具が操作されている状態を示している。 本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。図７（ａ）は、解剖構造に対して、適切に器具が操作されていない状態を示している。図７（ｂ）は、解剖構造に対して、適切に器具が操作されている状態を示している。 本発明の実施形態に係る手術内容評価システムが実行する手術内容評価処理フローを示す図である。 本発明の実施形態の応用例に係る手術内容評価システムで生成される評価情報の一例を示す図である。 本発明の実施形態の応用例に係る手術内容評価システムにおける評価手段の処理を説明する図である。 本発明の実施形態の応用例に係る手術内容評価システムで生成される評価情報の一例を示す図である。 本発明の実施形態の応用例に係る手術内容評価システムの評価手段における評価基準の一例を示す図である。 本発明の実施形態の応用例に係る手術内容評価システムで生成される評価情報の一例を示す図である。 本発明の実施形態の応用例に係る手術内容評価システムで生成される評価情報の一例を示す図である。 本発明の実施形態の応用例に係る手術内容評価システムで生成される評価情報の一例を示す図である。 本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。図１６（ａ）は、痩せ型の患者の手術画像である。図１６（ｂ）は、肥満型の患者の手術画像である。 本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。 本発明の実施形態の応用例に係る手術内容評価システムの評価手段における評価基準の一例を示す図である。 本発明の実施形態の応用例に係る手術内容評価システムの画像編集手段における処理を説明する図である。 本発明の実施形態の応用例に係る手術内容評価システムの画像編集手段における処理を説明する図である。
　以下、添付図面を参照して、本発明を実施するための形態（以下、実施形態）について詳細に説明する。以降の図においては、実施形態の説明の全体を通して同じ要素には同じ番号または符号を付している。
（基本概念／基本構成）
　図１は、本発明の実施形態に係る手術内容評価システムの概要を説明する図である。
　手術内容評価システム１は、外科医によって行われた手術の内容を評価する。
　手術内容評価システム１は、医療機関(例えば、病院等の外科医によって手術を行う機関)での、外科医における手術の様子を撮像した画像である手術画像を取得する。手術画像は、手術中の手術が行われている患者の身体及び外科医や助手等によって操作されている器具(例えば、鉗子や、電動のハサミや電気メス、超音波凝固切開装置等のエネルギーデバイス等)の様子が撮像されている。なお、手術画像は、動画でも、例えば、時系列的に連続的に撮像された静止画であってもよい。また、本実施形態において、手術画像は、内視鏡による手術において、アクセスポートから挿入されたカメラにより撮像された画像であるが、これに限らず、手術画像は、手術中の手術が行われている患者の身体及び外科医や助手等によって操作されている器具が撮像されていれば、例えば、手術支援ロボットにより取得された画像や、患者の上方から撮像された画像等であってもよい。
　手術内容評価システム１は、手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報を、ＡＩ（Artificial　Intelligence）により解析する。
　そして、手術内容評価システム１は、解析手段が解析した身体情報及び／又は器具情報に基づき、ＡＩにより、当該外科医によって行われている手術の内容を評価し、評価結果を示す評価情報を、例えば、当該外科医が評価結果を確認可能な医療機関の端末に送信する。
　このような、手術内容評価システム１によれば、外科医によって手術が行われている患者の身体を撮像した手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報に基づき、ＡＩにより、当該外科医によって行われている手術の内容を評価するので、実際の手術の内容を客観的に評価することが可能となる。
　したがって、実際の手術の内容を客観的に評価することが可能となる。
（機能構成）
　図２は、本発明の実施形態に係る手術内容評価システムの機能構成を示す図である。
　手術内容評価システム１は、複数の医療機関端末２と、ネットワークを介して接続されており、取得手段１１と、解析手段１２と、計時手段１３と、評価手段１４と、送信手段１５と、記憶手段２０と、を備える。
　本実施形態において、医療機関端末２は、医療機関で管理されている端末でもよいし、医療機関に設置され、手術内容評価システム１の運営者に管理され、手術画像を撮像する撮像手段（例えば、カメラ）で撮像された手術画像を、手術内容評価システム１に送信し、手術内容評価システム１から評価情報を受信可能な端末であってもよい。
　取得手段１１は、外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する。取得手段１１は、医療機関端末２から手術画像を受信してもよいし、他の装置（例えば、手術画像を集積するサーバ等）から手術画像を受信してもよいし、予め記憶手段２０に記憶された手術画像を、記憶手段２０から読み出してもよい。また、取得手段１１は、手術画像に対応する手術中の音声データを受信してもよい。手術画像の解析結果に加え、このような音声データに基づき、例えば、術者と助手等とのコミュニケーションの状態や、術者の主体性や、焦りなどの術者の精神状態、術者の助手に対する指導性を評価してもよい。
　また、取得手段１１は、外科医に操作されている器具の状態を示す器具情報（例えば、手術の時系列で検知された位置情報等）が、器具が備える各種センサ（例えば、ジャイロセンサ等）により検知されていた場合には、このような器具情報を取得し、対応する手術画像に対応付けて、記憶手段２０に記憶してもよい。
　記憶手段２０には、手術画像や、後述する解析手段１２が解析で用いる解析用学習済情報や、後述する評価手段１４が評価で用いる評価用学習済情報が記憶されている。
　解析用学習済情報は、過去に行われた複数の手術画像を、ＡＩに学習させることで、生成され、手術を構成する複数のステップを認識するためのステップ認識モデルや、手術画像における特定領域（例えば、体液（例えば、血液の流出で形成された赤色の領域や、胆汁の流出で形成された黄色の領域等）と識別される領域や、臓器が焼けた部分の領域等）を解析するための特定領域解析モデルや、患者の解剖構造（臓器、血管、脂肪、結合組織等）を識別するための解剖構造識別モデルや、外科医（術者や、助手等）が使用する器具(例えば、鉗子や、電動のハサミや電気メス等のエネルギーデバイス等)をそれぞれ識別する器具識別モデル等が含まれる。なお、解析用学習済情報は、解析時の検出閾値を変更可能であることが望ましい。
　評価用学習済情報は、過去に行われた複数の手術画像を、ＡＩに学習させることで、生成され、手術画像における特定領域の大きさに対する所定の閾値を示す特定領域閾値モデルや、手術を構成する複数のステップ毎の解剖構造の状態と、器具の状態（器具の種類、器具の位置、器具の向き等）と、を判定するための解剖構造・器具状態判定モデル等が含まれる。なお、解析用学習済情報は、判定時の検出閾値を変更可能であることが望ましい。
　解析用学習済情報及び評価用学習済情報は、公知の機械学習(Machine　Learning)、深層学習（Deep　Learning）、強化学習（Reinforcement　learning）等の任意の学習方法により生成され、予め記憶手段２０に記憶されている。また、解析用学習済情報及び評価用学習済情報は、手術内容評価システム１により生成されてもよいし、外部の装置により生成され、記憶手段２０に記憶されていてもよい。
　解析手段１２は、取得手段１１が取得した手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報を解析する。
　具体的には、解析手段１２は、取得手段１１が取得した手術画像と、記憶手段２０に記憶されたステップ認識モデルとを対比し、手術画像に示された状態が、手術を構成する複数のステップのいずれであるかを解析する。解析手段１２は、動画における各フレームや、時系列で取得された複数の連続的な静止画（以下、「フレーム等」ともいう。）毎に、どのステップかを解析する。なお、解析手段１２は、動画のｆｐｓ（frames　per　second）を調整してから、解析してもよい。例えば、動画のｆｐｓを抑えることで、手術内容評価システム１の処理負担や処理時間を抑えることが可能となる。
　また、解析手段１２は、取得手段１１が取得した手術画像と、記憶手段２０に記憶された特定領域解析モデルとを対比し、手術画像における特定領域を解析する。解析手段１２は、フレーム等毎に、特定領域を解析する。ここで、本実施形態において、特定領域は、手術画像における体液（例えば、血液や胆汁等）の流出によりできた領域であり、例えば、色（例えば、血液の色である赤色や、胆汁の色である黄色や、臓器が焼けたときの白色、黒色等）や、領域のエッジ（体液は、水に比べ、粘度が高く、エッジに特徴がある。）等の特徴により、特定領域であると、解析手段１２により解析される。
　また、解析手段１２は、取得手段１１が取得した手術画像と、記憶手段２０に記憶された解剖構造識別モデルとを対比し、身体情報の一例である手術画像に撮像されている解剖構造を解析する。解析手段１２は、フレーム等毎に、解剖構造を解析する。
　また、解析手段１２は、取得手段１１が取得した手術画像と、記憶手段２０に記憶された器具識別モデルとを対比し、器具情報の一例である手術画像に撮像されている器具の状態（例えば、器具の種類や、器具の向き）を解析する。解析手段１２は、フレーム等毎に、撮像されている器具の状態を解析する。
　計時手段１３は、取得手段１１が取得した手術画像に撮像されている手術を構成する複数のステップにおける、あるステップから、次のステップまでの時間であるステップ間時間を測定する。
　図３は、本発明の実施形態に係る手術内容評価システムにおける計時手段の処理を説明する図である。
　図３に示す例は、胆嚢摘出手術の手術画像であり、図３中上から胆嚢摘出手術におけるステップＸ（胆嚢の表出）と、次のステップであるステップＸ＋１（胆嚢管の切離）と、次のステップであるステップＸ＋２（胆嚢の摘出）を示している。
　解析手段１２は、ステップ認識モデルにより、動画における連続的な複数のフレームのうちや、時系列で取得された複数の連続的な静止画のうち、ステップＸ、ステップＸ＋１、ステップＸ＋２が撮像されたフレームや静止画を特定する。
　計時手段１３は、例えば、解析手段１２が特定したステップＸのフレーム等と、ステップＸ＋１のフレーム等との時間差であるステップ間時間ＴＸ＋１を測定する。
　図２に戻って、評価手段１４は、解析手段１２が解析した身体情報及び／又は器具情報に基づき、当該外科医によって行われている手術の内容を評価する。
　評価手段１４は、あるステップ間に対して、計時手段１３が測定したステップ間時間に基づき、手術の手際を評価する。具体的には、記憶手段２０には、各ステップ間時間毎に、手術の手際の基準となる時間が対応付けられた判断テーブルが記憶されており、評価手段１４は、手術の手際の基準となる時間と、計時手段１３が測定した、各ステップのステップ間時間とを対比し、例えば、基準時間よりステップ間時間がより短ければ、手術の手際に対する評価値をより高い値とし、基準時間よりステップ間時間がより長ければ、手術の手際に対する評価値をより低い値とする。
　また、評価手段１４は、手術画像における特定色の成分が増大した場合には、体液の流出があったと評価する。
　図４は、本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。図４（ａ）は、流血が発生していない状態の手術画像である。図４（ｂ）は、流血が発生した状態の手術画像である。図４（ｂ）に示す例では、画像全般に特定色の一例である赤色の成分が増大しており、図４（ａ）に比べて、暗い画像となっている。
　評価手段１４は、解析手段１２による手術画像の特定領域の解析結果と、記憶手段２０に記憶された特定領域の大きさに対する所定の閾値を示す特定領域閾値モデルと、を対比し、手術画像において、特定領域の大きさが所定の閾値を超えたか否かを判定し、特定領域の大きさが所定の閾値を超えた場合には体液の流出や臓器損傷があったと評価する。また、評価手段１４は、特定領域の大きさが所定の閾値にかかわらず、特定領域の大きさに応じて、体液の流出や臓器損傷について段階的に評価してもよい。例えば、評価手段１４は、特定領域が大きいほど、体液の流出や臓器損傷に関して、より低い評価値としてもよい。
　また、評価手段１４は、フレーム等毎に、特定領域の大きさが所定の閾値を超えたか否かを判定し、特定領域の大きさが所定の閾値を超えた起点となったフレーム等の時間（例えば、手術画像が動画であれば、動画開始からの経過時間や、手術開始からの経過時間）を特定してもよい。このような時間が特定されることで、この時間前後の手術画像を確認し、出血等の原因となった器具の操作や、臓器における出血等した位置の特定が容易になる。
　また、評価手段１４は、解析手段１２が解析した器具情報に含まれる器具に関する情報に基づき、手術における器具の操作態様を評価する。
　具体的には、評価手段１４は、解析手段１２によるフレーム等毎の器具の状態の解析結果と、記憶手段２０に記憶された解剖構造・器具状態判定モデルとを対比し、手術における器具の操作態様を評価する。
　ここで、解剖構造・器具状態判定モデルには、手術を構成する複数のステップ毎に、器具の基準となる種別、基準となる向き、基準となるルート、基準となるスピード等が規定されている。評価手段１４は、このような解剖構造・器具状態判定モデルと、解析手段１２による解析結果と、を対比することで、例えば、適切な器具が選択されているか、器具が適切に使用されているか、結紮が適正に行われているか、縫合が適切に行われているか、血管が適切に処理されているか等を評価する。
　図５は、本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。図５に示す例は、術者の左手（非優位手）に操作されている鉗子Ｄ１と、術者の右手に操作されているエネルギーデバイスＤ２が撮像されている。
　解析手段１２は、フレーム毎に、撮像されている器具の状態を解析することで、時系列で変化する器具（図５に示す例では、エネルギーデバイスＤ２）の軌道を解析する。図５では、模式的に、各フレームにおける器具の先端位置に点を付し、この点を結んだ黒線で器具の軌道を示している。
　評価手段１４は、上記の解析手段１２が解析した軌道に対して、直線かブレがないかを評価したり、軌道で操作した総距離から、器具が適切に使用されているかを評価する。このような器具の軌道の総距離が、基準値（解剖構造・器具状態判定モデルに規定されている基準）より長ければ長いほど、器具が適切に使用されているかの評価値がより低くなる。
　評価手段１４は、解析手段１２が解析した軌道と、解剖構造・器具状態判定モデルと、を対比することで、器具の操作中のふるえの有無、移動速度の一定性（加速度が少ない）、器具が挿入されてから、当該器具を使用する位置まで最短距離を移動しているか、器具がエネルギーデバイスである場合に、使用中に静止できているか、器具の使用にめりはりがあり、鈍的剥離、鋭的切離の使い分けが適切か、切離ラインが直線的か否か等を評価することができる。このような評価は、手術中の経過において、上記軌道の性質に経時的変化が生じたことによって、術者の精神状態（集中力の低下）の評価に利用することができる。
　また、評価手段１４は、解析手段１２が解析した身体の解剖構造に関する情報を含む身体情報及び器具情報に含まれる解剖構造に対する器具の位置に関する情報に基づき、手術における解剖構造に対する器具の操作態様を評価する。なお、解剖構造に対する器具の位置に関する情報は、器具情報のみでなく、身体情報及び／又は器具情報に含めてもよい。
　具体的には、評価手段１４は、解析手段１２によるフレーム等毎の解剖構造及び器具の状態の解析結果と、記憶手段２０に記憶された解剖構造・器具状態判定モデルとを対比し、手術における解剖構造に対する器具の操作態様を評価する。
　ここで、解剖構造・器具状態判定モデルには、手術を構成する複数のステップ毎に、解剖構造に関して、適切な結合組織の露出面積、血管や結合組織に対する適切なテンション、結紮する血管の周囲の適切な状況（例えば、結紮する血管の周囲に余計な臓器がまとわりついていない状況）等が規定されている。評価手段１４は、このような解剖構造・器具状態判定モデルと、解析手段１２による解析結果と、を対比することで、解剖構造に対して、適切な位置や、適切な力加減で、器具が操作されているかを評価する。
　また、解剖構造・器具状態判定モデルには、上記の他には、各臓器の適切な形状や色が規定されている。評価手段１４は、このような解剖構造・器具状態判定モデルと、解析手段１２による解析結果と、を対比することで、相違点があれば、臓器に対して、不適切な器具の操作があったと評価する。例えば、臓器の適切な色と異なる色となっていれば、器具（電気メス等）による焼けた痕であり、不適切な器具の操作があったと評価する。
　図６は、本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。図６（ａ）は、解剖構造に対して、適切に器具が操作されていない状態を示している。図６（ｂ）は、解剖構造に対して、適切に器具が操作されている状態を示している。
　図６（ａ）に示す例では、解剖構造の一例である結合組織（図中白丸で囲った部分）に対して、術者の左手（非優位手）に操作されている器具（図６（ａ）に示す例では、鉗子Ｄ４）により、適切なテンションが掛けられておらず、エネルギーデバイスＤ４で切断する部分が他の臓器に近接しており、このまま、エネルギーデバイスＤ４を近接させた場合、他の臓器を損傷するおそれがある。
　解析手段１２により、図６（ａ）に例示する状態が解析された場合、評価手段１４は、手術における解剖構造に対する器具の操作態様についての評価値を低くする。
　図６（ｂ）に示す例では、解剖構造の一例である結合組織（図中白丸で囲った部分）に対して、鉗子Ｄ４により、適切なテンションが掛けられており、エネルギーデバイスＤ４で切断する部分が他の臓器から離間している。
　解析手段１２により、図６（ｂ）に例示する状態が解析された場合、評価手段１４は、手術における解剖構造に対する器具の操作態様についての評価値を高くする。評価手段１４は、解剖構造・器具状態判定モデルに規定された結合組織に対する適切なテンションに近似するほど、手術における解剖構造に対する器具の操作態様についての評価値をより高くすることができる。
　図７は、本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。図７（ａ）は、解剖構造に対して、適切に器具が操作されていない状態を示している。図７（ｂ）は、解剖構造に対して、適切に器具が操作されている状態を示している。
　図７（ａ）に示す例では、解剖構造の一例である脂肪に対して、助手により操作されている器具（図７（ａ）に示す例では、鉗子Ｄ５）により、適切に脂肪がつかまれておらず、弛み（図７（ａ）中上部の白線）が生じている。この状態では、エネルギーデバイスで、適切に脂肪を切断できない。
　解析手段１２により、図７（ａ）に例示する状態が解析された場合、評価手段１４は、手術における解剖構造に対する器具の操作態様や、助手との連携についての評価値を低くする。
　図７（ｂ）に示す例では、解剖構造の一例である脂肪の上部が、助手により操作されている鉗子Ｄ５により、直線上に保持され、下部において、術者の左手（非優位手）に操作されている鉗子Ｄ６により、つかまれ、脂肪に対して適切なテンション掛けられており、脂肪に切断部分として適切な三角形形状（図７（ｂ）中の白線部分）が形成されている。
　解析手段１２により、図７（ｂ）に例示する状態が解析された場合、評価手段１４は、手術における解剖構造に対する器具の操作態様や、助手との連携についての評価値を高くする。評価手段１４は、解剖構造・器具状態判定モデルに規定された脂肪の切断位置に対する形状（例えば、ヨットの帆のような、適切なテンションで張られた三角形形状）に、解析結果の脂肪の切断位置の形状が近似するほど、手術における解剖構造に対する器具の操作態様や、助手との連携についての評価値をより高くすることができる。
　評価手段１４は、解析手段１２による解析結果に応じて決定した評価値を、手術の内容を評価する各項目に対応付け、配列した表形式や、グラフ形式や、レーダー形式等の任意の形態で、医療機関端末２で表示可能な評価情報を生成する。
　また、評価手段１４は、評価値に応じた技術改善を促す提案となる提案情報や、評価値に応じた各評価項目における理想的な手技画像を抽出してもよい。この場合、手術内容評価システム１は、例えば、記憶手段２０に、評価項目毎に、評価値に対応した提案情報や手技画像を記憶しており、評価手段１４は、記憶手段２０を参照して、決定した評価値に応じた提案情報や手技画像を抽出する。また、評価手段１４は、解析結果について、上記理想的な手技画像に対する相対的な評価値を決定してもよい。
　また、手術内容評価システム１は、取得手段１１が取得した手術画像のダイジェスト版画像を生成する画像編集手段を備えてもよい。画像編集手段は、取得手段１１が取得した手術画像から、例えば、解析手段１２が特定した手術における各ステップのフレームを含む所定時間の動画を、ステップ毎に抽出し、これらを合成することで、ダイジェスト版画像を生成する。また、画像編集手段は、取得手段１１が取得した手術画像から、例えば、評価手段１４による評価値が、予め設定された基準値より低いと評価したフレームを含む所定時間の動画抽出し、これらを合成することで、ダイジェスト版画像を生成してもよい。
　図２に戻って、送信手段１５は、評価手段１４が生成した評価情報を、医療機関端末２に送信する。また、送信手段１５は、評価手段１４が抽出した提案情報や理想的な手技画像やダイジェスト版画像を医療機関端末２に送信してもよい。なお、送信手段１５は、ダイジェスト版画像における手術の術者とは異なる者である評価者（例えば、ダイジェスト版画像における手術の内容を評価可能な外科医）の医療機関端末２に送信してもよい。この場合、手術内容評価システム１は、医療機関端末２から、送信したダイジェスト版画像に基づく、評価者の評価を示す人間評価情報を受信してもよい。そして、送信手段１５は、評価手段１４が生成した評価情報とともに、人間評価情報を、医療機関端末２に送信してもよい。
　上記の本システムの機能構成は、あくまで一例であり、１つの機能ブロック（データベース及び機能処理部）を分割したり、複数の機能ブロックをまとめて１つの機能ブロックとして構成したりしてもよい。各機能処理部は、装置や端末に内蔵されたＣＰＵ（Central　Processing　Unit）が、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ、ＳＳＤ(Solid　State　Drive)、ハードディスク等の記憶装置（記憶部）に格納されたコンピュータプログラム（例えば、基幹ソフトや上述の各種処理をＣＰＵに実行させるアプリ等）を読み出し、ＣＰＵにより実行されたコンピュータプログラムによって実現される。なお、各機能処理部は、ＦＰＧＡ（Field-Programmable　Gate　Array）で構成してもよい。すなわち、各機能処理部は、このコンピュータプログラムが、記憶装置に格納されたデータベース（ＤＢ;Data　Base)やメモリ上の記憶領域からテーブル等の必要なデータを読み書きし、場合によっては、関連するハードウェア（例えば、ＧＰＵ（Graphics　Processing　Unit）、入出力装置、表示装置、通信インターフェース装置）を制御することによって実現される。また、本発明の実施形態におけるデータベース（ＤＢ）は、商用データベースであってよいが、単なるテーブルやファイルの集合体をも意味し、データベースの内部構造自体は問わないものとする。
　（処理フロー）
　図８は、本発明の実施形態に係る手術内容評価システムが実行する手術内容評価処理フローを示す図である。
　ステップＳ１において、取得手段１１は、外科医によって手術が行われている患者の身体を撮像した画像である手術画像を、医療機関端末２や記憶手段２０から取得する。
　ステップＳ２において、解析手段１２は、ステップＳ１で取得手段１１が取得した手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報を解析する。また、本ステップにおいて、解析手段１２は、ステップＳ１で取得手段１１が取得した手術画像における特定色（例えば、血液の色である赤色や、胆汁の色である黄色等）の色成分を解析する。
　ステップＳ３において、計時手段１３は、ステップＳ１で取得手段１１が取得した手術画像に撮像されている手術を構成する複数のステップにおける、あるステップから、次のステップまでの時間であるステップ間時間を測定する。
　ステップＳ４において、評価手段１４は、あるステップ間に対して、計時手段１３が測定したステップ間時間に基づき、手術の手際を評価する。また、本ステップにおいて、評価手段１４は、ステップＳ２における解析手段１２による手術画像の特定色の色成分の解析結果に基づき、手術画像において、特定色の成分が増大したか否かを判定し、特定色の成分が増大したと判定した場合には体液の流出があったと評価する。また、本ステップにおいて、評価手段１４は、ステップＳ２で解析手段１２が解析した器具情報に含まれる器具に関する情報に基づき、手術における器具の操作態様を評価する。また、本ステップにおいて、評価手段１４は、ステップＳ２で解析手段１２が解析した、身体の解剖構造に関する情報を含む身体情報及び器具情報に含まれる解剖構造に対する器具の位置に関する情報に基づき、手術における解剖構造に対する器具の操作態様を評価する。そして、本ステップにおいて、評価手段１４は、評価を医療機関端末２で表示可能な評価情報を生成する。
　ステップＳ５において、送信手段１５は、ステップＳ４で評価手段１４が生成した評価情報を、医療機関端末２に送信する。
　このような手術内容評価システム１によれば、外科医によって手術が行われている患者の身体を撮像した手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報に基づき、当該外科医によって行われている手術の内容を評価するので、実際の手術の内容を客観的に評価することが可能となる。
　したがって、実際の手術の内容を客観的に評価することが可能な手術内容評価システムを提供できる。
　また、手術内容評価システム１によれば、手術画像における特定色の成分が増大した場合には、体液の流出があったと評価することで、重要な評価対象である臓器損傷を、客観的に評価することが可能となる。
　また、手術内容評価システム１によれば、器具情報に含まれる器具に関する情報に基づき、手術における器具の操作態様を評価することで、器具の操作態様を、術者の感覚や、臓器損傷が無かった等の結果からだけでなく、客観的に評価することが可能となる。
　また、手術内容評価システム１によれば、解剖構造に対する器具の位置に関する情報に基づき、手術における解剖構造に対する器具の操作態様を評価することで、解剖構造に対する器具の操作態様を、術者の感覚や、臓器損傷が無かった等の結果だけでなく、臓器損傷等のミスにつながる可能性も、客観的に評価することが可能となる。
　また、手術内容評価システム１によれば、あるステップから、次のステップまでの時間であるステップ間時間に基づき、手術の手際を評価するので、手術全体の時間だけでなく、ステップ毎の術者の手際を、客観的に評価することが可能となる。
［応用例］
　次に、本発明の実施形態の応用例について説明する。以下の説明において、本実施形態と同様の構成には、同一の符号を付し、その説明を省略又は簡略する。
　応用例に係る手術内容評価システム１は、本実施形態の構成に加え、主に、解析手段１２（図２参照）が、身体情報の認識の程度を示す認識度を算出し、評価手段１４（図２参照）が、この認識度に応じて、外科医によって行われている手術の内容を評価する。
　応用例において「認識度」とは、手術画像に対する解析手段１２による解析結果の確からしさを示す確信度が一定の閾値以上のピクセル数や面積、確信度の総量、又はそれらの増減の速度や加速度、臓器等の構造物の連続性（途絶などないこと）の程度である。
　図９は、本発明の実施形態の応用例に係る手術内容評価システムで生成される評価情報の一例を示す図である。
　図９に示す例は、評価手段１４により生成され、医療機関端末２で表示可能な評価情報の一例であり、解析手段１２による解析結果に応じて決定した評価値が、グラフ形式で示されている。
　例えば、図９に示す例において、図中右側のグラフは、手術中のデータ推移を示しており、横軸が手術における経過時間（図９に示す例では、手術開始時を０とし、手術終了時を１００としている。）であり、縦軸が各項目の程度としたものである。このグラフでは、項目として、確信度、デバイス移動量、出血量、ステップ間の手術時間、器具・構造物の相対位置の推移を示すグラフを、同じ時間軸に重ねて配置している。このような評価情報により、解析手段１２（ＡＩ）が解析を行う際に算出した解析結果の確からしさを表す確率（確信度）と、解析手段１２による解析結果（デバイス移動量、出血量、ステップ間の手術時間、器具・構造物の相対位置等）との関係から、手術の内容を評価することが可能となる。
　また、評価情報には、図９の左側に示すように、術中のイベント推移（各イベントの経過時間）を、円グラフで示す情報や、解析手段１２や評価手段１４が使用したＡＩモデルの使用率を示す情報や、手術時間を示す情報を、含めてもよい。
（解剖構造の認識度合いを用いた評価）
　解析手段１２は、手術画像における身体情報（例えば、解剖構造）の認識の程度を示す認識度を算出する。詳細には、解析手段１２は、身体情報の解析結果の確からしさを示す確信度を算出し、認識度を、確信度に基づき算出する。
　そして、評価手段１４は、この認識度に応じて、外科医によって行われている手術の内容を評価する。
　図１０は、本発明の実施形態の応用例に係る手術内容評価システムにおける評価手段の処理を説明する図である。図１０は、脂肪組織を剥離し、神経を露出させるステップの手術画像を示している。脂肪組織剥離前の手術画像（上段の図）では神経組織が露出していない。そして、手術が進み、脂肪組織剥離後の手術画像（下段の図）では神経組織が露出しており、神経組織が途絶しておらず、神経組織が連続していることが確認できる。
　図１０の脂肪組織剥離後の手術画像（下段の図）において、左側はカメラで撮像されたオリジナル画像であり、右側はこのオリジナル画像に、解析手段１２の解析により神経組織の部分が特定され、着色されている。解析手段１２は、手術画像において、神経組織が表示されている部分を解析し、解析結果のうち、確信度が所定の閾値を超えた部分に着色する。
　例えば、脂肪組織の剥離が不十分な場合や、電気メス等により神経組織を焼いてしまった焼灼跡がある場合、図１０の脂肪組織剥離後の手術画像に示す例に比べ、神経組織の露出面積（確信度が所定の閾値を超えた部分の面積）が少なくなる。このような手術の内容は、低評価とされている。
　このような場合、神経組織が十分に露出しており、神経組織が途絶していない場合に比べ、解析手段１２に算出される身体情報の一例である神経組織の認識度が低下する。そして、評価手段１４は、認識度が低下した場合、これに応じて、外科医によって行われている手術の内容を低く評価する。
　解析手段１２は、身体情報の一例である対象臓器の露出面積（確信度が閾値を超えたピクセル数の合計）を算出して認識度としてもよいし、対象臓器の確信度の総量を算出して認識度としてもよいし、対象臓器の連続性から認識度を算出してもよいし、これらを複合して認識度を算出してもよい。
　また、神経の他にも血管、尿管、精管、膵臓など、温存するべき重要臓器は、綺麗に（周囲の組織から剥離され、かつ途絶などがない状態）露出することが上手い手術と評価される一つの基準である。このため、温存臓器の露出面積の上昇速度が高いと、円滑に温存臓器が露出されたことを示しており、良い評価となる。
　このような評価基準を踏まえ、評価手段１４は、認識度の経時変化に応じて、外科医によって行われている手術の内容を評価してもよい。具体的には、評価手段１４は、認識度の増減の速度や加速度に応じて、手術の内容を評価してもよい。例えば、評価手段１４は、認識度の増減の速度が早ければ、速やかに手術が進行しているとの評価をしてもよいし、認識度の増減の加速度が一定であれば、安定して手術が進行しているとの評価をしてもよい。
　なお、評価手段１４は、解析手段１２の解析結果が反映された良い評価例（良い手術と評価されている例）と悪い評価例（悪い手術と評価されている例）をＡＩ学習した学習モデルを生成し、この学習モデルを用いて、評価してもよい。
　具体的には、良い手術とは、手術合併症がない、熟練の医師が行っている、熟練の医師が良い手術と判断した手術などである。また、悪い手術とは、手術合併症があった、不慣れな医師が行っている、熟練の医師が良くない手術と判断した手術などである。
　評価手段１４は、これらを、正解データとして情報付けすることによって、ＡＩにより評価を学習し、良い評価、悪い評価をする。
　図１１は、本発明の実施形態の応用例に係る手術内容評価システムで生成される評価情報の一例を示す図である。
　図１１は、評価手段１４により生成され、医療機関端末２で表示可能な評価情報の一例であり、解析手段１２による解析結果に応じて決定した評価値が、グラフ形式で示されている。図１１に示す例は、臓器を切除する手術における切除臓器の確信度の推移を示しており、評価手段１４の評価点がより高い例と、より低い例とを重ねて示している。
　図１１に示されるように、評価手段１４は、切除臓器との解析結果に対する確信度の最高値がより高く（良く露出されている、カメラの手振れや出血が少ない）、また、確信度が０．１以下の期間が長いほど（適切に切除できているので、切除臓器と解析された部分が無い又は極めて少ない）、より高い評価点とする。
　なお、評価手段１４における評価の評価指標は、確信度ではなく、確信度が一定以上のピクセル量、ピクセル量の増減速度（処理時間が早い）にしてもよいし、増減速度が一定であってもよい（手技にぶれがない）。このように、評価手段１４は、確信度に基づく認識度に限らず、その他の要素に基づく認識度に応じて、外科医によって行われている手術の内容を評価してもよい。
　図１２は、本発明の実施形態の応用例に係る手術内容評価システムの評価手段における評価基準の一例を示す図である。
　ここで、手術では、切除する切除臓器と、温存する温存臓器とが混在する。図１２は、このような場合における切除臓器と温存臓器の認識度の時間的変化を示している。
　評価手段１４は、解析手段１２による解剖構造や器具の状態（使用されている器具の種類等）の解析結果に基づき、手術シーンを認識（温存臓器から切除臓器を切除するイベント認識）する。評価手段１４は、イベント認識後における、切除臓器（例えば、結合組織等）の認識度合いの変化と、温存臓器（神経）の認識度合いの変化と、に基づき、外科医によって行われている手術の内容を評価する。例えば、評価手段１４は、イベント認識後、切除臓器の認識度合いが低下し、温存臓器の認識度合いが増加していれば、より高い評価点とする。
（器具認識の評価）
　図１３は、本発明の実施形態の応用例に係る手術内容評価システムで生成される評価情報の一例を示す図である。
　図１３は、評価手段１４により生成され、医療機関端末２で表示可能な評価情報の一例であり、解析手段１２による解析結果に応じて算出された移動量が、グラフ形式で示されている。図１３に示す例は、外科医に操作されている器具の先端位置の軌道における移動量の推移を示しており、評価手段１４の評価点がより高い例と、より低い例とを重ねて示している。
　図１３に示されるように、評価手段１４は、器具の移動量が少ないほど、効率よく手術したことが推定できることから、より高い評価点とする。
　また、解析手段１２は、本実施形態と同様に、器具の先端位置の軌道（図５参照）を解析する。また、評価手段１４は、本実施形態と同様に、解析手段１２が解析した軌道に対して、直線かブレがないかを評価したり、軌道で操作した総距離から、器具が適切に使用されているかを評価する。器具の先端位置の軌道における総距離やブレは、器具の操作における無駄な動きに比例して大きくなるので術者の技術評価になる。また、評価手段１４は、器具が把持鉗子である場合に、先端部の開閉の頻度に基づき、器具が適切に使用されているかを評価してもよい。さらに、評価手段１４は、隣接するフレーム間における器具の先端位置の間隔から算出される速さや、ジャイロセンター（鉗子側）等で計測される加速度に基づき、手術における器具の操作態様を評価してもよい。また、解析手段１２は、外科医に操作されている器具の解剖構造に当接した部分である作用点（例えば、鉗子や切除器具の先端等）と、解剖構造の当該器具が当接した部位（例えば、鉗子で把持された部分や、切除器具で切断された部分）との位置関係を解析する。具体的には、解剖構造と器具を含む組織を把持している部位を画像認識させ、組織を適切に把持できているか否かを正解データとし情報づけし、ＡＩの学習モデル（解剖構造・器具状態判定モデル）を作成することで、評価してもよい。例えば、良い評価は、把持している状態の確信度が高いと良い手術操作である。何らかの処理を行っている状態をＡＩ学習させることで、切除器具などにも応用は可能である。
（器具と構造物の位置情報を用いた評価）
　本実施形態と同様に、評価手段１４は、解析手段１２が解析した身体の解剖構造に関する情報を含む身体情報及び器具情報に含まれる解剖構造に対する器具の位置に関する情報に基づき、手術における解剖構造に対する器具の操作態様を評価する。さらに、評価手段１４は、解析手段１２が解析した身体の解剖構造と器具（例えば、鉗子等）の位置情報（例えば、上述の外科医に操作されている器具の解剖構造に当接した部分である作用点と、解剖構造の当該器具が当接した部位との位置関係）を用いて、手術の内容を評価してもよい。具体的には、評価手段１４は、解剖構造と鉗子の先端の位置情報に基づき、鉗子で臓器を適切な位置で把持されているかを評価してもよい。
　この場合、評価手段１４は、解剖構造と器具の三次元の絶対位置、解剖構造と器具の二次元の絶対位置、解剖構造と器具の三次元の相対位置又は解剖構造と器具の二次元の相対位置に基づき、手術の内容を評価することができる。
　図１４は、本発明の実施形態の応用例に係る手術内容評価システムで生成される評価情報の一例を示す図である。
　図１４は、評価手段１４により生成され、医療機関端末２で表示可能な評価情報の一例であり、解析手段１２による解析結果に応じて算出された解剖構造と術器具の先端の位置が、グラフ形式で示されている。図１４に示す例は、構造物（解剖構造）の重心の三次元の絶対位置と、手術器具の先端位置の三次元の絶対位置との推移を示している。詳細には、構造物の重心のｘ,ｙ,ｚ方向のそれぞれの位置、術器具の先端位置のｘ,ｙ,ｚ方向のそれぞれの位置の推移が示されている。構造物の重心とは、解析手段１２により対象構造物（例えば、膵臓等）と解析された部分の面積の重心位置（１／２点や１／３点等）である。なお、構造物の重心の代わりに、当該部分の輪郭（上縁、下縁、左縁、右縁）の位置を用いてもよい。
　図１５は、本発明の実施形態の応用例に係る手術内容評価システムで生成される評価情報の一例を示す図である。
　図１５は、評価手段１４により生成され、医療機関端末２で表示可能な評価情報の一例であり、解析手段１２による解析結果に応じて算出された解剖構造と術器具の先端との相対位置が、グラフ形式で示されている。図１５に示す例は、構造物（解剖構造）の重心と手術器具の先端との相対位置の推移を示している。詳細には、構造物の重心と手術器具の先端との相対的なｘ,ｙ,ｚ方向のそれぞれの位置の推移が示されている。
　評価手段１４は、解剖構造の種類や手術内容に応じて、解剖構造と器具の位置関係の推移から、手術の内容を評価する。例えば、評価手段１４は、解剖構造が温存臓器の場合は、切除目的に使用する器具（切除器具）と温存臓器とは離れていた方が、手術の内容をより高く評価する。また、評価手段１４は、解剖構造が切除臓器の場合は、切除器具と切除臓器とが近い方が、手術の内容をより高く評価する。また、この場合、評価手段１４は、切除器具と切除臓器の相対位置が近くなる速度が速い場合や、加速度が一定の場合に、手術の内容をより高く評価してもよい。
　また、図１４及び図１５に示すような評価情報を累積的に記憶手段２０に記録し、これらの評価情報を、適切な手術（例えば手術の有害事象が発生しなかった手術、経験豊富な外科医が行った手術等）、不慣れな手術（手術の有害事象が発生した術、経験不十分な外科医が行った術等）に分け、それぞれの平均値を取ることで、上手な手術と不慣れな手術の境界点を求めたり、ＡＩに学習させ、解剖構造と器具の位置関係の推移から、手術の内容を評価するための学習モデルを生成してもよい。これにより、評価手段１４は、このような境界点や学習モデルを用いて、解剖構造と器具の位置関係の推移から、手術の内容を評価することができる。
（解剖構造の認識度合いによっての手術の難易度の評価）
　評価手段１４は、身体情報に含まれる身体の解剖構造に関する情報に応じて、手術の難易度を評価する。
　図１６は、本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。図１６（ａ）は、痩せ型の患者の手術画像である。図１６（ｂ）は、肥満型の患者の手術画像である。
　図１６（ａ）に示すように、患者が痩せ型の場合、脂肪量が少ないので、血管が良く透見できるため、低難易度手術となる。一方、患者が肥満型の場合、脂肪が対象臓器に癒着しており、血管が見えず、高難易度手術となる。
　評価手段１４は、脂肪や血管、結合組織で構成される癒着などの面積量を手術の序盤で評価し、手術難易度を評価する。また、評価手段１４は、このような手術の序盤における評価に基づき、手術の内容の最終評価値の補正をしてもよい。また、評価手段１４は、このような手術の序盤において、高難易度の手術との評価をした場合、出血リスクが高い等の警告・示唆を示す警告情報を、医療機関の端末に送信してもよい。
（出血回数、出血面積の評価）
　図１７は、本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。
　本実施形態と同様に、解析手段１２は、取得手段１１が取得した手術画像と、記憶手段２０に記憶された特定領域解析モデルとを対比し、手術画像における特定領域（体液（例えば、血液、胆汁、腸液等）の流出によりできた領域）を解析し、特定領域（図１７に示す例では、出血と差し示した部分）や特定領域の輪郭を着色する。
　評価手段１４は、解析手段１２により特定領域が解析された回数（体液が流出した回数）を定量化し、この回数に応じて、外科医によって行われている手術の内容を評価する。また、解析手段１２は、特定領域を形成する体液の種類（血液、胆汁、腸液等）を判別してもよい。この場合、評価手段１４は、特定領域を形成する体液の種類毎の回数に応じて、外科医によって行われている手術の内容を評価してもよい。例えば、評価手段１４は、解析手段１２が体液の種類を血液と判別した場合には、回数が多くなるほど徐々に評価を低下させ、解析手段１２が体液の種類を特定体液（胆汁、腸液等）と判別した場合には、１度でも、特定体液の流出が解析されたら、著しく評価を低下させてもよい。
　また、解析手段１２は、器具情報として、流出した体液を処理する体液処理具（例えば、出血を拭う為に使用されるガーゼ等）を解析する。評価手段１４は、解析手段１２により体液処理具が解析された回数や、体液処理具の移動距離（フレーム毎の面積）に応じて、外科医によって行われている手術の内容を評価してもよい。体液処理具（例えば、ガーゼ等）の挿入回数や移動距離が多いと、出血に対する処置を行ったことが多い可能性がある。このため、評価手段１４は、体液処理具が解析された回数や、体液処理具の移動距離の値が大きいほど、評価を低下させてもよい。
　なお、体液処理具（例えば、ガーゼ等）は、温存組織を愛護的に抑えるために用いられる場合もある。このため、評価手段１４は、身体の解剖構造と体液処理具の位置情報を用いて、手術の内容を評価を補正してもよい。例えば、評価手段１４は、温存組織と体液処理具の位置が近接しており、体液処理具の移動が解析されない場合（体液処理具が愛護的に抑えるために用いられていると推定される場合）、体液処理具が解析されても、評価を低下させなくてもよい。
　図１８は、本発明の実施形態の応用例に係る手術内容評価システムの評価手段における評価基準の一例を示す図である。図１８は、特定領域（例えば、血液）の面積と器具（例えば、切除器具）の移動距離の時間的変化を示している。
　図１８に示す例では、特定領域の面積が減少することなく（出血量が減ることなく）、切除器具が動き続けている。このような場合、止血せずに操作を進めていると推定され、評価手段１４は、評価を低下させる。
（解剖構造の認識度合いを用いた映像抽出と動画編集）
　本実施形態と同様に、手術内容評価システム１は、取得手段１１が取得した手術画像のダイジェスト版画像を生成する画像編集手段を備えてもよい。画像編集手段は、取得手段１１が取得した手術画像から、例えば、解析手段１２が特定した手術における各ステップのフレームを含む所定時間の動画を、ステップ毎に抽出し、これらを合成することで、ダイジェスト版画像を生成する。
　このような場合、評価手段１４は、解析手段１２において、身体情報に含まれる特定の解剖構造に関する情報に対する認識度が、特定閾値以上と判定された手術画像（フレーム）を特定する。
　図１９は、本発明の実施形態の応用例に係る手術内容評価システムの画像編集手段における処理を説明する図である。図１９は、対象臓器の認識度合いの時間的変化と、抽出される動画の範囲を示している。
　評価手段１４は、解析手段１２において、身体情報に含まれる特定の解剖構造（例えば、神経組織等の対象臓器）に関する情報に対する認識度が、特定閾値以上（神経組織の面積（ピクセル量もしくは確信度の総量））と判定した手術画像（フレーム）を、動画抽出ポイントに設定する。そして、画像編集手段は、動画抽出ポイントの前後の所定期間を、自動的に抽出し、動画を編集する。所定期間としては、例えば、解析手段１２により当該解剖構造が解析されてから（当該解剖構造の認識度が発生してから）、当該解剖構造が解析されなくなるまで（当該解剖構造の認識度が０になるまで）である。
　なお、評価手段１４は、対象臓器の確信度が一定以上の手術画像（フレーム）を特定しても良い。また、評価手段１４は、操作器具と構造物の確信度や、構造物の面積のグラフの関係から、動画抽出ポイントを設定しても良い。
　これにより、手術全体を撮像した動画から、解剖構造（例えば、神経組織等）が出始めたところから、解剖構造が出なくなるところまで、動画抽出を自動的に行うことができる。このように、手術中の特定のシーンを抽出した動画を利用して、手術の内容の評価をすることで、手術全体を撮像した動画に基づき評価する場合に比べて、評価を効率的に行うことが可能となる。
　また、例えば、画像編集手段は、手術中の特定のシーンを抽出した際に、各エキスパート医師の切除ラインを学習したＡＩモデルにより提示される器具の軌跡（例えば、切除ライン等）を、抽出した動画において表示させてもよい。また、画像編集手段は、抽出した動画において、ＧＡＮ（Generative adversarial network）等により、切除した後の予測術野や予測構造物を表示させてもよい。
　図２０は、本発明の実施形態の応用例に係る手術内容評価システムの画像編集手段における処理を説明する図である。図２０は、手術画像を撮像する撮像手段（例えば、カメラ）の操作による手術画像の推移を示している。
　体内を撮像するカメラは、体外から体内に挿通されたカメラポート内を通される。
　図２０の上段は、体内に配置されたカメラを体外に引き出した場合の手術画像の推移を示している。図２０の下段は、体外から体内にカメラを挿入した場合の手術画像の推移を示している。
　例えば、カメラが体内に配置され、解析手段１２により構造物が解析されていた場合に、カメラが体外に引き出されると、確信度が０になる。その後、体外から体内にカメラが挿入されると、解析手段１２により構造物が解析され確信度が上昇する。評価手段１４は、対象臓器の確信度が０になる第１ポイントと、その後、再び確信度が上昇する第２ポイントを特定してもよい。また、解析手段１２は、器具情報として、カメラ外の固定の構造物（例：カメラポート）を解析してもよい。この場合、評価手段１４は、身体情報を解析開始後に、このような構造物が解析されたときを第１ポイントと特定してもよい。このように評価手段１４に特定された第１ポイント及び第２ポイントに基づき、画像編集手段は、第１ポイントと第２ポイントとの間の動画を自動的に削除してもよい。
　このような応用例に係る手術内容評価システム１によれば、手術画像における身体情報の認識の程度を示す認識度に応じて、外科医によって行われている手術の内容を評価することが可能となる。
　例えば、手術の対象臓器等が、他の臓器から切り離されて露わにされていれば、手術画像において、当該対象臓器等の身体情報が明確になっており、身体情報の認識の程度がより高くなり、認識度がより高くなる。一方、手術の対象臓器等が、他の臓器としっかり分離できていない場合、手術画像において、当該対象臓器等の身体情報が不明確となり、身体情報の認識の程度がより低くなり、認識度がより低くなる。
　そして、当然に、手術の対象臓器等が、他の臓器から切り離されて露わにされているほど、対象臓器への施術がスムーズに行われ、他の臓器に損傷を与える可能性が低減し、患者の身体への負担が少ない良い手術となる（手術の内容の評価がより高くなる。）。
　また、応用例に係る手術内容評価システム１によれば、解析手段は、認識度を、身体情報の解析結果の確からしさを示す確信度に基づき算出することが可能となる。これにより、より客観的な観点から、身体情報の認識の程度を示す認識度を算出し、このような認識度に応じて、外科医によって行われている手術の内容を評価することが可能となるので、実際の手術の内容をより客観的に評価することが可能となる。
　また、応用例に係る手術内容評価システム１によれば、認識度の経時変化に応じて、外科医によって行われている手術の内容を評価することが可能となる。
　例えば、手術の対象臓器（解析される身体情報）が、温存臓器である場合、認識度の増加速度が速ければ、手際よく対象臓器が露わにされていることとなる。また、手術の対象臓器（解析される身体情報）が、切除臓器である場合、認識度が比較的低い値で推移しているほど、手際よく対象臓器が切除されていることとなる。また、ある臓器に対する認識度の経時変化が比較的少なければ、手技にぶれがないこととなる。これらの場合、患者の身体への負担が少ない良い手術となる（手術の内容の評価がより高くなる。）。
　また、応用例に係る手術内容評価システム１によれば、身体情報に含まれる身体の解剖構造に関する情報に応じて、手術の難易度を評価することが可能となる。
　例えば、胃切除術の場合、解剖構造の一例である脂肪が比較的少なければ、血管が良く透見できるため、手術の難易度が下がり、一方、解剖構造の一例である脂肪が比較的多ければ、血管が脂肪に覆われるため、血管が見えず、癒着があるため、脂肪を十分に挙上出来ないため、視野が不良であり、手術の難易度が上がる。
　また、応用例に係る手術内容評価システム１によれば、外科医に操作されている器具の先端位置の軌道に基づき、手術における器具の操作態様を評価することが可能となる。これにより、軌道の解析精度が向上し、器具の全てを認識する必要がないので、解析処理の負荷を抑えることが可能となる。
　また、応用例に係る手術内容評価システム１によれば、外科医に操作されている器具の解剖構造に当接した部分である作用点と、解剖構造の当該器具が当接した部位との位置関係に基づき、手術における器具の操作態様を評価することが可能となる。
　解剖構造を切除する場合、解剖構造の鉗子で把持した部分によって、解剖構造に適切なテンションが掛けられ、切断位置が切断し易い状態となったり、解剖構造に弛みが生じ、切断位置が明確に露出しない状態となったりする。例えば、鉗子の作用点となる先端（把持する部分）が、外科医が意図する解剖構造を適切に把持し適度なテンションが掛けられる位置に配置されていた場合、温存臓器を損傷させることなく、切除臓器を切除できる可能性が向上する（手術における器具の操作態様の評価がより高くなる。）。）
　また、応用例に係る手術内容評価システム１によれば、時系列で連続的に複数の手術画像のうち、身体情報に含まれる特定の解剖構造に関する情報に対する認識度が、特定閾値以上と判定された手術画像を特定することが可能となる。これにより、時系列で連続的に複数の手術画像からなる動画において、特定の解剖構造が露出した時点を特定することが可能となる。例えば、動画において、この特定した時点にマーカーを付すことで、特定の解剖構造が露出した場面を速やかに再生したり、特定した時点に基づき編集したりすることが可能となる。
　以上、実施形態及び応用例を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態や応用例に記載の範囲には限定されないことは言うまでもない。上記実施形態や応用例に、多様な変更または改良を加えることが可能であることが当業者に明らかである。また、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。なお、上記の実施形態及び応用例では、本発明を物の発明として、手術内容評価システムについて説明したが、本発明において手術内容評価システムが実行する方法や、手術内容評価システムを各種部として機能させるプログラムの発明と捉えることもできる。
１　手術内容評価システム
２　医療機関端末
１１　取得手段
１２　解析手段
１３　計時手段
１４　評価手段
１５　送信手段
２０　記憶手段

Claims (17)

  1. 　外科医によって行われた手術の内容を評価する手術内容評価システムであって、
    　外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する取得手段と、
    　前記手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報を解析する解析手段と、
    　前記解析手段が解析した前記身体情報及び／又は前記器具情報に基づき、当該外科医によって行われている手術の内容を評価する評価手段と、を備えることを特徴とする手術内容評価システム。
  2. 　前記解析手段は、前記手術画像における特定領域を解析し、
    　前記評価手段は、前記手術画像における前記特定領域が所定の閾値を超えた場合には、体液の流出又は臓器損傷があったと評価することを特徴とする請求項１に記載の手術内容評価システム。
  3. 　前記解析手段は、前記器具に関する情報を含む前記器具情報を解析し、
    　前記評価手段は、前記器具に関する情報に基づき、手術における前記器具の操作態様を評価することを特徴とする請求項１又は２に記載の手術内容評価システム。
  4. 　前記解析手段は、
    　　身体の解剖構造に関する情報を含む前記身体情報を解析し、
    　　前記解剖構造に対する前記器具の位置に関する情報を含む前記身体情報及び／又は前記器具情報を解析し、
    　前記評価手段は、前記解剖構造に対する前記器具の位置に関する情報に基づき、手術における前記解剖構造に対する前記器具の操作態様を評価することを特徴とする請求項１から３のいずれかに記載の手術内容評価システム。
  5. 　前記解析手段は、複数のステップからなる手術の前記手術画像において、前記ステップをそれぞれ解析し、
    　ある前記ステップから、次の前記ステップまでの時間であるステップ間時間を測定する計時手段を、更に備え、
    　前記評価手段は、ある前記ステップ間に対して、前記計時手段が測定した前記ステップ間時間に基づき、手術の手際を評価することを特徴とする請求項１から４のいずれかに記載の手術内容評価システム。
  6. 　外科医によって行われた手術の内容を評価する手術内容評価システムが実行する方法であって、
    　外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得するステップと、
    　前記手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報を解析するステップと、
    　前記身体情報及び／又は前記器具情報に基づき、当該外科医によって行われている手術の内容を評価するステップと、を含むことを特徴とする手術内容評価方法。
  7. 　外科医によって行われた手術の内容を評価する手術内容評価システムを、
    　外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する取得手段、
    　前記手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報を解析する解析手段、
    　前記解析手段が解析した前記身体情報及び／又は前記器具情報に基づき、当該外科医によって行われている手術の内容を評価する評価手段、として機能させるプログラム。
  8. 　外科医によって行われた手術の内容を評価する手術内容評価システムであって、
    　外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する取得手段と、
    　前記手術画像において、身体の状態を示す身体情報を解析する解析手段と、
    　前記解析手段が解析した前記身体情報に基づき、当該外科医によって行われている手術の内容を評価する評価手段と、を備えることを特徴とする手術内容評価システム。
  9. 　前記解析手段は、前記手術画像における前記身体情報の認識の程度を示す認識度を算出し、
    　前記評価手段は、前記認識度に応じて、外科医によって行われている手術の内容を評価することを特徴とする請求項８に記載の手術内容評価システム。
  10. 　前記解析手段は、
    　　前記身体情報の解析結果の確からしさを示す確信度を算出し、
    　　前記認識度を、前記確信度に基づき算出することを特徴とする請求項９に記載の手術内容評価システム。
  11. 　前記評価手段は、前記認識度の経時変化に応じて、外科医によって行われている手術の内容を評価することを特徴とする請求項９又は１０のいずれかに記載の手術内容評価システム。
  12. 　前記評価手段は、前記身体情報に含まれる身体の解剖構造に関する情報に応じて、手術の難易度を評価することを特徴とする請求項８から１１のいずれかに記載の手術内容評価システム。
  13. 　前記解析手段は、外科医に操作されている器具の先端位置の軌道を解析し、
    　前記評価手段は、前記軌道に基づき、手術における前記器具の操作態様を評価することを特徴とする請求項８から１２のいずれかに記載の手術内容評価システム。
  14. 　前記解析手段は、外科医に操作されている器具の解剖構造に当接した部分である作用点と、解剖構造の前記器具が当接した部位との位置関係を解析し、
    　前記評価手段は、前記位置関係に基づき、手術における前記器具の操作態様を評価することを特徴とする請求項８から１３のいずれかに記載の手術内容評価システム。
  15. 　前記取得手段は、時系列で連続的に複数の前記手術画像を取得し、
    　前記評価手段は、前記解析手段において、前記身体情報に含まれる特定の解剖構造に関する情報に対する前記認識度が、特定閾値以上と判定された前記手術画像を特定することを特徴とする請求項９から１４のいずれかに記載の手術内容評価システム。
  16. 　外科医によって行われた手術の内容を評価する手術内容評価システムが実行する方法であって、
    　外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得するステップと、
    　前記手術画像において、身体の状態を示す身体情報を解析するステップと、
    　前記解析手段が解析した前記身体情報に基づき、当該外科医によって行われている手術の内容を評価するステップと、を含むことを特徴とする手術内容評価方法。
  17. 　外科医によって行われた手術の内容を評価する手術内容評価システムを、
    　外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する取得手段、
    　前記手術画像において、身体の状態を示す身体情報を解析する解析手段、
    　前記解析手段が解析した前記身体情報に基づき、当該外科医によって行われている手術の内容を評価する評価手段、として機能させるプログラム。
PCT/JP2022/007707 2021-02-24 2022-02-24 手術内容評価システム、手術内容評価方法及びコンピュータプログラム WO2022181714A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN202280015798.XA CN116982117A (zh) 2021-02-24 2022-02-24 手术内容评价系统、手术内容评价方法以及计算机程序
EP22759749.9A EP4285853A1 (en) 2021-02-24 2022-02-24 Surgery details evaluation system, surgery details evaluation method, and computer program
JP2022576562A JP7412812B2 (ja) 2021-02-24 2022-02-24 手術内容評価システム、手術内容評価方法及びコンピュータプログラム
US18/547,520 US20240135542A1 (en) 2021-02-24 2022-02-24 Surgery details evaluation system, surgery details evaluation method, and computer program
JP2023071447A JP7412822B2 (ja) 2021-02-24 2023-04-25 手術内容評価システム、手術内容評価方法及びコンピュータプログラム
JP2023158208A JP7412830B2 (ja) 2021-02-24 2023-09-22 手術内容評価システム、手術内容評価方法及びコンピュータプログラム
JP2023191567A JP7496648B2 (ja) 2021-02-24 2023-11-09 手術内容評価システム、手術内容評価方法及びコンピュータプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-027782 2021-02-24
JP2021027782 2021-02-24

Publications (1)

Publication Number Publication Date
WO2022181714A1 true WO2022181714A1 (ja) 2022-09-01

Family

ID=83049166

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/007707 WO2022181714A1 (ja) 2021-02-24 2022-02-24 手術内容評価システム、手術内容評価方法及びコンピュータプログラム

Country Status (5)

Country Link
US (1) US20240135542A1 (ja)
EP (1) EP4285853A1 (ja)
JP (3) JP7412812B2 (ja)
CN (1) CN116982117A (ja)
WO (1) WO2022181714A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030953A (zh) * 2023-03-31 2023-04-28 成都瑞华康源科技有限公司 一种自动化的手术室运营效率监控方法、系统及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017047022A (ja) * 2015-09-03 2017-03-09 株式会社メディカルプラットフォーム 情報処理装置、情報処理方法および情報処理プログラム
JP2019500921A (ja) * 2015-10-29 2019-01-17 シャープ フルーディクス エルエルシー 手術室内のデータ捕捉のためのシステムおよび方法
WO2019133128A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
WO2019226182A1 (en) * 2018-05-23 2019-11-28 Verb Surgical Inc. Machine-learning-oriented surgical video analysis system
JP2020071418A (ja) 2018-11-01 2020-05-07 三菱プレシジョン株式会社 コンピュータシミュレータを用いた手術シミュレーション結果評価方法、内視鏡手術における教育シーケンス処理方法、手術トレーニング装置及び手術トレーニング装置用プログラム
KR102180921B1 (ko) * 2019-10-18 2020-11-19 주식회사 엠티이지 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치 및 방법
JP2021099789A (ja) * 2019-11-08 2021-07-01 ソニーグループ株式会社 コンピュータビジョンに基づく外科手術シーンの評価

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11026752B2 (en) 2018-06-04 2021-06-08 Medtronic Navigation, Inc. System and method for performing and evaluating a procedure
JP2020154564A (ja) 2019-03-19 2020-09-24 富士通株式会社 学習方法、学習プログラムおよび学習装置
JP6917406B2 (ja) 2019-03-29 2021-08-11 本田技研工業株式会社 車両制御システム
US11596482B2 (en) 2019-05-23 2023-03-07 Surgical Safety Technologies Inc. System and method for surgical performance tracking and measurement
WO2020240884A1 (ja) 2019-05-30 2020-12-03 株式会社Ｍｉｃｏｔｏテクノロジー 医療シミュレータ及び医療シミュレータを用いた手技評価方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017047022A (ja) * 2015-09-03 2017-03-09 株式会社メディカルプラットフォーム 情報処理装置、情報処理方法および情報処理プログラム
JP2019500921A (ja) * 2015-10-29 2019-01-17 シャープ フルーディクス エルエルシー 手術室内のデータ捕捉のためのシステムおよび方法
WO2019133128A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
WO2019226182A1 (en) * 2018-05-23 2019-11-28 Verb Surgical Inc. Machine-learning-oriented surgical video analysis system
JP2020071418A (ja) 2018-11-01 2020-05-07 三菱プレシジョン株式会社 コンピュータシミュレータを用いた手術シミュレーション結果評価方法、内視鏡手術における教育シーケンス処理方法、手術トレーニング装置及び手術トレーニング装置用プログラム
KR102180921B1 (ko) * 2019-10-18 2020-11-19 주식회사 엠티이지 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치 및 방법
JP2021099789A (ja) * 2019-11-08 2021-07-01 ソニーグループ株式会社 コンピュータビジョンに基づく外科手術シーンの評価

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030953A (zh) * 2023-03-31 2023-04-28 成都瑞华康源科技有限公司 一种自动化的手术室运营效率监控方法、系统及存储介质
CN116030953B (zh) * 2023-03-31 2023-06-20 成都瑞华康源科技有限公司 一种自动化的手术室运营效率监控方法、系统及存储介质

Also Published As

Publication number Publication date
JP7412812B2 (ja) 2024-01-15
JPWO2022181714A1 (ja) 2022-09-01
EP4285853A1 (en) 2023-12-06
JP2023090809A (ja) 2023-06-29
JP7412822B2 (ja) 2024-01-15
JP2024016211A (ja) 2024-02-06
US20240135542A1 (en) 2024-04-25
CN116982117A (zh) 2023-10-31
JP7412830B2 (ja) 2024-01-15
JP2023175849A (ja) 2023-12-12

Similar Documents

Publication Publication Date Title
JP7308936B2 (ja) インジケータシステム
US10977495B2 (en) Automatic endoscope video augmentation
JP7412830B2 (ja) 手術内容評価システム、手術内容評価方法及びコンピュータプログラム
US20160098943A1 (en) Hybrid medical laparoscopic simulator
WO2021039298A1 (ja) 教師データ生成装置、教師データ生成プログラム及び教師データ生成方法
JP7153974B2 (ja) コンピュータプログラム、学習モデルの生成方法、及び画像処理装置
WO2019202827A1 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
RU128762U1 (ru) Гибридный медицинский тренажер лапароскопии
JP2005348797A (ja) 医療行為記録システム及び医療行為記録装置
CN114096210A (zh) 修改来自手术机器人系统的数据
WO2016185912A1 (ja) 画像処理装置および画像処理方法、並びに手術システム
US20220233229A1 (en) Method and system for controlling a surgical hf generator, and software program product
KR102388604B1 (ko) 수술 비디오들을 위한 우세 도구 검출 시스템
Cetinsaya et al. A task and performance analysis of endoscopic submucosal dissection (ESD) surgery
JP7496648B2 (ja) 手術内容評価システム、手術内容評価方法及びコンピュータプログラム
US20240049944A1 (en) Recording Medium, Method for Generating Learning Model, and Surgery Support Device
Baldas et al. A real-time automatic instrument tracking system on cataract surgery videos for dexterity assessment
WO2022250031A1 (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
WO2022264192A1 (ja) 画像処理装置、内視鏡システム、画像処理方法、プログラム及び情報記憶媒体
JP7493285B2 (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
US20230105111A1 (en) System and Method for Teaching Minimally Invasive Interventions
JP2024510419A (ja) 光学イメージングを使用する組織治療エネルギーの送達
CN115192192A (zh) 医疗辅助装置以及医疗辅助方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22759749

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022576562

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202280015798.X

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18547520

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2022759749

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022759749

Country of ref document: EP

Effective date: 20230925