WO2021039298A1 - 教師データ生成装置、教師データ生成プログラム及び教師データ生成方法 - Google Patents

教師データ生成装置、教師データ生成プログラム及び教師データ生成方法 Download PDF

Info

Publication number
WO2021039298A1
WO2021039298A1 PCT/JP2020/029670 JP2020029670W WO2021039298A1 WO 2021039298 A1 WO2021039298 A1 WO 2021039298A1 JP 2020029670 W JP2020029670 W JP 2020029670W WO 2021039298 A1 WO2021039298 A1 WO 2021039298A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
organ
exposed
data
teacher data
Prior art date
Application number
PCT/JP2020/029670
Other languages
English (en)
French (fr)
Inventor
修由 竹下
博貴 松崎
伊藤　雅昭
Original Assignee
国立研究開発法人国立がん研究センター
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人国立がん研究センター filed Critical 国立研究開発法人国立がん研究センター
Publication of WO2021039298A1 publication Critical patent/WO2021039298A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a teacher data generation device, a teacher data generation program, and a teacher data generation method, and more particularly to a teacher data generation device for an endoscopic image, a teacher data generation program, and a teacher data generation method in the medical field.
  • the present invention presents a teacher data generator, a teacher data generation program, and a teacher of an automatic recognition system in the surgical field for improving the safety and speed of endoscopic surgery that realizes minimal invasiveness.
  • the purpose is to provide a data generation method.
  • the first aspect of the present invention is a teacher data generation device that generates teacher data used for machine learning, an image data storage unit that stores image data, and a data reading unit that reads image data from the image data storage unit.
  • a display unit that displays the image data read by the data reading unit, a video operation unit that plays, rewinds, and stops the image data displayed on the display unit, and is displayed on the display unit. It is provided with a data processing unit that adds annotations to the image data that is being displayed, and a generation unit that generates the annotated image data as teacher data.
  • the data processing unit can be used for the exposed organs in the reproduced and displayed image data. Annotation is given, and an annotation is given to a portion where the organ is not exposed in the image data displayed by rewinding and reproducing and a portion where the organ is exposed in the image data before rewinding and reproducing.
  • the annotation given to the exposed organ and the part where the organ is not exposed in the image data displayed by rewinding and the organ are exposed in the image data before rewinding and reproducing. It may be different from the annotation given to the part that was used.
  • a second aspect of the present invention is a teacher data generation program that causes a computer to generate teacher data used for machine learning, in which a step of reading a moving image from a moving image database, a step of playing a moving image, and a step of playing a moving image are organized.
  • the step of stopping at the image of the scene where is exposed the step of annotating the exposed organ in the image of the scene where the organ is exposed, the step of rewinding and playing the video, and the step of rewinding and playing the displayed image
  • It is characterized by including a step of adding an annotation to a portion where the organ is not exposed and a portion where the organ is exposed in the image before rewinding and reproduction.
  • the annotation given to the exposed organ and the part where the organ is not exposed in the image displayed by rewinding and the organ are exposed in the image before rewinding and reproducing. It may be different from the annotation given to the part.
  • a third aspect of the present invention is a teacher data generation method used for machine learning, which is a step of reading a moving image from a moving image database, a step of playing a moving image, and a step of stopping the moving image with an image of a scene where an organ is exposed.
  • the annotation given to the exposed organ and the part where the organ is not exposed in the image displayed by rewinding and the organ are exposed in the image before rewinding and reproducing. It may be different from the annotation given to the part.
  • a fourth aspect of the present invention is a trained model generation system used for machine learning, which is an image acquisition unit that acquires an image from an image data storage unit and an image analysis unit that performs segmentation on the acquired image.
  • An image extraction unit that extracts an image of an organ part from a segmented image, a teacher data acquisition unit that acquires a teacher data image from a teacher data image storage unit, and an annotation-added part and an acquired image in the acquired teacher data image.
  • a comparison part that compares the organ parts in the above, an adjustment part that adjusts the parameters so that the difference between the annotated part and the organ part is minimized, and a model that minimizes the parameters with respect to the teacher data of the teacher data image storage part.
  • It is equipped with a generator that generates as a trained model, and the teacher data annotates the exposed organs in the reproduced and displayed image data, and the organs are exposed in the rewound and displayed image data. It is characterized in that it is generated by adding an annotation to a part that has not been rewound and the part where the organ is exposed in the image data before rewinding and reproducing.
  • a fifth aspect of the present invention is a method of generating a trained model used for machine learning, in which a step of acquiring an image from an image data storage unit and segmentation of the acquired image are performed to perform segmentation of an organ portion.
  • the process of extracting the image the process of acquiring the teacher data image from the teacher data image storage unit, the process of comparing the annotated part in the acquired teacher data image with the extracted part in the acquired image, the annotating part and the organ part.
  • the teacher data is reproduced, including a step of adjusting the parameters so that the difference between the two is minimized and a step of generating a model having the smallest parameters with respect to the teacher data of the teacher data image storage unit as a trained model.
  • Annotations were added to the exposed organs in the displayed image data, and the organs were exposed in the part where the organs were not exposed in the image data displayed by rewinding and playing and in the image data before rewinding playback. It is characterized in that it is generated by adding an annotation to a part.
  • a teacher data generator, a teacher data generation program, and a teacher data generation method of an automatic recognition system of the surgical field for improving the safety and speed of endoscopic surgery that realizes minimal invasiveness are provided.
  • FIG. 1 It is a figure which shows an example of the whole structure of the endoscopic surgery system which uses the teacher data generation apparatus which concerns on embodiment. It is a block diagram which shows a part of the structure of the endoscopic surgery system which uses the teacher data generation apparatus which concerns on embodiment.
  • (A) is an image taken with an endoscope
  • (b) is an extracted image obtained as a result of image recognition by performing semantic segmentation
  • (c) is an endoscope with (a) and (b).
  • the embodiment illustrates an apparatus or method for embodying the technical idea of the present invention
  • the technical idea of the present invention describes the configuration, arrangement, layout, etc. of each component as follows. It is not something that is specific to something.
  • the technical idea of the present invention may be modified in various ways within the technical scope specified by the claims stated in the claims.
  • FIG. 1 shows an example of the overall configuration of the endoscopic surgery system 10 using the teacher data generator according to the embodiment.
  • the endoscopic surgery system 10 shown in FIG. 1 includes an endoscope 102, treatment tools 101 and 103, a digital processor 104, an endoscopic display 106, and an energy device 105.
  • the endoscope 102 connected to the digital processor 104 is inserted into the abdominal cavity of the patient 11.
  • the affected area 12 is imaged by the endoscope 102 inserted into the abdominal cavity of the patient 11, and the image obtained by the image is sent to the digital processor 104.
  • the intraperitoneal image of the patient 11 is displayed on the endoscope display 106.
  • the treatment tool 103 is, for example, an ultrasonic coagulation and incision device, and energy is supplied by the energy device 105 to perform incision and hemostasis of tissue.
  • the treatment tool 101 is, for example, forceps.
  • FIG. 2 shows the endoscope 102, the digital processor 104, and the endoscope display 106 among the configurations of the endoscopic surgery system 10 using the automatic image recognition system according to the embodiment.
  • the digital processor 104 includes an image adjustment unit 201, a display control unit 202, a learned model storage unit 203, a segmentation image generation unit 204, a segmentation image adjustment unit 205, a surgical information storage unit 206, and a calculation unit 207.
  • An image sensor and a light source are attached to the tip of the endoscope 102, and light is irradiated into the abdominal cavity of the patient, and the image data in the abdominal cavity of the patient is obtained by the image sensor.
  • the obtained image signal is output to the image adjustment unit 201 in the digital processor 104, and after processing such as noise suppression by a correlated double sampling circuit (CDS) (not shown), an analog-to-digital conversion circuit (ADC) (not shown) is used. Is converted to digital data.
  • the image data converted into digital data is input to the display control unit 202 and the segmentation image generation unit 204 in the digital processor 104 after the image quality is adjusted such as white balance processing.
  • the image data output from the image adjustment unit 201 is subjected to semantic segmentation using the trained model in the segmentation image generation unit.
  • semantic segmentation is a kind of image recognition, and is to color or pattern the extracted image area.
  • the trained model storage unit 203 stores the trained models created in advance in a database.
  • the recognition target of the image recognition performed by the segmentation image generation unit includes the surgical tools used in the endoscopic surgery, the anatomical structure of the patient, and the like.
  • the anatomical structure of the patient includes blood vessels, nerves, ureters, organs, blood and the like.
  • the trained model stored in the database stored in the trained model storage unit 203 includes image data to be recognized, a phenomenon occurring, a surgical process, work and operation.
  • the teacher data may include the surgical content, the surgical procedure, the presence or absence of missing images, clinical information of the surgical patient, the surgeon, the assistant, the background of the scopist, and the like in each teacher data.
  • the surgical process includes, for example, vascular treatment.
  • the work and operation include, for example, gripping towing by a grasper and peeling work by a peeling forceps.
  • the phenomenon that is occurring includes bleeding and the like.
  • Clinical information of surgical patients includes age, gender, height and weight, cancer staging (TNM classification), laparotomy history, surgery time, bleeding volume, intraoperative adverse events and adverse events within 30 days after surgery.
  • Adverse events within 30 days after surgery include reoperation, suture failure, intestinal obstruction, postoperative wound infection, intra-abdominal tumor, and the like.
  • the background of the surgeon, assistant, and scopist includes the age, gender, and the like of the surgeon, assistant, and scopist.
  • the surgical information storage unit 206 stores information on the surgery taken by the endoscope 102 and clinical information on the surgical patient.
  • the surgical information and clinical information of the surgical patient may include surgical content, surgical procedure, age, gender, height and weight, cancer staging (TNM classification), and the like.
  • the segmentation image generation unit 204 semantic segmentation of the image data output from the image adjustment unit 201 was performed, and each tissue and surgical tool were distinguished from the image by the semantic segmentation, and each could be individually identified. That is, the same tissue and surgical instrument are generated with the same color to represent the area in which they exist.
  • the generated and extracted image that is, the extracted image
  • the teacher data from the teacher data database stored in the trained model storage unit 203 the surgical information stored in the surgical information storage unit 206, and the surgical patient.
  • the clinical information of the above is extracted, image recognition is performed, and the image-recognized extracted image is created.
  • the image-recognized extracted image is output to the endoscope display 106 together with the image data output from the image adjustment unit 201 after the image quality is adjusted by the segmentation image adjustment unit 205.
  • the image-recognized extracted image and the image data output from the image adjustment unit 201 may be displayed on top of each other on the endoscope display 106, or may be displayed on two screens without being superposed. It may be displayed on another screen.
  • FIG. 3A is an image taken with an endoscope
  • FIG. 3B is an extracted image obtained as a result of image recognition by performing semantic segmentation
  • FIG. 3C is an image taken with an endoscope. It is a figure which displayed the image and the extracted image obtained as a result of image recognition on an endoscope display.
  • semantic segmentation is performed, images of tissues 31 such as blood vessels, nerves, and ureters are extracted, but the portion where the tissues 31 extracted as images are hidden under other organs is not extracted. However, as shown in FIG.
  • the teacher data created by the teacher data creation method according to the embodiment of the present invention is used for image recognition
  • image recognition using the extracted image and the teacher data is performed even if the extracted image is not a blood vessel, nerve, ureter, or the like. If it is determined that there are blood vessels, nerves, ureters, etc. under other organs that are not blood vessels, nerves, ureters, etc., although the certainty is low, the blood vessels, nerves, etc. that exist under other organs, The ureter and the like are created as "low certainty" image-recognized extracted images. That is, even when blood vessels, nerves, ureters, etc.
  • blood vessels, nerves, ureters, etc. are located under other organs from the arrangement and condition, surgical process, work, movement, etc., and it is clearly seen in the inferred blood vessels, nerves, ureters, etc. Annotate with a color or pattern different from that of blood vessels, nerves, ureters, etc.
  • the pattern is a strike, a check, a dot, or the like.
  • the image of the surgical field of the patient taken by the endoscope 102 after the start of the operation is input to the segmentation image generation unit 204 via the image adjustment unit 201, and the segmentation image generation unit 204 performs image recognition for each image.
  • the operation process in each image is recognized, and the operation process is stored in the operation information storage unit 206.
  • the time required for each operation process, the work and operation in each operation process, the time when bleeding is detected in each operation process, the total time for bleeding, and the area of bleeding. Etc. are memorized.
  • the calculation unit 207 obtains, for example, the estimated end time of each step of the surgery currently in progress.
  • the calculation may be performed and the calculation result may be displayed on the display 106 via the display control unit 202. Further, the process currently in progress may be displayed on the display 106.
  • the image-recognized extracted image to be displayed on the display 106 may be selected corresponding to each process. For example, when a surgical tool for cutting a blood vessel enters the surgical field to be photographed by the endoscope 102, an extracted image of the blood vessel is displayed, and when processing is performed on an organ in the process, the extracted image of the organ is displayed. And so on. Further, when there is bleeding, for example, if the bleeding exceeds a certain area, an alarm or the like may be notified.
  • the operator's data is based on the data of each process stored in the operation information storage unit 206.
  • the technology can be evaluated.
  • the evaluation items at this time are operation time, time required for each process, number of transitions between processes, effective invalid ratio, invalid operation time, hemostasis time, number of times of surgical instrument replacement, confirmation work and lost time, effective operation time. Time ratio of visual field expansion and peeling inside. Further, the product of the bleeding time and the bleeding area when there is bleeding, the airway of the forceps, the gripping success rate, and the like may be added to the evaluation.
  • These items may be extracted from the information stored in the surgical information storage unit 206, and the first screening may be performed automatically. Furthermore, deviant cases of + 2SD or more may be automatically extracted.
  • FIG. 4 shows an image of collected data for creating teacher data, which was taken in advance by an endoscope.
  • FIG. 4A is an image before the blood vessel is exposed
  • FIG. 4B is an image after the operation is further advanced
  • FIG. 4C is an image after the operation is further advanced from FIG. 4B.
  • This is an image in which newly exposed blood vessels are visible.
  • the images shown in FIG. 4 will be replaced with schematic views shown in FIGS. 5 to 7 for explanation.
  • the schematic diagram corresponding to the image of FIG. 4 (a) is FIG. 5 (a), FIG. 6 (a) and FIG. 7 (a), and the schematic diagram corresponding to the image shown in FIG. 4 (b) is FIG.
  • FIG. 5 is an unannotated image
  • FIGS. 6 and 7 are annotated images.
  • 5 (a) and 6 (a) are the same images.
  • FIGS. 6 (c) and 7 (c) are the same images.
  • FIG. 5A a surgical tool 501 and other organs 52 can be seen.
  • FIG. 5B in addition to the surgical tool 501 and other organs 52, an exposed blood vessel portion 51 can be seen as the surgery progresses.
  • FIG. 5 (c) in addition to the surgical instrument 501, other organs 52, and the blood vessel portion 51, the newly exposed blood vessel portion 53 as the operation progresses can be seen.
  • FIG. 5 conventionally, as shown in FIG. 5, only the blood vessels are colored with a predetermined color, and only the exposed blood vessel portion 51 is annotated.
  • the teacher data generation method will be described below.
  • a process of reproducing an image and annotating the reproduced image will be described with reference to FIGS. 6A, 6B, and 6C.
  • the case of adding annotation to the blood vessel portion will be described.
  • the exposed blood vessel portion 51 in FIG. 5 (b) is annotated by coloring it with a predetermined pattern or a predetermined color. Since the blood vessel portion 51 to which this annotation is given is given to the blood vessel portion that is actually visible in the image, it is a portion with high certainty that it is a blood vessel.
  • FIG. 6 (c) the newly exposed blood vessel portion 53 in FIG.
  • the blood vessel portion 51 has the same predetermined pattern as the blood vessel portion 51 described above, or the same color as the color colored on the blood vessel portion 51.
  • Annotation is added by coloring with. Since the annotated blood vessel portion 53 is also given to the blood vessel portion that is actually visible in the image, it is a portion with high certainty that it is a blood vessel. In this way, the vascular portion with high certainty is annotated with the same pattern or color. This annotation is used as the first annotation.
  • FIGS. 7A, 7B, and 7C are the same images.
  • FIGS. 6 (c) and 7 (c) are the same images.
  • the blood vessels are newly exposed in FIG. 6 (c) as shown in FIG. 7 (b) with respect to FIG. 6 (b).
  • FIGS. 6 (a) Annotation is given to the blood vessel portion 54 with a pattern different from the case of the first annotation given to the blood vessel portions 51 and 53, that is, a different color or pattern or the like to the portion corresponding to the portion.
  • the blood vessel portion is not actually visible on the image, but since it is estimated from the blood vessel portion 53 in FIG. 6 (c), the blood vessel portions 51 and 53 that are actually visible in the image can be compared. Compared to the annotation given in the above, it is a part with low certainty that it is a blood vessel.
  • This annotation is used as the second annotation.
  • all the images in the reproduced and rewound and reproduced moving images may be annotated, or some images may be annotated.
  • the annotation may be performed at the ratio of 1 image out of 10 images, or may be annotated at the ratio of 1 image out of 100 images.
  • the total number of images to which annotations are added may be about 50 images or about 100 images.
  • FIG. 8 shows a block diagram showing the configuration of the teacher data generation device 80 according to the embodiment.
  • the teacher data generation device 80 is composed of a storage unit 801 and a teacher data generation unit 802.
  • the storage unit 801 is composed of an image data storage unit 803, a teacher data generation program storage unit 804, and a teacher data image storage unit 805.
  • the teacher data generation unit 802 includes a data acquisition unit 806, a data display unit 807, a moving image operation unit 808, a data processing unit 809, and a generation unit 810.
  • the image data storage unit 803 stores the original image data without annotations.
  • the teacher data generation program storage unit 804 stores a teacher data generation program that operates the teacher data generation unit 802 and generates teacher data from the original image data to which no annotation is added.
  • the teacher data image storage unit 809 stores the teacher data image generated by executing the teacher data generation program.
  • the data acquisition unit 806 acquires the original image data without annotations from the image data storage unit 803.
  • the acquired original image data is displayed on the data display unit 807.
  • the moving image operation unit 808 reproduces or rewinds the image acquired from the image data storage unit 803 and displayed on the data display unit 807.
  • the data processing unit 809 adds annotations to the image displayed on the data display unit 807.
  • the generation unit 810 edits the image annotated by the data processing unit 809 as a moving image to generate teacher data, and stores the image in the teacher data image storage unit 805.
  • Process classification is to classify the process from the beginning to the end of the entire surgery in order according to the work content. For example, sigmoid colectomy by laparoscopic surgery is classified into 9 steps as follows.
  • Step 1 is postrectal cavity treatment
  • step 2 is medial mobilization before vascular treatment
  • step 3 is vascular treatment
  • step 4 is medial mobilization after vascular treatment
  • step 5 is lateral mobilization
  • step 6 is perirectal detachment
  • Step 7 is rectal mesenteric treatment
  • step 8 is dissection / anastomosis
  • step 9 is inferior mesenteric vein (left colic artery) treatment.
  • step S901 moving images are combined, and further processing such as format conversion is performed.
  • the moving image to be processed in step S901 may include steps before and after a predetermined step of surgery.
  • step S902 the eligibility / non-eligibility determination of the image is performed.
  • the contents to be judged are the surgical procedure, the surgical contents, the presence or absence of missing images, and the like.
  • step S903 the process is automatically classified using the trained model for process classification analysis.
  • step S904 the operator selects a predetermined process.
  • step S905 a series of images of a predetermined process are extracted as a moving image.
  • extracting the vascular treatment of step 3 will be described as an example.
  • step S906 the moving image extracted in step S905 is played back.
  • step S907 the first annotation is performed on the moving image played in step S906.
  • step S908 the moving image played in step S906 is rewound and played.
  • step S909 the second annotation is performed on the moving image rewound and played back in step S908.
  • step S910 the image data to which the first and second annotations are added, that is, the teacher data is stored in the teacher data storage unit.
  • steps S901 to S905 are not always necessary, and after image acquisition, the steps after step S906 may be executed for all the acquired images.
  • the target organ is, for example, an anatomical structure of blood vessels, nerves, ureters, organs, etc., but in addition to these, annotations are also made for blood, etc. when bleeding. If exposed and unexposed target organs are found in one frame, one frame is colored in two colors, the exposed part and the unexposed part of the target organ. , Even if other anatomical structures or blood are found in the frame, annotations other than the target organ are not performed. Annotate only one target for one frame. However, if an exposed part and an unexposed part of the target organ can be seen in one frame, they are annotated at the same time.
  • FIG. 10 shows a block diagram showing a configuration of a trained model generator 100 that performs machine learning using the teacher data generated by the teacher data generator according to the embodiment.
  • the trained model generation device 100 shown in FIG. 10 is composed of a storage unit 1001 and a trained model generation unit 1002.
  • the storage unit 1001 is composed of an image data storage unit 1003, a teacher data image storage unit 1004, a learned model generation program storage unit 1005, and a learned model storage unit 1006.
  • the trained model generation unit 1002 is composed of a teacher data acquisition unit 1007, an image acquisition unit 1008, an image analysis unit 1009, an image extraction unit 1010, a comparison unit 1011 and an adjustment unit 1012, and a generation unit 1013.
  • the image data storage unit 1003 stores the original image data without annotations.
  • the teacher data image storage unit 1004 stores the teacher data image.
  • the trained model generation program storage unit 1005 stores a trained model generation program that operates the trained model generation unit 1002 and generates a trained model from the teacher data.
  • the trained model storage unit 1006 stores the trained model generated by executing the trained model generation program.
  • the image acquisition unit 1008 acquires the original image data without annotations from the image data storage unit 1003.
  • the image analysis unit 1009 performs segmentation using a neural network after performing preprocessing on the image data acquired by the image acquisition unit 1008.
  • the image extraction unit 1010 extracts an image to be automatically recognized, such as a blood vessel, from the image segmented by the image analysis unit 1009.
  • the teacher data acquisition unit 907 acquires teacher data for an image to be automatically recognized, which is created from the image data acquired from the image data storage unit 1003 by the image acquisition unit 1008 from the teacher data storage unit 1004.
  • the comparison unit 1011 compares the image extracted by the image extraction unit 1010 with the teacher data image acquired by the teacher data acquisition unit 1007, and the image extracted by the image extraction unit 1010 and the teacher acquired by the teacher data acquisition unit 1007. Calculate the value of the error function of the data image.
  • the adjustment unit 1012 calculates a parameter that minimizes the value of the error function calculated by the comparison unit.
  • the generation unit 1013 generates a trained model based on the parameters calculated by the adjustment unit 1012, and stores the trained model in the trained model storage unit 1006.
  • step S1101 preprocessing such as image normalization is performed on the image of the surgical site taken by the endoscope.
  • step S1102 the image preprocessed in step S1101 is segmented using a neural network, and the image is extracted.
  • step S1103 the image extracted as a result of performing the segmentation is compared with the image of the target organ (teacher data image) obtained by the annotation, and the error between the above extracted image and the image of the target organ (teacher data image). Calculate the function.
  • the parameters are adjusted so that the value of the error function between the extracted image and the image of the target organ (teacher data image) is minimized.
  • the teacher data image all the teacher data images stored in the teacher data image storage unit may be used, or some teacher data images may be used.
  • step S1104 the derivative of the error function by the parameter is calculated by the error back propagation method. Get a parameter that reduces the error function.
  • step S1105 a trained model is generated.
  • step S1106 the trained model is stored in the database.
  • step S1201 an image is taken by an endoscope inserted into the abdominal cavity of the patient.
  • step S1202 image quality adjustments such as noise suppression processing by a correlated double sampling circuit (CDS), conversion processing to digital data by an analog-to-digital conversion circuit (ADC), and white balance processing are performed on the image data.
  • CDS correlated double sampling circuit
  • ADC analog-to-digital conversion circuit
  • white balance processing are performed on the image data.
  • step S1203 image recognition is performed using the trained model. Semantic segmentation is used for image recognition.
  • step S1204 it is determined whether or not the recognized image is a tissue such as a blood vessel, a nerve, or a ureter. If the recognized image is a tissue such as a blood vessel, nerve, or ureter (Yes), the process proceeds to step S1205. If the recognized image is not a tissue such as a blood vessel, nerve, or ureter (No), the process proceeds to step S1007.
  • step S1205 the tissue is a blood vessel, nerve, ureter, etc., and it is determined whether or not all of these are exposed on the screen. If all the tissue is exposed (Yes), the process proceeds to step S1206y. If all the tissues are not exposed (No), the process proceeds to step S1206n.
  • step S1206y the part of the tissue having a high degree of certainty is colored with a predetermined pattern or a predetermined color and displayed.
  • step S1206n the part of the tissue having low certainty is displayed by coloring it with a pattern different from the part having high certainty or a color different from a predetermined color.
  • step S1207 the image data is adjusted.
  • FIG. 14 shows the results of testing the accuracy of automatic classification of surgical processes.
  • the series of steps in sigmoid colectomy by laparoscopic surgery was automatically classified into 9 steps, and the accuracy was evaluated.
  • the nine steps in sigmoid resection by laparoscopic surgery are: step 1 is rectal posterior cavity treatment, step 2 is medial mobilization before vascular treatment, step 3 is vascular treatment, and step 4 is. Medial mobilization after vascular treatment, step 5 lateral mobilization, step 6 perirectal detachment, step 7 rectal laparoscopic treatment, step 8 dissection / anastomosis, step 9 inferior mesenteric vein (left colon) Arterial) processing.
  • the teacher data 132 is created by annotating the original image data 131 to which the annotation has not been added. Further, a part of the original image data 131 without annotation is used for the verification data set 135.
  • the teacher data 132 is input to the pre-learning model 133, machine learning is performed while adjusting the parameters, and the trained model 134 is generated.
  • Image data 136 is input to the trained model 134 to perform automatic recognition.
  • the verification of the trained model the above verification data set is input and verified with the correct answer rate of the automatically recognized result.
  • the annotation given to the exposed organ that is, the first annotation
  • the organ in the part where the organ is not exposed in the image displayed by rewinding and the image before rewinding are reproduced.
  • the respective annotations may be the same. Even if a model trained from the teacher data generated when the annotations are the same is used, the position of the organ can be recognized (estimated) on the screen where the organ is not exposed.
  • FIG. 15 shows the results of a recognition experiment using a model learned from teacher data generated when the first annotation and the second annotation are the same and different.
  • IOU Intersection over Unit
  • the IOU indicates the overlapping ratio of the area between the image data of the target organ (blood vessel, etc.) obtained by AI analysis and the image data of the target organ (blood vessel, etc.) in the verification image data as the correct answer rate.
  • the higher the duplication rate value the higher the correct answer rate.
  • FIG. 15 shows a value when the correct answer rate when the same annotation is used is 1.
  • the first annotation and the second annotation of the present invention are not used, that is, when the conventional annotation is used, the position of the organ cannot be recognized (estimated) on the screen where the organ is not exposed.
  • the correct answer rate is almost zero.
  • the position of the organ can be recognized, that is, estimated on the screen where the organ is not exposed. ..
  • the correct answer rate for the entire recognized blood vessel is improved by 1.3 times.
  • the correct answer rate is improved 1.2 times in the region with low certainty, and the correct answer rate is improved 1.9 times in the region with high certainty.
  • the correct answer rate is improved.
  • the surface state (color, unevenness, etc.) recognized for the exposed organ and the surface state recognized for the unexposed organ are different.
  • the correct answer rate is lowered because the position of the unexposed organ is estimated only from the surface state (color, unevenness, etc.) of the unexposed organ.
  • the position of the unexposed organ is added to the surface state of the unexposed organ (color, unevenness, etc.) and the surface state of the exposed organ (color, unevenness, etc.). Since the estimation is based on the color, unevenness, etc.) and the position information, the amount of information increases and the correct answer rate improves.
  • automatic recognition including annotations for organs such as blood vessels and process classification has been described, but there is also automatic recognition including annotations for surgical tools, bleeding, and motion classification (effective / invalid work of surgery).
  • the surgical instrument it automatically recognizes grasping forceps including identification of handle and tip, ultrasonic coagulation and incision device including identification of handle and tip, point dissector, peeling forceps, and the like.
  • the risk of bleeding is estimated using a trained model generated by annotating the blood portion at the time of bleeding.
  • the motion classification effective work and invalid work of surgery are automatically classified. Effective work includes peeling work and deployment work, and invalid work includes work outside the body, equipment replacement, cleaning, and hemostasis.
  • a neural network is used for segmentation, but other methods such as random forest and pattern matching may be used. Further, in this embodiment, the case where coloring or patterning is used as the annotation has been described, but the position coordinates may be used.
  • Machine learning can be used for opportunity learning such as random forest, support vector machine (SVM), clustering, and decision tree learning, in addition to the deep learning of this example.
  • SVM support vector machine
  • decision tree learning decision tree learning

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

機械学習に用いられる教師データを生成する教師データ生成装置は、画像データを記憶する画像データ記憶部と、画像データ記憶部より画像データを読み込むデータ読込部と、データ読込部によって読み込まれた画像データを表示する表示部と、表示部に表示されている画像データに対して再生、巻き戻し再生、停止を行う動画操作部と、表示部に表示されている画像データにおいてアノテーションを付与するデータ加工部と、アノテーションを付与した画像データを編集して教師データを生成する生成部とを備える。

Description

教師データ生成装置、教師データ生成プログラム及び教師データ生成方法
　本発明は、教師データ生成装置、教師データ生成プログラム及び教師データ生成方法に関し、特に、医療分野における、内視鏡画像の教師データ生成装置、教師データ生成プログラム及び教師データ生成方法に関する。
　診断領域における人工知能（ＡＩ）導入の試みが近年活発化しており、ロボットによる手術自動化や、その過程にあるナビゲーションや技術評価の自動化のために、手術動画を人工知能に学習させ、術野で現在何が起きているかを自動認識させるシステムの開発が進められている（特許文献１乃至３参照）。
　内視鏡外科手術において、内視鏡外科医が手術中どのように安全かつ効率的に手術を進めているか、暗黙知とされていた手技及び判断をデジタル化、データベースを構築し、次世代医療機器開発への応用が進められている。
国際公開第２０１６／１７５７７３号 国際公開第２００７／０４７７８２号 国際公開第２００９／１１１５８０号
　一方、内視鏡外科手術において、視野が狭い、空間認識が困難であるといった理由から、解剖構造の見落としや誤認が生じ、臓器損傷が生じることがあり、後遺症、致死的転機に至る場合もある。
　上記問題点を鑑み、本発明は、低侵襲性を実現する内視鏡外科手術の安全性、迅速性を向上させるための術野の自動認識システムの教師データ生成装置、教師データ生成プログラム及び教師データ生成方法を提供することを目的とする。
　本発明の第１の態様は、機械学習に用いられる教師データを生成する教師データ生成装置であって、画像データを記憶する画像データ記憶部と、画像データ記憶部より画像データを読み込むデータ読込部と、データ読込部によって読み込まれた画像データを表示する表示部と、表示部に表示されている画像データに対して再生、巻き戻し再生、停止を行う動画操作部と、表示部に表示されている画像データにおいてアノテーションを付与するデータ加工部と、アノテーションを付与した画像データを教師データとして生成する生成部とを備え、データ加工部が、再生して表示された画像データにおいて露出された器官にアノテーションを付与し、巻き戻し再生して表示された画像データにおいて器官が露出されていない部分かつ巻き戻し再生前の画像データにおいて器官が露出されていた部分にアノテーションを付与することを特徴とする。
　本発明の第１の態様において、露出された器官に付与するアノテーションと、巻き戻し再生して表示された画像データにおいて器官が露出されていない部分かつ巻き戻し再生前の画像データにおいて器官が露出されていた部分に付与するアノテーションとが異なってもよい。
　本発明の第２の態様は、コンピュータに機械学習に用いられる教師データを生成させる教師データ生成プログラムであって、動画データベースより動画を読み込むステップと、動画を再生するステップと、動画の再生を器官が露出する場面の画像で止めるステップと、器官が露出する場面の画像において露出された器官にアノテーションを付与するステップと、動画を巻き戻し再生するステップと、巻き戻し再生して表示された画像において器官が露出されていない部分かつ巻き戻し再生前の画像において器官が露出されていた部分にアノテーションを付与するステップとを備えることを特徴とする。
　本発明の第２の態様において、露出された器官に付与するアノテーションと、巻き戻し再生して表示された画像において器官が露出されていない部分かつ巻き戻し再生前の画像において器官が露出されていた部分に付与するアノテーションとが異なってもよい。
　本発明の第３の態様は、機械学習に用いられる教師データ生成方法であって、動画データベースより動画を読み込む工程と、動画を再生する工程と、動画を器官が露出する場面の画像で止める工程と、器官が露出する場面の画像において露出された器官にアノテーションを付与する工程と、動画を巻き戻し再生する工程と、巻き戻し再生して表示された画像に対して器官が露出されていない部分かつ巻き戻し再生前の画像において器官が露出されていた部分にアノテーションを付与する工程と、アノテーションを付与した画像を教師データとして教師データ画像記憶部に保存する工程とを含むことを特徴とする。
　本発明の第３の態様において、露出された器官に付与するアノテーションと、巻き戻し再生して表示された画像において器官が露出されていない部分かつ巻き戻し再生前の画像において器官が露出されていた部分に付与するアノテーションとが異なってもよい。
　本発明の第４の態様は、機械学習に用いられる学習済みモデル生成システムであって、画像データ記憶部より画像を取得する画像取得部と、取得した画像に対してセグメンテーションを実施する画像解析部と、セグメンテーションを実施した画像から器官部分の画像を抽出する画像抽出部と、教師データ画像記憶部より教師データ画像を取得する教師データ取得部と、取得した教師データ画像におけるアノテーション付与部分と取得画像における器官部分を比較する比較部と、アノテーション付与部分と器官部分の差異が最小となるようにパラメータを調整する調整部と、教師データ画像記憶部の教師データに対してパラメータが最小となるモデルを学習済みモデルとして生成する生成部と、を備え、教師データは、再生して表示された画像データにおいて露出された器官にアノテーションを付与し、巻き戻し再生して表示された画像データにおいて器官が露出されていない部分かつ巻き戻し再生前の画像データにおいて器官が露出されていた部分にアノテーションを付与することで生成されることを特徴とする。
　本発明の第５の態様は、機械学習に用いられる学習済みモデルを生成する方法であって、画像データ記憶部より画像を取得する工程と、取得した画像についてセグメンテーションを実施して、器官部分の画像を抽出する工程と、教師データ画像記憶部より教師データ画像を取得する工程と、取得した教師データ画像におけるアノテーション付与部分と取得した画像における抽出部分を比較する工程と、アノテーション付与部分と器官部分の差異が最小となるようにパラメータを調整する工程と、教師データ画像記憶部の教師データに対してパラメータが最小となるモデルを学習済みモデルとして生成する工程とを含み、教師データは、再生して表示された画像データにおいて露出された器官にアノテーションを付与し、巻き戻し再生して表示された画像データにおいて器官が露出されていない部分かつ巻き戻し再生前の画像データにおいて器官が露出されていた部分にアノテーションを付与することで生成されることを特徴とする。
　本発明によれば、低侵襲性を実現する内視鏡外科手術の安全性、迅速性を向上させるための術野の自動認識システムの教師データ生成装置、教師データ生成プログラム及び教師データ生成方法を提供できる。
実施形態に係る教師データ生成装置を利用する内視鏡外科手術システムの全体構成の一例を示す図である。 実施形態に係る教師データ生成装置を利用する内視鏡外科手術システムの構成の一部を示すブロック図である。 （ａ）は内視鏡で撮影した画像であり、（ｂ）はセマンティックセグメンテーションを実施し、画像認識の結果得られた抽出画像、（ｃ）は、（ａ）と（ｂ）を内視鏡ディスプレイに表示した図である。 内視鏡によって予め撮影された術部の画像であり、（ａ）は血管露出前、（ｂ）は血管露出後、（ｃ）は更に血管が露出したときの画像である。 内視鏡によって予め撮影された術部の画像の模式図であり、（ａ）は血管露出前、（ｂ）は血管露出後、（ｃ）は更に血管が露出したときの画像の模式図である。 内視鏡によって予め撮影された術部の画像の模式図であり、（ａ）は血管露出前、（ｂ）は血管露出後、（ｃ）は更に血管が露出したときの画像の模式図である。 内視鏡によって予め撮影された術部の画像の模式図であり、（ａ）は血管露出前、（ｂ）は血管露出後、（ｃ）は更に血管が露出したときの画像の模式図である。 実施形態に係る教師データ生成装置の構成を示すブロック図である。 実施形態に係る教師データ生成方法を示すフローチャートである。 実施形態に係る教師データ生成装置によって生成される教師データを用いて機械学習を行う学習済みモデル生成装置の構成を示すブロック図である。 実施形態に係る教師データ生成装置によって生成される教師データを用いて機械学習を行う処理を示すフローチャートである。 実施形態に係る教師データ生成装置によって生成される教師データを用いて生成された学習済みモデルを用いて、セマンティックセグメンテーションを実施し、画像認識を行う流れを説明するフローチャートである。 元のデータ画像から学習済みモデルを生成しＡＩ解析を行う過程を説明する図である。 実施形態に係る画像自動認識システムにより手術工程を自動分類させる試験の結果得られた適合率及び再現率を示す表である。 第１のアノテーションと第２のアノテーションが同一の場合と異なる場合に生成された教師データにより学習されたモデルを用いて、認識実験した結果を示す表である。
　次に、図面を参照して、本発明の実施形態を説明する。実施形態に係る図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。但し、図面は模式的なものであり、厚みと平面寸法との関係、各部材の厚みの比率等は現実のものとは異なることに留意すべきである。したがって、具体的な厚みや寸法は以下の説明を参酌して判断すべきものである。又、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
　又、実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、各構成要素の構成や配置、レイアウト等を下記のものに特定するものでない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
（実施形態）
　図１に、実施形態に係る教師データ生成装置を利用する内視鏡外科手術システム１０の全体構成の一例を示す。図１に示す内視鏡外科手術システム１０は、内視鏡１０２、処置具１０１及び１０３、デジタルプロセッサ１０４、内視鏡用ディスプレイ１０６、エネルギーデバイス１０５から構成される。図１において、デジタルプロセッサ１０４に接続された内視鏡１０２は患者１１の腹腔内に挿入される。患者１１の腹腔内に挿入された内視鏡１０２によって患部１２が撮影され、撮影によって得られた画像はデジタルプロセッサ１０４に送られる。デジタルプロセッサ１０４が内視鏡１０２から得た画像は調整されたのち、内視鏡用ディスプレイ１０６に、患者１１の腹腔内の画像が表示される。処置具１０３は例えば超音波凝固切開装置であり、エネルギーデバイス１０５によってエネルギーが供給され、組織の切開や止血を行う。処置具１０１は例えば鉗子である。
　図２に、実施形態に係る画像自動認識システムを利用する内視鏡外科手術システム１０の構成のうち、内視鏡１０２、デジタルプロセッサ１０４及び内視鏡用ディスプレイ１０６を示す。デジタルプロセッサ１０４は、画像調整部２０１、表示制御部２０２、学習済みモデル記憶部２０３、セグメンテーション画像生成部２０４、セグメンテーション画像調整部２０５、手術情報記憶部２０６及び計算部２０７から構成される。
　内視鏡１０２の先端には、図示しない撮像素子及び光源が取り付けられており、患者の腹腔内に光が照射され、撮像素子によって患者の腹腔内の画像データが得られる。得られた画像信号はデジタルプロセッサ１０４内の画像調整部２０１に出力され、図示しない相関二重サンプリング回路（ＣＤＳ）によるノイズ抑制等の処理がなされたのち、図示しないアナログ―デジタル変換回路（ＡＤＣ）によってデジタルデータに変換される。デジタルデータに変換された画像データは、ホワイトバランス処理等の画質の調整がなされたのち、デジタルプロセッサ１０４内の表示制御部２０２及びセグメンテーション画像生成部２０４に入力される。
　画像調整部２０１から出力された画像データは、セグメンテーション画像生成部において、学習済みモデルを利用してセマンティックセグメンテーションが実施される。ここで、セマンティックセグメンテーションは、画像認識の一種であり、抽出された画像領域に着色またはパターンニング等することである。学習済みモデル記憶部２０３には、予め作成された学習済みモデルがデータベース化されて記憶されている。セグメンテーション画像生成部においてなされる画像認識の認識対象は、内視鏡手術で使用される術具及び患者の解剖構造等が含まれる。患者の解剖構造等としては、血管、神経、尿管、臓器、血液等が含まれる。
　学習済みモデル記憶部２０３に記憶されているデータベース化された学習済みモデルには、認識対象の画像データ、起きている現象、手術工程、作業及び動作、が含まれる。更に、教師データには、各教師データにおける手術内容、術式、映像欠落の有無、手術患者の臨床情報、術者、助手、スコピストの背景等が含まれてもよい。手術工程としては、例えば血管処理等が含まれる。作業及び動作としては、例えば、グラスパーによって把持けん引がなされ、剥離鉗子によって剥離作業がなされる、等が含まれる。起きている現象としては、出血等が含まれる。手術患者の臨床情報としては、年齢、性別、身長体重、がんの病期分類（ＴＮＭ分類）、開腹手術歴、手術時間、出血量、術中有害事象及び術後３０日以内有害事象等が含まれる。術後３０日以内有害事象としては、再手術、縫合不全、腸閉塞、術後創部感染及び腹腔内腫瘍等が含まれる。また、術者、助手、スコピストの背景としては、術者、助手、スコピストの年齢、性別等が含まれる。
　手術情報記憶部２０６には、内視鏡１０２で撮影を行っている手術の情報及び手術患者の臨床情報が記憶されている。手術の情報及び手術患者の臨床情報としては、手術内容、術式、年齢、性別、身長体重、がんの病期分類（ＴＮＭ分類）等が含まれてもよい。
　セグメンテーション画像生成部２０４において、画像調整部２０１から出力された画像データのセマンティックセグメンテーションが実施され、画像に対して、セマンティックセグメンテーションにより、各組織や術具を区別し、各々を個別に識別可能にした、即ち同じ組織及び術具は同じ色でその存在する領域を表現した画像が生成される。生成され、抽出された画像、即ち抽出画像に対して、学習済みモデル記憶部２０３に記憶されている教師データのデータベースから教師データを、手術情報記憶部２０６に記憶された手術の情報及び手術患者の臨床情報を抽出し、画像認識を行い、画像認識された抽出画像が作成される。画像認識された抽出画像は、セグメンテーション画像調整部２０５において画質の調整等がなされたのち、画像調整部２０１から出力された画像データとともに、内視鏡用ディスプレイ１０６に出力される。
　画像認識された抽出画像と、画像調整部２０１から出力された画像データとは、内視鏡用ディスプレイ１０６において、互いに重ね合わせて表示されてもよく、２画面表示にして、重ねあわせずにそれぞれ別の画面に表示されてもよい。
　抽出画像が、血管、神経、尿管等であった場合のセマンティックセグメンテーションによる画像認識を、図３を参照して説明する。図３（ａ）は内視鏡で撮影した画像であり、図３（ｂ）はセマンティックセグメンテーションを実施し、画像認識の結果得られた抽出画像、図３（ｃ）は、内視鏡で撮影した画像と画像認識の結果得られた抽出画像を内視鏡ディスプレイに表示した図である。セマンティックセグメンテーションを実施すると、血管、神経、尿管等の組織３１の画像が抽出されるが、画像として抽出された組織３１が他の臓器の下に隠れている部分は抽出されない。しかしながら、図３（ｂ）に示すように、本発明の実施形態に係る画像自動認識システムにおける教師データの作成方法によって作成された教師データを画像認識に用いると、画像として抽出された血管、神経、尿管等が、「確信度の高い」画像認識された抽出画像３０１として作成され、他の臓器の下に隠れていて画像として抽出されなかった血管、神経、尿管等が、「確信度の低い」画像認識された抽出画像３０２として作成される。「確信度の高い」画像認識された抽出画像と「確信度の低い」画像認識された抽出画像は、互いに異なる色で着色される。
　本発明の実施形態に係る教師データ作成方法によって作成された教師データを画像認識に用いると、抽出画像が血管、神経、尿管等でなかった場合でも、抽出画像と教師データを用いた画像認識によって、血管、神経、尿管等ではない他の臓器の下に、確信度は低いが血管、神経、尿管等が存在すると判断された場合、他の臓器の下に存在する血管、神経、尿管等が、「確信度の低い」画像認識された抽出画像として作成される。即ち、画像調整部２０１から出力された画像データに、血管、神経、尿管等が明らかに見られない場合であっても、画像調整部２０１から出力された画像データにみられる他の臓器の配置や状態、手術工程、作業及び動作等から、他の臓器の下に血管、神経、尿管等が位置していると推論し、推論された血管、神経、尿管等に明らかにみられる血管、神経、尿管等の部分とは異なる色又はパターン等でアノテーションする。ここで、パターンとは、ストライク、チェック、ドット等である。
　「確信度の高い」画像認識された抽出画像と「確信度の低い」画像認識された抽出画像のそれぞれは異なる色またはパターン等でアノテーションする。これらのほかに、各術具、出血による血液、臓器等に対してもそれぞれ異なる色またはパターン等でアノテーションする。
　手術開始時以降内視鏡１０２で撮影した患者の術野の画像が、画像調整部２０１を経由してセグメンテーション画像生成部２０４に入力され、セグメンテーション画像生成部２０４において、それぞれの画像に対する画像認識が行われる際に、それぞれの画像における手術工程を認識し、手術工程が手術情報記憶部２０６に記憶される。手術情報記憶部２０６には、各手術工程の所要時間、それぞれの手術工程における作業及び動作、それぞれの手術工程において出血があった場合は、出血を検知した時間、出血した積算時間及び出血した面積等が記憶される。計算部２０７は、手術情報記憶部２０６に記憶されたこれらの情報と、学習済みモデル記憶部２０３に記憶されている教師データから、例えば現在進行している手術の各工程の予想終了時間等を計算し、計算結果を、表示制御部２０２を介して、ディスプレイ１０６に表示してもよい。また、現在進行している工程をディスプレイ１０６に表示してもよい。
　また、それぞれの工程に対応して、ディスプレイ１０６に表示する画像認識された抽出画像を選択してもよい。例えば、血管を切る術具が内視鏡１０２で撮影する術野に入ってきたときは、血管の抽出画像を表示する、工程において臓器に対する処理を行っているときはその臓器の抽出画像を表示する、等である。また、出血があったときに、例えば出血が一定面積を超える場合はアラーム等で知らせるなどしてもよい。
　画像調整部２０１から出力された画像データのセマンティックセグメンテーションを実施し、抽出画像に対して画像認識を行った際に手術情報記憶部２０６に記憶された各工程のデータ等を基に、術者の技術を評価することができる。この際の評価項目としては、手術時間、各工程の所要時間、工程間の遷移回数、有効無効比、無効手術時間、止血時間、術具交換回数、確認作業及び迷っている時間、有効手術時間中の視野展開と剥離の時間比等である。更に、出血があった場合の出血時間と出血面積の積、鉗子の気道、把持成功率等を評価に加えてもよい。手術情報記憶部２０６に記憶された情報からこれらの項目を抽出し、自動で第１スクリーニングを行ってもよい。更に、＋２ＳＤ以上の逸脱症例を自動的に抽出してもよい。
　図４～図７を参照しながら、実施形態に係る教師データ生成方法を説明する。図４に、内視鏡によって予め撮影された、教師データを作成するための収集データの画像を示す。図４（ａ）は血管が露出する前の画像、図４（ｂ）は更に手術が進み、血管が露出した後の画像、図４（ｃ）は図４（ｂ）から更に手術が進み、新たに露出された血管が見えている画像である。理解を促すため、図４に示す画像を、図５～図７に示す模式図に置き換え、説明する。図４（ａ）の画像に相当する模式図は図５（ａ）、図６（ａ）及び図７（ａ）であり、図４（ｂ）に示す画像に相当する模式図は図５（ｂ）、図６（ｂ）及び図７（ｂ）であり、図４（ｃ）に示す画像に相当する模式図は図５（ｃ）、図６（ｃ）及び図７（ｃ）である。図５はアノテーションを行っていない画像であり、図６及び図７はアノテーションを行った画像である。図５（ａ）と図６（ａ）は互いに同じ画像である。また、図６（ｃ）と図７（ｃ）は互いに同じ画像である。
　図５を参照すると、図５（ａ）には、術具５０１と、他の臓器５２が見られる。図５（ｂ）には、術具５０１と、他の臓器５２に加え、手術が進行し、露出した血管部分５１が見られる。図５（ｃ）には、術具５０１、他の臓器５２及び血管部分５１に加え、更に手術が進行し、新たに露出された血管部分５３が見える。図５に対してアノテーションを行う際、従来は、図５に示すように、血管にのみ所定の色を着色し、露出している血管部分５１にのみアノテーションを行った。
これに対し、実施形態に係る教師データ生成方法を以下に説明する。まず、画像を再生し、再生された画像に対してアノテーションを付与する方法行程を、図６（ａ）、（ｂ）及び（ｃ）を参照して説明する。以下では、血管部分に対してアノテーションを付与する場合を説明する。図６（ｂ）に示すように、図５（ｂ）において露出した血管部分５１に所定のパターン、又は所定の色で色付けすることで、アノテーションを付与する。このアノテーションが付与された血管部分５１は、実際に画像で見える血管部分に対して付与するので、血管である確信度の高い部分である。同様に、図６（ｃ）に示すように、図５（ｃ）において新たに露出した血管部分５３に、上述の血管部分５１と同じ所定のパターン、又は血管部分５１に着色した色と同じ色で色付けすることで、アノテーションを付与する。このアノテーションされた血管部分５３も、実際に画像で見える血管部分に対して付与するので、血管である確信度の高い部分である。このように、確信度の高い血管部分が同じパターン、又は色でアノテーションされる。このアノテーションを第１のアノテーションとする。
　画像を再生し、再生された画像に対するアノテーションの付与が終了したら、次に、以下に説明するように、時間的に前の画像に戻りながら、即ち巻き戻し再生しながら、巻き戻し再生された画像に対してアノテーションを付与する。巻き戻し再生しながら、巻き戻し再生された画像に対してアノテーションを付与する工程を、図７（ａ）、（ｂ）及び（ｃ）を参照して説明する。ここで、図６（ｃ）と図７（ｃ）は互いに同じ画像である。図６（ｃ）から巻き戻し再生によって図６（ｂ）に戻る場合において、図６（ｂ）に対して、図７（ｂ）に示すように、図６（ｃ）で血管が新たに露出した部分に相当する部分に、血管部分５１及び５３に対して付与した第１のアノテーションの場合とは異なるパターン、即ち異なる色又はパターン等で血管部分５４にアノテーションを付与する。このアノテーションされた血管部分５４は、実際には画像上では血管部分が見えないが、図６（ｃ）における血管部分５３より推定されるものなので、実際に画像で見える血管部分５１、５３に対して付与されたアノテーションと比べて，血管である確信度の低い部分である。同様に、図６（ｂ）から巻き戻し再生によって図６（ａ）に戻る場合において、図６（ａ）に対して、図７（ａ）に示すように、図６（ｂ）、（ｃ）で血管が露出した部分に相当する部分に、血管部分５１及び５３に対して付与した第１のアノテーションの場合とは異なるパターン、又は異なる色で血管部分５５にアノテーションを付与する。このアノテーションされた血管部分５５も、血管部分５４と同様に、実際には画像上では血管部分が見えないが、図６（ｂ）、（ｃ）における血管部分より推定されるものなので、血管である確信度の低い部分である。このように、巻き戻し再生前の画像において器官が露出されていたが、巻き戻し再生して表示された画像において器官が露出されていない部分にアノテーションを付与する。換言すれば、確信度の低い血管部分が、確信度の高い血管部分と異なるパターン、又は色でアノテーションされる。このアノテーションを第２のアノテーションとする。上述の再生された画像または巻き戻し再生された画像に対するアノテーションにおいて、再生、巻き戻し再生される動画における画像全てにアノテーションしてもよく、一部の画像にアノテーションしてもよい。例えば、１０画像中の１画像の割合でアノテーションしてもよく、１００画像中の１画像の割合でアノテーションしてもよい。アノテーションを付与される画像は合計で、５０画像程度の場合もあり、１００画像程度の場合もある。
　図８に、実施形態に係る教師データ生成装置８０の構成を示すブロック図を示す。教師データ生成装置８０は、記憶部８０１及び教師データ生成部８０２から構成される。記憶部８０１は、画像データ記憶部８０３、教師データ生成プログラム記憶部８０４及び教師データ画像記憶部８０５から構成される。教師データ生成部８０２は、データ取得部８０６、データ表示部８０７、動画操作部８０８、データ加工部８０９及び生成部８１０から構成される。
　画像データ記憶部８０３は、アノテーションが付与されていない元の画像データが記憶されている。教師データ生成プログラム記憶部８０４には、教師データ生成部８０２を作動させ、アノテーションが付与されていない元の画像データから教師データを生成する教師データ生成プログラムが記憶されている。教師データ画像記憶部８０９には、教師データ生成プログラムを実行することによって生成された教師データ画像が記憶されている。
　教師データ生成プログラムを実行すると、データ取得部８０６が、画像データ記憶部８０３からアノテーションが付与されていない元の画像データを取得する。取得された元の画像データは、データ表示部８０７に表示される。動画操作部８０８は、画像データ記憶部８０３から取得され、データ表示部８０７に表示されている画像に対して、再生、又は巻き戻し再生を行う。データ加工部８０９は、データ表示部８０７に表示されている画像に対してアノテーションを付与する。生成部８１０は、データ加工部８０９によってアノテーションが付与された画像を、動画として編集して教師データを生成し、教師データ画像記憶部８０５に記憶する。
　図９に示すフローチャートを参照しながら、実施形態に係る教師データ生成方法を説明する。ここで、教師データを作成するに先立ち、工程分類解析用の学習済みモデルを作成しておく。工程分類とは手術全体の初めから終了までの過程を順々に作業内容によって分類することである。例えば、腹腔鏡手術によるＳ状結腸切除術においては、以下の通り、９工程に分類される。工程１は直腸後腔処理、工程２は血管処理前の内側授動、工程３は血管処理、工程４は血管処理後の内側授動、工程５は外側授動、工程６は直腸周囲剥離、工程７は直腸腸間膜処理、工程８は切離・吻合、工程９は下腸間膜静脈（左結腸動脈）処理である。工程分類により手技の巧緻、手術時間などを解析できるので手術の効率化に繋がる。
　ステップＳ９０１において、動画の結合等を行い、更にフォーマット変換等の処理を行う。ここで、ステップＳ９０１における処理の対象となる動画は、手術の所定の工程の前後の工程を含んでもよい。
　ステップＳ９０２において、画像の適格／非適格判定を行う。判定する内容は、術式、手術内容、映像欠落の有無等である。
　ステップＳ９０３において、工程分類解析用の学習済みモデルを用いて工程の自動分類を施す。
　ステップＳ９０４において、作業者が所定の工程を選択する。
　ステップＳ９０５において、所定の工程の一連の画像が動画として抽出される。本実施例では、工程３の血管処理を抽出することを一例として説明する。
　ステップＳ９０６において、ステップＳ９０５において抽出された動画を再生する。
　ステップＳ９０７において、　ステップＳ９０６において再生された動画に対して第１のアノテーションを実施する。
　ステップＳ９０８において、ステップＳ９０６において再生された動画を巻き戻し再生する。
　ステップＳ９０９において、　ステップＳ９０８において巻き戻し再生された動画に対して第２のアノテーションを実施する。
　ステップＳ９１０において、第１及び第２のアノテーションが付与された画像データ、即ち教師データを教師データ記憶部に記憶させる。
　上述のステップＳ９０１～ステップＳ９０５は必ずしも必要ではなく、画像取得後、取得した画像全てについてステップＳ９０６以降のステップを実行しても良い。
　対象器官は、例えば、血管、神経、尿管、臓器等の解剖構造であるが、これら以外にも、出血した際の血液等に対してもアノテーションを行う。露出している対象器官と露出していない対象器官が１つのフレーム中にみられる場合は１つのフレームに対して対象器官の露出している部分と露出していない部分の２色に色付けするが、そのフレームに他の解剖構造や血液等がみられても、対象器官以外のアノテーションは行わない。１つのフレームに対しては、１つの対象のみに対してアノテーションを行う。ただし、１つのフレーム内に対象器官の露出している部分と露出していない部分が見られる場合には、これらは同時にアノテーションを行う。
　図１０に、実施形態に係る教師データ生成装置によって生成された教師データを用いて機械学習を行う学習済みモデル生成装置１００の構成を示すブロック図を示す。図１０に示す学習済みモデル生成装置１００は、記憶部１００１及び学習済みモデル生成部１００２から構成される。記憶部１００１は、画像データ記憶部１００３、教師データ画像記憶部１００４、学習済みモデル生成プログラム記憶部１００５及び学習済みモデル記憶部１００６から構成される。学習済みモデル生成部１００２は、教師データ取得部１００７、画像取得部１００８、画像解析部１００９、画像抽出部１０１０、比較部１０１１、調整部１０１２及び生成部１０１３から構成される。
　画像データ記憶部１００３には、アノテーションが付与されていない元の画像データが記憶されている。教師データ画像記憶部１００４には、教師データ画像が記憶されている。学習済みモデル生成プログラム記憶部１００５には、学習済みモデル生成部１００２を作動させ、教師データから学習済みモデルを生成する学習済みモデル生成プログラムが記憶されている。学習済みモデル記憶部１００６には、学習済みモデル生成プログラムを実行することによって生成された学習済みモデルが記憶されている。
　学習済みモデル生成プログラムを実行すると、画像取得部１００８が、画像データ記憶部１００３からアノテーションが付与されていない元の画像データを取得する。画像解析部１００９は、画像取得部１００８によって取得された画像データに対して、前処理を行った後に、ニューラルネットワークを用いたセグメンテーションを実施する。画像抽出部１０１０は、画像解析部１００９によってセグメンテーションが実施された画像から、血管等の、自動認識する対象となる画像を抽出する。教師データ取得部９０７は、教師データ記憶部１００４から、画像取得部１００８が画像データ記憶部１００３から取得した画像データから作成された、自動認識する対象となる画像に対する教師データを取得する。比較部１０１１は、画像抽出部１０１０が抽出した画像と、教師データ取得部１００７が取得した教師データ画像とを比較し、画像抽出部１０１０が抽出した画像と、教師データ取得部１００７が取得した教師データ画像の誤差関数の値を算出する。調整部１０１２は、比較部が算出した誤差関数の値が最小となるようなパラメータを算出する。生成部１０１３は、調整部１０１２が算出したパラメータを基に学習済みモデルを生成し、学習済みモデル記憶部１００６に学習済みモデルを記憶させる。
　図１１に示すフローチャートを参照しながら、実施形態に係る画像自動認識システムにおいて教師データに対して機械学習を行う流れを説明する。
　ステップＳ１１０１において、内視鏡で撮影した術部の画像に対して、画像の正規化等の前処理を行う。
　ステップＳ１１０２において、ステップＳ１１０１で前処理を行った画像に対して、ニューラルネットワークを用いたセグメンテーションを実施し、画像を抽出する。
ステップＳ１１０３において、セグメンテーションを実施した結果抽出された画像と、アノテーションによって得られた対象器官の画像（教師データ画像）とを比較し、上記の抽出画像と対象器官の画像（教師データ画像）の誤差関数を算出する。機械学習では、抽出画像と対象器官の画像（教師データ画像）の誤差関数の値が最小となるように、パラメータを調節する。ここで、教師データ画像は教師データ画像記憶部に記憶された全ての教師データ画像を用いても一部の教師データ画像を用いてもよい。
　ステップＳ１１０４において、誤差逆伝搬法によって、パラメータによる誤差関数の微分を計算する。誤差関数が減少するパラメータを得る。
　ステップＳ１１０５において、学習済みモデルを生成する。
　ステップＳ１１０６において、学習済みモデルをデータベースに記憶させる。
図１２に示すフローチャートを参照しながら、実施形態に係る画像自動認識システムにおける、セマンティックセグメンテーションを実施し、画像認識を行う流れを説明する。
　ステップＳ１２０１において、患者の腹腔内に挿入された内視鏡によって画像が撮影される。
　ステップＳ１２０２において、画像データに対し、相関二重サンプリング回路（ＣＤＳ）によるノイズ抑制等の処理、アナログ―デジタル変換回路（ＡＤＣ）によるデジタルデータへの変換処理、ホワイトバランス処理等の画質の調整がなされる。
　ステップＳ１２０３において、学習済みモデルを用いて画像認識を行う。画像認識にはセマンティックセグメンテーションを用いる。
　ステップＳ１２０４において、認識した画像が、血管、神経又は尿管等の組織であるかどうかを判断する。認識した画像が、血管、神経又は尿管等の組織である（Ｙｅｓ）場合は、ステップＳ１２０５に進む。認識した画像が、血管、神経又は尿管等の組織ではない（Ｎｏ）場合は、ステップＳ１００７に進む。
　ステップＳ１２０５において、組織は血管、神経又は尿管等であり、これらが画面上で全て露出しているかどうかを判断する。組織が全て露出している（Ｙｅｓ）場合、ステップＳ１２０６ｙに進む。組織が全て露出していない（Ｎｏ）場合、ステップＳ１２０６ｎに進む。
　ステップＳ１２０６ｙにおいて、確信度の高い組織の部分を所定のパターン、又は所定の色で色付けして表示する。
　ステップＳ１２０６ｎにおいて、確信度の低い組織の部分を確信度の高い部分とは異なるパターン、又は所定の色とは異なる色で色付けして表示する。
　ステップＳ１２０７において、画像データが調整される。
　ステップＳ１２０９において、ディスプレイに表示される。
　図９で説明した手術工程の分類について説明する。図１４に手術工程の自動分類の精度について試験した結果を示す。本試験では、腹腔鏡手術によるＳ状結腸切除術における一連の工程を９工程に自動分類させて、精度を評価した。腹腔鏡手術によるＳ状結腸切除術における９工程とは、先に述べたように、工程１は直腸後腔処理、工程２は血管処理前の内側授動、工程３は血管処理、工程４は血管処理後の内側授動、工程５は外側授動、工程６は直腸周囲剥離、工程７は直腸腸間膜処理、工程８は切離・吻合、工程９は下腸間膜静脈（左結腸動脈）処理である。
　本試験は、元の画像データから学習済みモデルを生成し、その学習済みモデルを用いて工程の自動認識を行った。この試験方法を、図１３を参照して説明する。アノテーションが付与されていない元の画像データ１３１にアノテーションを付与して教師データ１３２を作成する。また、アノテーションが付与されていない元の画像データ１３１の一部を検証用データセット１３５に用いる。教師データ１３２を学習前モデル１３３に入力してパラメータを調整しながら機械学習を行い、学習済みモデル１３４を生成する。この学習済みモデル１３４に画像データ１３６を入力して自動認識を行う。学習済みモデルの検証では、上記の検証用データセットを入力して自動認識された結果の正答率をもって検証する。教師データ作成用画像データ７８３２６５２枚／６３症例、検証用データセット９２７４１７枚／８症例を用いて行ったところ、図１４に示すように、９０パーセントの精度での分類を達成した。
　本実施例では上述の通り、露出された器官に付与するアノテーション、即ち第１のアノテーションと、巻き戻し再生して表示された画像において器官が露出されていない部分かつ巻き戻し再生前の画像において器官が露出されていた部分に付与するアノテーション、即ち第２のアノテーションが異なる場合を説明したが、それぞれのアノテーションは同一であっても良い。アノテーションが同一の場合に生成された教師データにより学習されたモデルを用いても、器官が露出されていない画面において、器官の位置を認識（推定）することができる。
　図１５に、第１のアノテーションと第２のアノテーションが同一の場合と異なる場合に生成された教師データにより学習されたモデルを用いて、認識実験した結果を示す。認識実験には領域検出の評価手法であるＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ　ｏｖｅｒ　Ｕｎｉｔ）を用いた。ＩＯＵはＡＩ解析により得られた対象器官（血管等）の画像データと検証画像データにおける対象器官（血管等）の画像データとの面積の重複割合を正答率として示す。重複割合の値が高いと正答率も高い。図１５には、同一のアノテーションを用いた場合の正答率を１とした場合の値を示す。本発明の第１のアノテーションと第２のアノテーションを用いない場合、即ち、従来のアノテーションを用いる場合には、器官が露出されていない画面において器官の位置を認識（推定）することができないので、正答率はほぼ零である。
　第１のアノテーションと第２のアノテーションが同一の場合に生成された教師データにより学習されたモデルを用いても、器官が露出されていない画面において、器官の位置を認識、即ち推定することができる。第１のアノテーションと第２のアノテーションが異なる場合には、認識された血管全体での正答率は１．３倍向上する。認識された血管において確信度の低い領域で正答率が１．２倍、確信度の高い領域で正答率が１．９倍に向上する。このように第１のアノテーションと第２のアノテーションが異なる場合に、正答率が向上する効果を奏する。アノテーションされる画像において、露出された器官に対して認識される表面状態（色、凹凸など）と、露出されない器官に対して認識される表面状態は異なる。仮に、露出されない器官が、露出された器官と同じアノテーションで学習された場合、露出されない器官の位置を露出されない器官の表面状態（色、凹凸など）のみから推定するので正答率は低下する。一方、露出されない器官が、露出された器官と異なるアノテーションで学習されれば、露出されない器官の位置を露出されない器官の表面状態（色、凹凸など）に加えて、露出された器官の表面状態（色、凹凸など）と位置情報を基に推定するので、情報量が増加して正答率は向上する。
　本実施例では、血管等の器官、工程分類のアノテーションを含む自動認識を説明したが、他に術具、出血、動作分類（手術の有効／無効作業）などのアノテーションを含む自動認識がある。術具については、柄と先端との識別を含む把持鉗子、柄と先端との識別を含む超音波凝固切開装置、ポイントディセクタ、剥離鉗子などを自動認識する。出血については、出血時の血液部分をアノテーションして生成した学習済みモデルにより出血のリスクを推定する。動作分類では、手術の有効作業と無効作業を自動分類する。有効作業には剥離作業と展開作業があり、無効作業には体外での作業、器具交換、洗浄、止血などの各作業がある。動作分類により、手術において有効な時間／無効な時間、手技の巧緻などを解析できるので手術の効率化に繋がる。
　本実施例では、セグメンテーションに、ニューラルネットワークを用いたが、ランダムフォレスト、パターンマッチングなどの他の方法を用いてもよい。又、本実施例では、アノテーションとして、着色またはパターニングを用いる場合を説明したが、位置座標を用いてもよい。
　機械学習は、本実施例の深層学習（ディープラーニング）以外にも、ランダムフォレスト、サポートベクターマシン （ＳＶＭ）、クラスタリング、決定木学習などの機会学習にも用いることができる。
　以上、本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
１０　内視鏡外科手術システム
１０１、１０３　処置具
１０２　内視鏡
１０４　デジタルプロセッサ
１０５　エネルギーデバイス
１０６　内視鏡用ディスプレイ
２０１　画像調整部
２０２　表示制御部
２０３　学習済みモデル記憶部
２０４　セグメンテーション画像生成部
２０５　セグメンテーション画像調整部
２０６　手術情報記憶部
２０７　計算部
３０１　「確信度の高い」画像認識された抽出画像
３０２　「確信度の低い」画像認識された抽出画像
３１　組織
５０１　術具
５１、５３、５４　血管部分
５２　他の臓器
８０　教師データ生成装置
８０１、１００１　記憶部
８０２　教師データ生成部
８０３、１００３　画像データ記憶部
８０４　教師データ生成プログラム記憶部
８０５、１００４　教師データ画像記憶部
８０６　データ取得部
８０７　データ表示部
８０８　動画操作部
８０９　データ加工部
８１０　生成部
１００　学習済みモデル生成装置
１００２　学習済みモデル生成部
１００５　学習済みモデル生成プログラム記憶部
１００６　学習済みモデル記憶部
１００７　教師データ取得部
１００８　画像取得部
１００９　画像解析部
１０１０　画像抽出部
１０１１　比較部
１０１２　調整部
１０１３　生成部
１３１　元の画像データ
１３２　教師データ
１３３　学習前モデル
１３４　学習済みモデル
１３５　検証用データセット
１３６　画像データ
１３７　ＡＩ解析画像

Claims (8)

  1. 　機械学習に用いられる教師データを生成する教師データ生成装置であって、
    　画像データを記憶する画像データ記憶部と、
    　前記画像データ記憶部より前記画像データを読み込むデータ読込部と、
    　前記データ読込部によって読み込まれた前記画像データを表示する表示部と、
    　前記表示部に表示されている前記画像データに対して再生、巻き戻し再生、停止を行う動画操作部と、
    　前記表示部に表示されている画像データにおいてアノテーションを付与するデータ加工部と、
    　アノテーションを付与した前記画像データを編集して教師データを生成する生成部と
    　を備え、前記データ加工部が、再生して表示された前記画像データにおいて露出された器官にアノテーションを付与し、巻き戻し再生して表示された前記画像データにおいて前記器官が露出されていない部分かつ巻き戻し再生前の前記画像データにおいて前記器官が露出されていた部分にアノテーションを付与することを特徴とする教師データ生成装置。
  2. 　前記露出された器官に付与するアノテーションと、前記巻き戻し再生して表示された前記画像データにおいて前記器官が露出されていない部分かつ巻き戻し再生前の前記画像データにおいて前記器官が露出されていた部分に付与するアノテーションとが異なることを特徴とする請求項１に記載の教師データ生成装置。
  3. 　画像データ記憶部より動画を読み込むステップと、
    　前記動画を再生するステップと、
    　前記動画の再生を器官が露出する場面の画像で止めるステップと、
    　前記器官が露出する場面の画像において前記露出された器官にアノテーションを付与するステップと、
    　前記動画を巻き戻し再生するステップと、
    　巻き戻し再生して表示された画像において前記器官が露出されていない部分かつ巻き戻し再生前の画像において前記器官が露出されていた部分にアノテーションを付与するステップと
    　をコンピュータに実行させるための教師データ生成プログラム。
  4. 　前記露出された器官に付与するアノテーションと、前記巻き戻し再生して表示された画像において前記器官が露出されていない部分かつ巻き戻し再生前の画像において前記器官が露出されていた部分に付与するアノテーションとが異なることを特徴とする請求項３に記載の教師データ生成プログラム。
  5. 　機械学習に用いられる教師データ生成方法であって、
    　画像データ記憶部より動画を読み込む工程と、
    　前記動画を再生する工程と、
    　前記動画を器官が露出する場面の画像で止める工程と、
    　前記器官が露出する場面の画像において露出された前記器官にアノテーションを付与する工程と、
    　前記動画を巻き戻し再生する工程と、
    　巻き戻し再生して表示された画像に対して前記器官が露出されていない部分かつ巻き戻し再生前の画像において前記器官が露出されていた部分にアノテーションを付与する工程と、
    　アノテーションを付与した前記画像を教師データとして教師データ画像記憶部に保存する工程と
    を含む教師データ生成方法。
  6. 　前記露出された器官に付与するアノテーションと、前記巻き戻し再生して表示された画像において前記器官が露出されていない部分かつ巻き戻し再生前の画像において前記器官が露出されていた部分に付与するアノテーションとが異なることを特徴とする請求項５に記載の教師データ生成方法。
  7. 　機械学習に用いられる学習済みモデル生成システムであって、
    　画像データ記憶部より画像を取得する画像取得部と、
    　取得した前記画像に対してセグメンテーションを実施する画像解析部と、
    　セグメンテーションを実施した前記画像から器官部分の画像を抽出する画像抽出部と、
    　教師データ画像記憶部より教師データ画像を取得する教師データ取得部と、
    　取得した前記教師データ画像におけるアノテーション付与部分と前記取得画像における器官部分を比較する比較部と、
    　前記アノテーション付与部分と前記器官部分の差異が最小となるようにパラメータを調整する調整部と、
    　前記教師データ画像記憶部の教師データに対して前記パラメータが最小となるモデルを学習済みモデルとして生成する生成部と、
    　を備え、前記教師データは、再生して表示された画像データにおいて露出された器官にアノテーションを付与し、巻き戻し再生して表示された前記画像データにおいて前記器官が露出されていない部分かつ巻き戻し再生前の前記画像データにおいて前記器官が露出されていた部分にアノテーションを付与することで生成される、学習済みモデル生成システム。
  8. 　機械学習に用いられる学習済みモデルを生成する方法であって、
    　画像データ記憶部より画像を取得する工程と、
    　取得した前記画像についてセグメンテーションを実施して、器官部分の画像を抽出する工程と、
    　教師データ画像記憶部より教師データ画像を取得する工程と、
    　取得した前記教師データ画像におけるアノテーション付与部分と取得した前記画像における器官部分を比較する工程と、
    　前記アノテーション付与部分と前記器官部分の差異が最小となるようにパラメータを調整する工程と、
    　前記教師データ画像記憶部の教師データに対して前記パラメータが最小となるモデルを学習済みモデルとして生成する工程と
    　を含み、前記教師データは、再生して表示された画像データにおいて露出された器官にアノテーションを付与し、巻き戻し再生して表示された前記画像データにおいて前記器官が露出されていない部分かつ巻き戻し再生前の前記画像データにおいて前記器官が露出されていた部分にアノテーションを付与することで生成される、生成方法。
PCT/JP2020/029670 2019-08-29 2020-08-03 教師データ生成装置、教師データ生成プログラム及び教師データ生成方法 WO2021039298A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019157433A JP2021029979A (ja) 2019-08-29 2019-08-29 教師データ生成装置、教師データ生成プログラム及び教師データ生成方法
JP2019-157433 2019-08-29

Publications (1)

Publication Number Publication Date
WO2021039298A1 true WO2021039298A1 (ja) 2021-03-04

Family

ID=74678426

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/029670 WO2021039298A1 (ja) 2019-08-29 2020-08-03 教師データ生成装置、教師データ生成プログラム及び教師データ生成方法

Country Status (2)

Country Link
JP (1) JP2021029979A (ja)
WO (1) WO2021039298A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022250031A1 (ja) * 2021-05-24 2022-12-01

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240049944A1 (en) * 2020-12-29 2024-02-15 Anaut Inc. Recording Medium, Method for Generating Learning Model, and Surgery Support Device
WO2022168905A1 (ja) * 2021-02-04 2022-08-11 オリンパス株式会社 内視鏡システム、手技支援方法および手技支援プログラム
WO2022190740A1 (ja) * 2021-03-09 2022-09-15 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2022249572A1 (ja) * 2021-05-26 2022-12-01 ソニーグループ株式会社 画像処理装置、画像処理方法及び記録媒体
JPWO2023286337A1 (ja) * 2021-07-13 2023-01-19
JP7081862B1 (ja) * 2021-11-26 2022-06-07 株式会社Jmees 手術支援システム、手術支援方法、及び手術支援プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140358010A1 (en) * 2013-05-31 2014-12-04 Xerxes Battiwalla Clinical fitting assistance using software analysis of stimuli
WO2017013895A1 (ja) * 2015-07-22 2017-01-26 コニカミノルタ株式会社 コンソール及び動態画像撮影診断システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140358010A1 (en) * 2013-05-31 2014-12-04 Xerxes Battiwalla Clinical fitting assistance using software analysis of stimuli
WO2017013895A1 (ja) * 2015-07-22 2017-01-26 コニカミノルタ株式会社 コンソール及び動態画像撮影診断システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022250031A1 (ja) * 2021-05-24 2022-12-01
JP7368922B2 (ja) 2021-05-24 2023-10-25 アナウト株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム

Also Published As

Publication number Publication date
JP2021029979A (ja) 2021-03-01

Similar Documents

Publication Publication Date Title
WO2021039298A1 (ja) 教師データ生成装置、教師データ生成プログラム及び教師データ生成方法
JP6931121B2 (ja) 外科用認識システム
CA2967277C (en) Assessment of suture or staple line integrity and localization of potential tissue defects along the suture or staple line
US7613336B2 (en) Methods and apparatus for image recognition and dictation
US9396669B2 (en) Surgical procedure capture, modelling, and editing interactive playback
CN112789005A (zh) 自动内窥镜视频增强
JP2021531504A (ja) 外科トレーニング装置、方法及びシステム
KR101862360B1 (ko) 수술결과에 대한 피드백 제공방법 및 프로그램
WO2019202827A1 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
JP7153974B2 (ja) コンピュータプログラム、学習モデルの生成方法、及び画像処理装置
WO2023095492A1 (ja) 手術支援システム、手術支援方法、及び手術支援プログラム
KR20190080705A (ko) 수술결과에 대한 피드백 제공방법 및 프로그램
JP7457415B2 (ja) コンピュータプログラム、学習モデルの生成方法、及び支援装置
CN116869651A (zh) 提供基于虚拟现实的手术模拟的装置及方法
JP7496648B2 (ja) 手術内容評価システム、手術内容評価方法及びコンピュータプログラム
EP4241248A1 (en) System and method for annotation of anatomical tree structures in 3d images
CN117727300A (zh) 语音信息处理方法及装置
JP2022028086A (ja) 情報処理装置、提示方法、および手術システム
JP2023181214A (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
WO2021166208A1 (ja) 画像処理システム、内視鏡システム及び画像処理方法
KR102619729B1 (ko) 임상 기록 데이터 생성 방법 및 장치
KR20190130777A (ko) 복강경 수술 시뮬레이션 장치
CN105828712A (zh) 用于ct引导介入过程中的呼吸监测的方法和系统
JP7148193B1 (ja) 手術支援システム、手術支援方法、及び手術支援プログラム
WO2024004013A1 (ja) プログラム、情報処理方法、及び情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20858997

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20858997

Country of ref document: EP

Kind code of ref document: A1