WO2024004850A1 - 画像処理システム、画像処理方法及び情報記憶媒体 - Google Patents

画像処理システム、画像処理方法及び情報記憶媒体 Download PDF

Info

Publication number
WO2024004850A1
WO2024004850A1 PCT/JP2023/023293 JP2023023293W WO2024004850A1 WO 2024004850 A1 WO2024004850 A1 WO 2024004850A1 JP 2023023293 W JP2023023293 W JP 2023023293W WO 2024004850 A1 WO2024004850 A1 WO 2024004850A1
Authority
WO
WIPO (PCT)
Prior art keywords
infection
image
image processing
endoscopic
processing system
Prior art date
Application number
PCT/JP2023/023293
Other languages
English (en)
French (fr)
Inventor
駿平 西田
良寛 友田
美紀 長谷山
貴弘 小川
廉 藤後
Original Assignee
オリンパスメディカルシステムズ株式会社
国立大学法人北海道大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社, 国立大学法人北海道大学 filed Critical オリンパスメディカルシステムズ株式会社
Publication of WO2024004850A1 publication Critical patent/WO2024004850A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • the present invention relates to an image processing system, an image processing method, an information storage medium, and the like.
  • Patent Document 1 discloses a technology in which AI supports diagnosis of diseases from endoscopic images of digestive organs. In this technology, AI outputs diagnostic results for a single input image.
  • gastric cancer in the upper gastrointestinal tract.
  • gastric cancer is said to be a cancer that can be cured if detected early, morbidity and mortality rates are still very high. For this reason, the importance and accuracy of endoscopy of the upper gastrointestinal tract has attracted attention.
  • Helicobacter pylori infection causes gastric cancer, and it has also become clear that the risk of gastric cancer differs depending on the presence or absence of infection or the degree of atrophy.
  • One aspect of the present disclosure is a memory that stores a trained model that outputs an inference result indicating the infection status for each endoscopic image by identifying the infection status of Helicobacter pylori for each input endoscopic image.
  • a trained model that outputs an inference result indicating the infection status for each endoscopic image by identifying the infection status of Helicobacter pylori for each input endoscopic image.
  • the processor converts the plurality of endoscopic images, in which site information regarding a portion of the digestive tract is attached to each endoscopic image, into the learned
  • the plurality of inference results are obtained by inputting them into the model, the plurality of inference results are aggregated using the obtained plurality of inference results and the part information, and the plurality of inference results are aggregated based on the aggregated results.
  • the present invention relates to an image processing system that determines the Helicobacter pylori infection status of each case by integrating the inference results.
  • another aspect of the present disclosure uses a trained model that outputs an inference result indicating the infection status for each endoscopic image by identifying the infection status of Helicobacter pylori for each input endoscopic image.
  • An image processing method for determining the state of Helicobacter pylori infection wherein site information regarding the site of the gastrointestinal tract is attached to each endoscopic image and linked to one case in the trained model.
  • site information regarding the site of the gastrointestinal tract is attached to each endoscopic image and linked to one case in the trained model.
  • the present invention relates to an image processing method including performing an integration process of determining the Helicobacter pylori infection status of each case by integrating the plurality of inference results based on the above.
  • Still another aspect of the present disclosure is to create a trained model that outputs an inference result indicating the infection status for each endoscopic image by identifying the infection status of Helicobacter pylori for each input endoscopic image.
  • a computer-readable non-transitory information storage medium storing a program for causing a computer to determine the status of Helicobacter pylori infection using the trained model; obtaining a plurality of inference results by inputting a plurality of endoscopic images in which site information related to each endoscopic image is attached to each endoscopic image and linked to one case; and Aggregating the plurality of inference results using the results and the site information, and integrating the plurality of inference results based on the aggregation results, performs an integrated process of determining the H. pylori infection status of each case. It relates to an information storage medium that stores a program that causes a computer to execute.
  • FIG. 2 is an explanatory diagram of processing performed by the image processing system.
  • FIG. 2 is an explanatory diagram of processing performed by the image processing system.
  • An endoscopic image called RAC that appears on mucous membranes that have not been inflamed by Helicobacter pylori infection.
  • An example flow of integration processing that emphasizes model judgment accuracy.
  • a list of processes that can be included in the integrated process flow A list of processes that can be included in the integrated process flow.
  • the Kyoto classification is an example of a clinical perspective. Specific example of "related module”. Specific example of "related module”.
  • An example flow of integration processing using modules. A first detailed flow example of step S63.
  • FIG. 1 is an example of the configuration of an endoscope system.
  • Endoscope system 1 includes an endoscope 200, a video processor 250, a display 290, an image processing system 100, and a display 190.
  • an example will be described in which Helicobacter pylori infection is diagnosed using an endoscope for the upper gastrointestinal tract.
  • the method of diagnosing a disease on a case-by-case basis from a plurality of images in the present disclosure is applicable to diagnosis using not only an endoscope for the upper gastrointestinal tract but also various endoscopes.
  • the endoscope 200 is a flexible scope that is inserted into the digestive tract and photographs the inside of the digestive tract.
  • the endoscope 200 includes an insertion section inserted into a body cavity, an operation section connected to the base end of the insertion section, a universal cord connected to the base end of the operation section, and a universal cord connected to the base end of the universal cord. Including a connector part.
  • An imaging device for photographing the inside of the body cavity and an illumination optical system for illuminating the inside of the body cavity are provided at the distal end of the insertion section.
  • the imaging device includes an objective optical system and an image sensor that images a subject imaged by the objective optical system.
  • the connector section detachably connects the transmission cable to the video processor 250.
  • the image captured by the endoscope 200 will be referred to as an endoscopic image.
  • the video processor 250 is a processing device that performs endoscope control, image processing of endoscopic images, and display processing of endoscopic images.
  • the video processor 250 is configured with a processor such as a CPU, and processes image signals transmitted from the endoscope 200 to generate an endoscopic image, and displays the endoscopic image on the display 290 and the image processing system 100. Output.
  • the endoscope system 1 includes a light source device (not shown) that generates and controls illumination light.
  • the light source device may be housed in the same housing as the video processor 250, or may be housed in a separate housing.
  • the illumination light emitted by the light source device is guided by the light guide to the illumination optical system of the endoscope 200, and is emitted from the illumination optical system into the body cavity.
  • the image processing system 100 provides diagnostic support by determining the Helicobacter pylori infection status from endoscopic images and presenting the determination results to the doctor.
  • Image processing system 100 includes a processor 110 and memory 120.
  • the processor 110 includes hardware.
  • the processor 110 is, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a microcomputer, or a DSP (Digital Signal Processor).
  • the processor 110 may be an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or the like.
  • the processor 110 may be composed of one or more of a CPU, a GPU, a microcomputer, a DSP, an ASIC, an FPGA, and the like.
  • Memory 120 is, for example, a semiconductor memory that is volatile memory or nonvolatile memory.
  • the memory 120 may be a magnetic storage device such as a hard disk device, or an optical storage device such as an optical disk device.
  • the memory 120 includes a trained model 130 obtained by machine learning.
  • the trained model 130 is, for example, a neural network trained by deep learning.
  • the trained model 130 includes a program in which a neural network algorithm is written, weight parameters between nodes of the neural network, and the like.
  • a neural network consists of an input layer into which input data is input, a middle layer that performs calculation processing on the data input through the input layer, and an output layer that outputs inference results based on the calculation results output from the middle layer. ,including.
  • a learning system configured of an information processing device or a cloud system executes machine learning processing.
  • the learning system includes a processor and memory that stores models and training data.
  • the processor of the learning system generates the trained model 130 by training the model using the teacher data.
  • the image processing system 100 may also serve as a learning system.
  • the memory 120 stores a program 140 in which the contents of the process for determining the Helicobacter pylori infection status are described.
  • the processor 110 determines the Helicobacter pylori infection status by executing the program 140. Although the details will be described later, the processor 110 calculates the H. pylori infection status of each case by acquiring the inference result of the H. pylori infection status of each image from the trained model 130 and integrating the inference results of each image. Perform an integration process to determine.
  • the program 140 includes program modules in which each process is described, and the processor 110 executes each process by executing the program module.
  • the trained model 130 or the program 140 may be stored in a non-temporary information storage medium that is a computer-readable medium.
  • the information storage medium is, for example, an optical disk, a memory card, a hard disk drive, or a semiconductor memory.
  • the semiconductor memory is, for example, a ROM or a nonvolatile memory.
  • the image processing system 100 may be an information processing device housed in a separate housing from the video processor 250, or may be incorporated into the same housing as the video processor 250.
  • the image processing system 100 may be configured with a plurality of information processing devices. That is, multiple processors and multiple memories may be used.
  • the image processing system 100 uses a plurality of AI models, one information processing device may be assigned to each model, and the plurality of information processing devices may be communicatively connected.
  • the image processing system 100 may be realized by a cloud system in which a plurality of information processing apparatuses are connected via a network.
  • FIG. 2 shows examples of the positions of stomach parts and the names of the parts. Positions and names with the same circled numbers correspond. Although the positions of the parts are shown on the outside of the stomach, the endoscopic images are images of each part taken from inside the stomach. The position of the part may include not only the numbered part but also its surroundings, and may be spread out to some extent. Note that FIG. 2 is an example of the site, and H. pylori infection diagnosis may be performed by adding more sites, or H. pylori infection diagnosis may be performed by omitting some of the sites shown in FIG. Good too.
  • the trained model 130 includes an image check model 410, a site recognition model 420, and a Helicobacter pylori infection identification model 430.
  • the program 140 includes a program that describes the processes shown in FIGS. 3 and 4, and a program that describes the integration process 440.
  • the processor 110 acquires a group of images 12 taken by the endoscope 200.
  • the image group 12 is a plurality of endoscopic images IM1 to IM9 linked to one case.
  • the image group 12 associated with one case is illustrated as nine images, but as an example, the image group 12 is approximately 50 images.
  • the number of endoscopic images forming the image group 12 may be arbitrary.
  • Each endoscopic image is a so-called release image, and is an image taken by pressing a release button provided on the endoscope 200. Note that each endoscopic image is not limited to a release image, and may be a frame image of a moving image.
  • the processor 110 inputs the image group 12 to the image check model 410.
  • the image check model 410 excludes endoscopic images that are not suitable for diagnosing Helicobacter pylori infection status from the image group 12. Images unsuitable for diagnosis are images in which the visibility of the gastric mucosa is poor due to blur, blur, mucus, or the like. Bokeh and blur are conditions where the image is out of focus or the object is blurred due to movement.
  • the image group 14 includes a plurality of endoscopic images after exclusion. FIG. 3 shows an example in which endoscopic images IM2, IM5, and IM9 are excluded.
  • the image check model 410 is a model that has been trained by machine learning, and has been trained to determine whether the input endoscopic image is suitable for diagnosing the state of Helicobacter pylori infection. Note that the image check model 410 may be a program using a rule-based algorithm, or the image check may be manually executed by a person.
  • the processor 110 inputs the image group 12 to the body part recognition model 420.
  • the body part recognition model 420 provides each endoscopic image included in the image group 12 with information about the body part shown in the endoscopic image.
  • the part information is the name of the part, a tag indicating the part, or the like.
  • Each endoscopic image included in the image group 14 is attached with region information.
  • endoscopic images IM1 and IM3 are labeled as “site A”
  • endoscopic images IM4 and IM6 are labeled as “site B”
  • endoscopic images IM7 and IM8 are labeled as “site C.”
  • An example is shown below.
  • Each of sites A to C is one of the seven sites shown in FIG.
  • endoscopic images are taken for each of the seven sites shown in FIG. 2.
  • the body part recognition model 420 is a model that has been trained by machine learning, and has been trained to output information about the body part that appears in the input endoscopic image. Note that the body part recognition model 420 may be a program using a rule-based algorithm, or body part recognition may be manually performed by a person.
  • the processor 110 inputs the image group 14 to the Helicobacter pylori infection identification model 430.
  • the Helicobacter pylori infection identification model 430 identifies the Helicobacter pylori infection status from each endoscopic image included in the image group 14, and outputs the result.
  • the identification results are, for example, three classifications: uninfected, infected, and currently infected. Uninfected means a person has never been infected. A pre-infected person is a person who has been infected in the past, has been eradicated, and is currently not infected. Current infection is the state of being currently infected.
  • the identification result may be whether the virus is uninfected, infected or not, or currently infected. Alternatively, the identification result may be whether there are findings specific to Helicobacter pylori infection.
  • the identification result group 16 includes the region information attached to each endoscopic image by the region recognition model 420, and the identification result of Helicobacter pylori infection for each endoscopic image.
  • the identification result group 16 may be an information group in which the ID of the endoscopic image, part information, and identification result are associated with each other, and does not need to include the endoscopic image itself. In FIG. 4, for example, region A and result a are associated with the ID of endoscopic image IM1.
  • the processor 110 executes an integration process 440 that integrates the inference results of multiple images included in the identification result group 16, and outputs the Helicobacter pylori infection status 450 for each case.
  • the processor 110 weights the inference results of the plurality of images based on sites or findings important for identifying the infection state, and then integrates the inference results.
  • Processor 110 displays the inference results on display 190. Note that the inference result may be displayed on the display 290. In that case, display 190 may be omitted.
  • the H. pylori infection status is inferred from each endoscopic image of a plurality of endoscopic images linked to one case, and the multiple inference results are integrated. The H. pylori infection status of the unit is determined.
  • FIG. 5 is an example of an image displaying the inference result of Helicobacter pylori infection status.
  • the image 30 includes an area 31 where an image of the integrated processing flow is displayed and an area 32 where the inference result is displayed.
  • an inference result 33 and an image list 34 are displayed.
  • An example of the inference result 33 is "There was no infection due to the factor XXX at the time of integrating the inference results.”
  • XXX is, for example, a finding that was emphasized in the integration process, or a step in the flow and how the decision was made.
  • the image list 34 is endoscopic images that are determined to be in the same infected state as uninfected, which is the inference result for each case, among the image group 14 input to the Helicobacter pylori infection identification model 430.
  • the image list 34 is a list of endoscopic images that are determined to be uninfected on an image-by-image basis.
  • the doctor can expect to reconfirm the diagnosis result or have an educational effect. For example, by looking at the image 30, a doctor can think, ⁇ The infection status that I judged was different from the infection status that the system inferred.I would like to utilize this experience in future diagnoses.'' .
  • Figure 6 is an example of a clinical perspective.
  • an example is shown in which the Kyoto classification, doctors' opinions, and book information are combined, but the clinical viewpoint reflected in the integration method is not limited to that shown in FIG.
  • the "No.” column shown in FIG. 6 is the order in which a doctor looks at the parts when diagnosing Helicobacter pylori infection.
  • the column "Importance with respect to Helicobacter pylori infection status” indicates which site the doctor places emphasis on findings when determining each infection status. For example, a doctor places emphasis on findings appearing in the EG junction, antrum, and lesser curvature of the gastric angle to determine whether or not the patient is uninfected.
  • the column “Determination of Helicobacter pylori infection status based on findings” refers to how a doctor can determine the infection status based on site findings.
  • each infection state (uninfected, previously infected, and currently infected) has mucosal conditions or sites that are important for clinical identification.
  • No. Take, for example, the lesser curvature of the gastric angle shown in 5.
  • FIG. 7 is an endoscopic image of what is called RAC, which appears in mucous membranes that are not inflamed due to Helicobacter pylori infection. As shown within the dotted line 50, the RAC is the grain-like texture of the mucosa. Physicians use the presence or absence of RAC in the lesser curvature of the gastric angle as one of the criteria for determining whether or not the patient is infected.
  • FIG. 8 is an example of the flow of integration processing with emphasis on a clinical perspective.
  • the processor 110 inputs the identification result group 16 output by the Helicobacter pylori infection identification model 430 to the integration process 440.
  • step S1 the processor 110 determines whether it is true or false that the important part in the identification result group 16 is determined to be uninfected. Referring to FIG. 6, for example, the processor 110 determines whether the endoscopic image of the EG junction, the antrum, or the lesser curvature of the gastric angle is true or false.
  • step S1 the processor 110 determines that the case is not infected in step S2. If the result in step S1 is false, in step S3, the processor 110 performs a majority vote using the results of the parts important for determining current infection in the identification result group 16, and determines whether there are many current infections. . Referring to FIG. 6, for example, the processor 110 determines that among the number of endoscopic images of the upper part of the body, the middle part of the body, and the upper part of the body looking down on the greater curvature of the body, the number of endoscopic images determined to be currently infected is Determine the truth or falsehood of whether there are more than half.
  • step S3 the processor 110 determines that the case is a current infection in step S4. If the result in step S3 is false, the processor 110 determines in step S5 that the case is already infected.
  • FIG. 9 is an example flow of integration processing that emphasizes model judgment accuracy.
  • the processor 110 inputs the identification result group 16 output by the Helicobacter pylori infection identification model 430 to the integration process 440.
  • step S11 the processor 110 selects an identification result regarding a predetermined region from the identification result group 16.
  • the number of parts to be selected may be one or more.
  • FIG. 9 shows an example in which identification results regarding parts A and B among parts A to C are left.
  • the predetermined region is a region with high model determination accuracy, and is determined by evaluating the model in advance. For example, the judgment accuracy when the endoscopic images of parts A and B are input into model X is compared with the judgment accuracy when the endoscopic image of part C is input into model X. Parts A and B are selected when the determination accuracy is high.
  • model X the judgment accuracy when the endoscopic images of parts A and B are input into model X is compared with the judgment accuracy when the endoscopic image of part C is input into model Y, which is different from model X,
  • model X may be adopted and parts A and B may be selected.
  • step S12 the processor 110 determines whether the number of uninfected sheets in the selected identification result group is greater than or equal to a predetermined threshold (here, 60%).
  • a predetermined threshold here, 60%
  • the predetermined threshold value is not limited to 60%, and may be appropriately determined by the user in consideration of the characteristics of the Helicobacter pylori infection identification model 430.
  • step S12 the processor 110 determines that the case is not infected in step S13. If the result in step S12 is false, in step S14, the processor 110 performs a majority vote on the selected identification result group and determines whether it is true or false that there are many current infections.
  • step S14 the processor 110 determines that the case is a current infection in step S15. If the result in step S14 is false, the processor 110 determines in step S16 that the case is already infected.
  • the site selection may be performed for each of steps S12 and S14. That is, the first selection is performed before step S12, and the second selection is performed before step S14, and the part selected in the second selection may be different from the part selected in the first selection.
  • the present embodiment by integrating multiple inference results based on a clinical perspective or model judgment accuracy, it is possible to automate comprehensive judgments that would be made by a doctor. By using a clinical perspective or model determination accuracy, it is possible to accurately determine the infection status of Helicobacter pylori. Furthermore, by using an integration method that emphasizes model judgment accuracy, the integration process is organized based on the evaluation of the actual judgment accuracy, and further improvement in accuracy can be expected.
  • the flow of the integration process is not limited to those shown in FIGS. 8 and 9.
  • the flow of the integration process may be configured by combining an integration method that emphasizes a clinical perspective and an integration method that emphasizes model determination accuracy.
  • various processes or determinations may be prepared and combined to form an integrated process flow.
  • FIG. 4 shows an example in which the output results of the Helicobacter pylori infection identification model 430 are integrated, the outputs of multiple models may be integrated.
  • FIG. 10 is an explanatory diagram of examples of a plurality of models and their learning methods.
  • the multiple models include a main model that identifies the infection status of various sites, and a specialized model that identifies the infection status of a specific site or specific findings related to the infection status.
  • the main model is a model that can identify Helicobacter pylori infection status without specializing in infection status, site, and findings.
  • the main model is a Helicobacter pylori infection identification model 430, which classifies each endoscopic image into three categories: current infection, existing infection, and non-infection.
  • a specialized model is a model that makes judgments specifically for a particular infection state, a particular site, or a particular finding.
  • the specialized models include, for example, a vestibular specialized model 520, a RAC specialized model 530, and a current infection specialized model 540.
  • the vestibular specialized model 520 determines the presence or absence of atrophy from the endoscopic image of the vestibule.
  • the RAC specialized model 530 determines the presence or absence of RAC from the endoscopic image of the lesser curvature of the gastric angle.
  • the current infection specific model 540 determines the presence or absence of diffuse redness or the presence or absence of fold swelling from endoscopic images of the middle part of the greater curvature body and the upper part of the greater curvature body.
  • the learning system In learning, the learning system generates a model 550 after self-supervised learning by self-supervised learning.
  • self-supervised learning endoscopic images of various parts of the stomach are input to the model, and representations of the endoscopic images are learned.
  • the learning system generates a main model and a specialized model by performing fine tuning learning using the model 550 after self-supervised learning.
  • An example of fine-tuning learning is so-called knowledge distillation.
  • the model 550 after self-supervised learning is the teacher model, and the main model and specialized model are student models.
  • the teacher data includes an endoscopic image and a correct label attached to the endoscopic image.
  • the learning system inputs the endoscopic image of the teacher data into the model 550 after self-supervised learning, uses the output as a soft target, and uses the correct label of the teacher data as a hard target.
  • the learning system inputs the endoscopic image of the teacher data to the student model, and performs learning of the student model based on the output and an evaluation function calculated from the soft target and hard target.
  • each model may be generated by so-called supervised learning.
  • the current infection-specific model 540 may determine atrophy and diffuse redness in the lower part of the greater curvature.
  • the main model targets images observed under WLI (white light) illumination, for example.
  • the main model may be an image observed using illumination other than WLI, or an image observed of a stained tissue.
  • FIG. 11 is an example flow of the process of integrating the outputs of the main model and the specialized model.
  • the processor 110 inputs a plurality of endoscopic images to the main model, and the main model outputs an inference result for each endoscopic image. All sites may be used here, or some sites with high accuracy in determining whether or not they are infected may be used.
  • step S22 the processor 110 determines whether the number of images determined to be uninfected by the main model is greater than or equal to a threshold value.
  • the processor 110 may determine whether the ratio of the number of images determined to be uninfected by the main model to the number of images input to the main model is equal to or greater than a threshold value.
  • step S22 the processor 110 determines in step S23 that the difference between the number of images determined to be infected by the main model and the number of images determined to be uninfected by the main model is equal to or less than the threshold. Determine whether or not.
  • the processor 110 determines the Helicobacter pylori infection status of the case as uninfected in step S24. If the difference is less than or equal to the threshold in step S23, in step S25, the processor 110 selects an endoscopic image of the region to be determined by the specialized model 1.
  • the specialized model 1 is a vestibular specialized model 520 and a RAC specialized model 530. That is, the selected regions are the antrum and the lesser curvature of the gastric angle.
  • step S26 the processor 110 inputs the endoscopic images of the selected region to the specialized model 1, and the specialized model 1 outputs the inference results for each endoscopic image.
  • steps S27 and S28 the processor 110 determines the Helicobacter pylori infection status of the case as uninfected or infected based on the output of the specialized model 1. Specifically, the processor 110 inputs the prerequisite endoscopic image to the vestibular specialized model 520, and the vestibular specialized model 520 outputs the presence or absence of atrophy for each endoscopic image. The processor 110 inputs the endoscopic image of the lesser curvature of the gastric angle to the RAC specialized model 530, and the RAC specialized model 530 outputs the presence or absence of RAC for each endoscopic image. The processor 110 determines whether the case is uninfected or infected based on these identification results.
  • step S22 the processor 110 determines in step S29 that the difference between the number of images determined to be infected by the main model and the number of images determined to be currently infected by the main model is greater than or equal to the threshold. Determine whether it exists or not.
  • step S30 the processor 110 determines that the difference between the number of images determined to be infected by the main model and the number of images determined to be uninfected by the main model is less than or equal to the threshold. Determine whether it exists or not.
  • step S30 determines the H. pylori infection status of the case as already infected in step S31. If the difference is less than or equal to the threshold in step S30, in step S32, the processor 110 selects an endoscopic image of the region to be determined by the specialized model 1. Steps S32 to S35 are similar to steps S25 to S28.
  • step S36 the processor 110 selects the endoscopic image of the region to be determined by the specialized model 2.
  • the specialized model 2 is a current infection specialized model 540. That is, the selected parts are the middle part of the greater curvature and the upper part of the greater curvature.
  • step S37 the processor 110 inputs the endoscopic images of the selected region to the specialized model 2, and the specialized model 2 outputs the inference results for each endoscopic image.
  • steps S38 and S39 the processor 110 determines the Helicobacter pylori infection status of the case as already infected or currently infected based on the output of the specialized model 2. Specifically, the processor 110 inputs the endoscopic images of the middle part of the greater curvature and the upper part of the greater curvature to the current infection specialized model 540, and the current infection specialized model 540 Outputs the presence or absence of diffuse redness or wrinkle swelling. The processor 110 determines whether the case is already infected or currently infected based on the identification result.
  • the integrated processing flow described in FIGS. 8, 9, and 11 is an example, and the integrated processing flow may be configured by combining various processes as described below. 12 to 15 are lists of processes that can be incorporated into the integrated processing flow.
  • the integrated processing flow is configured by combining processes 1 to 11 shown in FIGS. 12 to 15. It is not necessary that all of treatments 1-11 be used. Furthermore, the same process may be used multiple times in a flow.
  • the processor 110 inputs the output of the main model to Process 2.
  • the input is the result of classification of uninfected, already infected, and currently infected for each endoscopic image of a site selected based on accuracy.
  • the processor 110 determines whether the ratio of the number of images determined to be in the specific infection state A to the total number of images of the input identification results is equal to or greater than a threshold value tha.
  • the total number of images of the input identification result is the number of endoscopic images of the site selected based on accuracy.
  • the threshold value tha is 60%.
  • the processor 110 determines whether the ratio of the number of images determined to be uninfected among the total number of images of the input identification results is greater than or equal to a threshold value of 60%.
  • the processor 110 determines that the case is in the specific infection state A when the ratio is equal to or greater than the threshold tha.
  • the processor 110 may then determine that the case is in the specific infection state A, or may proceed to the next process based on the determination result. In the latter case, for example, the processor 110 may determine the infection state using the result of determining that the case is in the specific infection state A in process 2 and the determination result obtained in the subsequent process.
  • the processor 110 may proceed to the next process while determining that the case is not in the specific infection state A, assuming that there are two possible categories other than the specific infection state A.
  • the result of determining that the case is in specific infection status A in process 2 and the determination result obtained in the subsequent process can be used.
  • the infection status may be determined.
  • Each of the specific infection states A to D shown in FIGS. 12 to 15 is uninfected, infected, or currently infected.
  • the thresholds tha to thd may be different values, or any two or more of them may be the same value.
  • the execution order of processes 1 to 11 may be arbitrary, but as an example, processes 5 or 6 are executed after processes 1, 2, 3, or 4. Alternatively, processing 7 or 8 is executed after processing 1, 2, 3, or 4. Alternatively, processing 8 or 10 is executed after processing 7 or 8.
  • FIGS. 12 to 15 there is an item “site inside the stomach” under “input to processing”. This item refers to the part to be selected. Specifically, the item “Stomach internal site” indicates which site's endoscopic image should be input to the "related module” or which site's identification result output from the "related module”. It means whether to use the identification result.
  • FIG. 16 is a list of selection methods. Method 2 of selecting a region based on the accuracy of the model was also described above with reference to FIG. Furthermore, method 3 for selecting a site from a clinical perspective has also been described above with reference to FIGS. 6 to 9.
  • Figure 17 shows the Kyoto classification, which is an example of the clinical perspective used in Method 3.
  • "Localization” corresponds to a site within the stomach.
  • "Infection” corresponds to current infection, and "after eradication” corresponds to existing infection.
  • the ⁇ shown in “infected”, “uninfected”, and “after eradication” means whether or not “endoscopic findings” are likely to be observed at the site shown in “localization” in the infected state. For example, the finding of diffuse redness in the entire gastric mucosa is often observed in “infected” patients, but not in “uninfected” and "post-sterilized” patients.
  • FIGS. 18 and 19 are specific examples of "related modules” in FIGS. 12 to 15.
  • “Characteristics” and “What is it useful for?” indicate the purpose or nature of the module.
  • "Learning” indicates “teacher data” used in the learning stage of the module.
  • “Inference” indicates “input” to the module and “output” from the module in the inference stage.
  • the main model is used as the main model for processing 1, 2, 5, 6, or 7 in FIGS. 12 to 15.
  • the main model in FIG. 18 can identify current infection, existing infection, and non-infection by inputting endoscopic images of all parts. At this time, by inputting the endoscopic images of some parts into the main model, or by inputting the identification results of some parts out of the output of the main model into the integration process, processing 2 in FIGS. 12 to 15 can be performed. , 4, 6, and 7 can be realized.
  • the current infection specialized model, the vestibular specialized model, and the RAC specialized model are used as processing 4 or 8 in FIGS. 12 to 15.
  • the atrophy model is used as processing 10 in FIGS. 12 to 15.
  • Training data is the input to the model in the learning stage and the correct label attached to the input.
  • This "teacher data” is used, for example, as teacher data in supervised learning.
  • the output of the teacher model is the soft target, and the correct label of "teacher data” is the hard target.
  • FIG. 20 is a flow example of an integration process using the modules of FIGS. 18 and 19.
  • the parts indicated by circled numbers in the flow correspond to the parts indicated by circled numbers in FIG.
  • step S51 the processor 110 inputs endoscopic images of the greater curvature of the stomach, the greater curvature of the body looking down (middle body), and the greater curvature of the body looking down (upper body) from the lower part of the body into the current infection specialized model.
  • the current infection specialized model outputs an inference result regarding whether or not each endoscopic image is currently infected.
  • step S61 the processor 110 determines whether the ratio of the number of images determined to be currently infected to the total number of images of the inference results output by the current infection specialized model is greater than or equal to the threshold th1.
  • the processor 110 determines the H. pylori infection status of the case as current infection in step S81.
  • the processor 110 acquires past interview information in step S52.
  • memory 120 stores past interview information regarding the case, and processor 110 reads past interview information from memory 120.
  • the processor 110 may acquire past interview information regarding the case from an external database of the endoscope system 1.
  • step S62 the processor 110 determines whether there is a record of "sterilization success" in the past medical interview information.
  • step S62 the processor 110 determines the Helicobacter pylori infection status of the case as already infected in step S82.
  • the processor 110 determines whether the H. pylori infection status of the case is infected or uninfected in step S63, and the processor 110 determines whether the infection status of the case is already infected or not. It is determined that the virus is infected, or it is determined that the virus is not infected in step S84.
  • FIG. 21 is a first detailed flow example of step S63.
  • the processor 110 inputs endoscopic images of the greater curvature of the gastric angle, the antrum, the lesser curvature of the gastric angle, and the lesser curvature of the body from the lower part of the body to the main model, and the main model Classify images as currently infected, infected, or uninfected.
  • step S71 the processor 110 determines whether the ratio of the number of images determined to be uninfected to the total number of images of the inference results output by the main model is greater than or equal to the threshold th2.
  • step S71 if the ratio is smaller than the threshold th2, in step S83a, the processor 110 determines the H. pylori infection status of the case as already infected.
  • step S71 if the ratio is equal to or greater than the threshold th2, in step S54, the processor 110 inputs the endoscopic image of the lesser curvature of the gastric angle to the atrophy model, and the atrophy model calculates the presence or absence of atrophy from each endoscopic image. to judge.
  • step S72 the processor 110 determines whether the ratio of the number of images determined to have atrophy to the total number of images of the inference results output by the atrophy model is greater than or equal to the threshold th3.
  • step S72 if the ratio is equal to or greater than the threshold th3, in step S83b, the processor 110 determines the Helicobacter pylori infection status of the case as already infected.
  • step S73 if the ratio is smaller than the threshold th3, in step S84, the processor 110 determines the H. pylori infection status of the case to be uninfected.
  • FIG. 22 is a second detailed flow example of step S63.
  • the processor 110 inputs endoscopic images of the greater curvature of the gastric angle, the antrum, the lesser curvature of the gastric angle, and the lesser curvature of the body from the lower part of the body to the main model, and the main model Classify images as currently infected, infected, or uninfected.
  • step S73 the processor 110 determines whether the ratio of the number of images determined to be uninfected to the total number of images of the inference results output by the main model is equal to or greater than a threshold value th4.
  • step S73 if the ratio is smaller than the threshold th4, in step S83c, the processor 110 determines the Helicobacter pylori infection status of the case as already infected.
  • step S73 if the ratio is equal to or greater than the threshold th4, in step S55, the processor 110 inputs the endoscopic image of the lesser curvature of the gastric angle to the RAC specialized model, and the RAC specialized model inputs the endoscopic image of each endoscopic image. The presence or absence of RAC is determined from this.
  • step S74 the processor 110 determines whether the ratio of the number of images determined to have atrophy to the total number of images of the inference results output by the RAC specialized model is greater than or equal to the threshold th5.
  • step S74 if the ratio is equal to or greater than the threshold th5, in step S83d, the processor 110 determines the H. pylori infection status of the case as already infected.
  • step S74 if the ratio is smaller than the threshold th4, in step S56, the processor 110 inputs the endoscopic images of the vestibule to the vestibular specialization model, and the vestibular specialization model inputs the vestibular endoscopic images from each endoscopic image. Determine the presence or absence of atrophy in the antrum.
  • step S75 the processor 110 determines whether the ratio of the number of images determined to have atrophy, that is, infected, to the total number of images of the inference results output by the vestibular specialized model is equal to or greater than a threshold value th6. to judge.
  • step S75 if the ratio is equal to or greater than the threshold th6, in step S83e, the processor 110 determines the Helicobacter pylori infection status of the case as already infected.
  • step S75 if the ratio is smaller than the threshold th6, in step S84, the processor 110 determines the H. pylori infection status of the case to be uninfected.
  • the image processing system 100 of this embodiment described above includes a memory 120 and a processor 110.
  • the memory 120 stores a trained model 130 that outputs an inference result indicating the infection status of each endoscopic image by identifying the infection status of Helicobacter pylori for each input endoscopic image.
  • the processor 110 obtains a plurality of inference results by inputting a plurality of endoscopic images associated with one case into the trained model 130, and integrates the obtained plurality of inference results to calculate a case-by-case result. Performs integrated processing to determine the status of Helicobacter pylori infection.
  • the processor 110 acquires a plurality of inference results by inputting into the learned model 130 a plurality of endoscopic images in which region information regarding the region of the gastrointestinal tract is attached to each endoscopic image.
  • the processor 110 aggregates the multiple inference results using the acquired multiple inference results and site information, and integrates the multiple inference results based on the aggregated results to determine the H. pylori infection status of each case. to judge.
  • a plurality of inference results can be obtained by the trained model 130 inferring the H. pylori infection status for each endoscopic image from a plurality of endoscopic images linked to one case. Then, the processor 110 can determine the Helicobacter pylori infection status of the case by integrating the multiple inference results. Although it is assumed that the inference results for the H. pylori infection status are different for each endoscopic image, by integrating them, it becomes possible to comprehensively judge the H. pylori infection status for the entire case rather than for each image. Furthermore, compared to the case where the H. pylori infection status is determined on an image-by-image basis, it is possible to make a judgment similar to the comprehensive judgment made by a doctor, so that the H. pylori infection status of the entire case can be determined with high accuracy.
  • the learned model 130 may be a main model, a specialized model, or may include a main model and a specialized model.
  • the "inference result indicating the infection state for each endoscopic image” may be either the inference result of the main model or the inference result of the specialized model.
  • the "inference results indicating the infection status for each endoscopic image” are divided into three categories: already infected, uninfected, and currently infected; or the presence or absence of specific findings. "Aggregating multiple inference results” means calculating the number of images based on the inference results.
  • aggregation can be used to sum up the number of images that are determined to be uninfected as a result of inference, to total the number of images that are determined to have a specific finding as a result of inference, or to be used for inference regarding a certain body part. For example, totaling the number of images.
  • the integration process may include at least one of the first process and the second process.
  • the first process may be a process of determining that the Helicobacter pylori infection state of the specific site is the first infection state when the ratio of the number of second images to the number of first images is equal to or higher than a specific threshold value.
  • the second process when the ratio of the number of second images to the number of first images is less than or equal to a specific threshold, the infection status of Helicobacter pylori at a specific site is determined to be the first infection status among current infection, pre-infection, and non-infection.
  • the process may also be a process of determining that it is something other than that.
  • the first number of images may be the number of endoscopic images to which part information of a specific part is attached among the plurality of endoscopic images.
  • the number of second images may be the number of endoscopic images determined to be in the first infection state by the trained model 130.
  • the first infection state may be any one of current infection, already infected, and uninfected.
  • the present embodiment it is possible to determine whether the Helicobacter pylori infection state of a specific site is the first infection state by at least one of the first processing and the second processing. That is, it is possible to determine whether the Helicobacter pylori infection status of a specific site is uninfected, already infected, or currently infected. By incorporating such judgment into the integrated process, it becomes possible to make an integrated judgment on the H. pylori infection status of each case.
  • the "integration process” here corresponds to processes 2, 4, 6, 7, 8, or 10 in FIGS. 12 to 15.
  • the "specific region” is the region selected based on accuracy
  • the "first number of images” is the region selected based on accuracy from among multiple endoscopic images linked to one case. This is the number of endoscopic images that show the part.
  • the "first infection state” is the specific infection state A
  • the “second number of images” is the endoscopic image that is determined to be the specific infection state A among the endoscopic images that show the site selected based on the accuracy. is the number of sheets.
  • the "specific threshold value” is the threshold value tha.
  • the specific site may be a site in the gastrointestinal tract where important findings for the first infection state occur.
  • the inference result for the endoscopic image of the specific site can be used to determine whether the case is in the first infection state or not. It can be used as a basis for making decisions. By incorporating such judgment into the integrated process, it becomes possible to accurately and integratedly judge the H. pylori infection status of each case.
  • the "specific site” here corresponds to the "clinically selected site” in FIG. 14. That is, the “integration process” here corresponds to process 7 or 8 in FIG.
  • a specific finding is a finding that is unique (characteristic) to the state of Helicobacter pylori infection that appears at a specific site from a clinical perspective. For example, in the example of FIG. 6, atrophy of the antrum or RAC of the lesser curvature of the gastric angle are specific findings.
  • the specific site may include a site in the digestive tract where the first infection state is identified with the highest accuracy by the trained model 130.
  • the inference result for the endoscopic image of the specific part is applied to the case. This can be used as a basis for determining whether or not the person is in the primary infection state. By incorporating such judgment into the integrated process, it becomes possible to accurately and integratedly judge the H. pylori infection status of each case.
  • the trained model 130 classifies the input endoscopic image as to whether it corresponds to current infection, already infected, or uninfected, and outputs the classification result as an inference result. Good too.
  • the Helicobacter pylori infection status of a case can be determined by integrating the classification results of current infection, existing infection, and non-infection inferred for each endoscopic image. It is assumed that the classification results of current infection, pre-infection, and non-infection are different for each endoscopic image, but by integrating them, it is possible to comprehensively judge the H. pylori infection status of the entire case rather than image by image. It becomes like this.
  • the learned model 130 here corresponds to the main model in FIGS. 12 to 14. That is, the “integration processing” here corresponds to processing 1, 2, 5, 6, or 7 in FIGS. 12 to 14. However, the learned model 130 may further include models other than the main model.
  • the trained model 130 determines whether the input endoscopic image corresponds to a specific infection state among current infection, past infection, and non-infection, and transmits the determination result. Output as the inference result.
  • the Helicobacter pylori infection status of a case can be determined by integrating the determination results of whether each endoscopic image corresponds to a specific infection status inferred. It is assumed that the judgment result of whether a specific infection status is applicable for each endoscopic image will be different, but by integrating them, it is possible to comprehensively judge the H. pylori infection status of the entire case, not just for each image. It becomes like this.
  • the learned model 130 may further include models other than the specialized model. “Whether or not the person falls under a specific infection state” refers to whether or not the person is uninfected, currently infected, or already infected.
  • the trained model 130 may determine the presence or absence of atrophy in the input endoscopic image, and may output the determination result as an inference result.
  • the Helicobacter pylori infection status of a case can be determined by integrating the determination results of the presence or absence of atrophy inferred for each endoscopic image. Although it is assumed that the determination results for the presence or absence of atrophy are different for each endoscopic image, by integrating them, it becomes possible to comprehensively determine the H. pylori infection status of the entire case rather than just each image.
  • Atrophy refers to a state in which the gastric mucosa becomes thinner due to chronic inflammation. "Atrophy” may be accompanied by inflammation, or may be atrophy that remains after inflammation disappears. “Atrophy” may include, for example, atrophic gastritis or intestinal metaplasia.
  • the "trained model” here corresponds to the atrophy model in FIG. 15. That is, the “integration process” here corresponds to process 9 or 10 in FIG. However, the learned model 130 may further include models other than the atrophy model.
  • the trained model 130 determines the presence or absence of specific findings associated with a specific infection status among current infection, past infection, and non-infection from the input endoscopic image, and the determination result is may be output as the inference result.
  • the Helicobacter pylori infection status of a case can be determined by integrating the determination results of the presence or absence of specific findings inferred for each endoscopic image. It is assumed that the judgment results for the presence or absence of specific findings will differ for each endoscopic image, but by integrating them, it will be possible to comprehensively judge the H. pylori infection status of the entire case, rather than image by image.
  • the "trained model” here corresponds to the current infection specialized model, vestibular region specialized model, RAC specialized model, or atrophy model in FIGS. 18 and 19. That is, the "integration process” here is based on the aggregation result of the output of the model.
  • the learned model 130 may further include models other than the above models.
  • the trained model 130 includes a first trained model that outputs an inference result from an endoscopic image in which parts belonging to the first part group are shown, and an endoscope image in which parts belonging to the second part group are shown. and a second trained model that outputs an inference result from the image.
  • the processor 110 may obtain the first plurality of inference results by inputting a plurality of endoscopic images in which parts belonging to the first part group are shown to the first trained model.
  • Processor 110 may obtain a second plurality of inference results by inputting a plurality of endoscopic images in which parts belonging to the second part group appear to the second trained model.
  • the processor 110 may determine the Helicobacter pylori infection status for each case based on the first plurality of inference results and the second plurality of inference results that have been obtained.
  • the H. pylori infection status of each case can be determined by combining various trained models and integrating the inference results output by each trained model. For example, it is possible to prepare models depending on the site or findings and to combine these models, making it possible to accurately determine the infection status of Helicobacter pylori on a case-by-case basis.
  • each of the first site group and the second site group is all or part of the stomach sites.
  • the second site group may be the same as or different from the first site group.
  • the parts included in the second part group may overlap with the parts included in the first part group.
  • Each of the first trained model and the second trained model is the main model or specialized model shown in FIGS. 12 to 15.
  • each of the "first trained model” and “second trained model” includes the main model, current infection specialized model, vestibular region specialized model, RAC specialized model, and atrophy shown in FIGS. 18 and 19. Either model.
  • the "second trained model” may be a different model from the "first trained model” or may be the same model. When the "second trained model” is the same model as the "first trained model", the second part group only needs to be different from the first part group.
  • the processor 110 determines the H. pylori infection status for each case based on the total result obtained by compiling the first plurality of inference results and the total result obtained by compiling the second plurality of inference results. You may.
  • the H. pylori infection status is determined based on the result of aggregating the first plurality of inference results
  • the H. pylori infection state is determined based on the result of aggregation of the second plurality of inference results.
  • step S61 it is determined whether or not the infection is present based on the inference result of the current infection specialized model, and in step S71 it is determined whether or not the person is currently infected based on the inference result of the main model. are determined and integrated to determine whether the person is uninfected, infected, or currently infected.
  • one of the current infection specialized model and the main model corresponds to the first trained model, and the other corresponds to the second trained model.
  • the first trained model classifies whether the input endoscopic image corresponds to current infection, already infected, or uninfected, and outputs the classification result as the inference result. You may.
  • the second trained model determines whether the input endoscopic image corresponds to a specific infection state among current infection, already infected, and uninfected, and determines the result of the determination. may be output as the inference result.
  • the second trained model may determine the presence or absence of atrophy in the input endoscopic image, and may output the determination result as the inference result.
  • the second trained model determines the presence or absence of specific findings associated with a specific infection status among current infection, past infection, and non-infection based on the input endoscopic image, and makes the determination.
  • the result may be output as an inference result.
  • the processor 110 uses the judgment result of the H. pylori infection state through the integrated processing and the endoscopic image of the same infection state as the judgment result among the plurality of endoscopic images.
  • the list is displayed on the display 190.
  • the H. pylori infection status of a case automatically determined by the trained model and program and a list of endoscopic images with the same infection status as the determination result can be presented to the doctor.
  • the doctor can expect to reconfirm the diagnosis results or have an educational effect.
  • the image processing method uses the trained model 130 to determine the Helicobacter pylori infection status.
  • the trained model 130 identifies the Helicobacter pylori infection status for each input endoscopic image, and outputs an inference result indicating the infection status for each endoscopic image.
  • the image processing method includes acquiring a plurality of inference results by inputting a plurality of endoscopic images to the learned model 130. Site information regarding the part of the digestive tract is attached to each endoscopic image of the plurality of endoscopic images, and the plurality of endoscopic images are linked to one case.
  • the image processing method includes performing integration processing.
  • the integration process aggregates the multiple inference results using the acquired multiple inference results and body part information.
  • the integration process determines the H. pylori infection status of each case by integrating a plurality of inference results based on the aggregation results.
  • this embodiment may be implemented as a program or an information storage medium. That is, the program causes the computer to determine the Helicobacter pylori infection status using the learned model 130.
  • the trained model 130 identifies the Helicobacter pylori infection status for each input endoscopic image, and outputs an inference result indicating the infection status for each endoscopic image.
  • the program causes the computer to acquire a plurality of inference results by inputting a plurality of endoscopic images to the learned model 130. Site information regarding the part of the digestive tract is attached to each endoscopic image of the plurality of endoscopic images, and the plurality of endoscopic images are linked to one case.
  • the program causes the computer to perform the integration process.
  • the integration process determines the H. pylori infection status of each case by integrating a plurality of inference results based on the aggregation results.
  • the program may be stored on a non-transitory computer readable information storage medium.
  • SYMBOLS 1 DESCRIPTION OF SYMBOLS 1... Endoscope system, 100... Image processing system, 110... Processor, 120... Memory, 130... Learned model, 140... Program, 190... Display, 200... Endoscope, 250... Video processor, 290... Display, 410... Image check model, 420... Site recognition model, 430... Helicobacter pylori infection identification model, 440... Integrated processing, 450... Helicobacter pylori infection status, 520... Antrum specialized model, 530... RAC specialized model, 540... Current Infection-specific models, IM1 to IM9...Endoscopic images

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

画像処理システム（１００）は、学習済みモデル（１３０）を記憶するメモリ（１２０）と、プロセッサ（１１０）とを含む。プロセッサ（１１０）は、１つの症例に紐付く複数の内視鏡画像を学習済みモデル（１３０）へ入力することで複数の推論結果を取得する。各内視鏡画像に対して、消化管の部位に関する部位情報が付されている。プロセッサ（１１０）は、取得された複数の推論結果と、部位情報とを用いて複数の推論結果を集計し、その集計結果に基づいて複数の推論結果を統合することで、症例単位のピロリ菌感染状態を判断する。

Description

画像処理システム、画像処理方法及び情報記憶媒体
　本発明は、画像処理システム、画像処理方法及び情報記憶媒体等に関する。
　近年では医療分野においても人工知能（以下、ＡＩとも呼ぶ）が活用されている。特許文献１には、ＡＩが消化器官の内視鏡画像から疾患の診断支援を行う技術が、開示されている。この技術では、ＡＩは、入力された単一の画像に対して、その画像の診断結果を出力する。
　消化器官の疾患の例として、上部消化管における胃癌がある。胃癌は、早期発見により治癒が可能な癌とされているのにもかかわらず、依然として羅患率及び死亡率が非常に高い。このため、上部消化管の内視鏡検査の重要性及び正確性に対して、注目が集まっている。また、近年の研究によりピロリ菌感染が胃癌の原因となることが明らかになり、感染の有無又は萎縮の程度により胃癌リスクが異なることも明確になっている。
国際公開第２０１８／２２５４４８号
　患部全体の情報から総合的に診断される疾患においては、局所的な情報のみで疾患を判断する特許文献１のＡＩ技術を用いても、高い判断精度が得られない可能性がある。例えば、医師が、ピロリ菌の感染状態を判断するとき、患者の消化管内全体の情報から総合的に疾患を診断する。仮に特許文献１のＡＩ技術をピロリ菌感染の診断に用いたとすると、個々の画像に対して診断結果が出力されるので、患者の消化管内の局所的な領域の情報のみで疾患を判断することになる。このため、仮に特許文献１のＡＩ技術をピロリ菌感染の診断に用いたとしても、熟練医の診断に比べて判断精度が下がる可能性が高い。
　本開示の一態様は、入力された内視鏡画像毎にピロリ菌感染状態を識別することで、前記内視鏡画像毎の前記感染状態を示す推論結果を出力する学習済みモデルを記憶するメモリと、１つの症例に紐付く複数の内視鏡画像を前記学習済みモデルへ入力することで複数の推論結果を取得し、取得された前記複数の推論結果を統合することで症例単位のピロリ菌感染状態を判断する統合処理を行うプロセッサと、を含み、前記プロセッサは、消化管の部位に関する部位情報が各内視鏡画像に対して付された前記複数の内視鏡画像を、前記学習済みモデルへ入力することで、前記複数の推論結果を取得し、取得された前記複数の推論結果と、前記部位情報とを用いて前記複数の推論結果を集計し、集計結果に基づいて前記複数の推論結果を統合することで、前記症例単位のピロリ菌感染状態を判断する画像処理システムに関係する。
　また本開示の他の態様は、入力された内視鏡画像毎にピロリ菌感染状態を識別することで、前記内視鏡画像毎の前記感染状態を示す推論結果を出力する学習済みモデルを用いて、ピロリ菌感染状態を判断する画像処理方法であって、前記学習済みモデルに対して、消化管の部位に関する部位情報が各内視鏡画像に対して付され且つ１つの症例に紐付く前記複数の内視鏡画像を入力することで、複数の推論結果を取得することと、取得された前記複数の推論結果と、前記部位情報とを用いて前記複数の推論結果を集計し、集計結果に基づいて前記複数の推論結果を統合することで、症例単位の前記ピロリ菌感染状態を判断する統合処理を行うことと、を含む画像処理方法に関係する。
　また本開示の更に他の態様は、入力された内視鏡画像毎にピロリ菌感染状態を識別することで、前記内視鏡画像毎の前記感染状態を示す推論結果を出力する学習済みモデルを用いて、ピロリ菌感染状態を判断することを、コンピュータに実行させるプログラムを記憶した、コンピュータにより読み取り可能な非一時的な情報記憶媒体であって、前記学習済みモデルに対して、消化管の部位に関する部位情報が各内視鏡画像に対して付され且つ１つの症例に紐付く複数の内視鏡画像を入力することで、複数の推論結果を取得することと、取得された前記複数の推論結果と、前記部位情報とを用いて前記複数の推論結果を集計し、集計結果に基づいて前記複数の推論結果を統合することで、症例単位の前記ピロリ菌感染状態を判断する統合処理を行うことと、をコンピュータに実行させるプログラムを記憶した情報記憶媒体に関係する。
内視鏡システムの構成例。 胃の部位の位置、及び、その部位の名称の例。 画像処理システムが行う処理の説明図。 画像処理システムが行う処理の説明図。 ピロリ菌感染状態の推論結果を表示する画像例。 臨床的視点の例。 ピロリ菌感染による炎症が及んでいない粘膜に現れる、ＲＡＣと呼ばれる内視鏡像。 臨床的視点を重視した統合処理のフロー例。 モデルの判断精度を重視した統合処理のフロー例。 複数のモデルの例と、その学習手法の説明図。 メインモデル及び特化モデルの出力を統合する処理のフロー例。 統合処理フローに組み込み可能な処理の一覧。 統合処理フローに組み込み可能な処理の一覧。 統合処理フローに組み込み可能な処理の一覧。 統合処理フローに組み込み可能な処理の一覧。 選定手法の一覧。 臨床的視点の一例である京都分類。 「関連するモジュール」の具体例。 「関連するモジュール」の具体例。 モジュールを用いた統合処理のフロー例。 ステップＳ６３の第１詳細フロー例。 ステップＳ６３の第２詳細フロー例。
　以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。
　図１は、内視鏡システムの構成例である。内視鏡システム１は、内視鏡２００とビデオプロセッサ２５０とディスプレイ２９０と画像処理システム１００とディスプレイ１９０とを含む。なお、以下では、上部消化管用の内視鏡を用いてピロリ菌感染の診断を行う例を説明する。但し、本開示における複数の画像から症例単位の疾患診断を行う手法は、上部消化管用の内視鏡に限らず様々な内視鏡を用いた診断に適用可能である。
　内視鏡２００は、消化管に挿入され、消化管内を撮影する軟性鏡である。内視鏡２００は、体腔に挿入される挿入部と、挿入部の基端に接続される操作部と、操作部の基端に接続されるユニバーサルコードと、ユニバーサルコードの基端に接続されるコネクタ部とを含む。挿入部の先端には、体腔内を撮影するための撮像装置と、体腔内を照明するための照明光学系と、が設けられる。撮像装置は、対物光学系と、対物光学系が結像した被写体を撮像するイメージセンサと、を含む。コネクタ部は、伝送ケーブルをビデオプロセッサ２５０に着脱可能に接続する。内視鏡２００により撮像された画像を、内視鏡画像と呼ぶこととする。
　ビデオプロセッサ２５０は、内視鏡の制御、内視鏡画像の画像処理及び内視鏡画像の表示処理を行う処理装置である。ビデオプロセッサ２５０は、ＣＰＵ等のプロセッサにより構成され、内視鏡２００から送信される画像信号を画像処理して内視鏡画像を生成し、その内視鏡画像をディスプレイ２９０と画像処理システム１００に出力する。内視鏡システム１は、照明光の生成及び照明光の制御を行う不図示の光源装置を含む。光源装置はビデオプロセッサ２５０と同じ筐体に収納されてもよいし、別筐体であってもよい。光源装置が出射した照明光は、ライトガイドにより内視鏡２００の照明光学系へ導光され、照明光学系から体腔内へ出射される。
　画像処理システム１００は、内視鏡画像からピロリ菌感染状態を判断し、その判断結果等を医師に提示することで診断支援を行う。画像処理システム１００は、プロセッサ１１０とメモリ１２０とを含む。
　プロセッサ１１０はハードウェアを含む。プロセッサ１１０は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、マイクロコンピューター又はＤＳＰ（Digital Signal Processor）等である。或いは、プロセッサ１１０は、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）等であってもよい。プロセッサ１１０は、ＣＰＵ、ＧＰＵ、マイクロコンピューター、ＤＳＰ、ＡＳＩＣ及びＦＰＧＡ等のうち１又は複数で構成されてもよい。メモリ１２０は、例えば、揮発性メモリ又は不揮発性メモリである半導体メモリである。或いは、メモリ１２０は、ハードディスク装置等である磁気記憶装置、或いは、光学ディスク装置等である光学式記憶装置等であってもよい。
　メモリ１２０は、機械学習により得られた学習済みモデル１３０を含む。学習済みモデル１３０は、例えばディープラーニングにより学習されるニューラルネットワークである。このとき、学習済みモデル１３０は、ニューラルネットワークのアルゴリズムが記述されたプログラム、及びニューラルネットワークのノード間の重みパラメータ等を含む。ニューラルネットワークは、入力データが入力される入力層と、入力層を通じて入力されたデータに対し演算処理を行う中間層と、中間層から出力される演算結果に基づいて推論結果を出力する出力層と、を含む。学習段階においては、情報処理装置又はクラウドシステムで構成される学習システムが機械学習処理を実行する。学習システムは、プロセッサと、モデル及び教師データを記憶するメモリとを含む。学習システムのプロセッサは、教師データを用いてモデルをトレーニングすることで学習済みモデル１３０を生成する。なお、画像処理システム１００が学習システムを兼ねていてもよい。
　メモリ１２０は、ピロリ菌感染状態を判断する処理の内容が記述されたプログラム１４０を記憶する。プロセッサ１１０は、プログラム１４０を実行することで、ピロリ菌感染状態を判断する。詳細は後述するが、プロセッサ１１０は、学習済みモデル１３０から各画像のピロリ菌感染状態の推論結果を取得する処理と、その各画像の推論結果を統合することで症例単位のピロリ菌感染状態を判断する統合処理と、を行う。プログラム１４０は、各処理が記述されたプログラムモジュールを含み、プロセッサ１１０は、プログラムモジュールを実行することで各処理を実行する。
　なお、コンピュータにより読み取り可能な媒体である非一時的な情報記憶媒体が、学習済みモデル１３０又はプログラム１４０を格納してもよい。情報記憶媒体は、例えば光ディスク、メモリカード、ハードディスクドライブ、或いは半導体メモリ等である。半導体メモリは例えばＲＯＭ又は不揮発性メモリである。
　なお、画像処理システム１００は、ビデオプロセッサ２５０とは別筐体の情報処理装置であってもよいし、ビデオプロセッサ２５０と同一筐体に組み込まれてもよい。画像処理システム１００は、複数の情報処理装置で構成されてもよい。即ち、複数のプロセッサ及び複数のメモリが用いられてよい。例えば、画像処理システム１００は複数のＡＩモデルを利用するが、各モデルに１つずつ情報処理装置が割り当てられ、それら複数の情報処理装置が通信接続されてもよい。或いは、画像処理システム１００は、複数の情報処理装置がネットワークを介して接続されたクラウドシステムによって実現されてもよい。
　図２に、胃の部位の位置、及び、その部位の名称の例を示す。同じ丸付き数字が付された位置と名称が対応する。部位の位置を胃の外側に示しているが、内視鏡画像は、胃の内側から各部位が撮影された画像である。部位の位置は、数字が付された箇所だけでなく、その周辺を含んでよく、ある程度の拡がりがあってよい。なお、図２は部位の一例であって、更に部位を追加してピロリ菌感染診断が行われてもよいし、図２に示す部位の一部が省略されてピロリ菌感染診断が行われてもよい。
　図３と図４は、画像処理システムが行う処理の説明図である。学習済みモデル１３０は、画像チェックモデル４１０と部位認識モデル４２０とピロリ菌感染識別モデル４３０とを含む。プログラム１４０は、図３と図４に示す処理を記述したプログラムと、統合処理４４０を記述したプログラムとを含む。
　図３に示すように、プロセッサ１１０は、内視鏡２００により撮影された画像群１２を取得する。画像群１２は、１つの症例に紐付けられた複数の内視鏡画像ＩＭ１～ＩＭ９である。図３には、１つの症例に紐付けられた画像群１２を９枚として図示したが、一例として画像群１２は５０枚程度である。但し、画像群１２を構成する内視鏡画像の数は任意であってよい。各内視鏡画像は、いわゆるレリーズ画像であり、内視鏡２００に設けられたレリーズボタンの押下により撮影された画像である。なお、各内視鏡画像はレリーズ画像に限定されず、動画のフレーム画像であってよい。
　プロセッサ１１０は、画像群１２を画像チェックモデル４１０へ入力する。画像チェックモデル４１０は、ピロリ菌感染状態の診断に適さない内視鏡画像を画像群１２から除外する。診断に適さない画像は、ボケ、ブラー又は粘液等によって胃粘膜の視認性が悪い画像である。ボケ及びブラーは、フォーカスが合っていないこと、又は被写体が動きブレしていることである。画像群１４は、除外後の複数の内視鏡画像を含む。図３には、内視鏡画像ＩＭ２、ＩＭ５、ＩＭ９が除外された例を示す。
　画像チェックモデル４１０は、機械学習による学習済みモデルであり、入力された内視鏡画像がピロリ菌感染状態の診断に適するか否かを判断するように学習されている。なお、画像チェックモデル４１０は、ルールベースのアルゴリズムを用いたプログラムであってもよいし、画像チェックは人員による手作業で実行されてもよい。
　プロセッサ１１０は、画像群１２を部位認識モデル４２０へ入力する。部位認識モデル４２０は、画像群１２に含まれる各内視鏡画像に対して、その内視鏡画像に写る部位の情報を付与する。部位の情報は、部位の名称、又は部位を示すタグ等である。画像群１４に含まれる各内視鏡画像には、部位の情報が付されている。図３には、内視鏡画像ＩＭ１、ＩＭ３に「部位Ａ」と付され、内視鏡画像ＩＭ４、ＩＭ６に「部位Ｂ」と付され、内視鏡画像ＩＭ７、ＩＭ８に「部位Ｃ」と付された例を示す。部位Ａ～Ｃの各々は、図２に示す７部位のいずれかである。また、図３では３部位のみであるが、図２に示す７部位の各々について内視鏡画像が撮影されている。
　部位認識モデル４２０は、機械学習による学習済みモデルであり、入力された内視鏡画像に写る部位の情報を出力するように学習されている。なお、部位認識モデル４２０は、ルールベースのアルゴリズムを用いたプログラムであってもよいし、部位認識は人員による手作業で実行されてもよい。
　図４に示すように、プロセッサ１１０は、画像群１４をピロリ菌感染識別モデル４３０へ入力する。ピロリ菌感染識別モデル４３０は、画像群１４に含まれる各内視鏡画像から、そのピロリ菌感染状態を識別し、その結果を出力する。識別結果は、例えば、未感染、既感染、及び現感染の３分類である。未感染は、今までに一度も感染していない状態である。既感染は、過去に感染した後に除菌され、現在は感染していない状態である。現感染は、現在感染している状態である。或いは、識別結果は、未感染であるか否か、既感染であるか否か、又は現感染であるか否か、であってもよい。或いは、識別結果は、ピロリ菌感染に特有の所見が有るか否か、であってもよい。
　識別結果群１６は、部位認識モデル４２０により各内視鏡画像に付された部位情報と、その各内視鏡画像に対するピロリ菌感染の識別結果と、を含む。識別結果群１６は、内視鏡画像のＩＤ、部位情報、及び識別結果が対応付けられた情報群であればよく、内視鏡画像そのものを含む必要はない。図４では、例えば内視鏡画像ＩＭ１のＩＤに対して、部位Ａと結果ａが対応付けられている。
　プロセッサ１１０は、識別結果群１６に含まれる複数画像の推論結果を統合する統合処理４４０を実行し、症例単位のピロリ菌感染状態４５０を出力する。プロセッサ１１０は、複数画像の推論結果に対して、感染状態特定に重要な部位又は所見に基づく重み付けを行った上で、それらの推論結果を統合する。プロセッサ１１０は、推論結果をディスプレイ１９０に表示する。なお、推論結果はディスプレイ２９０に表示されてもよい。その場合、ディスプレイ１９０は省略されてもよい。
　ピロリ菌感染による炎症は、例えば胃の下部から始まって徐々に他の部分に拡大してゆく。このため、各部位で内視鏡画像の所見が異なり、ＡＩにより１枚の内視鏡画像からピロリ菌感染状態を識別しても、症例全体としてのピロリ菌感染状態を判断しにくいという課題がある。この点、本実施形態によれば、１つの症例に紐付く複数の内視鏡画像の各内視鏡画像からピロリ菌感染状態が推論され、その複数の推論結果が統合されることで、症例単位のピロリ菌感染状態が判断される。これにより、患者の消化管内の全体の情報を総合的に考慮した高精度なピロリ菌感染状態の推定が可能となる。また、医師が多数の画像を１つ１つチェックする必要がなくなるため、医師の画像閲覧の負担を軽減できる。また、ピロリ菌感染状態の推論結果を、研修医等の教育に活用できる。
　図５は、ピロリ菌感染状態の推論結果を表示する画像例である。画像３０は、統合処理フローのイメージが表示される領域３１と、推論結果が表示される領域３２と、を含む。
　領域３１には、図１１等で後述するようなフロー図が表示される。医師は、そのフロー図を見ることで、どのようなアルゴリズムで推論結果が得られたのかを知ることができる。
　領域３２には、推論結果３３と、画像一覧３４とが表示される。推論結果３３の一例は「推論結果統合時のＸＸＸという要因により未感染でした。」である。ＸＸＸは、例えば統合処理において重視された所見、或いはフローのどのステップでどのように判断されたか、である。画像一覧３４は、ピロリ菌感染識別モデル４３０に入力された画像群１４のうち、症例単位の推論結果である未感染と同じ感染状態と判断された内視鏡画像である。図５では、画像一覧３４は、画像単位で未感染と判断された内視鏡画像の一覧である。
　本実施形態によれば、医師が、自身が判断した診断結果と画像３０とを見比べることで、診断結果の再確認又は教育効果を期待できる。例えば、医師は、画像３０を見ることで、「自身が判断した感染状態とシステムが推論した感染状態が異なっていた。この経験を次回以降の診断に活かしたい。」等と思考することができる。
　各内視鏡画像に対する推論結果を統合する手法として、臨床的視点を重視した統合方法と、モデルの判断精度を重視した統合方法がある。まず、臨床的視点を重視した統合方法について説明する。
　図６は、臨床的視点の例である。ここでは、京都分類、医師の見解及び書籍情報を組み合わせた例を示すが、統合方法に反映させる臨床的視点は図６に限定されるものでない。
　図６に示す「Ｎｏ．」の欄は、ピロリ菌感染の診断において医師が部位を見ていく順番である。「ピロリ菌感染状態に対する重要度」の欄は、医師がどの部位に現れる所見を重視して各感染状態を判断するか、を意味する。例えば、医師は、ＥＧ　ｊｕｎｃｔｉｏｎ、前庭部、及び胃角小彎に現れる所見を重視して、未感染であるか否かを判断する。「所見に基づくピロリ菌感染状態の判断」の欄は、医師が部位の所見に基づいて感染状態をどのように判断できるか、を意味する。
　このように、未感染、既感染及び現感染の各感染状態には、臨床でそれを特定するために重要な粘膜状態又は部位が存在する。Ｎｏ．５に示す胃角小彎を例にとる。図７は、ピロリ菌感染による炎症が及んでいない粘膜に現れる、ＲＡＣと呼ばれる内視鏡像である。点線５０内に示すように、ＲＡＣは、粘膜の粒のようなテクスチャである。医師は、胃角小彎におけるＲＡＣの有無を判断材料の１つとして、未感染か否かを判断する。
　図８は、臨床的視点を重視した統合処理のフロー例である。プロセッサ１１０は、ピロリ菌感染識別モデル４３０が出力した識別結果群１６を、統合処理４４０に入力する。
　ステップＳ１において、プロセッサ１１０は、識別結果群１６において未感染の判断に重要な部位が未感染判断であるか、の真偽を判断する。図６を参照すると、例えば、プロセッサ１１０は、ＥＧ　ｊｕｎｃｔｉｏｎ、前庭部、又は胃角小彎の内視鏡画像が未感染判断であるか、の真偽を判断する。
　ステップＳ１において真である場合、ステップＳ２において、プロセッサ１１０は、症例が未感染であると判断する。ステップＳ１において偽である場合、ステップＳ３において、プロセッサ１１０は、識別結果群１６において現感染の判断に重要な部位の結果を用いて多数決を行い、現感染が多いか、の真偽を判断する。図６を参照すると、例えば、プロセッサ１１０は、体部大彎見下ろし　体上部、体中部、及び体上部の内視鏡画像の枚数のうち、現感染と判定された内視鏡画像の枚数が、半数より多いか、の真偽を判断する。
　ステップＳ３において真である場合、ステップＳ４において、プロセッサ１１０は、症例が現感染であると判断する。ステップＳ３において偽である場合、ステップＳ５において、プロセッサ１１０は、症例が既感染であると判断する。
　図９は、モデルの判断精度を重視した統合処理のフロー例である。プロセッサ１１０は、ピロリ菌感染識別モデル４３０が出力した識別結果群１６を、統合処理４４０に入力する。
　ステップＳ１１において、プロセッサ１１０は、識別結果群１６の中から、予め決められた部位に関する識別結果を選定する。選定される部位の数は１以上であればよい。図９には、部位Ａ～Ｃのうち部位Ａ、Ｂに関する識別結果が残される例を示す。予め決められた部位は、モデルの判定精度が高い部位であり、事前にモデルを評価することで決定される。例えば、部位Ａ、Ｂの内視鏡画像をモデルＸに入力したときの判定精度と、部位Ｃの内視鏡画像をモデルＸに入力したときの判定精度とが比較され、部位Ａ、Ｂの判定精度が高い場合に部位Ａ、Ｂが選定される。或いは、部位Ａ、Ｂの内視鏡画像をモデルＸに入力したときの判定精度と、部位Ｃの内視鏡画像をモデルＸとは異なるモデルＹに入力したときの判定精度とが比較され、モデルＸの判定精度が高い場合に、モデルＸが採用されると共に部位Ａ、Ｂが選定されてもよい。
　ステップＳ１２において、プロセッサ１１０は、選定された識別結果群において未感染の枚数が所定の閾値（ここでは、６０％）以上であるか、の真偽を判断する。なお、当該所定の閾値は６０％に限られるものではなく、ピロリ菌感染識別モデル４３０の特性等を考慮して適宜ユーザにより決定されてもよい。
　ステップＳ１２において真である場合、ステップＳ１３において、プロセッサ１１０は、症例が未感染であると判断する。ステップＳ１２において偽である場合、ステップＳ１４において、プロセッサ１１０は、選定された識別結果群において多数決を行い、現感染が多いか、の真偽を判断する。
　ステップＳ１４において真である場合、ステップＳ１５において、プロセッサ１１０は、症例が現感染であると判断する。ステップＳ１４において偽である場合、ステップＳ１６において、プロセッサ１１０は、症例が既感染であると判断する。
　なお、部位の選定はステップＳ１２、Ｓ１４の各々に対して実施されてもよい。即ち、ステップＳ１２の前に第１選定が実施され、ステップＳ１４の前に第２選定が実施され、第２選定で選定される部位は、第１選定で選定される部位と異なってもよい。
　本実施形態によれば、臨床的視点又はモデル判定精度に基づいて複数の推論結果を統合することで、医師が行うような総合的な判断を自動化できる。臨床的視点又はモデル判定精度を用いることで、精度よくピロリ菌感染状態を判定可能である。また、モデル判定精度を重視した統合方法を用いることで、実際の判定精度の評価に基づき統合処理が組まれるため、より精度の向上を期待できる。
　なお、統合処理のフローは図８、図９に限定されない。例えば、臨床的視点を重視した統合方法と、モデル判定精度を重視した統合方法とを組み合わせて統合処理のフローを構成してもよい。或いは、図１２～図１５で後述するように、様々な処理又は判定を用意しておき、それらを組み合わせて統合処理のフローを構成してもよい。
　図４では、ピロリ菌感染識別モデル４３０の出力結果を統合する例を示したが、複数のモデルの出力を統合してもよい。図１０は、複数のモデルの例と、その学習手法の説明図である。
　複数のモデルは、様々な部位の感染状態を識別するメインモデルと、特定の部位の感染状態又は感染状態に関わる特定の所見を識別する特化モデルとを含む。メインモデルは、感染状態、部位及び所見に特化せずにピロリ菌感染状態を識別可能なモデルである。メインモデルは、ピロリ菌感染識別モデル４３０であり、各内視鏡画像を現感染、既感染及び未感染の３分類に分類する。特化モデルは、特定の感染状態、特定の部位、又は特定の所見に特化して判断するモデルである。特化モデルは、一例としては、前庭部特化モデル５２０と、ＲＡＣ特化モデル５３０と、現感染特化モデル５４０とを含む。前庭部特化モデル５２０は、前庭部の内視鏡画像から萎縮の有無を判断する。ＲＡＣ特化モデル５３０は、胃角小彎の内視鏡画像からＲＡＣの有無を判断する。現感染特化モデル５４０は、大彎体中部及び大彎体上部の内視鏡画像から、びまん性発赤の有無又は皺襞腫大の有無を判断する。
　学習においては、学習システムは、自己教師有り学習により自己教師有り学習後のモデル５５０を生成する。自己教師有り学習においては、胃の様々な部位の内視鏡画像がモデルに入力され、その内視鏡画像の表現が学習される。次に、学習システムは、自己教師有り学習後のモデル５５０を用いてファインチューニング学習を行うことでメインモデル及び特化モデルを生成する。ファインチューニング学習の一例は、いわゆる知識蒸留である。知識蒸留において、自己教師有り学習後のモデル５５０が教師モデルであり、メインモデル及び特化モデルが生徒モデルである。具体的には、教師データは、内視鏡画像と、その内視鏡画像に付された正解ラベルとを含む。学習システムは、教師データの内視鏡画像を自己教師有り学習後のモデル５５０に入力し、その出力をソフトターゲットとし、教師データの正解ラベルをハードターゲットとする。学習システムは、教師データの内視鏡画像を生徒モデルに入力し、その出力とソフトターゲットとハードターゲットから演算される評価関数に基づいて生徒モデルの学習を行う。
　なお、メインモデル及び特化モデルの学習手法は上記に限定されず、いわゆる教師有り学習によって各モデルが生成されてもよい。現感染特化モデル５４０は、大彎体下部の萎縮とびまん性発赤を判定対象としてもよい。メインモデルは、例えばＷＬＩ（ホワイトライト）の照明によって観察した画像を対象とする。但し、メインモデルは、ＷＬＩ以外の照明によって観察した画像、又は染色された組織を観察した画像を対象としてもよい。
　図１１は、メインモデル及び特化モデルの出力を統合する処理のフロー例である。ステップＳ２１において、プロセッサ１１０は、メインモデルに複数の内視鏡画像を入力し、メインモデルは、各内視鏡画像についての推論結果を出力する。ここでは全ての部位が用いられてもよいし、或いは未感染の判断精度が高い一部の部位が用いられてもよい。
　ステップＳ２２において、プロセッサ１１０は、メインモデルにより未感染と判断された画像枚数が、閾値以上であるか否かを判断する。プロセッサ１１０は、メインモデルに入力される画像枚数に対して、メインモデルにより未感染と判断された画像枚数の割合が、閾値以上であるか否かを判断してもよい。
　ステップＳ２２において枚数が閾値以上である場合、ステップＳ２３において、プロセッサ１１０は、メインモデルにより既感染と判断された画像枚数と、メインモデルにより未感染と判断された画像枚数との差が、閾値以下であるか否かを判断する。
　ステップＳ２３において差が閾値より大きい場合、ステップＳ２４において、プロセッサ１１０は、症例のピロリ菌感染状態を未感染に確定する。ステップＳ２３において差が閾値以下である場合、ステップＳ２５において、プロセッサ１１０は、特化モデル１の判断対象となる部位の内視鏡画像を、選定する。特化モデル１は、前庭部特化モデル５２０とＲＡＣ特化モデル５３０である。即ち、選定される部位は、前庭部と胃角小彎である。
　ステップＳ２６において、プロセッサ１１０は、選定された部位の内視鏡画像を特化モデル１へ入力し、特化モデル１は、各内視鏡画像についての推論結果を出力する。ステップＳ２７、Ｓ２８において、プロセッサ１１０は、特化モデル１の出力に基づいて症例のピロリ菌感染状態を未感染又は既感染に確定する。具体的には、プロセッサ１１０は、前提部の内視鏡画像を前庭部特化モデル５２０へ入力し、前庭部特化モデル５２０は、各内視鏡画像に対して萎縮の有無を出力する。プロセッサ１１０は、胃角小彎の内視鏡画像をＲＡＣ特化モデル５３０へ入力し、ＲＡＣ特化モデル５３０は、各内視鏡画像に対してＲＡＣの有無を出力する。プロセッサ１１０は、これらの識別結果から症例が未感染か既感染かを判断する。
　ステップＳ２２において枚数が閾値より小さい場合、ステップＳ２９において、プロセッサ１１０は、メインモデルにより既感染と判断された画像枚数と、メインモデルにより現感染と判断された画像枚数との差が、閾値以上であるか否かを判断する。
　ステップＳ２９において差が閾値より小さい場合、ステップＳ３０において、プロセッサ１１０は、メインモデルにより既感染と判断された画像枚数と、メインモデルにより未感染と判断された画像枚数との差が、閾値以下であるか否かを判断する。
　ステップＳ３０において差が閾値より大きい場合、ステップＳ３１において、プロセッサ１１０は、症例のピロリ菌感染状態を既感染に確定する。ステップＳ３０において差が閾値以下である場合、ステップＳ３２において、プロセッサ１１０は、特化モデル１の判断対象となる部位の内視鏡画像を、選定する。ステップＳ３２～Ｓ３５は、ステップＳ２５～Ｓ２８と同様である。
　ステップＳ２９において差が閾値以上である場合、ステップＳ３６において、プロセッサ１１０は、特化モデル２の判断対象となる部位の内視鏡画像を、選定する。特化モデル２は、現感染特化モデル５４０である。即ち、選定される部位は、大彎体中部と大彎体上部である。
　ステップＳ３７において、プロセッサ１１０は、選定された部位の内視鏡画像を特化モデル２へ入力し、特化モデル２は、各内視鏡画像についての推論結果を出力する。ステップＳ３８、Ｓ３９において、プロセッサ１１０は、特化モデル２の出力に基づいて症例のピロリ菌感染状態を既感染又は現感染に確定する。具体的には、プロセッサ１１０は、大彎体中部と大彎体上部の内視鏡画像を現感染特化モデル５４０へ入力し、現感染特化モデル５４０は、各内視鏡画像に対してびまん性発赤又は皺襞腫大の有無を出力する。プロセッサ１１０は、その識別結果から症例が既感染か現感染かを判断する。
　図８、図９、図１１で説明した統合処理フローは一例であって、以下に説明するように様々な処理を組み合わせて統合処理フローが構成されてよい。図１２～図１５は、統合処理フローに組み込み可能な処理の一覧である。統合処理フローは、図１２～図１５に示す処理１～１１を組み合わせることで構成される。処理１～１１の全てが用いられる必要はない。またフローの中で同じ処理が複数回用いられてもよい。
　図１２～図１５には、各処理の内容として、「関連するモジュール」「処理への入力」「処理の内容」「処理からの出力」を示す。「関連するモジュール」は、そのモジュールの出力が統合処理に入力されることを、意味する。処理１～１０に関連するモジュールは、機械学習による学習済みモデルであり、処理１１に関連するモジュールはルールベースのアルゴリズムを用いたプログラムである。「処理への入力」は、統合処理へ入力されるデータの内容である、即ち「関連するモジュール」の出力である。「処理の内容」は、「処理への入力」を用いて、どのような処理が実行されるか、を意味する。「処理からの出力」は、その処理の結果として、どのような出力が得られるか、を意味する。
　処理２を例にとると、プロセッサ１１０は、メインモデルの出力を処理２へ入力する。その入力は、精度により選定された部位の各内視鏡画像に対する未感染、既感染及び現感染の識別結果である。プロセッサ１１０は、入力された識別結果の全画像枚数の中で、特定感染状態Ａと判断された画像枚数の割合が、閾値ｔｈａ以上存在するか否か、を判断する。入力された識別結果の全画像枚数は、ここでは、精度により選定された部位の内視鏡画像の枚数である。一例として、特定感染状態Ａが未感染であり、閾値ｔｈａが６０％であるとする。このとき、プロセッサ１１０は、入力された識別結果の全画像枚数の中で、未感染と判断された画像枚数の割合が、閾値６０％以上存在するか否か、を判断する。プロセッサ１１０は、割合が閾値ｔｈａ以上である場合、症例が特定感染状態Ａであると判断する。そして、プロセッサ１１０は、症例が特定感染状態Ａであると確定してもよいし、又は、判断結果に基づいて次の処理に進んでもよい。後者において、例えば、プロセッサ１１０は、処理２において症例が特定感染状態Ａであると判断された結果と、その後の処理において得られた判断結果とを用いて、感染状態を確定してもよい。割合が閾値ｔｈａより小さい場合の処理は、様々である。プロセッサ１１０は、症例が特定感染状態Ａでないと確定しつつ、特定感染状態Ａ以外の２分類の可能性があるものとして、次の処理に進んでもよい。或いは、既感染、未感染及び現感染のいずれの可能性も残しつつ、処理２において症例が特定感染状態Ａであると判断された結果と、その後の処理において得られた判断結果とを用いて、感染状態を確定してもよい。
　図１２～図１５に示す特定感染状態Ａ～Ｄの各々は、未感染、既感染又は現感染のいずれかである。閾値ｔｈａ～ｔｈｄは、互いに異なる値であってもよいし、それらのうち任意の２以上の閾値が同じ値であってもよい。処理１～処理１１の実行順は任意であってよいが、一例としては、処理１、２、３又は４の後に処理５又は６が実行される。又は、処理１、２、３又は４の後に処理７又は８が実行される。又は、処理７又は８の後に処理８又は１０が実行される。
　図１２～図１５において、「処理への入力」に「胃内部の部位」の項目がある。この項目は、選定される部位のことである。具体的には、「胃内部の部位」の項目は、「関連するモジュール」にどの部位の内視鏡画像を入力するか、或いは「関連するモジュール」が出力した識別結果のうち、どの部位の識別結果を用いるか、を意味する。図１６は、選定手法の一覧である。モデルの精度により部位を選定する方法２については、図９においても上述した。また、臨床的視点により部位を選定する方法３については、図６～図９においても上述した。
　図１７に、方法３に用いられる臨床的視点の一例である京都分類を示す。「局在」は胃内部の部位に相当する。「感染」は現感染に相当し、「除菌後」は既感染に相当する。「感染」「未感染」「除菌後」に示す〇×△は、その感染状態において、「局在」に示す部位に「内視鏡的所見」が観察されやすいか、を意味する。例えば、胃粘膜全体におけるびまん性発赤の所見は、「感染」において観察されることが多く、「未感染」及び「除菌後」において観察されない。
　なお、臨床的視点としては、図１７の京都分類だけでなく、医師の見解又は書籍情報等が用いられてもよい。例えば、図６で説明したように、京都分類、医師の見解及び書籍情報を組み合わせた臨床的視点が用いられてもよい。
　図１８及び図１９は、図１２～図１５の「関連するモジュール」の具体例である。「特徴」及び「何の役に立つか」は、モジュールの目的又は性質などを示す。「学習」には、モジュールの学習段階において用いられる「教師データ」を示す。「推論」には、推論段階におけるモジュールへの「入力」とモジュールからの「出力」とを示す。
　メインモデルは、図１２～図１５の処理１、２、５、６又は７のメインモデルとして用いられる。図１８のメインモデルは、全ての部位の内視鏡画像を入力として現感染、既感染及び未感染を識別できる。このとき、一部の部位の内視鏡画像をメインモデルに入力する、或いはメインモデルの出力のうち一部の部位の識別結果を統合処理に入力することで、図１２～図１５の処理２、４，６、７を実現できる。現感染特化モデル、前庭部特化モデル及びＲＡＣ特化モデルは、図１２～図１５の処理４又は８として用いられる。萎縮モデルは、図１２～図１５の処理１０として用いられる。
　「教師データ」は、学習段階におけるモデルへの入力と、その入力に付された正解ラベルである。この「教師データ」は、例えば教師有り学習における教師データとして用いられる。或いは、上述した知識蒸留のファインチューニングにおいては、教師モデルの出力がソフトターゲットであり、「教師データ」の正解ラベルがハードターゲットとなる。
　図２０は、図１８及び図１９のモジュールを用いた統合処理のフロー例である。フローにおいて丸付き数字で示す部位は、図２の丸付き数字で示す部位に対応している。
　ステップＳ５１において、プロセッサ１１０は、体下部から胃角大彎、体部大彎見下ろし（体中部）及び体部大彎見下ろし（体上部）の内視鏡画像を、現感染特化モデルへ入力し、現感染特化モデルは、各内視鏡画像について現感染であるか否かの推論結果を出力する。
　ステップＳ６１において、プロセッサ１１０は、現感染特化モデルが出力した推論結果の全画像枚数に対して、現感染と判断された画像枚数の割合が、閾値ｔｈ１以上であるか否かを判断する。
　ステップＳ６１において、割合が閾値ｔｈ１以上である場合、ステップＳ８１において、プロセッサ１１０は、症例のピロリ菌感染状態を現感染に確定する。
　ステップＳ６１において、割合が閾値ｔｈ１より小さい場合、ステップＳ５２において、プロセッサ１１０は、過去の問診情報を取得する。例えば、メモリ１２０が、症例に関する過去の問診情報を記憶しており、プロセッサ１１０は、メモリ１２０から過去の問診情報を読み出す。或いは、プロセッサ１１０は、内視鏡システム１の外部データベースから、症例に関する過去の問診情報を取得してもよい。
　ステップＳ６２において、プロセッサ１１０は、過去の問診情報に「除菌成功」の記録が有るか否かを判断する。
　ステップＳ６２において「除菌成功」の記録が有った場合、ステップＳ８２において、プロセッサ１１０は、症例のピロリ菌感染状態を既感染に確定する。
　ステップＳ６２において「除菌成功」の記録が無かった場合、ステップＳ６３において、プロセッサ１１０は、症例のピロリ菌感染状態が既感染か未感染かを判断し、プロセッサ１１０は、ステップＳ８３において既感染に確定し、又はステップＳ８４において未感染に確定する。
　図２１は、ステップＳ６３の第１詳細フロー例である。ステップＳ５３において、プロセッサ１１０は、体下部から胃角大彎、前庭部、胃角小彎及び体部小彎見上げの内視鏡画像を、メインモデルへ入力し、メインモデルは、各内視鏡画像を現感染、既感染又は未感染に分類する。
　ステップＳ７１において、プロセッサ１１０は、メインモデルが出力した推論結果の全画像枚数に対して、未感染と判断された画像枚数の割合が、閾値ｔｈ２以上であるか否かを判断する。
　ステップＳ７１において、割合が閾値ｔｈ２より小さい場合、ステップＳ８３ａにおいて、プロセッサ１１０は、症例のピロリ菌感染状態を既感染に確定する。
　ステップＳ７１において、割合が閾値ｔｈ２以上である場合、ステップＳ５４において、プロセッサ１１０は、胃角小彎の内視鏡画像を萎縮モデルへ入力し、萎縮モデルは、各内視鏡画像から萎縮の有無を判断する。
　ステップＳ７２において、プロセッサ１１０は、萎縮モデルが出力した推論結果の全画像枚数に対して、萎縮有りと判断された画像枚数の割合が、閾値ｔｈ３以上であるか否かを判断する。
　ステップＳ７２において、割合が閾値ｔｈ３以上である場合、ステップＳ８３ｂにおいて、プロセッサ１１０は、症例のピロリ菌感染状態を既感染に確定する。
　ステップＳ７３において、割合が閾値ｔｈ３より小さい場合、ステップＳ８４において、プロセッサ１１０は、症例のピロリ菌感染状態を未感染に確定する。
　図２２は、ステップＳ６３の第２詳細フロー例である。ステップＳ５３において、プロセッサ１１０は、体下部から胃角大彎、前庭部、胃角小彎及び体部小彎見上げの内視鏡画像を、メインモデルへ入力し、メインモデルは、各内視鏡画像を現感染、既感染又は未感染に分類する。
　ステップＳ７３において、プロセッサ１１０は、メインモデルが出力した推論結果の全画像枚数に対して、未感染と判断された画像枚数の割合が、閾値ｔｈ４以上であるか否かを判断する。
　ステップＳ７３において、割合が閾値ｔｈ４より小さい場合、ステップＳ８３ｃにおいて、プロセッサ１１０は、症例のピロリ菌感染状態を既感染に確定する。
　ステップＳ７３において、割合が閾値ｔｈ４以上である場合、ステップＳ５５において、プロセッサ１１０は、胃角小彎の内視鏡画像をＲＡＣ特化モデルへ入力し、ＲＡＣ特化モデルは、各内視鏡画像からＲＡＣの有無を判断する。
　ステップＳ７４において、プロセッサ１１０は、ＲＡＣ特化モデルが出力した推論結果の全画像枚数に対して、萎縮有りと判断された画像枚数の割合が、閾値ｔｈ５以上であるか否かを判断する。
　ステップＳ７４において、割合が閾値ｔｈ５以上である場合、ステップＳ８３ｄにおいて、プロセッサ１１０は、症例のピロリ菌感染状態を既感染に確定する。
　ステップＳ７４において、割合が閾値ｔｈ４より小さい場合、ステップＳ５６において、プロセッサ１１０は、前庭部の内視鏡画像を前庭部特化モデルへ入力し、前庭部特化モデルは、各内視鏡画像から前庭部における萎縮の有無を判断する。
　ステップＳ７５において、プロセッサ１１０は、前庭部特化モデルが出力した推論結果の全画像枚数に対して、萎縮有り、つまり既感染と判断された画像枚数の割合が、閾値ｔｈ６以上であるか否かを判断する。
　ステップＳ７５において、割合が閾値ｔｈ６以上である場合、ステップＳ８３ｅにおいて、プロセッサ１１０は、症例のピロリ菌感染状態を既感染に確定する。
　ステップＳ７５において、割合が閾値ｔｈ６より小さい場合、ステップＳ８４において、プロセッサ１１０は、症例のピロリ菌感染状態を未感染に確定する。
　以上に説明した本実施形態の画像処理システム１００は、メモリ１２０とプロセッサ１１０とを含む。メモリ１２０は、入力された内視鏡画像毎にピロリ菌感染状態を識別することで、内視鏡画像毎の感染状態を示す推論結果を出力する学習済みモデル１３０を、記憶する。プロセッサ１１０は、１つの症例に紐付く複数の内視鏡画像を学習済みモデル１３０へ入力することで複数の推論結果を取得し、その取得された複数の推論結果を統合することで症例単位のピロリ菌感染状態を判断する統合処理を行う。プロセッサ１１０は、消化管の部位に関する部位情報が各内視鏡画像に対して付された複数の内視鏡画像を、学習済みモデル１３０へ入力することで、複数の推論結果を取得する。プロセッサ１１０は、取得された複数の推論結果と、部位情報とを用いて複数の推論結果を集計し、その集計結果に基づいて複数の推論結果を統合することで、症例単位のピロリ菌感染状態を判断する。
　本実施形態によれば、学習済みモデル１３０が１症例に紐付く複数の内視鏡画像から内視鏡画像毎にピロリ菌感染状態を推論することで、複数の推論結果が得られる。そして、プロセッサ１１０が、複数の推論結果を統合することで、症例のピロリ菌感染状態を判断できる。内視鏡画像毎にピロリ菌感染状態の推論結果は異なると想定されるが、それらを統合することで、画像単位ではなく症例全体としてのピロリ菌感染状態を総合的に判断できるようになる。また、画像単位でピロリ菌感染状態を判断する場合に比べて、医師が行う総合的な判断に近い判断が可能になるため、精度良く症例全体としてのピロリ菌感染状態を判断できる。
　なお、学習済みモデル１３０は、メインモデルであってもよいし、特化モデルであってもよいし、メインモデル及び特化モデルを含んでもよい。「内視鏡画像毎の感染状態を示す推論結果」は、メインモデルの推論結果、又は特化モデルの推論結果のいずれであってもよい。即ち、「内視鏡画像毎の感染状態を示す推論結果」は、である既感染、未感染及び現感染の３分類、既感染であるか否か、未感染であるか否か、現感染であるか否か、又は特定所見の有無であってよい。「複数の推論結果を集計」は、推論結果に基づいて画像枚数を計算すること、である。一例として、集計は、推論結果として未感染と判断された画像の枚数を合計する、推論結果として特定の所見が有ると判断された画像の枚数を合計する、又は、ある部位に関する推論に用いられた画像の枚数を合計する、等である。
　また本実施形態では、統合処理は、第１処理と第２処理の少なくとも一方を含んでもよい。第１処理は、第１画像枚数に対する第２画像枚数の割合が、特定の閾値以上である場合に、特定部位のピロリ菌感染状態が第１感染状態であると判断する処理であってもよい。第２処理は、第１画像枚数に対する第２画像枚数の割合が、特定の閾値以下である場合に、特定部位のピロリ菌感染状態が、現感染、既感染及び未感染のうち第１感染状態以外であると判断する処理であってもよい。第１画像枚数は、複数の内視鏡画像のうち特定部位の部位情報が付された内視鏡画像の枚数であってもよい。第２画像枚数は、学習済みモデル１３０により第１感染状態と判断された内視鏡画像の枚数であってもよい。第１感染状態は、現感染、既感染及び未感染のうちのいずれかであってもよい。
　本実施形態によれば、第１処理及び第２処理の少なくとも一方により、特定部位のピロリ菌感染状態が第１感染状態であるか否かを判断できる。即ち、特定部位のピロリ菌感染状態が、未感染であるか否か、既感染であるか否か、又は現感染であるか否か、を判断できる。そして、このような判断を統合処理に組み込むことで、症例単位のピロリ菌感染状態を統合判断できるようになる。
　なお、ここでの「統合処理」は、図１２～図１５の処理２、４、６、７、８又は１０に対応する。処理２を例にとると、「特定部位」は、精度により選定された部位であり、「第１画像枚数」は、１症例に紐付く複数の内視鏡画像のうち、精度により選定された部位が写る内視鏡画像の枚数である。また、「第１感染状態」は特定感染状態Ａであり、「第２画像枚数」は、精度により選定された部位が写る内視鏡画像のうち特定感染状態Ａと判断された内視鏡画像の枚数である。また、「特定の閾値」は閾値ｔｈａである。
　また本実施形態では、特定部位は、消化管の部位のうち、第１感染状態に対する重要所見が発生する部位であってもよい。
　本実施形態によれば、第１感染状態に対する重要所見が表れる部位を特定部位として選定しておくことで、その特定部位の内視鏡画像に対する推論結果を、症例が第１感染状態か否かの判断材料にできる。このような判断を統合処理に組み込むことで、症例単位のピロリ菌感染状態を精度良く統合判断できるようになる。
　なお、ここでの「特定部位」は、図１４の「臨床により選定された部位」に相当する。即ち、ここでの「統合処理」は、図１４の処理７又は８に対応する。特定所見とは、臨床的視点において特定部位に現れるピロリ菌の感染状態に特有な（特徴的な）所見のことである。例えば図６の例において、前庭部の萎縮、又は胃角小彎のＲＡＣ等が、特定所見である。
　また本実施形態では、特定部位は、消化管の部位のうち、学習済みモデル１３０により第１感染状態が最も高精度に識別される部位を含んでもよい。
　本実施形態によれば、学習済みモデル１３０により第１感染状態が最も高精度に識別される部位を特定部位として選定しておくことで、その特定部位の内視鏡画像に対する推論結果を、症例が第１感染状態か否かの判断材料にできる。このような判断を統合処理に組み込むことで、症例単位のピロリ菌感染状態を精度良く統合判断できるようになる。
　なお、ここでの「特定部位」は、図１２、図１３及び図１５の「精度により選定された部位」に相当する。即ち、ここでの「統合処理」は、図１４の処理２、４、６又は１０に対応する。
　また本実施形態では、学習済みモデル１３０は、入力された内視鏡画像を、現感染、既感染及び未感染のうちのいずれに該当するかを分類し、分類結果を推論結果として出力してもよい。
　本実施形態によれば、内視鏡画像毎に推論された現感染、既感染及び未感染の分類結果を統合することで、症例のピロリ菌感染状態を判断できる。内視鏡画像毎に現感染、既感染及び未感染の分類結果は異なると想定されるが、それらを統合することで、画像単位ではなく症例全体としてのピロリ菌感染状態を総合的に判断できるようになる。
　なお、ここでの「学習済みモデル」は、図１２～図１４のメインモデルに対応する。即ち、ここでの「統合処理」は、図１２～図１４の処理１、２、５、６又は７に対応する。但し、学習済みモデル１３０が、メインモデル以外のモデルを更に含んでいてもよい。
　また本実施形態では、学習済みモデル１３０は、入力された内視鏡画像が、現感染、既感染及び未感染のうちの特定の感染状態に該当するか否かを判断し、その判断結果を推論結果として出力する。
　本実施形態によれば、内視鏡画像毎に推論された特定の感染状態に該当するかの判断結果を統合することで、症例のピロリ菌感染状態を判断できる。内視鏡画像毎に特定の感染状態に該当するかの判断結果は異なると想定されるが、それらを統合することで、画像単位ではなく症例全体としてのピロリ菌感染状態を総合的に判断できるようになる。
　なお、ここでの「学習済みモデル」は、図１２及び図１４の特化モデルに対応する。即ち、ここでの「統合処理」は、図１２及び図１４の処理３、４又は８に対応する。但し、学習済みモデル１３０が、特化モデル以外のモデルを更に含んでいてもよい。「特定の感染状態に該当するか否か」は、未感染であるか否か、現感染であるか否か、又は既感染であるか否か、である。
　また本実施形態では、学習済みモデル１３０は、入力された内視鏡画像に写る萎縮の有無を判断し、その判断結果を推論結果として出力してもよい。
　本実施形態によれば、内視鏡画像毎に推論された萎縮有無の判断結果を統合することで、症例のピロリ菌感染状態を判断できる。内視鏡画像毎に萎縮有無の判断結果は異なると想定されるが、それらを統合することで、画像単位ではなく症例全体としてのピロリ菌感染状態を総合的に判断できるようになる。
　なお、「萎縮」とは、慢性的に続いた炎症により胃の粘膜が薄くなった状態のことである。「萎縮」は、炎症を伴っていてもよいし、炎症が消失した後に残る萎縮であってもよい。「萎縮」は、例えば萎縮性胃炎又は腸上皮化生を含んでもよい。ここでの「学習済みモデル」は、図１５の萎縮モデルに対応する。即ち、ここでの「統合処理」は、図１５の処理９又は１０に対応する。但し、学習済みモデル１３０が、萎縮モデル以外のモデルを更に含んでいてもよい。
　また本実施形態では、学習済みモデル１３０は、現感染、既感染及び未感染のうちの特定の感染状態に紐付く特定所見の有無を、入力された内視鏡画像から判断し、その判断結果を推論結果として出力してもよい。
　本実施形態によれば、内視鏡画像毎に推論された特定所見の有無の判断結果を統合することで、症例のピロリ菌感染状態を判断できる。内視鏡画像毎に特定所見の有無の判断結果は異なると想定されるが、それらを統合することで、画像単位ではなく症例全体としてのピロリ菌感染状態を総合的に判断できるようになる。
　なお、ここでの「学習済みモデル」は、図１８及び図１９の現感染特化モデル、前庭部特化モデル、ＲＡＣ特化モデル又は萎縮モデルに対応する。即ち、ここでの「統合処理」は、上記モデルの出力の集計結果に基づく。但し、学習済みモデル１３０が、上記モデル以外のモデルを更に含んでいてもよい。
　また本実施形態では、学習済みモデル１３０は、第１部位群に属する部位が写る内視鏡画像から推論結果を出力する第１学習済みモデルと、第２部位群に属する部位が写る内視鏡画像から推論結果を出力する第２学習済みモデルと、を含んでもよい。プロセッサ１１０は、第１部位群に属する部位が写る複数の内視鏡画像を第１学習済みモデルへ入力することで第１の複数の推論結果を取得してもよい。プロセッサ１１０は、第２部位群に属する部位が写る複数の内視鏡画像を第２学習済みモデルへ入力することで第２の複数の推論結果を取得してもよい。プロセッサ１１０は、取得された第１の複数の推論結果及び第２の複数の推論結果に基づいて、症例単位のピロリ菌感染状態を判断してもよい。
　本実施形態によれば、様々な学習済みモデルを組み合わせて、その各学習済みモデルが出力した推論結果を統合することで、症例単位のピロリ菌感染状態を判断できる。例えば部位又は所見に応じてモデルを用意し、それらのモデルを組み合わせることが可能となるため、症例単位のピロリ菌感染状態を精度良く判断できるようになる。
　なお、第１部位群及び第２部位群の各々は、胃の部位のうち全部又は一部である。第２部位群は、第１部位群と同じであってもよいし、異なってもよい。第２部位群に含まれる部位は、第１部位群に含まれる部位と重複してもよい。第１学習済みモデル及び第２学習済みモデルの各々は、図１２～図１５のメインモデル又は特化型モデルである。或いは、「第１学習済みモデル」及び「第２学習済みモデル」の各々は、図１８及び図１９に示すメインモデル、現感染特化型モデル、前庭部特化モデル、ＲＡＣ特化モデル及び萎縮モデルのいずれかである。「第２学習済みモデル」は「第１学習済みモデル」と異なるモデルでもよいし、同じモデルでもよい。「第２学習済みモデル」が「第１学習済みモデル」と同じモデルであるとき、第２部位群が第１部位群と異なればよい。
　また本実施形態では、プロセッサ１１０は、第１の複数の推論結果を集計した集計結果と、第２の複数の推論結果を集計した集計結果とに基づいて、症例単位のピロリ菌感染状態を判断してもよい。
　本実施形態によれば、第１の複数の推論結果を集計した結果に基づいて判断されるピロリ菌感染状態と、第２の複数の推論結果を集計した結果に基づいて判断されるピロリ菌感染状態と、を統合することで、症例単位のピロリ菌感染状態を判断できる。
　例えば図２０及び図２１のフローにおいて、ステップＳ６１において現感染特化型モデルの推論結果に基づいて現感染か否かが判断され、ステップＳ７１においてメインモデルの推論結果に基づいて未感染か否かが判断され、それらを統合して未感染、既感染及び現感染のいずれであるかが判断されている。この例では、現感染特化型モデル及びメインモデルの一方が第１学習済みモデルに対応し、他方が第２学習済みモデルに対応する。
　また本実施形態では、第１学習済みモデルは、入力された内視鏡画像が、現感染、既感染及び未感染のうちのいずれに該当するかを分類し、分類結果を前記推論結果として出力してもよい。
　また本実施形態では、第２学習済みモデルは、入力された内視鏡画像が、現感染、既感染及び未感染のうちの特定の感染状態に該当するか否かを判断し、その判断結果を推論結果として出力してもよい。
　また本実施形態では、第２学習済みモデルは、入力された内視鏡画像に写る萎縮の有無を判断し、その判断結果を推論結果として出力してもよい。
　また本実施形態では、第２学習済みモデルは、現感染、既感染及び未感染のうちの特定の感染状態に紐付く特定所見の有無を、入力された内視鏡画像から判断し、その判断結果を推論結果として出力してもよい。
　これらの学習済みモデルを用いる作用効果、用語の意味、実施例との対応は、上述した通りである。
　また本実施形態では、図５で説明したように、プロセッサ１１０は、統合処理によるピロリ菌感染状態の判断結果と、複数の内視鏡画像のうち判断結果と同じ感染状態の内視鏡画像の一覧と、をディスプレイ１９０に表示する処理を行う。
　本実施形態によれば、学習済みモデル及びプログラムによって自動判断された症例のピロリ菌感染状態と、その判断結果と同じ感染状態の内視鏡画像の一覧とを、医師に提示できる。医師が、自身が判断した診断結果と提示内容とを見比べることで、診断結果の再確認又は教育効果を期待できる。
　以上に説明した本実施形態は、画像処理方法として実施されてもよい。即ち、画像処理方法は、学習済みモデル１３０を用いてピロリ菌感染状態を判断する。学習済みモデル１３０は、入力された内視鏡画像毎にピロリ菌感染状態を識別することで、内視鏡画像毎の感染状態を示す推論結果を出力する。画像処理方法は、学習済みモデル１３０に対して、複数の内視鏡画像を入力することで複数の推論結果を取得すること、を含む。複数の内視鏡画像の各内視鏡画像に対して、消化管の部位に関する部位情報が付され、且つ複数の内視鏡画像は１つの症例に紐付いている。画像処理方法は、統合処理を行うこと、を含む。統合処理は、取得された複数の推論結果と、部位情報とを用いて複数の推論結果を集計する。統合処理は、その集計結果に基づいて複数の推論結果を統合することで、症例単位のピロリ菌感染状態を判断する。
　また本実施形態は、プログラム又は情報記憶媒体として実施されてもよい。即ち、プログラムは、学習済みモデル１３０を用いてピロリ菌感染状態を判断することを、コンピュータに実行させる。学習済みモデル１３０は、入力された内視鏡画像毎にピロリ菌感染状態を識別することで、内視鏡画像毎の感染状態を示す推論結果を出力する。プログラムは、学習済みモデル１３０に対して、複数の内視鏡画像を入力することで複数の推論結果を取得すること、をコンピュータに実行させる。複数の内視鏡画像の各内視鏡画像に対して、消化管の部位に関する部位情報が付され、且つ複数の内視鏡画像は１つの症例に紐付いている。プログラムは、統合処理を行うこと、をコンピュータに実行させる。統合処理は、取得された複数の推論結果と、部位情報とを用いて複数の推論結果を集計する。統合処理は、その集計結果に基づいて複数の推論結果を統合することで、症例単位のピロリ菌感染状態を判断する。プログラムは、コンピュータにより読み取り可能な非一時的な情報記憶媒体に記憶されてもよい。
　以上、本実施形態およびその変形例について説明したが、本開示は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、本開示の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
１…内視鏡システム、１００…画像処理システム、１１０…プロセッサ、１２０…メモリ、１３０…学習済みモデル、１４０…プログラム、１９０…ディスプレイ、２００…内視鏡、２５０…ビデオプロセッサ、２９０…ディスプレイ、４１０…画像チェックモデル、４２０…部位認識モデル、４３０…ピロリ菌感染識別モデル、４４０…統合処理、４５０…ピロリ菌感染状態、５２０…前庭部特化モデル、５３０…ＲＡＣ特化モデル、５４０…現感染特化モデル、ＩＭ１～ＩＭ９…内視鏡画像

Claims (17)

  1. 　入力された内視鏡画像毎にピロリ菌感染状態を識別することで、前記内視鏡画像毎の前記感染状態を示す推論結果を出力する学習済みモデルを記憶するメモリと、
    　１つの症例に紐付く複数の内視鏡画像を前記学習済みモデルへ入力することで複数の推論結果を取得し、取得された前記複数の推論結果を統合することで症例単位のピロリ菌感染状態を判断する統合処理を行うプロセッサと、
    　を含み、
    　前記プロセッサは、
    　消化管の部位に関する部位情報が各内視鏡画像に対して付された前記複数の内視鏡画像を、前記学習済みモデルへ入力することで、前記複数の推論結果を取得し、
    　取得された前記複数の推論結果と、前記部位情報とを用いて前記複数の推論結果を集計し、集計結果に基づいて前記複数の推論結果を統合することで、前記症例単位のピロリ菌感染状態を判断することを特徴とする画像処理システム。
  2. 　請求項１に記載された画像処理システムにおいて、
    　前記統合処理は、
    　前記複数の内視鏡画像のうち特定部位の前記部位情報が付された内視鏡画像の枚数である第１画像枚数に対する、前記学習済みモデルにより現感染、既感染及び未感染のうちのいずれかである第１感染状態と判断された内視鏡画像の枚数である第２画像枚数の割合が、特定の閾値以上である場合に、前記特定部位のピロリ菌感染状態が前記第１感染状態であると判断する第１処理と、
    　前記第１画像枚数に対する前記第２画像枚数の割合が、前記特定の閾値以下である場合に、前記特定部位のピロリ菌感染状態が、前記現感染、前記既感染及び前記未感染のうち前記第１感染状態以外であると判断する第２処理と、
    　の少なくとも一方を含むことを特徴とする画像処理システム。
  3. 　請求項２に記載された画像処理システムにおいて、
    　前記特定部位は、
    　前記消化管の部位のうち、前記第１感染状態に対する重要所見が発生する部位であることを特徴とする画像処理システム。
  4. 　請求項２に記載された画像処理システムにおいて、
    　前記特定部位は、
    　前記消化管の部位のうち、前記学習済みモデルにより前記第１感染状態が最も高精度に識別される部位を含むことを特徴とする画像処理システム。
  5. 　請求項１に記載された画像処理システムにおいて、
    　前記学習済みモデルは、
    　入力された内視鏡画像が、現感染、既感染及び未感染のうちのいずれに該当するかを分類し、分類結果を前記推論結果として出力することを特徴とする画像処理システム。
  6. 　請求項１に記載された画像処理システムにおいて、
    　前記学習済みモデルは、
    　入力された内視鏡画像が、現感染、既感染及び未感染のうちの特定の感染状態に該当するか否かを判断し、判断結果を前記推論結果として出力することを特徴とする画像処理システム。
  7. 　請求項１に記載された画像処理システムにおいて、
    　前記学習済みモデルは、
    　入力された内視鏡画像に写る萎縮の有無を判断し、判断結果を前記推論結果として出力することを特徴とする画像処理システム。
  8. 　請求項１に記載された画像処理システムにおいて、
    　前記学習済みモデルは、
    　現感染、既感染及び未感染のうちの特定の感染状態に紐付く特定所見の有無を、入力された内視鏡画像から判断し、判断結果を前記推論結果として出力することを特徴とする画像処理システム。
  9. 　請求項１に記載された画像処理システムにおいて、
    　前記学習済みモデルは、
    　第１部位群に属する部位が写る内視鏡画像から前記推論結果を出力する第１学習済みモデルと、
    　第２部位群に属する部位が写る内視鏡画像から前記推論結果を出力する第２学習済みモデルと、
    　を含み、
    　前記プロセッサは、
    　前記第１部位群に属する部位が写る複数の内視鏡画像を前記第１学習済みモデルへ入力することで第１の複数の推論結果を取得し、前記第２部位群に属する部位が写る複数の内視鏡画像を前記第２学習済みモデルへ入力することで第２の複数の推論結果を取得し、
    　取得された前記第１の複数の推論結果及び前記第２の複数の推論結果に基づいて、前記症例単位のピロリ菌感染状態を判断することを特徴とする画像処理システム。
  10. 　請求項９に記載された画像処理システムにおいて、
    　前記プロセッサは、
    　前記第１の複数の推論結果を集計した集計結果と、前記第２の複数の推論結果を集計した集計結果とに基づいて、前記症例単位のピロリ菌感染状態を判断することを特徴とする画像処理システム。
  11. 　請求項９に記載された画像処理システムにおいて、
    　前記第１学習済みモデルは、
    　入力された内視鏡画像が、現感染、既感染及び未感染のうちのいずれに該当するかを分類し、分類結果を前記推論結果として出力することを特徴とする画像処理システム。
  12. 　請求項９に記載された画像処理システムにおいて、
    　前記第２学習済みモデルは、
    　入力された内視鏡画像が、現感染、既感染及び未感染のうちの特定の感染状態に該当するか否かを判断し、判断結果を前記推論結果として出力することを特徴とする画像処理システム。
  13. 　請求項９に記載された画像処理システムにおいて、
    　前記第２学習済みモデルは、
    　入力された内視鏡画像に写る萎縮の有無を判断し、判断結果を前記推論結果として出力することを特徴とする画像処理システム。
  14. 　請求項９に記載された画像処理システムにおいて、
    　前記第２学習済みモデルは、
    　現感染、既感染及び未感染のうちの特定の感染状態に紐付く特定所見の有無を、入力された内視鏡画像から判断し、判断結果を前記推論結果として出力することを特徴とする画像処理システム。
  15. 　請求項１に記載された画像処理システムにおいて、
    　前記プロセッサは、
    　前記統合処理による前記ピロリ菌感染状態の判断結果と、前記複数の内視鏡画像のうち前記判断結果と同じ感染状態の内視鏡画像の一覧と、をディスプレイに表示する処理を行うことを特徴とする画像処理システム。
  16. 　入力された内視鏡画像毎にピロリ菌感染状態を識別することで、前記内視鏡画像毎の前記感染状態を示す推論結果を出力する学習済みモデルを用いて、ピロリ菌感染状態を判断する画像処理方法であって、
    　前記学習済みモデルに対して、消化管の部位に関する部位情報が各内視鏡画像に対して付され且つ１つの症例に紐付く前記複数の内視鏡画像を入力することで、複数の推論結果を取得することと、
    　取得された前記複数の推論結果と、前記部位情報とを用いて前記複数の推論結果を集計し、集計結果に基づいて前記複数の推論結果を統合することで、症例単位の前記ピロリ菌感染状態を判断する統合処理を行うことと、
    　を含むことを特徴とする画像処理方法。
  17. 　入力された内視鏡画像毎にピロリ菌感染状態を識別することで、前記内視鏡画像毎の前記感染状態を示す推論結果を出力する学習済みモデルを用いて、ピロリ菌感染状態を判断することを、コンピュータに実行させるプログラムを記憶した、コンピュータにより読み取り可能な非一時的な情報記憶媒体であって、
    　前記学習済みモデルに対して、消化管の部位に関する部位情報が各内視鏡画像に対して付され且つ１つの症例に紐付く複数の内視鏡画像を入力することで、複数の推論結果を取得することと、
    　取得された前記複数の推論結果と、前記部位情報とを用いて前記複数の推論結果を集計し、集計結果に基づいて前記複数の推論結果を統合することで、症例単位の前記ピロリ菌感染状態を判断する統合処理を行うことと、
    　をコンピュータに実行させるプログラムを記憶した情報記憶媒体。
PCT/JP2023/023293 2022-06-28 2023-06-23 画像処理システム、画像処理方法及び情報記憶媒体 WO2024004850A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263356152P 2022-06-28 2022-06-28
US63/356,152 2022-06-28
US202263389058P 2022-07-14 2022-07-14
US63/389,058 2022-07-14

Publications (1)

Publication Number Publication Date
WO2024004850A1 true WO2024004850A1 (ja) 2024-01-04

Family

ID=89382945

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/023293 WO2024004850A1 (ja) 2022-06-28 2023-06-23 画像処理システム、画像処理方法及び情報記憶媒体

Country Status (1)

Country Link
WO (1) WO2024004850A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019245009A1 (ja) * 2018-06-22 2019-12-26 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
CN112651375A (zh) * 2021-01-05 2021-04-13 中国人民解放军陆军特色医学中心 基于深度学习模型的幽门螺杆菌胃部图像识别分类系统
US11024031B1 (en) * 2020-02-13 2021-06-01 Olympus Corporation System and method for diagnosing severity of gastric cancer
WO2021140600A1 (ja) * 2020-01-09 2021-07-15 オリンパス株式会社 画像処理システム、内視鏡システム及び画像処理方法
CN113222932A (zh) * 2021-05-12 2021-08-06 上海理工大学 基于多卷积神经网络集成学习的小肠内镜图片特征提取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019245009A1 (ja) * 2018-06-22 2019-12-26 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
WO2021140600A1 (ja) * 2020-01-09 2021-07-15 オリンパス株式会社 画像処理システム、内視鏡システム及び画像処理方法
US11024031B1 (en) * 2020-02-13 2021-06-01 Olympus Corporation System and method for diagnosing severity of gastric cancer
CN112651375A (zh) * 2021-01-05 2021-04-13 中国人民解放军陆军特色医学中心 基于深度学习模型的幽门螺杆菌胃部图像识别分类系统
CN113222932A (zh) * 2021-05-12 2021-08-06 上海理工大学 基于多卷积神经网络集成学习的小肠内镜图片特征提取方法

Similar Documents

Publication Publication Date Title
JP6657480B2 (ja) 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム
Pan et al. Bleeding detection in wireless capsule endoscopy based on probabilistic neural network
WO2020098539A1 (zh) 图像处理方法、装置、计算机可读介质及电子设备
US20180263568A1 (en) Systems and Methods for Clinical Image Classification
CN113496489B (zh) 内窥镜图像分类模型的训练方法、图像分类方法和装置
US20180247107A1 (en) Method and system for classification of endoscopic images using deep decision networks
JP2024045234A (ja) 腸の病理学のための画像スコアリング
EP4231314A1 (en) Surgery support system, surgery support method, information processing apparatus, and information processing program
He et al. Deep learning-based anatomical site classification for upper gastrointestinal endoscopy
EP4091532A1 (en) Medical image processing device, endoscope system, diagnosis assistance method, and program
US20220246303A1 (en) Learning support system and learning support method
WO2020256568A1 (en) Method for real-time detection of objects, structures or patterns in a video, an associated system and an associated computer readable medium
JP6707131B2 (ja) 画像処理装置、学習装置、画像処理方法、識別基準の作成方法、学習方法およびプログラム
WO2021220822A1 (ja) 画像診断装置、画像診断方法、画像診断プログラムおよび学習済みモデル
Xu et al. Upper gastrointestinal anatomy detection with multi‐task convolutional neural networks
Kodogiannis et al. The usage of soft-computing methodologies in interpreting capsule endoscopy
CN116723787A (zh) 计算机程序、学习模型的生成方法、以及辅助装置
WO2024004850A1 (ja) 画像処理システム、画像処理方法及び情報記憶媒体
CN113989236A (zh) 一种胃镜图像智能目标检测系统及方法
Shenson et al. Multispectral imaging for automated tissue identification of normal human surgical specimens
Pan et al. BP neural network classification for bleeding detection in wireless capsule endoscopy
CN115171889B (zh) 一种小样本胃部肿瘤诊断系统
US20220361739A1 (en) Image processing apparatus, image processing method, and endoscope apparatus
Phillips et al. Video capsule endoscopy: pushing the boundaries with software technology
WO2022049577A1 (en) Systems and methods for comparing images of event indicators

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23831292

Country of ref document: EP

Kind code of ref document: A1