WO2019245009A1 - 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 - Google Patents

消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2019245009A1
WO2019245009A1 PCT/JP2019/024613 JP2019024613W WO2019245009A1 WO 2019245009 A1 WO2019245009 A1 WO 2019245009A1 JP 2019024613 W JP2019024613 W JP 2019024613W WO 2019245009 A1 WO2019245009 A1 WO 2019245009A1
Authority
WO
WIPO (PCT)
Prior art keywords
disease
image
diagnosis
colon
endoscopic image
Prior art date
Application number
PCT/JP2019/024613
Other languages
English (en)
French (fr)
Inventor
智裕 多田
宏章 斎藤
智聖 七條
有真 遠藤
和玄 青山
篤生 山田
健太郎 中川
立 石原
俊太郎 井上
Original Assignee
株式会社Ａｉメディカルサービス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019032163A external-priority patent/JP7017198B2/ja
Application filed by 株式会社Ａｉメディカルサービス filed Critical 株式会社Ａｉメディカルサービス
Priority to EP19823151.6A priority Critical patent/EP3811845A4/en
Priority to US17/252,877 priority patent/US12048413B2/en
Priority to CN201980041982.XA priority patent/CN112584749A/zh
Publication of WO2019245009A1 publication Critical patent/WO2019245009A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4233—Evaluating particular parts, e.g. particular organs oesophagus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4238—Evaluating particular parts, e.g. particular organs stomach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4255—Intestines, colon or appendix
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4842—Monitoring progression or stage of a disease
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to a method, a diagnosis support system, a diagnosis support program, and a computer-readable recording medium storing the diagnosis support program for a disease using an endoscopic image of a digestive organ using a neural network.
  • Endoscopy is often performed on digestive organs such as the larynx, pharynx, esophagus, stomach, duodenum, biliary tract, pancreatic duct, small intestine, and large intestine.
  • Endoscopy of the upper gastrointestinal tract is used for screening for gastric cancer, esophageal cancer, peptic ulcer, reflux gastritis, etc.
  • colonoscopy for colon is used for colon cancer, colon polyps, ulcerative colitis, etc.
  • endoscopy of the upper gastrointestinal tract is commonly incorporated into detailed examination of various upper abdominal symptoms, detailed examination based on a positive barium test for gastric disease, and routine medical examination in Japan. It is also useful for work-up for abnormal serum pepsinogen levels.
  • gastric cancer screening has been shifting from conventional barium testing to gastroscopy.
  • H. pylori Helicobacter pylori
  • H. pylori the International Agency for Research on Cancer (International Agency for Research on Cancer) reported that H. pylori has been classified as a distinct carcinogen. From these results, it was suggested that to reduce the risk of developing gastric cancer, H. et al. H. pylori eradication is useful, and H. Eradication of H. pylori has become a health insurance practice in Japan and is a highly recommended treatment for health and hygiene. In fact, the Ministry of Health, Labor and Welfare of Japan in February 2013 Approved health insurance coverage for eradication of patients with gastritis due to H. pylori infection.
  • H. Gastroscopy provides very useful information for differential diagnosis of the presence of H. pylori infection. If the capillaries look clean (RAC (regular arrangement of collection of venules)) or fundic gland polyps are H. Although characteristic for H. pylori-negative gastric mucosa, atrophy, redness, mucosal swelling, and wrinkle wall hypertrophy are noted in H. pylori. This is a typical finding of H. pylori-infected gastritis. In addition, patchy red spots are described in Characteristics of gastric mucosa from which H. pylori was removed. H. Accurate endoscopic diagnosis of H. pylori infection is based on anti-H.
  • H. pylori IgG level measurement fecal antigen measurement
  • urea breath test urea breath test
  • rapid urease test a positive test result
  • Esophageal cancer is the eighth most common cancer and the sixth most common cause of cancer death, with an estimated 456,000 new cases and 400,000 deaths in 2012.
  • SCC squamous cell carcinoma
  • endoscopy of the upper digestive tract and large intestine is widely performed, but endoscopy of the small intestine is difficult to insert a general endoscope into the small intestine. Not so much done.
  • a general endoscope is about 2 m in length.
  • To insert the endoscope to the small intestine it is necessary to orally pass through the stomach and duodenum or transanally through the large intestine to the small intestine. This is because it is necessary to insert the small intestine itself, and since the small intestine itself is a long organ having a length of about 6 to 7 m, it is difficult to insert and observe the entire small intestine with a general endoscope.
  • a double balloon endoscope see Patent Document 1
  • a wireless capsule endoscope Wireless Capsule Endoscopy, hereinafter sometimes simply referred to as “WCE”
  • WCE Wireless Capsule Endoscopy
  • Double balloon endoscope, balloon provided on the distal side of the endoscope, and balloon provided on the distal side of the overtube that covers the endoscope, alternately or simultaneously inflated or deflated This is a method in which the examination is performed while shortening and straightening the long intestine so as to approach it.
  • the examination of the small intestine by the double balloon endoscope is usually performed in two steps: an oral endoscopy and a transanal endoscopy.
  • the endoscopy by WCE swallow a capsule that can be taken orally with a built-in camera, flash, battery, transmitter, etc., and wirelessly transmit an image taken while the capsule is moving in the digestive tract,
  • the examination is performed by receiving and recording this externally, and it is possible to photograph the entire small intestine at once.
  • small intestine generally refers to the duodenum, jejunum, and ileum
  • small intestine adenocarcinoma is defined as duodenal adenocarcinoma, jejunal adenocarcinoma, or ileal adenocarcinoma excluding magnum adenocarcinomas (Farter's papillary carcinoma).
  • Small intestinal adenocarcinoma accounts for less than 0.5% of all malignancies of the gastrointestinal tract and less than 5% of all malignancies. The annual incidence of small intestinal adenocarcinoma in Western countries is extremely low, ranging from 2.2 to 5.7 cases per million, and is considered a rare cancer.
  • Duodenal adenocarcinoma accounts for 45% of small intestine adenocarcinoma, and its 5-year survival rate is the lowest among malignant small intestine tumors, less than 30%. If diagnosed at an advanced stage, highly invasive treatment such as pancreaticoduodenectomy is required, but if diagnosed as unresectable advanced cancer, the prognosis is poor.
  • Superficial Non-Ampullary Duonal Epithelial Tumors hereinafter sometimes referred to as “SNADET”
  • SNADET Superficial Non-Ampullary Duonal Epithelial Tumors
  • ER endoscopic resection
  • the movement of WCE is not due to the movement of WCE itself, but to the peristalsis of the intestine, so that movement cannot be regulated from the outside. Since a large number of images are taken and the WCE is moving through the small intestine for about 8 hours, the number of images taken in one examination is very large. For example, the WCE transmits about 60,000 images per person wirelessly, so that the endoscopist will fast-forward and check, but the average WCE image analysis would require 30-120 minutes. Requires strict attention and concentration.
  • diagnosis based on these endoscopic images requires not only training for an endoscopist and a lot of time to check the stored images, but also is subjective, and various false positive judgments and false negative judgments are made. May occur.
  • diagnosis made by an endoscopist may be less accurate due to fatigue. Such a large burden on the site and a decrease in accuracy may lead to a restriction on the number of examinees, which may lead to a concern that medical services according to demand may not be sufficiently provided.
  • AI artificial intelligence
  • the use of AI is expected to reduce the labor burden and the decrease in accuracy of the above-mentioned endoscopy. It is expected that the accuracy and speed of the secondary image reading operation will be improved if AI with image recognition ability in recent years that is higher than that of a human can be used as an assist of an endoscopist.
  • AI using deep learning deep learning
  • medical images can be screened in place of specialists in various medical fields, as well as fields including colonoscopes (see Non-Patent Documents 4-6).
  • Patent Documents 3 and 4 There are also patent documents (see Patent Documents 3 and 4) in which medical image diagnosis is performed using various AIs. However, it has not been sufficiently verified whether the capability of the endoscopic image diagnosis of the AI can satisfy the accuracy (accuracy) and performance (speed) useful in the actual medical field, and the endoscopic image using the AI has not been sufficiently verified. Diagnosis based on has not yet been put to practical use.
  • Deep learning can learn higher-order features from input data using a neural network composed of a plurality of layers. Deep learning also uses a back-propagation algorithm to update the internal parameters used to calculate each layer's representation from the previous layer's representation by showing how the device should change. can do.
  • deep learning can be a powerful machine learning technique that can be trained using medical images that have been accumulated in the past and can directly obtain clinical characteristics of patients from medical images.
  • the neural network is a mathematical model that expresses the characteristics of the neural circuit of the brain by computer simulation.
  • the neural network is an algorithm that supports deep learning.
  • Convolutional neural networks (CNN) developed by Szegedy et al., Are the most common network architecture for deep learning of images.
  • H.264 based on endoscopic images. He reported the role of CNN in the diagnosis of H. pylori gastritis and showed that the ability of CNN was comparable to experienced endoscopists, and that the diagnosis time was significantly shorter (see Non-Patent Document 9).
  • this CNN is used as a training / verification data set as H.264. H. pylori eradication cases were excluded and H. pylori was excluded. Only H. pylori positive and negative cases have been used, There is a problem that it takes time and effort to construct a training / verification data set excluding cases from which H. pylori has been eradicated. Not only H. pylori positive and negative cases, but also H. pylori. There is a problem that it is not possible to evaluate whether a case where H. pylori has been eradicated can be accurately identified.
  • CS is commonly used for screening for positive fecal occult blood and abdominal symptoms, it is special enough for the practitioner to handle the colonoscope freely, recognize abnormal areas, and accurately diagnose the disease. Training is required. One reason that such skills are time consuming is the difficulty of anatomical recognition during endoscopy. Due to the anatomical differences of each part of the colon and the similarities of the various parts of the colon, due to the anatomical differences of each individual and the similarities between the parts of the colon, only CS beginners In addition, CS specialists cannot recognize the exact position of the tip of the endoscope.
  • Superficial esophageal squamous cell carcinoma (SCC), defined as mucosal or submucosal cancer, accounts for 38% of all esophageal cancers diagnosed in Japan.
  • SCC superficial esophageal SCC
  • esophagectomy and endoscopic resection ER
  • the depth of cancer penetration is the most important factor, given the risk of metastasis and the potential for cure of the ER.
  • Non-magnifying endoscopy non-ME
  • magnifying endoscopy ME
  • ultrasound endoscopy EUS
  • ME ultrasound endoscopy
  • EUS and ME diagnoses are more objective but more complex than non-ME diagnoses and are influenced by physician expertise.
  • the precise accuracy of EUS and ME reported cancer penetration is conflicting and unsatisfactory. Therefore, an innovative approach is required as a more objective and simple method of diagnosing the depth of cancer invasion of esophageal cancer.
  • SNADET superficial nonpapillary duodenal epithelial tumors
  • a first object of the present invention is to use an endoscopic image of a digestive organ and use a CNN to obtain, for example, H.264. Not only H. pylori positive and negative cases, but also H. pylori. Disease diagnosis support method, diagnosis support system, diagnosis support program, and computer-readable recording medium storing the diagnosis support program, by which endoscopic images of digestive organs can accurately identify even cases in which H. pylori has been eradicated Is to provide.
  • a second object of the present invention is to use an endoscopic image of the digestive tract and to accurately identify an anatomical site of a colon / rectal disease by using a CNN. It is an object of the present invention to provide a method for supporting diagnosis of a disease using an endoscope image, a diagnosis support system, a diagnosis support program, and a computer-readable recording medium storing the diagnosis support program.
  • a third object of the present invention is to provide a method and system for diagnosing diseases of the small intestine, which can accurately identify erosions / ulcers of the small intestine using CNN based on endoscopic images of the small intestine by WCE. It is an object of the present invention to provide a diagnosis support program and a computer-readable recording medium storing the diagnosis support program.
  • a fourth object of the present invention is to provide a diagnosis support method for a superficial esophagus SCC that can perform a depth of the superficial esophagus SCC and a classification thereof based on an esophageal endoscopic image using non-ME and ME,
  • An object of the present invention is to provide a diagnosis support system, a diagnosis support program, and a computer-readable recording medium storing the diagnosis support program.
  • a fifth object of the present invention is to provide a method for supporting diagnosis of SNADET, a diagnosis support system, a diagnosis support program, and a computer storing the diagnosis support program, based on a duodenal endoscope image using an esophagogastric duodenum endoscope. It is an object to provide a readable recording medium.
  • a method for assisting diagnosis of a disease by an endoscopic image of a digestive organ using a convolutional neural network includes: A method for supporting diagnosis of a disease by an endoscopic image of a digestive organ using CNN, A first endoscopic image of the digestive tract; Corresponding to the first endoscopic image, positive or negative of the disease of the digestive tract, past disease, level of severity, depth of disease, or at least information corresponding to the imaged site One definitive diagnosis result, Train the CNN using Based on the second endoscopic image of the gastrointestinal tract, the trained CNN provides a probability of positive and / or negative disease of the gastrointestinal tract, a probability of a previous disease, a level of disease severity, It is characterized in that at least one of the in-depth degree or the probability corresponding to the imaged part is output.
  • the first CNN is composed of endoscopic images of a plurality of digestive organs obtained in advance for each of the plurality of subjects. Endoscopic image and the information corresponding to the previously obtained positive or negative of the disease for each of a plurality of subjects, the past disease, the level of the severity, the depth of the disease, or the imaged site Of the subject's gastrointestinal tract disease in a short time and with substantially the same accuracy as an endoscopist, It is possible to obtain at least one of the probability of the disease, the level of the severity of the disease, the depth of the disease, or the probability corresponding to the imaged site, and shorten the subjects who need to make a definitive diagnosis separately.
  • the method for assisting diagnosis of a disease using an endoscopic image of a digestive organ using the CNN provides support for diagnosis of a disease using an endoscopic image of the digestive organ using the CNN of the first aspect.
  • the first endoscopic images are each associated with a portion of a digestive tract that has been imaged.
  • the neural network is trained using the endoscopic images classified according to each part.
  • CNN can be finely trained according to each part, so that the probability of each negative and positive of the disease with respect to the second endoscopic image, the probability of the past disease, the level of the disease severity In addition, the detection accuracy of the probability and the like corresponding to the imaged part is improved.
  • the method for assisting diagnosis of a disease based on an endoscopic image of a digestive organ using the CNN provides support for diagnosis of a disease based on an endoscopic image of the digestive organ using the CNN of the second aspect.
  • the method wherein the site of the digestive tract comprises at least one of the pharynx, esophagus, stomach, duodenum, small intestine and large intestine.
  • classification of each part of the pharynx, esophagus, stomach, duodenum, and large intestine can be performed accurately.
  • the detection accuracy of the positive and negative probabilities of the disease, the probability of the past disease, the level of the severity of the disease, the probability corresponding to the imaged site, and the like is improved.
  • the method for assisting diagnosis of a disease using an endoscopic image of a digestive organ using the CNN provides a method for assisting diagnosis of a disease using an endoscopic image of the digestive organ using the CNN of the third aspect.
  • the region of the digestive tract is divided into a plurality of portions in at least one of the pharynx, esophagus, stomach, duodenum, small intestine, and large intestine.
  • each digestive tract has a complicated shape, it may be difficult to recognize a specific endoscopic image as an image of what part of the digestive tract if the number of classifications of the parts is small.
  • the method for assisting diagnosis of a disease based on an endoscopic image of a digestive organ using the CNN since a plurality of digestive organs are divided into a plurality of locations in each of the digestive organs, a highly accurate diagnosis result can be obtained in a short time. Can be obtained.
  • the method for assisting diagnosis of a disease based on an endoscopic image of a digestive tract using a CNN provides a method for supporting a disease based on an endoscopic image of a digestive tract using a CNN according to the third or fourth aspect.
  • the site of the digestive tract is a stomach
  • the at least one confirmed diagnosis result is H. H. pylori infection positive; H. pylori infection negative and H. pylori infection.
  • H. pylori eradication wherein the CNN is H. pylori. H. pylori infection positive probability, H. pylori infection negative probability and H. pylori infection. Outputting at least one of the probability of eradication of H. pylori.
  • a subject can be examined in an extremely short time and with the same accuracy as that of a specialist in the Japanese Society of Gastroenterological Endoscopy. H. H. as well as the respective probabilities of positive or negative for H. pylori infection.
  • the probability that H. pylori has been eliminated can also be output, and a subject who must separately perform a definitive diagnosis can be accurately selected in a short time.
  • the definitive diagnosis is based on anti-H. It can be performed by performing a H. pylori IgG level measurement, a fecal antigen test, or a urea breath test.
  • the method for assisting diagnosis of a disease based on an endoscopic image of a digestive organ using a CNN is a method for assisting diagnosis of a disease based on an endoscopic image of a digestive organ using a CNN of the fourth aspect.
  • the site of the digestive tract is the large intestine
  • the segment is at least one of the terminal ileum, cecum, ascending colon, transverse colon, descending colon, sigmoid colon, rectum, and anus;
  • Outputting the probability corresponding to at least one of the terminal ileum, the cecum, the ascending colon, the transverse colon, the descending colon, the sigmoid colon, the rectum, and the anus as the section in which the endoscopic image of the second is captured. I do.
  • the method for assisting diagnosis of a disease using an endoscopic image of a digestive organ using a CNN provides a method for assisting diagnosis of a disease using an endoscopic image of a digestive organ using a CNN of the fourth aspect.
  • the method wherein the site of the digestive tract is the large intestine, the segment is the terminal ileum, cecum, ascending and transverse colon, descending and sigmoid colon, rectum and anus; and the CNN is the second Outputting a probability corresponding to at least one of the terminal ileum, cecum, ascending and transverse colon, descending and sigmoid colon, rectum, and anus as the section where the endoscope image was captured.
  • the method for assisting diagnosis of a disease using an endoscopic image of a digestive organ using the CNN provides a method for assisting diagnosis of a disease using an endoscopic image of the digestive organ using the CNN of the fourth aspect.
  • the method wherein the digestive tract site is the large intestine, wherein the segments are the terminal ileum, the right colon consisting of the cecum-ascending colon-transversal colon, the left colon and the anus consisting of the descending colon-sigmoid colon-rectum;
  • the CNN includes at least one of the terminal ileum, the right colon consisting of the cecum-ascending colon-transverse colon, the left colon consisting of the descending colon-Sigmoid colon-rectum, and the anus, as the section where the second endoscopic image was taken. And outputting a probability corresponding to each of them.
  • the method for assisting diagnosis of a disease based on an endoscopic image of a digestive tract using a CNN it becomes possible to accurately classify the large intestine for each segment, and to accurately perform the classification.
  • the categories that must be inspected are easier to understand.
  • the division of the large intestine may be selected appropriately in consideration of the appearance tendency and appearance frequency of colorectal diseases, and also in consideration of the sensitivity and specificity of the CNN for each division.
  • the method for assisting diagnosis of a disease using an endoscopic image of a digestive organ using the CNN provides a method for assisting diagnosis of a disease using an endoscopic image of the digestive organ using the CNN of the third aspect.
  • the site of the digestive tract is the small intestine
  • the endoscopic image is a wireless capsule endoscopic image
  • the disease is at least one of erosion and ulcer.
  • an endoscopic image of the small intestine by WCE for a large number of subjects can be obtained in a short time. It is possible to obtain positive and / or negative regions and probabilities of small intestine disease of a subject with an accuracy substantially equivalent to that of an endoscopist, and to quickly select subjects who need to make a definitive diagnosis separately. Can be easily checked and corrected by an endoscopist.
  • the WCE endoscopic image of the small intestine does not clearly distinguish between erosion and ulcer. One can be automatically and accurately selected.
  • the method for assisting diagnosis of a disease based on an endoscopic image of a digestive organ using a CNN provides a method for assisting diagnosis of a disease based on an endoscopic image of a digestive organ using a CNN of the third aspect.
  • the method wherein the site of the digestive tract is a duodenum, the endoscopic image is an esophagogastric duodenal endoscopic image, and the disease is a superficial non-papillary duodenal epithelial tumor. .
  • an endoscopic image of an esophageal gastro-duodenal endoscope is expressed in a short time.
  • the area and probability of a non-papillary duodenal epithelial tumor can be obtained.
  • the method for assisting diagnosis of a disease using an endoscopic image of a digestive organ using the CNN according to the eleventh aspect of the present invention is a method for assisting diagnosis of a disease using an endoscopic image of the digestive organ using the CNN according to the ninth or tenth aspect of the present invention.
  • the positive or negative definitive diagnosis of the disease is displayed as a positive region of the disease in the second endoscopic image
  • the trained convolutional neural network detects A positive region for the disease is displayed in the second endoscopic image, and the probability score is displayed in the second image.
  • a definitive diagnosis result by an endoscopist can be obtained in the second endoscopic image. It is possible to improve the sensitivity and specificity of the CNN because the region that has been detected and the region positive for the disease detected by the trained CNN can be accurately compared.
  • the method for assisting diagnosis of a disease based on an endoscopic image of a digestive organ using the CNN according to the twelfth aspect of the present invention provides support for diagnosis of a disease based on an endoscopic image of the digestive organ using the CNN according to the eleventh aspect of the present invention.
  • the method comprising: displaying the positive region of the disease in the second endoscopic image as a positive or negative definitive diagnosis of the disease; and the second endoscopy by the trained convolutional neural network. It is characterized in that the correctness of the diagnosis result of the trained convolutional neural network is determined based on the overlap with the positive region of the disease displayed in the mirror image.
  • a definitive diagnosis result by an endoscopist can be obtained in the second endoscopic image.
  • Region and the positive region of the disease detected by the trained CNN are displayed, so that the overlapping state of those regions allows immediate comparison with the trained CNN diagnosis result.
  • the method for assisting diagnosis of a disease using an endoscopic image of a digestive organ using the CNN is a method for assisting diagnosis of a disease using an endoscopic image of the digestive organ using the CNN of the twelfth aspect.
  • the overlap comprises: (1) when it is 80% or more of the positive region of the disease displayed in the second endoscopic image as a positive or negative positive diagnosis result of the disease of the small intestine, or (2) When there are a plurality of positive regions of the disease displayed in the second endoscopic image by the trained convolutional neural network, any one region is determined to be positive or negative of the disease.
  • the diagnosis of the trained convolutional neural network is determined to be correct.
  • the method for assisting in diagnosis of a disease based on an endoscopic image of a digestive organ using the CNN it is possible to easily determine whether the diagnosis of the CNN is correct or not, and The diagnosis accuracy is improved.
  • the method for assisting diagnosis of a disease by using an endoscopic image of a digestive organ using the CNN according to the fourteenth aspect of the present invention is directed to the endoscopic image of a digestive organ using the CNN according to any one of the ninth to 13th aspects.
  • the trained convolutional neural network displays the probability score together with the detected positive region of the disease in the second image.
  • an endoscopist can determine whether a large number of subjects are positive for small intestine or duodenal disease and / or The negative region and the probability score can be accurately grasped in a short time, and the check / correction by the endoscopist becomes easy.
  • the method for assisting diagnosis of a disease using an endoscopic image of a digestive organ using the CNN according to the fifteenth aspect of the present invention provides a method for assisting diagnosis of a disease using an endoscopic image of the digestive organ using the CNN according to the third aspect.
  • SCC superficial esophageal squamous cell carcinoma
  • the method for assisting diagnosis of a disease using an endoscopic image of a digestive organ using the CNN provides a method for diagnosing disease using an endoscopic image of a digestive organ using the CNN of the fifteenth aspect.
  • the positive or negative diagnosis result of the disease is that the squamous cell carcinoma has an invasion depth of mucosal epithelium-lamellar lamina basement (EP-LPM), mucosal muscularis (MM), near the submucosal surface (SM1) It is characterized in that it is determined to be any one of the submucosa middle part and the deeper part (SM2-).
  • the method for assisting diagnosis of a disease by using an endoscopic image of a digestive organ using the CNN according to the seventeenth aspect of the present invention provides an endoscopic image of a digestive organ using the CNN according to any one of the 1-16 aspects.
  • the CNN is further combined with three-dimensional information from an X-ray computed tomography apparatus, an ultrasonic computed tomography apparatus or a magnetic resonance imaging apparatus.
  • the X-ray computed tomography apparatus, the ultrasonic computed tomography apparatus, or the magnetic resonance imaging apparatus can three-dimensionally represent the structure of each digestive organ, the output of the CNN according to any one of the first to sixteenth aspects When combined with the above, it becomes possible to more accurately grasp the site where the endoscope image was captured.
  • the method for assisting diagnosis of a disease by using an endoscopic image of a digestive organ using the CNN according to the eighteenth aspect of the present invention provides an endoscopic image of a digestive organ using the CNN according to any one of the first to seventeenth aspects.
  • the second endoscopic image is provided by an image being captured by an endoscope, an image transmitted via a communication network, a remote operation system, or a cloud type system. It is at least one of an image, an image recorded on a computer-readable recording medium, and a moving image.
  • the probability or seriousness of each of the positive and negative digestive tract disease with respect to the input second endoscopic image Since the degree can be output in a short time, regardless of the input format of the second endoscope image, for example, an image transmitted from a remote place or a moving image can be used.
  • the communication network well-known Internet, intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network, telephone line network, mobile communication network, satellite communication network, etc. are used. It is possible.
  • transmission media constituting a communication network include well-known wires such as IEEE 1394 serial bus, USB, power line carrier, cable TV line, telephone line, and ADSL line, infrared, Bluetooth (registered trademark), wireless such as IEEE 802.11, and the like.
  • Radios such as a mobile phone network, a satellite line, and a terrestrial digital network can be used. With these, it can be used as a form of so-called cloud service or remote support service.
  • Computer-readable recording media include tape systems such as well-known magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks and hard disks, compact disks-ROM / MO / MD / digital video disks / compact disks.
  • a diagnosis support system for a disease based on an endoscopic image of a digestive organ is provided.
  • the computer is A first storage area for storing a first endoscopic image of a digestive organ; Corresponding to the first endoscopic image, positive or negative of the disease of the digestive tract, past disease, level of severity, depth of disease, or at least information corresponding to the imaged site A second storage area for storing one confirmed diagnosis result; A third storage area for storing the CNN program; With The CNN is: Training is performed based on the first endoscopic image stored in the first storage unit and the definitive diagnosis result stored in the second storage area; Based on the second endoscopic image of the digestive tract input from the endoscope image input unit, the probability of positive and / or negative of a digestive tract disease with respect to the second endoscopic image, a past disease At least one
  • the disease diagnosis support system based on an endoscopic image of a digestive organ according to a twentieth aspect of the present invention is the disease diagnosis support system based on an endoscopic image of a digestive organ according to the eighteenth aspect of the present invention.
  • One endoscope image is characterized in that it is associated with a part where each has been imaged.
  • the diagnostic support system for a disease based on an endoscopic image of a digestive organ according to the twenty-first aspect of the present invention is the diagnostic support system for a disease based on an endoscopic image of a digestive organ according to the twentieth aspect of the present invention.
  • the organ site is characterized by including at least one of the pharynx, esophagus, stomach, duodenum, small intestine and large intestine.
  • the diagnostic support system for a disease based on an endoscopic image of a digestive organ according to a twenty-second aspect of the present invention is the diagnostic support system for a disease based on an endoscopic image of a digestive organ according to the twenty-first aspect of the present invention.
  • the organ site is characterized in that it is divided into a plurality of sites in at least one of the pharynx, esophagus, stomach, duodenum, small intestine and large intestine.
  • the diagnostic support system for a disease based on an endoscopic image of a digestive organ according to the twenty-third aspect of the present invention is the diagnostic support system for a disease based on an endoscopic image of a digestive organ according to the twenty-first or twenty-second aspect of the present invention.
  • the gastrointestinal tract is a stomach, and the CNN is based on the second endoscopic image.
  • the diagnostic support system for a disease based on an endoscopic image of a digestive organ according to a twenty-fourth aspect of the present invention is the diagnostic support system for a disease based on an endoscopic image of a digestive organ according to the twenty-second aspect of the present invention.
  • the site of the organ is the large intestine
  • the segment is at least one of the terminal ileum, the cecum, the ascending colon, the transverse colon, the descending colon, the sigmoid colon, the rectum, and the anus
  • the CNN is the second endoscope.
  • the diagnostic support system for a disease using an endoscopic image of a digestive organ according to a twenty-fifth aspect of the present invention is the diagnostic support system for a disease using an endoscopic image of a digestive organ according to the twenty-second aspect of the present invention.
  • the organ site is the large intestine, wherein the segment is at least one of the terminal ileum, the cecum, the ascending colon, the transverse colon, the descending colon, the sigmoid colon, the rectum, and the anus; and the CNN is the second endoscope.
  • the diagnostic support system for a disease based on an endoscopic image of a digestive organ according to a twenty-sixth aspect of the present invention is the diagnostic support system for a disease based on an endoscopic image of a digestive organ according to a twenty-second aspect of the present invention.
  • the part of the organ is the large intestine
  • the trained CNN is a part where the second endoscopic image is taken, the right terminal colon consisting of the terminal ileum, the cecum-the ascending colon-the transverse colon, the descending colon-S Outputting a probability corresponding to at least one segment of the left colon and the anus consisting of the sigmoid colon and the rectum.
  • the disease diagnosis support system based on an endoscopic image of a digestive organ according to a twenty-seventh aspect of the present invention is the diagnostic support system for disease based on an endoscopic image of a digestive organ according to the twenty-first aspect of the present invention.
  • the organ site is the small intestine, and the trained convolutional neural network outputs a probability corresponding to at least one of erosion and ulcer as the disease based on the second endoscopic image.
  • the disease diagnosis support system based on an endoscopic image of a digestive organ according to a twenty-eighth aspect of the present invention is the diagnostic support system for a disease based on an endoscopic image of a digestive organ according to the twenty-first aspect of the present invention.
  • the trained convolutional neural network outputs a probability corresponding to a superficial non-papillary duodenal epithelial tumor as the disease based on the second endoscopic image It is characterized by the following.
  • the disease diagnosis support system using an endoscopic image of a digestive organ according to the twenty-ninth aspect of the present invention provides the diagnosis support for a disease using an endoscopic image of a digestive organ according to any one of the nineteenth to twenty-eighth aspects of the present invention.
  • the CNN is further combined with three-dimensional information from an X-ray computed tomography apparatus, an ultrasonic computed tomography apparatus, or a magnetic resonance imaging apparatus.
  • the system for assisting diagnosis of a disease using an endoscopic image of a digestive organ according to the thirtieth aspect of the present invention is the diagnostic support system for a disease using an endoscopic image of a digestive organ according to any one of the nineteenth to twenty-eighth aspects of the present invention.
  • the second endoscope image is an image being captured by an endoscope, an image transmitted via a communication network, an image provided by a remote operation system or a cloud type system, and a computer readable image. It is characterized by being at least one of an image or a moving image recorded on a simple recording medium.
  • the endoscopy of the digestive organ using the CNN according to any one of the 1st to 18th aspects can be obtained.
  • diagnosis support program using the endoscopic image of the digestive tract according to the thirty-first aspect of the present invention provides the diagnostic support program for a disease using the endoscopic image of the digestive tract according to any one of the nineteenth to twenty-eighth aspects. It is for operating a computer.
  • each of the means in the diagnosis support system for a disease using an endoscopic image of a digestive organ according to any one of the nineteenth to twenty-eighth aspects It is possible to provide a diagnosis support program based on an endoscopic image of a digestive organ for operating a computer.
  • a computer-readable recording medium is characterized by recording the diagnostic support program based on an endoscopic image of a digestive organ according to the thirty-first aspect.
  • the computer-readable recording medium of the thirty-second aspect of the present invention it is possible to provide a computer-readable recording medium in which a diagnosis support program based on an endoscopic image of a digestive organ of the thirty-first aspect is recorded.
  • a program incorporating a CNN is obtained in advance with respect to a plurality of digestive tract endoscope images obtained in advance for each of a plurality of subjects and a program obtained in advance for each of the plurality of subjects.
  • Probability, probability of past disease, level of disease severity, depth of disease, information corresponding to the imaged part, etc. can be obtained, and subjects who need to make a definitive diagnosis in a short time can be selected Will be able to
  • FIG. FIG. 1B is an example of a gastroscopic image in the case of positive H. pylori infection.
  • FIG. 1C is an example of a gastroscopic image in the case of a negative H. pylori infection. It is a gastric endoscopic image example after eradication of H. pylori.
  • FIG. 2 is a diagram showing major anatomical parts of the stomach.
  • FIG. 5 is a diagram illustrating selection of patients for a verification data set for CNN construction according to the first embodiment.
  • FIG. 4 is a schematic conceptual diagram showing the operation of GoogLeNet.
  • FIG. 2 is a diagram showing major anatomical parts of the large intestine. It is the schematic of the flowchart for CNN system construction of Embodiment 2.
  • FIGS. 8A-8F show receiver operating characteristic (ROC) curves for the terminal ileum, cecum, ascending colon, descending colon, sigmoid colon, rectum, and anus, respectively.
  • 9A is a diagram illustrating an image correctly recognized as an anus and a probability score of each part
  • FIG. 9B is a diagram illustrating an image of an terminal ileum incorrectly recognized as an anus and a probability score of each part.
  • FIG. 10A is a diagram showing an image of a cecum correctly recognized as a cecum and a probability score of each site
  • FIG. 10B is a diagram showing an image of a cecum incorrectly recognized as an end ileum and a probability score of each site. It is the schematic of the flowchart for CNN system construction of Embodiment 3.
  • FIG. 14 is a diagram illustrating an example of an ROC curve by a CNN according to a third embodiment.
  • 13A to 13D are diagrams showing a typical small intestinal endoscopic image correctly diagnosed by the CNN of the third embodiment and a probability score of a specific part recognized by the CNN.
  • FIGS. 14A to 14E are examples of images diagnosed as false positive based on darkness, laterality, bubbles, debris, and vasodilation by the CNN of the third embodiment, respectively, and FIGS. 14F to 14H are true.
  • FIG. 9 is a schematic cross-sectional view illustrating the relationship between the degree of invasion of superficial squamous cell carcinoma (SCC) of the esophagus to which the CNN of Embodiment 4 is applied and its classification.
  • FIG. 2 shows the main anatomical sites of the duodenum.
  • FIG. 17A is an example of an endoscopic image of the duodenum
  • FIG. 17B is a diagram illustrating an image of the portion of FIG. 17A recognized by the CNN according to the fifth embodiment.
  • 18A is an image of a normal duodenal fold false positive in the CNN of Embodiment 5
  • FIG. 18B is an image of a normal duodenal mucosa
  • FIG. 18C is an image of a duodenal papillary fold
  • FIG. It is an example of a low-quality image that also caused halation.
  • FIG. 19A is an endoscope image in which a lesion could not be recognized by the CNN of the fifth embodiment
  • FIG. 19B is an endoscopic image in which a lesion was recognized but a probability score was small and thus a negative determination was made.
  • It is a block diagram of the diagnosis support method of the disease by the endoscopic image of the digestive organ using the neural network of Embodiment 6. It is a block diagram about the diagnosis support system of the disease by the endoscopic image of the digestive organ of Embodiment 7, the diagnostic support program by the endoscopic image of the digestive organ, and the computer-readable recording medium.
  • H. pylori-infected gastritis and the case of recognition of each part of the large intestine will be described in detail.
  • the embodiments described below show examples for embodying the technical idea of the present invention, and are not intended to specify the present invention in these cases. That is, the present invention is equally applicable to other embodiments included in the claims.
  • the term image includes not only a still image but also a moving image.
  • Embodiment 1 In the first embodiment, a method for supporting diagnosis of a disease using an endoscope image, a diagnosis support system, a diagnosis support program, and a computer-readable recording medium storing the diagnosis support program according to the present invention will An example applied to the case of H. pylori-infected gastritis will be described.
  • a total of 33 endoscopists use an endoscope of normal magnification with white light to perform esophageal, stomach, and duodenal endoscopy (hereinafter, referred to as “EGD”).
  • EGD duodenal endoscopy
  • Indications for EGD were various upper abdominal symptoms, positive barium tests for gastric disease, abnormal serum pepsinogen levels, history of gastric and duodenal disease or referrals from primary care physicians for screening.
  • FIG. 1 shows a typical gastric endoscopic image obtained. Note that FIG. 1B is an example of an image diagnosed as H. pylori positive, and FIG. 1C is an example of an image diagnosed as H. pylori negative, and FIG. It is an example of the image after H. pylori eradication.
  • test data set an endoscope image data set to be evaluated (referred to as a “test data set”) was prepared.
  • the “training / verification data” corresponds to the “first endoscopic image” of the present invention
  • the “test data” corresponds to the “second endoscopic image” of the present invention.
  • H. 742 people determined to be H. pylori positive; H. pylori-negative 3,469 and H. pylori.
  • 98,564 images obtained from 845 patients determined to eradicate H. pylori were prepared for the training dataset.
  • the 98,564 endoscopic images are rotated at random between 0 and 359 °, and the surrounding black frame is trimmed and deleted. Enlarged and increased the number of images.
  • Such an increase in the number of images includes at least one of rotation, enlargement, reduction, change in the number of pixels, extraction of a light and dark portion, or extraction of a color change portion, and can be automatically performed by a tool.
  • a CNN was constructed using images classified according to seven locations of the stomach (cardia, fundus, stomach, stomach, antrum, antrum and pylorus, see FIG. 2).
  • a verification data set was prepared in order to evaluate the diagnostic accuracy between the CNN of Embodiment 1 constructed using the above-described training data set and the endoscopy physician.
  • image data of 871 patients who underwent endoscopy from May to June 2017 at the clinic to which one of the inventors belongs H. et al. Excluding the image data of 22 patients with unknown H. pylori infection status and 2 patients who underwent gastrectomy, finally 847 patients (70 H. pylori positive and 493 H. pylori negative, respectively) And 284 H. pylori eradication) in total (see FIG. 3).
  • the clinical diagnosis was based on stool antigen test in 264 (31%), urinary anti-H. 126 (15%) were due to H. pylori IgG levels. Multiple diagnostic tests were performed in 63 (7%) cases. There is no overlap between the training dataset and the validation dataset.
  • the CNN used in the first embodiment is trained using backpropagation (backpropagation) as shown in FIG.
  • Each layer of the CNN uses AdaDelta (https://arxiv.org/abs/1212.5701), and has a global learning rate of 0.005 and is stochastically optimized.
  • Each image was resized to 244x244 pixels to make all images compatible with GoogLeNet.
  • a trained model that learned the features of natural images through ImageNet was used as an initial value at the start of training.
  • ImageNet http://www.image-net.org/
  • This training method is called transfer learning, and it has been recognized that it is effective even when the teacher data is small.
  • a Core @ i7-7700K manufactured by INTEL was used as a CPU
  • a GeForce GTX # 1070 manufactured by NVIDEA was used as a GPU for a graphics processing device.
  • the trained / validated CNN of Embodiment 1 uses H.264 for the input image. H. pylori positive; H. pylori negative and H. pylori. A probability value (PS) between 0 and 1 is output as a diagnosis result of H. pylori eradication.
  • H. H. pylori-positive PS values are Pp, H .; Pylori-negative PS values were determined by Pn, H. et al.
  • Table 2 summarizes the relationship between the CNN diagnostic results and the clinical test diagnostic results measured in the first embodiment.
  • H. pylori was diagnosed, and 23,034 images were obtained from H. pylori. He was diagnosed as H. pylori-negative, and 247 images were further transformed into H. pylori. He was diagnosed with eradication of H. pylori. CNN converts all images to H.264. Of the 655 people diagnosed with H. pylori negative, 466 (71%) by laboratory tests likewise had H. pylori. H. pylori was diagnosed, but 22 (3%) were H. pylori. H. pylori was diagnosed, and 167 (25%) were H. pylori. He was diagnosed with eradication of H. pylori.
  • H. pylori eradication was diagnosed, but 16 (13%) were H. pylori. H. pylori was diagnosed, and 20 (17%) were H. pylori. He was diagnosed as positive for H. pylori.
  • the time required for the CNN to diagnose 23,669 images is 261 seconds.
  • H. magnum using gastric endoscopy images using CNN In diagnosing the H. pylori infection state, H. pylori was used as a training / verification data set for CNN construction by clinical examination. H. pylori positive and negative diagnosed images as well as H. pylori. By constructing the image including the image diagnosed as eradication of H. pylori, it is found that it is useful for extracting a case of "H. pylori positive or eradication" in a short time. Furthermore, this screening system based on CNN has sufficient sensitivity and specificity to be introduced into clinical practice, and is used for screening images (test data) taken during endoscopy. This shows that the workload of the specialist can be significantly reduced.
  • H. The screening time for H. pylori infection can be much shorter, and the report will be available shortly after endoscopy.
  • the endoscopic physician H.S. It can contribute to reducing the burden of H. pylori infection diagnosis and reducing medical costs.
  • the C.N. The H. pylori diagnosis is completely "on-line" because the results can be obtained as soon as an image at the time of endoscopy is input. Helicopter diagnosis can be assisted, and the problem of uneven distribution of physicians by region can be solved as so-called “teletherapy”.
  • H. pylori H. In Japan, especially for the elderly, H. pylori infection is common, and H. pylori H. for patients with gastritis due to H. pylori infection Health insurance has been applied to H. pylori eradication therapy, and in fact, this H. pylori eradication therapy has been applied. H. pylori eradication therapy is described in It has been widely adopted for H. pylori-infected patients. Furthermore, in the mass screening of gastric cancer using endoscopic images started in 2016, a large amount of endoscopic images are processed, and a more efficient image screening method is needed. The results obtained in Embodiment 1 show that a large number of stored images can be obtained using this CNN without using an H. H.
  • H. pylori infection can be greatly aided, and further testing will H. pylori infection and eventually H. pylori infection. It suggests that it may lead to eradication of H. pylori. And H. Although the ability of CNN to diagnose H. pylori infection is improved by adding a classification of each part of the stomach, the ability to diagnose gastric cancer is also improved by H. pylori. It is improved by adding information on the status of H. pylori infection.
  • GoogLeNet is used as the CNN architecture.
  • the CNN architecture is evolving every day, and better results may be obtained when the latest one is adopted.
  • the open source Caffe is also used as the deep learning framework
  • CNTK is also used as the deep learning framework
  • TensorFlow Theano, Torch, MXNet, etc.
  • Adam was used as an optimization method, but other well-known SGD (Stochastic Gradient Descent: stochastic gradient descent method) method, Momentum SGV method in which an inertia term (Momentum) is added to SGD, AdaGrad method, AdaDelta method, NesterovAG method Method, RMSpropGraves method or the like can be appropriately selected and used.
  • H. stomach endoscopic images of the stomach by the CNN of the first embodiment are used.
  • the diagnostic accuracy of H. pylori infection was comparable to that of endoscopy doctors. Therefore, the CNN of Embodiment 1 may be used for screening or other reasons for obtaining H. elegans images from the obtained endoscopic images. Helps to select patients with H. pylori infection.
  • the computer incorporating the CNN as the diagnosis support system of the first embodiment basically includes an endoscope image input unit, a storage unit (hard disk or semiconductor memory), an image analysis device, a determination display device, and a determination output. Device.
  • a device provided with a direct endoscope image pickup device may be used.
  • this computer system is installed away from an endoscopy facility, and can be operated as a centralized diagnosis support system by obtaining image information from a remote place, or as a cloud-type computer system via the Internet.
  • the computer has a first storage area for storing endoscopic images of a plurality of digestive tracts obtained in advance for each of the plurality of subjects in an internal storage unit, and a first storage area which is obtained in advance for each of the plurality of subjects.
  • a computer incorporating a CNN as a diagnosis support system used in the first embodiment can be used if a commercially available personal computer with a certain level of performance is used.
  • the Helicobacter pylori-infected gastritis diagnostic system can process more than 3000 cases per hour, and can process one image in about 0.2 seconds. Therefore, by giving the image data being photographed by the endoscope to the computer incorporating the CNN used in the first embodiment, real-time H.264 data can be obtained.
  • the determination of H. pylori infection is also possible, and it is possible to remotely diagnose not only gastroscopic images transmitted from all over the world and remote places, but also moving images.
  • GPUs of recent computers have extremely high performance, and therefore, by incorporating the CNN of the first embodiment, high-speed and high-accuracy image processing becomes possible.
  • an endoscopic image of the digestive organ of the subject input to the input unit of the computer incorporating the CNN as the diagnosis support system of Embodiment 1 is transmitted via the communication network and the image being captured by the endoscope.
  • communication network well-known Internet, intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network, telephone line network, mobile communication network, satellite communication network, etc. are used. It is possible.
  • transmission media constituting a communication network include well-known wires such as IEEE 1394 serial bus, USB, power line carrier, cable TV line, telephone line, and ADSL line, infrared, Bluetooth (registered trademark), wireless such as IEEE 802.11, and the like. Radios such as a mobile phone network, a satellite line, and a terrestrial digital network can be used.
  • Computer-readable recording media include tape systems such as well-known magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks and hard disks, compact disks-ROM / MO / MD / digital video disks / compact disks.
  • the method for assisting diagnosis of a disease based on an endoscope image, the diagnosis support system, the diagnosis support program, and the computer-readable recording medium storing the diagnosis support program according to the present invention are applied to the classification of the large intestine by site.
  • An example will be described.
  • Each part of the large intestine consists of the terminal ileum, cecum, ascending colon, transverse colon, descending colon, sigmoid colon, rectum and anus.
  • the major anatomical classification of the large intestine is shown in FIG.
  • the CNN is trained and verified so that these site-specific images can be automatically distinguished.
  • Images captured by the CS method were obtained using a standard colonoscope (EVIS LUCERA ELITE, CF TYPE H260AL / I, PCF TYPE Q260AI, Q260AZI, H290I, and H290ZI, Olympus Medical Systems, Tokyo, Japan).
  • EVIS LUCERA ELITE CF TYPE H260AL / I
  • PCF TYPE Q260AI Q260AZI
  • H290I H290I
  • H290ZI Olympus Medical Systems
  • FIG. 6 shows an outline of a flowchart of the CNN system of the second embodiment.
  • the images were classified by an endoscopist to train / validate the CNN into seven categories: terminal ileum, cecum, ascending and transverse colon, descending and sigmoid colon, rectum, anus and unclassifiable. All images for training / verification were checked for classification by at least two endoscopists before training / verifying the CNN.
  • the training / validation dataset was divided into six categories: terminal ileum, cecum, ascending and transverse colon, descending and sigmoid colon, rectum and anus.
  • the training / verification dataset did not include unclassifiable images.
  • the training / verification data set of the second embodiment obtained in this way has all images resized to 244 ⁇ 244 pixels in order to have compatibility with GoogLeNet.
  • the CNN system used in the second embodiment was trained using the same CNN system as the first embodiment.
  • the CNN system outputs a probability score (PS) for each part of each image for training / verification images.
  • the probability score is in the range of 0-1 (0-100%) and represents the probability of the large intestine site to which the image belongs.
  • the CNN calculates a probability score for each image at each of the seven sites (end ileum, cecum, ascending and transverse colon, descending and sigmoid colon, rectum, anus, and unclassifiable).
  • the anatomical site that has the highest probability score is assigned as the site in the image.
  • the site of the large intestine is based on the similarity of each tissue, and the cecum, ascending colon and transverse colon are combined into the right colon, the descending colon, sigmoid colon, and rectum as the left colon, and the terminal ileum, right colon, and left colon. And four parts of the anus.
  • the colonoscopy image on the left side of FIG. 7 is an example of an ascending-lateral colon image, but CNN determined that the ascending-lateral colon probability score was 95%, but the descending-sigmoid colon probability score. Is determined to be 5%. As a result, the CNN has assigned the left colonoscopy image of FIG. 7 to be the ascending-lateral colon.
  • the main purpose of the CNN of the second embodiment is to determine the sensitivity and specificity of the anatomical classification of the colonoscopy image by the CNN.
  • a receiver operating characteristic (ROC) curve was drawn for each part, and the area (AUC) of the lower part of the ROC curve was calculated by GraphPad ⁇ Prism7 (GraphPad ⁇ software, Inc, California, U.S.A.).
  • FIG. 8 shows an ROC curve for each region of the large intestine prepared by the CNN of the second embodiment.
  • 8A to 8F show ROC curves of the terminal ileum, the cecum, the ascending colon, the descending colon, the sigmoid colon, the rectum, and the anus, respectively.
  • Table 5 shows the correct recognition rate according to the probability score assigned to the image by the CNN.
  • the CNN system assigned 10% (507) of all images (5,121) for images with a probability score of more than 99%, of which 465 (14% of correctly classified) were clinically diagnosed And the accuracy was 91.7%.
  • the CNN system assigned 25% (1,296) of all images having a probability score of more than 90% and 99% or less, and 1,039 of the images (30 of correctly classified images). %) was correctly classified by clinical diagnosis, and the accuracy was 80.2%.
  • the CNN system assigns 30% (1,549) of all images having a probability score of more than 70% and 90% or less, of which 1,009 (3030 of correctly classified images). %) was correctly classified by clinical diagnosis, and the accuracy was 65.1%.
  • the CNN system allocated 27% (1,397) of all images having a probability score of more than 50% and 70% or less, of which 761 (22% of those correctly classified) Was correctly classified by clinical diagnosis, and the accuracy was 54.5%.
  • the CNN system assigned 7% (372) of all images having a probability score of 50% or less, of which 136 (4% of those correctly classified) were correctly classified by clinical diagnosis. The accuracy was 36.6%.
  • Table 6 shows the distribution of CNN output for each anatomical site classified by clinical diagnosis. Here, there was no image classified as “Classification not possible”.
  • the CNN constructed in embodiment 2 recognizes the image of the anus with the highest sensitivity of 91.4%, then the descending and sigmoid colon with the next highest sensitivity of 90.0% and the terminal ileum with the highest sensitivity of 69.
  • the ascending and transverse colon was recognized at a sensitivity of 51.1% at a sensitivity of 4%, and the cecum was recognized at a sensitivity of 49.8%, while the rectum was recognized only at the lowest sensitivity of 23.3%.
  • the specificity for each anatomical site was 90% or more except for the sites of the descending colon and sigmoid colon (60.9%).
  • the CNN constructed in the second embodiment recognized an image having an AUC value exceeding 0.8 for each anatomical site.
  • Table 7 shows that the terminal ileum, right side of the CNN constructed in Embodiment 2 when the cecum, ascending colon and transverse colon are referred to as “right colon”, and the descending colon, sigmoid colon and rectum are referred to as “left colon”. Shows the power distribution of the colon, left colon and anus. The left colon had a high sensitivity of 91.2% and 63. %, While the terminal ileum, right colon and anus showed the opposite results.
  • FIGS. 9 and 10 show typical examples of images incorrectly recognized by the CNN of the second embodiment.
  • FIG. 9A is an example of an endoscopic image correctly recognized as an anus
  • FIG. 9B is an image of a terminal ileum incorrectly recognized as an anus.
  • the lumen contour in FIG. 9B was similar to the anal contour.
  • FIG. 10A is an example of an endoscopic image correctly recognized as the cecum
  • FIG. 10B is an example of an image of the cecum incorrectly recognized as the terminal ileum.
  • a hole in the appendix can be seen as one of the characteristics of the cecum, but in FIG. 10B, it was incorrectly recognized as the terminal ileum.
  • the CNN system was constructed based on 9995 colonoscopy images of 409 persons.
  • the CNN system showed clinically useful performance when anatomical sites were identified using a large independent validation dataset.
  • This CNN system was able to recognize colon images with an accuracy of 60% or more. Therefore, this system will be the basis for the development of an AI system for colonoscopy in the near future.
  • Efficient anatomical image recognition is the first important step in developing an AI system for colon disease.
  • AI systems for colon polyp recognition were known, but with sensitivities ranging from 79% to 98.7% and specificities ranging from 74.1% to 98.5%.
  • conventional systems did not have the ability to recognize polyp anatomical sites. It is well known that the frequency of occurrence of polyps or colorectal cancer depends on the anatomical site of the colon. If the CNN system of the second embodiment can change the sensitivity of detecting a colon lesion based on its anatomical site, a more effective AI system can be developed.
  • the accuracy differs depending on the value of the probability score.
  • images with a high probability score are recognized with high accuracy, so the CNN can work better by limiting it only to images with a high probability score.
  • an appropriate value of the probability score is needed to ensure recognition results.
  • the sensitivity and specificity of the CNN system constructed in Embodiment 2 differs depending on the anatomical site.
  • the descending colon-Sigmoid site had a high sensitivity of 90% or more, but the lowest specificity was 69.9%.
  • the terminal ileum, cecum, ascending colon-transverse colon and rectum had high specificity, but the sensitivity was low at 23.3-69.4%.
  • the CNN of Embodiment 2 recognized the anus with high sensitivity and specificity of 90% or more.
  • rectal recognition sensitivity was reduced when calculated from images with high probability scores.
  • the rectal image was not correctly output correctly, and the rectal image was recognized as the descending sigmoid colon.
  • the reason that the rectum was recognized with low sensitivity may be that there is no characteristic part.
  • the CNN of Embodiment 2 had characteristic portions such as the ileocecal valve and the appendix, but the recognition sensitivity was relatively low. The reason why such a result was obtained can be explained by the fact that the CNN system of the second embodiment could not recognize such a characteristic portion belonging to each part.
  • the CNN system according to the second embodiment can recognize an image based on only the structure of the entire image, and can perform the entire image processing without teaching the CNN a feature based on each part in the image. This is because they are only classified into parts. If typical parts of the image can be taught to the CNN system of Embodiment 2, the recognition accuracy of those parts will be high.
  • the epithelium of the esophagus, stomach, and duodenum are different from each other, so it is necessary to recognize the image based on the fine structure of the surface.
  • the epithelium varies by anatomical location.
  • the pyloric glands are distributed in the gastric pylorus and the fundic glands are located in other areas.
  • the microstructure patterns of the cecum, ascending colon, transverse colon, descending colon, sigmoid colon, and rectum are almost the same. Therefore, it is inefficient to tell the CNN about the surface microstructure to distinguish between colon and rectum images. However, in order to recognize the terminal ileum or anus in the CNN system of Embodiment 2, it is useful to teach the surface microstructure.
  • colonoscopy and other X-ray CT capable of displaying three-dimensional information such as computed tomography and fluoroscopic images. It can be combined with imaging means (modality: modality) in medical images, such as a computer tomography apparatus, USCT (Ultrasonic Computer Tomography: ultrasonic computer tomography apparatus), and MRI (Magnetic Resonance Imaging). . If images with these modalities can be used in the training dataset, the CNN can more accurately recognize the position of the colonoscopy image.
  • imaging means modality: modality
  • medical images such as a computer tomography apparatus, USCT (Ultrasonic Computer Tomography: ultrasonic computer tomography apparatus), and MRI (Magnetic Resonance Imaging).
  • the ability to automatically recognize the anatomy of the colon has a major impact on both diagnosis and treatment. First, it recognizes where the colon disease is. For example, for the treatment of ulcerative colitis, a therapeutic or appropriate type of drug can be administered based on the location of colitis. In addition, for colorectal cancer, the anatomical site where the cancer exists is important information for surgery.
  • accuracy includes the abilities or skills of the specialist who classified the verification image.
  • a specialist's ability to recognize anatomical sites in colonoscopy images is based on endoscopic experience or skills such as the number of colonoscopy, duration of training, qualification for endoscopy.
  • the verification data set is assigned by one doctor, there is a possibility that an incorrectly classified image is included. To assign images correctly, several physicians need to classify all images.
  • the CNN system of the second embodiment all images were acquired at a single facility. Depending on the practitioner's or facility's policy, the number of colonoscopy images, the amount of air in the lumen, or the angle of the images at each site may differ.
  • Embodiment 3 In a third embodiment, a method for assisting diagnosis of a small intestine disease using a wireless capsule endoscope (WCE) image, a diagnosis support system, a diagnosis support program, and a computer-readable recording medium storing the diagnosis support program will be described.
  • WCE wireless capsule endoscope
  • diagnosis support system a diagnosis support system
  • diagnosis support program a diagnosis support program
  • computer-readable recording medium storing the diagnosis support program
  • FIG. 11 shows an outline of a flowchart of the CNN system of the third embodiment.
  • Indications for WCE are mainly gastrointestinal bleeding of unknown cause, other cases where abnormal small bowel images were observed using other medical devices, abdominal pain, follow-up of past small bowel cases, primary care for diarrhea screening It was a referral from a doctor.
  • the etiology was mainly non-steroidal anti-inflammatory, followed by inflammatory bowel disease, malignant tumor of the small intestine, and ulcer of the anastomotic site, but the etiology could not be determined.
  • Table 9 shows the patient characteristics of the data debt used for training and validation of CNN.
  • Embodiment 3 The CNN of Embodiment 3 was "educated” such that the area inside the bounding box was the erosion / ulcer area and the other area was the background. The CNN then extracted certain features of the bounding box region by itself and “learned” the erosion / ulcer features via the training dataset. All layers of the CNN have been stochastically optimized with a global learning rate of 0.0001. Each image was resized to 300 x 300 pixels. The size of the bounding box has changed accordingly. These values were set by trial and error to ensure that all data was compatible with the SSD.
  • a rectangular bounding box (hereinafter, referred to as a “true box”) was manually provided with a bold line to all the erosions / ulcers in the image of the verification data set.
  • the trained CNN gives a rectangular bounding box (hereinafter, referred to as a “CNN box”) to the area of the detected erosion / ulcer in the image of the validation data set set with a thin line, and the probability of erosion / ulcer. Scores (range 0-1) were output. The higher the probability score, the higher the probability that the CNN determines that the area contains an erosion / ulcer.
  • the WCE endoscope image determined to be the correct answer in this way can be used as a diagnostic aid at the site of double-checking the captured image by adding the information to the image, or can be used as a video at the time of WCE endoscopy. The information is displayed in real time and used as a diagnostic aid.
  • ROC receiver operating characteristic
  • AUC area under the curve
  • the trained CNN of Embodiment 1 took 233 seconds to evaluate these images. This equates to a speed of 44.8 images per second.
  • the AUC of the CNN that detected erosions / ulcers was 0.960 (95% confidence interval [CI], 0.950-0.969; see FIG. 12).
  • the optimal cut-off value of the probability score was 0.481, and the region with the probability score of 0.481 was recognized by the CNN as erosion / ulcer.
  • the sensitivity, specificity and accuracy of CNN were 88.2% (95% CI (confidence interval), 84.8-91.0%), 90.9% (95% CI, 90.10%). 3-91.4%) and 90.8% (95% CI, 90.2-91.3%) (see Table 10).
  • Table 10 shows the respective sensitivities, specificities, and accuracies calculated by increasing the cutoff value of the probability score from 0.2 to 0.9 in increments of 0.1.
  • FIGS. 14A to 14H show typical regions misclassified by the CNN, respectively.
  • False negative images as shown in Table 12, were blurred (see FIG. 14A), similar in color to the surrounding normal mucosa, too small, not entirely observable (laterally (visible because the affected area is on the side). Difficult) or partial (only partially visible) (see FIG. 14B).
  • the false-positive images show five types of normal mucosa, bubbles (FIG. 14C), fragments (FIG. 14D), vasodilation (FIG. 14E), and true erosions (FIGS. 14F to 14H). Classified by cause.
  • a CNN-based program for automatic detection of erosions and ulcers in the small intestine image of WCE was constructed, with a high accuracy of 90.8% (AUC, 0.960) independent erosion / ulcer in independent test images.
  • the invasion degree of squamous cell carcinoma (SCC) by a normal endoscope (non-magnifying endoscope, non-ME), an ultrasonic endoscope (EUS), and a magnifying endoscope (ME) is diagnosed.
  • SCC squamous cell carcinoma
  • EUS ultrasonic endoscope
  • ME magnifying endoscope
  • the esophagus comprises, from the inner side of the esophagus, a mucosal epithelium (EP), a lamina basement (LPM), a mucosal muscle plate (MM), a submucosa (SM), a lamina intestinal and an adventitia. If the SCC remains in the mucosal epithelium (EP), it is labeled "EP” and is classified as "Tis".
  • LPM lamina propria lamina
  • MM mucosal muscularis
  • mucosal epithelium, lamina intestinal and mucosal muscularis are places generally called “mucosa”. According to Japanese guidelines and European guidelines, it is desirable that ER be applied to epithelium (EP) / lamellar lamina basement (LPM), mucosal muscle (MM) / thing reaching up to about 200 ⁇ m.
  • GIF-H260Z Olympus, Tokyo, Japan
  • video processor CV260; Olympus
  • high-definition magnifying gastrointestinal endoscope GIF-H290Z, GIF-H290, GIF-HQ290, GIF-H260Z: Olympus
  • Video processor EVIS LUCERA CV-260 / CLV-260 and EVIS LUCERA ELITE CV-290 / CLV-290SL; manufactured by Olympus Medical Systems
  • high-resolution endoscopes EG-L590ZW, EG-L600Z
  • EG-L600ZW7 Fuji Film Co., Ltd., Tokyo, Japan
  • LASEREO was produced by Fuji Film
  • the training image is a standard white light image, a narrow band light (NBI) image, and an image using a blue laser light (BLI), but images of patients belonging to the following exclusion criteria were excluded.
  • This removed image may include patients with severe esophagitis, patients with a history of chemotherapy, irradiation of the esophagus, lesions adjacent to the ulcer or ulcer scar, low quality images due to too little air blowing, Includes bleeding, halation, blur, defocus, or mucus.
  • NBI Narrowband Imaging
  • BLI Blue Laser Imaging
  • the NBI was enlarged to evaluate the appearance of the surface vascular structure, particularly the change in the capillary loop of the capillary. Finally, iodine staining was performed to delineate the spread of the cancer.
  • the AI-based diagnostic system of experiment mode 4 uses a CNN architecture called a single-shot multi-box detector (SSD) and a Caffe framework substantially as in embodiment 3 without changing the algorithm.
  • SSD single-shot multi-box detector
  • Caffe framework substantially as in embodiment 3 without changing the algorithm.
  • Model training was performed with a stochastic gradient descent with a global learning rate of 0.0001.
  • Each image was resized to 300 ⁇ 300 pixels, and the squares were also resized to perform optimal CNN analysis. These values were set by trial and error to ensure that all data was compatible with the SSD.
  • the trained CNN generates a diagnosis of EP-SM1 or SM2 / SM3 cancer with a running number between 0 and 1, corresponding to the probability of that diagnosis. If the entire area of the lesion was diagnosed as restricted to EP-SM1, the lesion was diagnosed as EP-SM1 cancer. If part of the lesion was diagnosed as having entered SM2 or SM3, the lesion was diagnosed as SM2 / 3 cancer. Non-ME, ME and final diagnosis (non-ME + ME) results were analyzed.
  • endoscopists from the Japanese Society of Gastroenterological Endoscopy were invited as endoscopists.
  • the endoscopist has 9-23 years of expertise as a physician and has undergone 3000-20000 endoscopy. They also routinely perform preoperative diagnosis and endoscopic resection of gastrointestinal cancer. They were provided with the same validation test data as the AI system and diagnosed EP-SM1 or SM2 / SM3 cancer.
  • Non-ME diagnosis of pEP-SM1 cancer provided a sensitivity of 95.4%, a specificity of 79.2%, a positive predictive value of 96.2%, a negative predictive value of 76.0%, and an accuracy of 92.9%.
  • a sensitivity of 91.6%, a specificity of 79.2%, a positive predicted value of 96.0%, a negative predicted value of 63.3%, and an accuracy of 89.7% were obtained.
  • sensitivity 93.7% (95% CI, 88.0-97.2%), specificity 75.0% (95% CI, 55.1% -89.3%) , Positive predictive value 94.4% (95% CI, 88.9% -97.7%), negative predictive value 72.4% (95% CI, 52.8% -87.3%), accuracy 90. 3% (95% CI, 84.5% -94.5%) was obtained.
  • sensitivity is 93.7% (95% CI, 88.0% -97.2%)
  • specificity is 85.7% (95% CI, 67.3% -96.0%)
  • a positive predictive value of 96.7% (95% CI, 56.6% -88.5%) and an accuracy of 92.3% (95% CI, 86.9% -95.9%) were obtained.
  • Tables 16 and 17 show the diagnostic accuracy of the AI system according to the characteristics of the lesion.
  • the accuracy of the AI system and endoscopist includes the nature of the lesion, eg, cancer invasion depth, morphology, and lesion size.
  • Non-ME diagnostics of the AI system showed high performance. Most of the non-ME images were white light images. Non-ME using white light imaging is the traditional and most common endoscopic imaging method available worldwide. Diagnosis of cancer penetration using conventional non-ME is subjective and is based on the protrusion, depression, and hardness of the cancer, which can be affected by interobserver variability.
  • Such a variation in the diagnosis of cancer penetration using the conventional non-ME is derived from low objectivity, impairs its reliability, and requires application of non-ME as a tool for diagnosing cancer penetration. Hindered.
  • the diagnosis by the AI system of the fourth embodiment can show a clear diagnosis, so that an objective diagnosis can be provided and variability can be solved.
  • the diagnostic ability of ME was disadvantageous in the AI system of the fourth embodiment. This unfavorable performance results from the small amount of training images in the ME images. Further improvements are expected by accumulating more training data sets for ME.
  • the AI system of Embodiment 4 shows good performance for diagnosing cancer invasion of superficial esophagus SCC, the accuracy of final diagnosis is 91.0%, and long-term expertise It is comparable to the accuracy of endoscope specialists.
  • a diagnostic system using an esophagogastric duodenal endoscope (EGD) image is constructed, and a diagnostic support for diagnosing superficial nonpapillary duodenal epithelial tumor (SNADET) by CNN based on the EGD image is provided.
  • EGD esophagogastric duodenal endoscope
  • SNADET superficial nonpapillary duodenal epithelial tumor
  • the duodenum is bulb, upper part (superior part), superior duodenum (superior duodennal flexture), descending part (descending part), lower duodenum (inferior duodennal flexture), horizontal part (horizontal) part), ascending part, and jejunum.
  • the descending part has two ridges on the inside, one is a small duodenal papilla where the accessory pancreatic duct is opened, and the other is a duodenal papilla (Farter's papilla) where the pancreatic duct and common bile duct are opened.
  • the bulb is connected to the pyloric part of the stomach (see FIG. 2), and the jejunum is connected to the cecum of the large intestine via the ileum (not shown).
  • the duodenum forms part of the small intestine.
  • the AI-based diagnostic system of the fifth embodiment uses a CNN architecture called a single-shot multi-box detector (SSD) and a Caffe framework substantially similar to the third embodiment without changing the algorithm.
  • SSD single-shot multi-box detector
  • Caffe framework substantially similar to the third embodiment without changing the algorithm.
  • CNN training was performed with a stochastic gradient descent with a global learning rate of 0.0001.
  • Each image was resized to 300 ⁇ 300 pixels, and the squares were also resized to perform optimal CNN analysis. These values were set by trial and error to ensure that all data was compatible with the SSD.
  • the CNN performance was evaluated using the test images prepared as the validation data set.
  • a diagnosis high-grade dysplasia or adenoma
  • a rectangular bounding box along with the probability score is enclosed in the endoscopic image so as to surround a predetermined lesion. Is displayed.
  • the cutoff value for the probability score was set to 0.4, and if it detected a lesion, it was considered negative if the probability score was lower than 0.4.
  • the CNN was able to add a bounding box that overlaps with a part of the bounding box given by the endoscopist, it was determined that SNADE was detected correctly. If the CNN did not recognize an image that the endoscopist recognized as containing SNADET, it was considered a false negative. If the CNN diagnosed the non-tumor structure as SNADET, it was considered a false positive.
  • the primary endpoints were accuracy, sensitivity, specificity, positive predictive value (PPV), and negative predictive value (NPV). The number of correctly diagnosed SNADET was divided by the actual number of SNADET to calculate the sensitivity of CNN.
  • ⁇ Specificity was calculated by dividing the number of images that the CNN correctly diagnosed as non-SNADET by the total number of non-SNADET images.
  • PPN was calculated by dividing the number of images that the CNN correctly diagnosed as SNADET by the total number of images that the CNN diagnosed as SNADET.
  • the NPV was then calculated by dividing the number of images that the CNN correctly diagnosed as non-SNADET by the number of all images diagnosed as CNN non-SNADET.
  • R software (ver. 3.5.1) was used for all statistical analyses, and p values less than 0.05 were considered statistically significant.
  • Table 18 shows the characteristics of the 33 patients and 36 lesions used in the test image set.
  • FIG. 17A shows an image of a small lesion having a diameter of 3 mm.
  • CNN was able to detect this small lesion not only in the case of a close-up image but also in a relatively distant image as shown in FIG. 17B.
  • the time required for CNN to diagnose 399 images including SNADET and 1080 images including normal images was 12 seconds and 31 seconds, respectively.
  • Table 19 shows the detailed results of the AI diagnosis in the fifth embodiment.
  • the sensitivity and specificity of the AI diagnosis were 94.7% (378/399) and 87.4% (596/681), respectively.
  • the positive predictive value (PPV) and the negative predictive value (NPV) were 80.8% and 97.4%, respectively.
  • FIG. 18A is an image of a false-positive normal duodenal fold
  • FIG. 18B is an image of a normal duodenal mucosa
  • FIG. 18C is an image of a duodenal papillary fold
  • FIG. 5 is an example of a low quality image.
  • Most false-positive false positives may have been caused by misinterpreting the ridge associated with peristalsis as a lesion.
  • FIG. 19A is an example of an image in which an endoscopist recognizes that it is SNADET and gives a rectangular frame, but CNN cannot recognize that it is SNADET.
  • FIG. 19B shows that although the endoscopic specialist recognized that CNN was SNADET and provided a rectangular frame within the square frame that was recognized and assigned to SNADET, the probability score Is an example of an image determined not to be SNADET because it was 0.24 smaller than the cutoff value of 0.4.
  • most of the causes of false negatives are based on lesions photographed at remote locations, and even a skilled endoscopist cannot accurately detect these lesions only with those images. It was difficult.
  • duodenal screening is performed by white light imaging (WLI), which may be followed by detailed observation by narrow band imaging (NBI).
  • WLI white light imaging
  • NBI narrow band imaging
  • Embodiment 6 A method for assisting diagnosis of a disease based on an endoscopic image of a digestive organ using the CNN according to the sixth embodiment will be described with reference to FIG.
  • the method for assisting diagnosis of a disease based on an endoscopic image of a digestive organ using the CNN of the first to fifth embodiments can be used.
  • S1 a first endoscopic image of the digestive tract, and a positive or negative disease, a past disease, a level of severity, and a depth of the disease of the digestive tract corresponding to the first endoscopic image Or at least one definitive diagnosis result of the information corresponding to the imaged part is used to train / verify the CNN.
  • This CNN is used for H. in gastroscopic images.
  • H. pylori-related diseases H. H. pylori and H. pylori. H. pylori positive as well as H. pylori.
  • the CNN trained / validated at S1 is based on a second endoscopic image of the digestive tract, based on the probability of positive and / or negative disease of the digestive tract, the probability of past disease, the severity of the disease At least one of the degree level and the probability corresponding to the imaged part is output.
  • This second endoscope image indicates a newly observed endoscope image.
  • the first endoscopic image may be associated with a region where each has been imaged.
  • the site may include at least one of the pharynx, esophagus, stomach, duodenum, small intestine, and large intestine, and the site may be divided into a plurality of locations in at least one of a plurality of digestive organs.
  • H. H. pylori infection positive or negative As well as H. pylori infection.
  • the presence or absence of H. pylori eradication may be included.
  • At least one of the probability of eradication of H. pylori may be output.
  • the terminal ileum, cecum, ascending colon, transverse colon, descending colon, sigmoid colon, rectum, and anus may be included.
  • a probability corresponding to at least one of the terminal ileum, the cecum, the ascending colon, the transverse colon, the descending colon, the sigmoid colon, the rectum, and the anus is defined as the segment of the large intestine in the second endoscopic image. It may output the probability corresponding to at least one of the terminal ileum, cecum, ascending and transverse colon, descending colon and sigmoid colon, rectum and anus. Probabilities corresponding to at least one of the ileum, the right colon consisting of the cecum-ascending colon-transverse colon, the left colon consisting of the descending colon-sigmoid colon-rectum, and the anus may be output.
  • the second endoscope image is an image being captured by the endoscope, an image transmitted via a communication network, an image provided by a remote operation system or a cloud type system, and a computer-readable image. It may be at least one of an image or a moving image recorded on a possible recording medium.
  • Embodiment 7 A disease diagnosis support system using endoscopic images of digestive organs, a diagnosis support program using endoscopic images of digestive organs, and a computer-readable recording medium according to Embodiment 7 will be described with reference to FIG.
  • the disease diagnosis support system based on the endoscopic image of the digestive tract described in the fourth and fifth embodiments can be used.
  • the disease diagnosis support system 1 based on endoscopic images of digestive organs has an endoscope image input unit 10, an output unit 30, a computer 20 in which a CNN is incorporated, and an output unit 30.
  • the computer 20 includes a first storage area 21 for storing a first endoscopic image of a digestive organ, and a positive or negative digestive organ disease, a past disease, or a severe disease corresponding to the first endoscopic image.
  • a second storage area 22 that stores at least one definitive diagnosis result of information corresponding to a degree level or a part that has been imaged, and a third storage area 23 that stores a CNN program.
  • the CNN program stored in the third storage area 23 includes the first endoscopic image stored in the first storage area 21 and the definite diagnosis result stored in the second storage area 22.
  • the second endoscopic image is positive / positive for the disease of the digestive tract and / or Alternatively, the output unit 30 outputs at least one of a negative probability, a past disease probability, a disease severity level, or a probability corresponding to an imaged site.
  • the first endoscope image stored in the first storage area 21 may be associated with a region where each is captured.
  • the site may include at least one of the pharynx, esophagus, stomach, duodenum, small intestine, or large intestine, and the site may be divided into a plurality of locations in at least one of a plurality of digestive organs.
  • the definitive diagnosis result stored in the second storage area 22 includes H.264. H. pylori infection positive or negative, as well as H. pylori infection. The presence or absence of eradication of H. pylori may be included.
  • H. pylori infection positive probability, H. pylori infection negative probability and H. pylori infection For the second endoscope image stored in the third storage area, H. pylori infection positive probability, H. pylori infection negative probability and H. pylori infection. At least one of the probability of eradication of H. pylori may be output from the output unit 30.
  • the terminal ileum, cecum When the first endoscope image stored in the first storage area 21 includes a colonoscopy image, the terminal ileum, cecum, The ascending colon, the transverse colon, the descending colon, the sigmoid colon, the rectum, and the anus may be included, and as a section of the large intestine of the second endoscopic image stored in the third storage area, for example, the terminal ileum, the cecum
  • the probabilities corresponding to at least one of the ascending colon, the transverse colon, the descending colon, the sigmoid colon, the rectum, and the anus may be output from the output unit 30, and the terminal ileum, the cecum, the ascending colon, the transverse colon, the descending colon, Probabilities corresponding to at least one of the colon and the sigmoid colon, the rectum and the anus may be output from the output unit 30, and furthermore, the right ileum, the terminal ileum, the cecum-ascending colon-the transverse colon,
  • the second endoscope image stored in the third storage area is provided by an image being captured by the endoscope, an image transmitted via a communication network, a remote operation system, or a cloud type system.
  • Image an image recorded on a computer-readable recording medium, or a moving image.
  • the system for supporting diagnosis of a disease based on an endoscopic image of a digestive organ includes a diagnostic support program for operating a computer as an endoscope image of a digestive organ using an endoscope.
  • the diagnosis support program based on the endoscopic image of the digestive organ can be stored in a computer-readable recording medium.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Endocrinology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Fuzzy Systems (AREA)
  • Quality & Reliability (AREA)

Abstract

畳み込みニューラルネットワーク（ＣＮＮ）を用いた消化器官の内視鏡画像による疾患の診断支援方法等を提供する。本発明の一実施形態のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法は、前記消化器官の第１の内視鏡画像と、前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、過去の疾患、重症度のレベル、もしくは、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、を用いてＣＮＮを訓練し、前記訓練されたＣＮＮは、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、疾患の深達度（浸潤深さ）、又は、撮像された部位に対応する確率の少なくとも１つを出力する。

Description

消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
　本発明は、ニューラルネットワーク（neural network）を用いた消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プロラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体に関する。
　消化器官、例えば、喉頭、咽頭、食道、胃、十二指腸、胆道、膵菅、小腸、大腸などに対し、内視鏡検査が多く行われている。上部消化器官の内視鏡検査は、胃癌、食道癌、消化性潰瘍、逆流性胃炎などのスクリーニングのために、また、大腸の内視鏡検査は大腸癌、大腸ポリープ、潰瘍性大腸炎等のスクリーニングのために、しばしば行われている。特に上部消化器官の内視鏡検査は、様々な上腹部症状の詳細な検査、胃の病気に対するバリウム検査の陽性結果を受けての精密検査、及び、日本の定期健康診断に一般的に組み込まれている異常な血清ペプシノゲンレベルに対する精密検査にも有用である。また、近年では、胃癌検診は従来のバリウム検査から胃内視鏡検査への移行が進んでいる。
　胃癌は、最も一般的な悪性腫瘍の１つであり、数年前には世界中で約１００万件も発症したものと推定されている。胃癌発症の根本原因のうち、ヘリコバクター・ピロリ（Helicobacter pylori、以下、「Ｈ．ピロリ」ということがある。）感染は、萎縮性胃炎、腸上皮化生を誘導し、最終的には胃癌発症につながる。世界中で非噴門胃癌のうちの９８％はＨ．ピロリが寄与していると考えられている。Ｈ．ピロリに感染した患者の胃癌の危険性が高まり、Ｈ．ピロリ除菌後の胃癌の発生率が低下したことを考慮し、国際癌研究機関（International Agency for Research on Cancer）は、Ｈ．ピロリを明確な発癌物質と分類している。この結果から、胃癌発症のリスクを低減させるためにはＨ．ピロリの除菌が有用であり、抗菌薬によるＨ．ピロリの除菌はわが国の保険診療にもなっており、今後とも保健衛生上強く奨励される治療法である。事実、日本国の厚生労働省は、２０１３年２月にＨ．ピロリ感染による胃炎患者の根絶治療のための健康保険適用を承認した。
　Ｈ．ピロリ感染の存在についての鑑別診断には、胃内視鏡検査は極めて有用な情報を提供する。毛細血管がきれいに見える場合（ＲＡＣ（regular arrangement of collecting venules））や胃底腺ポリープはＨ．ピロリ陰性の胃粘膜に特徴的であるが、萎縮、発赤、粘膜腫脹、皺壁肥大は、Ｈ．ピロリ感染胃炎の代表的な所見である。また、斑状赤斑は、Ｈ．ピロリを除菌した胃粘膜の特性である。Ｈ．ピロリ感染の正確な内視鏡診断は、血液又は尿中の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原測定、尿素呼気試験、又は迅速ウレアーゼ試験などの様々な検査によって確認され、検査結果が陽性の患者はＨ．ピロリ除菌に進むことができる。内視鏡検査は広く胃病変の検査に使われるが、臨床検体分析によらずに胃病変の確認時にＨ．ピロリ感染までも特定できるようになれば、画一的に血液検査や尿検査等を行うことのなく、患者の負担は大きく減り、また医療経済上の貢献も期待できる。
　また、食道癌は８番目に多い癌で、６番目に多い癌の死亡原因であり、２０１２年には４５６，０００件の新たな症例と４０万人の死亡が推定されている。ヨーロッパや北米では食道腺癌の発生率は急速に高まっているが、扁平上皮癌（ＳＣＣ）は全世界の食道癌の８０％を占める最も一般的な腫瘍型である。進行した食道ＳＣＣ患者の全生存率は依然として低いままである。しかし、この癌が粘膜癌又は粘膜下癌として検出されれば、良好な予後が期待できる。
　また、全大腸内視鏡検査（colonoscopy、ＣＳ）は、結腸・直腸癌（colorectal cancer、ＣＲＣ）、結腸・直腸ポリープ及び炎症性大腸疾患などの結腸・直腸疾患を高感度及び高特異度を持って検出することができる。このような疾患の早期診断により、患者はよりよい予後の早期治療が可能になるため、ＣＳの十分な品質を提供することが重要である。
　このように、上部消化器官及び大腸の内視鏡検査は広く行われるようになっているが、小腸に対する内視鏡検査は、一般的な内視鏡を小腸の内部にまで挿入することが困難なため、あまり行われていない。一般的な内視鏡は長さが約２ｍ程度であり、小腸まで内視鏡を挿入するには、経口的に胃及び十二指腸を経由して、あるいは経肛門的に大腸を経由して小腸まで挿入する必要があり、しかも、小腸自体は６－７ｍ程度もある長い器官であるので、一般的な内視鏡では小腸全体に亘る挿入及び観察が困難なためである。そのため、小腸の内視鏡検査には、ダブルバルーン内視鏡(特許文献１参照）又はワイヤレスカプセル内視鏡（Wireless Capsule Endoscopy、以下単に「ＷＣＥ」ということがある。）(特許文献２参照）が使用されている。
　ダブルバルーン内視鏡は、内視鏡の先端側に設けられたバルーンと、内視鏡を覆うオーバーチューブの先端側に設けられたバルーンとを、交互にあるいは同時に膨らませたりしぼませたりして、長い小腸をたぐり寄せるようにして短縮化・直線化しながら検査を行う方法であるが、小腸の長さが長いので、一度に小腸の全長に亘って検査を行うことは困難である。そのため、ダブルバルーン内視鏡による小腸の検査は、通常は経口的な内視鏡検査と、経肛門的な内視鏡検査との２回に分けて行われている。
　また、ＷＣＥによる内視鏡検査は、カメラ、フラッシュ、電池、送信機等が内蔵された経口摂取可能なカプセルを飲み込み、カプセルが消化管内を移動中に撮影した画像を無線で外部に送信し、これを外部で受信及び記録することにより検査が行われるものであり、一度に小腸の全体に亘る撮影が可能である。
　また一般に、小腸とは十二指腸・空腸・回腸のこと指すが、小腸腺癌は、膨大部腺癌（ファーター乳頭部癌）を除く十二指腸腺癌、空腸腺癌、又は回腸腺癌として定義される。小腸腺癌は、消化管の全悪性腫瘍の０．５％未満、および全悪性腫瘍の５％未満を占めている。西欧諸国での小腸腺癌の年間発生率は極めて低く、１００万人あたり２．２?５．７例であり、まれな癌と考えられている。十二指腸腺癌は小腸腺癌の４５％を占め、その５年生存率は悪性小腸腫瘍の中で最も低く、３０％未満である。進行した段階で診断された場合、膵頭十二指腸切除術などの侵襲性の高い治療が必要になるが、切除不能な進行性癌と診断された場合、予後は不良である。
　さらに、表在性非乳頭部十二指腸上皮性腫瘍（Superficial Non-Ampullary Duodenal Epithelial Tumors、以下「ＳＮＡＤＥＴ」ということがある。）は、ファーター乳頭部からは発生せず、十二指腸の粘膜又は粘膜下散発性腫瘍として定義される。この腫瘍はめったにリンパ節に転移を引き起こさないので、ＳＮＡＤＥＴの大部分は内視鏡下切除術（ＥＲ）のようなより侵襲的の小さい治療方法によって治療することができる。
特開２００２－３０１０１９号公報 特開２００６－０９５３０４号公報 特開２０１７－０４５３４１号公報 特開２０１７－０６７４８９号公報
Bibault JE, Giraud P, Burgun A. Big Data and machine learning in radiation oncology: State of the art and future prospects. Cancer Lett. 2016;382(1):110-117. Esteva A, Kuprel B, Novoa RA, et al. Dermatologist-level classification of skin cancer with deep neural networks. Nature. 2017;542(7639):115-118. Gulshan V, Peng L, Coram M, et al. Development and Validation of a Deep Learning Algorithm for Detection of Diabetic Retinopathy in Retinal Fundus Photographs. JAMA. 2016;316(22):2402-2410. Byrne MF, Chapados N, Soudan F, et al. Real-time differentiation of adenomatous and hyperplastic diminutive colorectal polyps during analysis of unaltered videos of standard colonoscopy using a deep learning model. Gut. 2017. Chen PJ, Lin MC, Lai MJ, Lin JC, Lu HH, Tseng VS. Accurate Classification of Diminutive Colorectal Polyps Using Computer-Aided Analysis. Gastroenterology. 2018;154(3):568-575. Misawa M, Kudo SE, Mori Y, et al. Artificial Intelligence-Assisted Polyp Detection for Colonoscopy: Initial Experience. Gastroenterology. 2018. Takiyama H, Ozawa T, Ishihara S, et al. Automatic anatomical classification of esophagogastroduodenoscopy images using deep convolutional neural networks. Sci Rep. 2018;8(1):7497. Hirasawa T, Aoyama K, Tanimoto T, et al. Application of artificial intelligence using a convolutional neural network for detecting gastric cancer in endoscopic images. Gastric Cancer. 2018. Shichijo S, Nomura S, Aoyama K, et al. Application of Convolutional Neural Networks in the Diagnosis of Helicobacter pylori Infection Based on Endoscopic Images. EBioMedicine. 2017;25:106-111. Iakovidis DK, Koulaouzidis A. Automatic lesion detection in capsule endoscopy based on color saliency: closer to an essential adjunct for reviewing software. Gastrointestinal endoscopy 2014 Nov;80(5):877-83. Farley HA, Pommier RF. Surgical Treatment of Small Bowel Neuroendocrine Tumors. Hematology/oncology clinics of North America. 2016;30(1):49-61.
　このような消化器官の内視鏡検査においては、多くの内視鏡画像が収集されるが、精度管理のために内視鏡専門医による内視鏡画像のダブルチェックが義務付けられている。年に数万件もの内視鏡検診に伴い、二次読影において内視鏡専門医が読影する画像枚数は１人あたり１時間で約２８００枚と膨大なものとなっており、現場の大きな負担となっている。
　特に小腸のＷＣＥによる検査では、ＷＣＥの移動は、ＷＣＥ自体の動きによるものではなく、腸の蠕動によるものであるため、外部から動きを規制することはできないので、見逃しを防ぐために一度の検査で多数の画像が撮影され、しかも、ＷＣＥが小腸を移動している時間は約８時間もあるため、一度の検査で撮影される画像は非常に多くなる。たとえば、ＷＣＥは１人あたり約６０，０００枚の画像を無線で送信するので、内視鏡専門医は早送りしてチェックすることとなるが、これによる平均的なＷＣＥ画像分析には３０－１２０分の厳しい注意と集中が必要である。
　しかも、これらの内視鏡画像に基づく診断は、内視鏡専門医に対する訓練や、保存画像をチェックするのに多くの時間を要するばかりか、主観的であり、様々な偽陽性判断及び偽陰性判断を生じる可能性がある。さらに、内視鏡専門医による診断は、疲労により精度が悪化することがある。このような現場の多大な負担や精度の低下は、受診者数の制限にもつながる可能性があり、ひいては需要に応じた医療サービスが十分に提供されない懸念も想定される。
　上記の内視鏡検査の労務負荷と精度低下の改善のためには、ＡＩ（人工知能：artificial intelligence）の活用が期待されている。近年の画像認識能力が人間を上回ったＡＩを内視鏡専門医のアシストとして使用できれば、二次読影作業の精度とスピードを向上させるものと期待されている。近年、ディープラーニング（深層学習）を用いたＡＩが様々な医療分野で注目されており、放射線腫瘍学、皮膚癌分類、糖尿病性網膜症(非特許文献１－３参照）や消化器内視鏡分野、特に大腸内視鏡を含む分野(非特許文献４－６参照）だけでなく、様々な医療分野において、医学画像を専門医に替わってスクリーニングできるとの報告がある。また、各種ＡＩを利用して医用画像診断を行った特許文献（特許文献３、４参照）も存在する。しかし、ＡＩの内視鏡画像診断能力が実際の医療現場において役立つ精度（正確性）と性能（スピード）を満たせるかどうかについては、十分に検証されておらず、ＡＩを利用した内視鏡画像に基づく診断は、未だに実用化されていない。
　ディープラーニングは、複数に重ねて構成されたニューラルネットワークを用いて、入力データから高次の特徴量を学習できる。また、ディープラーニングは、バックプロパゲーション・アルゴリズムを使用して、各層の表現を前の層の表現から計算するために使用される内部パラメータを、装置がどのように変更すべきかを示すことによって更新することができる。
　医用画像の関連付けに際しては、ディープラーニングは、過去に蓄積された医用画像を用いて訓練することができ、医学的画像から患者の臨床的特徴を直接得ることができる強力な機械学習技術になり得る。ニューラルネットワークは脳の神経回路の特性を計算機上のシミュレーションによって表現した数理モデルであるところ、ディープラーニングを支えるアルゴリズムのアプローチがニューラルネットワークである。畳み込みニューラルネットワーク（ＣＮＮ）は、Szegedyらによって開発され、画像の深層学習のための最も一般的なネットワークアーキテクチャである。
　消化管内視鏡検査における内視鏡画像の判定作業において、高い精度を維持した上での効率化が大きな課題になっている。また、この分野の画像解析にＡＩを活用しようとしたときには、そのＡＩ技術の向上が大きな課題となっている。発明者等は、解剖学的部位に応じて食道・胃・十二指腸の画像を分類でき、内視鏡画像中の胃癌を堅守することができるＣＮＮを構築した(非特許文献７，８参照）。
　さらに、発明者等は、最近、内視鏡画像に基づくＨ．ピロリ胃炎の診断におけるＣＮＮの役割を報告し、ＣＮＮの能力が経験豊富な内視鏡医に匹敵し、診断時間がかなり短くなることを示した（非特許文献９参照）。しかし、このＣＮＮは、訓練／検証用データセットとして、Ｈ．ピロリ除菌された症例が除外され、Ｈ．ピロリ陽性及び陰性の症例のみが用いられており、予めＨ．ピロリ除菌された症例を除外した訓練／検証用データセットの構築に手間が掛かるという課題が存在するほか、Ｈ．ピロリ陽性及び陰性の症例のみでなく、Ｈ．ピロリ除菌された症例をも正確に同定することができるかどうかは評価できないという課題が存在している。
　また、ＣＳを実施する場合、開業医は通常、直腸、結腸、及び終末回腸の一部を検査するが、疾患の臨床特性は結腸・直腸の解剖学的部位によって異なる。例えば、いくつかの最近の研究によると、結腸・直腸癌では、化学療法による疫学、予後及び臨床結果に関して、右側結腸及び左側結腸でいくつかの違いが指摘されている。同様に、大腸の解剖学的部位は、潰瘍性大腸炎の治療にとって重要である。潰瘍性大腸炎における経口薬剤ないし座薬の適用性は大腸炎の存在位置に基づくからである。従って、ＣＳ検査に際して結腸・直腸疾患の解剖学的部位を正確に特定することは臨床的に意味がある。
　ＣＳは糞便潜血陽性の場合や腹部症状のスクリーニングに一般的に使用されるが、施術者が大腸内視鏡を自由に取り扱い、異常領域を認識し、病気を正確に診断するのに十分な特別な訓練が必要である。そのような技能を得るのに時間がかかる理由の１つは、内視鏡検査中の解剖学的認識の困難性である。結腸のそれぞれの部位の解剖学的な相違点と、結腸のさまざまな部分の類似性のため、各個人の解剖学的な相違及び結腸の部位間の類似性のために、ＣＳの初心者だけでなくＣＳの専門家も、その内視鏡スコープの先端の正確な位置を認識することができない。
　したがって、開業医がＣＳを行い、異常を検出するためには、ＣＳ画像を介して結腸の解剖学的部分を正確に認識することが必要である。最近の証拠によると、十分なスキルを得るには、ＣＳ試験の全部を修了した経験が少なくとも２００件必要ある。実際、日本国では、内視鏡専門の認定は５年以上の内視鏡訓練の後にのみ行われる。
　さらに、ＷＣＥによって発見される小腸における最も一般的な症状は、びらんや潰瘍などの粘膜破壊である。これらは主に非ステロイド性抗炎症薬（ＮＳＡＩＤ）によって引き起こされ、時にはクローン病または小腸悪性腫瘍によって引き起こされるため、早期診断と早期治療が必要である。従前の各種報告では、小腸のびらんないし潰瘍による粘膜が破壊されている部分は、周囲の正常粘膜との間に色の差が小さいため、ソフトウェア的に自動検出するには血管拡張症を検出する場合よりも劣っていた（非特許文献１０参照）。また、小腸のＷＣＥ画像に対してＣＮＮを適用して、小腸の各種疾患を診断することについての研究はない。
　粘膜又は粘膜下癌と定義される表在食道扁平上皮癌(以下、ＳＣＣということがある。）は、日本で診断されたすべての食道癌の３８％を占めている。表在食道ＳＣＣでは、食道切除術及び内視鏡的切除術（ＥＲ）が適用可能であるが、両者は侵襲性の点で大きく異なる。適切な治療法を選択する際には、転移の危険性やＥＲの治癒の可能性を考慮すると、癌の深達度(浸潤深度）が最も重要な因子である。
　癌の深達度の内視鏡診断は、食道癌の術後経過、突出、硬さ、及び微小血管の変化等、様々な内視鏡所見を評価するのに十分な専門知識を必要とする。表在食道ＳＣＣの深達度の診断には非拡大内視鏡検査（非ＭＥ）、拡大内視鏡検査（ＭＥ）、超音波内視鏡検査（ＥＵＳ）が用いられている。非ＭＥを用いた診断は、主観的であり、観察者間の変動性の影響を受ける可能性のある癌の突出、陥没、及び硬さに基づく。ＭＥは、食道癌の深達度と密接に関連している微小血管構造の明確な観察を可能にする。
　ＥＵＳとＭＥによる診断は、非ＭＥによる診断よりも客観的であるが、複雑であり、医師の専門知識に影響される。したがって、ＥＵＳとＭＥの報告された癌の深達度の正確な精度は相反しており、満足のいくものではない。そのため、食道癌の癌侵襲深度をより客観的に簡単に診断する方法として、革新的なアプローチが求められている。
　加えて、最近、食道胃十二指腸内視鏡による検査の広範な使用により、表在性非乳頭部十二指腸上皮性腫瘍（ＳＮＡＤＥＴ）の検出が増加していると報告されている。ＳＮＡＤＥＴは、通常平坦で表面の変化が極めて小さいので、検査中に見逃しやすい。この事実は、報告されたＳＮＡＤＥＴの検出率が０．１％から３％の間で大きくばらついていることによって裏付けられる。そのため、食道胃十二指腸内視鏡によるＳＮＡＤＥＴの検出に対しても、良好な検出手法を見出すことが要望されている。
　本発明は、上記のような従来技術の課題を解決すべくなされたものである。すなわち、本発明の第１の目的は、消化器官の内視鏡画像を用い、ＣＮＮを用いることによって、例えばＨ．ピロリ陽性及び陰性の症例のみでなく、Ｈ．ピロリ除菌された症例をも正確に同定することができる消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することにある。
　また、本発明の第２の目的は、消化器官の内視鏡画像を用い、ＣＮＮを用いることによって、例えば結腸・直腸疾患の解剖学的部位を正確に特定することができる、消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することにある。
　また、本発明の第３の目的は、ＷＣＥによる小腸の内視鏡画像に基く、ＣＮＮを用いた小腸のびらん／潰瘍を正確に同定することができる小腸の疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
　また、本発明の第４の目的は、非ＭＥ及びＭＥを用いた食道内視鏡画像に基づく表在食道ＳＣＣの深達度とその分類を行うことができる表在食道ＳＣＣの診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
　さらに、本発明の第５の目的は、食道胃十二指腸内視鏡を用いた十二指腸内視鏡画像に基づく、ＳＮＡＤＥＴの診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
　本発明の第１の態様の畳み込みニューラルネットワーク（以下、「ＣＮＮ」ということがある。）を用いた消化器官の内視鏡画像による疾患の診断支援方法は、
　ＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法であって、
　前記消化器官の第１の内視鏡画像と、
　前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、過去の疾患、重症度のレベル、疾患の深達度、もしくは、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、
を用いてＣＮＮを訓練し、
　前記訓練されたＣＮＮは、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、疾患の深達度、又は、撮像された部位に対応する確率の少なくとも１つを出力することを特徴とする。
　かかる態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、ＣＮＮが複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像からなる第１の内視鏡画像と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性又は陰性、過去の疾患、重症度のレベル、疾患の深達度、もしくは、撮像された部位に対応する情報の少なくとも１つの確定診断結果とに基いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、疾患の深達度、又は、撮像された部位に対応する確率のいずれか１つ以上を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになる。しかも、多数の被験者についての複数の消化器官の内視鏡画像からなるテストデータに対する疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、疾患の深達度、又は、撮像された部位に対応する確率の少なくとも１つを自動診断することができるため、内視鏡専門医によるチェック／修正が容易になるだけでなく、疾患と関連づけられた画像の集合を作成する作業の省略化も図ることができる。
　また、本発明の第２の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記第１の内視鏡画像は、それぞれが撮像された消化器官の部位に関連付けられていることを特徴とする。
　訓練されていないＣＮＮでは、具体的な消化器官の内視鏡画像が如何なる部位の画像であるかを識別するのが困難な場合がある。第２の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、それぞれの部位によって分類された内視鏡画像を用いて訓練されたニューラルネットワークとなっているので、ＣＮＮに対し、それぞれの部位に応じたきめ細かい訓練が可能であるため、第２内視鏡画像に対する疾患の陽性及び陰性のそれぞれの陰性の確率、過去の疾患の確率、疾患の重症度のレベル、撮像された部位に対応する確率等の検出精度が向上する。
　また、本発明の第３の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第２の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位は、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つを含むことを特徴とする。
　第３の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、咽頭、食道、胃、十二指腸及び大腸の部位毎の分類が正確にできるので、それぞれの部位に対する疾患の陽性及び陰性のそれぞれの確率、過去の疾患の確率、疾患の重症度のレベル、撮像された部位に対応する確率等の検出精度が向上する。
　また、本発明の第４の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第３の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位は、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つにおいて複数箇所に区分されていることを特徴とする。
　消化器官はそれぞれ複雑な形状をしているため、部位の分類数が少ないと具体的な内視鏡画像が当該消化器官の如何なる部位の画像であるかを認識するのが困難な場合がある。第４の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、複数の消化器官のそれぞれにおいて複数箇所に区分されているので、短時間に高精度の診断結果を得ることができるようになる。
　また、本発明の第５の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第３又は第４の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位が胃であって、前記少なくとも１つの確定診断結果は、Ｈ．ピロリ感染陽性、Ｈ．ピロリ感染陰性及びＨ．ピロリ除菌のいずれかを含み、前記ＣＮＮは、Ｈ．ピロリ感染陽性の確率、Ｈ．ピロリ感染陰性の確率及びＨ．ピロリ除菌の確率の少なくとも一つを出力することを特徴とする。
　本発明の第５の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、極めて短時間で、かつ、日本消化器内視鏡学会専門医と同等の精度で被験者のＨ．ピロリ感染の陽性又は陰性のそれぞれの確率だけでなく、Ｈ．ピロリ除菌済である確率も出力することができ、別途確定診断を行わなければならない被験者を短時間で正確に選別することができるようになる。なお、確定診断は、選別された被験者に対して血液又は尿の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原検査、又は尿素呼気検査を行うことにより行うことができる。
　また、本発明の第６の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第４の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位が大腸であり、前記区分が終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つであり、前記ＣＮＮは、前記第２の内視鏡画像が撮像された前記区分として、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする。
　また、本発明の第７の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第４の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位が大腸であって、前記区分が終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門であり、前記ＣＮＮは、前記第２の内視鏡画像が撮像された区分として、終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする。
　また、本発明の第８の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第４の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位が大腸であって、前記区分が終末回腸、盲腸－上行結腸－横行結腸からなる右側結腸、下行結腸－Ｓ字結腸－直腸からなる左側結腸及び肛門であり、前記ＣＮＮは、前記第２の内視鏡画像が撮像された区分として、終末回腸、盲腸－上行結腸－横行結腸からなる右側結腸、下行結腸－Ｓ字結腸－直腸からなる左側結腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする。
　本発明の第６－８のいずれかの態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、大腸の区分毎の分類が正確にできるようになり、精密に検査しなければならない区分が理解しやすくなる。なお、大腸の区分の選択は、大腸疾患の出現傾向や出現頻度等を考慮し、それぞれの区分に対するＣＮＮの感度及び特異性をも考慮し、適宜に選択すればよい。
　また、本発明の第９の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第３の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位が小腸であって、前記内視鏡画像がワイヤレスカプセル内視鏡画像であり、前記疾患がびらん及び潰瘍の少なくとも一つであることを特徴とする。
　本発明の第９の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、多数の被験者についてのＷＣＥによる小腸の内視鏡画像に対して、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の小腸の疾患の陽性及び／又は陰性の領域及び確率を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになり、内視鏡専門医によるチェック／修正が容易になる。なお、かかる態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、小腸のＷＣＥ内視鏡画像ではびらんと潰瘍との区別が明確ではないが、これらの少なくとも一つを正確に自動的に選別することができるようになる。
　また、本発明の第１０の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第３の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位が十二指腸であって、前記内視鏡画像が食道胃十二指腸内視鏡画像であり、前記疾患が表在性非乳頭部十二指腸上皮性腫瘍であることを特徴とする。
　本発明の第１０の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、食道胃十二指腸内視鏡による内視鏡画像に対して、短時間で、表在性非乳頭部十二指腸上皮性腫瘍の領域及び確率をを得ることができるようになる。
　本発明の第１１の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第９又は１０の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記疾患の陽性又は陰性の確定診断結果は、前記第２の内視鏡画像内に前記疾患の陽性の領域として表示されたものであり、前記訓練された畳み込みニューラルネットワークは、検出した前記疾患の陽性の領域を前記第２の内視鏡画像内に表示するとともに、前記第２の画像内に前記確率スコアを表示することを特徴とする。
　本発明の第１１の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、第２の内視鏡画像内に、内視鏡専門医による確定診断結果が得られた領域と、訓練されたＣＮＮによって検出された疾患の陽性の領域とが正確に対比できるので、ＣＮＮの感度及び特異度をより良好なものとすることができるようになる。
　また、本発明の第１２の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１１の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と、前記訓練された畳み込みニューラルネットワークにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域との重なりにより、前記訓練された畳み込みニューラルネットワークの診断結果の正誤を判定することを特徴とする。
　本発明の第１２の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、第２の内視鏡画像内に、内視鏡専門医による確定診断結果が得られた領域と、訓練されたＣＮＮによって検出された疾患の陽性の領域とが表示されているので、それらの領域の重なり状態によって、直ちに訓練されたＣＮＮの診断結果に対比することができるようになる。
　また、本発明の第１３の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１２の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記重なりが、
（１）前記小腸の前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域の８０％以上である時、又は、
（２）前記訓練された畳み込みニューラルネットワークにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域が複数存在するとき、いずれか一つの領域が前記疾患の陽性又は陰性の確定診断結果としての前記第１の内視鏡画像内に表示された前記疾患の陽性の領域と重なっている時、
　前記訓練された畳み込みニューラルネットワークの診断は正しいと判定することを特徴とする。
　本発明の第１３の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、ＣＮＮの診断の正誤を容易に判定することができるようになり、訓練されたＣＮＮの診断の精度が向上する。
　また、本発明の第１４の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第９－１３のいずれかの態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記訓練された畳み込みニューラルネットワークは、前記第２の画像内に、検出した前記疾患の陽性の領域とともに前記確率スコアを表示することを特徴とする。
　本発明の第１４の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、内視鏡専門医が、多数の被験者についての小腸ないし十二指腸の疾患の陽性及び／又は陰性の領域及び確率スコアを、短時間で、正確に把握することができるようになり、内視鏡専門医によるチェック／修正が容易になる。
　また、本発明の第１５の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第３の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位が食道であって、前記内視鏡画像が非拡大内視鏡画像又は拡大内視鏡画像であり、前記疾患が表在食道扁平上皮癌（ＳＣＣ）の深達度であることを特徴とする。また、本発明の第１６の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１５の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記疾患の陽性又は陰性の確定診断結果は、前記扁平上皮癌の深達度が粘膜上皮－粘膜固有層（ＥＰ－ＬＰＭ）、粘膜筋板（ＭＭ）、粘膜下層表面近傍（ＳＭ１）、粘膜下層中間部以深（ＳＭ２－）のいずれかであることを判定することを特徴とする。
　本発明の第１５又は第１６の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、表在食道ＳＣＣの深達度を短時間で、正確に把握することができるため、表在食道ＳＣＣに対する内視鏡的切除術（ＥＲ）の適用性の判断を正確に行うことができるようになる。
　また、本発明の第１７の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１－１６のいずれかの態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記ＣＮＮは、さらにＸ線コンピュータ断層撮影装置、超音波コンピュータ断層撮影装置又は磁気共鳴画像診断装置からの３次元情報と組み合わされていることを特徴とする。
　Ｘ線コンピュータ断層撮影装置、超音波コンピュータ断層撮影装置又は磁気共鳴画像診断装置は、それぞれの消化器官の構造を立体的に表すことができるから、第１－１６のいずれかの態様のＣＮＮの出力と組み合わせると、内視鏡画像が撮影された部位をより正確に把握することができるようになる。
　また、本発明の第１８の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１－１７のいずれかの態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする。
　第１８の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、入力された第２の内視鏡画像に対する消化器官の疾患陽性及び陰性のそれぞれの確率ないし重症度を短時間で出力することができるので、第２の内視鏡画像の入力形式によらず、例えば遠隔地から送信された画像であっても、動画であっても利用可能となる。なお、通信ネットワークとしては、周知のインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等を利用可能である。また、通信ネットワークを構成する伝送媒体も周知のＩＥＥＥ１３９４シリアルバス、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線回線、ＡＤＳＬ回線等の有線、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１等の無線、携帯電話網、衛星回線、地上波デジタル網等の無線等を利用できる。これらによって、いわゆるクラウドサービスや遠隔支援サービスの形態として利用可能である。
　また、コンピュータ読み取り可能な記録媒体としては、周知の磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク、ハードディスク等の磁気ディスク、コンパクトディスク－ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク－Ｒ等の光ディスクを含むディスク系、ＩＣカード、メモリカード、光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系等を用いることができる。これらによって、いわゆる医療機関や検診機関に簡便にシステムを移植又は設置できる形態を提供することができる。
　さらに、本発明の第１９の態様の消化器官の内視鏡画像による疾患の診断支援システムは、
　内視鏡画像入力部と、出力部と、ＣＮＮが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による疾患の診断支援システムであって、
　前記コンピュータは、
　消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
　前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、過去の疾患、重症度のレベル、疾患の深達度、もしくは、撮像された部位に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域と、
　前記ＣＮＮプログラムを記憶する第３の記憶領域と、
を備え、
　前記ＣＮＮは、
　前記第１の記憶部に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、
　前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、疾患の深達度、又は、撮像された部位に対応する確率の少なくとも１つを前記出力部に出力することを特徴とする。
　また、本発明の第２０の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第１８の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていることを特徴とする。
　また、本発明の第２１の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２０の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位は、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つを含むことを特徴とする。
　また、本発明の第２２の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２１の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位は、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つにおいて複数箇所に区分されていることを特徴とする。
　また、本発明の第２３の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２１又は２２の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が胃であって、前記ＣＮＮは、前記第２の内視鏡画像に基いて、Ｈ．ピロリ感染陽性の確率、Ｈ．ピロリ感染陰性の確率及びＨ．ピロリ除菌の確率の少なくとも一つを出力することを特徴とする。
　また、本発明の第２４の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２２の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が大腸であり、前記区分が終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つであり、前記ＣＮＮは、前記第２の内視鏡画像が撮像された前記区分として、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする。
　また、本発明の第２５の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２２の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が大腸であって、前記区分が終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つであり、前記ＣＮＮは、前記第２の内視鏡画像が撮像された部位として、終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする。
　また、本発明の第２６の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２２の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が大腸であって、前記訓練されたＣＮＮは、前記第２の内視鏡画像が撮像された部位として、終末回腸、盲腸－上行結腸－横行結腸からなる右側結腸、下行結腸－Ｓ字結腸－直腸からなる左側結腸及び肛門の少なくとも一つの区分に対応する確率を出力することを特徴とする。
　また、本発明の第２７の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２１の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が小腸であって、前記訓練された畳み込みニューラルネットワークは、前記第２の内視鏡画像に基いて、前記疾患としてびらん及び潰瘍の少なくとも一つに対応する確率を出力することを特徴とする。
　また、本発明の第２８の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２１の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が十二指腸であって、前記訓練された畳み込みニューラルネットワークは、前記第２の内視鏡画像に基いて、前記疾患として表在性非乳頭部十二指腸上皮性腫瘍に対応する確率を出力することを特徴とする。
　また、本発明の第２９の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第１９－２８のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記ＣＮＮは、さらにＸ線コンピュータ断層撮影装置、超音波コンピュータ断層撮影装置又は磁気共鳴画像診断装置からの３次元情報と組み合わされていることを特徴とする。
　また、本発明の第３０の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第１９－２８のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする。
　本発明の第１９－３０のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムによれば、それぞれ第１－１８のいずれかの態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法と同様の効果を奏することができる。
　さらに、本発明の第３１の態様の消化器官の内視鏡画像による診断支援プログラムは、第１９－２８のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおける各手段としてコンピュータを動作させるためのものであることを特徴とする。
　本発明の第３１の態様の消化器官の内視鏡画像による診断支援プログラムによれば、第１９－２８のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおける各手段としてコンピュータを動作させるための、消化器官の内視鏡画像による診断支援プログラムを提供することができる。
　また、本発明の第３２の態様のコンピュータ読み取り可能な記録媒体は、第３１の態様の消化器官の内視鏡画像による診断支援プログラムを記録したものであることを特徴とする。
　本発明の第３２の態様のコンピュータ読み取り可能な記録媒体によれば、第３１の態様の消化器官の内視鏡画像による診断支援プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することができる。
　以上述べたように、本発明によれば、ＣＮＮを組み込んだプログラムが複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性又は陰性の確定診断結果とに基いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、疾患の深達度、撮像された部位に対応する情報等を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになる。
図１ＡはＨ．ピロリ感染の陽性の場合の胃内視鏡画像例であり、図１ＢはＨ．ピロリ感染の陰性の場合の胃内視鏡画像例であり、図１ＣはＨ．ピロリ除菌後の胃内視鏡画像例である。 胃の主要な解剖学的部位を示す図である。 実施形態１のＣＮＮ構築用の検証用データセット用の患者の選別を示す図である。 GoogLeNetの動作を示す模式概念図である。 大腸の主要な解剖学的部位を示す図である。 実施形態２のＣＮＮシステム構築用のフローチャートの概略図である。 実施形態２の代表的な大腸内視鏡画像とＣＮＮにより認識された各部位の確率スコアを示す図である。 図８Ａ－図８Ｆは、それぞれ順に終末回腸、盲腸、上行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の受信機動作特性（ＲＯＣ）曲線を示す図である。 図９Ａは肛門と正しく認識された画像と各部位の確率スコアを示す図であり、図９Ｂは肛門と誤認識された終末回腸の画像と各部位の確率スコアを示す図である。 図１０Ａは盲腸と正しく認識された画像と各部位の確率スコアを示す図であり、図１０Ｂは終末回腸と誤認識された盲腸の画像と各部位の確率スコアを示す図である。 実施形態３のＣＮＮシステム構築用のフローチャートの概略図である。 実施形態３のＣＮＮによるＲＯＣ曲線の一例を示す図である。 図１３Ａ－図１３Ｄは、実施形態３のＣＮＮによって正しく診断された代表的な小腸内視鏡画像とＣＮＮにより認識された特定部位の確率スコアを示す図である。 図１４Ａ－図１４Ｅは、実施形態３のＣＮＮによってそれぞれ順に暗さ、側方性、泡、破片、血管拡張に基いて偽陽性と診断された画像の例であり、図１４Ｆ－図１４Ｈは真のびらんであるが偽陽性と診断された画像の例である。 実施形態４のＣＮＮを適用する食道の表在性扁平上皮癌（ＳＣＣ）の深達度とその分類との関係を説明する概略断面図である。 十二指腸の主要な解剖学的部位を示す図である。 図１７Ａは十二指腸の内視鏡画像の一例であり、図１７Ｂは図１７Ａの部分に対して実施形態５のＣＮＮによって認識された画像を示す図である。 図１８Ａは実施形態５のＣＮＮで偽陽性となった正常な十二指腸襞の画像あり、図１８Ｂは同じく正常な十二指腸粘膜の画像であり、図１８Ｃは同じく十二指腸乳頭襞の画像であり、図１８Ｄは同じくハレーションを起こした低品質の画像の例である。 図１９Ａは実施形態５のＣＮＮで病変を認識できなかった内視鏡画像であり、図１９Ｂは同じく病変を認識できたが確率スコアが小さかったため否定的な判断がされた内視鏡画像である。 実施形態６のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法のブロック図である。 実施形態７の消化器官の内視鏡画像による疾患の診断支援システム、消化器官の内視鏡画像による診断支援プログラム、及び、コンピュータ読み取り可能な記録媒体についてのブロック図である。
　以下、本発明に係る消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、Ｈ．ピロリ感染胃炎の場合及び大腸の部位別認識の場合を例にとって詳細に説明する。ただし、以下に示す実施形態は、本発明の技術思想を具体化するための例を示すものであって、本発明をこれらの場合に特定することを意図するものではない。すなわち、本発明は特許請求の範囲に含まれるその他の実施形態のものにも等しく適応し得るものである。また、本発明において、画像という用語には、静止画像だけでなく、動画も含まれる。
［実施形態１］
　実施形態１では、本発明の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、Ｈ．ピロリ感染胃炎の場合に適用した例を説明する。発明者の一人が属する医院において、延べ３３人の内視鏡検査医が白色光による通常の倍率の内視鏡を用い、食道・胃・十二指腸内視鏡検査（以下、「ＥＧＤ」という。）を行った。ＥＧＤの適応症は、様々な上腹部症状、胃の病気に対するバリウム検査の陽性結果、異常な血清ペプシノゲンのレベル、胃や十二指腸の既往症又はスクリーニングに関するプライマリケア医からの紹介であった。
　標準的なＥＧＤ用内視鏡（ＥＶＩＳ　ＧＩＦ－ＸＰ２９０Ｎ、ＧＩＦ－ＸＰ２６０、ＧＩＦ－ＸＰ２６０ＮＳ、ＧＩＦ－Ｎ２６０；オリンパスメディカルシステムズ社、東京）で白色光を用いて画像を撮影し、ＥＧＤを行った。得られた画像は通常の倍率の画像であり、拡大された画像は使用していない。
　全ての患者は、Ｈ．ピロリ感染の有無の検出のための検査を受けた。その検査は、血液又は尿中の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原測定及び尿素呼気試験の少なくとも一つであった。そして、これらの検査のいずれかにおいて陽性反応を示した患者は、Ｈ．ピロリ陽性と分類された。Ｈ．ピロリ陽性と診断されなかった患者において、Ｈ．ピロリ除菌治療を受けた経験がなかった者はＨ．ピロリ陰性と分類された。また、過去にＨ．ピロリ除菌治療を受け、既に除菌に成功した患者はＨ．ピロリ除菌と分類された。図１に、得られた典型的な胃部内視鏡画像を示す。なお、図１ＡはＨ．ピロリ陽性と診断された画像の例であり、図１ＢはＨ．ピロリ陰性と診断された画像の例であり、図１ＣはＨ．ピロリ除菌後の画像の例である。
［データセットについて］
　２０１５年１２月－２０１７年４月にかけて行われた５，２３６人のＥＧＤの画像を遡及的にレビューすることにより、ＡＩベースの診断システムの訓練及び検証に使用するデータセット（それぞれ「訓練用データセット」及び「検証用データセット」といい、両者纏めて「訓練／検証用データセット」という。また、訓練及び検証の両者を纏めて「訓練／検証」ということがある。）を用意した。胃癌、潰瘍、又は粘膜下腫瘍の存在又は病歴を有する患者のデータは、訓練／検証用データセットから除外した。Ｈ．ピロリ陽性、Ｈ．ピロリ陰性又はＨ．ピロリ除菌と診断された胃の画像は、胃内の食物残渣、出血及びハレーションによる不明瞭な画像を除外するために、内視鏡専門医によってさらにスクリーニングされた。また、評価対象となる内視鏡画像データセット（「テストデータセット」という。）も用意した。なお、この「訓練／検証用データ」が本発明の「第1の内視鏡画像」に対応し、「テストデータ」が本発明の「第２の内視鏡画像」に対応する。
　表１に示したように、Ｈ．ピロリ陽性と判定された７４２人、Ｈ．ピロリ陰性と判定された３，４６９人及びＨ．ピロリ除菌と判定された８４５人の患者から得られた９８，５６４枚の画像を訓練用データセット用に調製した。９８，５６４枚の内視鏡画像を、０－３５９°の間でランダムに回転させ、周囲の黒い枠部分をトリミングして削除し、適宜に０．９－１．１倍のスケールで縮小ないし拡大し、画像数を増加させた。このような画像数の増加は、回転、拡大、縮小、画素数の変更、明暗部の抽出又は色調変化部位の抽出の少なくとも１つを含み、ツールによって自動的に行うことができる。なお、狭帯域画像などの強調された画像を除外し、通常の倍率を有する通常の白色光画像のみが含まれるようにしてもよい。次いで、胃の７箇所（噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞及び幽門、図２参照）にしたがって分類された画像を用いてＣＮＮを構築した。
［検証用データセットの準備］
　上述した訓練用データセットを用いて構築された実施形態１のＣＮＮと内視鏡検査医との診断精度を評価するために、検証用データセットを準備した。発明者の一人が属する医院において、２０１７年５月から６月にかけて内視鏡検査を行った８７１人の患者の画像データのうち、Ｈ．ピロリの感染状況が不明である２２人及び胃切除術を受けた２人の画像データを除外し、最終的に８４７人の患者（それぞれ７０人のＨ．ピロリ陽性、４９３人のＨ．ピロリ陰性及び２８４人のＨ．ピロリ除菌）からの合計２３，６９９枚の画像を含んでいた（図３参照）。
　これらの患者の人口統計学的特徴及び画像の特徴を表１に示した。
Figure JPOXMLDOC01-appb-T000001
　臨床診断は、糞便抗原検査によるものが２６４人（３１％）、尿中の抗Ｈ．ピロリＩｇＧレベルによるものが１２６人（１５％）であった。６３人（７％）の症例で複数の診断検査が行われた。訓練データセットと検証用データセットの間に重複はない。
［訓練／検証・アルゴリズム］
　ＡＩベースの診断システムを構築するため、Szegedyらによって開発された最先端のディープラーニングニューラルネットワークの開発基盤として、バークレー・ビジョン・ラーニング・センター（ＢＶＬＣ）で最初に開発されたCaffeフレームワークを利用し、畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャとして２２層からなるGoogLeNet（https://arxiv.org/abs/1409.4842）を使用した。
　実施形態１で用いたＣＮＮは、図４に示したように、バックプロパゲーション（Backpropagation：誤差逆伝播法）を用いて訓練されている。ＣＮＮの各層は、AdaDelta（https://arxiv.org/abs/1212.5701）を使用し、グローバル学習率が0.005で確率的最適化が行われている。全ての画像をGoogLeNetと互換性を持たせるために、各画像を２４４×２４４ピクセルにリサイズした。また、ImageNetを通して自然画像の特徴量を学んだ訓練済みのモデルを訓練開始時の初期値として使用した。ImageNet（http://www.image-net.org/）は、２０１７年当初で１，４００万点以上もの画像が収載されているデータベースである。この訓練手法は転移学習と呼ばれ、教師データが少ない場合でも有効であることが認められている。なお、実施形態１のＣＮＮでは、ＣＰＵとしてINTEL社のCore i7-7700Kを使用し、グラフィックス処理装置用ＧＰＵとしてNVIDEA社のGeForce GTX 1070を使用した。
［評価アルゴリズム］
　訓練／検証された実施形態１のＣＮＮは、入力された画像に対してのＨ．ピロリ陽性、Ｈ．ピロリ陰性及びＨ．ピロリ除菌の診断結果として、０から１の間の確率値（ＰＳ）を出力する。Ｈ．ピロリ陽性のＰＳ値をＰｐ、Ｈ．ピロリ陰性のＰＳ値をＰｎ、Ｈ．ピロリ除菌のＰＳ値をＰｅと表すと、Ｐｐ＋Ｐｎ＋Ｐｅ＝１となる。この３つの確率値の最大値をとるものが最も確からしい「ＣＮＮの診断」として選択された。
　全ての患者情報は、患者の匿名性を維持するためのデータ分析の前に削除された。この研究は、日本医師会制度審査委員会（ID JMA-IIA00283）の承認を得て、ヘルシンキ宣言の下で実施された。
　実施形態１で測定されたＣＮＮによる診断結果と臨床検査による診断結果との関係を表２に纏めて示した。
Figure JPOXMLDOC01-appb-T000002
　全２３，６９９枚の画像の中で、ＣＮＮは４１８枚の画像をＨ．ピロリ陽性と診断し、２３，０３４枚の画像をＨ．ピロリ陰性と診断し、さらに２４７枚の画像をＨ．ピロリ除菌と診断した。ＣＮＮが全画像をＨ．ピロリ陰性と診断した６５５人中、臨床検査では４６６人（７１％）が同様にＨ．ピロリ陰性と診断されたが、２２人（３％）がＨ．ピロリ陽性と診断され、１６７人（２５％）がＨ．ピロリ除菌と診断された。
　また、ＣＮＮが少なくとも１画像を「Ｈ．ピロリ陽性又は除菌」と診断した１９２人中、臨床検査では４８人（２５％）がＨ．ピロリ陽性、１１７人（６１％）がＨ．ピロリ除菌、計１６５人（８６％）が同様に「Ｈ．ピロリ陽性又は除菌」と診断されたが、２７人（１４％）はＨ．ピロリ陰性と診断された。さらに、ＣＮＮが少なくとも１画像についてＨ．ピロリ除菌と診断した１１９人中、臨床検査では８３人（７０％）が同様にＨ．ピロリ除菌と診断されたが、１６人（１３％）がＨ．ピロリ陰性と診断され、２０人（１７％）がＨ．ピロリ陽性と診断された。なお、ＣＮＮが２３，６６９枚の画像を診断するのに掛かった時間は２６１秒である。
　表２に示した結果から、以下のことが分かる。すなわち、ＣＮＮを用いた胃内視鏡画像によるＨ．ピロリ感染状態の診断に際しては、ＣＮＮ構築用の訓練／検証用データセットとして、臨床検査によりＨ．ピロリ陽性及び陰性と診断された画像だけでなく、Ｈ．ピロリ除菌と診断された画像も含めて構築することにより、短時間で「Ｈ．ピロリ陽性又は除菌」の症例を抽出するのに有用であることが分かる。さらに、このＣＮＮに基づくスクリーニングシステムは、臨床実践に導入するのに十分な感度と特異度を有しており、内視鏡検査時に撮影された画像（テストデータ）のスクリーニングに際する内視鏡専門医の作業負荷を著しく低減することができることを示している。
　この実施形態１のＣＮＮによれば、疲労なしにＨ．ピロリ感染のスクリーニング時間をずっと短くすることができ、内視鏡検査後すぐに報告結果が得られるようになる。これにより、世界中で解決すべき大きな課題である内視鏡検査医のＨ．ピロリ感染診断の負担軽減と医療費の削減に貢献することができる。さらに、この実施形態１のＣＮＮによるＨ．ピロリ診断は、内視鏡検査時の画像を入力すれば直ぐに結果が得られるため、完全に「オンライン」でＨ．ピロリ診断補助を行うことができ、いわゆる「遠隔医療」として地域による医師の分布の不均一性の問題を解決することができるようになる。
　我が国においては、特に高齢者ではＨ．ピロリ感染が多く、２０１３年２月にＨ．ピロリ感染による胃炎患者に対するＨ．ピロリ除菌療法に対して健康保険が適用されるようになり、実際にはこのＨ．ピロリ除菌療法はＨ．ピロリ感染患者を対象として広く採用されるようになっている。さらに、２０１６年に開始された胃癌の内視鏡画像によるマススクリーニングでは、大量の内視鏡画像が処理されており、より効率的な画像スクリーニング法が必要とされている。実施形態１で得られた結果は、大量の保存画像をこのＣＮＮを用いて、内視鏡検査者の評価なしでも、Ｈ．ピロリ感染のスクリーニングを大きく助けることができ、さらなる試験によりＨ．ピロリ感染の確認につながるとともに最終的にはＨ．ピロリ除菌に至る可能性があることを示唆している。しかも、Ｈ．ピロリ感染状況に対するＣＮＮの診断能力は、胃の各部位の分類を加えることにより向上するが、胃癌の診断能力もＨ．ピロリ感染状況の情報を追加することにより改善される。
　なお、実施形態１では、ＣＮＮのアーキテクチャとしてGoogLeNetを使用した例を示したが、ＣＮＮのアーキテクチャは日々進化しており、最新のものを採用するとより良好な結果が得られる場合がある。また、ディープラーニングフレームワークとして同じくオープンソースのCaffeを使用したが、他にCNTK、TensorFlow、Theano、Torch、MXNet等を使用し得る。さらに、最適化手法としてAdamを使用したが、他に周知のＳＧＤ（Stochastic Gradient Descent：確率的勾配降下法）法、ＳＧＤに慣性項（Momentum）を付与したMomentumSGV法、AdaGrad法、AdaDelta法、NesterovAG法、RMSpropGraves法等を適宜に選択して使用し得る。
　以上述べたように、実施形態１のＣＮＮによる胃の内視鏡画像によるＨ．ピロリ感染の診断精度は、内視鏡検査医に匹敵した。したがって、実施形態１のＣＮＮは、スクリーニング又はその他の理由により、得られた内視鏡画像からＨ．ピロリ感染患者を選別するのに役立つ。また、Ｈ．ピロリ除菌後の画像をＣＮＮに学習させたので、Ｈ．ピロリが除菌できたかどうかの判定にも使える。
［診断支援システム］
　実施形態１の診断支援システムとしてのＣＮＮを組み込んだコンピュータは、基本的に、内視鏡画像入力部と、記憶部（ハードディスクないし半導体メモリ）と、画像解析装置と、判定表示装置と、判定出力装置とを備えている。他に、直接内視鏡画像撮像装置を備えているものであってもよい。また、このコンピュータシステムは、内視鏡検査施設から離れて設置され、遠隔地から画像情報を得て中央診断支援システムとしたり、インターネット網を介したクラウド型コンピュータシステムとしても稼働させることができる。
　このコンピュータは、内部の記憶部に、複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像を記憶する第１の記憶領域と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性又は陰性の確定診断結果を記憶する第２の記憶領域と、ＣＮＮプログラムを記憶する第３の記憶領域と、を備えることになる。この場合、複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像は数が多くてデータ量が大きくなること、ＣＮＮプログラムの作動時に大量のデータ処理が行われることから、並列処理とすることが好ましく、また、大容量の記憶部を有することが好ましい。
　近年、ＣＰＵやＧＰＵの能力の向上が著しく、実施形態１で使用した診断支援システムとしてのＣＮＮを組み込んだコンピュータは、ある程度高性能な市販のパーソナルコンピュータを使用した場合であれば、Ｈ．ピロリ感染胃炎診断システムとしても、１時間に３０００症例以上を処理でき、１枚の画像については約０．２秒で処理することができる。そのため、内視鏡で撮影中の画像データを実施形態１で使用したＣＮＮを組み込んだコンピュータに与えることにより、リアルタイムでのＨ．ピロリ感染判定も可能となり、世界中や僻地から送信された胃内視鏡画像はもちろんのこと、たとえそれが動画であっても、遠隔で診断可能となる。特に、近年のコンピュータのＧＰＵは性能が非常に優れているので、実施形態１のＣＮＮを組み込むことにより、高速かつ高精度の画像処理が可能となる。
　また、実施形態１の診断支援システムとしてのＣＮＮを組み込んだコンピュータの入力部に入力する被験者の消化器官の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像又はコンピュータ読み取り可能な記録媒体に記録された画像とすることができる。すなわち実施形態１の診断支援システムとしてのＣＮＮを組み込んだコンピュータは、短時間で入力された被験者の消化器官の内視鏡画像に対して消化器官の疾患陽性及び陰性のそれぞれの確率を出力することができるので、被験者の消化器官の内視鏡画像の入力形式によらず利用可能となる。
　なお、通信ネットワークとしては、周知のインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等を利用可能である。また、通信ネットワークを構成する伝送媒体も周知のＩＥＥＥ１３９４シリアルバス、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線回線、ＡＤＳＬ回線等の有線、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１等の無線、携帯電話網、衛星回線、地上波デジタル網等の無線等を利用できる。また、コンピュータ読み取り可能な記録媒体としては、周知の磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク、ハードディスク等の磁気ディスク、コンパクトディスク－ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク－Ｒ等の光ディスクを含むディスク系、ＩＣカード、メモリカード、光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系等を用いることができる。
［実施形態２］
　実施形態２では、本発明の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、大腸の部位別分類に適用した例を説明する。大腸の各部位は、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門からなる。なお、大腸の主要な解剖学的分類を図５に示した。実施形態２では、これらの部位別の画像を自動的に区別できるように、ＣＮＮを訓練及び検証した。
　発明者の一人が属する医院において、２０１７年１月から２０１７年１１月にかけて、全大腸内視鏡検査（ＣＳ）を受けた患者の臨床データを回顧的にレビューした。ＣＳを実施した理由は、腹痛、下痢、陽性糞便免疫化学検査、同一医院における過去のＣＳのフォローアップ、単なるスクリーニングなどであった。結腸・直腸の解剖学的部位を正確に特定するため、十分に空気が吹き込まれた、結腸・直腸の部位を特定できた正常な結腸・直腸画像のみを用いた。除外された画像は、結腸・直腸ポリープ、癌及び生検跡のようなものが大部分を占めており、重度の炎症又は出血を有するものも除外された。また、通常の倍率の白色光画像又は強調画像のみが含まれていた。
　このＣＳ法で撮影された画像は、標準的な大腸内視鏡（ＥＶＩＳ　ＬＵＣＥＲＡ　ＥＬＩＴＥ，ＣＦ　ＴＹＰＥ　Ｈ２６０ＡＬ／Ｉ，ＰＣＦ　ＴＹＰＥ　Ｑ２６０ＡＩ，Ｑ２６０ＡＺＩ，Ｈ２９０Ｉ，及びＨ２９０ＺＩ，オリンパスメディカルシステムズ、東京、日本）を用いて撮影された。回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸及び肛門の画像をＣＳ中に撮影し、それぞれのＣＳ中に平均２４枚の画像を得た。
　なお、ＣＮＮを訓練／検証するために、アルゴリズムの開発に先立って画像に付随する全患者情報を匿名化した。実施形態２のＣＮＮに関与した内視鏡医のいずれも、識別可能な患者情報にアクセスすることができないようにした。このＣＮＮの訓練／検証は、匿名化されたデータを使用した後ろ向き調査であったため、患者の同意書についてはオプトアウトアプローチを採用した。この研究は、日本医師会倫理審査委員会（ID：JMA-IIA00283）の承認を得た。
　実施形態２のＣＮＮシステムのフローチャートの概要を図６に示す。ここではＣＮＮを終末回腸、盲腸、上行及び横行結腸、下行及びＳ字結腸、直腸、肛門及び分類不能の７つのカテゴリーに訓練／検証するために、内視鏡専門医によって画像を分類した。訓練／検証のための全ての画像は、ＣＮＮを訓練／検証する前に少なくとも２人の内視鏡専門医によって分類をチェックされた。訓練／検証用データセットは、終末回腸、盲腸、上行及び横行結腸、下行及びＳ字結腸、直腸及び肛門の６つのカテゴリーに分類された。訓練／検証用データセットには分類不能な画像は含まれていなかった。
　従来、結腸・直腸ポリープに対するＡＩシステムを構築するために必要な画像データは５，０００枚以下の画像で訓練することにより行われていた。そこで、十分なデータ量を確保するため、約１０，０００枚の画像を基に実施形態２のＣＮＮシステムを構築することを目指した。２０１７年１月から２０１７年３月までに収集された４０９人の画像９９９５枚を訓練用画像として用意し、２０１７年１１月に取得した１１８人の画像５１２１枚を検証用画像セットに用いた（表３参照）。両方の画像セットの各解剖学的部位の画像数を表４に示した。
Figure JPOXMLDOC01-appb-T000003
Figure JPOXMLDOC01-appb-T000004
　このようにして得られた実施形態２の訓練／検証用データセットは、GoogLeNetと互換性を持たせるために、全ての画像のサイズが２４４×２４４ピクセルにリサイズされている。そして、実施形態２で用いたＣＮＮシステムは、実施形態１のＣＮＮシステムと同様のものを用いて訓練した。
　実施形態２のＣＮＮシステムは、訓練／検証用の画像について、各画像の部位毎の確率スコア（ＰＳ）を出力する。確率スコアは０－１（０－１００％）の範囲であり、画像が属する大腸の部位の確率を表している。ＣＮＮは、各画像を７つの部位毎（終末回腸、盲腸、上行及び横行結腸、下行及びＳ字結腸、直腸、肛門及び分類不能）の確率スコアを算出する。確率スコアの最高値を得た解剖学的部位が画像の部位として割り当てられる。なお、大腸の部位は、それぞれの組織の類似性から、盲腸、上行結腸及び横行結腸を纏めて右側結腸と、下行結腸、Ｓ字結腸及び直腸を左側結腸とし、終末回腸、右側結腸、左側結腸及び肛門の４部位に分類することもある。
　例えば、図７の左側の大腸内視鏡画像は上行－横行結腸画像の例であるが、ＣＮＮは、上行－横行結腸の確率スコアが９５％と判断したが、下行－Ｓ字結腸の確率スコアが５％であるとも判断した例を示している。結果として、ＣＮＮは図７の左側の大腸内視鏡画像を上行－横行結腸であると割り当てている。
　実施形態２のＣＮＮによる主要な目的は、大腸内視鏡画像のＣＮＮによる解剖学的分類の感度及び特異度を求めることである。受信機動作特性（ＲＯＣ）曲線を各部位について描き、GraphPad Prism 7（GraphPad software、Inc、California、U.S.A）によりＲＯＣ曲線の下側部分の面積（ＡＵＣ）を算出した。実施形態2のＣＮＮによって作成された大腸の部位別のＲＯＣ曲線を図８に示した。なお、図８Ａ－図８Ｆは、それぞれ順に終末回腸、盲腸、上行結腸、下行結腸、Ｓ字結腸、直腸及び肛門のＲＯＣ曲線を示す図である。
　実施形態２で構築されたＣＮＮシステムは、検証用データセットの画像の６６．６％（３，４１０枚／５，１２１枚）を正しく認識した。表５は、ＣＮＮが画像に提割り当てた確率スコアによる正しい認識率を示す。
Figure JPOXMLDOC01-appb-T000005
　ＣＮＮシステムは、確率スコアが９９％を超える画像については、全画像（５，１２１枚）中１０％（５０７枚）を割り当てたが、そのうち４６５枚（正しく分類されたものの１４％）が臨床診断により正しく分類されたものであり、正確度は９１．７％であった。
　同じく、ＣＮＮシステムは、確率スコアが９０％を越え、９９％以下の画像については、全画像中２５％（１，２９６枚）を割り当てたが、そのうち１，０３９枚（正しく分類されたものの３０％）が臨床診断により正しく分類されたものであり、正確度は８０．２％であった。同じく、ＣＮＮシステムは、確率スコアが７０％を超え、９０％以下の画像については、全画像中３０％（１，５４９枚）を割り当てたが、そのうち１，００９枚（正しく分類されたものの３０％）が臨床診断により正しく分類されたものであり、正確度は６５．１％であった。
　同じく、ＣＮＮシステムは、確率スコアが５０％を超え、７０％以下の画像については、全画像中２７％（１，３９７枚）を割り当てたが、そのうち７６１枚（正しく分類されたものの２２％）が臨床診断により正しく分類されたものであり、正確度は５４．５％であった。さらに、ＣＮＮシステムは、確率スコアが５０％以下の画像については、全画像中７％（３７２枚）を割り当てたが、そのうち１３６枚（正しく分類されたものの４％）が臨床診断により正しく分類されたものであり、正確度は３６．６％であった。
　表６は、臨床診断により分類された解剖学的部位毎のＣＮＮの出力の分布を示す。ここでは、「分類不能」に分類された画像はなかった。
Figure JPOXMLDOC01-appb-T000006
　実施形態２で構築されたＣＮＮは、肛門の画像９１．４％の最も高い感度で認識し、次いで、下行結腸及びＳ字結腸を９０．０％の次に高い感度で、終末回腸を６９．４％の感度で、上行結腸及び横行結腸を５１．１％の感度で、さらに盲腸を４９．８％の感度で認識したが、直腸は２３．３％の最も低い感度でしか認識できなかった。また、それぞれの解剖学的部位に対する特異度は、下行結腸及びS状結腸の部位（６０．９％）を除いて９０％以上であった。なお、実施形態２で構築したＣＮＮは、各解剖学的部位について０．８を超えるＡＵＣ値を有する画像を認識した。
　表７は、盲腸、上行結腸及び横行結腸を「右側結腸」と表し、下行結腸、Ｓ字結腸及び直腸を「左側結腸」と表した場合の、実施形態２で構築したＣＮＮの終末回腸、右側結腸
、左側結腸及び肛門の出力分布を示す。左側結腸は、９１．２％の高い感度および６３．％の比較的低い特異性を示したが、回腸末端、右側結腸および肛門は逆の結果を示した。
Figure JPOXMLDOC01-appb-T000007
　次に、各解剖学的部位について、特定の確率スコア毎、すなわち、７０％≧ＰＳ＞６０％、８０％≧ＰＳ>７０％、９０％≧ＰＳ>８０％及びＰＳ＞９０％の４区分に従って、感度及び特異度を計算した。計算結果を表８に示した。
Figure JPOXMLDOC01-appb-T000008
　表８に示した結果によると、直腸を除くすべての部位に関し、全ての確率スコアにおいて、確率スコアが高いほど感度及び特異度が高くなっていた。しかし、直腸では、確率スコアが高い程特異度は高くなっていたが、感度は確率スコアの傾向とは一致していなかった。
　実施形態２のＣＮＮによって誤って認識された１，７１１枚（全画像数－正常判定数＝５，１２１－３，４１０＝１，７１１、表５参照）の画像をレビューした。実施形態２のＣＮＮシステムは、全画像の１７．５％（２９９枚／１，７１１枚）を間違って認識し、確率スコアは０．９以上であった。図９及び図１０に、実施形態２のＣＮＮによって間違って認識された画像の典型的な例を示す。図９Ａは肛門と正しく認識された内視鏡画像の例であり、図９Ｂは肛門として間違って認識された終末回腸の画像を示す。図９Ｂの内腔の輪郭は肛門の輪郭に類似していた。図１０Ａは盲腸と正しく認識された内視鏡画像の例であり、図１０Ｂは終末回腸と誤って認識された盲腸の画像の例である。図１０Ａには盲腸の特徴の１つとして虫垂の穴が見えるが、図１０Ｂでは終末回腸として間違って認識された。
　以上述べたように、実施形態２では４０９人の９９９５枚の大腸内視鏡画像に基づいてＣＮＮシステムを構築した。このＣＮＮシステムは、大規模な独立した検証用データセットを用いて解剖学的部位を識別したところ、臨床的に有用な性能を示した。このＣＮＮシステムは、６０％以上の精度で結腸の画像を認識することができた。したがって、このシステムは、近い将来の大腸内視鏡検査用のＡＩシステムの開発の基礎となるであろう。
　結腸疾患のためのＡＩシステムを開発するためには、画像の効率的な解剖学的部位の認識能力が第一の重要なステップである。従来、結腸ポリープの認識のためのＡＩシステムが知られていたが、感度は７９％－９８．７％の範囲であり、特異度は７４．１％－９８．５％の範囲であった。しかし、従来のシステムは、ポリープの解剖学的部位を認識する能力を有さなかった。ポリープ又は大腸癌の出現頻度は、結腸の解剖学的部位によって異なることはよく知られている。実施形態２のＣＮＮシステムがその解剖学的部位に基づいて結腸の病変を検出する感度を変えることができれば、より効果的なＡＩシステムを開発することができる。
　実施形態２で構築されたＣＮＮでは、精度は確率スコアの値によって異なった。一般に、高い確率スコアを有する画像が高い精度で認識されるので、ＣＮＮは、高い確率スコアを有する画像のみに限定することにより、より良好に機能することができる。臨床的に有用な応用のためには、認識結果を確実にする確率スコアの適切な値が必要である。
　実施形態２で構築されたＣＮＮの結果は、胃腸画像を分類できるＣＮＮシステムを構築した発明者等の以前の報告と比較すると、良好ではなかった。従来の胃腸の解剖学的部位を認識するための感度及び特異度は、喉頭で９３．９％及び１００％、食道で９５．８％及び９９．７％、胃で９８．９％及び９３．０％、十二指腸で８７．０％及び９９．２％であった。
　しかし、臨床医にとってさえ、大腸内視鏡画像の解剖学的部位を、胃腸内視鏡画像の解剖学的部位と同様に正確に認識することは、より困難である。例えば、臨床医は上行－横行結腸の画像と下行－Ｓ字結腸の画像とを区別できないことがある。特に、各部位間にマージンにある画像は認識しにくい。さらに、臨床医は、通常、画像の連続的な順序又は臨床現場での以前の画像又は後の画像との関係を考慮することによって、大腸内視鏡の画像がどこの部分であるかを認識することができる。したがって、ＣＮＮの単一画像に基づく６６％の精度は、前画像と後画像との関係を統合するとより良い性能が達成できるので、過小評価することはできない。
　実施形態２で構築したＣＮＮシステムの感度及び特異性は、解剖学的部位によって異なる。下行結腸－Ｓ字結腸の部位は、９０％以上の高い感度を有したが、特異性は６９．９％と最も低かった。対照的に、回腸末端、盲腸、上行結腸―横行結腸及び直腸では高い特異性を有していたが、感度は２３．３－６９．４％と低感度であった。また、実施形態２のＣＮＮは、９０％以上の高い感度と特異度で肛門を認識した。興味深いことに、高い確率スコアを有する画像の中から算出した場合、直腸の認識感度は低下した。
　実施形態２のＣＮＮでは、直腸画像に対しては確実に正しく出力されず、直腸画像が下行－Ｓ状結腸として認識された。直腸が低感度で認識された理由は、特徴的な部分がないためであろう。しかし、実施形態２のＣＮＮは、終末回腸及び盲腸では、回盲弁、虫垂口などの特徴的な部分を有していたが、認識感度は比較的低かった。このような結果が得られた理由は、実施形態２のＣＮＮシステムが各部位に属するそのような特徴的な部分を認識できなかったことによって説明することができる。その理由は、実施形態２のＣＮＮシステムは、画像全体の構造のみに基づいて画像を認識することができ、ＣＮＮに画像内の各部位に基づく特徴部分をそれぞれ教示することなく、全画像を各部位に分類するだけであるからである。画像の典型的な部分を実施形態２のＣＮＮシステムに教えることができれば、それらの部位の認識精度は高くなる。
　すなわち、内視鏡を部位の表面に近づけたり、内腔が空気に不十分に吹き込まれたりすると、内腔の形状を捕捉することが困難になる。食道・胃・十二指腸の画像では、食道、胃、及び十二指腸の上皮が互いに異なるため、表面の微細構造に基づいて画像を認識する必要がある。例えば、胃の中では、上皮は解剖学的部位によって異なる。例えば、幽門腺は胃幽門に分布し、胃底腺は他の領域に存在している。
　一方、盲腸、上行結腸、横行結腸、下行結腸、S状結腸、及び直腸の微細構造パターンはほぼ同じである。したがって、表面微細構造をＣＮＮに教えて結腸・直腸の画像を区別するようにすることは非効率的である。ただ、実施形態２のＣＮＮシステムにおいて、終末回腸又は肛門を認識するためには、表面微細構造を教えることは有用である。
　さらに、実施形態２のＣＮＮシステムにおいて、画像の正確な位置決め能力を高めるために、大腸内視鏡検査とコンピュータ断層撮影や透視画像などの３次元情報を表示できる他のＸ線ＣＴ（Computed Tomography：コンピュータ断層撮影装置）、ＵＳＣＴ（Ultrasonic Computer Tomography：超音波コンピュータ断層撮影装置）、ＭＲＩ（Magnetic Resonance Imaging：磁気共鳴画像診断装置）など、医療用画像における撮像手段（modality：モダリティ）と組み合わせることができる。訓練用データセットにこれらのモダリティがある画像を使用できる場合、ＣＮＮは大腸内視鏡画像の位置をより正確に認識することができる。
　結腸の解剖学的部位を自動的に認識する能力は、診断と治療の両方に大きな影響を与える。第１に、結腸疾患がどこにあるかを認識する。例えば、潰瘍性大腸炎の治療のため、大腸炎の存在部位に基づいて治療又は適切な種類の薬剤を投与することができる。また、結腸・直腸癌に関しては、癌が存在する解剖学的部位は手術のための重要な情報となる。
　第２に、結腸の解剖学的部位に関する情報は、大腸内視鏡の挿入と排出の両方の間の正確な検査に有用である。特に訓練中の研修医ないし初診医にとって内視鏡スコープの挿入を完了させるための最も困難な要因の１つは、内視鏡スコープがどこに挿入されているかを認識することである。ＣＮＮによって内視鏡スコープが客観的にどこにあるかを認識することができるようにすると、訓練中の研修医ないし初診医が大腸内視鏡を挿入するのに役立つ。解剖学的部位を認識する機能がビデオ画像に採用された場合、大腸内視鏡の挿入を完了するための時間及び困難性が低減される。
　実施形態２のＣＮＮシステムでは、考慮すべきいくつかの制限がある。第１に、正確度には、検証画像を分類した専門医の能力又は技能が含まれている。専門医の大腸内視鏡画像の解剖学的部位を認識する能力は、大腸内視鏡検査の回数、訓練の期間、内視鏡検査の資格などの内視鏡的経験又は技能に基づいている。実施形態２のＣＮＮシステムにおいて、検証用データセットは、１人の医師が割り当てたため、誤って分類された画像が含まれている可能性がある。画像を正確に割り当てるためには、複数の医師がすべての画像を分類する必要がある。
　第２に、実施形態２のＣＮＮシステムにおいては、全ての画像を単一施設で取得した。施術者又は施設の方針により、各部位における大腸内視鏡画像の数、内腔内の空気量ないし画像の角度が異なることがある。
　最後に、実施形態２の大腸内視鏡のＣＮＮの構築に際しては、訓練用データ及び検証用データの両方に従来使用されていたものよりも多くの画像を使用したが、より信頼性の高いＣＮＮを構築するためには、より多くの画像を用いた方がよい。一般に、その特性に基づいて画像を正確に区別することができるＣＮＮシステムを構築するには、１０，０００以上の画像が必要であろう。さらに、複数の医師によって割り当てられた複数の施設からより多くの訓練用データセットを準備することが必要である。
　以上述べたように、実施形態２では、大腸内視鏡画像の解剖学的部位の観点から、新しく構築したＣＮＮシステムの臨床的に適切な性能を明らかにした。これは、結腸疾患をより簡単に検出できるＣＮＮシステムを構築するための第一歩となる。
［実施形態３］
　実施形態３では、ワイヤレスカプセル内視鏡（ＷＣＥ）画像による小腸の疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について説明する。なお、実施形態３では、びらんと潰瘍との区別が困難であったので、両者合わせて「びらん／潰瘍」と表してある。すなわち、この明細書における「びらん／潰瘍」という用語は、「びらん」、「潰瘍」、「びらん及び潰瘍」の意味だけでなく、「びらん及び潰瘍のどちらかは明確でないが、少なくとも正常粘膜ではない」ものも含む意味で用いられている。
［データセットについて］
　発明者の一人が属する医院において、２００９年１０月から２０１４年１２月までの間にＷＣＥを受けた１１５人の患者から、訓練用データセットとして小腸のびらん／潰瘍の画像を５３６０枚収集した。また、ＣＮＮの検証のために、２０１５年１月から２０１８年１月までに６５人の患者からの１０，４４０枚の独立した画像を準備し、検証用データセットとして用いた。これらの検証用データセットのうち、４５人の患者の４４０画像は小腸のびらん／潰瘍を有しており、２０人の患者の１０，０００画像は小腸の正常粘膜であると３人の内視鏡専門医により診断されている。ＷＣＥとしては、Pillcam（登録商標）ＳＢ２又はＳＢ３ＷＣＥ装置（Given Imaging, Yoqneam, Israel）を用いて実施した。
　なお、ＣＮＮを訓練／検証するために、アルゴリズムの開発に先立って画像に付随する全患者情報を匿名化した。実施形態１のＣＮＮに関与した内視鏡医のいずれも、識別可能な患者情報にアクセスすることができないようにした。このＣＮＮの訓練／検証は、匿名化されたデータを使用した後ろ向き調査であったため、患者の同意書についてはオプトアウトアプローチを採用した。この研究は、東京大学倫理委員会（No.11931）及び日本医師会倫理審査委員会（ID JMA-IIA00283）の承認を得た。実施形態３のＣＮＮシステムのフローチャートの概要を図１１に示す。
　ＷＣＥの適応症は、原因不明の消化管出血が主であり、他に他の医療機器を用いて異常小腸画像が観察された例、腹痛、過去の小腸症例のフォローアップ、下痢スクリーニングに関するプライマリケア医からの紹介等であった。病因としては、非ステロイド性抗炎症が多く、それに次いで炎症性腸疾患、小腸悪性腫瘍、吻合部潰瘍が主であったが、病因を確定できなかったものも多かった。ＣＮＮの訓練用及び検証用に用いられたデータデットの患者特性を表９に示した。
Figure JPOXMLDOC01-appb-T000009
［訓練／検証・アルゴリズム］
　ＡＩベースの診断システムを構築するために、アルゴリズムを変更することなく、Single Shot MultiBox Detector（ＳＳＤ、https://arxiv.org/abs/1512.02325）と呼ばれるディープニューラルネットワークアーキテクチャを利用した。まず、２人の内視鏡専門医によって、訓練データセットの画像内のびらん／潰瘍のすべての領域に、手動で長方形の境界ボックスを有する注釈が付けられた。これらの画像は、バークレー・ビジョン・ラーニング・センター（Berkeley Vision and Learning Center）で最初に開発されたCaffeフレームワークを通じてＳＳＤアーキテクチャに組み込まれた。Caffeフレームワークは、最初に開発された、最も一般的で広く使用されているフレームワークの１つである。
　実施形態３のＣＮＮは、境界ボックスの内側の領域がびらん／潰瘍領域であり、他の領域が背景であると「教育」された。そして、ＣＮＮは、それ自体で境界ボックス領域の特定の特徴を抽出し、訓練データセットを介してびらん／潰瘍の特徴を「学習」した。ＣＮＮのすべての層は、グローバル学習率０．０００１で確率的最適化が行われている。各画像は３００×３００ピクセルにリサイズした。それに応じて境界ボックスのサイズも変更された。これらの値は、すべてのデータがＳＳＤと互換性があることを保証するために、試行錯誤によって設定された。
［結果の測定及び統計］
　まず、検証データセットの画像内のびらん／潰瘍の全てに、手作業で長方形の境界ボックス（以下、「真のボックス」という。）を太線で付与した。また、訓練されたＣＮＮは、検証データセットセットの画像内の検出したびらん／潰瘍の領域に長方形の境界ボックス（以下、「ＣＮＮボックス」という。）を細線で付与するとともに、びらん／潰瘍の確率スコア（範囲は０－１）を出力した。確率スコアが高いほど、ＣＮＮはその領域にびらん／潰瘍が含まれている確率が高いと判断していることを示している。
　発明者等は、各画像がびらん／潰瘍を含むか否かについて、実施形態３のＣＮＮが判別する能力を評価した。この評価を実行するために、以下の定義を使用した。
　１）ＣＮＮボックスが真のボックスに８０％以上重なったときは正解とした。
　２）複数のＣＮＮボックスが１つの画像内に存在し、それらのボックスの１つでもびらん／潰瘍を正しく検出した場合、画像が正しく識別されたと結論付けた。
　なお、このようにして正解と判断されたＷＣＥ内視鏡画像は、その情報を画像に付与して撮影された画像のダブルチェックの現場で診断補助として活用したり、ＷＣＥ内視鏡検査時に動画でリアルタイムで情報を表示して診断補助として活用される。
　また、確率スコアのカットオフ値を変えることによって、受信機動作特性（ＲＯＣ）曲線をプロットし、実施形態1のＣＮＮによるびらん／潰瘍識別の評価のために曲線下面積（ＡＵＣ）を計算した。Youdenインデックスに従ったスコアを含む確率スコアに対する様々なカットオフ値を用いて、実施形態３のＣＮＮのびらん／潰瘍を検出する能力である、感度、特異度及び精度を計算した。なお、Youdenインデックスは、感度と特異度で計算された最適なカットオフ値を決定するための標準的な方法の１つであり、「感度＋特異度－１」の数値が最大となるようなカットオフ値を求めるものである。ここではＳＴＡＴＡソフトウェア（バージョン１３；Stata Corp、College Station、TX、USA）を用いてデータを統計的に分析した。
　検証データセットは、６５人の患者（男性＝６２％、平均年齢＝５７歳、標準偏差（ＳＤ）＝１９歳）からの１０，４４０画像からなっていた。実施形態１の訓練されたＣＮＮは、これらの画像を評価するのに２３３秒を要した。これは、毎秒４４．８画像の速度に等しい。びらん／潰瘍を検出したＣＮＮのＡＵＣは０．９６０（９５％信頼区間［ＣＩ］、０．９５０－０．９６９；図１２参照）であった。
　Youdenインデックスによれば、確率スコアの最適カットオフ値は０．４８１であり、確率スコアが０．４８１の領域がＣＮＮによってびらん／潰瘍として認識された。そのカットオフ値では、ＣＮＮの感度、特異度及び精度は、８８．２％（９５％ＣＩ（信頼区間）、８４．８－９１．０％）、９０．９％（９５％ＣＩ、９０．３－９１．４％）及び９０．８％（９５％ＣＩ、９０．２－９１．３％）であった（表１０参照）。なお、表１０は、確率スコアのカットオフ値を０．２から０．９まで０．１ずつ増加させて計算した、それぞれの感度、特異度及び精度を示している。
Figure JPOXMLDOC01-appb-T000010
　このようにして、確率スコアのカットオフ値＝０．４８１として実施形態１のＣＮＮに
より分類されたびらん／潰瘍の分類結果と内視鏡専門医によるびらん／潰瘍の分類結果と
の関係を表１１に纏めて示した。
Figure JPOXMLDOC01-appb-T000011
　また、図１３Ａ－図１３ＤはそれぞれＣＮＮによって正しく検出された代表的な領域を示し、図１４Ａ－図１４ＨはそれぞれＣＮＮによって誤分類された典型的な領域を示している。偽陰性画像は、表１２に示されるように、境界不明瞭（図１４Ａ参照）、周囲の正常粘膜と類似の色、小さすぎ、全体の観察不可（側方性（患部が側面にあるので見え難い）ないし部分性（部分的にしか見えない））（図１４Ｂ参照）の４つの原因に分類された。
Figure JPOXMLDOC01-appb-T000012
　一方、偽陽性画像は、表１３に示したように、正常粘膜、泡（図１４Ｃ）、破片（図１４Ｄ）、血管拡張（図１４Ｅ）、真のびらん（図１４Ｆ－図１４Ｈ）の５つの原因に分類された。
Figure JPOXMLDOC01-appb-T000013
　以上述べたように、実施形態３の訓練されたＣＮＮによれば、ＷＣＥの小腸像におけるびらん及び潰瘍の自動検出のためのＣＮＮベースのプログラムが構築され、９０．８％の高い精度（ＡＵＣ、０．９６０）の独立した試験画像におけるびらん／潰瘍を検出できることが明らかにされた。
［実施形態４］
　実施形態４では、通常の内視鏡（非拡大内視鏡，非ＭＥ）、超音波内視鏡（ＥＵＳ）及び拡大内視鏡（ＭＥ）による扁平上皮癌（ＳＣＣ）の深達度を診断する診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について説明する。
　まず、食道のＳＣＣの深達度とその分類との関係を、図１５を用いて説明する。食道は、食道の内面側から、粘膜上皮（ＥＰ）、粘膜固有層（ＬＰＭ），粘膜筋板（ＭＭ）、粘膜下層（ＳＭ）、固有筋層及び外膜からなっている。ＳＣＣが粘膜上皮（ＥＰ）内に止まっている場合は「ＥＰ」と表示し、「Ｔｉｓ」に分類される。ＳＣＣが粘膜上皮の下部の粘膜固有層（ＬＰＭ）まで達している場合は「ＬＰＭ」と表示し、同じく粘膜筋板（ＭＭ）まで達している場合は「ＭＭ」と表示し、両者ともに「Ｔ１ａ」に分類される。
　これらの粘膜上皮、粘膜固有層及び粘膜筋板が一般的に「粘膜」と称される箇所である。日本のガイドライン及び欧州のガイドラインによれば、ＥＲは、上皮（ＥＰ）／粘膜固有層（ＬＰＭ）、粘膜筋（ＭＭ）／２００μｍ程度まで達しているものに適用することが望ましいとされている。
　ＳＣＣが粘膜固有層の下部の粘膜下層まで達しているものは，その深さに応じて順に「ＳＭ１」、「ＳＭ２」及び「ＳＭ３」と表示し、全て「Ｔ１ｂ」に分類される。なお、「ＳＭ１」、「ＳＭ２」及び「ＳＭ３」の区分の境界は明確なものではないが、一応、感覚的に粘膜下層表面近傍、粘膜下層中間部及び粘膜下深部の３区分に分けることができる。
　上記のガイドラインでは、Ｔ１ａよりも深く達したＴ１ｂに分類されるＳＣＣに対してＥＲの適用性については示されていない。しかしながら、ＳＣＣの深達度がＴ１ａ（ＭＭ及びＳＭ１）である場合には、癌の転移確率は１０％未満であると報告されているので、食道切除術の高い死亡率及び実質的な罹患率に基づき、特に患者が老人であるか虚弱である場合には、ＥＲはＴ１ａ（ＭＭ及びＳＭ１）のための最も適切な初期治療と見なされている。食道切除術は、転移リスクが２５％を超えているため、通常Ｔ１ｂ（粘膜下層中間部（ＳＭ２）又は粘膜下深部（ＳＭ３））の場合に適応される。したがって、ＳＣＣの深達度の術前診断のための最も重要な仕事は、Ｔ１ａ（ＥＰ及びＳＭ１）をＴ１ｂ（ＳＭ２又はＳＭ３）と区別することである。
［データセットについて］
　発明者の一人が属する医院において日常撮影された内視鏡画像を用いてＡＩシステムとしてのＣＮＮの訓練を行った。使用した内視鏡システムは、高解像度ないし高精細上部胃腸内視鏡（ＧＩＦ－ＸＰ２９０Ｎ，ＧＩＦ－Ｑ２６０Ｊ，ＧＩＦ－ＲＱ２６０Ｚ，ＧＩＦ－ＦＱ２６０Ｚ，ＧＩＦ－Ｑ２４０Ｚ，ＧＩＦ－Ｈ２９０Ｚ，ＧＩＦ－Ｈ２９０，ＧＩＦ－ＨＱ２９０及びＧＩＦ－Ｈ２６０Ｚ；オリンパス製，東京，日本）及びビデオプロセッサ（ＣＶ２６０；オリンパス製）、高精細拡大胃腸内視鏡（ＧＩＦ－Ｈ２９０Ｚ，ＧＩＦ－Ｈ２９０，ＧＩＦ－ＨＱ２９０，ＧＩＦ－Ｈ２６０Ｚ：オリンパス製）及びビデオプロセッサ（ＥＶＩＳ　ＬＵＣＥＲＡ　ＣＶ－２６０／ＣＬＶ－２６０及びＥＶＩＳ　ＬＵＣＥＲＡ　ＥＬＩＴＥ　ＣＶ－２９０／ＣＬＶ－２９０ＳＬ；オリンパスメディカルシステム製）、高解像度内視鏡（ＥＧ－Ｌ５９０ＺＷ，ＥＧ－Ｌ６００ＺＷ及びＥＧ－Ｌ６００ＺＷ７；富士フィルム製，東京，日本）及びビデオ内視鏡システム（ＬＡＳＥＲＥＯ：富士フイルム製）であった。
　訓練用画像は、標準白色光画像、狭帯域光（ＮＢＩ）画像及び青色レーザ光(ＢＬＩ）を用いた画像であるが、以下の除外基準に属する患者の画像は除外された。この除された画像には、重度の食道炎を有する患者、化学療法の病歴を有する患者、食道への放射線照射、潰瘍又は潰瘍の瘢痕に隣接する病変、少なすぎる空気吹き込みによる低品質の画像、出血、ハレーション、ぼけ、焦点外れ、又は粘液が含まれる。
　選択後、８０４名の患者の病理学的に証明された表在食道ＳＣＣからの８，６６０枚の非ＭＥ画像及び５，６７８のＭＥ画像を訓練画像データセットとして収集した。これらの画像は、ＪＰＥＧ(Joint Photographic Experts Group)形式で保存され、切除標本の病理診断に基づいて、病理学的ｐＥＰ及びｐＬＰＭ、ｐＭＭ、ｐＳＭ１、及び、ｐＳＭ２及びｐＳＭ３癌に分類された。その後、日本消化器内視鏡学会の指導医によって手作業で四角枠の標識を付与した。癌の全領域は、ｐＥＰ－ｐＳＭ１癌のために標識され、ｐＳＭ２及びｐＳＭ３のもののみがＳＭ２及びＳＭ３癌のために特別に標識された。
　内視鏡ビデオプロセッサの構造強化は、狭帯域イメージング（ＮＢＩ）はＢモードレベル８に設定され、青色レーザイメージング（ＢＬＩ）のレベルレベルは５－６に設定された。拡大観察時に内視鏡ズームレンズの先端と粘膜面との間の距離を適切に保つため、内視鏡の先端に黒い軟質フードを取り付けた。非拡大白色光画像、ＮＢＩ又はＢＬＩによる初期ルーチン検査を行って、癌の突出の程度、陥没の程度及び硬さを評価した。
　続いて、ＮＢＩを拡大して、表面血管構造の外観、特に毛細血管の毛細血管ループの変化を評価した。最後に、癌の広がりを描写するためにヨウ素染色を行った。
［訓練／検証・アルゴリズム］
　実験形態４のＡＩベースの診断システムは、アルゴリズムを変更することなく、実質的に実施形態３の場合と同様のシングルショットマルチボックス検出器（ＳＳＤ）と呼ばれるＣＮＮアーキテクチュアと、Ｃａｆｆｅフレームワークとを用いた。
　モデル訓練は、グローバル学習率０．０００１の確率勾配降下で行った。各画像は３００×３００ピクセルにリサイズされ、四角枠も最適なＣＮＮ分析を行うようにサイズを変更した。これらの値は、すべてのデータがＳＳＤと互換性があることを保証するために、試行錯誤によって設定された。
［結果の測定及び統計］
　ＣＮＮに基づくＡＩシステムの評価は、表在食道ＳＣＣの独立した検証試験データによって行われた。２０１７年１月から２０１８年４月まで、発明者の一人が属する病院でＥＳＤ又は食道切除術を受けた患者から画像を収集した。訓練データセットと同じ除外基準を満たす患者を除外した後、１５５人の患者を選択した。一人の患者から３－６枚の代表的な画像（非ＭＥ及びＭＥ）を選択し、ＡＩシステムによって診断した。
　訓練されたＣＮＮは、その診断の確率に対応する、０と１との間の連続数を有するＥＰ－ＳＭ１又はＳＭ２／ＳＭ３癌の診断を生成する。病変の全領域がＥＰ－ＳＭ１に限定されていると診断された場合、病変はＥＰ－ＳＭ１癌と診断された。病変の一部がＳＭ２又はＳＭ３に侵入したと診断された場合、病変はＳＭ２／３癌と診断された。非ＭＥ、ＭＥ及び最終診断（非ＭＥ＋ＭＥ）の結果を分析した。
　ＡＩシステムと医師の判断の正確性を比較するために、内視鏡専門家として日本消化器内視鏡学会の１６名の内視鏡専門医が招待された。内視鏡専門医は医師として９－２３年の専門知識を有し、３０００－２００００回の内視鏡検査を経験している。彼らはまた、術前診断及び胃腸癌の内視鏡的切除を日常的に行っている。彼らに対し、ＡＩシステムと同じ検証テストデータが提供され、ＥＰ－ＳＭ１又はＳＭ２／ＳＭ３癌の診断を行なった。
　主な出力指標は、診断精度、感度、特異性、陽性予測値（ＰＰＶ）、陰性予測値（ＮＰＶ）、及び診断時間であった。これらの値をＡＩシステムと内視鏡専門医との間で比較した。癌の深達度の診断における観察者間の変動を評価するために、κ統計が用いられた。κ値＞０．８は、ほぼ完全な一致を示し、κ値＝０．８－０．６は実質的な一致、κ値＝０．６－０．４は中程度の一致、κ値＝０．４－０．２は低度の一致、κ値<０．２はわずかな一致、κ値＝０は偶然の一致を示し、κ値<０は不一致を示唆している。全ての計算は統計ソフトＥＺＲを用いて行った。
　この調査は、大阪国際癌センターの倫理審査委員会（No.2017-1710059178）及び日本医師会倫理審査委員会（ID JMA-IIA00283）の承認を受けて行われた。
　ＡＩの診断の妥当性を調べるため、１５５人の患者からの合計で４０５枚の非ＭＥ画像と、５０９枚のＭＥ画像を選択した。選択された患者の人口統計を表１４に要約した。
Figure JPOXMLDOC01-appb-T000014
　全ての画像を診断するための所要時間は２９秒であった。表１５に示したように、ｐＥＰ－ＳＭ１癌（非ＭＥ＋ＭＥ）の最終診断では、感度９０．１％、特異度９５．８％、陽性予測値９９．２％、陰性予測値６３．９％、精度９１．０％が得られた。
Figure JPOXMLDOC01-appb-T000015
　ｐＥＰ－ＳＭ１癌の非ＭＥ診断では、感度９５．４％、特異度７９．２％、陽性予測値９６．２％、陰性予測値７６．０％、及び精度９２．９％が得られた。ｐＳＭ１癌のＭＥ診断では、感度９１．６％、特異度７９．２％、陽性予測値９６．０％、陰性予測値６３．３％、精度８９．７％が得られた。
　ＡＩのＭ癌とＳＭ癌とを区別する性能を調べるため、１５５人の患者から同一の妥当性検査試験データ、すなわち、４０５枚の非ＭＥ画像及び５０９枚のＭＥ画像を選択した。すべての画像を診断するのに必要な時間は２９秒であった。ｐＭ癌の最終診断では、特異性８９．０％（９５％ＣＩ、８２．２％－９３．８％）、９２．９％（９５％ＣＩ、７６．５％－９９．１％）、陽性予測値９８．３％（９５％ＣＩ、４８．３％－７９．４％）、精度８９．７％（９５％ＣＩ、８３．８％－９４．０％）が得られた。
　ｐＭ癌の非ＭＥ診断では、感度９３．７％（９５％ＣＩ、８８．０％－９７．２％）、特異度７５．０％（９５％ＣＩ、５５．１％－８９．３％）、陽性予測値９４．４％（９５％ＣＩ、８８．９％－９７．７％）、陰性予測値７２．４％（９５％ＣＩ、５２．８％－８７．３％）、精度９０．３％（９５％ＣＩ、８４．５％－９４．５％）が得られた。ＭＥのｐＭ癌診断では、感度９３．７％（９５％ＣＩ、８８．０％－９７．２％）、特異度８５．７％（９５％ＣＩ、６７．３％－９６．０％）、陽性予測値９６．７％（９５％ＣＩ、５６．６％－８８．５％）、精度９２．３％（９５％ＣＩ、８６．９％－９５．９％）が得られた。
　同じ有効性試験データのＳＣＣの深達度は、１６人の内視鏡専門医によって診断された（表１６）。全体として、感度８９．８％、特異性８８．３％、９７．９％の陽性予測値、６５．５％の陰性予測値、及び８９．６％の精度が得られた。長期（１６年以上）及び短期（１６年未満）の専門知識を持つ内視鏡専門家のサブグループ分析では、診断精度はそれぞれ９１．０％及び８７．７％であった。診断のための観察者間の一致度は０．３０３（Fleissのκ係数、ｚ＝４１．１、ｐ値＝０．０００）であった。全ての検証試験データを評価するのに要した時間は１１５分（範囲７０－１８０分）であった。
　病変の特徴に応じたＡＩシステムの診断精度を表１６及び１７に示した。ＡＩシステム及び内視鏡専門医の正確さは、病変の性質、例えば、癌浸潤深さ、形態及び病変の大きさが含まれる。
Figure JPOXMLDOC01-appb-T000016
Figure JPOXMLDOC01-appb-T000017
　ＡＩシステムの非ＭＥ診断は高い性能を示した。非ＭＥ画像の大部分は白色光画像であった。白色光イメージングを使用した非ＭＥは、世界中で利用可能な従来の最も一般的な内視鏡イメージング方式である。従来の非ＭＥを用いた癌深達度の診断は、主観的であり、観察者間変動の影響を受ける可能性のある癌の突出、陥没、及び硬さに基づいている。
　このような従来の非ＭＥを用いた癌深達度の診断のばらつきは、低い客観性に由来し、その信頼性を損ない、癌深達度を診断するためのツールとしての非ＭＥの適用を妨げた。しかしながら、実施形態４のＡＩシステムによる診断は、明確な診断を示すことができるため、客観的な診断を提供し、変動性を解決することができる。一方、ＭＥの診断能は実施形態４のＡＩシステムでは不利であった。この好ましくない性能は、ＭＥ画像の訓練用画像の量が少ないことから得られたものである。ＭＥのためのより多くの訓練データセットを蓄積することにより、さらなる改善が期待される。
　上述したように、実施形態４のＡＩシステムは、表在食道ＳＣＣの癌深達度を診断するための良好な性能を示し、最終診断の精度は９１．０％であり、長期の専門知識を持つ内視鏡専門家の精度に匹敵している。
［実施形態５］
　実施形態５では、食道胃十二指腸内視鏡（ＥＧＤ）画像を用いた診断システムを構築し、ＥＧＤ画像に基づいてＣＮＮにより表在性非乳頭部十二指腸上皮性腫瘍（ＳＮＡＤＥＴ）を診断する、診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について説明する。
　まず、十二指腸の主要な解剖学的部位の名称を、図１６を用いて説明する。十二指腸は、胃に近い側から、球部（bulb)、上部(superior part)、上十二指腸曲(superior duodennal flexture)、下行部(descending part)、下十二指腸曲(inferior duodennal flexture)、水平部(horizontal part)、上行部(ascending part)及び空腸(jejunum)に分類される。図示省略したが、下行部には内側に２つの隆起があり、一方は副膵管が開口する小十二指腸乳頭であり、他方は膵管と総胆管が開口する大十二指腸乳頭（ファーター乳頭）となっている。なお、球部は胃の幽門部(図２参照）に連なり、空腸は回腸(図示省略）を経て大腸の盲腸に連なっている。この十二指腸は小腸の一部を構成している。
［データセットについて］
　発明者の一人が属する医院において、日常の臨床診療におけるスクリーニング又は治療前検査として行われたＥＧＤ検査で撮影されたＥＧＤ内視鏡画像を用いてＡＩシステムとしてのＣＮＮの訓練を行った。使用した内視鏡システムは、高解像度ないし高精細上部胃腸内視鏡（ＧＩＦ－Ｈ２９０Ｚ、ＧＩＦ－Ｈ２９０、ＧＩＦ－Ｈ２６０Ｚ、ＧＩＦ－Ｑ２４０Ｚ＋Ｏｌｙｍｐｕｓ　Ｍｅｄｉｃａｌ　Ｓｙｓｔｅｍｓ、Ｃｏ．、Ｌｔｄ／東京、日本）であった。
　訓練用画像としては、２０１６年８月から２０１８年１１月までに大阪国際がんセンターで８７人の患者（９６病変）に対して行われたＥＧＤ画像を遡及的に検討した。そして、３１例の高度異形成及び６５例の腺腫と組織学的に診断された９６例のＳＮＡＤＥＴ病変から１５４６枚の訓練用画像を収集した。病理学的診断は、臨床認定医によって又は臨床専門医の監督下で行われた。ほとんどの診断は切除された標本に基づいて行ったが、いくつかは生検標本に基づいて行った。
　ＳＮＡＤＥＴ病変を有する全ての画像は、内視鏡専門医によって手動で方形状の境界ボックスが付与され、別の内視鏡専門医によって確認された。ＳＮＡＤＥＴ病変を有する内視鏡画像をさらにスクリーニングし、ハレーション、ぼやけ、焦点ぼけ、粘液、食物残渣及び生検後の出血を含む等、様々な理由からあいまいな画像を除外した。最後に、ＳＮＡＤＥＴ病変を有する５３１枚の内視鏡画像を訓練用データセットとして得た。
　構築したＣＮＮの診断精度を評価するために、試験データセットとして訓練用データセットとは別のデータセットを用意した。３６例の病変から得られた３９９枚の画像（９例の高度異形成及び２７例の腺腫；そのうち１４１枚は白色光画像、６１枚はインジゴカルミン染色画像であり、１９７枚は狭帯域画像）及び６８１枚の正常画像（５７３枚の白色光画像及び１０８枚の狭帯域画像）が試験データセットとして用意された。
［訓練／検証・アルゴリズム］
　実験形態５のＡＩベースの診断システムは、アルゴリズムを変更することなく、実質的に実施形態３の場合と同様のシングルショットマルチボックス検出器（ＳＳＤ）と呼ばれるＣＮＮアーキテクチュアと、Ｃａｆｆｅフレームワークとを用いた。ＣＮＮの訓練は、グローバル学習率０．０００１の確率勾配降下で行った。各画像は３００×３００ピクセルにリサイズされ、四角枠も最適なＣＮＮ分析を行うようにサイズを変更した。これらの値は、全てのデータがＳＳＤと互換性があることを保証するために、試行錯誤によって設定された。
　そして、訓練用画像セット内のＳＮＡＤＥＴを示す全ての領域は、経験豊富な内視鏡専門医によって手動で長方形の境界ボックスが付けられ、各画像は別の内視鏡専門医によってダブルチェックされた。そして、ＣＮＮは、境界ボックス内の領域をＳＮＡＤＥＴを表し、他の領域を背景を表すものとして認識するように訓練された。
［結果の測定及び統計］
　訓練用画像セットを使用してＣＮＮを構築した後、検証データセットとして準備したテスト画像を使用してＣＮＮのパフォーマンスを評価した。まず、訓練されたＣＮＮがテスト画像の入力データからＳＮＡＤＥＴを検出すると、診断（高度異形成又は腺腫）がなされ、所定の病変を囲むように内視鏡画像内に長方形の境界ボックスが確率スコアとともに表示される。確率スコアのカットオフ値は０．４に設定され、そしてそれが病変を検出したとしても、確率スコアが０．４より低ければそれは陰性であると判断された。
　また、ＣＮＮが内視鏡専門医によって付与された境界ボックスの一部とでも重なった境界ボックスを付与することができれば、正確にＳＮＡＤＥＴを検出できたと判断した。内視鏡専門医がＳＮＡＤＥＴを含むと認識した画像で、ＣＮＮがそれを認識しなかった場合、それは偽陰性と判断した。ＣＮＮが非腫瘍構造をＳＮＡＤＥＴと診断した場合、偽陽性と判断した。主要評価項目は、精度、感度、特異度、陽性適中率（ＰＰＶ）、陰性適中率（ＮＰＶ）であった。正確にＳＮＡＤＥＴと診断された数を実際のＳＮＡＤＥＴ数で割って、ＣＮＮの感度を計算した。
　ＣＮＮが非ＳＮＡＤＥＴと正しく診断した画像の数を非ＳＮＡＤＥＴ画像の総数で割ることによって特異度を計算した。ＣＮＮがＳＮＡＤＥＴと正しく診断した画像の数をＣＮＮがＳＮＡＤＥＴと診断した全ての画像で割ることによってＰＰＮはを計算した。次に、ＣＮＮが非ＳＮＡＤＥＴと正確に診断した画像の数をＣＮＮ非ＳＮＡＤＥＴと診断された全画像の数で割ることによってＮＰＶを計算した。全ての統計解析にはＲソフトウェア（ver.3.5.1)を使用し、０．０５未満のｐ値を統計的に有意と見なした。
　本試験は大阪府立国際がんセンターの倫理審査委員会(第2017-1710059178号)及び日本医師会倫理審査委員会(ID:JMA-IIA00283)の承認を受けて行われた。
Figure JPOXMLDOC01-appb-T000018
　表１８は、試験画像セットに使用された３３人の患者及び３６例の病変の特徴を示す。９病変（２５％）は高度異形成であり、２７病変（７５％）は腺腫であった。腫瘍の大きさの中央値は１２ｍｍ（３－５０ｍｍの範囲）であった。ＣＮＮは、３６例のＳＮＡＤＥＴ病変から得られた画像（計３９９枚の画像）と正常な十二指腸の画像（６８１枚の画像）の計１０８０枚の画像を診断した。訓練されたＣＮＮは、画像ベースでＳＮＡＤＥＴ病変の９４．７％（３９９枚のうち３７８枚）を検出し、また病変ベースでは１００％検出した。ＳＮＡＤＥＴ病変には５ｍｍ以下の５例の病変が含まれているにもかかわらず、全ての病変がＣＮＮによって検出された。
　図１７Ａは直径３ｍｍの小さな病変の画像を示すが、ＣＮＮはこの小さな病変を、クローズアップ画像の場合だけでなく、比較的離れた画像でも図１７Ｂに示すように検出できた。ＣＮＮがＳＮＡＤＥＴを含む３９９枚の画像と正常画像を含む１０８０枚の画像を診断するのに要した時間は、それぞれ１２秒と３１秒であった。実施形態５におけるＡＩ診断の詳細な結果を表１９に示した。ＡＩ診断の感度と特異度はそれぞれ９４．７％（３７８／３９９）と８７．４％（５９６／６８１）であった。また陽性適中率（ＰＰＶ）と陰性適中率（ＮＰＶ）はそれぞれ８０．８％と９７．４％であった。
Figure JPOXMLDOC01-appb-T000019
　偽陽性の発生率は１２．６％であった（６８１枚の正常画像のうちの８６枚）。偽陽性は、正常な十二指腸の襞（４５枚）、正常な十二指腸の粘膜（２３枚）、十二指腸の乳頭状の襞（９枚）、及び低品質の画像（例えばハレーション、９枚）で引き起こされた。これらの偽陽性となった十二指腸の画像を図１８に示した。なお、図１８Ａは偽陽性となった正常な十二指腸の襞の画像、図１８Ｂは同じく正常な十二指腸の粘膜の画像、図１８Ｃは同じく十二指腸の乳頭状の襞の画像、図１８Ｄは同じくハレーションを起こした低品質の画像の例である。ほとんどの偽陽性との誤検知は、蠕動運動に関連した隆起部を病変として誤って解釈したことによって引き起こされたものと思われる。
　また、偽陰性の発生率は５．３％（３９９枚の画像のうちの２１枚）であった。これらの偽陰性の大部分は、離れたところでの病巣のイメージングによって引き起こされた（図１９参照）ものであった。例えば、図１９Ａは、内視鏡専門医がＳＮＡＤＥＴであると認識して方形状の枠を付与したが、ＣＮＮはＳＮＡＤＥＴであると認識できなかった画像の例である。また、図１９Ｂは、内視鏡専門医がＳＮＡＤＥＴであると認識して付与した方形状の枠内にＣＮＮがＳＮＡＤＥＴであると認識して方形状の枠を付与することができたが、確率スコアがカットオフ値の０．４よりも小さい０．２４であったために、ＳＮＡＤＥＴではないと判断された画像の例である。このように、偽陰性の原因のほとんどは離れた場所で撮影された病変部に基づくものであり、熟練した内視鏡医でさえもそれらの画像のみでこれらの病変を正確に検出するのは困難であった。
　通常、十二指腸のスクリーニングは白色光イメージング（ＷＬＩ）によって行われ、その後に狭帯域イメージング（ＮＢＩ）による詳細な観察が続くことがある。したがって、ほとんどのＷＬＩ画像は遠くから撮影され、ほとんどのＮＢＩ画像は近くから撮影される。ＷＬＩとＮＢＩの診断結果の比較を表２０に示した。
Figure JPOXMLDOC01-appb-T000020
　表２０によると、ＮＢＩの感度はＷＬＩの感度よりも有意に高かった（ｐ＝０．００９）。一方、特異度は、ＮＢＩと比較してＷＬＩの方が有意に高かった（Ｐ＝０．００１）。すなわち、ＮＢＩの方がＷＬＩよりもＳＮＡＤＥＴに対して有意に高い感度と低い特異度を示した。ＮＢＩが表面構造を強調することを考えると、それはＳＮＡＤＥＴに対する感度を実際に高めることに繋がるかもしれないが、これらの結果は画像の状態や訓練用データセットなどのいくつかの要因によって偏る可能性がある。また、ＷＬＩは遠くから撮影されるため周囲の粘膜を含むが、ＮＢＩは主に病変部を含む。実施形態５のＮＢＩの訓練用データセットは、正常な構造が欠如しているため、低特異度の原因となった可能性がある。
　以上述べたように、実施形態５のＣＮＮによれば、３９９枚の全ての病変画像が１２秒で検証されたが、言い換えると毎秒３３枚の画像が分析されたことになる。このことは日常の内視鏡診療におけるリアルタイムＳＮＡＤＥＴ検出が可能であることを示唆している。
［実施形態６］
　実施形態６のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法について、図２０を用いて説明する。実施形態６では、実施形態１－５のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法を使用することができる。Ｓ１では、消化器官の第１の内視鏡画像と、第１の内視鏡画像に対応する、消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、疾患の深達度、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、を用いてＣＮＮを訓練／検証する。このＣＮＮが胃内視鏡画像におけるＨ．ピロリ関連疾患の診断用の場合であれば、Ｈ．ピロリ陽性及びＨ．ピロリ陽性の場合だけでなく、Ｈ．ピロリ除菌後の画像データをも含める。
　Ｓ２では、Ｓ１において訓練／検証されたＣＮＮは、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する確率の少なくとも１つを出力する。この第２の内視鏡画像は、新たに観察された内視鏡画像を示す。
　Ｓ１では、第１の内視鏡画像はそれぞれが撮像された部位に関連付けられていてもよい。部位としては、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つを含むことができ、この部位は、複数の消化器官の少なくとも１つにおいて複数箇所に区分されていてもよい。
　第１の内視鏡画像が胃内視鏡画像を含む場合には、Ｓ１では疾患としてＨ．ピロリ感染陽性又は陰性だけでなく、Ｈ．ピロリ除菌の有無を含めてもよく、Ｓ２ではＨ．ピロリ感染陽性の確率、Ｈ．ピロリ感染陰性の確率及びＨ．ピロリ除菌の確率の少なくとも一つを出力するようにしてもよい。
　第１の内視鏡画像が大腸内視鏡画像を含む場合には、Ｓ１では、区分として、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門を含めてもよく、Ｓ２では、第２の内視鏡画像の大腸の区分として、例えば、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力するようにしてもよく、終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力するようにしてもよく、さらには、終末回腸、盲腸－上行結腸－横行結腸からなる右側結腸、下行結腸－Ｓ字結腸－直腸からなる左側結腸及び肛門の少なくとも一つに対応する確率を出力するようにしてもよい。
　また、Ｓ２では、第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであってもよい。
［実施形態７］
　実施形態７の消化器官の内視鏡画像による疾患の診断支援システム、消化器官の内視鏡画像による診断支援プログラム、及び、コンピュータ読み取り可能な記録媒体について図２１を参照して、説明する。実施形態７では、実施形態４及び５で説明した消化器官の内視鏡画像による疾患の診断支援システムを利用することができる。
　この消化器官の内視鏡画像による疾患の診断支援システム１は、内視鏡画像入力部１０と、出力部３０と、ＣＮＮが組み込まれたコンピュータ２０と、出力部３０と、を有する。コンピュータ２０は、消化器官の第１の内視鏡画像を記憶する第１の記憶領域２１と、第１の内視鏡画像に対応する、消化器官の疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域２２と、ＣＮＮプログラムを記憶する第３の記憶領域２３と、を備える。第３の記憶領域２３に記憶されたＣＮＮプログラムは、第１の記憶領域２１に記憶されている第１の内視鏡画像と、第２の記憶領域２２に記憶されている確定診断結果とに基いて訓練／検証されており、内視鏡画像入力部１０から入力された消化器官の第２の内視鏡画像に基いて、第２の内視鏡画像に対する消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する確率の少なくとも１つを出力部３０に出力する。
　第１の記憶領域２１に記憶する第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていてもよい。部位としては、咽頭、食道、胃、十二指腸、小腸又は大腸の少なくとも１つを含むことができ、この部位は、複数の消化器官の少なくとも１つにおいて複数箇所に区分されていてもよい。
　第１の記憶領域２１に記憶する第１の内視鏡画像が胃内視鏡画像を含む場合には、第２の記憶領域２２に記憶する確定診断結果としては、Ｈ．ピロリ感染陽性又は陰性だけでなく、Ｈ．ピロリ除菌の有無を含めてもよく、第３の記憶領域に記憶させた第２の内視鏡画像について、Ｈ．ピロリ感染陽性の確率、Ｈ．ピロリ感染陰性の確率及びＨ．ピロリ除菌の確率の少なくとも一つを出力部３０から出力するようにしてもよい。
　第１の記憶領域２１に記憶する第１の内視鏡画像が大腸内視鏡画像を含む場合には、第２の記憶領域２２に記憶する確定診断結果としての区分として、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門を含めてもよく、第３の記憶領域に記憶させた第２の内視鏡画像の大腸の区分として、例えば、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力部３０から出力するようにしてもよく、終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力部３０から出力するようにしてもよく、さらには、終末回腸、盲腸－上行結腸－横行結腸からなる右側結腸、下行結腸－Ｓ字結腸－直腸からなる左側結腸及び肛門の少なくとも一つに対応する確率を出力部３０から出力するようにしてもよい。
　また、第３の記憶領域に記憶させる第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであってもよい。
　実施形態７の消化器官の内視鏡画像による疾患の診断支援システムは、各手段としてコンピュータを動作させるためのもの消化器官の内視鏡画像による診断支援プログラムを備えている。また、消化器官の内視鏡画像による診断支援プログラムは、コンピュータ読み取り可能な記録媒体に記憶しておくことができる。
　１０…内視鏡画像入力部
　２０…コンピュータ
　２１…第１の記憶領域
　２２…第２の記憶領域
　２３…第３の記憶領域
　３０…出力部

Claims (32)

  1. 　畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法であって、
    　前記消化器官の第１の内視鏡画像と、
    　前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、過去の疾患、重症度のレベル、疾患の深達度、もしくは、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、
    を用いて畳み込みニューラルネットワークを訓練し、
    　前記訓練された畳み込みニューラルネットワークは、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、疾患の深達度、又は、撮像された部位に対応する確率の少なくとも１つを出力することを特徴とする、畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  2. 　前記第１の内視鏡画像は、それぞれが撮像された消化器官の部位に関連付けられていることを特徴とする、請求項１に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  3. 　前記消化器官の部位は、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つを含むことを特徴とする、請求項２に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  4. 　前記消化器官の部位は、咽頭、食道、胃、十二指腸及び大腸の少なくとも１つにおいて複数箇所に区分されていることを特徴とする、請求項３に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  5. 　前記消化器官の部位が胃であって、前記少なくとも１つの確定診断結果は、Ｈ．ピロリ感染陽性、Ｈ．ピロリ感染陰性及びＨ．ピロリ除菌のいずれかを含み、前記畳み込みニューラルネットワークは、Ｈ．ピロリ感染陽性の確率、Ｈ．ピロリ感染陰性の確率及びＨ．ピロリ除菌の確率の少なくとも一つを出力することを特徴とする、請求項３又は４に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  6. 　前記消化器官の部位が大腸であり、前記区分が終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門であり、前記畳み込みニューラルネットワークは、前記第２の内視鏡画像が撮像された前記区分として、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする、請求項４に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  7. 　前記消化器官の部位が大腸であって、前記区分が終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門であり、前記畳み込みニューラルネットワークは、前記第２の内視鏡画像が撮像された区分として、終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする、請求項４に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  8. 　前記消化器官の部位が大腸であって、前記区分が終末回腸、盲腸－上行結腸－横行結腸からなる右側結腸、下行結腸－Ｓ字結腸－直腸からなる左側結腸及び肛門であり、前記畳み込みニューラルネットワークは、前記第２の内視鏡画像が撮像された区分として、終末回腸、盲腸－上行結腸－横行結腸からなる右側結腸、下行結腸－Ｓ字結腸－直腸からなる左側結腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする、請求項４に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  9. 　前記消化器官の部位が小腸であって、前記内視鏡画像がワイヤレスカプセル内視鏡画像であり、前記疾患がびらん及び潰瘍の少なくとも一つであることを特徴とする、請求項３に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  10. 　前記消化器官の部位が十二指腸であって、前記内視鏡画像が食道胃十二指腸内視鏡画像であり、前記疾患が表在性非乳頭部十二指腸上皮性腫瘍であることを特徴とする、請求項３に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  11. 　前記疾患の陽性又は陰性の確定診断結果は、前記第２の内視鏡画像内に前記疾患の陽性の領域として表示されたものであり、
    　前記訓練された畳み込みニューラルネットワークは、検出した前記疾患の陽性の領域を前記第２の内視鏡画像内に表示するとともに、前記第２の画像内に前記確率スコアを表示することを特徴とする、請求項９又は１０に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  12. 　前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と、前記訓練された畳み込みニューラルネットワークにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域との重なりにより、前記訓練された畳み込みニューラルネットワークの診断結果の正誤を判定することを特徴とする、請求項１１に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  13. 　前記重なりが、
    （１）前記小腸の前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域の８０％以上である時、又は、
    （２）前記訓練された畳み込みニューラルネットワークにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域が複数存在するとき、いずれか一つの領域が前記疾患の陽性又は陰性の確定診断結果としての前記第１の内視鏡画像内に表示された前記疾患の陽性の領域と重なっている時、
    　前記訓練された畳み込みニューラルネットワークの診断は正しいと判定することを特徴とする、請求項１２に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  14. 　前記訓練された畳み込みニューラルネットワークは、前記第２の画像内に、検出した前記疾患の陽性の領域とともに前記確率スコアを表示することを特徴とする、請求項９－１３のいずれかに記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  15. 　前記消化器官の部位が食道であって、前記内視鏡画像が非拡大内視鏡画像又は拡大内視鏡画像であり、前記疾患が扁平上皮癌の癌深達度であることを特徴とする、請求項３に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  16. 　前記疾患の陽性又は陰性の確定診断結果は、前記扁平上皮癌の癌深達度が粘膜上皮－粘膜固有層、粘膜筋板、粘膜下層表面近傍、粘膜下層中間部以深のいずれかであることを判定することを特徴とする、請求項１５に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  17. 　前記畳み込みニューラルネットワークは、さらにＸ線コンピュータ断層撮影装置、超音波コンピュータ断層撮影装置又は磁気共鳴画像診断装置からの３次元情報と組み合わされていることを特徴とする、請求項１－１６のいずれかに記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  18. 　前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする、請求項１－１７のいずれかに記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  19. 　内視鏡画像入力部と、出力部と、畳み込みニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による疾患の診断支援システムであって、
    　前記コンピュータは、
    　消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
    　前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、過去の疾患、重症度のレベル、疾患の深達度、もしくは、撮像された部位に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域と、
    　前記畳み込みニューラルネットワークプログラムを記憶する第３の記憶領域と、
    を備え、
    　前記畳み込みニューラルネットワークプログラムは、
    　前記第１の記憶部に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、
    　前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、疾患の深達度、又は、撮像された部位に対応する確率の少なくとも１つを前記出力部に出力することを特徴とする、消化器官の内視鏡画像による疾患の診断支援システム。
  20. 　前記第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていることを特徴とする、請求項１９に記載の消化器官の内視鏡画像による疾患の診断支援システム。
  21. 　前記消化器官の部位は、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つを含むことを特徴とする、請求項２０に記載の消化器官の内視鏡画像による疾患の診断支援システム。
  22. 　前記消化器官の部位は、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つにおいて複数箇所に区分されていることを特徴とする、請求項２１に記載の消化器官の内視鏡画像による疾患の診断支援システム。
  23. 　前記消化器官の部位が胃であって、前記畳み込みニューラルネットワークは、前記第２の内視鏡画像に基いて、Ｈ．ピロリ感染陽性の確率、Ｈ．ピロリ感染陰性の確率及びＨ．ピロリ除菌の確率の少なくとも一つを出力する、請求項２１又は２２に記載の消化器官の内視鏡画像による疾患の診断支援システム。
  24. 　前記消化器官の部位が大腸であり、前記区分が終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つであり、前記畳み込みニューラルネットワークは、前記第２の内視鏡画像が撮像された前記区分として、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする、請求項２２に記載の消化器官の内視鏡画像による疾患の診断支援システム。
  25. 　前記消化器官の部位が大腸であって、前記区分が終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つであり、前記畳み込みニューラルネットワークは、前記第２の内視鏡画像が撮像された部位として、終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする、請求項２２に記載の消化器官の内視鏡画像による疾患の診断支援システム。
  26. 　前記消化器官の部位が大腸であって、前記訓練された畳み込みニューラルネットワークは、前記第２の内視鏡画像が撮像された部位として、終末回腸、盲腸－上行結腸－横行結腸からなる右側結腸、下行結腸－Ｓ字結腸－直腸からなる左側結腸及び肛門の少なくとも一つの区分に対応する確率を出力することを特徴とする、請求項２２に記載の消化器官の内視鏡画像による疾患の診断支援システム。
  27. 　前記消化器官の部位が小腸であって、前記訓練された畳み込みニューラルネットワークは、前記第２の内視鏡画像に基いて、前記疾患としてびらん及び潰瘍の少なくとも一つに対応する確率を出力することを特徴とする、請求項２１に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
  28. 　前記消化器官の部位が十二指腸であって、前記訓練された畳み込みニューラルネットワークは、前記第２の内視鏡画像に基いて、前記疾患として表在性非乳頭部十二指腸上皮性腫瘍に対応する確率を出力することを特徴とする、請求項２１に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
  29. 　前記畳み込みニューラルネットワークは、さらにＸ線コンピュータ断層撮影装置、超音波コンピュータ断層撮影装置又は磁気共鳴画像診断装置からの３次元情報と組み合わされていることを特徴とする、請求項１９－２８のいずれかに記載の消化器官の内視鏡画像による疾患の診断支援システム。
  30. 　前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする、請求項１９－２８のいずれかに記載の消化器官の内視鏡画像による疾患の診断支援システム。
  31. 　請求項１９－２８のいずれかに記載の消化器官の内視鏡画像による疾患の診断支援システムにおける各手段としてコンピュータを動作させるためのものであることを特徴とする、消化器官の内視鏡画像による診断支援プログラム。
  32. 　請求項３１に記載の消化器官の内視鏡画像による診断支援プログラムを記録したことを特徴とする、コンピュータ読み取り可能な記録媒体。
PCT/JP2019/024613 2018-06-22 2019-06-20 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 WO2019245009A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19823151.6A EP3811845A4 (en) 2018-06-22 2019-06-20 METHOD OF ASSISTING A DISEASE DIAGNOSIS BASED ON AN ENDOSCOPE IMAGE OF THE DIGESTIVE ORGAN, DIAGNOSIS SUPPORT SYSTEM, DIAGNOSIS SUPPORT PROGRAM AND COMPUTER READABLE RECORDING MEDIUM WITH THE DIAGNOSIS SUPPORT PROGRAM STORED THEREON
US17/252,877 US12048413B2 (en) 2018-06-22 2019-06-20 Diagnostic assistance method, diagnostic assistance system, diagnostic assistance program, and computer-readable recording medium storing therein diagnostic assistance program for disease based on endoscopic image of digestive organ
CN201980041982.XA CN112584749A (zh) 2018-06-22 2019-06-20 基于消化器官的内窥镜图像的疾病的诊断支援方法、诊断支援系统、诊断支援程序和存储有该诊断支援程序的计算机可读取的记录介质

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2018119381 2018-06-22
JP2018-119381 2018-06-22
JP2018133760 2018-07-13
JP2018-133760 2018-07-13
JP2018-218490 2018-11-21
JP2018218490 2018-11-21
JP2019-032163 2019-02-25
JP2019032163A JP7017198B2 (ja) 2018-06-22 2019-02-25 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体

Publications (1)

Publication Number Publication Date
WO2019245009A1 true WO2019245009A1 (ja) 2019-12-26

Family

ID=68983927

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/024613 WO2019245009A1 (ja) 2018-06-22 2019-06-20 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体

Country Status (3)

Country Link
EP (1) EP3811845A4 (ja)
TW (1) TW202006742A (ja)
WO (1) WO2019245009A1 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862090A (zh) * 2020-08-05 2020-10-30 武汉楚精灵医疗科技有限公司 一种基于人工智能的食管癌术前管理的方法和系统
CN111899229A (zh) * 2020-07-14 2020-11-06 武汉楚精灵医疗科技有限公司 一种基于深度学习多模型融合技术的胃早癌辅助诊断方法
CN112201335A (zh) * 2020-07-23 2021-01-08 中国人民解放军总医院 一种线阵超声内镜下识别腹腔内结构系统及其方法
CN112435246A (zh) * 2020-11-30 2021-03-02 武汉楚精灵医疗科技有限公司 窄带成像放大胃镜下胃癌的人工智能诊断方法
CN113393417A (zh) * 2020-02-27 2021-09-14 通用电气精准医疗有限责任公司 用于检测医学图像的偏侧性的系统和方法
CN113643291A (zh) * 2021-10-14 2021-11-12 武汉大学 食管标志物浸润深度等级确定方法、装置及可读存储介质
WO2022264751A1 (ja) * 2021-06-16 2022-12-22 富士フイルム株式会社 医用画像処理装置、医用画像処理方法、及びプログラム
JP2023513646A (ja) * 2021-01-14 2023-04-03 コ，ジファン 内視鏡を用いた大腸検査ガイド装置及び方法
CN116259414A (zh) * 2023-05-09 2023-06-13 南京诺源医疗器械有限公司 转移性淋巴结区分模型、构建方法及应用
EP4094673A4 (en) * 2020-01-20 2023-07-12 FUJIFILM Corporation MEDICAL IMAGE PROCESSING DEVICE, MEDICAL IMAGE PROCESSING DEVICE OPERATION METHOD, AND ENDOSCOPIC SYSTEM
US20230218175A1 (en) * 2020-07-31 2023-07-13 Tokyo University Of Science Foundation Image Processing Device, Image Processing Method, Image Processing Program, Endoscope Device, and Endoscope Image Processing System
CN116596869A (zh) * 2022-11-22 2023-08-15 武汉楚精灵医疗科技有限公司 胃部标志物的浸润深度检测方法、装置及存储介质
EP4183311A4 (en) * 2020-07-14 2023-12-06 FUJIFILM Corporation IMAGE ANALYSIS PROCESSING APPARATUS, ENDOSCOPY SYSTEM, OPERATING METHOD FOR THE IMAGE ANALYSIS PROCESSING APPARATUS AND PROGRAM FOR THE IMAGE ANALYSIS PROCESSING APPARATUS
WO2024004850A1 (ja) * 2022-06-28 2024-01-04 オリンパスメディカルシステムズ株式会社 画像処理システム、画像処理方法及び情報記憶媒体
JP7465409B2 (ja) 2022-01-19 2024-04-10 コ，ジファン 人工知能基盤の血管学習による大腸ポリープ検出方法及び装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113939777A (zh) * 2020-05-13 2022-01-14 东芝三菱电机产业系统株式会社 物理模型辨识系统
CN114049934B (zh) * 2021-11-10 2022-09-16 富士胶片（中国）投资有限公司 辅助诊断方法、装置、系统、设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002301019A (ja) 2001-04-09 2002-10-15 Hironori Yamamoto 内視鏡装置
JP2006095304A (ja) 2004-09-27 2006-04-13 Given Imaging Ltd 生体内でキャプチャされた画像ストリームを編集するシステムおよび方法
JP2017045341A (ja) 2015-08-28 2017-03-02 カシオ計算機株式会社 診断装置、及び診断装置における学習処理方法、並びにプログラム
US20170084036A1 (en) * 2015-09-21 2017-03-23 Siemens Aktiengesellschaft Registration of video camera with medical imaging
JP2017067489A (ja) 2015-09-28 2017-04-06 富士フイルムＲｉファーマ株式会社 診断支援装置、方法及びコンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002301019A (ja) 2001-04-09 2002-10-15 Hironori Yamamoto 内視鏡装置
JP2006095304A (ja) 2004-09-27 2006-04-13 Given Imaging Ltd 生体内でキャプチャされた画像ストリームを編集するシステムおよび方法
JP2017045341A (ja) 2015-08-28 2017-03-02 カシオ計算機株式会社 診断装置、及び診断装置における学習処理方法、並びにプログラム
US20170084036A1 (en) * 2015-09-21 2017-03-23 Siemens Aktiengesellschaft Registration of video camera with medical imaging
JP2017067489A (ja) 2015-09-28 2017-04-06 富士フイルムＲｉファーマ株式会社 診断支援装置、方法及びコンピュータプログラム

Non-Patent Citations (17)

* Cited by examiner, † Cited by third party
Title
ANDRE ESTEVA; BRETT KUPREL; ROBERTO A NOVOA; JUSTIN KO; SUSAN M SWETTER; HELEN M BLAU; SEBASTIAN THRUN: "Dermatologist-level classification of skin cancer with deep neural networks", NATURE, vol. 542, no. 7639, 1 February 2017 (2017-02-01), pages 115 - 118, XP055560219, ISSN: 0028-0836, DOI: 10.1038/nature21056
BIBAULT JEAN-EMMANUEL; GIRAUD PHILIPPE; BURGUN ANITA: "Big Data and machine learning in radiation oncology: State of the art and future prospects", CANCER LETTERS, vol. 382, no. 1, 2016, pages 110 - 117, XP029768397, ISSN: 0304-3835, DOI: 10.1016/j.canlet.2016.05.033
BYRNE MFCHAPADOS NSOUDAN F ET AL.: "Real-time differentiation of adenomatous and hyperplastic diminutive colorectal polyps during analysis of unaltered videos of standard colonoscopy using a deep learning model", GUT, 2017
CHEN PENG-JEN; LIN MENG-CHIUNG; LAI MEI-JU; LIN JUNG-CHUN; LU HENRY HORNG-SHING; TSENG VINCENT S: "Accurate Classification of Diminutive Colorectal Polyps Using Computer-Aided Analysis", GASTROENTEROLOGY, vol. 154, no. 3, 16 October 2017 (2017-10-16), pages 568 - 575, XP085346323, ISSN: 0016-5085, DOI: 10.1053/j.gastro.2017.10.010
FARLEY HAPOMMIER RF: "Surgical Treatment of Small Bowel Neuroendocrine Tumors", HEMATOLOGY/ONCOLOGY CLINICS OF NORTH AMERICA, vol. 30, no. 1, 2016, pages 49 - 61
HIRASAWA TAOYAMA KTANIMOTO T ET AL.: "Application of artificial intelligence using a convolutional neural network for detecting gastric cancer in endoscopic images", GASTRIC CANCER, 2018
HIRASAWA TOSHIAKI; AOYAMA KAZUHARU; TANIMOTO TETSUYA; ISHIHARA SOICHIRO; SHICHIJO SATOKI; OZAWA TSUYOSHI; OHNISHI TATSUYA; FUJISHI: "Application of artificial intelligence using a convolutional neural network for detecting gastric cancer in endoscopic images", GASTRIC CANCER, vol. 21, no. 4, 15 January 2018 (2018-01-15), pages 653 - 660, XP036674454, ISSN: 1436-3291, DOI: 10.1007/s10120-018-0793-2 *
IAKOVIDIS DIMITRIS K; KOULAOUZIDIS ANASTASIOS: "Automatic lesion detection in capsule endoscopy based on color saliency: closer to an essential adjunct for reviewing software", GASTROINTESTINAL ENDOSCOPY, vol. 80, no. 5, 1 August 2014 (2014-08-01), pages 877 - 83, XP029078579, ISSN: 0016-5107, DOI: 10.1016/j.gie.2014.06.026
JIA XIAO; MENG MAX Q-H: "A deep convolutional neural network for bleeding detection in Wireless Capsule Endoscopy Images", 2016 38TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY (EMBC), 16 August 2016 (2016-08-16), pages 639 - 642, XP032979235, DOI: 10.1109/EMBC.2016.7590783 *
KUDO SHIN-EI: "Can Endocytoscopy be a virtual biopsy?", DIGESTIVE ENDOSCOPY, vol. 27, no. 6, 25 June 2015 (2015-06-25), pages 996 - 998, XP009524802, ISSN: 0915-3217 *
MISAWA MKUDO SEMORI Y ET AL.: "Artificial Intelligence-Assisted Polyp Detection for Colonoscopy: Initial Experience", GASTROENTEROLOGY, 2018
SATOKI SHICHIJO; NOMURA SHUHEI; AOYAMA KAZUHARU; NISHIKAWA YOSHITAKA; MIURA MOTOI; SHINAGAWA TAKAHIDE; TAKIYAMA HIROTOSHI; TANIMOT: "Application of Convolutional Neural Networks in the Diagnosis of Helicobacter pylori Infection Based on Endoscopic Images", EBIOMEDICINE, vol. 25, 14 October 2017 (2017-10-14), pages 106 - 111, XP055665829, ISSN: 2352-3964, DOI: 10.1016/j.ebiom.2017.10.014 *
See also references of EP3811845A4
SHICHIJO SNOMURA SAOYAMA K ET AL.: "Application of Convolutional Neural Networks in the Diagnosis of Helicobacter pylori Infection Based on Endoscopic Images", EBIOMEDICINE, vol. 25, 2017, pages 106 - 111, XP055665829, DOI: 10.1016/j.ebiom.2017.10.014
TAKIYAMA HOZAWA TISHIHARA S ET AL.: "Automatic anatomical classification of esophagogastroduodenoscopy images using deep convolutional neural networks", SCI REP, vol. 8, no. 1, 2018, pages 7497
VARUN GULSHAN; PENG LILY; CORAM MARC; STUMPE MARTIN C; WU DEREK; NARAYANASWAMY ARUNACHALAM; VENUGOPALAN SUBHASHINI; WIDNER KASUMI;: "Development and Validation of a Deep Learning Algorithm for Detection of Diabetic Retinopathy in Retinal Fundus Photographs", JAMA THE JOURNAL OF THE AMERICAN MEDICAL ASSOCIATION, vol. 316, no. 22, 13 December 2016 (2016-12-13), pages 2402 - 2410, XP055509254, ISSN: 0098-7484, DOI: 10.1001/jama.2016.17216
YAMADA, MASAYOSHI ET AL.: "Development of real-time endoscopic image automatic analysis system for finding colorectal cancer and pre-cancerous lesions using an artificial intelligence system based on quantification of shape information", NIHON SHOKAKIBYO GAKKAI ZASSHI - JAPANESE JOURNAL OFGASTROENTEROLOGY; ABSTRACTS OF THE 59TH ANNUAL MEETING OF THE JAPANESE SOCIETY OF GASTROENTEROLOGY, vol. 114, 15 September 2017 (2017-09-15), pages 1 - 3, XP009521291, ISSN: 0446-6586 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4094673A4 (en) * 2020-01-20 2023-07-12 FUJIFILM Corporation MEDICAL IMAGE PROCESSING DEVICE, MEDICAL IMAGE PROCESSING DEVICE OPERATION METHOD, AND ENDOSCOPIC SYSTEM
CN113393417A (zh) * 2020-02-27 2021-09-14 通用电气精准医疗有限责任公司 用于检测医学图像的偏侧性的系统和方法
CN111899229A (zh) * 2020-07-14 2020-11-06 武汉楚精灵医疗科技有限公司 一种基于深度学习多模型融合技术的胃早癌辅助诊断方法
EP4183311A4 (en) * 2020-07-14 2023-12-06 FUJIFILM Corporation IMAGE ANALYSIS PROCESSING APPARATUS, ENDOSCOPY SYSTEM, OPERATING METHOD FOR THE IMAGE ANALYSIS PROCESSING APPARATUS AND PROGRAM FOR THE IMAGE ANALYSIS PROCESSING APPARATUS
CN112201335B (zh) * 2020-07-23 2023-05-26 中国人民解放军总医院 一种线阵超声内镜下识别腹腔内结构系统及其方法
CN112201335A (zh) * 2020-07-23 2021-01-08 中国人民解放军总医院 一种线阵超声内镜下识别腹腔内结构系统及其方法
US20230218175A1 (en) * 2020-07-31 2023-07-13 Tokyo University Of Science Foundation Image Processing Device, Image Processing Method, Image Processing Program, Endoscope Device, and Endoscope Image Processing System
CN111862090A (zh) * 2020-08-05 2020-10-30 武汉楚精灵医疗科技有限公司 一种基于人工智能的食管癌术前管理的方法和系统
CN111862090B (zh) * 2020-08-05 2023-10-10 武汉楚精灵医疗科技有限公司 一种基于人工智能的食管癌术前管理的方法和系统
CN112435246A (zh) * 2020-11-30 2021-03-02 武汉楚精灵医疗科技有限公司 窄带成像放大胃镜下胃癌的人工智能诊断方法
JP2023513646A (ja) * 2021-01-14 2023-04-03 コ，ジファン 内視鏡を用いた大腸検査ガイド装置及び方法
JP7374224B2 (ja) 2021-01-14 2023-11-06 コ，ジファン 内視鏡を用いた大腸検査ガイド装置
WO2022264751A1 (ja) * 2021-06-16 2022-12-22 富士フイルム株式会社 医用画像処理装置、医用画像処理方法、及びプログラム
CN113643291A (zh) * 2021-10-14 2021-11-12 武汉大学 食管标志物浸润深度等级确定方法、装置及可读存储介质
CN113643291B (zh) * 2021-10-14 2021-12-24 武汉大学 食管标志物浸润深度等级确定方法、装置及可读存储介质
JP7465409B2 (ja) 2022-01-19 2024-04-10 コ，ジファン 人工知能基盤の血管学習による大腸ポリープ検出方法及び装置
WO2024004850A1 (ja) * 2022-06-28 2024-01-04 オリンパスメディカルシステムズ株式会社 画像処理システム、画像処理方法及び情報記憶媒体
CN116596869A (zh) * 2022-11-22 2023-08-15 武汉楚精灵医疗科技有限公司 胃部标志物的浸润深度检测方法、装置及存储介质
CN116596869B (zh) * 2022-11-22 2024-03-05 武汉楚精灵医疗科技有限公司 胃部标志物的浸润深度检测方法、装置及存储介质
CN116259414B (zh) * 2023-05-09 2023-08-18 南京诺源医疗器械有限公司 转移性淋巴结区分模型、构建方法及应用
CN116259414A (zh) * 2023-05-09 2023-06-13 南京诺源医疗器械有限公司 转移性淋巴结区分模型、构建方法及应用

Also Published As

Publication number Publication date
TW202006742A (zh) 2020-02-01
EP3811845A4 (en) 2022-03-16
EP3811845A1 (en) 2021-04-28

Similar Documents

Publication Publication Date Title
JP7017198B2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP7037220B2 (ja) 消化器官の内視鏡画像による疾患の診断支援システム、診断支援システムの作動方法、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
WO2019245009A1 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP7216376B2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
Cai et al. Using a deep learning system in endoscopy for screening of early esophageal squamous cell carcinoma (with video)
WO2021054477A2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
Horiuchi et al. Convolutional neural network for differentiating gastric cancer from gastritis using magnified endoscopy with narrow band imaging
JP7335552B2 (ja) 画像診断支援装置、学習済みモデル、画像診断支援装置の作動方法および画像診断支援プログラム
Sharma et al. The diagnostic accuracy of esophageal capsule endoscopy in patients with gastroesophageal reflux disease and Barrett's esophagus: a blinded, prospective study
Namikawa et al. Artificial intelligence-based diagnostic system classifying gastric cancers and ulcers: comparison between the original and newly developed systems
Suzuki et al. Artificial intelligence for cancer detection of the upper gastrointestinal tract
Li et al. Intelligent detection endoscopic assistant: An artificial intelligence-based system for monitoring blind spots during esophagogastroduodenoscopy in real-time
Jiang et al. Differential diagnosis of Helicobacter pylori-associated gastritis with the linked-color imaging score
Fernández-Esparrach et al. Quality in diagnostic upper gastrointestinal endoscopy for the detection and surveillance of gastric cancer precursor lesions: Position paper of AEG, SEED and SEAP
Song et al. Use of artificial intelligence to improve the quality control of gastrointestinal endoscopy
Galmiche et al. Recent developments in capsule endoscopy
Bond et al. Dual-focus magnification, high-definition endoscopy improves pathology detection in direct-to-test diagnostic upper gastrointestinal endoscopy
Patel et al. Deep learning in gastrointestinal endoscopy
Samuel et al. PTH-015 Developing The Recorded Image Quality Index (RIQI) Tool–Measuring Recorded Image Quality, Degree of Representation and Utility
JP2023079866A (ja) 超拡大内視鏡による胃癌の検査方法、診断支援方法、診断支援システム、診断支援プログラム、学習済みモデル及び画像診断支援装置
Shiroma et al. Ability of artificial intelligence to detect T1 esophageal squamous cell carcinoma from endoscopic videos: supportive effects of real-time assistance
Leelasinjaroen et al. Documentation and description of endoscopic procedures
Zachariah et al. The potential of deep learning for gastrointestinal endoscopy—a disruptive new technology
Galmiche et al. Capsule endoscopy: recent developments
Ahmed et al. When to do paediatric gastrointestinal endoscopy?

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19823151

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019823151

Country of ref document: EP