WO2020105699A9 - 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 - Google Patents

消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2020105699A9
WO2020105699A9 PCT/JP2019/045580 JP2019045580W WO2020105699A9 WO 2020105699 A9 WO2020105699 A9 WO 2020105699A9 JP 2019045580 W JP2019045580 W JP 2019045580W WO 2020105699 A9 WO2020105699 A9 WO 2020105699A9
Authority
WO
WIPO (PCT)
Prior art keywords
disease
endoscopic image
neural network
convolutional neural
image
Prior art date
Application number
PCT/JP2019/045580
Other languages
English (en)
French (fr)
Other versions
WO2020105699A1 (ja
Inventor
宏章 斎藤
智聖 七條
有真 遠藤
和玄 青山
智裕 多田
篤生 山田
健太郎 中川
立 石原
智則 青木
温子 玉城
Original Assignee
株式会社Ａｉメディカルサービス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ａｉメディカルサービス filed Critical 株式会社Ａｉメディカルサービス
Priority to US17/295,945 priority Critical patent/US20220020496A1/en
Priority to CN201980076954.1A priority patent/CN113164010A/zh
Priority to JP2020557614A priority patent/JP7037220B2/ja
Priority to EP19887179.0A priority patent/EP3884838A4/en
Publication of WO2020105699A1 publication Critical patent/WO2020105699A1/ja
Publication of WO2020105699A9 publication Critical patent/WO2020105699A9/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to a diagnosis support method for a disease by an endoscopic image of a digestive organ using a neural network, a diagnosis support system, a diagnosis support program, and a computer-readable recording medium storing this diagnosis support program.
  • Endoscopy is frequently performed on digestive organs such as the larynx, pharynx, esophagus, stomach, duodenum, biliary tract, pancreatic duct, small intestine, and large intestine.
  • Upper gastrointestinal endoscopy is for screening gastric cancer, esophageal cancer, peptic ulcer, reflux gastritis, etc.
  • colonoscopy is for colon cancer, colon polyps, ulcerative colitis, etc. Often done for screening.
  • Endoscopy, especially of the upper digestive organs is commonly incorporated into detailed examinations of various upper abdominal symptoms, close-ups with positive barium tests for gastric ailments, and routine physical examinations in Japan. It is also useful for work-up for abnormal serum pepsinogen levels. In recent years, the gastric cancer screening has been shifting from the conventional barium test to gastroscopy.
  • H. pylori Helicobacter pylori infection
  • H. pylori which is one of the root causes of gastric cancer, induces atrophic gastritis and intestinal metaplasia, and eventually causes gastric cancer.
  • Connect 98% of non-cardiac gastric cancers are H. It is believed that H. pylori has contributed.
  • H. The risk of gastric cancer in patients infected with H. pylori increases. Considering that the incidence of gastric cancer after eradication of Helicobacter pylori has decreased, the International Agency for Research on Cancer has confirmed that H.
  • Helicobacter pylori is classified as a clear carcinogen. From this result, in order to reduce the risk of developing gastric cancer, H. Sterilization of H. pylori is useful, and H. The eradication of Helicobacter pylori has become a medical insurance treatment in Japan, and will continue to be a strongly encouraged treatment method for health and hygiene. In fact, the Ministry of Health, Labor and Welfare of Japan announced that H. Approved health insurance coverage for the eradication of gastritis patients with H. pylori infection.
  • H. Gastroscopy provides very useful information for the differential diagnosis of the presence of H. pylori infection.
  • the capillaries look neat (RAC (regular arrangement of of collecting venules)) and the fundic gland polyp is H.
  • RAC regular arrangement of of collecting venules
  • H. Although characteristic of pylori-negative gastric mucosa, atrophy, redness, mucosal swelling, and wrinkle wall hypertrophy were observed in H. pylori. This is a typical finding of Helicobacter pylori-infected gastritis. In addition, mottled red spots are H. It is the characteristic of gastric mucosa from which H. pylori was sterilized.
  • H. Accurate endoscopic diagnosis of H. pylori infection is based on anti-H.
  • H. pylori in blood or urine. Patients with positive test results confirmed by various tests such as H. pylori IgG level measurement, fecal antigen measurement, urea breath test, or rapid urease test. We can proceed to eradication of H. pylori. Although endoscopy is widely used for examination of gastric lesions, H. If even Helicobacter pylori infection can be identified, the burden on the patient will be greatly reduced without the need for uniform blood tests and urine tests, and the medical economic contribution can be expected.
  • Esophageal cancer is the eighth most common cancer and the sixth most common cause of cancer death. It is estimated that 456,000 new cases and 400,000 deaths will occur in 2012. Although the incidence of esophageal adenocarcinoma is increasing rapidly in Europe and North America, squamous cell carcinoma (SCC) is the most common tumor type, accounting for 80% of esophageal cancer worldwide. Overall survival of patients with advanced esophageal SCC remains low. However, if this cancer is detected as mucosal cancer or submucosal cancer, a favorable prognosis can be expected.
  • SCC squamous cell carcinoma
  • CS total colonoscopy
  • CRC colorectal cancer
  • CRC colorectal polyps
  • inflammatory bowel disease Can be detected. It is important to provide sufficient quality of CS as early diagnosis of such diseases allows patients to have better prognosis and early treatment.
  • a general endoscope has a length of about 2 m. To insert the endoscope into the small intestine, it is orally passed through the stomach and duodenum, or transanally to the small intestine through the large intestine. This is because the small intestine itself is a long organ having a length of about 6-7 m, and it is difficult to insert and observe the entire small intestine with a general endoscope.
  • a double balloon endoscope see Patent Document 1
  • a wireless capsule endoscope Wireless Capsule Endoscopy, hereinafter simply referred to as “WCE”
  • WCE Wireless Capsule Endoscopy
  • the double balloon endoscope is a balloon provided on the tip side of the endoscope and a balloon provided on the tip side of the overtube covering the endoscope, alternately or simultaneously inflated or deflated,
  • This is a method of performing an inspection while shortening and straightening a long small intestine, but since the length of the small intestine is long, it is difficult to perform the inspection over the entire length of the small intestine at one time. Therefore, the examination of the small intestine by the double-balloon endoscope is usually performed in two steps, that is, an oral endoscopic examination and a transanal endoscopic examination.
  • WCE endoscopy swallows an orally ingestible capsule that has a built-in camera, flash, battery, transmitter, etc., and wirelessly transmits the image taken while the capsule is moving in the digestive tract, The inspection is performed by externally receiving and recording the image, and the entire small intestine can be imaged at one time.
  • pharyngeal cancer is often detected at an advanced stage and has a poor prognosis.
  • patients with advanced pharyngeal cancer require surgical resection and chemoradiotherapy, have cosmetic problems and problems with both swallowing and speech dysfunction, resulting in a significant reduction in quality of life.
  • ESD esophagogastroduodenoscopy
  • An endoscopist cannot use iodine staining in the pharynx because of the risk of aspiration to the respiratory tract, unlike in the esophagus. Therefore, superficial pharyngeal cancer was rarely detected.
  • WCE wirelessly transmits about 60,000 images per person, which requires endoscopists to fast-forward and check, but abnormal findings may appear in only one or two frames. Due to this, the average WCE image analysis by this requires 30-120 minutes of rigorous attention and concentration.
  • diagnosis based on these endoscopic images not only requires a lot of time for training endoscopists and checking stored images, but is also subjective, and various false positive and false negative judgments are made. May occur. Furthermore, the diagnosis by an endoscopist may be less accurate due to fatigue. Such a large burden on the work site and a decrease in accuracy may lead to a limitation in the number of examinees, and there is a possibility that medical services will not be sufficiently provided according to demand.
  • AI artificial intelligence
  • ⁇ Utilization of AI is expected in order to improve the labor load and decrease in accuracy of the above endoscopy. It is expected that the accuracy and speed of the secondary image interpretation work will be improved if AI, which has a higher image recognition ability in recent years, can be used as an assistant for an endoscopist.
  • AI using deep learning has attracted attention in various medical fields, including radiation oncology, skin cancer classification, diabetic retinopathy (see Non-Patent Documents 1-3), and gastrointestinal endoscope. It has been reported that medical images can be screened in place of specialists not only in the field, especially the field including colonoscopy (see Non-Patent Documents 4-6), but also in various medical fields.
  • Patent Documents 3 and 4 There are also patent documents (see Patent Documents 3 and 4) in which medical image diagnosis is performed using various AIs. However, it has not been sufficiently verified whether AI's endoscopic image diagnostic ability can satisfy the accuracy (accuracy) and performance (speed) useful in actual medical settings. The diagnosis based on is not yet practically used.
  • Deep learning can learn higher-order features from input data by using neural networks composed of multiple layers. Deep learning also uses a backpropagation algorithm to update the internal parameters used to compute the representation of each layer from the representation of the previous layer by indicating how the device should change. can do.
  • CNN Convolutional Neural Networks
  • H.264 based on endoscopic images.
  • H. pylori eradicated cases were excluded, and H. pylori was excluded. Only H. pylori positive and negative cases have been used, and H. pylori is used in advance.
  • H. pylori In addition to the problem that it takes time to construct a training/verification data set that excludes cases that have been eradicated from H. pylori, H. pylori not only positive and negative cases but also H. pylori. There is a problem that it is not possible to evaluate whether or not it is possible to accurately identify a case of H. pylori eradication.
  • CS is commonly used for fecal occult blood positives and for screening abdominal symptoms, but it is special enough for the practitioner to freely handle the colonoscope, recognize abnormal areas, and accurately diagnose the disease. Training is needed.
  • One of the reasons it takes time to obtain such skills is the difficulty of anatomical recognition during endoscopy. Due to the anatomical differences between the different parts of the colon and the similarity of different parts of the colon, both CS beginners as well as CS experts will know the exact location of the tip of the endoscope. Can not do it.
  • SCC superficial esophageal squamous cell carcinoma
  • mucosal or submucosal cancer accounts for 38% of all esophageal cancer diagnosed in Japan.
  • SCC superficial esophageal squamous cell carcinoma
  • ER endoscopic resection
  • Non-magnifying endoscopic (non-ME) examination, magnifying endoscopic (ME) examination, and ultrasonic endoscopic (EUS) examination are used for diagnosing the invasion depth of superficial esophagus SCC.
  • Diagnosis with non-magnifying endoscopes is subjective and is based on the protrusion, depression, and firmness of the cancer, which can be subject to inter-observer variability. Magnification endoscopy allows the clear observation of microvascular structures that are closely associated with the depth of invasion of esophageal cancer.
  • Diagnosis by ultrasonic endoscope and magnifying endoscope is more objective than diagnosis by non-magnifying endoscope, but it is complicated and influenced by doctor's expertise.
  • the reported accuracy of cancer invasion depths of ultrasound endoscopy and magnifying endoscopy are contradictory and unsatisfactory. Therefore, an innovative approach is required as a method for more objectively and easily diagnosing the cancer invasion depth of esophageal cancer.
  • the present invention has been made to solve the above-mentioned problems of the conventional technology. That is, the first object of the present invention is to use an endoscopic image of a digestive organ and a CNN system, for example, H.264. H. pylori not only positive and negative cases but also H. pylori.
  • a second object of the present invention is to use an endoscopic image of the digestive organs and use the CNN system to accurately identify the anatomical site of, for example, colorectal disease.
  • An object of the present invention is to provide a diagnosis support method for a disease using an endoscopic image, a diagnosis support system, a diagnosis support program, and a computer-readable recording medium storing the diagnosis support program.
  • a third object of the present invention is to detect small intestinal erosions/ulcers or bleeding using the CNN system, or a small intestinal disease capable of accurately identifying a protruding lesion based on an endoscopic image of the small intestine by WCE.
  • An object of the present invention is to provide a diagnosis support method, a diagnosis support system, a diagnosis support program, and a computer-readable recording medium storing the diagnosis support program.
  • a fourth object of the present invention is to enable the depth of the superficial esophagus SCC and its presence to be classified based on esophageal endoscopic images using a non-magnifying endoscope and a magnifying endoscope.
  • An object of the present invention is to provide a diagnosis support method for an esophagus SCC, a diagnosis support system, a diagnosis support program, and a computer-readable recording medium storing the diagnosis support program.
  • a fifth object of the present invention is to identify the presence or absence of superficial pharyngeal cancer using the CNN system, which is based on an esophagogastroduodenoscope (EGD) examination image, in the digestive organs.
  • An object of the present invention is to provide a diagnosis support method for a disease by an endoscopic image, a diagnosis support system, a diagnosis support program, and a computer-readable recording medium storing the diagnosis support program.
  • a method for assisting diagnosis of a disease by an endoscopic image of a digestive organ using a convolutional neural network system is a digestive organ using a network system.
  • the CNN system includes the endoscopic images of the plurality of digestive organs obtained in advance for each of the plurality of subjects. Based on the first endoscopic image and at least one definite diagnosis result of the positive or negative of the disease, the level of severity, or the depth of invasion of the disease, which is obtained in advance for each of a plurality of subjects.
  • the positive and/or negative probability of a gastrointestinal illness in a subject Being trained, in a short time, with a degree of accuracy substantially comparable to that of an endoscopist, the positive and/or negative probability of a gastrointestinal illness in a subject, the probability of a past illness, the level of severity of illness, It is possible to obtain at least one of the depth of the disease and the probability corresponding to the imaged site, and it is possible to select a subject for which a definite diagnosis must be separately performed in a short time.
  • the probability of positive and/or negative disease, the probability of past disease, the level of severity of disease, the degree of invasion of disease with respect to test data consisting of endoscopic images of a plurality of digestive organs for a large number of subjects Alternatively, since at least one of the probabilities corresponding to the imaged region can be automatically diagnosed, not only the check/correction by the endoscopist is facilitated, but also a set of images associated with a disease is created. The work can be omitted.
  • a method for supporting diagnosis of a disease by an endoscopic image of a digestive organ using the CNN system according to the second aspect of the present invention is directed to a diagnosis of a disease by an endoscopic image of the digestive organ using the CNN of the first aspect.
  • each of the second endoscopic images is associated with a part of the digestive organ captured.
  • the CNN system is trained by using the endoscopic image classified by each site. Therefore, since it is possible to perform detailed training on the CNN system according to each part, the probability of each positive and negative of the disease with respect to the second endoscopic image, the probability of the past disease, the severity of the disease, and the like. The detection accuracy of the level, the probability corresponding to the imaged region, and the like is improved.
  • the method for assisting diagnosis of a disease using an endoscopic image of a digestive organ using the CNN system provides a method for diagnosing a disease using an endoscopic image of a digestive organ using the CNN of the second aspect.
  • the part of the digestive organs includes at least one of a pharynx, an esophagus, a stomach, a duodenum, a small intestine, and a large intestine.
  • the pharynx, esophagus, stomach, duodenum, and large intestine can be accurately classified.
  • the detection accuracy of the probability of positive and negative of the disease, the probability of the past disease, the level of the severity of the disease, the probability corresponding to the imaged site, and the like are improved.
  • the method for assisting diagnosis of a disease using an endoscopic image of a digestive organ using the CNN system provides a method for diagnosing a disease using an endoscopic image of a digestive organ using the CNN of the third aspect.
  • the part of the digestive organs is divided into a plurality of parts in at least one of the pharynx, esophagus, stomach, duodenum, small intestine, and large intestine.
  • each digestive organ has a complicated shape, it may be difficult to recognize what part of the digestive organ the specific endoscopic image is when the number of classifications of the portion is small.
  • the method for supporting diagnosis of a disease by an endoscopic image of a digestive organ using the CNN system according to the fourth aspect since the plurality of digestive organs are divided into a plurality of locations, a highly accurate diagnosis can be made in a short time. You will be able to get the results.
  • a method for supporting diagnosis of a disease by an endoscopic image of a digestive organ using the CNN system according to the fifth aspect of the present invention provides an endoscopic image of the digestive organ using the CNN system according to the third or fourth aspect.
  • the digestive organ site is the stomach
  • the at least one definitive diagnosis result is H.264. H. pylori infection positive, H. H. pylori negative and H. pylori infection.
  • P. pylori eradication wherein the CNN is H. pylori. Probability of positive H. pylori infection, H. H. pylori negative probability and H. pylori infection. It is characterized by outputting at least one of the probability of H. pylori eradication.
  • the method for supporting the diagnosis of a disease by the endoscopic image of the digestive organs using the CNN system of the fifth aspect of the present invention it is extremely short and at the same accuracy as a specialist of the Japanese Society of Gastroenterological Endoscopy.
  • the definitive diagnosis is based on the anti-H. It can be performed by measuring H. pylori IgG level, fecal antigen test, or urea breath test.
  • the method for supporting the diagnosis of a disease by the endoscopic image of the digestive organ using the CNN system of the sixth aspect of the present invention provides a method of supporting the diagnosis of the disease by the endoscopic image of the digestive organ using the CNN system of the fourth aspect.
  • the part of the digestive organ is the large intestine
  • the segment is at least one of the terminal ileum, the cecum, the ascending colon, the transverse colon, the descending colon, the sigmoid colon, the rectum and the anus.
  • the method for assisting diagnosis of a disease by the endoscopic image of the digestive organ using the CNN system of the seventh aspect of the present invention provides a method of assisting the diagnosis of a disease by the endoscopic image of the digestive organ using the CNN system of the fourth aspect.
  • the part of the digestive organ is the large intestine
  • the sections are the terminal ileum, the cecum, the ascending colon and the transverse colon, the descending colon and the sigmoid colon, the rectum and the anus
  • the CNN is the second.
  • It is characterized by outputting the probabilities corresponding to at least one of the terminal ileum, the cecum, the ascending colon and the transverse colon, the descending colon and the sigmoid colon, the rectum and the anus, as the section in which the endoscopic image of is captured.
  • the diagnosis support method of the disease by the endoscopic image of the digestive organ using the CNN system of the eighth aspect of the present invention provides the diagnosis support method of the disease by the endoscopic image of the digestive organ using the CNN system of the fourth aspect.
  • the part of the digestive organ is the large intestine
  • the sections are the terminal ileum, the right colon consisting of the cecum-ascending colon-transverse colon, the left colon consisting of the descending colon-Sigmoid-rectum, and the anus.
  • the CNN system uses the terminal ileum, the cecum-ascending colon-transverse colon right colon, the descending colon-sigmoid colon-rectal left colon and anus as the sections in which the second endoscopic image was captured. Is output as a probability corresponding to at least one of the above.
  • classification of each large intestine can be performed accurately, and It makes it easier to understand the categories that must be inspected.
  • the selection of the large intestine section may be appropriately made in consideration of the appearance tendency and appearance frequency of large intestine disease, and also in consideration of the sensitivity and specificity of the CNN system for each section.
  • a method for supporting diagnosis of a disease by an endoscopic image of a digestive organ using the CNN system provides a method for supporting a diagnosis of a disease by an endoscopic image of a digestive organ using the CNN system of the third aspect.
  • the part of the digestive organ is the small intestine
  • the endoscopic image is a wireless capsule endoscopy (WCE) image
  • the disease is at least one of erosion and ulcer or a protruding lesion Is characterized by.
  • the endoscopic images of the small intestine by WCE for a large number of subjects can be obtained in a short time.
  • the distinction between erosion and ulcer is not clear in the WCE endoscopic image of the small intestine, but at least these It becomes possible to select one accurately and automatically.
  • a method for assisting diagnosis of a disease by using an endoscopic image of a digestive organ using the CNN system is a method for assisting diagnosis of a disease by using an endoscopic image of a digestive organ using the CNN system of the ninth aspect.
  • the positive or negative definite diagnosis result of the disease of the small intestine is displayed as a positive area of the disease in the second endoscopic image, and the CNN system detects the detected A region positive for a disease is displayed in the second endoscopic image, and the probability score is displayed in the second image.
  • a definitive diagnosis result by an endoscopist can be obtained in the second endoscopic image.
  • the sensitivity and specificity of the CNN can be improved by the exact contrast between the regions of interest and those of the disease positive detected by the trained CNN system.
  • a diagnosis support method for a disease using an endoscopic image of a digestive organ using the CNN system according to an eleventh aspect of the present invention is directed to a method for supporting a diagnosis of a disease using an endoscopic image of a digestive organ using the CNN system according to the tenth aspect.
  • a definitive diagnosis result by an endoscopist can be obtained in the second endoscopic image.
  • the displayed regions and the disease-positive regions detected by the trained CNN system are displayed so that the overlapping state of these regions allows immediate comparison with the diagnostic results of trained CNN. become.
  • the diagnosing support method for a disease using an endoscopic image of a digestive organ using the CNN system provides a method for assisting a diagnosis of a disease using an endoscopic image of a digestive organ using the CNN system of the tenth aspect.
  • the overlap is (1) When it is 80% or more of the positive region of the disease displayed in the second endoscopic image as a positive or negative diagnosis result of the disease of the small intestine, or (2) When there are a plurality of regions positive for the disease displayed in the second endoscopic image by the CNN system, any one of the regions serves as a positive or negative diagnosis result of the disease.
  • it overlaps with the disease-positive area displayed in the second endoscopic image It is characterized in that the diagnosis of the CNN system is judged to be correct.
  • the method for supporting the diagnosis of a disease by the endoscopic image of the digestive organs using the CNN system of the twelfth aspect of the present invention it becomes possible to easily determine whether the diagnosis of the CNN system is correct or incorrect, and the training is performed. The accuracy of diagnosis of the CNN system is improved.
  • the method for assisting diagnosis of a disease by endoscopic image of digestive organs using the CNN system of the thirteenth aspect of the present invention provides an endoscopic view of digestive organs using the CNN system of any of the ninth to twelfth aspects.
  • the trained CNN system displays the probability score in the second image together with the detected positive region of the disease.
  • an endoscopist can perform endoscopic images of the small intestine by WCE for a large number of subjects.
  • the positive and/or negative regions of the small intestine disease and the probability score can be accurately grasped in a short time, which facilitates checking/correction by an endoscopist.
  • a method for assisting diagnosis of a disease using an endoscopic image of a digestive organ using the CNN system according to a fourteenth aspect of the present invention is a method for assisting diagnosis of a disease using an endoscopic image of a digestive organ using the CNN system of the third aspect.
  • the part of the digestive organ is the small intestine
  • the endoscopic image is a wireless capsule endoscopic image
  • the disease is the presence or absence of bleeding.
  • an image containing blood components of the small intestine and a normal mucosal image can be accurately and rapidly distinguished, The check/correction by the endoscopist becomes easy.
  • a diagnosis support method for a disease by an endoscopic image of a digestive organ using the CNN system provides a method for supporting a diagnosis of a disease by an endoscopic image of a digestive organ using the CNN system of the third aspect.
  • the part of the digestive organ is the esophagus
  • the endoscopic image is a non-enlarged endoscopic image or an enlarged endoscopic image
  • the disease is a degree of invasion of squamous cell carcinoma (SCC).
  • a diagnosis support method for a disease by an endoscopic image of a digestive organ using the CNN system according to a sixteenth aspect of the present invention is directed to a diagnosis of a disease by an endoscopic image of a digestive organ using the CNN system of the fifteenth aspect.
  • the positive or negative diagnosis result of the disease of the small intestine is that the invasion depth of the squamous cell carcinoma is mucosal epithelium-mucosal lamina basement (EP-LPM), muscularis mucosa (MM), submucosa It is characterized in that it is determined to be either near the surface (SM1) or below the submucosal middle part (SM2-).
  • the depth of invasion of the superficial esophagus SCC of the esophagus can be accurately measured in a short time. Since it can be grasped, the applicability of endoscopic resection (ER) for superficial esophageal SCC can be accurately judged.
  • the digestive organ part is the pharynx
  • the endoscopic image is an esophageal gastroduodenum. It is an endoscopic image
  • the disease is pharyngeal cancer.
  • the pharynx can be detected with high sensitivity and high precision even during the usual esophagogastroduodenoscopy. It becomes possible to detect the presence of cancer.
  • a diagnosis support method for a disease by an endoscopic image of a digestive organ using the CNN system according to an eighteenth aspect of the present invention provides a method for supporting a diagnosis of a disease by an endoscopic image of a digestive organ using the CNN system according to the seventeenth aspect.
  • the endoscopic image is a white light endoscopic image.
  • the pharynx is obtained by the image obtained by the white light endoscope which is widely used all over the world. Since the presence of cancer can be detected, even a doctor with low skill can detect the presence of pharyngeal cancer accurately and without error.
  • the method for assisting diagnosis of a disease by endoscopic image of digestive organs using the CNN system of the nineteenth aspect of the present invention provides an endoscopic examination of the digestive organs using the CNN system of any one of the first to eighteenth aspects.
  • the CNN is further combined with three-dimensional information from an X-ray computed tomography apparatus, an ultrasonic computed tomography apparatus or a magnetic resonance imaging apparatus.
  • the X-ray computed tomography apparatus the ultrasonic computed tomography apparatus, or the magnetic resonance imaging apparatus can stereoscopically represent the structure of each digestive organ, the CNN system according to any one of 1-18 When combined with the output, it becomes possible to more accurately grasp the part where the endoscopic image is captured.
  • the diagnosing support method for a disease by an endoscopic image of a digestive organ using the CNN system is directed to an endoscope for a digestive organ using the CNN according to any one of the aspects 1-19.
  • the second endoscopic image is provided by an image being taken by an endoscope, an image transmitted via a communication network, a remote control system or a cloud type system. At least one of an image recorded on a computer-readable recording medium, or a moving image.
  • the communication network the well-known Internet, intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network, telephone line network, mobile communication network, satellite communication network, etc. are used. It is possible.
  • the transmission medium that constitutes the communication network is also well-known IEEE 1394 serial bus, USB, power line carrier, cable TV line, telephone line line, ADSL line and other wired lines, infrared rays, Bluetooth (registered trademark), wireless such as IEEE 802.11, Radio such as mobile phone network, satellite line, and terrestrial digital network can be used. By these, it can be used as a form of so-called cloud service or remote support service.
  • Computer-readable recording media include tape systems such as well-known magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks and hard disks, compact disks-ROM/MO/MD/digital video disks/compacts.
  • a disk system including an optical disk such as a disk-R, a card system such as an IC card, a memory card, an optical card, or a semiconductor memory system such as a mask ROM/EPROM/EEPROM/flash ROM can be used. With these, it is possible to provide a mode in which the system can be easily transplanted or installed in a so-called medical institution or medical examination institution.
  • a diagnosis support system for a disease by an endoscopic image of a digestive organ which has an endoscopic image input unit, an output unit, and a computer into which a CNN program is incorporated,
  • the computer is A first storage area for storing a first endoscopic image of the digestive organs; Storing at least one definitive diagnostic result of the positive or negative of the disease of the digestive organ, the past disease, the level of severity, or the invasion degree of the disease, which corresponds to the first endoscopic image.
  • a third storage area for storing the CNN program, Equipped with The CNN program is Training is performed based on the first endoscopic image stored in the first storage section and the definitive diagnosis result stored in the second storage area, Based on the second endoscopic image of the digestive organ input from the endoscopic image input unit, the probability of positive and/or negative of the digestive organ disease with respect to the second endoscopic image, past disease At least one of the probability of, the level of severity of disease, the degree of invasion of disease, or the probability corresponding to the imaged region is output to the output unit.
  • the diagnosing support system for diseases by endoscopic images of digestive organs according to the twenty-second aspect of the present invention is the diagnosis supporting system for diseases by endoscopic images of digestive organs according to the twenty-first aspect of the present invention.
  • the one endoscopic image is characterized in that each is associated with the imaged site.
  • a diagnosis support system for a disease by an endoscopic image of a digestive organ according to a twenty-third aspect of the present invention is the diagnosis support system for a disease by an endoscopic image of a digestive organ according to the twenty-second aspect of the present invention.
  • the organ site is characterized by including at least one of the pharynx, esophagus, stomach, duodenum, small intestine, and large intestine.
  • a diagnosis support system for a disease by an endoscopic image of a digestive organ according to a twenty-fourth aspect of the present invention is the diagnosis support system for a disease by an endoscopic image of a digestive organ according to the twenty-third aspect of the present invention.
  • the organ site is characterized by being divided into a plurality of sites in at least one of the pharynx, esophagus, stomach, duodenum, small intestine, and large intestine.
  • a diagnosis support system for a disease using an endoscopic image of a digestive organ according to a twenty-fifth aspect of the present invention is the diagnosis support system for a disease using an endoscopic image of a digestive organ according to the twenty-third or twenty-fourth aspect of the present invention.
  • the site of the digestive organs is the stomach and the CNN program is Probability of positive H. pylori infection, H. H. pylori negative probability and H. pylori infection. At least one of the P. pylori eradication probabilities is output.
  • a diagnosis support system for a disease using an endoscopic image of a digestive organ according to a twenty-sixth aspect of the present invention is the diagnosis support system for a disease using an endoscopic image of a digestive organ according to the twenty-third or twenty-fourth aspect of the present invention
  • the part of the digestive organs is the large intestine
  • the section is at least one of terminal ileum, cecum, ascending colon, transverse colon, descending colon, sigmoid colon, rectum and anus
  • the CNN program is the second It is characterized in that a probability corresponding to at least one of the terminal ileum, the cecum, the ascending colon, the ascending colon, the descending colon, the sigmoid colon, the rectum, and the anus is output as the section in which the endoscopic image is captured.
  • a diagnosis support system for a disease using an endoscopic image of a digestive organ according to a twenty-seventh aspect of the present invention is the diagnosis support system for a disease using an endoscopic image of a digestive organ according to the twenty-third or twenty-fourth aspect of the present invention.
  • the part of the digestive organ is the large intestine, and the segment is at least one of the terminal ileum, the cecum, the ascending colon, the transverse colon, the descending colon, the sigmoid colon, the rectum, and the anus.
  • It is characterized by outputting the probabilities corresponding to at least one of the terminal ileum, the cecum, the ascending colon and the transverse colon, the descending colon and the sigmoid colon, the rectum and the anus, as the site where the endoscopic image of is captured.
  • a diagnosis support system for a disease by an endoscopic image of a digestive organ according to a twenty-eighth aspect of the present invention is a diagnosis support system for a disease by an endoscopic image for a digestive organ according to the twenty-third or twenty-fourth aspect of the present invention
  • the part of the digestive organs is the large intestine, and the sections are the terminal ileum, the right colon consisting of the cecum-ascending colon-transverse colon, the left colon consisting of the descending colon-sigmoid-rectum and the anus, and the trained
  • the CNN program sets at least the terminal ileum, the right colon composed of the cecum-ascending colon-transverse colon, the left colon composed of the descending colon-sigmoid-rectum, and the anus as sites where the second endoscopic image was captured. It is characterized by outputting the probability corresponding to one.
  • a diagnosis support system for a disease by an endoscopic image of a digestive organ according to a twenty-ninth aspect of the present invention is the diagnosis support system for a disease by an endoscopic image of a digestive organ according to the twenty-third aspect of the present invention.
  • the organ part is the small intestine
  • the endoscopic image is a wireless capsule endoscopic image
  • the trained CNN program is a wireless capsule endoscopic image input from the endoscopic image input unit. It is characterized by outputting a probability score of at least one of erosion and ulcer or a protruding lesion.
  • the diagnostic support system for diseases by endoscopic images of digestive organs according to a thirtieth aspect of the present invention is the diagnostic support system for diseases by endoscopic images of digestive organs according to the twenty-ninth aspect, wherein the trained CNN is used.
  • the program is characterized in that at least one of the detected erosion and ulcer or a probability score of a protruding lesion is displayed in the second endoscopic image.
  • a thirty-first aspect of the present invention relates to a diagnosis support system for a disease using an endoscopic image of a digestive organ, which is the diagnostic support system for a disease using an endoscopic image of a digestive organ according to the twenty-ninth aspect.
  • the endoscopic image it is displayed as a positive region of the disease based on the positive or negative definite diagnosis result of the disease of the small intestine, and the trained CNN program is displayed in the second endoscopic image.
  • the disease-positive area displayed by the trained CNN program and the disease-positive area displayed in the second endoscopic image by the trained CNN program It is characterized by determining whether the diagnosis result is correct or incorrect.
  • a thirty-second aspect of the present invention relates to a digestive organ endoscopic image-based disease diagnosis support system according to a thirty-first aspect of the present invention.
  • the overlap is (1) When it is 80% or more of the positive region of the disease displayed in the second endoscopic image as a positive or negative diagnosis result of the disease of the small intestine, or (2) When there are a plurality of regions positive for the disease displayed in the second endoscopic image by the trained CNN program, any one of the regions has a definite diagnosis of positive or negative of the disease.
  • the diagnosis of the trained CNN program is characterized as being correct.
  • a diagnosis support system for a disease by using an endoscopic image of a digestive organ according to a thirty-third aspect of the present invention is the diagnosis support system for a disease by using an endoscopic image of a digestive organ according to any one of the twenty-ninth to thirty-second aspects,
  • the trained CNN program is characterized in that it displays the probability score in the second image together with the detected positive regions of the disease.
  • a thirty-fourth aspect of the present invention relates to a digestive organ endoscopic image-based disease diagnosis support system according to a twenty-third aspect of the digestive organ endoscopic-image-based disease diagnosis support system according to the twenty-third aspect.
  • the endoscopic image is a wireless capsule endoscopic image
  • the trained CNN program displays the probability of the presence or absence of bleeding as the disease in the second image.
  • the diagnosis support system for a disease by an endoscopic image of the digestive organs according to a thirty-fifth aspect of the present invention is the diagnosis support system for a disease by an endoscopic image of the digestive organs according to the twenty-third aspect, wherein Is an esophagus, the endoscopic image is a non-magnified endoscopic image or a magnified endoscopic image, and the trained CNN program includes the depth of squamous cell carcinoma as the disease in the second image. It is characterized by displaying the achievement.
  • the diagnosis support system for a disease using an endoscopic image of a digestive organ according to a thirty-sixth aspect of the present invention is the diagnostic support system for a disease using an endoscopic image of a digestive organ according to the thirty-fifth aspect, wherein the trained CNN
  • the program displays in the second image that the degree of invasion of the squamous cell carcinoma is any one of mucosal epithelium-propria mucosa, muscularis mucosa, submucosal surface vicinity, and submucosal middle part and deeper. Is characterized by.
  • a diagnosis support system for a disease by an endoscopic image of a digestive organ according to a thirty-seventh aspect of the present invention is the diagnosis support system for a disease by an endoscopic image of a digestive organ according to the twenty-third aspect, wherein the site of the digestive organ is Is the pharynx, the endoscopic image is an esophagogastroduodenoscopic image, and the disease is pharyngeal cancer.
  • a diagnosis support system for a disease by an endoscopic image of a digestive organ according to a thirty-eighth aspect of the present invention is the diagnosis support system for a disease by an endoscopic image of a digestive organ according to the thirty-seventh aspect, wherein: Is a white light microscope image.
  • a diagnosis support system for a disease using an endoscopic image of a digestive organ according to a 39th aspect of the present invention provides a diagnosis support system for a disease using an endoscopic image of a digestive organ according to any of the 21st to 38th aspects of the present invention.
  • the CNN program is further combined with three-dimensional information from an X-ray computed tomography apparatus, an ultrasonic computed tomography apparatus or a magnetic resonance imaging apparatus.
  • a diagnosis support system for a disease using an endoscopic image of a digestive organ provides a diagnosis support system for a disease using an endoscopic image for a digestive organ according to any one of the twenty-first to thirty-third aspects of the present invention.
  • the second endoscopic image is an image being taken by the endoscope, an image transmitted via a communication network, an image provided by a remote control system or a cloud type system, and a computer-readable image. At least one of an image and a moving image recorded on another recording medium.
  • the diagnosis support system for a disease by the endoscopic image of the digestive organs of any one of the twenty-first to fortieth aspects of the present invention the endoscopic view of the digestive organs using the CNN of the one of the first to twentieth aspects, respectively. It is possible to achieve the same effect as the method for supporting diagnosis of a disease by using a mirror image.
  • diagnosis support program for endoscopic image of digestive organs according to the forty-first aspect of the present invention is a means for supporting diagnosis of a disease by endoscopic image of digestive organs according to any one of the twenty-first to fortieth aspects. It is characterized by being for operating a computer.
  • each means in the system for supporting diagnosis of a disease by endoscopic image of digestive organs according to any one of the twenty-first to fortieth aspects is provided. It is possible to provide a diagnosis support program for operating a computer by using an endoscopic image of a digestive organ.
  • the computer-readable recording medium according to the forty-second aspect of the present invention is characterized in that the diagnosis support program by the endoscopic image of the digestive organs according to the forty-first aspect is recorded.
  • the computer-readable record recording the diagnosis support program by the digestive organ endoscopic image of the forty-first aspect.
  • a medium can be provided.
  • a program incorporating CNN is obtained in advance for each of a plurality of subjects and endoscopic images of a plurality of digestive organs obtained in advance. Since the patient is trained on the basis of the positive or negative definitive diagnosis result of the above-mentioned disease, the positive and/or negative of the gastrointestinal tract disease of the subject can be obtained in a short time and with an accuracy substantially equivalent to that of an endoscopist. The probability, the level of severity of the disease, the degree of invasion of the disease, etc. can be obtained, and it becomes possible to select a subject for which a separate definite diagnosis must be made in a short time.
  • FIG. Fig. 1B is an example of a gastroscopic image in the case of positive P. pylori infection, and Fig. 1B shows H. pylori.
  • Fig. 1C shows an example of a gastroscopic image in the case of a negative P. pylori infection, which is shown in Fig. 1C. It is an example of a gastroscopic image after eradication of Helicobacter pylori. It is a figure which shows the main anatomical parts of the stomach. It is a schematic conceptual diagram which shows operation
  • FIG. 4 is a diagram showing selection of patients for a verification data set for CNN construction according to the first embodiment.
  • FIG. 6 is a schematic diagram of a flowchart for constructing a CNN system according to the second embodiment.
  • FIG. It is a figure which shows the probability score of each site
  • 8A-8F show receiver operating characteristic (ROC) curves of terminal ileum, cecum, ascending colon, descending colon, sigmoid colon, rectum and anus, respectively.
  • FIG. 9A is a diagram showing an image correctly recognized as an anus and a probability score of each part
  • FIG. 9B is a diagram showing an image of a terminal ileum erroneously recognized as an anus and a probability score of each part.
  • FIG. 10A is a diagram showing an image correctly recognized as a cecum and a probability score of each part
  • FIG. 10B is a diagram showing an image of a cecum misrecognized as a terminal ileum and a probability score of each part.
  • It is a schematic diagram of a flow chart for CNN system construction of Embodiment 3. It is a figure which shows an example of the ROC curve by CNN of Embodiment 3.
  • 13A to 13D are diagrams showing a representative small intestine endoscopic image correctly diagnosed by CNN and a probability score of a specific site recognized by CNN according to the third embodiment.
  • FIGS. 14F to 14H are true images. It is an example of an image that is erroneously diagnosed as a false positive. It is a schematic diagram of a flow chart for CNN system construction of Embodiment 4. It is a figure which shows an example of the ROC curve by CNN of Embodiment 4. 17A to 17E are diagrams showing representative regions correctly detected and classified into five categories of polyps, nodules, epithelial tumors, submucosal tumors and venous structures by the CNN of Embodiment 4, respectively.
  • 18A-18C are examples of images of a single patient that were not correctly detected by the CNN of Embodiment 4. It is an example of an image in which an endoscopist diagnoses a true protruding lesion in a false-positive image. It is a schematic diagram of a flowchart for CNN system construction of Embodiment 5. It is a figure which shows an example of the ROC curve by CNN of Embodiment 5. 22A is an image including representative blood correctly classified by the CNN system of Embodiment 5, and FIG. 22B is an image showing a normal mucosa image. FIG. 23A is an image correctly classified as containing blood components by SBI, and FIG. 23B is an image incorrectly classified as normal mucous membrane by the red area estimation display function (SBI).
  • SBI red area estimation display function
  • 25A to 25D are examples of representative images correctly classified as pharyngeal cancer by the CNN system according to the seventh embodiment.
  • 26A-26F are examples of representative images classified as false positives by the CNN system of Embodiment 7, respectively.
  • 20 is a graph showing the sensitivity and positive predictive value of WLI and NBI according to the CNN system of Embodiment 7.
  • 28A-28D are examples of images classified as false negatives by the CNN system of Embodiment 7, respectively.
  • the method for supporting diagnosis of a disease by an endoscopic image of a digestive organ, the diagnosis support system, the diagnosis support program, and the computer-readable recording medium storing the diagnosis support program according to the present invention will be described below.
  • the case of H. pylori-infected gastritis and the case of site-specific recognition of the large intestine will be described in detail.
  • the embodiments described below are examples for embodying the technical idea of the present invention, and are not intended to specify the present invention in these cases. That is, the invention is equally applicable to other embodiments within the scope of the claims.
  • the term image includes not only still images but also moving images.
  • Embodiment 1 In the first embodiment, a method for assisting diagnosis of a disease by an endoscopic image, a diagnostic support system, a diagnostic support program, and a computer-readable recording medium storing the diagnostic support program according to the present invention are described in H.264. An example applied to the case of Helicobacter pylori-infected gastritis will be described.
  • a clinic to which one of the inventors belongs a total of 33 endoscopists use an endoscope with a normal magnification with white light, and an esophagogastroduodenoscope (hereinafter, sometimes referred to as “EGD”). The inspection was done.
  • the indications for EGD were various upper abdominal symptoms, positive barium test results for gastric ailments, abnormal serum pepsinogen levels, referral from a primary care physician regarding a history or screening of the stomach or duodenum.
  • EGD was performed by taking an image with a standard EGD endoscope (EVIS GIF-XP290N, GIF-XP260, GIF-XP260NS, GIF-N260; Olympus Medical Systems, Tokyo) using white light.
  • EVIS GIF-XP290N, GIF-XP260, GIF-XP260NS, GIF-N260; Olympus Medical Systems, Tokyo The images obtained are of normal magnification and the magnified images are not used.
  • H. pylori All patients were Tested to detect the presence or absence of H. pylori infection. The test is based on anti-H. At least one of Helicobacter pylori IgG level measurement, fecal antigen measurement and urea breath test. Patients who tested positive in any of these tests were identified as H. It was classified as positive for H. pylori. H. In patients not diagnosed as positive for H. pylori, H. pylori. Those who have never been treated with H. pylori eradication treatment are H. pylori. It was classified as H. pylori negative. In addition, in the past H. Patients who have been successfully eradicated with H. pylori have been treated with H.
  • FIG. 1 shows a typical gastric endoscopic image obtained. Note that FIG. 1B is an example of an image diagnosed as positive for H. pylori, and FIG. FIG. 1C is an example of an image diagnosed as negative for H. pylori. It is an example of the image after H. pylori eradication.
  • test data set An endoscopic image data set (referred to as “test data set”) to be evaluated was also prepared.
  • the "training/verification data” corresponds to the "first endoscopic image” of the present invention
  • the "test data” corresponds to the "second endoscopic image” of the present invention.
  • 98,564 images from 845 patients determined to be H. pylori eradicated were prepared for the training dataset.
  • 98,564 endoscopic images are randomly rotated between 0-359°, the surrounding black frame is trimmed and deleted, and the scale is appropriately reduced by 0.9-1.1 times. Enlarged and increased the number of images.
  • Such an increase in the number of images includes at least one of rotation, enlargement, reduction, change in the number of pixels, extraction of bright and dark portions, and extraction of color tone change portions, and can be automatically performed by the tool.
  • emphasized images such as narrow band images may be excluded so that only normal white light images having normal magnification are included.
  • a CNN system was constructed using images classified according to 7 parts of the stomach (cardia, fundus, stomach, antrum, antrum, antrum and pylorus, see FIG. 2).
  • the clinical diagnosis was 264 (31%) by fecal antigen test, and anti-H. There were 126 people (15%) due to H. pylori IgG levels. Multiple diagnostic tests were performed in 63 (7%) cases. There is no overlap between the training dataset and the validation dataset.
  • the CNN system used in the first embodiment is trained by using backpropagation as shown in FIG.
  • Each layer of the CNN uses AdaDelta (https://arxiv.org/abs/1212.5701), and the stochastic optimization is performed with a global learning rate of 0.005.
  • Each image was resized to 244 x 244 pixels to make all images compatible with GoogLeNet.
  • a trained model that learned the feature amount of the natural image through ImageNet was used as the initial value at the start of training.
  • ImageNet http://www.image-net.org/
  • This training method is called transfer learning, and it is recognized that it is effective even when there is a small amount of teacher data.
  • Core i7-7700K manufactured by INTEL was used as the CPU
  • GeForce GTX 1070 manufactured by NVIDEA was used as the GPU for the graphics processing device.
  • the trained/verified CNN system of the first embodiment is applied to the H.264 standard for the input image.
  • a probability value (PS) between 0 and 1 is output as a diagnosis result of H. pylori eradication.
  • the probability score of P. pylori positive is Pp
  • the probability score for P. pylori negative is Pn, H.
  • Pp+Pn+Pe 1. The one that takes the maximum value of these three probability values was selected as the most probable “diagnosis of CNN”.
  • Table 2 shows the relationship between the diagnostic results by the CNN system and the diagnostic results by the clinical examination measured in the first embodiment.
  • the CNN system uses 418 images for H.264. It was diagnosed as positive for H. pylori, and 23,034 images were analyzed by H.264. It was diagnosed as negative for H. pylori, and 247 images were further analyzed by H.264. The diagnosis was H. pylori eradication.
  • the CNN system uses H.264 for all images. Of the 655 people who were negatively diagnosed with H. pylori, 466 (71%) had a similar H. pylori test. Helicobacter pylori was diagnosed as negative, but 22 (3%) had H. pylori. Helicobacter pylori was diagnosed as positive, and 167 (25%) had H. pylori. The diagnosis was H. pylori eradication.
  • H.264 by a gastroscopic image using CNN When diagnosing the H. pylori infection state, H. pylori by clinical examination is used as a training/verification data set for CNN construction. H. pylori as well as images diagnosed as positive and negative. It can be seen that it is useful for extracting cases of "H. pylori positive or eradication" in a short time by constructing the image including images diagnosed as H. pylori eradication. Furthermore, this CNN-based screening system has sufficient sensitivity and specificity to be introduced into clinical practice, and an endoscope for screening images (test data) taken during endoscopy. It shows that the workload of specialists can be significantly reduced.
  • the H.N. Screening time for H. pylori infection can be much shorter, with reported results available soon after endoscopy.
  • H.D. It can contribute to reducing the burden of diagnosis of H. pylori infection and reducing medical costs.
  • the H.264/H. For the diagnosis of H. pylori, the result can be obtained immediately by inputting the image at the time of endoscopy, so that the H. pylori diagnosis is completely “online”. Pirori diagnosis assistance can be provided, and the problem of uneven distribution of doctors by region can be solved as so-called “telemedicine”.
  • H. pylori infection In Japan, especially in the elderly H. pylori infection is common, and H. pylori infection occurred in February 2013. H. pylori infection in patients with gastritis. Health insurance has come to be applied to Helicobacter pylori eradication therapy. H. pylori eradication therapy is based on H. It has been widely adopted in patients with H. pylori infection. Furthermore, mass screening by endoscopic images of gastric cancer started in 2016 requires a large amount of endoscopic images to be processed, and a more efficient image screening method is needed. The results obtained in the first embodiment show that a large amount of stored images can be used for the H.264 analysis even without evaluation by an endoscopist using this CNN. It can greatly aid in the screening of H.
  • H. pylori infection and further testing will result in H. pylori. It leads to confirmation of H. pylori infection and finally H. pylori. It suggests that it may lead to eradication of H. pylori. Moreover, H. The diagnostic ability of CNN for H. pylori infection is improved by adding the classification of each part of the stomach, but the diagnostic ability of gastric cancer is also H. pylori. It will be improved by adding information on the status of H. pylori infection.
  • GoogLeNet is used as the CNN architecture
  • the CNN architecture is evolving day by day, and better results may be obtained in some cases if the latest version is adopted.
  • Caffe was used as the deep learning framework, but CNTK, TensorFlow, Theano, Torch, MXNet, etc. can also be used.
  • Adam was used as an optimization method, other well-known SGD (Stochastic Gradient Descent) method, Momentum SGV method in which an inertia term (Momentum) is added to SGD, AdaGrad method, AdaDelta method, NesterovAG Method, RMSprop Graves method, etc. can be appropriately selected and used.
  • H.264 based on the endoscopic image of the stomach by the CNN system of the first embodiment.
  • the diagnostic accuracy of H. pylori infection was comparable to that of an endoscopist. Therefore, the CNN system according to the first embodiment is used for H.264 or H.264 imaging from the obtained endoscopic image for screening or other reasons. Useful for selecting patients with H. pylori infection.
  • the computer incorporating the CNN as the diagnosis support system of the first embodiment basically has an endoscope image input unit, a storage unit (hard disk or semiconductor memory), an image analysis device, a determination display device, and a determination output. And a device. Alternatively, it may be provided with a direct endoscopic image pickup device. Further, this computer system can be installed away from the endoscopy facility, and can be operated as a central computer aided system by obtaining image information from a remote place or as a cloud type computer system via the Internet network.
  • This computer has a first storage area in an internal storage unit for storing endoscopic images of a plurality of digestive organs obtained in advance for each of a plurality of test subjects, and is obtained in advance for each of a plurality of test subjects.
  • a second storage area for storing a positive or negative definitive diagnosis result of the disease and a third storage area for storing a CNN program will be provided.
  • Parallel processing is preferable, and a large-capacity storage unit is preferable.
  • the computer incorporating the CNN program as the diagnosis support system used in the first embodiment is a H.264 computer if a commercially available personal computer with a certain degree of performance is used.
  • the Helicobacter pylori-infected gastritis diagnostic system can process more than 3000 cases per hour and can process one image in about 0.2 seconds. Therefore, the image data being picked up by the endoscope is given to the computer in which the CNN program used in the first embodiment is incorporated, and the H. It is also possible to determine H. pylori infection, and it is possible to remotely diagnose not only gastroscopic images transmitted from all over the world and remote areas, but even if it is a moving image.
  • the GPU of a computer in recent years has very excellent performance, by incorporating the CNN program of the first embodiment, high-speed and high-accuracy image processing becomes possible.
  • the endoscopic image of the digestive organs of the subject which is input to the input unit of the computer incorporating the CNN program as the diagnosis support system of the first embodiment, is transmitted through the image being captured by the endoscope and the communication network.
  • the image may be a recorded image or an image recorded on a computer-readable recording medium. That is, the computer incorporating the CNN program as the diagnosis support system of the first embodiment outputs the probabilities of positive and negative diseases of the digestive organs with respect to the endoscopic images of the digestive organs of the subject input in a short time. Therefore, it can be used regardless of the input format of the endoscopic image of the digestive organs of the subject.
  • the communication network the well-known Internet, intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network, telephone line network, mobile communication network, satellite communication network, etc. are used. It is possible.
  • the transmission medium that constitutes the communication network is also well-known IEEE 1394 serial bus, USB, power line carrier, cable TV line, telephone line line, ADSL line and other wired lines, infrared rays, Bluetooth (registered trademark), wireless such as IEEE 802.11, Radio such as mobile phone network, satellite line, and terrestrial digital network can be used.
  • Computer-readable recording media include tape systems such as well-known magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks and hard disks, compact disks-ROM/MO/MD/digital video disks/compacts.
  • the method for assisting diagnosis of a disease by an endoscopic image, the diagnostic support system, the diagnostic support program, and the computer-readable recording medium storing the diagnostic support program according to the present invention are applied to classification by site of the large intestine.
  • An example will be described.
  • Each part of the large intestine consists of the terminal ileum, cecum, ascending colon, transverse colon, descending colon, sigmoid colon, rectum and anus.
  • the major anatomical classification of the large intestine is shown in FIG.
  • the CNN system was trained and verified so that these site-specific images can be automatically distinguished.
  • the images taken by the CS method are standard colonoscopy (EVIS LUCERA ELITE, CF TYPE H260AL/I, PCF TYPE Q260AI, Q260AZI, H290I, and H290ZI, Olympus Medical Systems, Tokyo, Japan). It was taken. Images of the ileum, caecum, ascending colon, transverse colon, descending colon, sigmoid colon, rectum and anus were taken during CS with an average of 24 images during each CS.
  • FIG. 6 shows an outline of the flowchart of the CNN system of the second embodiment. Images were classified by an endoscopist to train/validate the CNN system into seven categories: terminal ileum, cecum, ascending and transverse colon, descending and sigmoid colon, rectum, anus, and unclassifiable. All images for training/validation were checked for classification by at least two endoscopists before training/validating the CNN system. The training/validation data set was divided into 6 categories: terminal ileum, cecum, ascending and transverse colon, descending and sigmoid colon, rectum and anus. The training/validation dataset did not contain unclassified images.
  • the image data required to construct an AI system for colorectal polyps was performed by training with less than 5,000 images. Therefore, in order to secure a sufficient amount of data, it was aimed to construct the CNN system of the second embodiment based on about 10,000 images. 9995 images of 409 people collected from January 2017 to March 2017 were prepared as training images, and 5121 images of 118 people acquired in November 2017 were used for the verification image set ( See Table 3). The number of images in each anatomical part of both image sets is shown in Table 4.
  • Embodiment 2 In the training/verification data set of Embodiment 2 obtained in this way, all the image sizes are resized to 244 ⁇ 244 pixels in order to make it compatible with GoogLeNet.
  • the CNN system used in the second embodiment was trained by using the same CNN system as the first embodiment.
  • the CNN system of the second embodiment outputs a probability score (PS) for each part of each image for training/verification images.
  • the probability score is in the range of 0-1 (0-100%), and represents the probability of the part of the large intestine to which the image belongs.
  • the CNN system computes a probability score for each image for every 7 sites (terminal ileum, cecum, ascending and transverse colon, descending and sigmoid colon, rectum, anus and unclassifiable).
  • the anatomical part that has the highest probability score is assigned as the part of the image.
  • the large intestine is composed of the cecum, ascending colon, and transverse colon as the right colon, and the descending colon, sigmoid colon, and rectum as the left colon, and the terminal ileum, right colon, and left colon. And may be classified into 4 parts of the anus.
  • the colonoscopic image on the left side of FIG. 7 is an example of an ascending-transverse colon image, but the CNN system determined that the ascending-transverse colon probability score was 95%, but the descending-sigmoid colon probability. An example in which the score is also determined to be 5% is shown. As a result, the CNN system has assigned the colonoscopic image on the left side of FIG. 7 to the ascending-transverse colon.
  • the main purpose of the CNN system of the second embodiment is to obtain the sensitivity and specificity of anatomical classification of the colonoscopic image by the CNN system.
  • a receiver operating characteristic (ROC) curve was drawn for each part, and the area (AUC) of the lower part of the ROC curve was calculated by GraphPad Prism 7 (GraphPad software, Inc, California, U.S.A).
  • the ROC curve for each site of the large intestine created by the CNN system of Embodiment 2 is shown in FIG. 8A to 8F are diagrams showing the ROC curves of the terminal ileum, cecum, ascending colon, descending colon, sigmoid colon, rectum and anus, respectively.
  • Table 5 shows the correct recognition rate according to the probability score assigned to the image by the CNN system.
  • the CNN system assigned 10% (507) of all images (5,121) for images with probability scores >99%, of which 465 (14% of correctly classified) were clinically diagnosed. The accuracy was 91.7%.
  • the CNN system allocates 25% (1,296 images) of all images to images having a probability score of more than 90% and 99% or less, of which 1,039 (30 of the correctly classified ones). %) was correctly classified by clinical diagnosis, and the accuracy was 80.2%. Similarly, the CNN system allocates 30% (1,549 images) of all images to images having a probability score of more than 70% and 90% or less, of which 1,009 images (30 of the correctly classified images). %) was correctly classified by clinical diagnosis, and the accuracy was 65.1%.
  • the CNN system allocated 27% (1,397 images) of all images for images with a probability score of more than 50% and 70% or less, of which 761 images (22% of correctly classified images). was correctly classified by clinical diagnosis, and the accuracy was 54.5%.
  • the CNN system assigned 7% (372) of all images for images with a probability score of 50% or less, of which 136 (4% of correctly classified) were correctly classified by clinical diagnosis. The accuracy was 36.6%.
  • Table 6 shows the distribution of CNN system output by anatomical site classified by clinical diagnosis. Here, no images were classified as "unclassifiable”.
  • the CNN system constructed in embodiment 2 recognizes the anal image with the highest sensitivity of 91.4%, then the descending colon and sigmoid colon with the next highest sensitivity of 90.0%, and the terminal ileum with 69. With a sensitivity of 0.4%, an ascending colon and a transverse colon with a sensitivity of 51.1%, and a cecum with a sensitivity of 49.8%, but the rectum with the lowest sensitivity of 23.3%. It was Moreover, the specificity for each anatomical site was 90% or more except the site of the descending colon and the sigmoid colon (60.9%). Note that the CNN system constructed in Embodiment 2 recognized an image having an AUC value of more than 0.8 for each anatomical part.
  • Table 7 shows the terminal ileum of the CNN system constructed in embodiment 2, where the cecum, ascending colon and transverse colon are designated as "right colon” and the descending colon, sigmoid colon and rectum are designated as "left colon", The power distribution of the right colon, left colon and anus is shown.
  • the left colon has a high sensitivity of 91.2% and 63.
  • the terminal ileum, right colon and anus showed opposite results, with a relatively low% specificity.
  • the CNN system of Embodiment 2 erroneously recognized 17.5% (299 sheets/1,711 sheets) of all images, and the probability score was 0.9 or more.
  • 9 and 10 show typical examples of images erroneously recognized by the CNN system according to the second embodiment.
  • FIG. 9A is an example of an endoscopic image correctly recognized as an anus
  • FIG. 9B shows an image of the terminal ileum incorrectly recognized as an anus.
  • the contour of the lumen in FIG. 9B was similar to that of the anus.
  • FIG. 9A is an example of an endoscopic image correctly recognized as an anus
  • FIG. 9B shows an image of the terminal ileum incorrectly recognized as an anus.
  • the contour of the lumen in FIG. 9B was similar to that of the anus.
  • FIG. 10A is an example of an endoscopic image correctly recognized as the cecum
  • FIG. 10B is an example of an image of the cecum incorrectly recognized as the terminal ileum.
  • a hole in the appendix is visible as one of the features of the cecum in Figure 10A, but was incorrectly identified as the terminal ileum in Figure 10B.
  • the CNN system is constructed based on 9995 colonoscopy images of 409 people.
  • the CNN system demonstrated clinically useful performance when anatomical sites were identified using a large independent validation dataset.
  • the CNN system was able to recognize images of the colon with greater than 60% accuracy. Therefore, this CNN system will be the basis for the development of an AI system for colonoscopy in the near future.
  • Efficient anatomical recognition of images is the first important step in developing an AI system for colonic diseases.
  • AI systems for the recognition of colonic polyps were known, but the sensitivity ranged from 79%-98.7% and the specificity ranged from 74.1%-98.5%.
  • conventional systems did not have the ability to recognize the anatomical site of the polyp. It is well known that the frequency of appearance of polyps or colorectal cancer depends on the anatomical site of the colon. If the CNN system of Embodiment 2 can change the sensitivity of detecting a lesion in the colon based on its anatomical site, a more effective AI system can be developed.
  • the accuracy differs depending on the value of the probability score.
  • the CNN system can work better by limiting to images with high probability scores.
  • an appropriate value for the probability score that ensures recognition results is needed.
  • the result of the CNN system constructed in the second embodiment was not good compared with the previous report of the inventors who constructed the CNN system capable of classifying gastrointestinal images.
  • the sensitivity and specificity for recognizing conventional gastrointestinal anatomical parts are 93.9% and 100% in the larynx, 95.8% and 99.7% in the esophagus, and 98.9% and 93.9% in the stomach. 0%, 87.0% in the duodenum and 99.2%.
  • the sensitivity and specificity of the CNN system constructed in Embodiment 2 differ depending on the anatomical site.
  • the descending colon-sigmoid site had a high sensitivity of 90% or more, but the lowest specificity was 69.9%.
  • the terminal ileum, cecum, ascending colon-transverse colon and rectum had high specificity, but sensitivity was low at 23.3-69.4%.
  • the CNN system of Embodiment 2 recognized the anus with high sensitivity and specificity of 90% or more.
  • rectal recognition sensitivity was reduced when calculated from images with high probability scores.
  • the rectal image was not reliably output correctly, and the rectal image was recognized as the descending-sigmoid colon.
  • the reason why the rectum was recognized with low sensitivity may be that there is no characteristic part.
  • the CNN system of Embodiment 2 had characteristic parts such as an ileocecal valve and an appendix in the terminal ileum and cecum, but the recognition sensitivity was relatively low. The reason why such a result is obtained can be explained by the fact that the CNN system of the second embodiment cannot recognize such a characteristic part belonging to each part.
  • the CNN system according to the second embodiment can recognize an image based only on the structure of the entire image, and the entire image can be recognized without teaching the CNN system the characteristic portions based on the respective parts in the image. This is because it is only classified into each part. If typical parts of an image can be taught to the CNN system of the second embodiment, the recognition accuracy of those parts will be high.
  • the epithelium of the esophagus, stomach, and duodenum are different from each other, so it is necessary to recognize the image based on the fine structure of the surface.
  • the epithelium depends on the anatomy.
  • the pyloric glands are distributed in the gastric pylorus, and the fundic glands are located in other areas.
  • X-ray CT Computer tomography equipment
  • USCT Ultrasonic Computer Tomography
  • MRI Magnetic Resonance Imaging
  • the CNN system can more accurately recognize the position of colonoscopic images.
  • the ability to automatically recognize the anatomical parts of the colon has a great impact on both diagnosis and treatment.
  • a treatment or an appropriate type of drug can be administered based on the site of the presence of colitis.
  • colorectal cancer the anatomical site where the cancer is present becomes important information for surgery.
  • FIG. 10 shows an outline of a flowchart of the CNN system of the third embodiment.
  • the main indications for WCE are gastrointestinal bleeding (OGIB) of unknown cause, and cases in which abnormal small intestine images were observed using other medical devices, abdominal pain, follow-up of past small intestine cases Up, introduction from primary care doctor regarding diarrhea screening. Most of the etiological factors were non-steroidal anti-inflammatory, followed by inflammatory bowel disease, malignant tumor of the small intestine, and anastomosis ulcer, but the etiology was not determined in many cases.
  • the patient characteristics of the data debt used for training and validation of the CNN system are shown in Table 9.
  • the CNN system of Embodiment 3 was trained such that the area inside the bounding box is the erosion/ulcer area and the other areas are the background.
  • the CNN system of Embodiment 3 then extracted the particular features of the bounding box region by itself and "learned" the erosion/ulcer features via the training data set. All layers of the CNN are stochastic optimized with a global learning rate of 0.0001. Each image was resized to 300 x 300 pixels. The bounding box was resized accordingly. These values were set by trial and error to ensure that all data was SSD compatible.
  • Intel's Core i7-7700K was used as the CPU, and NVIDEA's GeForce GTX 1070 was used as the GPU for the graphics processing device.
  • a rectangular bounding box (hereinafter referred to as a “true box”) was manually added by a thick line to all the erosions/ulcers in the images of the verification data set.
  • the trained CNN system of the third embodiment attaches a rectangular bounding box (hereinafter, referred to as “CNN box”) to the detected erosion/ulcer region in the image of the verification data set with a thin line.
  • CNN box rectangular bounding box
  • Erosion/ulcer probability score (range 0-1) was output. A higher probability score indicates that the trained CNN system of Embodiment 3 determines that the region is more likely to include erosions/ulcers.
  • the WCE endoscopic image determined to be the correct answer in this way is used as a diagnostic aid at the site of double-checking the image captured by adding the information to the image, or a video during WCE endoscopy. Is used as a diagnostic aid by displaying information in real time.
  • the receiver operating characteristic (ROC) curve was also plotted by changing the cutoff value of the probability score, and the area under the curve (AUC) for the evaluation of erosion/ulcer discrimination by the trained CNN system of Embodiment 3.
  • Sensitivity, specificity and accuracy, the ability to detect erosions/ulcers of the CNN system of embodiment 3, were calculated using various cutoff values for probability scores, including scores according to the Youden index.
  • the Youden index is one of the standard methods for determining the optimum cutoff value calculated by sensitivity and specificity, and the value of “sensitivity + specificity-1” is the maximum.
  • the cutoff value is obtained.
  • the data was statistically analyzed using the STATA software (version 13; Stata Corp, College Station, TX, USA).
  • the trained CNN system of Embodiment 3 took 233 seconds to evaluate these images. This equates to a speed of 44.8 images per second.
  • the AUC of the trained CNN system of Embodiment 3 that detected erosions/ulcers was 0.960 (95% confidence interval [CI], 0.950-0.969; see Figure 11).
  • the optimal cutoff value for the probability score was 0.481, and the region with a probability score of 0.481 was recognized by the CNN as an erosion/ulcer.
  • the sensitivity, specificity and accuracy of CNN are 88.2% (95% CI (confidence interval), 84.8-91.0%), 90.9% (95% CI, 90. 3-91.4%) and 90.8% (95% CI, 90.2-91.3%) (see Table 10).
  • Table 10 shows the respective sensitivity, specificity and accuracy calculated by increasing the cutoff value of the probability score from 0.2 to 0.9 by 0.1.
  • FIG. 12D show typical regions correctly detected by the CNN system
  • FIGS. 13A-13H show typical regions misclassified by the CNN system. False-negative images
  • the boundary is not clear (see FIG. 13A)
  • the color is similar to the surrounding normal mucous membrane, it is too small, and the whole is not observable (lateral (hard to see because the affected part is on the side) or is not visible). It was classified into four causes of partiality (only partially visible) (see Figure 13B).
  • a CNN-based program for automatic detection of erosions and ulcers in the small intestinal image of WCE was constructed, and the accuracy (AUC) of 90.8% was high. , 0.960) in independent test images was shown to be able to detect erosions/ulcers.
  • a method for assisting diagnosis of a disease related to a protruding lesion of the small intestine by a wireless capsule endoscope (WCE) image, a diagnostic support system, a diagnostic support program, and a computer-readable recording medium storing the diagnostic support program will be described.
  • the morphological features of protruding lesions vary from polyps, nodules, tumors/tumors to venous structures, and the etiology of these lesions includes neuroendocrine tumors, adenocarcinomas, familial adenomatous polyposis, and poets- Includes Peutz-Jeghers syndrome, follicular lymphoma and gastrointestinal stromal tumors. Since these lesions require early diagnosis and treatment, it is necessary to avoid overlooking the WCE test.
  • protruding lesions were collected as a training data set from 292 patients who underwent WCE in a plurality of clinics to which the inventor belongs. A total of 17,507 from 93 patients, including 10,000 images without protruding lesions and 7,507 images with protruding lesions, regardless of the images used to train CNN. One image was used for verification.
  • the protruding lesions were morphologically classified into five categories of polyp, nodule, epithelial tumor, submucosal tumor, and venous structure based on the definition of CEST classification (see Non-Patent Document 13). However, the tumors/tumor lesions defined in the CEST classification were classified into epithelial tumors and submucosal tumors.
  • the outline of the flowchart of the CNN system of Embodiment 4 is shown in FIG.
  • the CNN system of the fourth embodiment uses the SSD deep neural network architecture and Caffe framework similar to those of the third embodiment.
  • All areas of protruding lesions in the images of the training dataset were manually annotated with a rectangular bounding box by 6 endoscopists. Annotations were performed individually by each endoscopist and consensus was determined later. These images were incorporated into the SSD architecture through the Caffe framework.
  • the CNN system of Embodiment 4 was trained to be a protruding lesion inside the bounding box and the other area as the background.
  • the CNN system of Embodiment 4 then extracted the particular features of the bounding box region by itself and "learned" the features of the salient lesions via the training dataset. All layers of the CNN are stochastic optimized with a global learning rate of 0.0001. Each image was resized to 300 x 300 pixels. The bounding box was resized accordingly. These values were set by trial and error to ensure that all data was SSD compatible.
  • Intel's Core i7-7700K was used as the CPU, and NVIDEA's GeForce GTX 1070 was used as the GPU for the graphics processing device.
  • As the WCE the same Pillcam SB2 or SB3 WCE equipment as in the case of the third embodiment was used. Data were analyzed using STATA software (version 13; Stata Corp, College Station, TX, USA).
  • a rectangular bounding box (hereinafter referred to as a “true box”) was manually added by a thick line to all of the protruding lesion regions in the images of the verification data set.
  • the trained CNN system of Embodiment 4 attaches a rectangular bounding box (hereinafter, referred to as “CNN box”) to the area of the detected protruding lesion in the image of the verification data set by a thin line, and The probability score (PS: range 0-1) of the area of the protruding lesion was output.
  • PS range 0-1
  • the inventors evaluated the ability of the CNN system of Embodiment 4 to determine whether or not each image includes a protruding lesion in the CNN box in descending order of the probability score of each image.
  • the CNN box, probability score for protruding lesions, and category of protruding lesions were determined as a result of CNN when the CNN box clearly surrounded the protruding lesions.
  • IoU Intersection over Unions
  • the CNN box is determined to be the result of CNN.
  • the CNN box with the highest probability score was determined as a result of CNN. Three endoscopists performed these tasks on all images.
  • the receiver operating characteristic (ROC) curve is plotted by varying the cutoff value of the probability score, and the area under the curve (AUC) is used to evaluate the degree of protruding lesion discrimination by the trained CNN system of embodiment 4. It was calculated (see FIG. 16). Then, as in the case of the third embodiment, the sensitivity, which is the ability to detect the protruding lesion of the CNN system of the fourth embodiment, using various cutoff values for the probability score including the score according to the Youden index, The specificity and precision were calculated.
  • ROC receiver operating characteristic
  • Embodiment 4 Secondary results in Embodiment 4 are classification of protruding lesions by CNN into five categories, and detection of protruding lesions in individual patient analysis. Regarding the accuracy of the classification, the matching rate of the classification between the CNN and the endoscopist was examined. Individual patient analysis of the detection rate of protruding lesions defined CNN detection as correct if CNN detected at least one protruding lesion image in multiple images of the same patient.
  • Table 14 shows the patient characteristics of the data debt used for training and verification of the CNN system of the fourth embodiment, and details of the training data set and the verification data set.
  • the validation dataset consisted of 7,507 images including protruding lesions from 73 patients (male, 65.8%, mean age, 60.1 years, standard deviation, 18.7 years) and 20 patients. (Male, 60.0%, mean age, 51.9 years old, standard deviation, 11.4 years old) consisted of 10,000 lesion-free images.
  • the CNN constructed in Embodiment 4 finished analyzing all images in 530.462 seconds, and the average speed per image was 0.0303 seconds.
  • the AUC of the CNN of embodiment 4 used to detect protruding lesions was 0.911 (95% confidence interval (Cl), 0.9069-0.9155) (see Figure 16).
  • the optimal cutoff value for the probability score was 0.317. Therefore, a region with a probability score of 0.317 or higher was recognized as a protruding lesion detected by CNN.
  • the sensitivity and specificity of CNN are 90.7% (95%CI, 90.0%-91.4%) and 79.8% (95%CI, 79.0%-), respectively. 80.6%) (Table 15).
  • the sensitivity of CNN was 86.5%, 92.0%, 95.8%, 77.0 for the detection of polyps, nodules, epithelial tumors, submucosal tumors, and venous structures.
  • % And 94.4%. 17A-17E show representative regions that were correctly detected and classified into five categories of polyps, nodules, epithelial tumors, submucosal tumors and venous structures by the CNN of Embodiment 4, respectively.
  • the detection rate of protruding lesions was 98.6% (72/73).
  • the detection rate of polyps, nodules, epithelial tumors, submucosal tumors, and venous structures per patient was 96.7% (29/30), 100% (14/14), 100% (14 /14), 100% (11/11), and 100% (4/4).
  • all three images of the polyp of one patient shown in FIGS. 18A-18C could not be detected by CNN in Embodiment 4. In this image, all probability scores for the CNN box were less than 0.317, so they were not detected as protruding lesions by CNN.
  • the category based on CEST is applied, and there is a difference in sensitivity between categories such as polyp, nodule, epithelial tumor, submucosal tumor, and venous structure, but with high sensitivity, It was revealed that it can be detected and classified with a good detection rate.
  • Wireless capsule endoscopy (hereinafter simply referred to as "WCE") has become an indispensable tool for investigating small bowel disease, and the major indication is unexplained gastrointestinal bleeding with no apparent bleeding source. (OGIB) is the main. In screening WCE images, doctors read 10,000 images per patient for 30-120 minutes. Therefore, it is important for WCE image analysis whether or not blood components can be automatically detected.
  • a "red region estimation display function" (Suspected Blood Indicator; hereinafter simply referred to as "SBI”) is known (see Non-Patent Document 11).
  • SBI is an image selection tool included in RAPID CE interpretation software (Medtronic, Minn., Minn., USA) that tags potential bleeding areas with red pixels.
  • a method for assisting diagnosis of small intestinal bleeding by a WCE image using a CNN system, a diagnostic support system, a diagnostic support program, and a computer-readable recording medium storing the diagnostic support program Will be described.
  • detecting the blood component of the small intestine it is possible to estimate the amount of blood, and in this case, it is also possible to estimate the amount of blood from the distribution range of blood and the like.
  • the following will exemplify a case of detecting the presence or absence of blood components, that is, the presence or absence of bleeding.
  • WCE images from November 2009 to August 2015 were acquired retrospectively at a single institution to which some of the inventors belong (University of Tokyo Hospital, Japan). During that period, WCE was performed using a Pillcam SB2 or SB3 WCE device similar to that of Embodiment 3. Two endoscopists classified images with blood components in the lumen and images of normal small intestinal mucosa without considering the SBI results.
  • the blood component of the lumen is defined as active bleeding or a blood clot.
  • the CNN system algorithm used in the fifth embodiment was developed using ResNet50 (https://arxiv.org/abs/1512.03385), which is a deep neural network architecture of 50 layers. It was then trained using the Caffe framework originally developed at the Berkeley Vision Learning Center to train and validate the newly developed CNN system. Then, using SGD (Stochastic Gradient Descent), all layers of the network were subjected to stochastic optimization with a global learning rate of 0.0001. All images were resized to 224 x 224 pixels for compatibility with ResNet50.
  • ResNet50 https://arxiv.org/abs/1512.03385
  • SGD Spochastic Gradient Descent
  • the main results in the CNN system of Embodiment 5 include the area under the curve (AUC) of the receiver operating characteristic (ROC) curve, the sensitivity, the specificity, and the CNN system between the blood component image and the normal mucosal image. Includes the accuracy of the discriminating ability of.
  • the trained CNN system of Example 5 output a continuous number between 0 and 1 as the probability score for blood components per image. A higher probability score indicates that the CNN system determines that the image has a higher probability of containing a blood component.
  • the validation test of the CNN system in embodiment 5 was performed using a single still image, plotting the ROC curve by varying the threshold of probability scores and calculating the AUC to assess the degree of discrimination. ..
  • the threshold of the probability score is simply set to 0.5, and the CNN system is discriminated between the image containing the blood component and the image of the normal mucous membrane.
  • the potency sensitivity, specificity and precision were calculated.
  • the sensitivity, specificity and accuracy of the discriminating ability by SBI between the image containing the blood component and the image of the normal mucous membrane were evaluated by examining 10,208 images.
  • the difference in capacity between the CNN system of Example 5 and the SBI was compared using McNemar's test. The data obtained was statistically analyzed using the STATA software (version 13; Stata Corp, College Station, TX, USA).
  • the validation dataset consisted of 10,208 images from 25 patients (male, 56%, mean age, 53.4 years, standard deviation, 12.4 years).
  • the trained CNN system of Embodiment 5 took 250 seconds to evaluate these images. This is equal to the speed of 40.8 images per second.
  • the AUC of the CNN system of Embodiment 5 that identifies images containing blood components was 0.9998 (95% CI (confidence interval), 0.9996-1.0000; see FIG. 21).
  • Table 15 also shows each sensitivity, specificity and accuracy calculated by increasing the cutoff value of the probability score from 0.1 to 0.9 by 0.1.
  • FIG. 22 shows an image including representative blood correctly classified by the CNN system of the fifth embodiment (FIG. 22A) and a normal mucosa image (FIG. 22B).
  • the probability values obtained by the CNN system according to the fifth embodiment of FIGS. 22A and 22B are shown in Table 18 below.
  • FIG. 23 shows seven false-negative images classified as normal mucosa by the CNN of the fifth embodiment. Of these, the four images shown in FIG. 23A were correctly classified as containing blood components by SBI, and the three images in FIG. 23B were incorrectly classified as normal mucous membrane by SBI.
  • the classification obtained by the CNN system and SBI of Embodiment 5 of FIGS. 23A and 23B are shown in Table 20 below, and the classification relationship between the CNN system and SBI is shown in Table 21.
  • the trained CNN system of the fifth embodiment it was possible to distinguish an image containing blood components from a normal mucosal image with a high accuracy of 99.9% (AUC, 0.9998).
  • a direct comparison with SBI also showed that the trained CNN system of embodiment 5 could be classified more accurately than SBI. Even with a simple cutoff point of 0.5, the trained CNN system of embodiment 5 outperformed SBI in both sensitivity and specificity. This result shows that the trained CNN system of Embodiment 5 can be used as a very accurate screening tool for WCE.
  • the depth of invasion of squamous cell carcinoma (SCC) by a normal endoscope (non-enlarged endoscope, non-ME), ultrasonic endoscope (EUS), and enlarged endoscope (ME) is diagnosed.
  • a diagnosis support method, a diagnosis support system, a diagnosis support program, and a computer-readable recording medium storing the diagnosis support program will be described.
  • the esophagus is composed of the mucosal epithelium (EP), the lamina basement (LPM), the muscularis mucosa (MM), the submucosa (SM), the muscularis basement and the adventitia from the inner side of the esophagus.
  • EP mucosal epithelium
  • LPM lamina muscularis mucosa
  • SM submucosa
  • T1a the muscularis mucosa
  • the mucosal epithelium, lamina intestinal and muscularis mucosa are generally called "mucosa”. According to Japanese guidelines and European guidelines, it is desirable to apply ER to the epithelium (EP)/propria mucosa (LPM) and mucosal muscle (MM)/those reaching up to about 200 ⁇ m.
  • EP epithelium
  • LPM propria mucosa
  • MM mucosal muscle
  • SM1 SCCs that have reached the submucosa below the lamina basement are displayed as "SM1”, “SM2” and “SM3” in order according to their depth, and are all classified as “T1b".
  • T1b T1b
  • the boundaries between the “SM1”, “SM2” and “SM3” sections are not clear, but can be sensuously divided into three sections: near the submucosal surface, the submucosal middle part and the submucosal deep part. it can.
  • T1a depth of invasion of SCC
  • MM and SM1 the metastasis probability of cancer is reported to be less than 10%, so that high mortality and substantial morbidity of esophagectomy are reported.
  • ER is considered the most appropriate initial treatment for T1a (MM and SM1), especially if the patient is elderly or frail.
  • Esophagectomy is usually indicated for T1b (submucosal middle part (SM2) or deep submucosal part (SM3)) because the risk of metastasis exceeds 25%. Therefore, the most important task for preoperative diagnosis of SCC invasion is to distinguish T1a (EP and SM1) from T1b (SM2 or SM3).
  • a CNN system was trained using endoscopic images taken daily in a clinic to which one of the inventors belongs.
  • the endoscope system used was a high resolution or high definition upper gastrointestinal endoscope (GIF-XP290N, GIF-Q260J, GIF-RQ260Z, GIF-FQ260Z, GIF-Q240Z, GIF-H290Z, GIF-H290, GIF-HQ290.
  • GIF-H260Z made by Olympus, Tokyo, Japan
  • video processor CV260; made by Olympus
  • high-definition magnifying gastrointestinal endoscope GIF-H290Z, GIF-H290, GIF-HQ290, GIF-H260Z: made by Olympus
  • Video processor EVIS LUCERA CV-260/CLV-260 and EVIS LUCERA ELITE CV-290/CLV-290SL; made by Olympus Medical System
  • high resolution endoscope EG-L590ZW, EG-L600ZW and EG-L600ZW7; Fuji Film) , Tokyo, Japan
  • LASEREO made by FUJIFILM
  • Training images are images using standard white light images, narrow band light (NBI) images, and blue laser light (BLI), but images of patients who belong to the following exclusion criteria were excluded.
  • This excluded image includes patients with severe esophagitis, patients with a history of chemotherapy, radiation to the esophagus, lesions adjacent to the ulcer or ulcer scar, poor quality images due to too little air insufflation, Includes bleeding, halation, blurring, defocusing, or mucus.
  • narrow-band imaging was set to B-mode level 8 and blue laser imaging (BLI) was set to level 5-6.
  • a black soft hood was attached to the tip of the endoscope in order to maintain an appropriate distance between the tip of the endoscope zoom lens and the mucosal surface during magnified observation.
  • Initial routine examination with non-magnified white light images, NBI or BLI was performed to assess the degree of protrusion of the cancer, degree of depression and hardness.
  • the NBI was enlarged to evaluate the appearance of the surface vasculature, especially the changes in the capillary loops of the capillaries. Finally, iodine staining was performed to depict the spread of the cancer.
  • the CNN system of the experimental form 6 used the CNN architecture called a single shot multi-box detector (SSD) substantially similar to the case of the embodiment 3 and the Caffe framework without changing the algorithm.
  • SSD single shot multi-box detector
  • Training was performed with a stochastic gradient descent with a global learning rate of 0.0001. Each image was resized to 300 x 300 pixels and the squares were also resized to perform optimal CNN analysis. These values were set by trial and error to ensure that all data was SSD compatible.
  • the trained CNN system of Experimental Form 6 produces a diagnosis of EP-SM1 or SM2/SM3 cancer with a consecutive number between 0 and 1 corresponding to its probability of diagnosis.
  • a lesion was diagnosed with EP-SM1 cancer if the entire area of the lesion was diagnosed as being restricted to EP-SM1. If a portion of the lesion was diagnosed as invading SM2 or SM3, then the lesion was diagnosed as SM2/3 cancer.
  • the results of non-magnifying endoscope, magnifying endoscope and final diagnosis were analyzed.
  • Table 24 and Table 25 show the diagnostic accuracy of the trained CNN system of the experimental form 5 according to the characteristics of the lesion.
  • the accuracy of the trained CNN system and the endoscopist of Experimental Form 6 includes the nature of the lesion, eg, cancer invasion depth, morphology and lesion size.
  • the non-magnifying endoscopic diagnosis of the trained CNN system of Experimental Form 6 showed high performance. Most of the non-magnifying endoscopic images were white light images. Non-magnifying endoscopes using white light imaging are the most common conventional endoscopic imaging modalities available worldwide. Diagnosis of cancer invasion depth using conventional non-magnifying endoscopes is subjective and is based on cancer protrusion, depression, and hardness that can be affected by interobserver variability.
  • the variability in the diagnosis of cancer invasion depth using such a conventional non-magnifying endoscope is derived from low objectivity, impairing its reliability, and non-enlargement as a tool for diagnosing cancer invasion depth.
  • the diagnosis by the trained CNN system of the experimental form 6 can provide a clear diagnosis, thus providing an objective diagnosis and solving the variability.
  • the diagnostic ability of the magnifying endoscope was disadvantageous in the trained CNN system of the actual experimental form 6. This undesired performance results from the small amount of training images in the magnified endoscopic image. Further improvements are expected by accumulating more training data sets for magnifying endoscopes.
  • the trained CNN system of Experimental Form 6 shows good performance for diagnosing the depth of invasion of superficial esophagus SCC, the final diagnosis accuracy is 91.0%, and long-term professional It is comparable to the precision of a knowledgeable endoscopist.
  • a diagnosis support method and a diagnosis for diagnosing a superficial pharyngeal request (SPC) by white light imaging (WLI) and narrow band imaging (MBI) using a normal esophagogastroduodenoscope (EGD) A support system, a diagnosis support program, and a computer-readable recording medium storing the diagnosis support program will be described.
  • the CNN system was trained using endoscopic images taken by EGD performed for routine screening or pre-operative examination in a clinic to which one of the inventors belongs.
  • the endoscope system used was a high-resolution endoscope (GIF-H290Z, GIF-H290, GIF-XP290N, GIF-H260Z, GIF-H260; Olympus Medical System, Tokyo, Japan) and standard endoscope. It was a video system (EVIS LUCERA CV-260/CLV-260, EVIS LUCERA ELITE CV-290/CLV-290SL, Olympus Medical System).
  • the CNN system of the experimental form 6 used the CNN framework called a single shot multi-box detector (SSD) substantially similar to the case of the embodiment 3 without changing the algorithm, and also used the Caffe framework.
  • the Caffe framework is one of the most widely used frameworks originally developed by Berkeley Vision and Learning Center.
  • Training was performed with a stochastic gradient descent with a global learning rate of 0.0001. Each image was resized to 300 x 300 pixels and the bounding box was also resized for optimal CNN analysis. These values were set by trial and error to ensure that all data was SSD compatible.
  • the CNN system was considered to have been correctly diagnosed if the CNN system of Experimental Form 6 could recognize even a part of cancer. This is because it may be difficult to identify the entire boundary of cancer with one image, and the detection of cancer was the main purpose of this embodiment. However, even if the image judged by the trained CNN system of the experimental form 6 has a cancer, it is not correctly diagnosed if the image includes a wide non-cancerous site occupying 80% or more of the image. Made In images with cancer, when the CNN system recognized a non-cancerous site as cancerous, it was considered a false positive recognition.
  • the macroscopic classification of lesions was determined according to the Japanese classification of the General Rules for Clinical Studies on Head and Neck Cancer edited by the Japan Head and Neck Cancer Society.
  • the T factor is as follows in the hypopharynx.
  • T1 Limited to one part of the hypopharynx, the maximum diameter is 2 cm or less
  • T2 Expanded to the adjacent part of the hypopharynx, or the maximum diameter is 2 cm or more and 4 cm or less, and one side pharynx is not fixed
  • T3 Tumor with a maximum diameter of more than 4 cm, or with unilateral pharynx fixation or expansion to the esophagus
  • T4a/T4b Tumor invades any of the adjacent organs.
  • T1 tumor is 2 cm or less
  • T2 The tumor is 2 cm or more and 4 cm or less.
  • the median tumor size was 22.5 mm, 72.5% of the lesions were in the piriform sinus, and 17.5% of the lesions were in the posterior wall of the hypopharynx. Macroscopically, 47.5% were 0-IIa and 40% were 0-IIb. All lesions were confirmed histopathologically to be squamous cell carcinoma (SCC) (see Table 26).
  • SCC squamous cell carcinoma
  • FIG. 25A to 25D show images in which the CNN system according to the seventh embodiment correctly detects a pharyngeal cancer.
  • the CNN system of Embodiment 7 displays the region recognized as a pharyngeal cancer as a rectangular frame with a broken line.
  • the solid rectangular frame is displayed as an area of cancer by an endoscopist.
  • FIG. 25A whitish superficial lesions are seen in the piriform sinus.
  • the CNN system of Embodiment 7 correctly recognizes the lesion and surrounds it with a dashed square frame that substantially matches the solid square frame drawn by the endoscopist.
  • the CNN system of Embodiment 7 shows a pharyngeal cancer (FIG. 25B) by narrow band imaging (NBI) shown as a brownish region, and a faint reddish unclear lesion by white light imaging (WLI) (FIG. 25C). It was also possible to recognize lesions that are generally difficult to detect, such as lesions in the tangential direction of narrow band imaging NBI (FIG. 25D).
  • the CNN system of Embodiment 7 correctly detected all lesions of pharyngeal cancer (40/40) by comprehensive diagnosis of WLI and NBI.
  • the detection rates were 92.5% (37/40) for WLI and 100% (38/38) for NBI.
  • the CNN system of Embodiment 7 was able to detect all three pharyngeal cancers with a size less than 10 mm. Furthermore, the CNN of Embodiment 7 could analyze 1912 images in 28 seconds.
  • the CNN system of Embodiment 7 was able to correctly detect pharyngeal cancer with a sensitivity of 85.6% in each image by NBI, but was detected with a sensitivity of 70.1% in each image by WLI. This was significantly less sensitive than with NBI (see Table 27, Figure 27A).
  • the PPV (positive predictive value) of WLI and NBI are not substantially different (see Table 27, Figure 27B).
  • the specificity, PPV and NPV (negative predictive value) of the CNN system of Embodiment 7 were 57.1%, 60.7% and 77.2%, respectively (see Table 24).
  • FIG. 26 shows an example of an image in which the CNN system of Embodiment 7 has misdiagnosed as a false positive. For example, when there are irregularities due to small cysts (Fig. 26C), which are examples of an image of the tongue base (Fig. 26B) and an image of the row (Fig.
  • FIG. 28 shows an example of an image recognized as a false negative by the CNN system of the seventh embodiment.
  • Half of the images identified as false negatives in the CNN system of Embodiment 7 have lesions that are too far (FIG. 28A), only a portion of the lesion is present (FIG. 28B), or tangential view lesions. (FIG. 28C) and other difficult conditions (see Table 29).
  • the CNN system of embodiment 7 also missed some obscure lesions in WLI (FIG. 28D). This was an example that was difficult to diagnose even by an endoscopist.
  • the CNN system of Embodiment 7 showed good performance for detecting pharyngeal cancer, and was able to detect all lesions of pharyngeal cancer in each case.
  • the sensitivity of all images was 79.7%, especially the sensitivity of NBI images was 85.7%. That is, in the CNN system of Embodiment 7, NBI was superior to WLI in detecting pharyngeal cancer. This is in agreement with the detection result of an endoscopist by visual inspection, and it is reported that the detection rates of WLI and NBI are 8% and 100%, respectively, which are very different from each other (non-patent document). 12). This is because the contrast between superficial cancer and normal mucosa is weak in the WLI image.
  • the CNN system of Embodiment 7 had a detection rate of 69.8% for WLI images. This is much higher than the detection rates of endoscopists reported previously. Therefore, it can be seen that the CNN system of Embodiment 7 is useful for detecting pharyngeal cancer even in a facility without NBI.
  • Embodiment 8 A method for assisting diagnosis of a disease by an endoscopic image of a digestive organ using the CNN system according to the eighth embodiment will be described with reference to FIG.
  • the method for assisting diagnosis of a disease by endoscopic image of digestive organs using the CNN system of the first to sixth embodiments can be used.
  • S1 the first endoscopic image of the digestive organs, and the positive or negative of the diseases of the digestive organs corresponding to the first endoscopic image, past disease, level of severity, depth of invasion of disease , Or at least one definitive diagnostic result of information corresponding to the imaged site, is used to train/verify the CNN system.
  • This CNN system is used in H.264 in gastroscopic images. For the diagnosis of H.
  • H. H. pylori-related diseases H. H. pylori positive and H. pylori. Not only in the case of H. pylori positive, but also in H. Image data after H. pylori eradication is also included.
  • the CNN system trained/validated in S1 is based on the second endoscopic image of the digestive system, the positive and/or negative probability of the disease of the digestive system, the probability of past disease, the disease probability, and the like. At least one of the severity level or the probability corresponding to the imaged region is output.
  • This second endoscopic image shows a newly observed endoscopic image.
  • each of the first endoscopic images may be associated with the part where the image was captured.
  • the site may include at least one of the pharynx, esophagus, stomach, duodenum, small intestine, and large intestine, and this site may be divided into a plurality of sites in at least one of a plurality of digestive organs.
  • S1 indicates H. H. pylori infection positive or negative, as well as H. pylori.
  • the presence or absence of H. pylori sterilization may be included.
  • Probability of positive H. pylori infection, H. H. pylori negative probability and H. pylori infection. At least one of the probability of H. pylori eradication may be output.
  • S1 may include terminal ileum, cecum, ascending colon, transverse colon, descending colon, sigmoid colon, rectum, and anus as divisions.
  • S2 the probability corresponding to at least one of the terminal ileum, the cecum, the ascending colon, the transverse colon, the descending colon, the sigmoid colon, the rectum, and the anus is used as the division of the large intestine in the second endoscopic image.
  • the probability may be output, and the probability corresponding to at least one of the terminal ileum, the cecum, the ascending colon and the transverse colon, the descending colon and the sigmoid colon, the rectum and the anus may be output, and Probabilities may be output that correspond to at least one of the ileum, cecal-ascending colon-transverse colon right colon, descending colon-sigmoid colon-rectal left colon and anus.
  • the second endoscopic image is the image being taken by the endoscope, the image transmitted via the communication network, the image provided by the remote control system or the cloud system, the computer-readable image. It may be at least one of an image and a moving image recorded on a possible recording medium.
  • Embodiment 9 A diagnosis support system for a disease by an endoscopic image of a digestive organ, a diagnostic support program by an endoscopic image of a digestive organ, and a computer-readable recording medium according to the ninth embodiment will be described with reference to FIG. In the ninth embodiment, it is possible to use the method for assisting diagnosis of a disease by the endoscopic image of the digestive organ described in the eighth embodiment.
  • the diagnosis support system 1 for a disease by an endoscopic image of the digestive organ has an endoscopic image input unit 10, an output unit 30, a computer 20 in which a CNN program is incorporated, and an output unit 30.
  • the computer 20 stores a first storage area 21 for storing a first endoscopic image of the digestive organs, and a positive or negative of a digestive organ disease corresponding to the first endoscopic image, a past disease, and a severe disease.
  • a second storage area 22 that stores at least one definitive diagnosis result of information corresponding to a degree level or an imaged region, and a third storage area 23 that stores a CNN program.
  • the CNN program stored in the third storage area 23 provides the first endoscopic image stored in the first storage area 21 and the definitive diagnosis result stored in the second storage area 22.
  • At least one of a negative probability, a past disease probability, a disease severity level, or a probability corresponding to an imaged region is output to the output unit 30.
  • the first endoscopic image stored in the first storage area 21 may be associated with the region where each image was captured.
  • the site can include at least one of the pharynx, esophagus, stomach, duodenum, small intestine, or large intestine, and this site may be divided into a plurality of sites in at least one of a plurality of digestive organs.
  • the definitive diagnosis result stored in the second storage area 22 is H.264.
  • the presence or absence of H. pylori sterilization may be included, and the second endoscopic image stored in the third storage area may be included in H.264.
  • Probability of positive H. pylori infection, H. H. pylori negative probability and H. pylori infection You may make it output at least one of the probability of H. pylori sterilization from the output part 30.
  • the final ileum, the cecum may include ascending colon, transverse colon, descending colon, sigmoid colon, rectum and anus, and is classified as the colon of the second endoscopic image stored in the third storage area, for example, terminal ileum, cecum.
  • the ascending colon, the transverse colon, the descending colon, the sigmoid colon, the rectum, and the anus may be output from the output unit 30, and the terminal ileum, the cecum, the ascending colon, and the descending colon may be output.
  • the output unit 30 may output the probabilities corresponding to at least one of the colon and the sigmoid colon, the rectum and the anus, and further, the terminal ileum, the right colon including the cecum-ascending colon-transverse colon, and the descending colon.
  • -Probability corresponding to at least one of the left colon including the sigmoid colon-rectum and the anus may be output from the output unit 30.
  • the second endoscopic image stored in the third storage area is provided by an image being captured by the endoscope, an image transmitted via a communication network, a remote control system, or a cloud system. At least one of an image recorded on a computer-readable recording medium, or a moving image.
  • the diagnosis support system for diseases by endoscopic images of digestive organs includes a diagnosis support program for endoscopic images of digestive organs for operating a computer as each means. Further, the diagnosis support program using endoscopic images of the digestive organs can be stored in a computer-readable recording medium.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Primary Health Care (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Gastroenterology & Hepatology (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Endocrinology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本発明の一実施形態の畳み込みニューラルネットワーク（ＣＮＮ）を用いた消化器官の内視鏡画像による疾患の診断支援方法は、前記消化器官の第１の内視鏡画像と、前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、もしくは、重症度のレベルに対応する情報の少なくとも１つの確定診断結果と、を用いてＣＮＮを訓練し、前記訓練されたＣＮＮは、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、疾患の重症度のレベル、又は、疾患の深達度（浸潤深さ）に対応する確率の少なくとも１つを出力する。本実施形態によれば、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の消化器官の疾患の陽性及び／又は陰性の確率、疾患の重症度のレベル、疾患の深達度等を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになる。

Description

消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
　本発明は、ニューラルネットワーク（neural network）を用いた消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プロラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体に関する。
　消化器官、例えば、喉頭、咽頭、食道、胃、十二指腸、胆道、膵菅、小腸、大腸などに対し、内視鏡検査が多く行われている。上部消化器官の内視鏡検査は、胃癌、食道癌、消化性潰瘍、逆流性胃炎などのスクリーニングのために、また、大腸の内視鏡検査は大腸癌、大腸ポリープ、潰瘍性大腸炎等のスクリーニングのために、しばしば行われている。特に上部消化器官の内視鏡検査は、様々な上腹部症状の詳細な検査、胃の病気に対するバリウム検査の陽性結果を受けての精密検査、及び、日本の定期健康診断に一般的に組み込まれている異常な血清ペプシノゲンレベルに対する精密検査にも有用である。また、近年では、胃癌検診は従来のバリウム検査から胃内視鏡検査への移行が進んでいる。
　胃癌は、最も一般的な悪性腫瘍の１つであり、数年前には世界中で約１００万件も発症したものと推定されている。胃癌発症の根本原因のうち、ヘリコバクター・ピロリ（Helicobacter pylori、以下、「Ｈ．ピロリ」ということがある。）感染は、萎縮性胃炎、腸上皮化生を誘導し、最終的には胃癌発症につながる。世界中で非噴門胃癌のうちの９８％はＨ．ピロリが寄与していると考えられている。Ｈ．ピロリに感染した患者の胃癌の危険性が高まり、Ｈ．ピロリ除菌後の胃癌の発生率が低下したことを考慮し、国際癌研究機関（International Agency for Research on Cancer）は、Ｈ．ピロリを明確な発癌物質と分類している。この結果から、胃癌発症のリスクを低減させるためにはＨ．ピロリの除菌が有用であり、抗菌薬によるＨ．ピロリの除菌はわが国の保険診療にもなっており、今後とも保健衛生上強く奨励される治療法である。事実、日本国の厚生労働省は、２０１３年２月にＨ．ピロリ感染による胃炎患者の根絶治療のための健康保険適用を承認した。
　Ｈ．ピロリ感染の存在についての鑑別診断には、胃内視鏡検査は極めて有用な情報を提供する。毛細血管がきれいに見える場合（ＲＡＣ（regular arrangement of collecting venules））や胃底腺ポリープはＨ．ピロリ陰性の胃粘膜に特徴的であるが、萎縮、発赤、粘膜腫脹、皺壁肥大は、Ｈ．ピロリ感染胃炎の代表的な所見である。また、斑状赤斑は、Ｈ．ピロリを除菌した胃粘膜の特性である。Ｈ．ピロリ感染の正確な内視鏡診断は、血液又は尿中の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原測定、尿素呼気試験、又は迅速ウレアーゼ試験などの様々な検査によって確認され、検査結果が陽性の患者はＨ．ピロリ除菌に進むことができる。内視鏡検査は広く胃病変の検査に使われるが、臨床検体分析によらずに胃病変の確認時にＨ．ピロリ感染までも特定できるようになれば、画一的に血液検査や尿検査等を行うことのなく、患者の負担は大きく減り、また医療経済上の貢献も期待できる。
　また、食道癌は８番目に多い癌で、６番目に多い癌の死亡原因であり、２０１２年には４５６，０００件の新たな症例と４０万人の死亡が推定されている。ヨーロッパや北米では食道腺癌の発生率は急速に高まっているが、扁平上皮癌（ＳＣＣ）は全世界の食道癌の８０％を占める最も一般的な腫瘍型である。進行した食道ＳＣＣ患者の全生存率は依然として低いままである。しかし、この癌が粘膜癌又は粘膜下癌として検出されれば、良好な予後が期待できる。
　また、全大腸内視鏡検査（colonoscopy、ＣＳ）は、結腸・直腸癌（colorectal cancer、ＣＲＣ）、結腸・直腸ポリープ及び炎症性大腸疾患などの結腸・直腸疾患を高感度及び高特異度を持って検出することができる。このような疾患の早期診断により、患者はよりよい予後の早期治療が可能になるため、ＣＳの十分な品質を提供することが重要である。
　このように、上部消化器官及び大腸の内視鏡検査は広く行われるようになっているが、小腸に対する内視鏡検査は、一般的な内視鏡を小腸の内部にまで挿入することが困難なため、あまり行われていない。一般的な内視鏡は長さが約２ｍ程度であり、小腸まで内視鏡を挿入するには、経口的に胃及び十二指腸を経由して、あるいは経肛門的に大腸を経由して小腸まで挿入する必要があり、しかも、小腸自体は６－７ｍ程度もある長い器官であるので、一般的な内視鏡では小腸全体に亘る挿入及び観察が困難なためである。そのため、小腸の内視鏡検査には、ダブルバルーン内視鏡(特許文献１参照）又はワイヤレスカプセル内視鏡（Wireless Capsule Endoscopy、以下単に「ＷＣＥ」ということがある。）(特許文献２参照）が使用されている。
　ダブルバルーン内視鏡は、内視鏡の先端側に設けられたバルーンと、内視鏡を覆うオーバーチューブの先端側に設けられたバルーンとを、交互にあるいは同時に膨らませたりしぼませたりして、長い小腸をたぐり寄せるようにして短縮化・直線化しながら検査を行う方法であるが、小腸の長さが長いので、一度に小腸の全長に亘って検査を行うことは困難である。そのため、ダブルバルーン内視鏡による小腸の検査は、通常は経口的な内視鏡検査と、経肛門的な内視鏡検査との２回に分けて行われている。
　また、ＷＣＥによる内視鏡検査は、カメラ、フラッシュ、電池、送信機等が内蔵された経口摂取可能なカプセルを飲み込み、カプセルが消化管内を移動中に撮影した画像を無線で外部に送信し、これを外部で受信及び記録することにより検査が行われるものであり、一度に小腸の全体に亘る撮影が可能である。
　また、咽頭癌はしばしば進行した段階で検出され、予後は不良である。さらに、咽頭癌の進行した患者は、外科的切除と化学放射線療法を必要とし、美容上の問題と、嚥下及び会話の機能喪失の両方の問題があり、結果として生活の質を大きく低下させる。従前、食道胃十二指腸内視鏡（ＥＧＤ）検査では、患者の不快感を軽減するために内視鏡が咽頭を素早く通過することが重要であると考えられ、咽頭の観察も確立されていなかった。内視鏡医は、食道の場合とは異なり、気道への誤嚥のリスクがあるため、咽頭でヨウ素染色を使用できない。したがって、表在性咽頭癌はほとんど検出されなかった。
　しかし、近年、狭帯域イメージング（ＮＢＩ）などの画像強調内視鏡検査の開発及び内視鏡医の意識の向上もあり、食道胃十二指腸内視鏡検査中の咽頭癌の検出が増加している。表在性咽頭癌（ＳＰＣ）の検出の増加に伴い、表在性胃腸癌の局所切除として確立された内視鏡的切除術（ＥＲ）、内視鏡的粘膜下層剥離術（ＥＳＤ）、又は内視鏡的粘膜切除術（ＥＭＲ）により表在性咽頭癌を治療する機会が得られる。また、表在性咽頭癌の患者の機能と生活の質を維持する理想的な低侵襲治療である表在性咽頭癌の内視鏡的粘膜下層剥離術による短期及び長期の好ましい治療結果も報告されている。
特開２００２－３０１０１９号公報 特開２００６－０９５３０４号公報 特開２０１７－０４５３４１号公報 特開２０１７－０６７４８９号公報
Bibault JE, Giraud P, Burgun A. Big Data and machine learning in radiation oncology: State of the art and future prospects. Cancer Lett. 2016;382(1):110-117. Esteva A, Kuprel B, Novoa RA, et al. Dermatologist-level classification of skin cancer with deep neural networks. Nature. 2017;542(7639):115-118. Gulshan V, Peng L, Coram M, et al. Development and Validation of a Deep Learning Algorithm for Detection of Diabetic Retinopathy in Retinal Fundus Photographs. JAMA. 2016;316(22):2402-2410. Byrne MF, Chapados N, Soudan F, et al. Real-time differentiation of adenomatous and hyperplastic diminutive colorectal polyps during analysis of unaltered videos of standard colonoscopy using a deep learning model. Gut. 2017. Chen PJ, Lin MC, Lai MJ, Lin JC, Lu HH, Tseng VS. Accurate Classification of Diminutive Colorectal Polyps Using Computer-Aided Analysis. Gastroenterology. 2018;154(3):568-575. Misawa M, Kudo SE, Mori Y, et al. Artificial Intelligence-Assisted Polyp Detection for Colonoscopy: Initial Experience. Gastroenterology. 2018. Takiyama H, Ozawa T, Ishihara S, et al. Automatic anatomical classification of esophagogastroduodenoscopy images using deep convolutional neural networks. Sci Rep. 2018;8(1):7497. Hirasawa T, Aoyama K, Tanimoto T, et al. Application of artificial intelligence using a convolutional neural network for detecting gastric cancer in endoscopic images. Gastric Cancer. 2018. Shichijo S, Nomura S, Aoyama K, et al. Application of Convolutional Neural Networks in the Diagnosis of Helicobacter pylori Infection Based on Endoscopic Images. EBioMedicine. 2017;25:106-111. Iakovidis DK, Koulaouzidis A. Automatic lesion detection in capsule endoscopy based on color saliency: closer to an essential adjunct for reviewing software. Gastrointestinal endoscopy 2014 Nov;80(5):877-83. Boal Carvalho P, Magalhaes J, Dias DE Castro F, et al. Suspected blood indicator in capsule endoscopy: a valuable tool for gastrointestinal bleeding diagnosis. Arq Gastroenterol. 2017;54(1):16-20. Muto M, Minashi K, Yano T, et al. Early detection of superficial squamous cell carcinoma in the head and neck region and esophagus by narrow band imaging: a multicenter randomized controlled trial. J Clin Oncol. 2010 Mar 20; 28(9): 1566-1572. Korman LY, Delvaux M, Hagenmuller F, Keuchel M, Friedman S, Weinstein M, Shetzline M, Cave D, de Franchis R: Capsule endoscopy structured terminology (CEST): proposal of a standardized and structured terminology for reporting capsule endoscopy procedures. Endoscopy 2005, 37(10):951-959.
　このような消化器官の内視鏡検査においては、多くの内視鏡画像が収集されるが、精度管理のために内視鏡専門医による内視鏡画像のダブルチェックが義務付けられている。年に数万件もの内視鏡検診に伴い、二次読影において内視鏡専門医が読影する画像枚数は１人あたり１時間で約２８００枚と膨大なものとなっており、現場の大きな負担となっている。
　特に小腸のＷＣＥによる検査では、ＷＣＥの移動は、ＷＣＥ自体の動きによるものではなく、腸の蠕動によるものであるため、外部から動きを規制することはできないので、見逃しを防ぐために一度の検査で多数の画像が撮影され、しかも、ＷＣＥが小腸を移動している時間は約８時間もあるため、一度の検査で撮影される画像は非常に多くなる。たとえば、ＷＣＥは１人あたり約６０，０００枚の画像を無線で送信するので、内視鏡専門医は早送りしてチェックすることとなるが、異常な所見は１フレームないし２フレームしか現れない可能性があるため、これによる平均的なＷＣＥ画像分析には３０－１２０分の厳しい注意と集中が必要である。
　しかも、これらの内視鏡画像に基づく診断は、内視鏡専門医に対する訓練や、保存画像をチェックするのに多くの時間を要するばかりか、主観的であり、様々な偽陽性判断及び偽陰性判断を生じる可能性がある。さらに、内視鏡専門医による診断は、疲労により精度が悪化することがある。このような現場の多大な負担や精度の低下は、受診者数の制限にもつながる可能性があり、ひいては需要に応じた医療サービスが十分に提供されない懸念も想定される。
　また、表在性咽頭癌（ＳＰＣ）の検出と治療に関するほとんど全ての報告は日本国からのものであり、これらの手法で採用されている狭帯域イメージング（ＮＢＩ）や拡大内視鏡（ＩＥＥ）検査などの画像強調内視鏡検査は世界中で普及しているわけではない。内視鏡医への十分な教育なしに、狭帯域イメージングや拡大内視鏡を使用せずに表在性咽頭癌を検出することは困難だからある。そのため食道胃十二指腸内視鏡検査画像で表在性咽頭癌を検出する効率的なシステムが強く求められている。
　上記の内視鏡検査の労務負荷と精度低下の改善のためには、ＡＩ（人工知能：artificial intelligence）の活用が期待されている。近年の画像認識能力が人間を上回ったＡＩを内視鏡専門医のアシストとして使用できれば、二次読影作業の精度とスピードを向上させるものと期待されている。近年、ディープラーニング（深層学習）を用いたＡＩが様々な医療分野で注目されており、放射線腫瘍学、皮膚癌分類、糖尿病性網膜症(非特許文献１－３参照）や消化器内視鏡分野、特に大腸内視鏡を含む分野(非特許文献４－６参照）だけでなく、様々な医療分野において、医学画像を専門医に替わってスクリーニングできるとの報告がある。また、各種ＡＩを利用して医用画像診断を行った特許文献（特許文献３、４参照）も存在する。しかし、ＡＩの内視鏡画像診断能力が実際の医療現場において役立つ精度（正確性）と性能（スピード）を満たせるかどうかについては、十分に検証されておらず、ＡＩを利用した内視鏡画像に基づく診断は、未だに実用化されていない。
　ディープラーニングは、複数に重ねて構成されたニューラルネットワークを用いて、入力データから高次の特徴量を学習できる。また、ディープラーニングは、バックプロパゲーション・アルゴリズムを使用して、各層の表現を前の層の表現から計算するために使用される内部パラメータを、装置がどのように変更すべきかを示すことによって更新することができる。
　医用画像の関連付けに際しては、ディープラーニングは、過去に蓄積された医用画像を用いて訓練することができ、医学的画像から患者の臨床的特徴を直接得ることができる強力な機械学習技術になり得る。ニューラルネットワークは脳の神経回路の特性を計算機上のシミュレーションによって表現した数理モデルであるところ、ディープラーニングを支えるアルゴリズムのアプローチがニューラルネットワークである。畳み込みニューラルネットワーク（ＣＮＮ）は、Szegedyらによって開発され、画像の深層学習のための最も一般的なネットワークアーキテクチャである。
　消化管内視鏡検査における内視鏡画像の判定作業において、高い精度を維持した上での効率化が大きな課題になっている。また、この分野の画像解析にＡＩを活用しようとしたときには、そのＡＩ技術の向上が大きな課題となっている。発明者等は、解剖学的部位に応じて食道・胃・十二指腸の画像を分類でき、内視鏡画像中の胃癌を確実に見出すことができるＣＮＮシステムを構築した(非特許文献７，８参照）。
　さらに、発明者等は、最近、内視鏡画像に基づくＨ．ピロリ胃炎の診断におけるＣＮＮの役割を報告し、ＣＮＮの能力が経験豊富な内視鏡医に匹敵し、診断時間がかなり短くなることを示した（非特許文献９参照）。しかし、このＣＮＮは、訓練／検証用データセットとして、Ｈ．ピロリ除菌された症例が除外され、Ｈ．ピロリ陽性及び陰性の症例のみが用いられており、予めＨ．ピロリ除菌された症例を除外した訓練／検証用データセットの構築に手間が掛かるという課題が存在するほか、Ｈ．ピロリ陽性及び陰性の症例のみでなく、Ｈ．ピロリ除菌された症例をも正確に同定することができるかどうかは評価できないという課題が存在している。
　また、ＣＳを実施する場合、開業医は通常、直腸、結腸、及び終末回腸の一部を検査するが、疾患の臨床特性は結腸・直腸の解剖学的部位によって異なる。例えば、いくつかの最近の研究によると、結腸・直腸癌では、化学療法による疫学、予後及び臨床結果に関して、右側結腸及び左側結腸でいくつかの違いが指摘されている。同様に、大腸の解剖学的部位は、潰瘍性大腸炎の治療にとって重要である。潰瘍性大腸炎における経口薬剤ないし座薬の適用性は大腸炎の存在位置に基づくからである。従って、ＣＳ検査に際して結腸・直腸疾患の解剖学的部位を正確に特定することは臨床的に意味がある。
　ＣＳは糞便潜血陽性の場合や腹部症状のスクリーニングに一般的に使用されるが、施術者が大腸内視鏡を自由に取り扱い、異常領域を認識し、病気を正確に診断するのに十分な特別な訓練が必要である。そのような技能を得るのに時間がかかる理由の１つは、内視鏡検査中の解剖学的認識の困難性である。結腸のそれぞれの部位の解剖学的な相違点と、結腸のさまざまな部分の類似性のため、ＣＳの初心者だけでなくＣＳの専門家も、その内視鏡スコープの先端の正確な位置を認識することができない。
　したがって、開業医がＣＳを行い、異常を検出するためには、ＣＳ画像を介して結腸の解剖学的部分を正確に認識することが必要である。最近の証拠によると、十分なスキルを得るには、ＣＳ試験の全部を修了した経験が少なくとも２００件必要ある。実際、日本国では、内視鏡専門の認定は５年以上の内視鏡訓練の後にのみ行われる。
　また、ＷＣＥによって発見される小腸における最も一般的な症状は、びらんや潰瘍などの粘膜破壊である。これらは主に非ステロイド性抗炎症薬（ＮＳＡＩＤ）によって引き起こされ、時にはクローン病または小腸悪性腫瘍によって引き起こされるため、早期診断と早期治療が必要である。従前の各種報告では、小腸のびらんないし潰瘍による粘膜が破壊されている部分は、周囲の正常粘膜との間に色の差が小さいため、ソフトウェア的に自動検出するには血管拡張症を検出する場合よりも劣っていた（非特許文献１０参照）。また、小腸のＷＣＥ画像に対してＣＮＮを適用して、小腸の各種疾患や、出血ないし突出病変を診断することについての研究はない。
　さらに、粘膜又は粘膜下癌と定義される表在食道扁平上皮癌(以下、ＳＣＣということがある。）は、日本で診断されたすべての食道癌の３８％を占めている。表在食道ＳＣＣでは、食道切除術及び内視鏡的切除術（ＥＲ）が適用可能であるが、両者は侵襲性の点で大きく異なる。適切な治療法を選択する際には、転移の危険性やＥＲの治癒の可能性を考慮すると、癌の深達度(浸潤深度）が最も重要な因子である。
　癌の深達度の内視鏡診断は、食道癌の術後経過、突出、硬さ、及び微小血管の変化等、様々な内視鏡所見を評価するのに十分な専門知識を必要とする。表在食道ＳＣＣの深達度の診断には非拡大内視鏡（非ＭＥ）検査、拡大内視鏡（ＭＥ）検査、超音波内視鏡（ＥＵＳ）検査が用いられている。非拡大内視鏡を用いた診断は、主観的であり、観察者間の変動性の影響を受ける可能性のある癌の突出、陥没、及び硬さに基づく。拡大内視鏡検査は、食道癌の深達度と密接に関連している微小血管構造の明確な観察を可能にする。
　超音波内視鏡と拡大内視鏡による診断は、非拡大内視鏡による診断よりも客観的であるが、複雑であり、医師の専門知識に影響される。したがって、超音波内視鏡と拡大内視鏡の報告された癌の深達度の正確な精度は相反しており、満足のいくものではない。そのため、食道癌の癌侵襲深度をより客観的に簡単に診断する方法として、革新的なアプローチが求められている。
　本発明は、上記のような従来技術の課題を解決すべくなされたものである。すなわち、本発明の第１の目的は、消化器官の内視鏡画像を用い、ＣＮＮシステムを用いることによって、例えばＨ．ピロリ陽性及び陰性の症例のみでなく、Ｈ．ピロリ除菌された症例をも正確に同定することができる消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することにある。
　また、本発明の第２の目的は、消化器官の内視鏡画像を用い、ＣＮＮシステムを用いることによって、例えば結腸・直腸疾患の解剖学的部位を正確に特定することができる、消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することにある。
　また、本発明の第３の目的は、ＷＣＥによる小腸の内視鏡画像に基く、ＣＮＮシステムを用いた小腸のびらん／潰瘍や出血の有無ないし突出病変を正確に同定することができる小腸の疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
　さらに、本発明の第４の目的は、非拡大内視鏡及び拡大内視鏡を用いた食道内視鏡画像に基づく、表在食道ＳＣＣの深達度とその分類を行うことができる表在食道ＳＣＣの診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
　さらに、本発明の第５の目的は、食道胃十二指腸内視鏡（ＥＧＤ）検査画像に基づく、ＣＮＮシステムを用いた表在性咽頭癌の有無を正確に特定することができる、消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することにある。
　本発明の第１の態様の畳み込みニューラルネットワークシステム（以下、「ＣＮＮシステム」ということがある。）を用いた消化器官の内視鏡画像による疾患の診断支援方法は、ネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法であって、
　前記消化器官の第１の内視鏡画像と、
　前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、疾患の深達度の少なくとも１つの確定診断結果と、
を用いて前記ＣＮＮシステムを訓練し、
　前記訓練されたＣＮＮシステムは、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、疾患の深達度、又は、撮像された部位に対応する確率の少なくとも１つを出力することを特徴とする。
　かかる態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、ＣＮＮシステムが複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像からなる第１の内視鏡画像と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性又は陰性、重症度のレベル、もしくは、疾患の深達度の少なくとも１つの確定診断結果とに基いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、疾患の深達度、又は、撮像された部位に対応する確率のいずれか１つ以上を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになる。しかも、多数の被験者についての複数の消化器官の内視鏡画像からなるテストデータに対する疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、疾患の深達度、又は、撮像された部位に対応する確率の少なくとも１つを自動診断することができるため、内視鏡専門医によるチェック／修正が容易になるだけでなく、疾患と関連づけられた画像の集合を作成する作業の省略化も図ることができる。
　また、本発明の第２の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記第２の内視鏡画像は、それぞれが撮像された消化器官の部位に関連付けられていることを特徴とする。
　訓練されていないＣＮＮシステムでは、具体的な消化器官の内視鏡画像が如何なる部位の画像であるかを識別するのが困難な場合がある。第２の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、それぞれの部位によって分類された内視鏡画像を用いて訓練されたＣＮＮシステムとなっているので、ＣＮＮシステムに対し、それぞれの部位に応じたきめ細かい訓練が可能であるため、第２内視鏡画像に対する疾患の陽性及び陰性のそれぞれの陰性の確率、過去の疾患の確率、疾患の重症度のレベル、撮像された部位に対応する確率等の検出精度が向上する。
　また、本発明の第３の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第２の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位は、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つを含むことを特徴とする。
　第３の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、咽頭、食道、胃、十二指腸及び大腸の部位毎の分類が正確にできるので、それぞれの部位に対する疾患の陽性及び陰性のそれぞれの確率、過去の疾患の確率、疾患の重症度のレベル、撮像された部位に対応する確率等の検出精度が向上する。
　また、本発明の第４の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第３の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位は、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つにおいて複数箇所に区分されていることを特徴とする。
　消化器官はそれぞれ複雑な形状をしているため、部位の分類数が少ないと具体的な内視鏡画像が当該消化器官の如何なる部位の画像であるかを認識するのが困難な場合がある。第４の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、複数の消化器官のそれぞれにおいて複数箇所に区分されているので、短時間に高精度の診断結果を得ることができるようになる。
　また、本発明の第５の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第３又は第４の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位が胃であって、前記少なくとも１つの確定診断結果は、Ｈ．ピロリ感染陽性、Ｈ．ピロリ感染陰性及びＨ．ピロリ除菌のいずれかを含み、前記ＣＮＮは、Ｈ．ピロリ感染陽性の確率、Ｈ．ピロリ感染陰性の確率及びＨ．ピロリ除菌の確率の少なくとも一つを出力することを特徴とする。
　本発明の第５の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、極めて短時間で、かつ、日本消化器内視鏡学会専門医と同等の精度で被験者のＨ．ピロリ感染の陽性又は陰性のそれぞれの確率だけでなく、Ｈ．ピロリ除菌済である確率も出力することができ、別途確定診断を行わなければならない被験者を短時間で正確に選別することができるようになる。なお、確定診断は、選別された被験者に対して血液又は尿の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原検査、又は尿素呼気検査を行うことにより行うことができる。
　また、本発明の第６の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第４の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位が大腸であり、前記区分が終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つであり、前記ＣＮＮシステムは、前記第２の内視鏡画像が撮像された前記区分として、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする。
　また、本発明の第７の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第４の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位が大腸であって、前記区分が終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門であり、前記ＣＮＮは、前記第２の内視鏡画像が撮像された区分として、終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする。
　また、本発明の第８の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第４の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位が大腸であって、前記区分が終末回腸、盲腸－上行結腸－横行結腸からなる右側結腸、下行結腸－Ｓ字結腸－直腸からなる左側結腸及び肛門であり、前記ＣＮＮシステムは、前記第２の内視鏡画像が撮像された区分として、終末回腸、盲腸－上行結腸－横行結腸からなる右側結腸、下行結腸－Ｓ字結腸－直腸からなる左側結腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする。
　本発明の第６－８のいずれかの態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、大腸の区分毎の分類が正確にできるようになり、精密に検査しなければならない区分が理解しやすくなる。なお、大腸の区分の選択は、大腸疾患の出現傾向や出現頻度等を考慮し、それぞれの区分に対するＣＮＮシステムの感度及び特異性をも考慮し、適宜に選択すればよい。
　また、本発明の第９の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第３の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位が小腸であって、前記内視鏡画像がワイヤレスカプセル内視鏡（ＷＣＥ）画像であり、前記疾患がびらん及び潰瘍の少なくとも一つ又は突出病変であることを特徴とする。
　本発明の第９の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、多数の被験者についてのＷＣＥによる小腸の内視鏡画像に対して、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の小腸のびらん及び潰瘍の少なくとも一つ又は突出病変の陽性及び／又は陰性の領域及び確率を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになり、内視鏡専門医によるチェック／修正が容易になる。なお、かかる態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、小腸のＷＣＥ内視鏡画像ではびらんと潰瘍との区別が明確ではないが、これらの少なくとも一つを正確に自動的に選別することができるようになる。
　本発明の第１０の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第９の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記小腸の前記疾患の陽性又は陰性の確定診断結果は、前記第２の内視鏡画像内に前記疾患の陽性の領域として表示されたものであり、前記ＣＮＮシステムは、検出した前記疾患の陽性の領域を前記第２の内視鏡画像内に表示するとともに、前記第２の画像内に前記確率スコアを表示することを特徴とする。
　本発明の第１０の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、第２の内視鏡画像内に、内視鏡専門医による確定診断結果が得られた領域と、訓練されたＣＮＮシステムによって検出された疾患の陽性の領域とが正確に対比できるので、ＣＮＮの感度及び特異度をより良好なものとすることができるようになる。
　また、本発明の第１１の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１０の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記小腸の前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と、前記訓練されたＣＮＮシステムにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域との重なりにより、前記ＣＮＮシステムの診断結果の正誤を判定することを特徴とする。
　本発明の第１１の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、第２の内視鏡画像内に、内視鏡専門医による確定診断結果が得られた領域と、訓練されたＣＮＮシステムによって検出された疾患の陽性の領域とが表示されているので、それらの領域の重なり状態によって、直ちに訓練されたＣＮＮの診断結果に対比することができるようになる。
　また、本発明の第１２の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１０の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記重なりが、
（１）前記小腸の前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域の８０％以上である時、又は、
（２）前記ＣＮＮシステムにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域が複数存在するとき、いずれか一つの領域が前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と重なっている時、
　前記ＣＮＮシステムの診断は正しいと判定することを特徴とする。
　本発明の第１２の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、ＣＮＮシステムの診断の正誤を容易に判定することができるようになり、訓練されたＣＮＮシステムの診断の精度が向上する。
　また、本発明の第１３の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第９－１２のいずれかの態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記訓練されたＣＮＮシステムは、前記第２の画像内に、検出した前記疾患の陽性の領域とともに前記確率スコアを表示することを特徴とする。
　本発明の第１３の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、内視鏡専門医が、多数の被験者についてのＷＣＥによる小腸の内視鏡画像に対する小腸の疾患の陽性及び／又は陰性の領域及び確率スコアを、短時間で、正確に把握することができるようになり、内視鏡専門医によるチェック／修正が容易になる。
　本発明の第１４の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第３の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位が小腸であって、前記内視鏡画像がワイヤレスカプセル内視鏡画像であり、前記疾患が出血の有無であることを特徴とする。
　第１４の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、小腸の血液成分を含む画像と正常な粘膜画像とを正確にかつ高速に区別できるので、内視鏡専門医によるチェック／修正が容易になる。
　また、本発明の第１５の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第３の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位が食道であって、前記内視鏡画像が非拡大内視鏡画像又は拡大内視鏡画像であり、前記疾患が扁平上皮癌（ＳＣＣ）の深達度であることを特徴とする。さらに、本発明の第１６の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１５の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記小腸の前記疾患の陽性又は陰性の確定診断結果は、前記扁平上皮癌の深達度が粘膜上皮－粘膜固有層（ＥＰ－ＬＰＭ）、粘膜筋板（ＭＭ）、粘膜下層表面近傍（ＳＭ１）、粘膜下層中間部以深（ＳＭ２－）のいずれかであることを判定することを特徴とする。
　本発明の第１５又は第１６の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、食道の表在食道ＳＣＣの深達度を短時間で、正確に把握することができるため、表在食道ＳＣＣに対する内視鏡的切除術（ＥＲ）の適用性の判断を正確に行うことができるようになる。
　また、本発明の第１７の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、前記消化器官の部位が咽頭であって、前記内視鏡画像が食道胃十二指腸内視鏡検査画像であり、前記疾患が咽頭癌であることを特徴とする。
　本発明の第１７の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、通常の食道胃十二指腸内視鏡検査の際にも高感度かつ高精度に咽頭癌の存在を検知することができるようになる。
　また、本発明の第１８の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１７の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記内視鏡画像が白色光内視鏡画像であることを特徴とする。
　本発明の第１８の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、世界中で広く用いられている白色光内視鏡により得られた画像によって咽頭癌の存在を検知することができるため、練度の低い医師でも誤り少なく正確に咽頭癌の存在を検知することができるようになる。
　また、本発明の第１９の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１－１８のいずれかの態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記ＣＮＮは、さらにＸ線コンピュータ断層撮影装置、超音波コンピュータ断層撮影装置又は磁気共鳴画像診断装置からの３次元情報と組み合わされていることを特徴とする。
　Ｘ線コンピュータ断層撮影装置、超音波コンピュータ断層撮影装置又は磁気共鳴画像診断装置は、それぞれの消化器官の構造を立体的に表すことができるから、第１－１８のいずれかの態様におけるＣＮＮシステムの出力と組み合わせると、内視鏡画像が撮影された部位をより正確に把握することができるようになる。
　また、本発明の第２０の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１－１９のいずれかの態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする。
　第２０の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、入力された第２の内視鏡画像に対する消化器官の疾患陽性及び陰性のそれぞれの確率ないし重症度を短時間で出力することができるので、第２の内視鏡画像の入力形式によらず、例えば遠隔地から送信された画像であっても、動画であっても利用可能となる。なお、通信ネットワークとしては、周知のインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等を利用可能である。また、通信ネットワークを構成する伝送媒体も周知のＩＥＥＥ１３９４シリアルバス、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線回線、ＡＤＳＬ回線等の有線、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１等の無線、携帯電話網、衛星回線、地上波デジタル網等の無線等を利用できる。これらによって、いわゆるクラウドサービスや遠隔支援サービスの形態として利用可能である。
　また、コンピュータ読み取り可能な記録媒体としては、周知の磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク、ハードディスク等の磁気ディスク、コンパクトディスク－ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク－Ｒ等の光ディスクを含むディスク系、ＩＣカード、メモリカード、光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系等を用いることができる。これらによって、いわゆる医療機関や検診機関に簡便にシステムを移植又は設置できる形態を提供することができる。
　さらに、本発明の第２１の態様の消化器官の内視鏡画像による疾患の診断支援システムは、
　内視鏡画像入力部と、出力部と、ＣＮＮプログラムが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による疾患の診断支援システムであって、
　前記コンピュータは、
　消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
　前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、過去の疾患、重症度のレベル、もしくは、疾患の深達度の少なくとも１つの確定診断結果を記憶する第２の記憶領域と、
　前記ＣＮＮプログラムを記憶する第３の記憶領域と、
を備え、
　前記ＣＮＮプログラムは、
　前記第１の記憶部に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、
　前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、疾患の深達度、又は、撮像された部位に対応する確率の少なくとも１つを前記出力部に出力することを特徴とする。
　また、本発明の第２２の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２１の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていることを特徴とする。
　また、本発明の第２３の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２２の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位は、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つを含むことを特徴とする。
　また、本発明の第２４の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２３の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位は、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つにおいて複数箇所に区分されていることを特徴とする。
　また、本発明の第２５の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２３又は２４の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が胃であって、前記ＣＮＮプログラムは、Ｈ．ピロリ感染陽性の確率、Ｈ．ピロリ感染陰性の確率及びＨ．ピロリ除菌の確率の少なくとも一つを出力する。
　また、本発明の第２６の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２３又は２４の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が大腸であり、前記区分が終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つであり、前記ＣＮＮプログラムは、前記第２の内視鏡画像が撮像された前記区分として、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする。
　また、本発明の第２７の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２３又は２４の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が大腸であって、前記区分が終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つであり、前記ＣＮＮプログラムは、前記第２の内視鏡画像が撮像された部位として、終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする。
　また、本発明の第２８の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２３又は２４の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が大腸であって、前記区分が終末回腸、盲腸－上行結腸－横行結腸からなる右側結腸、下行結腸－Ｓ字結腸－直腸からなる左側結腸及び肛門であり、前記訓練されたＣＮＮプログラムは、前記第２の内視鏡画像が撮像された部位として、終末回腸、盲腸－上行結腸－横行結腸からなる右側結腸、下行結腸－Ｓ字結腸－直腸からなる左側結腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする。
　また、本発明の第２９の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２３の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が小腸であって、前記内視鏡画像がワイヤレスカプセル内視鏡画像であり、前記訓練されたＣＮＮプログラムは、前記内視鏡画像入力部から入力されたワイヤレスカプセル内視鏡画像のびらん及び潰瘍の少なくとも一つ又は突出病変の確率スコアを出力することを特徴とする。
　また、本発明の第３０の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第２９の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記訓練されたＣＮＮプログラムは、検出した前記びらん及び潰瘍の少なくとも一つ又は突出病変の確率スコアを前記第２の内視鏡画像内に表示することを特徴とする。
　また、本発明の第３１の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第２９の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第２の内視鏡画像内には、前記小腸の前記疾患の陽性又は陰性の確定診断結果に基いて前記疾患の陽性の領域として表示され、前記訓練されたＣＮＮプログラムは、前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と、前記訓練されたＣＮＮプログラムにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域との重なりにより、前記訓練されたＣＮＮプログラムの診断結果の正誤を判定することを特徴とする。
　また、本発明の第３２の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第３１の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、
　前記重なりが、
（１）前記小腸の前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域の８０％以上である時、又は、
（２）前記訓練されたＣＮＮプログラムにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域が複数存在するとき、いずれか一つの領域が前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と重なっている時、
　前記訓練されたＣＮＮプログラムの診断は正しいと判定することを特徴とする。
　また、本発明の第３３の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第２９－３２のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記訓練されたＣＮＮプログラムは、前記第２の画像内に、検出した前記疾患の陽性の領域とともに前記確率スコアを表示することを特徴とする。
　また、本発明の第３４の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第２３の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が小腸であって、前記内視鏡画像がワイヤレスカプセル内視鏡画像であり、前記訓練されたＣＮＮプログラムは前記第２の画像内に前記疾患としての出血の有無の確率を表示することを特徴とする。
　また、本発明の第３５の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第２３の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が食道であって、前記内視鏡画像が非拡大内視鏡画像又は拡大内視鏡画像であり、前記訓練されたＣＮＮプログラムは前記第２の画像内に前記疾患としての扁平上皮癌の深達度を表示することを特徴とする。
　また、本発明の第３６の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第３５の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記訓練されたＣＮＮプログラムは、前記第２の画像内に前記扁平上皮癌の深達度が粘膜上皮－粘膜固有層、粘膜筋板、粘膜下層表面近傍、粘膜下層中間部以深のいずれかであることを表示することを特徴とする。
　また、本発明の第３７の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第２３の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が咽頭であって、前記内視鏡画像が食道胃十二指腸内視鏡画像であり、前記疾患が咽頭癌であることを特徴とする。
　また、本発明の第３８の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第３７の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記内視鏡画像が白色光視鏡画像であることを特徴とする。
　また、本発明の第３９の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２１－３８のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記ＣＮＮプログラムは、さらにＸ線コンピュータ断層撮影装置、超音波コンピュータ断層撮影装置又は磁気共鳴画像診断装置からの３次元情報と組み合わされていることを特徴とする。
　また、本発明の第４０の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２１－３９のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする。
　本発明の第２１－４０のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムによれば、それぞれ第１－２０のいずれかの態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法と同様の効果を奏することができる。
　さらに、本発明の第４１の態様の消化器官の内視鏡画像による診断支援プログラムは、第２１－４０のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおける各手段としてコンピュータを動作させるためのものであることを特徴とする。
　本発明の第４１の態様の消化器官の内視鏡画像による診断支援プログラムによれば、第２１－４０のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおける各手段としてコンピュータを動作させるための、消化器官の内視鏡画像による診断支援プログラムを提供することができる。
　また、本発明の第４２の態様のコンピュータ読み取り可能な記録媒体は、第４１の態様の消化器官の内視鏡画像による診断支援プログラムを記録したことを特徴とする。
　本発明の第４２の態様の消化器官の内視鏡画像によるコンピュータ読み取り可能な記録媒体によれば、第４１の態様の消化器官の内視鏡画像による診断支援プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することができる。
　以上述べたように、本発明によれば、ＣＮＮを組み込んだプログラムが複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性又は陰性の確定診断結果とに基いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の消化器官の疾患の陽性及び／又は陰性の確率、疾患の重症度のレベル、疾患の深達度等を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになる。
図１ＡはＨ．ピロリ感染の陽性の場合の胃内視鏡画像例であり、図１ＢはＨ．ピロリ感染の陰性の場合の胃内視鏡画像例であり、図１ＣはＨ．ピロリ除菌後の胃内視鏡画像例である。 胃の主要な解剖学的部位を示す図である。 GoogLeNetの動作を示す模式概念図である。 実施形態１のＣＮＮ構築用の検証用データセット用の患者の選別を示す図である。 大腸の主要な解剖学的部位を示す図である。 実施形態２のＣＮＮシステム構築用のフローチャートの概略図である。 実施形態２の代表的な大腸内視鏡画像とＣＮＮにより認識された各部位の確率スコアを示す図である。 図８Ａ－図８Ｆは、それぞれ順に終末回腸、盲腸、上行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の受信機動作特性（ＲＯＣ）曲線を示す図である。 図９Ａは肛門と正しく認識された画像と各部位の確率スコアを示す図であり、図９Ｂは肛門と誤認識された終末回腸の画像と各部位の確率スコアを示す図である。 図１０Ａは盲腸と正しく認識された画像と各部位の確率スコアを示す図であり、図１０Ｂは終末回腸と誤認識された盲腸の画像と各部位の確率スコアを示す図である。 実施形態３のＣＮＮシステム構築用のフローチャートの概略図である。 実施形態３のＣＮＮによるＲＯＣ曲線の一例を示す図である。 図１３Ａ－図１３Ｄは、実施形態３のＣＮＮによって正しく診断された代表的な小腸内視鏡画像とＣＮＮにより認識された特定部位の確率スコアを示す図である。 図１４Ａ－図１４Ｅは実施形態３のＣＮＮによってそれぞれ順に暗さ、側方性、泡、破片、血管拡張に基いて偽陽性と診断された画像の例であり、図１４Ｆ－図１４Ｈは真のびらんであるが偽陽性と診断された画像の例である。 実施形態４のＣＮＮシステム構築用のフローチャートの概略図である。 実施形態４のＣＮＮによるＲＯＣ曲線の一例を示す図である。 図１７Ａ－図１７Ｅは、それぞれ実施形態4のＣＮＮによってポリープ、結節、上皮腫瘍、粘膜下腫瘍及び静脈構造の５つのカテゴリーに正しく検出及び分類された代表的な領域を示す図である。 図１８Ａ－図１８Ｃは、全て実施形態４のＣＮＮによって正しく検出できなかった一人の患者の画像の例である。 偽陽性画像中、内視鏡専門医が真の突出病変であると診断した画像の例である。 実施形態５のＣＮＮシステム構築用のフローチャートの概略図である。 実施形態５のＣＮＮによるＲＯＣ曲線の一例を示す図である。 図２２Ａは実施形態５のＣＮＮシステムによって正しく分類された代表的な血液を含む画像であり、同じく図２２Ｂは正常粘膜画像を示す画像である。 図２３ＡはＳＢＩによって血液成分を含むものとして正しく分類された画像であり、図２３Ｂは赤色領域推定表示機能（ＳＢＩ）によって正常粘膜として誤って分類された画像である。 実施形態６のＣＮＮを適用する食道の表在性扁平上皮癌（ＳＣＣ）の深達度とその分類との関係を説明する概略断面図である。 図２５Ａ－図２５Ｄは、それぞれ実施形態７のＣＮＮシステムによって正しく咽頭癌と分類された代表的な画像の例である。 図２６Ａ－図２６Ｆは、それぞれ実施形態７のＣＮＮシステムによって擬陽性と分類された代表的な画像の例である。 実施形態７のＣＮＮシステムによるＷＬＩ及びＮＢＩの感度及び陽性的中率を示すグラフである。 図２８Ａ－図２８Ｄは、それぞれ実施形態７のＣＮＮシステムによって偽陰性と分類された画像の例である。 実施形態８のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法のブロック図である。 実施形態９の消化器官の内視鏡画像による疾患の診断支援システム、消化器官の内視鏡画像による診断支援プログラム、及び、コンピュータ読み取り可能な記録媒体についてのブロック図である。
　以下、本発明に係る消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、Ｈ．ピロリ感染胃炎の場合及び大腸の部位別認識の場合を例にとって詳細に説明する。ただし、以下に示す実施形態は、本発明の技術思想を具体化するための例を示すものであって、本発明をこれらの場合に特定することを意図するものではない。すなわち、本発明は特許請求の範囲に含まれるその他の実施形態のものにも等しく適応し得るものである。また、本発明において、画像という用語には、静止画像だけでなく、動画も含まれる。
［実施形態１］
　実施形態１では、本発明の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、Ｈ．ピロリ感染胃炎の場合に適用した例を説明する。発明者の一人が属する医院において、延べ３３人の内視鏡検査医が白色光による通常の倍率の内視鏡を用い、食道胃十二指腸内視鏡（以下、「ＥＧＤ」ということがある。）検査を行った。ＥＧＤの適応症は、様々な上腹部症状、胃の病気に対するバリウム検査の陽性結果、異常な血清ペプシノゲンのレベル、胃や十二指腸の既往症又はスクリーニングに関するプライマリケア医からの紹介であった。
　標準的なＥＧＤ用内視鏡（ＥＶＩＳ　ＧＩＦ－ＸＰ２９０Ｎ、ＧＩＦ－ＸＰ２６０、ＧＩＦ－ＸＰ２６０ＮＳ、ＧＩＦ－Ｎ２６０；オリンパスメディカルシステムズ社、東京）で白色光を用いて画像を撮影し、ＥＧＤを行った。得られた画像は通常の倍率の画像であり、拡大された画像は使用していない。
　全ての患者は、Ｈ．ピロリ感染の有無の検出のための検査を受けた。その検査は、血液又は尿中の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原測定及び尿素呼気試験の少なくとも一つであった。そして、これらの検査のいずれかにおいて陽性反応を示した患者は、Ｈ．ピロリ陽性と分類された。Ｈ．ピロリ陽性と診断されなかった患者において、Ｈ．ピロリ除菌治療を受けた経験がなかった者はＨ．ピロリ陰性と分類された。また、過去にＨ．ピロリ除菌治療を受け、既に除菌に成功した患者はＨ．ピロリ除菌と分類された。図１に、得られた典型的な胃部内視鏡画像を示す。なお、図１ＡはＨ．ピロリ陽性と診断された画像の例であり、図１ＢはＨ．ピロリ陰性と診断された画像の例であり、図１ＣはＨ．ピロリ除菌後の画像の例である。
［データセットについて］
　２０１５年１２月－２０１７年４月にかけて行われた５，２３６人のＥＧＤの画像を遡及的にレビューすることにより、ＣＮＮベースの診断システムの訓練及び検証に使用するデータセット（それぞれ「訓練用データセット」及び「検証用データセット」といい、両者纏めて「訓練／検証用データセット」という。また、訓練及び検証の両者を纏めて「訓練／検証」ということがある。）を用意した。胃癌、潰瘍、又は粘膜下腫瘍の存在又は病歴を有する患者のデータは、訓練／検証用データセットから除外した。Ｈ．ピロリ陽性、Ｈ．ピロリ陰性又はＨ．ピロリ除菌と診断された胃の画像は、胃内の食物残渣、出血及びハレーションによる不明瞭な画像を除外するために、内視鏡専門医によってさらにスクリーニングされた。また、評価対象となる内視鏡画像データセット（「テストデータセット」という。）も用意した。なお、この「訓練／検証用データ」が本発明の「第１の内視鏡画像」に対応し、「テストデータ」が本発明の「第２の内視鏡画像」に対応する。
　表１に示したように、Ｈ．ピロリ陽性と判定された７４２人、Ｈ．ピロリ陰性と判定された３，４６９人及びＨ．ピロリ除菌と判定された８４５人の患者から得られた９８，５６４枚の画像を訓練用データセット用に調製した。９８，５６４枚の内視鏡画像を、０－３５９°の間でランダムに回転させ、周囲の黒い枠部分をトリミングして削除し、適宜に０．９－１．１倍のスケールで縮小ないし拡大し、画像数を増加させた。このような画像数の増加は、回転、拡大、縮小、画素数の変更、明暗部の抽出又は色調変化部位の抽出の少なくとも１つを含み、ツールによって自動的に行うことができる。なお、狭帯域画像などの強調された画像を除外し、通常の倍率を有する通常の白色光画像のみが含まれるようにしてもよい。次いで、胃の７箇所（噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞及び幽門、図２参照）にしたがって分類された画像を用いてＣＮＮシステムを構築した。
［検証用データセットの準備］
　上述した訓練用データセットを用いて構築された実施形態１のＣＮＮシステムと内視鏡検査医との診断精度を評価するために、検証用データセットを準備した。発明者の一人が属する医院において、２０１７年５月から６月にかけて内視鏡検査を行った８７１人の患者の画像データのうち、Ｈ．ピロリの感染状況が不明である２２人及び胃切除術を受けた２人の画像データを除外し、最終的に８４７人の患者（それぞれ７０人のＨ．ピロリ陽性、４９３人のＨ．ピロリ陰性及び２８４人のＨ．ピロリ除菌）からの合計２３，６９９枚の画像を含んでいた（図３参照）。
　これらの患者の人口統計学的特徴及び画像の特徴を表１に示した。
Figure JPOXMLDOC01-appb-T000001
　臨床診断は、糞便抗原検査によるものが２６４人（３１％）、尿中の抗Ｈ．ピロリＩｇＧレベルによるものが１２６人（１５％）であった。６３人（７％）の症例で複数の診断検査が行われた。訓練データセットと検証用データセットの間に重複はない。
［訓練／検証・アルゴリズム］
　ＣＮＮベースの診断システムを構築するため、Szegedyらによって開発された最先端のディープラーニングニューラルネットワークの開発基盤として、バークレー・ビジョン・ラーニング・センター（ＢＶＬＣ）で最初に開発されたCaffeフレームワークを利用し、畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャとして２２層からなるGoogLeNet（https://arxiv.org/abs/1409.4842）を使用した。
　本実施形態１で用いたＣＮＮシステムは、図４に示したように、バックプロパゲーション（Backpropagation：誤差逆伝播法）を用いて訓練されている。ＣＮＮの各層は、AdaDelta（https://arxiv.org/abs/1212.5701）を使用し、グローバル学習率が0.005で確率的最適化が行われている。全ての画像をGoogLeNetと互換性を持たせるために、各画像を２４４×２４４ピクセルにリサイズした。また、ImageNetを通して自然画像の特徴量を学んだ訓練済みのモデルを訓練開始時の初期値として使用した。ImageNet（http://www.image-net.org/）は、２０１７年当初で１，４００万点以上もの画像が収載されているデータベースである。この訓練手法は転移学習と呼ばれ、教師データが少ない場合でも有効であることが認められている。なお、実施形態１のＣＮＮシステムでは、ＣＰＵとしてINTEL社のCore i7-7700Kを使用し、グラフィックス処理装置用ＧＰＵとしてNVIDEA社のGeForce GTX 1070を使用した。
［評価アルゴリズム］
　訓練／検証された実施形態１のＣＮＮシステムは、入力された画像に対してのＨ．ピロリ陽性、Ｈ．ピロリ陰性及びＨ．ピロリ除菌の診断結果として、０から１の間の確率値（ＰＳ）を出力する。Ｈ．ピロリ陽性の確率スコアをＰｐ、Ｈ．ピロリ陰性の確率スコアをＰｎ、Ｈ．ピロリ除菌の確率スコアをＰｅと表すと、Ｐｐ＋Ｐｎ＋Ｐｅ＝１となる。この３つの確率値の最大値をとるものが最も確からしい「ＣＮＮの診断」として選択された。
　全ての患者情報は、患者の匿名性を維持するためのデータ分析の前に削除された。この研究は、日本医師会制度審査委員会（ID JMA-IIA00283）の承認を得て、ヘルシンキ宣言の下で実施された。
　実施形態１で測定されたＣＮＮシステムによる診断結果と臨床検査による診断結果との関係を表２に纏めて示した。
Figure JPOXMLDOC01-appb-T000002
　全２３，６９９枚の画像の中で、ＣＮＮシステムは４１８枚の画像をＨ．ピロリ陽性と診断し、２３，０３４枚の画像をＨ．ピロリ陰性と診断し、さらに２４７枚の画像をＨ．ピロリ除菌と診断した。ＣＮＮシステムが全画像をＨ．ピロリ陰性と診断した６５５人中、臨床検査では４６６人（７１％）が同様にＨ．ピロリ陰性と診断されたが、２２人（３％）がＨ．ピロリ陽性と診断され、１６７人（２５％）がＨ．ピロリ除菌と診断された。
　また、ＣＮＮシステムが少なくとも１画像を「Ｈ．ピロリ陽性又は除菌」と診断した１９２人中、臨床検査では４８人（２５％）がＨ．ピロリ陽性、１１７人（６１％）がＨ．ピロリ除菌、計１６５人（８６％）が同様に「Ｈ．ピロリ陽性又は除菌」と診断されたが、２７人（１４％）はＨ．ピロリ陰性と診断された。さらに、ＣＮＮシステムが少なくとも１画像についてＨ．ピロリ除菌と診断した１１９人中、臨床検査では８３人（７０％）が同様にＨ．ピロリ除菌と診断されたが、１６人（１３％）がＨ．ピロリ陰性と診断され、２０人（１７％）がＨ．ピロリ陽性と診断された。なお、ＣＮＮシステムが２３，６６９枚の画像を診断するのに掛かった時間は２６１秒である。
　表２に示した結果から、以下のことが分かる。すなわち、ＣＮＮを用いた胃内視鏡画像によるＨ．ピロリ感染状態の診断に際しては、ＣＮＮ構築用の訓練／検証用データセットとして、臨床検査によりＨ．ピロリ陽性及び陰性と診断された画像だけでなく、Ｈ．ピロリ除菌と診断された画像も含めて構築することにより、短時間で「Ｈ．ピロリ陽性又は除菌」の症例を抽出するのに有用であることが分かる。さらに、このＣＮＮに基づくスクリーニングシステムは、臨床実践に導入するのに十分な感度と特異度を有しており、内視鏡検査時に撮影された画像（テストデータ）のスクリーニングに際する内視鏡専門医の作業負荷を著しく低減することができることを示している。
　この実施形態１のＣＮＮによれば、疲労なしにＨ．ピロリ感染のスクリーニング時間をずっと短くすることができ、内視鏡検査後すぐに報告結果が得られるようになる。これにより、世界中で解決すべき大きな課題である内視鏡検査医のＨ．ピロリ感染診断の負担軽減と医療費の削減に貢献することができる。さらに、この実施形態１のＣＮＮによるＨ．ピロリ診断は、内視鏡検査時の画像を入力すれば直ぐに結果が得られるため、完全に「オンライン」でＨ．ピロリ診断補助を行うことができ、いわゆる「遠隔医療」として地域による医師の分布の不均一性の問題を解決することができるようになる。
　我が国においては、特に高齢者ではＨ．ピロリ感染が多く、２０１３年２月にＨ．ピロリ感染による胃炎患者に対するＨ．ピロリ除菌療法に対して健康保険が適用されるようになり、実際にはこのＨ．ピロリ除菌療法はＨ．ピロリ感染患者を対象として広く採用されるようになっている。さらに、２０１６年に開始された胃癌の内視鏡画像によるマススクリーニングでは、大量の内視鏡画像が処理されており、より効率的な画像スクリーニング法が必要とされている。実施形態１で得られた結果は、大量の保存画像をこのＣＮＮを用いて、内視鏡検査者の評価なしでも、Ｈ．ピロリ感染のスクリーニングを大きく助けることができ、さらなる試験によりＨ．ピロリ感染の確認につながるとともに最終的にはＨ．ピロリ除菌に至る可能性があることを示唆している。しかも、Ｈ．ピロリ感染状況に対するＣＮＮの診断能力は、胃の各部位の分類を加えることにより向上するが、胃癌の診断能力もＨ．ピロリ感染状況の情報を追加することにより改善される。
　なお、実施形態１では、ＣＮＮのアーキテクチャとしてGoogLeNetを使用した例を示したが、ＣＮＮのアーキテクチャは日々進化しており、最新のものを採用するとより良好な結果が得られる場合がある。また、ディープラーニングフレームワークとして同じくオープンソースのCaffeを使用したが、他にCNTK、TensorFlow、Theano、Torch、MXNet等を使用し得る。さらに、最適化手法としてAdamを使用したが、他に周知のＳＧＤ（Stochastic Gradient Descent：確率的勾配降下法）法、ＳＧＤに慣性項（Momentum）を付与したMomentumSGV法、AdaGrad法、AdaDelta法、NesterovAG法、RMSpropGraves法等を適宜に選択して使用し得る。
　以上述べたように、実施形態１のＣＮＮシステムによる胃の内視鏡画像によるＨ．ピロリ感染の診断精度は、内視鏡検査医に匹敵した。したがって、実施形態１のＣＮＮシステムは、スクリーニング又はその他の理由により、得られた内視鏡画像からＨ．ピロリ感染患者を選別するのに役立つ。また、Ｈ．ピロリ除菌後の画像をＣＮＮシステムに学習させたので、Ｈ．ピロリが除菌できたかどうかの判定にも使える。
［診断支援システム］
　実施形態１の診断支援システムとしてのＣＮＮを組み込んだコンピュータは、基本的に、内視鏡画像入力部と、記憶部（ハードディスクないし半導体メモリ）と、画像解析装置と、判定表示装置と、判定出力装置とを備えている。他に、直接内視鏡画像撮像装置を備えているものであってもよい。また、このコンピュータシステムは、内視鏡検査施設から離れて設置され、遠隔地から画像情報を得て中央診断支援システムとしたり、インターネット網を介したクラウド型コンピュータシステムとしても稼働させることができる。
　このコンピュータは、内部の記憶部に、複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像を記憶する第１の記憶領域と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性又は陰性の確定診断結果を記憶する第２の記憶領域と、ＣＮＮプログラムを記憶する第３の記憶領域と、を備えることになる。この場合、複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像は数が多くてデータ量が大きくなること、ＣＮＮプログラムの作動時に大量のデータ処理が行われることから、並列処理とすることが好ましく、また、大容量の記憶部を有することが好ましい。
　近年、ＣＰＵやＧＰＵの能力の向上が著しく、実施形態１で使用した診断支援システムとしてのＣＮＮプログラムを組み込んだコンピュータは、ある程度高性能な市販のパーソナルコンピュータを使用した場合であれば、Ｈ．ピロリ感染胃炎診断システムとしても、１時間に３０００症例以上を処理でき、１枚の画像については約０．２秒で処理することができる。そのため、内視鏡で撮影中の画像データを実施形態１で使用したＣＮＮプログラムを組み込んだコンピュータに与えることにより、リアルタイムでのＨ．ピロリ感染判定も可能となり、世界中や僻地から送信された胃内視鏡画像はもちろんのこと、たとえそれが動画であっても、遠隔で診断可能となる。特に、近年のコンピュータのＧＰＵは性能が非常に優れているので、実施形態１のＣＮＮプログラムを組み込むことにより、高速かつ高精度の画像処理が可能となる。
　また、実施形態１の診断支援システムとしてのＣＮＮプログラムを組み込んだコンピュータの入力部に入力する被験者の消化器官の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像又はコンピュータ読み取り可能な記録媒体に記録された画像とすることができる。すなわち実施形態１の診断支援システムとしてのＣＮＮプログラムを組み込んだコンピュータは、短時間で入力された被験者の消化器官の内視鏡画像に対して消化器官の疾患陽性及び陰性のそれぞれの確率を出力することができるので、被験者の消化器官の内視鏡画像の入力形式によらず利用可能となる。
　なお、通信ネットワークとしては、周知のインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等を利用可能である。また、通信ネットワークを構成する伝送媒体も周知のＩＥＥＥ１３９４シリアルバス、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線回線、ＡＤＳＬ回線等の有線、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１等の無線、携帯電話網、衛星回線、地上波デジタル網等の無線等を利用できる。また、コンピュータ読み取り可能な記録媒体としては、周知の磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク、ハードディスク等の磁気ディスク、コンパクトディスク－ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク－Ｒ等の光ディスクを含むディスク系、ＩＣカード、メモリカード、光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系等を用いることができる。
［実施形態２］
　実施形態２では、本発明の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、大腸の部位別分類に適用した例を説明する。大腸の各部位は、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門からなる。なお、大腸の主要な解剖学的分類を図５に示した。実施形態２では、これらの部位別の画像を自動的に区別できるように、ＣＮＮシステムを訓練及び検証した。
　発明者の一人が属する医院において、２０１７年１月から２０１７年１１月にかけて、全大腸内視鏡検査（ＣＳ）を受けた患者の臨床データを回顧的にレビューした。ＣＳを実施した理由は、腹痛、下痢、陽性糞便免疫化学検査、同一医院における過去のＣＳのフォローアップ、単なるスクリーニングなどであった。結腸・直腸の解剖学的部位を正確に特定するため、十分に空気が吹き込まれた、結腸・直腸の部位を特定できた正常な結腸・直腸画像のみを用いた。除外された画像は、結腸・直腸ポリープ、癌及び生検跡のようなものが大部分を占めており、重度の炎症又は出血を有するものも除外された。また、通常の倍率の白色光画像又は強調画像のみが含まれていた。
　このＣＳ法で撮影された画像は、標準的な大腸内視鏡（ＥＶＩＳ　ＬＵＣＥＲＡ　ＥＬＩＴＥ，ＣＦ　ＴＹＰＥ　Ｈ２６０ＡＬ／Ｉ，ＰＣＦ　ＴＹＰＥ　Ｑ２６０ＡＩ，Ｑ２６０ＡＺＩ，Ｈ２９０Ｉ，及びＨ２９０ＺＩ，オリンパスメディカルシステムズ、東京、日本）を用いて撮影された。回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸及び肛門の画像をＣＳ中に撮影し、それぞれのＣＳ中に平均２４枚の画像を得た。
　なお、ＣＮＮシステムを訓練／検証するために、アルゴリズムの開発に先立って画像に付随する全患者情報を匿名化した。実施形態２のＣＮＮに関与した内視鏡医のいずれも、識別可能な患者情報にアクセスすることができないようにした。このＣＮＮシステムの訓練／検証は、匿名化されたデータを使用した後ろ向き調査であったため、患者の同意書についてはオプトアウトアプローチを採用した。この研究は、日本医師会倫理審査委員会（ID：JMA-IIA00283）の承認を得た。
　実施形態２のＣＮＮシステムのフローチャートの概要を図６に示す。ここではＣＮＮシステムを終末回腸、盲腸、上行及び横行結腸、下行及びＳ字結腸、直腸、肛門及び分類不能の７つのカテゴリーに訓練／検証するために、内視鏡専門医によって画像を分類した。訓練／検証のための全ての画像は、ＣＮＮシステムを訓練／検証する前に少なくとも２人の内視鏡専門医によって分類をチェックされた。訓練／検証用データセットは、終末回腸、盲腸、上行及び横行結腸、下行及びＳ字結腸、直腸及び肛門の６つのカテゴリーに分類された。訓練／検証用データセットには分類不能な画像は含まれていなかった。
　従来、結腸・直腸ポリープに対するＡＩシステムを構築するために必要な画像データは５，０００枚以下の画像で訓練することにより行われていた。そこで、十分なデータ量を確保するため、約１０，０００枚の画像を基に実施形態２のＣＮＮシステムを構築することを目指した。２０１７年１月から２０１７年３月までに収集された４０９人の画像９９９５枚を訓練用画像として用意し、２０１７年１１月に取得した１１８人の画像５１２１枚を検証用画像セットに用いた（表３参照）。両方の画像セットの各解剖学的部位の画像数を表４に示した。
Figure JPOXMLDOC01-appb-T000003
Figure JPOXMLDOC01-appb-T000004
　このようにして得られた実施形態２の訓練／検証用データセットは、GoogLeNetと互換性を持たせるために、全ての画像のサイズが２４４×２４４ピクセルにリサイズされている。そして、実施形態２で用いたＣＮＮシステムは、実施形態１のＣＮＮシステムと同様のものを用いて訓練した。
　実施形態２のＣＮＮシステムは、訓練／検証用の画像について、各画像の部位毎の確率スコア（ＰＳ）を出力する。確率スコアは０－１（０－１００％）の範囲であり、画像が属する大腸の部位の確率を表している。ＣＮＮシステムは、各画像を７つの部位毎（終末回腸、盲腸、上行及び横行結腸、下行及びＳ字結腸、直腸、肛門及び分類不能）の確率スコアを算出する。確率スコアの最高値を得た解剖学的部位が画像の部位として割り当てられる。なお、大腸の部位は、それぞれの組織の類似性から、盲腸、上行結腸及び横行結腸を纏めて右側結腸と、下行結腸、Ｓ字結腸及び直腸を左側結腸とし、終末回腸、右側結腸、左側結腸及び肛門の４部位に分類することもある。
　例えば、図７の左側の大腸内視鏡画像は上行－横行結腸画像の例であるが、ＣＮＮシステムは、上行－横行結腸の確率スコアが９５％と判断したが、下行－Ｓ字結腸の確率スコアが５％であるとも判断した例を示している。結果として、ＣＮＮシステムは図７の左側の大腸内視鏡画像を上行－横行結腸であると割り当てている。
　実施形態２のＣＮＮシステムによる主要な目的は、大腸内視鏡画像のＣＮＮシステムによる解剖学的分類の感度及び特異度を求めることである。受信機動作特性（ＲＯＣ）曲線を各部位について描き、GraphPad Prism 7（GraphPad software、Inc、California、U.S.A）によりＲＯＣ曲線の下側部分の面積（ＡＵＣ）を算出した。実施形態２のＣＮＮシステムによって作成された大腸の部位別のＲＯＣ曲線を図８に示した。なお、図８Ａ－図８Ｆは、それぞれ順に終末回腸、盲腸、上行結腸、下行結腸、Ｓ字結腸、直腸及び肛門のＲＯＣ曲線を示す図である。
　実施形態２で構築されたＣＮＮシステムは、検証用データセットの画像の６６．６％（３，４１０枚／５，１２１枚）を正しく認識した。表５は、ＣＮＮシステムが画像に提割り当てた確率スコアによる正しい認識率を示す。
Figure JPOXMLDOC01-appb-T000005
　ＣＮＮシステムは、確率スコアが９９％を超える画像については、全画像（５，１２１枚）中１０％（５０７枚）を割り当てたが、そのうち４６５枚（正しく分類されたものの１４％）が臨床診断により正しく分類されたものであり、精度は９１．７％であった。
　同じく、ＣＮＮシステムは、確率スコアが９０％を越え、９９％以下の画像については、全画像中２５％（１，２９６枚）を割り当てたが、そのうち１，０３９枚（正しく分類されたものの３０％）が臨床診断により正しく分類されたものであり、精度は８０．２％であった。同じく、ＣＮＮシステムは、確率スコアが７０％を超え、９０％以下の画像については、全画像中３０％（１，５４９枚）を割り当てたが、そのうち１，００９枚（正しく分類されたものの３０％）が臨床診断により正しく分類されたものであり、精度は６５．１％であった。
　同じく、ＣＮＮシステムは、確率スコアが５０％を超え、７０％以下の画像については、全画像中２７％（１，３９７枚）を割り当てたが、そのうち７６１枚（正しく分類されたものの２２％）が臨床診断により正しく分類されたものであり、精度は５４．５％であった。さらに、ＣＮＮシステムは、確率スコアが５０％以下の画像については、全画像中７％（３７２枚）を割り当てたが、そのうち１３６枚（正しく分類されたものの４％）が臨床診断により正しく分類されたものであり、精度は３６．６％であった。
　表６は、臨床診断により分類された解剖学的部位毎のＣＮＮシステムの出力の分布を示す。ここでは、「分類不能」に分類された画像はなかった。
Figure JPOXMLDOC01-appb-T000006
　実施形態２で構築されたＣＮＮシステムは、肛門の画像９１．４％の最も高い感度で認識し、次いで、下行結腸及びＳ字結腸を９０．０％の次に高い感度で、終末回腸を６９．４％の感度で、上行結腸及び横行結腸を５１．１％の感度で、さらに盲腸を４９．８％の感度で認識したが、直腸は２３．３％の最も低い感度でしか認識できなかった。また、それぞれの解剖学的部位に対する特異度は、下行結腸及びS状結腸の部位（６０．９％）を除いて９０％以上であった。なお、実施形態２で構築したＣＮＮシステムは、各解剖学的部位について０．８を超えるＡＵＣ値を有する画像を認識した。
　表７は、盲腸、上行結腸及び横行結腸を「右側結腸」と表し、下行結腸、Ｓ字結腸及び直腸を「左側結腸」と表した場合の、実施形態２で構築したＣＮＮシステムの終末回腸、右側結腸、左側結腸及び肛門の出力分布を示す。左側結腸は、９１．２％の高い感度及び６３．％の比較的低い特異性を示したが、回腸末端、右側結腸及び肛門は逆の結果を示した。
Figure JPOXMLDOC01-appb-T000007
　次に、各解剖学的部位について、特定の確率スコア毎、すなわち、７０％≧ＰＳ＞６０％、８０％≧ＰＳ>７０％、９０％≧ＰＳ>８０％及びＰＳ＞９０％の４区分に従って、感度及び特異度を計算した。計算結果を表８に示した。
Figure JPOXMLDOC01-appb-T000008
　表８に示した結果によると、直腸を除くすべての部位に関し、全ての確率スコアにおいて、確率スコアが高いほど感度及び特異度が高くなっていた。しかし、直腸では、確率スコアが高い程特異度は高くなっていたが、感度は確率スコアの傾向とは一致していなかった。
　実施形態２のＣＮＮシステムによって誤って認識された１，７１１枚（全画像数－正常判定数＝５，１２１－３，４１０＝１，７１１、表５参照）の画像をレビューした。実施形態２のＣＮＮシステムは、全画像の１７．５％（２９９枚／１，７１１枚）を間違って認識し、確率スコアは０．９以上であった。図９及び図１０に、実施形態２のＣＮＮシステムによって間違って認識された画像の典型的な例を示す。図９Ａは肛門と正しく認識された内視鏡画像の例であり、図９Ｂは肛門として間違って認識された終末回腸の画像を示す。図９Ｂの内腔の輪郭は肛門の輪郭に類似していた。図１０Ａは盲腸と正しく認識された内視鏡画像の例であり、図１０Ｂは終末回腸と誤って認識された盲腸の画像の例である。図１０Ａには盲腸の特徴の１つとして虫垂の穴が見えるが、図１０Ｂでは終末回腸として間違って認識された。
　以上述べたように、実施形態２では４０９人の９９９５枚の大腸内視鏡画像に基づいてＣＮＮシステムを構築した。このＣＮＮシステムは、大規模な独立した検証用データセットを用いて解剖学的部位を識別したところ、臨床的に有用な性能を示した。このＣＮＮシステムは、６０％以上の精度で結腸の画像を認識することができた。したがって、このＣＮＮシステムは、近い将来の大腸内視鏡検査用のＡＩシステムの開発の基礎となるであろう。
　結腸疾患のためのＡＩシステムを開発するためには、画像の効率的な解剖学的部位の認識能力が第一の重要なステップである。従来、結腸ポリープの認識のためのＡＩシステムが知られていたが、感度は７９％－９８．７％の範囲であり、特異度は７４．１％－９８．５％の範囲であった。しかし、従来のシステムは、ポリープの解剖学的部位を認識する能力を有さなかった。ポリープ又は大腸癌の出現頻度は、結腸の解剖学的部位によって異なることはよく知られている。実施形態２のＣＮＮシステムがその解剖学的部位に基づいて結腸の病変を検出する感度を変えることができれば、より効果的なＡＩシステムを開発することができる。
　実施形態２で構築されたＣＮＮシステムでは、精度は確率スコアの値によって異なった。一般に、高い確率スコアを有する画像が高い精度で認識されるので、ＣＮＮシステムは、高い確率スコアを有する画像のみに限定することにより、より良好に機能することができる。臨床的に有用な応用のためには、認識結果を確実にする確率スコアの適切な値が必要である。
　実施形態２で構築されたＣＮＮシステムの結果は、胃腸画像を分類できるＣＮＮシステムを構築した発明者等の以前の報告と比較すると、良好ではなかった。従来の胃腸の解剖学的部位を認識するための感度及び特異度は、喉頭で９３．９％及び１００％、食道で９５．８％及び９９．７％、胃で９８．９％及び９３．０％、十二指腸で８７．０％及び９９．２％であった。
　しかし、臨床医にとってさえ、大腸内視鏡画像の解剖学的部位を、胃腸内視鏡画像の解剖学的部位と同様に正確に認識することは、より困難である。例えば、臨床医は上行－横行結腸の画像と下行－Ｓ字結腸の画像とを区別できないことがある。特に、各部位間にマージンにある画像は認識しにくい。さらに、臨床医は、通常、画像の連続的な順序又は臨床現場での以前の画像又は後の画像との関係を考慮することによって、大腸内視鏡の画像がどこの部分であるかを認識することができる。したがって、ＣＮＮシステムの単一画像に基づく６６％の精度は、前画像と後画像との関係を統合するとより良い性能が達成できるので、過小評価することはできない。
　実施形態２で構築したＣＮＮシステムの感度及び特異性は、解剖学的部位によって異なる。下行結腸－Ｓ字結腸の部位は、９０％以上の高い感度を有したが、特異性は６９．９％と最も低かった。対照的に、回腸末端、盲腸、上行結腸―横行結腸及び直腸では高い特異性を有していたが、感度は２３．３－６９．４％と低感度であった。また、実施形態２のＣＮＮシステムは、９０％以上の高い感度と特異度で肛門を認識した。興味深いことに、高い確率スコアを有する画像の中から算出した場合、直腸の認識感度は低下した。
　実施形態２のＣＮＮシステムでは、直腸画像に対しては確実に正しく出力されず、直腸画像が下行－Ｓ状結腸として認識された。直腸が低感度で認識された理由は、特徴的な部分がないためであろう。しかし、実施形態２のＣＮＮシステムは、終末回腸及び盲腸では、回盲弁、虫垂口などの特徴的な部分を有していたが、認識感度は比較的低かった。このような結果が得られた理由は、実施形態２のＣＮＮシステムが各部位に属するそのような特徴的な部分を認識できなかったことによって説明することができる。その理由は、実施形態２のＣＮＮシステムは、画像全体の構造のみに基づいて画像を認識することができ、ＣＮＮシステムに画像内の各部位に基づく特徴部分をそれぞれ教示することなく、全画像を各部位に分類するだけであるからである。画像の典型的な部分を実施形態２のＣＮＮシステムに教えることができれば、それらの部位の認識精度は高くなる。
　すなわち、内視鏡を部位の表面に近づけたり、内腔が空気に不十分に吹き込まれたりすると、内腔の形状を捕捉することが困難になる。食道・胃・十二指腸の画像では、食道、胃、及び十二指腸の上皮が互いに異なるため、表面の微細構造に基づいて画像を認識する必要がある。例えば、胃の中では、上皮は解剖学的部位によって異なる。例えば、幽門腺は胃幽門に分布し、胃底腺は他の領域に存在している。
　一方、盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、及び直腸の微細構造パターンはほぼ同じである。したがって、表面微細構造をＣＮＮシステムに教えて結腸・直腸の画像を区別するようにすることは非効率的である。ただ、実施形態２のＣＮＮシステムにおいて、終末回腸又は肛門を認識するためには、表面微細構造を教えることは有用である。
　さらに、実施形態２のＣＮＮシステムにおいて、画像の正確な位置決め能力を高めるために、大腸内視鏡検査とコンピュータ断層撮影や透視画像などの３次元情報を表示できる他のＸ線ＣＴ（Computed Tomography：コンピュータ断層撮影装置）、ＵＳＣＴ（Ultrasonic Computer Tomography：超音波コンピュータ断層撮影装置）、ＭＲＩ（Magnetic Resonance Imaging：磁気共鳴画像診断装置）など、医療用画像における撮像手段（modality：モダリティ）とを組み合わせることができる。訓練用データセットにこれらのモダリティがある画像を使用できる場合、ＣＮＮシステムは大腸内視鏡画像の位置をより正確に認識することができる。
　結腸の解剖学的部位を自動的に認識する能力は、診断と治療の両方に大きな影響を与える。第１に、結腸疾患がどこにあるかを認識する。例えば、潰瘍性大腸炎の治療のため、大腸炎の存在部位に基づいて治療又は適切な種類の薬剤を投与することができる。また、結腸・直腸癌に関しては、癌が存在する解剖学的部位は手術のための重要な情報となる。
　第２に、結腸の解剖学的部位に関する情報は、大腸内視鏡の挿入と排出の両方の間の正確な検査に有用である。特に訓練中の研修医ないし初診医にとって内視鏡スコープの挿入を完了させるための最も困難な要因の１つは、内視鏡スコープがどこに挿入されているかを認識することである。ＣＮＮシステムによって内視鏡スコープが客観的にどこにあるかを認識することができるようにすると、訓練中の研修医ないし初診医が大腸内視鏡を挿入するのに役立つ。解剖学的部位を認識する機能がビデオ画像に採用された場合、大腸内視鏡の挿入を完了するための時間及び困難性が低減される。
［実施形態３］
　実施形態３では、ワイヤレスカプセル内視鏡（ＷＣＥ）画像による小腸のびらん／潰瘍に関する疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について説明する。なお、実施形態３では、びらんと潰瘍との区別が困難であったので、両者合わせて「びらん／潰瘍」と表してある。すなわち、この明細書における「びらん／潰瘍」という用語は、「びらん」、「潰瘍」、「びらん及び潰瘍」の意味だけでなく、「びらん及び潰瘍のどちらかは明確でないが、少なくとも正常粘膜ではない」ものも含む意味で用いられている。
［データセットについて］
　発明者の一人が属する医院において、２００９年１０月から２０１４年１２月までの間にＷＣＥを受けた１１５人の患者から、訓練用データセットとして小腸のびらん／潰瘍の画像を５３６０枚収集した。また、実施形態３のＣＮＮシステムの検証のために、２０１５年１月から２０１８年１月までに６５人の患者からの１０，４４０枚の独立した画像を準備し、検証用データセットとして用いた。これらの検証用データセットのうち、４５人の患者の４４０画像は小腸のびらん／潰瘍を有しており、２０人の患者の１０，０００画像は小腸の正常粘膜であると３人の内視鏡専門医により診断されている。ＷＣＥとしては、Pillcam（登録商標）ＳＢ２又はＳＢ３ＷＣＥ装置（Given Imaging, Yoqneam, Israel）を用いて実施した。
　なお、実施形態３のＣＮＮシステムを訓練／検証するために、アルゴリズムの開発に先立って画像に付随する全患者情報を匿名化した。実施形態３のＣＮＮシステムに関与した内視鏡医のいずれも、識別可能な患者情報にアクセスすることができないようにした。このＣＮＮシステムの訓練／検証は、匿名化されたデータを使用した後ろ向き調査であったため、患者の同意書についてはオプトアウトアプローチを採用した。この研究は、東京大学倫理委員会（Ｎｏ．１１９３１）及び日本医師会（ＩＤ：ＪＭＡ－ＩＩＡ００２８３）の承認を得た。実施形態３のＣＮＮシステムのフローチャートの概要を図１０に示す。
　ＷＣＥの適応症は、原因不明の消化管出血（ＯＧＩＢ：Obscure Gastrointestinal Bleeding）が主であり、他に他の医療機器を用いて異常小腸画像が観察された例、腹痛、過去の小腸症例のフォローアップ、下痢スクリーニングに関するプライマリケア医からの紹介等であった。病因としては、非ステロイド性抗炎症が多く、それに次いで炎症性腸疾患、小腸悪性腫瘍、吻合部潰瘍が主であったが、病因を確定できなかったものも多かった。ＣＮＮシステムの訓練用及び検証用に用いられたデータデットの患者特性を表９に示した。
Figure JPOXMLDOC01-appb-T000009
［訓練／検証・アルゴリズム］
　実施形態３のＣＮＮシステムを構築するために、アルゴリズムを変更することなく、Single Shot MultiBox Detector（ＳＳＤ、https://arxiv.org/abs/1512.02325）と呼ばれるディープニューラルネットワークアーキテクチャを利用した。まず、２人の内視鏡専門医によって、訓練データセットの画像内のびらん／潰瘍のすべての領域に、手動で長方形の境界ボックスを有する注釈が付けられた。これらの画像は、バークレー・ビジョン・ラーニング・センター（Berkeley Vision and Learning Center）で最初に開発されたCaffeフレームワークを通じてＳＳＤアーキテクチャに組み込まれた。Caffeフレームワークは、最初に開発された、最も一般的で広く使用されているフレームワークの１つである。
　実施形態３のＣＮＮシステムは、境界ボックスの内側の領域がびらん／潰瘍領域であり、他の領域が背景であると訓練された。そして、実施形態３のＣＮＮシステムは、それ自体で境界ボックス領域の特定の特徴を抽出し、訓練データセットを介してびらん／潰瘍の特徴を「学習」した。ＣＮＮのすべての層は、グローバル学習率０．０００１で確率的最適化が行われている。各画像は３００×３００ピクセルにリサイズした。それに応じて境界ボックスのサイズも変更された。これらの値は、すべてのデータがＳＳＤと互換性があることを保証するために、試行錯誤によって設定された。ＣＰＵとしてINTEL社のCore i7-7700Kを使用し、グラフィックス処理装置用ＧＰＵとしてNVIDEA社のGeForce GTX 1070を使用した。
［結果の測定及び統計］
　まず、検証用データセットの画像内のびらん／潰瘍の全てに、手作業で長方形の境界ボックス（以下、「真のボックス」という。）を太線で付与した。また、実施形態３の訓練されたＣＮＮシステムは、検証用データセットセットの画像内の検出したびらん／潰瘍の領域に長方形の境界ボックス（以下、「ＣＮＮボックス」という。）を細線で付与するとともに、びらん／潰瘍の確率スコア（範囲は０－１）を出力した。確率スコアが高いほど、実施形態３の訓練されたＣＮＮシステムはその領域にびらん／潰瘍が含まれている確率が高いと判断していることを示している。
　発明者等は、各画像がびらん／潰瘍を含むか否かについて、実施形態３のＣＮＮシステムが判別する能力を評価した。この評価を実行するために、以下の定義を使用した。
　１）ＣＮＮボックスが真のボックスに８０％以上重なったときは正解とした。
　２）複数のＣＮＮボックスが１つの画像内に存在し、それらのボックスの１つでもびらん／潰瘍を正しく検出した場合、画像が正しく識別されたと結論付けた。
　なお、このようにして正解と判断されたＷＣＥ内視鏡画像は、その情報を画像に付与して撮影された画像のダブルチェックの現場で診断補助として活用したり、ＷＣＥ内視鏡検査時に動画でリアルタイムで情報を表示して診断補助として活用される。
　また、確率スコアのカットオフ値を変えることによって、受信機動作特性（ＲＯＣ）曲線をプロットし、実施形態３の訓練されたＣＮＮシステムによるびらん／潰瘍識別の評価のために曲線下面積（ＡＵＣ）を計算した。Youdenインデックスに従ったスコアを含む確率スコアに対する様々なカットオフ値を用いて、実施形態３のＣＮＮシステムのびらん／潰瘍を検出する能力である、感度、特異度及び精度を計算した。なお、Youdenインデックスは、感度と特異度で計算された最適なカットオフ値を決定するための標準的な方法の１つであり、「感度＋特異度－１」の数値が最大となるようなカットオフ値を求めるものである。ここではＳＴＡＴＡソフトウェア（バージョン１３；Stata Corp、College Station、TX、USA）を用いてデータを統計的に分析した。
　検証用データセットは、６５人の患者（男性＝６２％、平均年齢＝５７歳、標準偏差（ＳＤ）＝１９歳）からの１０，４４０画像からなっていた。実施形態３の訓練されたＣＮＮシステムは、これらの画像を評価するのに２３３秒を要した。これは、毎秒４４．８画像の速度に等しい。びらん／潰瘍を検出した実施形態３の訓練されたＣＮＮシステムのＡＵＣは０．９６０（９５％信頼区間［ＣＩ］、０．９５０－０．９６９；図１１参照）であった。
　Youdenインデックスによれば、確率スコアの最適カットオフ値は０．４８１であり、確率スコアが０．４８１の領域がＣＮＮによってびらん／潰瘍として認識された。そのカットオフ値では、ＣＮＮの感度、特異度及び精度は、８８．２％（９５％ＣＩ（信頼区間）、８４．８－９１．０％）、９０．９％（９５％ＣＩ、９０．３－９１．４％）及び９０．８％（９５％ＣＩ、９０．２－９１．３％）であった（表１０参照）。なお、表１０は、確率スコアのカットオフ値を０．２から０．９まで０．１ずつ増加させて計算した、それぞれの感度、特異度及び精度を示している。
Figure JPOXMLDOC01-appb-T000010
　このようにして、確率スコアのカットオフ値＝０．４８１として実施形態３の訓練されたＣＮＮシステムにより分類されたびらん／潰瘍の分類結果と内視鏡専門医によるびらん／潰瘍の分類結果との関係を表１１に纏めて示した。
Figure JPOXMLDOC01-appb-T000011
　また、図１２Ａ－（図１２ＤはそれぞれＣＮＮシステムによって正しく検出された代表的な領域を示し、図１３Ａ－図１３ＨはそれぞれＣＮＮシステムによって誤分類された典型的な領域を示している。偽陰性画像は、表１２に示されるように、境界不明瞭（図１３Ａ参照）、周囲の正常粘膜と類似の色、小さすぎ、全体の観察不可（側方性（患部が側面にあるので見え難い）ないし部分性（部分的にしか見えない））（図１３Ｂ参照）の４つの原因に分類された。
Figure JPOXMLDOC01-appb-T000012
　一方、偽陽性画像は、表１３に示したように、正常粘膜、泡（図１３Ｃ）、破片（図１３Ｄ）、血管拡張（図１３Ｅ）、真のびらん（図１３Ｆ－図１３Ｈ）の５つの原因に分類された。
Figure JPOXMLDOC01-appb-T000013
　以上述べたように、実施形態３の訓練されたＣＮＮシステムによれば、ＷＣＥの小腸像におけるびらん及び潰瘍の自動検出のためのＣＮＮベースのプログラムが構築され、９０．８％の高い精度（ＡＵＣ、０．９６０）の独立した試験画像におけるびらん／潰瘍を検出できることが明らかにされた。
［実施形態４］
　実施形態４では、ワイヤレスカプセル内視鏡（ＷＣＥ）画像による小腸の突出病変に関する疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について説明する。なお、突出病変との形態学的特徴は、ポリープ、結節、腫瘤／腫瘍から静脈構造までさまざまであり、これらの病変の病因には、神経内分泌腫瘍、腺癌、家族性腺腫性ポリポーシス、プーツ－ジェガーズ(Peutz-Jeghers)症候群、濾胞性リンパ腫及び胃腸間質腫瘍が含まれまる。これらの病変には早期診断と治療が必要であるため、ＷＣＥ検査の見落としを避ける必要がある。
［データセットについて］
　発明者が属する複数の医院において、２００９年１０月から２０１８年５月まで、ＷＣＥを受けた２９２人の患者から、訓練用データセットとして突出病変の画像を３０，５８４枚収集した。また、ＣＮＮのトレーニングに使用される画像とは無関係に、突出病変のない１０，０００枚の画像と、突出病変のある７，５０７枚の画像を含む、９３人の患者からの合計１７，５０７枚の画像を検証に使用した。突出病変は、ＣＥＳＴ分類の定義（非特許文献１３参照）に基づいて、ポリープ、結節、上皮腫瘍、粘膜下腫瘍、及び静脈構造の５つのカテゴリーに形態学的に分類した。ただし、ＣＥＳＴ分類の定義における腫瘤／腫瘍病変は、上皮腫瘍と粘膜下腫瘍とに分けて分類した。
［訓練／検証・アルゴリズム］
　実施形態４のＣＮＮシステムのフローチャートの概要を図１５に示した。実施形態４のＣＮＮシステムでは、実施形態３の場合と同様のＳＳＤディープニューラルネットワークアーキテクチャ及びCaffeフレームワークを利用した。まず、６人の内視鏡専門医によって、訓練データセットの画像内の突出病変の全ての領域に、手動で長方形の境界ボックスを有する注釈が付けられた。注釈はそれぞれの内視鏡専門医により個別に実行され、コンセンサスは後で決定された。 これらの画像はCaffeフレームワークを通じてＳＳＤアーキテクチャに組み込まれた。
　実施形態４のＣＮＮシステムは、境界ボックスの内側の突出病変であり、他の領域が背景であると訓練された。そして、実施形態４のＣＮＮシステムは、それ自体で境界ボックス領域の特定の特徴を抽出し、訓練データセットを介して突出病変の特徴を「学習」した。ＣＮＮの全ての層は、グローバル学習率０．０００１で確率的最適化が行われている。各画像は３００×３００ピクセルにリサイズした。それに応じて境界ボックスのサイズも変更された。これらの値は、全てのデータがＳＳＤと互換性があることを保証するために、試行錯誤によって設定された。ＣＰＵとしてINTEL社のCore i7-7700Kを使用し、グラフィックス処理装置用ＧＰＵとしてNVIDEA社のGeForce GTX 1070を使用した。なお、ＷＣＥとしては、実施形態３の場合と同様のPillcam ＳＢ２又はＳＢ３ＷＣＥ装を用いて実施した。データは、ＳＴＡＴＡソフトウェア（バージョン１３；Stata Corp、College Station、TX、USA）を使用して分析された。
　なお、実施形態４のＣＮＮシステムを訓練／検証するために、アルゴリズムの開発に先立って画像に付随する全患者情報を匿名化した。実施形態４のＣＮＮシステムに関与した内視鏡医のいずれも、識別可能な患者情報にアクセスすることができないようにした。このＣＮＮシステムの訓練／検証は、匿名化されたデータを使用した後ろ向き調査であったため、患者の同意書についてはオプトアウトアプローチを採用した。この研究は、日本医師会倫理委員会（ID:JMA-IIA00283）、仙台厚生病院（No.30-5）、東京大学病院（No.11931）、広島大学病院（No.E-1246）の承認を得た。
［結果の測定及び統計］
　まず、検証用データセットの画像内の突出病変の領域の全てに、手作業で長方形の境界ボックス（以下、「真のボックス」という。）を太線で付与した。また、実施形態４の訓練されたＣＮＮシステムは、検証用データセットセットの画像内の検出した突出病変の領域に長方形の境界ボックス（以下、「ＣＮＮボックス」という。）を細線で付与するとともに、突出病変の領域の確率スコア（ＰＳ：範囲は０－１）を出力した。確率スコアが高いほど、実施形態４の訓練されたＣＮＮシステムはその領域に突出病変が含まれている確率が高いと判断していることを示している。
　発明者等は、実施形態４のＣＮＮシステムが各画像が突出病変を含むか否かについて判別する能力を、各画像の確率スコアの降順でＣＮＮボックスを評価した。ＣＮＮボックス、突出病変の確率スコア、及び突出病変のカテゴリーは、ＣＮＮボックスが突出病変を明確に囲んでいたときはＣＮＮの結果として決定された。
　ＣＮＮボックスが多数描かれているために視覚的に判断することが困難であった場合、ＣＮＮボックスと真のボックスのオーバーラップが０．０５Intersection over Unions (ＩｏＵ)と等しいかそれよりも大きい場合は、ＣＮＮの結論として決定された。なお、ＩｏＵは、オブジェクト検出器の精度を測定する評価方法であり、２つのボックスの重複領域を２つのボックスの結合領域で割ることによって計算される。
　　　　ＩｏＵ＝（オーバーラップ領域）／（両者合わせた領域）
　ＣＮＮボックスが上記のルールに適用されなかった場合、確率スコアが次に低いＣＮＮボックスが順番に評価された。
　複数の真のボックスが１つの画像に表示されたときに、ＣＮＮボックスの１つが真のボックスと重なる場合、そのＣＮＮボックスはＣＮＮの結果であると決定された。突出病変のない画像の場合、確率スコアが最大のＣＮＮボックスがＣＮＮの結果として決定された。３人の内視鏡専門医が全ての画像に対してこれらのタスクを実行した。
　確率スコアのカットオフ値を変化させることで受信機動作特性（ＲＯＣ）曲線をプロットし、実施形態４の訓練されたＣＮＮシステムによる突出病変識別の程度を評価するために曲線下面積（ＡＵＣ）を計算した（図１６参照）。そして、実施形態３の場合と同様にして、Youdenインデックスに従ったスコアを含む確率スコアに対する様々なカットオフ値を用いて、実施形態４のＣＮＮシステムの突出病変を検出する能力である、感度、特異度及び精度を計算した。
　実施形態４における二次的な結果は、ＣＮＮによる突出病変の５つのカテゴリーへの分類、及び個々の患者分析における突出病変の検出である。分類の精度については、ＣＮＮと内視鏡専門医との分類の一致率を調べた。突出病変の検出率に関する個々の患者分析では、ＣＮＮが同じ患者の複数の画像で少なくとも１つの突出病変画像を検出した場合、ＣＮＮによる検出は正しいと定義された。
　さらに、ＣＮＮプロセスを行った後、検証データトセット内の１０，０００枚の臨床的に正常とされた画像を再評価した。正常画像とされた画像中、幾つかの真の突出病変であると思われるＣＮＮボックスが抽出された。この病変は医師によって見落とされている可能性がある。これは、３人の内視鏡専門医のコンセンサスに基づいている。
　また、実施形態４のＣＮＮシステムの訓練用及び検証用に用いられたデータデットの患者特性及び訓練用データセットと検証用データセットの詳細を表１４に示した。検証用データセットは、７３人の患者（男性、６５．８％、平均年齢、６０．１歳、標準偏差、１８．７歳）からの突出病変を含む７，５０７枚の画像と、２０人の患者（男性、６０．０％、平均年齢、５１．９歳、標準偏差、１１．４歳）からの病変のない１０，０００枚の画像で構成されていた。
Figure JPOXMLDOC01-appb-T000014
　実施形態４で構築されたＣＮＮは、５３０．４６２秒で全画像の分析を終え、１画像あたりの平均速度は０．０３０３秒であった。突出病変の検出に使用された実施形態４のＣＮＮのＡＵＣは０．９１１（９５％信頼区間（Ｃｌ）、０．９０６９－０．９１５５）であった（図１６参照）。
　Youdenインデックスによると、確率スコアの最適なカットオフ値は０．３１７であった。したがって、確率スコアが０．３１７以上の領域がＣＮＮによって検出された突出病変として認識された。そのカットオフ値を使用すると、ＣＮＮの感度と特異度はそれぞれ９０．７％（９５％ＣＩ、９０．０％－９１．４％）と７９．８％（９５％ＣＩ、７９．０％－８０．６％）であった（表１５）。
Figure JPOXMLDOC01-appb-T000015
　突出病変のカテゴリーのサブグループ分析では、ＣＮＮの感度は、ポリープ、結節、上皮腫瘍、粘膜下腫瘍、及び静脈構造の検出について８６．５％、９２．０％、９５．８％、７７．０％、及び９４．４％であった。図１７Ａ－図１７Ｅは、それぞれ実施形態４のＣＮＮによってポリープ、結節、上皮腫瘍、粘膜下腫瘍及び静脈構造の５つのカテゴリーに正しく検出及び分類された代表的な領域を示す。
　個々の患者の分析では、突出病変の検出率は９８．６％（７２／７３）であった。突出病変のカテゴリー別に、ポリープ、結節、上皮腫瘍、粘膜下腫瘍、及び静脈構造の患者あたりの検出率は、９６．７％（２９／３０）、１００％（１４／１４）、１００％（１４／１４）、１００％（１１／１１）、及び１００％（４／４）であった。ただし、図１８Ａ―ズ１８Ｃに示した１人の患者のポリープの３つの画像は、全て実施形態４ってＣＮＮによって検出できなかった。この画像では、ＣＮＮボックスの全ての確率スコアは０．３１７未満であったため、ＣＮＮによって突出病変としては検出されなかった。また、突出病変を持たないように見えるが、ＣＮＮが確率スコア０．３１７以上のＣＮＮボックスを提供した偽陽性画像（ｎ＝２，０１９）中、２つが内視鏡専門医によって真の突出病変であることが示唆された（図１９）。
　ＣＮＮ及び専門の内視鏡医による突出病変のラベル付けを表１６に示した。ポリープ、結節、上皮腫瘍、粘膜下腫瘍、及び静脈構造に対するＣＮＮ及び内視鏡医のラベル付けの一致率は４２．０％、８３．０％、８２．２％、４４．５％及び４８．０％であった。
Figure JPOXMLDOC01-appb-T000016
　以上述べたように、実施形態４におけるＣＮＮでは、ＣＥＳＴに基づくカテゴリーを適用し、ポリープ、結節、上皮腫瘍、粘膜下腫瘍、静脈構造などのカテゴリー間の感度の違いもあるが、高感度で、良好な検出率で検出及び分類できることが明らかにされた。
［実施形態５］
　ワイヤレスカプセル内視鏡（以下、単に「ＷＣＥ」という。）は、小腸疾患を調査するための不可欠なツールとなっており、主要な適応症は明らかな出血源が見当たらない原因不明の消化管出血（ＯＧＩＢ）が主である。ＷＣＥ画像のスクリーニングに際し、医師は患者一人あたり１０，０００枚の画像を３０－１２０分もかけて読影している。そのため、ＷＣＥの画像解析には血液成分を自動的に検出できるかどうかが重要である。このようなＷＣＥ画像における血液成分を自動的に検出する手段として、例えば「赤色領域推定表示機能」（Suspected Blood Indicator。以下単に「ＳＢＩ」という。）が知られている（非特許文献１１参照）。ＳＢＩは、ＲＡＰＩＤ ＣＥ読影ソフトウェア（Ｍｅｄｔｒｏｎｉｃ、ミネソタ州、ミネアポリス、米国）に搭載されている画像選択ツールであり、出血の可能性がある領域を赤色のピクセルでタグ付けする。
　実施形態５では、上述したＳＢＩと対比して、ＣＮＮシステムを用いたＷＣＥ画像による小腸の出血の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について説明する。なお、小腸の血液成分の検出に際しては、血液の量的な推測が可能であり、この場合、血液の分布範囲等から血液量を推測することも可能である。ただし、以下では血液成分の有無、すなわち出血の有無について検出する場合を例示する。 
［データセットについて］
　発明者の一部が属する単一の機関（東京大学病院、日本）において、２００９年１１月から２０１５年８月までのＷＣＥ画像を遡及的に取得した。その期間中、ＷＣＥは実施形態３の場合と同様の、Pillcam ＳＢ２又はＳＢ３ ＷＣＥ装置を使用して実施した。２人の内視鏡専門医が、ＳＢＩの結果を考慮せずに、内腔に血液成分を含む画像及び正常な小腸粘膜の画像を分類した。内腔の血液成分は、活動性出血又は凝血塊と定義されている。
　実施形態５のＣＮＮシステムの訓練用データセットとして、２７，８４７枚の画像（２９人の患者の血液成分を含む６，５０３枚の画像及び１２人の患者の正常小腸粘膜の２１，３４４枚の画像）を収集した。同じくＣＮＮシステムの検証用データセットとして、訓練用データセットとは別に、２５人の患者から１０，２０８枚の画像を用意した。これらの画像のうち、５人の患者からの２０８枚の画像は小腸に出血があることを示しており、２０人の患者からの１０，０００枚の画像は正常な小腸粘膜のものであった。実施形態５のＣＮＮシステムのフローチャートの概要を図２０に示した。
　なお、実施形態５のＣＮＮシステムを訓練／検証するために、アルゴリズムの開発に先立って画像に付随する全患者情報を匿名化した。実施形態５のＣＮＮに関与した内視鏡医のいずれも識別可能な患者情報にアクセスすることができないようにした。この実施形態５のＣＮＮシステムの訓練／検証は、匿名化されたデータを使用した後ろ向き調査であったため、患者の同意書についてはオプトアウトアプローチを採用した。この研究は、東京大学倫理委員会（No.11931）及び日本医師会（ID JMA-IIA00283）の承認を得た。
［訓練／検証・アルゴリズム］
　実施形態５で用いたＣＮＮシステムのアルゴリズムは、５０層のディープニューラルネットワークアーキテクチャであるResNet50(https://arxiv.org/abs/1512.03385)を使用して開発された。その後、新しく開発されたＣＮＮシステムを訓練して検証するために、バークレー・ビジョン・ラーニング・センターで最初に開発されたＣａｆｆｅフレームワークを使用して訓練された。そして、ＳＧＤ（Stochastic Gradient Descent）を使用し、ネットワークのすべての層をグローバル学習率０．０００１で確率的最適化を行った。全ての画像は、ResNet50との互換性を付与するために、２２４×２２４ピクセルにリサイズした。
［結果の測定及び統計］
　実施形態５のＣＮＮシステムにおける主要な結果には、受信機動作特性（ＲＯＣ）曲線の曲線下面積（ＡＵＣ）、感度、特異度、及び血液成分の画像と正常粘膜の画像との間のＣＮＮシステムの識別能力の精度が含まれている。訓練された実施形態５のＣＮＮシステムは、画像当たりの血液成分についての確率スコアとして、０から１の間の連続した数値を出力した。確率スコアが高いほど、ＣＮＮシステムは画像に血液成分が含まれている確率が高いと判断していることを示している。実施形態５におけるＣＮＮシステムの検証テストは、単一の静止画像を使用して実行され、確率スコアの閾値を変化させることによってＲＯＣ曲線をプロットし、識別の程度を評価するためにＡＵＣを計算した。
　実施形態５では、ＣＮＮシステムによる最終的な分類のために、確率スコアのしきい値を単純に０．５に設定し、血液成分を含む画像と正常粘膜の画像との間のＣＮＮシステムの識別能力の感度、特異性及び精度を計算した。さらに、検証セットでは、１０，２０８枚の画像を検討することにより、血液成分を含む画像と正常粘膜の画像との間のＳＢＩによる識別能力の感度、特異性及び精度を評価した。実施形態５のＣＮＮシステムとＳＢＩとの能力の差異は、マクネマーの検定を使用して比較された。得られたデータは、ＳＴＡＴＡソフトウェア（バージョン１３；Stata Corp、College Station、TX、USA）を用いて統計的に分析された。
　検証用データセットは、２５人の患者からの１０，２０８枚の画像から構成されていた（男性、５６％、平均年齢、５３．４歳、標準偏差、１２．４歳）。実施形態５の訓練されたＣＮＮシステムは、これらの画像を評価するのに２５０秒要した。これは毎秒４０．８枚の画像の速度に等しい。血液成分を含む画像を識別する実施形態５のＣＮＮシステムのＡＵＣは０．９９９８であった（９５％ＣＩ(信頼区間）、０．９９９６－１．００００；図２１参照）。また、表１５は、確率スコアのカットオフ値を０．１から０．９まで０．１ずつ増加させることによって計算されたそれぞれの感度、特異度及び精度を示す。
Figure JPOXMLDOC01-appb-T000017
　確率スコア０．５のカットオフ値で、実施形態５のＣＮＮシステムの感度、特異度及び精度はそれぞれ９６．６３％（９５％ＣＩ、９３．１９－９８．６４％）、９９．９６％（９５％ＣＩ、９９．９０－９９．９９％）及び９９．８９％（９５％ＣＩ、９９．８１－９９．９５％）であった。なお、表１５の確率スコアのカットオフ値０．２１は、Youdenの指数に従って計算された最適カットオフ値であるが、この検証用データセットでは、Youdenインデックスのカットオフ値における精度は、０．５の単純カットオフ値における精度よりも低かった。また、図２２は、実施形態５のＣＮＮシステムによって正しく分類された代表的な血液を含む画像(図２２Ａ）と正常粘膜画像(図２２Ｂ）を示している。なお、図２２Ａ及び図２２Ｂのそれぞれの実施形態５のＣＮＮシステムによって得られた確率値を下記表１８に示した。
Figure JPOXMLDOC01-appb-T000018
　一方、ＳＢＩの感度、特異度及び精度は、それぞれ７６．９２％（９５％ＣＩ、７０．５９－８２．４７％）、９９．８２％（９５％ＣＩ、９９．７２－９９．８９％）及び９９．３５％（９５％ＣＩ、９９．１８－９９．５０％）であった。これらはいずれも、ＣＮＮシステムよりも有意に低かった（ｐ＜０．０１）。表１９に実施形態５のＣＮＮシステムとＳＢＩの分類の相違を示した。
Figure JPOXMLDOC01-appb-T000019
　図２３は、実施形態５のＣＮＮによって正常粘膜として分類された７つの偽陰性画像を示している。これらのうち、図２３Ａに示した４つの画像はＳＢＩによって血液成分を含むものとして正しく分類されたものであり、図２３Ｂの３つの画像はＳＢＩによって正常粘膜として誤って分類されたものである。なお、図２３Ａ及び図２３Ｂのそれぞれの実施形態５のＣＮＮシステム及びＳＢＩによって得られた分類を下記表２０に、同じくＣＮＮシステムとＳＢＩとの分類の関係を表２１にそれぞれ示した。
Figure JPOXMLDOC01-appb-T000020
Figure JPOXMLDOC01-appb-T000021
　以上述べたように、実施形態５の訓練されたＣＮＮシステムによれば、９９．９％の高精度で血液成分を含む画像と正常な粘膜画像を区別できた（ＡＵＣ、０．９９９８）。また、ＳＢＩとの直接比較では、実施形態５の訓練されたＣＮＮシステムがＳＢＩよりも正確に分類できることが示された。単純カットオフポイント０．５でも、実施形態５の訓練されたＣＮＮシステムは、感度及び特異性の両方でＳＢＩより優れていた。この結果は、実施形態５の訓練されたＣＮＮシステムがＷＣＥの非常に正確なスクリーニングツールとして使用できることを示している。
［実施形態６］
　実施形態６では、通常の内視鏡（非拡大内視鏡，非ＭＥ）、超音波内視鏡（ＥＵＳ）及び拡大内視鏡（ＭＥ）による扁平上皮癌（ＳＣＣ）の深達度を診断する診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について説明する。
　まず、食道のＳＣＣの深達度とその分類との関係を図２４を用いて説明する。食道は、食道の内面側から、粘膜上皮（ＥＰ）、粘膜固有層（ＬＰＭ），粘膜筋板（ＭＭ）、粘膜下層（ＳＭ）、固有筋層及び外膜からなっている。ＳＣＣが粘膜上皮（ＥＰ）内に止まっている場合は「ＥＰ」と表示し、「Ｔｉｓ」に分類される。ＳＣＣが粘膜上皮の下部の粘膜固有層（ＬＰＭ）まで達している場合は「ＬＰＭ」と表示し、同じく粘膜筋板（ＭＭ）まで達している場合は「ＭＭ」と表示し、両者ともに「Ｔ１ａ」に分類される。
　これらの粘膜上皮、粘膜固有層及び粘膜筋板が一般的に「粘膜」と称される箇所である。日本のガイドライン及び欧州のガイドラインによれば、ＥＲは、上皮（ＥＰ）／粘膜固有層（ＬＰＭ）、粘膜筋（ＭＭ）／２００μｍ程度まで達しているものに適用することが望ましいとされている。
　ＳＣＣが粘膜固有層の下部の粘膜下層まで達しているものは，その深さに応じて順に「ＳＭ１」、「ＳＭ２」及び「ＳＭ３」と表示し、全て「Ｔ１ｂ」に分類される。なお、「ＳＭ１」、「ＳＭ２」及び「ＳＭ３」の区分の境界は明確なものではないが、一応、感覚的に粘膜下層表面近傍、粘膜下層中間部及び粘膜下深部の３区分に分けることができる。
　上記のガイドラインでは、Ｔ１ａよりも深く達したＴ１ｂに分類されるＳＣＣに対してＥＲの適用性については示されていない。しかしながら、ＳＣＣの深達度がＴ１ａ（ＭＭ及びＳＭ１）である場合には、癌の転移確率は１０％未満であると報告されているので、食道切除術の高い死亡率及び実質的な罹患率に基づき、特に患者が老人であるか虚弱である場合には、ＥＲはＴ１ａ（ＭＭ及びＳＭ１）のための最も適切な初期治療と見なされている。食道切除術は、転移リスクが２５％を超えているため、通常Ｔ１ｂ（粘膜下層中間部（ＳＭ２）又は粘膜下深部（ＳＭ３））の場合に適応される。したがって、ＳＣＣの深達度の術前診断のための最も重要な仕事は、Ｔ１ａ（ＥＰ及びＳＭ１）をＴ１ｂ（ＳＭ２又はＳＭ３）と区別することである。
［データセットについて］
　発明者の一人が属する医院において日常撮影された内視鏡画像を用いてＣＮＮシステムの訓練を行った。使用した内視鏡システムは、高解像度ないし高精細上部胃腸内視鏡（ＧＩＦ－ＸＰ２９０Ｎ，ＧＩＦ－Ｑ２６０Ｊ，ＧＩＦ－ＲＱ２６０Ｚ，ＧＩＦ－ＦＱ２６０Ｚ，ＧＩＦ－Ｑ２４０Ｚ，ＧＩＦ－Ｈ２９０Ｚ，ＧＩＦ－Ｈ２９０，ＧＩＦ－ＨＱ２９０及びＧＩＦ－Ｈ２６０Ｚ；オリンパス製，東京，日本）及びビデオプロセッサ（ＣＶ２６０；オリンパス製）、高精細拡大胃腸内視鏡（ＧＩＦ－Ｈ２９０Ｚ，ＧＩＦ－Ｈ２９０，ＧＩＦ－ＨＱ２９０，ＧＩＦ－Ｈ２６０Ｚ：オリンパス製）及びビデオプロセッサ（ＥＶＩＳ　ＬＵＣＥＲＡ　ＣＶ－２６０／ＣＬＶ－２６０及びＥＶＩＳ　ＬＵＣＥＲＡ　ＥＬＩＴＥ　ＣＶ－２９０／ＣＬＶ－２９０ＳＬ；オリンパスメディカルシステム製）、高解像度内視鏡（ＥＧ－Ｌ５９０ＺＷ，ＥＧ－Ｌ６００ＺＷ及びＥＧ－Ｌ６００ＺＷ７；富士フィルム製，東京，日本）及びビデオ内視鏡システム（ＬＡＳＥＲＥＯ：富士フイルム製）であった。
　訓練画像は、標準白色光画像、狭帯域光（ＮＢＩ）画像及び青色レーザ光(ＢＬＩ）を用いた画像であるが、以下の除外基準に属する患者の画像は除外された。この除された画像には、重度の食道炎を有する患者、化学療法の病歴を有する患者、食道への放射線照射、潰瘍又は潰瘍の瘢痕に隣接する病変、少なすぎる空気吹き込みによる低品質の画像、出血、ハレーション、ぼけ、焦点外れ、又は粘液が含まれる。
　選択後、８０４名の患者の病理学的に証明された表在食道ＳＣＣからの８，６６０枚の非拡大内視鏡画像及び５，６７８の拡大内視鏡画像を訓練画像データセットとして収集した。これらの画像は、ＪＰＥＧ(Joint Photographic Experts Group)形式で保存され、切除標本の病理診断に基づいて、病理学的ｐＥＰ及びｐＬＰＭ、ｐＭＭ、ｐＳＭ１、及び、ｐＳＭ２及びｐＳＭ３癌に分類された。その後、日本消化器内視鏡学会の指導医によって手作業で四角枠の標識を付与した。癌の全領域は、ｐＥＰ－ｐＳＭ１癌のために標識され、ｐＳＭ２及びｐＳＭ３のもののみがＳＭ２及びＳＭ３癌のために特別に標識された。
　内視鏡ビデオプロセッサの構造強化は、狭帯域イメージング（ＮＢＩ）はＢモードレベル８に設定され、青色レーザイメージング（ＢＬＩ）のレベルレベルは５－６に設定された。拡大観察時に内視鏡ズームレンズの先端と粘膜面との間の距離を適切に保つため、内視鏡の先端に黒い軟質フードを取り付けた。非拡大白色光画像、ＮＢＩ又はＢＬＩによる初期ルーチン検査を行って、癌の突出の程度、陥没の程度及び硬さを評価した。
　続いて、ＮＢＩを拡大して、表面血管構造の外観、特に毛細血管の毛細血管ループの変化を評価した。最後に、癌の広がりを描写するためにヨウ素染色を行った。
［訓練／検証・アルゴリズム］
　実験形態６のＣＮＮシステムは、アルゴリズムを変更することなく、実質的に実施形態３の場合と同様のシングルショットマルチボックス検出器（ＳＳＤ）と呼ばれるＣＮＮアーキテクチャと、Caffeフレームワークとを用いた。
　訓練は、グローバル学習率０．０００１の確率勾配降下で行った。各画像は３００×３００ピクセルにリサイズされ、四角枠も最適なＣＮＮ分析を行うようにサイズを変更した。これらの値は、すべてのデータがＳＳＤと互換性があることを保証するために、試行錯誤によって設定された。
［結果の測定及び統計］
　実験形態６の訓練されたＣＮＮシステムに基づく評価は、表在食道ＳＣＣの独立した検証試験データによって行われた。２０１７年１月から２０１８年４月まで、発明者の一人が属する病院で内視鏡的粘膜下層剥離術又は食道切除術を受けた患者から画像を収集した。訓練データセットと同じ除外基準を満たす患者を除外した後、１５５人の患者を選択した。一人の患者から３－６枚の代表的な画像（非拡大内視鏡及び拡大内視鏡）を選択し、ＣＮＮシステムによって診断した。
　実験形態６の訓練されたＣＮＮシステムは、その診断の確率に対応する、０と１との間の連続数を有するＥＰ－ＳＭ１又はＳＭ２／ＳＭ３癌の診断を生成する。病変の全領域がＥＰ－ＳＭ１に限定されていると診断された場合、病変はＥＰ－ＳＭ１癌と診断された。病変の一部がＳＭ２又はＳＭ３に侵入したと診断された場合、病変はＳＭ２／３癌と診断された。非拡大内視鏡、拡大内視鏡及び最終診断（非拡大内視鏡＋拡大内視鏡）の結果を分析した。
　実験形態６の訓練されたＣＮＮシステムと医師の判断の正確性を比較するために、内視鏡専門家として日本消化器内視鏡学会の１６名の認定内視鏡専門医が招待された。内視鏡専門医は医師として９－２３年の専門知識を有し、３０００－２００００回の内視鏡検査を経験している。彼らはまた、術前診断及び胃腸癌の内視鏡的切除を日常的に行っている。彼らに対し、ＣＮＮシステムと同じ検証テストデータが提供され、ＥＰ－ＳＭ１又はＳＭ２／ＳＭ３癌の診断を行なった。
　主な出力指標は、診断精度、感度、特異性、陽性予測値（ＰＰＶ）、陰性予測値（ＮＰＶ）、及び診断時間であった。これらの値を実験形態６の訓練されたＣＮＮシステムと内視鏡専門医との間で比較した。癌の深達度の診断における観察者間の変動を評価するために、κ統計が用いられた。κ値＞０．８は、ほぼ完全な一致を示し、κ値＝０．８－０．６は実質的な一致、κ値＝０．６－０．４は中程度の一致、κ値＝０．４－０．２は低度の一致、κ値<０．２はわずかな一致、κ値＝０は偶然の一致を示し、κ値<０は不一致を示唆している。全ての計算は統計ソフトＥＺＲを用いて行った。
　この調査は、大阪国際癌研究所（No.2017-1710059178）及び日本医師会（ID JMA-IIA00283）の承認を受けて行われた。
　実験形態６の訓練されたＣＮＮシステムの診断の妥当性を調べるため、１５５人の患者からの合計で４０５枚の非拡大内視鏡画像と、５０９枚の拡大内視鏡画像を選択した。選択された患者の人口統計を表２２に要約した。
Figure JPOXMLDOC01-appb-T000022
　全ての画像を診断するための所要時間は２９秒であった。表２３に示したように、ｐＥＰ－ＳＭ１癌（非拡大内視鏡＋拡大内視鏡）の最終診断では、感度９０．１％、特異度９５．８％、陽性予測値９９．２％、陰性予測値６３．９％、精度９１．０％が得られた。
Figure JPOXMLDOC01-appb-T000023
　ｐＥＰ－ＳＭ１癌の非拡大内視鏡診断では、感度９５．４％、特異度７９．２％、陽性予測値９６．２％、陰性予測値７６．０％、及び精度９２．９％が得られた。ｐＳＭ１癌の拡大内視鏡診断では、感度９１．６％、特異度７９．２％、陽性予測値９６．０％、陰性予測値６３．３％、精度８９．７％が得られた。
　実験形態６の訓練されたＣＮＮシステムのＭ癌とＳＭ癌とを区別する性能を調べるため、１５５人の患者から同一の妥当性検査試験データ、すなわち、４０５枚の非拡大内視鏡画像及び５０９枚の拡大内視鏡画像を選択した。すべての画像を診断するのに必要な時間は２９秒であった。ｐＭ癌の最終診断では、特異性８９．０％（９５％ＣＩ、８２．２％－９３．８％）、９２．９％（９５％ＣＩ、７６．５％－９９．１％）、陽性予測値９８．３％（９５％ＣＩ、４８．３％－７９．４％）、精度８９．７％（９５％ＣＩ、８３．８％－９４．０％）が得られた。
　ｐＭ癌の非拡大内視鏡診断では、感度９３．７％（９５％ＣＩ、８８．０％－９７．２％）、特異度７５．０％（９５％ＣＩ、５５．１％－８９．３％）、陽性予測値９４．４％（９５％ＣＩ、８８．９％－９７．７％）、陰性予測値７２．４％（９５％ＣＩ、５２．８％－８７．３％）、精度９０．３％（９５％ＣＩ、８４．５％－９４．５％）が得られた。拡大内視鏡のｐＭ癌診断では、感度９３．７％（９５％ＣＩ、８８．０％－９７．２％）、特異度８５．７％（９５％ＣＩ、６７．３％－９６．０％）、陽性予測値９６．７％（９５％ＣＩ、５６．６％－８８．５％）、精度９２．３％（９５％ＣＩ、８６．９％－９５．９％）が得られた。
　同じ有効性試験データのＳＣＣの深達度は、１６人の内視鏡専門医によって診断された（表２３）。全体として、感度８９．８％、特異性８８．３％、９７．９％の陽性予測値、６５．５％の陰性予測値、及び８９．６％の精度が得られた。長期（１６年以上）及び短期（１６年未満）の専門知識を持つ内視鏡専門家のサブグループ分析では、診断精度はそれぞれ９１．０％及び８７．７％であった。診断のための観察者間の一致度は０．３０３（Fleissのκ係数、ｚ＝４１．１、ｐ値＝０．０００）であった。全ての検証試験データを評価するのに要した時間は１１５分（範囲７０－１８０分）であった。
　病変の特徴に応じた実験形態５の訓練されたＣＮＮシステムの診断精度を表２４及び表２５に示した。実験形態６の訓練されたＣＮＮシステム及び内視鏡専門医の正確さは、病変の性質、例えば、癌浸潤深さ、形態及び病変の大きさが含まれる。
Figure JPOXMLDOC01-appb-T000024
Figure JPOXMLDOC01-appb-T000025
　実験形態６の訓練されたＣＮＮシステムの非拡大内視鏡診断は高い性能を示した。非拡大内視鏡画像の大部分は白色光画像であった。白色光イメージングを使用した非拡大内視鏡は、世界中で利用可能な従来の最も一般的な内視鏡イメージング方式である。従来の非拡大内視鏡を用いた癌深達度の診断は、主観的であり、観察者間変動の影響を受ける可能性のある癌の突出、陥没、及び硬さに基づいている。
　このような従来の非拡大内視鏡を用いた癌深達度の診断のばらつきは、低い客観性に由来し、その信頼性を損ない、癌深達度を診断するためのツールとしての非拡大内視鏡の適用を妨げた。しかしながら、実験形態６の訓練されたＣＮＮシステムによる診断は、明確な診断を示すことができるため、客観的な診断を提供し、変動性を解決することができる。一方、拡大内視鏡の診断能は実実験形態６の訓練されたＣＮＮシステムでは不利であった。この好ましくない性能は、拡大内視鏡画像の訓練画像の量が少ないことから得られたものである。拡大内視鏡のためのより多くの訓練データセットを蓄積することにより、さらなる改善が期待される。
　上述したように、実験形態６の訓練されたＣＮＮシステムは、表在食道ＳＣＣの深達度を診断するための良好な性能を示し、最終診断の精度は９１．０％であり、長期の専門知識を持つ内視鏡専門家の精度に匹敵している。
［実施形態７］
　実施形態７では、通常の食道胃十二指腸内視鏡（ＥＧＤ）を使用し、白色光イメージング（ＷＬＩ）及び狭帯域イメージング（ＭＢＩ）による表在性咽頭願（ＳＰＣ）を診断する診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について説明する。
［データセットについて］
　発明者の一人が属する医院において日常のスクリーニング又は術前検査のために実行されたＥＧＤにより撮影された内視鏡画像を用いてＣＮＮシステムの訓練を行った。使用した内視鏡システムは、高解像度の内視鏡（ＧＩＦ－Ｈ２９０Ｚ、ＧＩＦ－Ｈ２９０、ＧＩＦ－ＸＰ２９０Ｎ、ＧＩＦ－Ｈ２６０Ｚ、ＧＩＦ－Ｈ２６０；オリンパス医療システム、東京、日本国）及び標準の内視鏡ビデオシステム（ＥＶＩＳ ＬＵＣＥＲＡ ＣＶ－２６０／ＣＬＶ－２６０、ＥＶＩＳ ＬＵＣＥＲＡ ＥＬＩＴＥ ＣＶ－２９０／ＣＬＶ－２９０ＳＬ、オリンパス医療システム）であった。
　訓練データセットとして、咽頭癌の５，１０９枚の画像を遡及的に収集した。これには、標準ＷＬＩの２，１０９枚の画像と、咽頭癌病変部２４７例を含むＮＢＩの３，２９４枚の画像が含まれている。これらの画像の症例は、２０２例の表在性咽頭癌と４５例の進行癌を含む扁平上皮癌（ＳＣＣ）であることが組織学的に証明されている。訓練画像からは、ハレーション、焦点ぼけ、粘液、唾液等に起因する低品質の画像は除かれ、拡大内視鏡検査による拡大画像も除外された。また、同じ画像に２つ以上の病変がある画像も除外された。表在性咽頭癌の全ての症例は、内視鏡的切除術（ＥＲ）適用の時点でのヨウ素染色及び治療後のフォローアップ内視鏡検査を使用して、他の癌がないことが確認されている。咽頭癌病変の全ての画像は、６年以上の経験があり、大規模な癌センターで６，０００件の検査を行った経験豊富な内視鏡医によって手動でマーク付けされた。
［訓練／検証・アルゴリズム］
　実験形態６のＣＮＮシステムは、アルゴリズムを変更することなく、実質的に実施形態３の場合と同様のシングルショットマルチボックス検出器（ＳＳＤ）と呼ばれるＣＮＮアーキテクチャを用いるとともに、Caffeフレームワークを用いた。Caffeフレームワークは、元々Berkeley Vision and Learning Centerで開発された最も広く使用されているフレームワークの１つである。
　訓練は、グローバル学習率０．０００１の確率勾配降下で行った。各画像は３００×３００ピクセルにリサイズされ、境界ボックスも最適なＣＮＮ分析を行うようにサイズを変更した。これらの値は、すべてのデータがＳＳＤと互換性があることを保証するために、試行錯誤によって設定された。
［結果の測定及び統計］
　実験形態７の訓練されたＣＮＮシステムの評価のため、咽頭癌と非癌の患者の独立した検証データセットを準備した。これらの画像には、３５例の表在性咽頭癌及び５例の進行性咽頭癌を含む、３５人の患者からの４０例の咽頭癌病変部の画像（９２８枚の咽頭癌部分の画像及び７３２枚の癌ではない部分の画像）と、癌が存在していない４０人の患者の画像（２５２枚の癌のない画像）が含まれていた。咽頭癌の患者３５人のうち、３０人の患者はそれぞれ１つの病変を有し、５人の患者は同時に２つの病変を有していた。これら全ての咽頭癌患者は、２０１５年から２０１８年にかけて発明者の一人が属する病院で内視鏡的粘膜下層剥離術又は咽頭切除により治療されていた。さらに、スクリーニング検査の検証目的で、全ての症例でＷＬＩ及びＮＢＩによる一連の咽頭のスクリーニング画像を選択した。
　この研究は、公益財団法人癌研究会有明病院の治験審査委員会（No.2016-1171）及び日本医師会制度審査委員会（ID JMA-II A00283）によって承認されている。
［結果の測定及び統計］
　訓練データセットを使用して実験形態７の訓練されたＣＮＮシステムを構築した後、独立した検証画像を使用してパフォーマンスを評価した。ＣＮＮシステムが検証画像の入力データから咽頭癌を検出すると、ＣＮＮシステムの診断信頼スコア基準値６０に基づいて、咽頭癌の疾患名が割り当てられ、関連する病変を囲むように長方形の点線の枠が内視鏡画像に表示された。ここでは、咽頭癌の検出のためのＣＮＮシステムの診断性能を評価するためにいくつかの基準が選択された。
　実験形態６のＣＮＮシステムが癌の一部でも認識できる場合、ＣＮＮシステムは正しく診断したと見なされた。これは、１つの画像で癌の境界全体を特定することが困難な場合があり、癌の検出が本実施形態の主な目的であったためである。ただし、実験形態６の訓練されたＣＮＮシステムによって判断された画像に癌があった場合でも、画像の８０％以上を占める広い非癌性部位が含まれている場合は正しく診断されていないと見なされた。癌のある画像では、ＣＮＮシステムが非癌性の部位を癌性であると認識したとき、それは偽陽性の認識と判断された。
　病変の肉眼検査による分類は、日本頭頸部癌学会編集の頭頸部癌に関する臨床研究の一般規則の日本分類に従って決定された。また、検証データセットとして使用される症例をよりよく理解するために、国際対癌連合（ＵＩＣＣ）による悪性腫瘍のＴＮＭ分類からのＴ因子を使用した。
　Ｔ因子を簡単に述べると、下咽頭では、以下のとおりとなる。
　Ｔ１：下咽頭の１部位に限定され、最大径は２ｃｍ以下、
　Ｔ２：下咽頭の隣接部位に拡大、又は、最大径が２ｃｍ以上で４ｃｍ以下であり、片側咽頭の固定なし、
　Ｔ３：最大径が４ｃｍを超える腫瘍、又は、片側咽頭の固定ないし食道への拡大を伴う、
　Ｔ４ａ／Ｔ４ｂ：腫瘍が隣接臓器のいずれかに浸潤している。
　中咽頭では、以下のとおりとなる。
　Ｔ１：腫瘍が２ｃｍ以下、
　Ｔ２：腫瘍が２ｃｍ以上で４ｃｍ以下。
　全ての連続変数は、範囲の中央値(median値)として表されている。医用統計解析ソフトGraphPad Prism（GraphPad Software、Inc、La Jolla、CA）を利用したフィッシャーの正確度検定を使用して、統計分析を実施した。Ｐ＜０．０５の場合は統計的に有意とみなされた。
　腫瘍サイズの中央値は２２．５ｍｍでであり、病変の７２．５％が梨状洞にあり、病変の１７．５％が下咽頭の後壁にあった。肉眼による分類では、４７．５％が０－IIａであり、４０％が０－IIｂであった。全ての病変は組織病理学で扁平上皮癌（ＳＣＣ）であることが確認された（表２６参照）。
Figure JPOXMLDOC01-appb-T000026
　検証画像の一例を図２５に示した。なお、図２５Ａ－図２５Ｄは、実施形態７のＣＮＮシステムが正しく咽頭癌を検出した画像を示している。実施形態７のＣＮＮシステムは、咽頭癌として認識した領域を破線で方形の枠として表示している。なお、実線の方形状の枠は、内視鏡専門医が癌の領域として表示したものである。
　図２５Ａでは、梨状洞に白っぽい表面隆起病変が見られる。実施形態７のＣＮＮシステムは、病変を正しく認識し、内視鏡専門医によって描かれた実線正方形の枠と実質的に一致する破線の方形状の枠で囲んでいる。また、実施形態７のＣＮＮシステムは、茶色がかった領域として示される狭帯域イメージング（ＮＢＩ）による咽頭癌(図２５Ｂ）、白色光イメージング（ＷＬＩ）によるかすかに赤みがかった不明瞭な病変（図２５Ｃ）及び狭帯域イメージングＮＢＩの接線方向の病変（図２５Ｄ）など、一般に検出が困難なとされている病変も認識できていた。
　実施形態７のＣＮＮシステムは、ＷＬＩとＮＢＩの包括的な診断により、咽頭癌（４０／４０）の全ての病変を正しく検出した。その検出率は、ＷＬＩで９２．５％（３７／４０）、ＮＢＩで１００％（３８／３８）であった。実施形態７のＣＮＮシステムは、サイズが１０ｍｍ未満の３つの咽頭癌を全て検出できた。さらに、実施形態７のＣＮＮは２８秒で１９１２枚の画像を分析できた。
　また、実施形態７のＣＮＮシステムは、ＮＢＩによる各画像では８５．６％の感度で咽頭癌を正しく検出できたが、ＷＬＩによる各画像では７０．１％の感度で検出された。これはＮＢＩの場合よりも有意に低い感度であった（表２７、図２７Ａ参照）。ＷＬＩとＮＢＩのＰＰＶ（陽性的中率）は実質的に異なっていない（表２７、図２７Ｂ参照）。また、実施形態７のＣＮＮシステムの特異度、ＰＰＶ及びＮＰＶ（陰性的中率）は、それぞれ５７．１％、６０．７％及び７７．２％であったた（表２４参照）。
Figure JPOXMLDOC01-appb-T000027
　実施形態７のＣＮＮシステムでの偽陽性と偽陰性の原因は、頻度の降順で表２８及び表２９に纏められている。偽陽性の最も多い原因は、正常な構造を癌と誤診でしたものが５１％を占めていた（表２８参照）。実施形態７のＣＮＮシステムは、咽頭の正常な舌、披裂、喉頭蓋、及び正常な粘膜の凹凸を誤診することがある。実施形態７のＣＮＮシステムが擬陽性と誤診した画像の例を図２６に示した。たとえば、小さなのう胞による凹凸がある場合(図２６Ｃ）、舌根の画像（図２６Ｂ）及び披列の画像（図２６Ｃ）の例であるが、いずれも癌と誤診した。また、炎症を伴う正常な粘膜を癌と誤診でしたものが２３％を占め（表３）、正常な粘膜のＷＬＩの局所的な赤みがかった領域やＮＢＩの茶色がかった領域なども癌とも誤診された（図２６Ｄ）。泡と血液は、咽頭内では水で洗うことができないため、検証画像に残っており、癌と誤診されることもあった（図２６Ｅ）。良性病変に関しては、リンパ濾胞が最も頻繁に見られた（図２６Ｆ）。
Figure JPOXMLDOC01-appb-T000028
Figure JPOXMLDOC01-appb-T000029
　実施形態７のＣＮＮシステムで偽陰性と認定された画像の例を図２８に示した。実施形態７のＣＮＮシステムでの偽陰性と認定された画像の半分は、病変が遠すぎる場合（図２８Ａ）、病変の一部のみが存在する場合（図２８Ｂ）、又は接線ビューの病変の場合（図２８Ｃ）などの困難な条件（表２９参照）によるものであった。実施形態７のＣＮＮシステムは、ＷＬＩのいくつかの不明瞭な病変も見逃していた（図２８Ｄ）。これは、内視鏡専門医でも診断することが困難な例であった。
　以上述べたように、実施形態７のＣＮＮシステムは、咽頭癌を検出するために良好なパフォーマンスを示し、各ケースで咽頭癌の全ての病変を検出できた。全画像の感度は７９．７％であり、特にＮＢＩ画像の感度は８５．７％であった。すなわち、実施形態７のＣＮＮシステムでは、ＮＢＩはＷＬＩよりも咽頭癌を検出するのに優れていた。このことは目視による内視鏡専門医の検出結果と一致しており、従来はＷＬＩで８％、ＮＢＩで１００％であり、両者は非常に検出率が異なっていると報告されてる（非特許文献１２参照）。これは、ＷＬＩの画像では、表在癌と正常粘膜のコントラストが弱いためある。しかし実施形態７のＣＮＮシステムは、ＷＬＩの画像でも６９．８％の検出率であった。これは、以前の報告による内視鏡専門医の検出率よりもはるかに高い。したがって実施形態７のＣＮＮシステムは、ＮＢＩのない施設でも咽頭癌の検出に役立つことがわかる。
［実施形態８］
　実施形態８のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法について、図２０を用いて説明する。実施形態８では、実施形態１－６のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法を使用することができる。Ｓ１では、消化器官の第１の内視鏡画像と、第１の内視鏡画像に対応する、消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、疾患の深達度、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、を用いてＣＮＮシステムを訓練／検証する。このＣＮＮシステムが胃内視鏡画像におけるＨ．ピロリ関連疾患の診断用の場合であれば、Ｈ．ピロリ陽性及びＨ．ピロリ陽性の場合だけでなく、Ｈ．ピロリ除菌後の画像データをも含める。
　Ｓ２では、Ｓ１において訓練／検証されたＣＮＮシステムは、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する確率の少なくとも１つを出力する。この第２の内視鏡画像は、新たに観察された内視鏡画像を示す。
　Ｓ１では、第１の内視鏡画像はそれぞれが撮像された部位に関連付けられていてもよい。部位としては、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つを含むことができ、この部位は、複数の消化器官の少なくとも１つにおいて複数箇所に区分されていてもよい。
　第１の内視鏡画像が胃内視鏡画像を含む場合には、Ｓ１では疾患としてＨ．ピロリ感染陽性又は陰性だけでなく、Ｈ．ピロリ除菌の有無を含めてもよく、Ｓ２ではＨ．ピロリ感染陽性の確率、Ｈ．ピロリ感染陰性の確率及びＨ．ピロリ除菌の確率の少なくとも一つを出力するようにしてもよい。
　第１の内視鏡画像が大腸内視鏡画像を含む場合には、Ｓ１では、区分として、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門を含めてもよく、Ｓ２では、第２の内視鏡画像の大腸の区分として、例えば、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力するようにしてもよく、終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力するようにしてもよく、さらには、終末回腸、盲腸－上行結腸－横行結腸からなる右側結腸、下行結腸－Ｓ字結腸－直腸からなる左側結腸及び肛門の少なくとも一つに対応する確率を出力するようにしてもよい。
　また、Ｓ２では、第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであってもよい。
［実施形態９］
　実施形態９の消化器官の内視鏡画像による疾患の診断支援システム、消化器官の内視鏡画像による診断支援プログラム、及び、コンピュータ読み取り可能な記録媒体について図２１を参照して、説明する。実施形態９では、実施形態８で説明した消化器官の内視鏡画像による疾患の診断支援方法を利用することができる。
　この消化器官の内視鏡画像による疾患の診断支援システム１は、内視鏡画像入力部１０と、出力部３０と、ＣＮＮプログラムが組み込まれたコンピュータ２０と、出力部３０と、を有する。コンピュータ２０は、消化器官の第１の内視鏡画像を記憶する第１の記憶領域２１と、第１の内視鏡画像に対応する、消化器官の疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域２２と、ＣＮＮプログラムを記憶する第３の記憶領域２３と、を備える。第３の記憶領域２３に記憶されたＣＮＮプログラムは、第１の記憶領域２１に記憶されている第１の内視鏡画像と、第２の記憶領域２２に記憶されている確定診断結果とに基いて訓練／検証されており、内視鏡画像入力部１０から入力された消化器官の第２の内視鏡画像に基いて、第２の内視鏡画像に対する消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する確率の少なくとも１つを出力部３０に出力する。
　第１の記憶領域２１に記憶する第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていてもよい。部位としては、咽頭、食道、胃、十二指腸、小腸又は大腸の少なくとも１つを含むことができ、この部位は、複数の消化器官の少なくとも１つにおいて複数箇所に区分されていてもよい。
　第１の記憶領域２１に記憶する第１の内視鏡画像が胃内視鏡画像を含む場合には、第２の記憶領域２２に記憶する確定診断結果としては、Ｈ．ピロリ感染陽性又は陰性だけでなく、Ｈ．ピロリ除菌の有無を含めてもよく、第３の記憶領域に記憶させた第２の内視鏡画像について、Ｈ．ピロリ感染陽性の確率、Ｈ．ピロリ感染陰性の確率及びＨ．ピロリ除菌の確率の少なくとも一つを出力部３０から出力するようにしてもよい。
　第１の記憶領域２１に記憶する第１の内視鏡画像が大腸内視鏡画像を含む場合には、第２の記憶領域２２に記憶する確定診断結果としての区分として、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門を含めてもよく、第３の記憶領域に記憶させた第２の内視鏡画像の大腸の区分として、例えば、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力部３０から出力するようにしてもよく、終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力部３０から出力するようにしてもよく、さらには、終末回腸、盲腸－上行結腸－横行結腸からなる右側結腸、下行結腸－Ｓ字結腸－直腸からなる左側結腸及び肛門の少なくとも一つに対応する確率を出力部３０から出力するようにしてもよい。
　また、第３の記憶領域に記憶させる第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであってもよい。
　実施形態９の消化器官の内視鏡画像による疾患の診断支援システムは、各手段としてコンピュータを動作させるためのもの消化器官の内視鏡画像による診断支援プログラムを備えている。また、消化器官の内視鏡画像による診断支援プログラムは、コンピュータ読み取り可能な記録媒体に記憶しておくことができる。
　１０…内視鏡画像入力部
　２０…コンピュータ
　２１…第１の記憶領域
　２２…第２の記憶領域
　２３…第３の記憶領域
　３０…出力部

Claims (26)

  1. 　消化器官の第１の内視鏡画像と、
    　前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報の少なくとも１つの確定診断結果と、
    を用いて畳み込みニューラルネットワークシステムを訓練し、
    　前記訓練された畳み込みニューラルネットワークシステムは、前記消化器官の第２の内視鏡画像に基いて、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する確率の少なくとも１つを出力する、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法であって、
    　前記消化器官の部位が小腸であって、前記内視鏡画像がワイヤレスカプセル内視鏡画像であり、前記訓練された畳み込みニューラルネットワークプログラムは、前記内視鏡画像入力部から入力されたワイヤレスカプセル内視鏡画像の突出病変の確率スコアを出力することを特徴とする、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
  2. 　前記訓練された畳み込みニューラルネットワークプログラムは、検出した前記突出病変の領域を前記第２の内視鏡画像内に表示するとともに、前記第２の内視鏡画像内に前記確率スコアを表示することを特徴とする、請求項１に記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
  3. 　前記第２の内視鏡画像内には、前記小腸の前記疾患の陽性又は陰性の確定診断結果に基いて前記突出病変の領域として表示され、
    　前記訓練された畳み込みニューラルネットワークプログラムは、前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と、前記訓練された畳み込みニューラルネットワークプログラムにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域との重なりにより、前記訓練された畳み込みニューラルネットワークプログラムの診断結果の正誤を判定することを特徴とする、請求項１に記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
  4. 　前記重なりが、
    （１）前記小腸の前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域の８０％以上である時、又は、
    （２）前記訓練された畳み込みニューラルネットワークプログラムにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域が複数存在するとき、いずれか一つの領域が前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と重なっている時、
    　前記訓練された畳み込みニューラルネットワークプログラムの診断は正しいと判定することを特徴とする、請求項３に記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
  5. 　前記小腸の前記疾患の陽性又は陰性の診断結果は、前記突出病変がポリープ、結節、上皮腫瘍、粘膜下腫瘍及び静脈構造のいずれかであることを判定することを特徴とする、請求項１に記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
  6. 　消化器官の第１の内視鏡画像と、
    　前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報の少なくとも１つの確定診断結果と、
    を用いて畳み込みニューラルネットワークシステムを訓練し、
    　前記訓練された畳み込みニューラルネットワークシステムは、前記消化器官の第２の内視鏡画像に基いて、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する確率の少なくとも１つを出力する、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法であって、
    　前記消化器官が小腸であり、前記内視鏡画像がワイヤレスカプセル内視鏡画像であり、前記疾患が出血の有無であることを特徴とする、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  7. 　消化器官の第１の内視鏡画像と、
    　前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報の少なくとも１つの確定診断結果と、
    を用いて畳み込みニューラルネットワークシステムを訓練し、
    　前記訓練された畳み込みニューラルネットワークシステムは、前記消化器官の第２の内視鏡画像に基いて、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する確率の少なくとも１つを出力する、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法であって、
    　前記消化器官が食道であって、前記内視鏡画像が非拡大内視鏡画像又は拡大内視鏡画像であり、前記疾患が扁平上皮癌の深達度であることを特徴とする、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  8. 　前記食道の前記疾患の陽性又は陰性の診断結果は、前記扁平上皮癌の深達度が粘膜上皮－粘膜固有層、粘膜筋板、粘膜下層表面近傍、粘膜下層中間部以深のいずれかであることを判定することを特徴とする、請求項７に記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  9. 　消化器官の第１の内視鏡画像と、
    　前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報の少なくとも１つの確定診断結果と、
    を用いて畳み込みニューラルネットワークシステムを訓練し、
    　前記訓練された畳み込みニューラルネットワークシステムは、前記消化器官の第２の内視鏡画像に基いて、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する確率の少なくとも１つを出力する、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法であって、
    　前記消化器官の部位が咽頭であって、前記内視鏡画像が食道胃十二指腸内視鏡検査画像であり、前記疾患が咽頭癌であることを特徴とする、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  10. 　前記内視鏡画像が白色光内視鏡画像であることを特徴とする、請求項９に記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  11. 　前記畳み込みニューラルネットワークは、さらにＸ線コンピュータ断層撮影装置、超音波コンピュータ断層撮影装置又は磁気共鳴画像診断装置からの３次元情報と組み合わされていることを特徴とする、請求項１－１０のいずれかに記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  12. 　前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする、請求項１－１０のいずれかに記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  13. 　内視鏡画像入力部と、出力部と、畳み込みニューラルネットワークが組み込まれたコンピュータと、を有する畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システムであって、
    　前記コンピュータは、
    　消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
    　前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域と、
    　前記畳み込みニューラルネットワークプログラムを記憶する第３の記憶領域と、
    を備え、
    　前記畳み込みニューラルネットワークプログラムは、
    　前記第１の記憶部に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、
    　前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報に対応する確率の少なくとも１つを前記出力部に出力するものとされており、
    　前記消化器官の部位が小腸であって、前記内視鏡画像がワイヤレスカプセル内視鏡画像であり、前記訓練された畳み込みニューラルネットワークプログラムは、前記内視鏡画像入力部から入力されたワイヤレスカプセル内視鏡画像の突出病変の確率スコアを出力することを特徴とする、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
  14. 　前記訓練された畳み込みニューラルネットワークプログラムは、検出した前記突出病変の領域を前記第２の内視鏡画像内に表示するとともに、前記第２の内視鏡画像内に前記確率スコアを表示することを特徴とする、請求項１３に記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
  15. 　前記第２の内視鏡画像内には、前記小腸の前記疾患の陽性又は陰性の確定診断結果に基いて前記突出病変の領域として表示され、
    　前記訓練された畳み込みニューラルネットワークプログラムは、前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と、前記訓練された畳み込みニューラルネットワークプログラムにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域との重なりにより、前記訓練された畳み込みニューラルネットワークプログラムの診断結果の正誤を判定することを特徴とする、請求項１３に記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
  16. 　前記重なりが、
    （１）前記小腸の前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域の８０％以上である時、又は、
    （２）前記訓練された畳み込みニューラルネットワークプログラムにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域が複数存在するとき、いずれか一つの領域が前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と重なっている時、
    　前記訓練された畳み込みニューラルネットワークプログラムの診断は正しいと判定することを特徴とする、請求項１５に記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
  17. 　前記訓練された畳み込みニューラルネットワークプログラムは、前記第２の画像内に前記突出病変がポリープ、結節、上皮腫瘍、粘膜下腫瘍及び静脈構造のいずれかであることを表示することを特徴とする、請求項１３に記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
  18. 　内視鏡画像入力部と、出力部と、畳み込みニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による疾患の診断支援システムであって、
    　前記コンピュータは、
    　消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
    　前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域と、
    　前記畳み込みニューラルネットワークプログラムを記憶する第３の記憶領域と、
    を備え、
    　前記畳み込みニューラルネットワークプログラムは、
    　前記第１の記憶部に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、
    　前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報に対応する確率の少なくとも１つを前記出力部に出力するものとされており、
    　前記消化器官の部位が小腸であって、前記内視鏡画像がワイヤレスカプセル内視鏡画像であり、前記訓練された畳み込みニューラルネットワークプログラムは前記第２の画像内に前記疾患としての出血の有無の確率を表示することを特徴とする、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
  19. 　内視鏡画像入力部と、出力部と、畳み込みニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による疾患の診断支援システムであって、
    　前記コンピュータは、
    　消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
    　前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域と、
    　前記畳み込みニューラルネットワークプログラムを記憶する第３の記憶領域と、
    を備え、
    　前記畳み込みニューラルネットワークプログラムは、
    　前記第１の記憶部に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、
    　前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報に対応する確率の少なくとも１つを前記出力部に出力するものとされており、
    　前記消化器官の部位が食道であって、前記内視鏡画像が非拡大内視鏡画像又は拡大内視鏡画像であり、前記訓練された畳み込みニューラルネットワークプログラムは前記第２の画像内に前記疾患としての扁平上皮癌の深達度を表示することを特徴とする、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
  20. 　前記訓練された畳み込みニューラルネットワークプログラムは、前記第２の画像内に前記扁平上皮癌の深達度が粘膜上皮－粘膜固有層、粘膜筋板、粘膜下層表面近傍、粘膜下層中間部以深のいずれかであることを表示することを特徴とする、請求項１９に記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
  21. 　内視鏡画像入力部と、出力部と、畳み込みニューラルネットワークが組み込まれたコンピュータと、を有する畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システムであって、
    　前記コンピュータは、
    　消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
    　前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域と、
    　前記畳み込みニューラルネットワークプログラムを記憶する第３の記憶領域と、
    を備え、
    　前記畳み込みニューラルネットワークプログラムは、
    　前記第１の記憶部に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、
    　前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報に対応する確率の少なくとも１つを前記出力部に出力するものとされており、
    　前記消化器官の部位が咽頭であって、前記内視鏡画像が食道胃十二指腸内視鏡検査画像であり、前記疾患が咽頭癌であることを特徴とする、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
  22. 　前記内視鏡画像が白色光視鏡画像であることを特徴とする、請求項２１に記載の畳み込みニューラルネットワークシステムを用いた化器官の内視鏡画像による疾患の診断支援システム。
  23. 　前記畳み込みニューラルネットワークプログラムは、さらにＸ線コンピュータ断層撮影装置、超音波コンピュータ断層撮影装置又は磁気共鳴画像診断装置からの３次元情報と組み合わされていることを特徴とする、請求項１３－２２のいずれかに記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
  24. 　前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする、請求項１３－２２のいずれかに記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
  25. 　請求項１３－２４のいずれかに記載の消化器官の内視鏡画像による疾患の診断支援システムにおける各手段としてコンピュータを動作させるためのものであることを特徴とする、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による診断支援プログラム。
  26. 　請求項２５に記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による診断支援プログラムを記録したことを特徴とする、コンピュータ読み取り可能な記録媒体。
PCT/JP2019/045580 2018-11-21 2019-11-21 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 WO2020105699A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/295,945 US20220020496A1 (en) 2018-11-21 2019-11-21 Diagnostic assistance method, diagnostic assistance system, diagnostic assistance program, and computer-readable recording medium storing therein diagnostic assistance program for disease based on endoscopic image of digestive organ
CN201980076954.1A CN113164010A (zh) 2018-11-21 2019-11-21 利用消化器官的内窥镜影像的疾病的诊断支持方法、诊断支持系统、诊断支持程序及存储了该诊断支持程序的计算机可读记录介质
JP2020557614A JP7037220B2 (ja) 2018-11-21 2019-11-21 消化器官の内視鏡画像による疾患の診断支援システム、診断支援システムの作動方法、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
EP19887179.0A EP3884838A4 (en) 2018-11-21 2019-11-21 DISEASE DIAGNOSTIC AID METHOD BASED ON DIGESTIVE ORGAN ENDOSCOPIC IMAGES, DIAGNOSTIC AID SYSTEM, DIAGNOSTIC AID PROGRAM AND COMPUTER READABLE RECORDING MEDIA HAVING A DIAGNOSTIC AID PROGRAM STORED ON IT -THIS

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2018-218490 2018-11-21
JP2018218490 2018-11-21
JP2019148079 2019-08-09
JP2019-148079 2019-08-09
JP2019-172355 2019-09-20
JP2019172355 2019-09-20
JP2019-197174 2019-10-30
JP2019197174 2019-10-30

Publications (2)

Publication Number Publication Date
WO2020105699A1 WO2020105699A1 (ja) 2020-05-28
WO2020105699A9 true WO2020105699A9 (ja) 2020-07-09

Family

ID=70773823

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/045580 WO2020105699A1 (ja) 2018-11-21 2019-11-21 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体

Country Status (6)

Country Link
US (1) US20220020496A1 (ja)
EP (1) EP3884838A4 (ja)
JP (1) JP7037220B2 (ja)
CN (1) CN113164010A (ja)
TW (1) TW202037327A (ja)
WO (1) WO2020105699A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112466466A (zh) * 2021-01-27 2021-03-09 萱闱(北京)生物科技有限公司 基于深度学习的消化道辅助检测方法、装置和计算设备

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112019004084T5 (de) * 2019-03-27 2021-05-06 Hoya Corporation Endoskopprozessor, informationsverarbeitungsvorrichtung, endoskopsystem, programm und informationsverarbeitungsverfahren
KR20220032588A (ko) 2019-08-15 2022-03-15 제이에프이미네라르 가부시키가이샤 산화아연 소결체 제조용 산화아연 분말 및 산화아연 소결체, 그리고, 이들의 제조 방법
CN111091536B (zh) * 2019-11-25 2023-04-07 腾讯科技（深圳）有限公司 医学图像处理方法、装置、设备、介质以及内窥镜
US20220028547A1 (en) * 2020-07-22 2022-01-27 Iterative Scopes, Inc. Systems and methods for analysis of medical images for scoring of inflammatory bowel disease
WO2022025290A1 (ja) * 2020-07-31 2022-02-03 学校法人東京理科大学 画像処理装置、画像処理方法、画像処理プログラム、内視鏡装置、及び内視鏡画像処理システム
CN112651400B (zh) * 2020-12-31 2022-11-15 重庆西山科技股份有限公司 一种立体内窥镜辅助检测方法、系统、装置及存储介质
CN112614128B (zh) * 2020-12-31 2021-09-07 山东大学齐鲁医院 一种基于机器学习的内镜下辅助活检的系统及方法
JPWO2022209657A1 (ja) * 2021-03-30 2022-10-06
TWI789932B (zh) * 2021-10-01 2023-01-11 國泰醫療財團法人國泰綜合醫院 大腸瘜肉影像偵測方法、裝置及其系統
CN113643291B (zh) * 2021-10-14 2021-12-24 武汉大学 食管标志物浸润深度等级确定方法、装置及可读存储介质
TWI779900B (zh) * 2021-10-25 2022-10-01 瑞昱半導體股份有限公司 基於區域控制以及多重分支處理架構進行圖像增強的圖像處理系統與相關圖像處理方法
CN113706533B (zh) * 2021-10-28 2022-02-08 武汉大学 图像处理方法、装置、计算机设备及存储介质
CN114913173B (zh) * 2022-07-15 2022-10-04 天津御锦人工智能医疗科技有限公司 内镜辅助检查系统、方法、装置及存储介质
WO2024018581A1 (ja) * 2022-07-21 2024-01-25 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
CN115311268B (zh) * 2022-10-10 2022-12-27 武汉楚精灵医疗科技有限公司 食管内窥镜图像的识别方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002301019A (ja) 2001-04-09 2002-10-15 Hironori Yamamoto 内視鏡装置
US7346209B2 (en) * 2002-09-30 2008-03-18 The Board Of Trustees Of The Leland Stanford Junior University Three-dimensional pattern recognition method to detect shapes in medical images
US7623690B2 (en) * 2004-03-30 2009-11-24 Carestream Health, Inc. System and method for classifying in vivo images according to anatomical structure
US7986337B2 (en) 2004-09-27 2011-07-26 Given Imaging Ltd. System and method for editing an image stream captured in vivo
JP2006218138A (ja) * 2005-02-14 2006-08-24 Yoshihiro Sasaki ハイビジョンデジタル内視鏡画像のファイリング及びコンピューター支援診断装置
JP5618535B2 (ja) * 2009-12-22 2014-11-05 株式会社日立メディコ 医用画像診断装置
US9088716B2 (en) * 2012-04-11 2015-07-21 The University Of Saskatchewan Methods and apparatus for image processing in wireless capsule endoscopy
US10055843B2 (en) * 2015-03-31 2018-08-21 Mayo Foundation For Medical Education And Research System and methods for automatic polyp detection using convulutional neural networks
US10269114B2 (en) * 2015-06-12 2019-04-23 International Business Machines Corporation Methods and systems for automatically scoring diagnoses associated with clinical images
JP6528608B2 (ja) 2015-08-28 2019-06-12 カシオ計算機株式会社 診断装置、及び診断装置における学習処理方法、並びにプログラム
US20170084036A1 (en) 2015-09-21 2017-03-23 Siemens Aktiengesellschaft Registration of video camera with medical imaging
JP6545591B2 (ja) 2015-09-28 2019-07-17 富士フイルム富山化学株式会社 診断支援装置、方法及びコンピュータプログラム
CN107705852A (zh) * 2017-12-06 2018-02-16 北京华信佳音医疗科技发展有限责任公司 一种医用电子内窥镜的实时病变智能识别方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112466466A (zh) * 2021-01-27 2021-03-09 萱闱(北京)生物科技有限公司 基于深度学习的消化道辅助检测方法、装置和计算设备
CN112466466B (zh) * 2021-01-27 2021-05-18 萱闱(北京)生物科技有限公司 基于深度学习的消化道辅助检测方法、装置和计算设备

Also Published As

Publication number Publication date
WO2020105699A1 (ja) 2020-05-28
EP3884838A1 (en) 2021-09-29
CN113164010A (zh) 2021-07-23
EP3884838A4 (en) 2022-08-17
US20220020496A1 (en) 2022-01-20
JPWO2020105699A1 (ja) 2021-09-30
JP7037220B2 (ja) 2022-03-16
TW202037327A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
JP7017198B2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP7037220B2 (ja) 消化器官の内視鏡画像による疾患の診断支援システム、診断支援システムの作動方法、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
WO2019245009A1 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP7216376B2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
Cai et al. Using a deep learning system in endoscopy for screening of early esophageal squamous cell carcinoma (with video)
JP6657480B2 (ja) 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム
Horie et al. Diagnostic outcomes of esophageal cancer by artificial intelligence using convolutional neural networks
WO2021054477A2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
Namikawa et al. Utilizing artificial intelligence in endoscopy: a clinician’s guide
Namikawa et al. Artificial intelligence-based diagnostic system classifying gastric cancers and ulcers: comparison between the original and newly developed systems
Suzuki et al. Artificial intelligence for cancer detection of the upper gastrointestinal tract
Li et al. Intelligent detection endoscopic assistant: An artificial intelligence-based system for monitoring blind spots during esophagogastroduodenoscopy in real-time
Kim et al. Quality indicators in esophagogastroduodenoscopy
Li et al. Correlation of the detection rate of upper GI cancer with artificial intelligence score: results from a multicenter trial (with video)
Samuel et al. PTH-015 Developing The Recorded Image Quality Index (RIQI) Tool–Measuring Recorded Image Quality, Degree of Representation and Utility
JP2023079866A (ja) 超拡大内視鏡による胃癌の検査方法、診断支援方法、診断支援システム、診断支援プログラム、学習済みモデル及び画像診断支援装置
Shiroma et al. Ability of artificial intelligence to detect T1 esophageal squamous cell carcinoma from endoscopic videos: supportive effects of real-time assistance
McCarthy et al. A guttural cough
Ahmed et al. When to do paediatric gastrointestinal endoscopy?
Powell et al. Appropriateness of colonoscopy for patients with isolated abdominal pain
Urban et al. S1546: High Frequency EUS Miniprobe Staging for Superficial Colorectal Neoplasia: The Utility and Impact on Patients Management
Delvaux et al. Does the Colonic Capsule PillCam Colon® Efficiently Screen Patients Who Would Deserve a Complete Colonoscopy for Colo-Rectal Cancer Screening?
Perisetti et al. Challenges in the Diagnosis Of Barrett’s Esophagus and Related Neoplasia
Rhee et al. Clinical Presentation and Non-Surgical Management of Colonic Perforations Complicating Endoscopic Submucosal Dissection
Royer et al. Screening Colonoscopy: Endoscopic or Virtual

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19887179

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020557614

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019887179

Country of ref document: EP

Effective date: 20210621