TW202006742A - 藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體 - Google Patents

藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體 Download PDF

Info

Publication number
TW202006742A
TW202006742A TW108121798A TW108121798A TW202006742A TW 202006742 A TW202006742 A TW 202006742A TW 108121798 A TW108121798 A TW 108121798A TW 108121798 A TW108121798 A TW 108121798A TW 202006742 A TW202006742 A TW 202006742A
Authority
TW
Taiwan
Prior art keywords
colon
image
endoscopic
diagnosis
diseases
Prior art date
Application number
TW108121798A
Other languages
English (en)
Inventor
斎藤宏章
七條智聖
遠藤有真
青山和玄
多田智裕
山田篤生
中川健太郎
石原立
井上俊太郎
Original Assignee
日商Ａｉ醫療服務股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019032163A external-priority patent/JP7017198B2/ja
Application filed by 日商Ａｉ醫療服務股份有限公司 filed Critical 日商Ａｉ醫療服務股份有限公司
Publication of TW202006742A publication Critical patent/TW202006742A/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4233—Evaluating particular parts, e.g. particular organs oesophagus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4238—Evaluating particular parts, e.g. particular organs stomach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4255—Intestines, colon or appendix
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4842—Monitoring progression or stage of a disease
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Endocrinology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Fuzzy Systems (AREA)
  • Quality & Reliability (AREA)

Abstract

本發明提供一種使用卷積神經網路(CNN)之藉由消化器官之內視鏡影像之疾病的診斷支援方法等。 本發明之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法使用上述消化器官之第1內視鏡影像、及與上述第1內視鏡影像對應之上述消化器官之上述疾病之陽性或陰性、過去之疾病、重症度之等級、或者與所拍攝之部位對應之資訊中之至少1個之確診結果訓練CNN，且上述經訓練之CNN基於消化器官之第2內視鏡影像，輸出該消化器官之疾病之陽性及/或陰性之概率、過去之疾病之概率、疾病之重症度之等級、疾病之侵犯深度(浸潤深度)、或與所拍攝之部位對應之概率中之至少1個。

Description

藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體
本發明係關於一種使用類神經網路(neural network)之藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體。
對於消化器官、例如喉頭、咽頭、食道、胃、十二指腸、膽道、胰管、小腸、大腸等，多數進行內視鏡檢查。上部消化器官之內視鏡檢查係為了篩查胃癌、食道癌、消化性潰瘍、反流性胃炎等而經常進行，又，大腸之內視鏡檢查係為了篩查大腸癌、大腸息肉、潰瘍性大腸炎等而經常進行。尤其是上部消化器官之內視鏡檢查對各種上腹部症狀之詳細檢查、接受針對胃病之鋇檢查之陽性結果後之精密檢查、及一般納入日本之定期健康診斷之針對異常之血清胃蛋白酶原等級之精密檢查亦有用。又，近年來，胃癌診查正推進自先前之鋇檢查向胃內視鏡檢查轉變。
胃癌係最常見之惡性腫瘤之一，推定於數年前全世界發病約達100萬件。胃癌發病之根本原因中之幽門螺旋桿菌(Helicobacter pylori，以下有時稱為「H.pylori」)感染會誘發萎縮性胃炎、腸上皮化生，並最終導致胃癌發病。認為全世界非賁門胃癌中之98%係由H.pylori導致。考慮到感染了H.pylori的患者之胃癌之危險性提高，而H.pylori除菌後之胃癌之發生率降低，國際癌症研究機構(International Agency for Research on Cancer)將H.pylori分類為明確之致癌物質。根據此結果，為了降低胃癌發病之風險，進行H.pylori之除菌較為有用，利用抗菌藥物之除菌亦成為我國之保險診療，且係今後仍於保健衛生上強烈提倡之治療方法。事實上，日本之厚生勞動省於2013年2月承認了用於因H.pylori感染而產生之胃炎患者之根治之健康保險應用。
對於H.pylori感染之存在之鑑別診斷中，胃內視鏡檢查提供極其有用之資訊。毛細血管能夠清楚地觀察到之情形(RAC(regular arrangement of collecting venules，規則排列之集合小靜脈))或胃底腺息肉係H.pylori陰性之胃黏膜之特徵，但萎縮、發紅、黏膜腫脹、皺壁肥大係H.pylori感染胃炎之代表性所見。又，斑狀紅斑係將H.pylori除菌後之胃黏膜之特性。H.pylori感染之準確之內視鏡診斷係藉由血液或尿中之抗H.pylori IgG等級測定、糞便抗原測定、尿素呼氣試驗、或迅速脲酶試驗等各種檢查而確認，檢查結果為陽性之患者可進行H.pylori除菌。內視鏡檢查廣泛用於胃病變之檢查，但若於不依據臨床檢體分析而進行胃病變之確認時甚至可特定出H.pylori感染，則可不進行統一之血液檢查或尿檢查等，患者之負擔大幅減輕，又，亦能夠期待醫療經濟上之貢獻。
又，食道癌係第八大癌症，且係第六大癌症之死亡原因，於2012年推定出456,000件新病例及40萬人之死亡。於歐洲或北美，食道腺癌之發生率急速增高，鱗狀細胞癌(SCC)係占全世界食道癌之80%之最常見之腫瘤類型。已進行之食道SCC患者之總存活率依然較低。然而，若檢測出該癌作為黏膜癌或黏膜下癌，可期待良好之預後。
又，全大腸內視鏡檢查(colonoscopy、CS)可以高感度及高特異度檢測出結腸/直腸癌(colorectal cancer、CRC)、結腸/直腸息肉及炎症性大腸疾病等結腸/直腸疾病。患者可藉由此種疾病之早期診斷來進行更良好之預後之早期治療，故而重要的是提供CS之充分之品質。
如上所述，廣泛進行上部消化器官及大腸之內視鏡檢查，但針對小腸之內視鏡檢查由於難以將普通內視鏡插入至小腸之內部而幾乎不進行。原因在於普通內視鏡長度約為2 m左右，為了將內視鏡插入至小腸，必須經口地經由胃及十二指腸或者經肛門地經由大腸插入至小腸，並且小腸本身係長達6-7 m左右之器官，因此普通內視鏡難以實現遍及小腸整體之插入及觀察。因此，小腸之內視鏡檢查使用雙氣囊內視鏡(參照專利文獻1)或無線膠囊內視鏡(Wireless Capsule Endoscopy，以下有時稱為「WCE」)(參照專利文獻2)。
雙氣囊內視鏡係使設置於內視鏡之前端側之氣囊與設置於覆蓋內視鏡之外套管之前端側之氣囊交替地或者同時地膨脹或收縮，以將較長之小腸拉到跟前之方式一面縮短化、直線化一面進行檢查之方法，但由於小腸之長度較長，故而難以一次性遍及小腸之總長進行檢查。因此，藉由雙氣囊內視鏡而進行之小腸之檢查通常分為經口之內視鏡檢查與經肛門之內視鏡檢查之2次而進行。
又，藉由WCE而進行之內視鏡檢查係藉由吞下內置有相機、閃光燈、電池、發送機等之可經口攝取之膠囊，將膠囊於移動中於消化管內拍攝到之影像以無線方式發送至外部，並於外部接收及記錄該影像而進行檢查，且可一次性遍及整個小腸進行拍攝。
又，一般而言，小腸係指十二指腸、空腸、回腸，小腸腺癌被定義為除壺腹腺癌(十二指腸乳頭部癌)以外之十二指腸腺癌、空腸腺癌或回腸腺癌。小腸腺癌占消化管之總惡性腫瘤之未達0.5%、及總惡性腫瘤之未達5%。西歐各國中之小腸腺癌之年度發生率極低，每100萬人中為2.2〜5.7例，被認為是罕見之癌症。十二指腸腺癌占小腸腺癌之45%，其5年存活率於惡性小腸腫瘤中最低，未達30%。於在已進行之階段被診斷出之情形時，必需胰頭十二指腸切除術等侵入性較高之治療，於被診斷為無法切除之進行性癌之情形時，預後不良。
進而，淺表非乳頭部十二指腸上皮性腫瘤(Superficial Non-Ampullary Duodenal Epithelial Tumors，以下有時稱為「SNADET」)並非自十二指腸乳頭部發生，而是被定義成十二指腸之黏膜或黏膜下散發性腫瘤。該腫瘤幾乎不會轉移至淋巴結，因此SNADET之大部分可藉由內視鏡下切除術(ER)之類之侵入更小之治療方法進行治療。 [先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2002-301019號公報 專利文獻2]日本專利特開2006-095304號公報 [專利文獻3]日本專利特開2017-045341號公報 [專利文獻4]日本專利特開2017-067489號公報 [非專利文獻]
[非專利文獻1]Bibault JE, Giraud P, Burgun A. Big Data and machine learning in radiation oncology: State of the art and future prospects. Cancer Lett. 2016;382(1):110-117. [非專利文獻2]Esteva A, Kuprel B, Novoa RA, et al. Dermatologist-level classification of skin cancer with deep neural networks. Nature. 2017;542(7639):115-118. [非專利文獻3]Gulshan V, Peng L, Coram M, et al. Development and Validation of a Deep Learning Algorithm for Detection of Diabetic Retinopathy in Retinal Fundus Photographs. JAMA. 2016;316(22):2402-2410. [非專利文獻4]Byrne MF, Chapados N, Soudan F, et al. Real-time differentiation of adenomatous and hyperplastic diminutive colorectal polyps during analysis of unaltered videos of standard colonoscopy using a deep learning model. Gut. 2017. [非專利文獻5]Chen PJ, Lin MC, Lai MJ, Lin JC, Lu HH, Tseng VS. Accurate Classification of Diminutive Colorectal Polyps Using Computer-Aided Analysis. Gastroenterology. 2018;154(3):568-575. [非專利文獻6]Misawa M, Kudo SE, Mori Y, et al. Artificial Intelligence-Assisted Polyp Detection for Colonoscopy: Initial Experience. Gastroenterology. 2018. [非專利文獻7]Takiyama H, Ozawa T, Ishihara S, et al. Automatic anatomical classification of esophagogastroduodenoscopy images using deep convolutional neural networks. Sci Rep. 2018;8(1):7497. [非專利文獻8]Hirasawa T, Aoyama K, Tanimoto T, et al. Application of artificial intelligence using a convolutional neural network for detecting gastric cancer in endoscopic images. Gastric Cancer. 2018. [非專利文獻9]Shichijo S, Nomura S, Aoyama K, et al. Application of Convolutional Neural Networks in the Diagnosis of Helicobacter pylori Infection Based on Endoscopic Images. EBioMedicine. 2017;25:106-111. [非專利文獻10]Iakovidis DK, Koulaouzidis A. Automatic lesion detection in capsule endoscopy based on color saliency: closer to an essential adjunct for reviewing software. Gastrointestinal endoscopy 2014 Nov;80(5):877-83. [非專利文獻11]Farley HA, Pommier RF. Surgical Treatment of Small Bowel Neuroendocrine Tumors. Hematology/oncology clinics of North America. 2016;30(1):49-61.
[發明所欲解決之問題]
於此種消化器官之內視鏡檢查中，收集大量內視鏡影像，但為了進行精度管理，內視鏡專科醫生有義務進行內視鏡影像之雙重檢查。伴隨著每年多達數萬件之內視鏡診查，於二次讀影時內視鏡專科醫生所要讀影之影像張數為每人1小時約2800張之龐大數量，成為現場之較大負擔。
尤其是於小腸之藉由WCE而進行之檢查中，WCE之移動並非是藉由WCE本身之移動而進行，而是藉由腸之蠕動而進行，故而無法自外部限制移動，因此，為了防止漏看而於一次檢查中拍攝大量影像，並且WCE於小腸中移動之時間約有8小時，故而於一次檢查中拍攝之影像非常多。例如，WCE以無線方式發送每人約60,000張影像，因此內視鏡專科醫生快速傳送並進行檢查，基於該情況之平均之WCE影像分析需要30-120分之嚴密注意與集中。
並且，基於該等內視鏡影像之診斷不僅於針對內視鏡專科醫生之訓練或檢查保存影像方面需要花費大量時間，且較為主觀，可能會產生各種偽陽性判斷及假陰性判斷。進而，內視鏡專科醫生之診斷有時會因疲勞而導致精度劣化。此種現場之巨大負擔或精度之降低可能亦會導致受診者人數之限制，甚至亦假定無法充分地提供與需要對應之醫療服務之顧慮。
為了改善上述內視鏡檢查之勞務負荷及精度降低，期待有效利用AI(人工智慧：artificial intelligence)。若能夠使用近年來之影像識別能力超過人類之AI作為內視鏡專科醫生之輔助，則期待提高二次讀影作業之精度與速度。近年來，使用深層學習(deep learning)之AI於各種醫療領域受到關注，不僅於放射線腫瘤學、皮膚癌分類、糖尿病性視網膜病變(參照非專利文獻1-3)及消化系統內視鏡領域、尤其是包含大腸內視鏡之領域(參照非專利文獻4-6)，於各種醫療領域中亦存在可代替專科醫生對醫學影像進行篩查之報告。又，亦存在各種利用AI進行醫用影像診斷之專利文獻(參照專利文獻3、4)。然而，關於AI之內視鏡影像診斷能力於實際之醫療現場能否滿足有效精度(準確性)與性能(速度)並未充分地驗證，而基於利用AI之內視鏡影像之診斷尚未被實用化。
深層學習可使用複數層重疊而構成之類神經網路，根據輸入資料學習高次之特徵量。又，深層學習可使用反向傳播演算法，藉由表示裝置應該如何變更而更新用以根據之前之層之表現來計算各層之表現之內部參數。
於醫用影像建立關聯時，深層學習可使用過去累積之醫用影像進行訓練，從而可成為可根據醫學影像直接獲得患者之臨床特徵之高效之機械學習技術。類神經網路係藉由計算機上之模擬來表現腦神經迴路之特性之數理模型，支持深層學習之演算法之途徑係類神經網路。卷積神經網路(CNN)係由Szegedy等人開發，係用於影像之深層學習之最常見之網路架構。
於消化管內視鏡檢查中之內視鏡影像之判定作業中，維持高精度之方面之效率化成為較大課題。又，於欲將AI活用於該領域之影像解析時，該AI技術之提高成為較大課題。發明者等可對應於解剖學部位對食道/胃/十二指腸之影像進行分類，並構建可堅守內視鏡影像中之胃癌之CNN(參照非專利文獻7、8)。
進而，發明者等最近報告了基於內視鏡影像之H.pylori胃炎之診斷中之CNN之作用，示出CNN之能力與經驗豐富之內視鏡醫生匹敵，且診斷時間變得極短(參照非專利文獻9)。然而，該CNN將經H.pylori除菌後之症例除外而僅使用H.pylori陽性及陰性之症例作為訓練/驗證用資料集，存在預先將經H.pylori除菌後之症例除外之訓練/驗證用資料集之構建耗費工夫之課題，此外，亦存在無法對是否可準確地鑑定H.pylori陽性及陰性之症例，不僅如此，亦可準確地鑑定經H.pylori除菌後之症例進行評價之課題。
又，於實施CS(contrast sensitivity，對比敏感度)之情形時，開業醫生通常檢查直腸、結腸、及末梢回腸之一部分，但疾病之臨床特性視結腸・直腸之解剖學部位而有所不同。例如，根據若干最新研究，於結腸・直腸癌中，關於化學療法之流行病學、預後及臨床結果，於右側結腸及左側結腸中指出若干差異。同樣地，大腸之解剖學部位對於潰瘍性大腸炎之治療較為重要。原因在於潰瘍性大腸炎中之經口藥劑或栓劑之應用性基於大腸炎之存在位置。因此，於進行CS檢查時，準確地特定出結腸・直腸疾病之解剖學部位於臨床上具有意義。
CS通常用於糞便潛血陽性之情形或腹部症狀之篩查，施術者為了自由操作大腸內視鏡、識別異常區域並準確地診斷疾病而需要足夠之特殊訓練。獲得此種技能耗費時間之原因之一在於內視鏡檢查中之解剖學性識別之困難性。由於結腸之各部位之解剖學性不同點與結腸之各部分之類似性、各人之解剖學性差異及結腸之部位間之類似性，不僅是CS之初學者，CS之專家亦無法識別該內視鏡觀測器之前端之準確位置。
因此，開業醫生為了進行CS來檢測出異常，必須經由CS影像準確地識別結腸之解剖學性部分。根據最新證據，為了獲得足夠技能，學完全部CS試驗之經驗必須至少為200件。實際上，於日本，內視鏡專業之認定僅於5年以上之內視鏡訓練之後進行。
進而，藉由WCE而發現之小腸中之最常見之症狀係糜爛或潰瘍等黏膜破壞。該等主要係由非類固醇性消炎藥(NSAID)引起，有時會因克隆氏病或小腸惡性腫瘤而引起，故而必須早期診斷及早期治療。於先前之各種報告中，小腸之因糜爛及潰瘍而導致黏膜受到破壞之部分與周圍之正常黏膜之間顏色差異較小，故而利用軟體自動檢測時較檢測血管擴張症之情形時更差(參照非專利文獻10)。又，不存在與對小腸之WCE影像應用CNN來診斷小腸之各種疾病相關之研究。
被定義為黏膜或黏膜下癌之淺表食道鱗狀細胞癌(以下，有時稱為SCC)占於日本診斷出之所有食道癌之38%。於淺表食道SCC中，能夠應用食道切除術及內視鏡的切除術(ER)，但兩者於侵入性之方面大幅不同。於選擇適當之治療法時，若考慮到轉移之危險性或ER之可治癒性，則癌之侵犯深度(浸潤深度)係最重要之因素。
癌之侵犯深度之內視鏡診斷於對食道癌之術後經過、突出、硬度、及微小血管之變化等各種內視鏡所見進行評價時需要足夠之專業知識。淺表食道SCC之侵犯深度之診斷使用非放大內視鏡檢查(非ME)、放大內視鏡檢查(ME)、超音波內視鏡檢查(EUS)。使用非ME之診斷較為主觀，且基於可能會受到觀察者間之變動性之影響之癌之突出、下陷、及硬度。ME能夠明確地對與食道癌之侵犯深度密接關聯之微小血管結構進行觀察。
藉由EUS與ME進行之診斷較藉由非ME進行之診斷客觀，但較為複雜，會受到醫生之專業知識影響。因此，EUS與ME之經報告之癌之侵犯深度之準確精度相反，並不足夠。因此，作為更客觀且簡單地診斷食道癌之癌侵入深度之方法，要求革新之途徑。
此外，最近報告有藉由廣泛使用基於食道胃十二指腸內視鏡之檢查而淺表非乳頭部十二指腸上皮性腫瘤(SNADET)之檢出增加。SNADET通常平坦且表面之變化極小，因此容易於檢查中看漏。該事實由已報告之SNADET之檢出率於0.1%至3%之間大幅偏差確證。因此，對於藉由食道胃十二指腸內視鏡而進行之SNADET之檢出，亦期待找出良好之檢出方法。
本發明係為了解決如上述之先前技術之課題而成者。即，本發明之第1目的在於提供一種藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體，該藉由消化器官之內視鏡影像之疾病的診斷支援方法藉由使用消化器官之內視鏡影像並使用CNN，不僅可準確地鑑定例如H.pylori陽性及陰性之症例，亦可準確地鑑定經H.pylori除菌後之症例。
又，本發明之第2目的在於提供一種藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體，該藉由消化器官之內視鏡影像之疾病的診斷支援方法科藉由使用消化器官之內視鏡影像並使用CNN來準確地特定出例如結腸・直腸疾病之解剖學部位。
又，本發明之第3目的在於提供一種基於藉由WCE所得之小腸之內視鏡影像並使用CNN之可準確地鑑定小腸之糜爛/潰瘍小腸之疾病之診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體。
又，本發明之第4目的在於提供一種基於使用非ME及ME之食道內視鏡影像之可進行淺表食道SCC之侵犯深度與其分類之淺表食道SCC之診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體。
進而，本發明之第5目的在於提供一種基於使用食道胃十二指腸內視鏡之十二指腸內視鏡影像之SNADET之診斷支援方法、診斷支援系統、診斷支援程式及記憶該診斷支援程式之電腦可讀取之記錄媒體。 [解決問題之技術手段]
本發明之第1態樣之使用卷積神經網路(以下，有時稱為「CNN」)之藉由消化器官之內視鏡影像之疾病的診斷支援方法之特徵在於： 其係使用CNN者，且使用 上述消化器官之第1內視鏡影像、及 與上述第1內視鏡影像對應之上述消化器官之上述疾病之陽性或陰性、過去之疾病、重症度之等級、疾病之侵犯深度、或者與所拍攝之部位對應之資訊中之至少1個之確診結果訓練CNN，且 上述經訓練之CNN基於消化器官之第2內視鏡影像，輸出該消化器官之疾病之陽性及/或陰性之概率、過去之疾病之概率、疾病之重症度之等級、疾病之侵犯深度、或與拍攝之部位對應之概率中之至少1個。
根據該態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，由於基於針對複數位受驗者之各者預先獲得之包含複數個消化器官之內視鏡影像之第1內視鏡影像、及針對複數位受驗者之各者預先獲得之上述疾病之陽性或陰性、過去之疾病、重症度之等級、疾病之侵犯深度、或與所拍攝之部位對應之資訊中之至少1個之確診結果而訓練CNN，故而能於短時間內以實質上與內視鏡專科醫生匹敵之精度獲得受驗者之消化器官之疾病之陽性及/或陰性之概率、過去之疾病之概率、疾病之重症度之等級、疾病之侵犯深度、或與所拍攝之部位對應之概率中之任1個以上，從而能於短時間內篩選必須另行進行確診之受驗者。並且，由於可自動診斷相對於包含針對多個受驗者之複數個消化器官之內視鏡影像之測試資料的疾病之陽性及/或陰性之概率、過去之疾病之概率、疾病之重症度之等級、疾病之侵犯深度、或與所拍攝之部位對應之概率中之至少1個，故而不僅內視鏡專科醫生之檢查/修正變得容易，而且亦可謀求製作與疾病建立關聯之影像之集合的作業之省略化。
又，本發明之第2態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第1態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：上述第1內視鏡影像分別與所拍攝之消化器官之部位建立關聯。
於未經訓練之CNN中，存在難以識別具體之消化器官之內視鏡影像係哪個部位之影像之情形。根據第2態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，由於成為使用根據各部位而分類之內視鏡影像來進行訓練之類神經網路，故而能對CNN進行與各部位對應之極精細之訓練，故而相對於第2內視鏡影像之疾病之陽性及陰性之各者之陰性之概率、過去之疾病之概率、疾病之重症度之等級、與所拍攝之部位對應之概率等之檢測精度提高。
又，本發明之第3態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第2態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：上述消化器官之部位包含咽頭、食道、胃、十二指腸、小腸及大腸中之至少1個。
根據第3態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，可準確地進行咽頭、食道、胃、十二指腸及大腸之各部位之分類，因此相對於各部位之疾病之陽性及陰性之各者之概率、過去之疾病之概率、疾病之重症度之等級、與所拍攝之部位對應之概率等之檢測精度提高。
又，本發明之第4態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第3態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：上述消化器官之部位於咽頭、食道、胃、十二指腸、小腸及大腸中之至少一者被劃分成複數個部位。
由於消化器官分別形成複雜之形狀，故而若部位之分類數較少，則存在難以識別具體之內視鏡影像係該消化器官之哪個部位之影像之情形。根據第4態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，由於在複數個消化器官之各者被劃分成複數個部位，故而可於短時間內獲得高精度之診斷結果。
又，本發明之第5態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第3或第4態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：上述消化器官之部位為胃，並且上述至少1個之確診結果包含H.pylori感染陽性、H.pylori感染陰性及H.pylori除菌中之任一者，上述CNN輸出H.pylori感染陽性之概率、H.pylori感染陰性之概率及H.pylori除菌之概率中之至少一個。
根據本發明之第5態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，可於極短之時間內且可以與日本消化系統內視鏡學會專科醫生同等之精度輸出受驗者之H.pylori感染之陽性或陰性之各者之概率，不僅如此，亦可輸出已進行H.pylori除菌之概率，且可於短時間內準確地篩選必須另行進行確診之受驗者。再者，確診係藉由對所篩選之受驗者進行血液或尿之抗H.pylori IgG等級測定、糞便抗原檢查、或尿素呼氣檢查來進行。
又，本發明之第6態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第4態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：上述消化器官之部位為大腸，上述劃分部位為末梢回腸、盲腸、上行結腸、橫行結腸、下行結腸、S狀結腸、直腸及肛門中之至少一個，上述CNN輸出作為被拍攝上述第2內視鏡影像之上述劃分部位對應於末梢回腸、盲腸、上行結腸、橫行結腸、下行結腸、S狀結腸、直腸及肛門中之至少一個的概率。
又，本發明之第7態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第4態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：上述消化器官之部位為大腸，並且上述劃分部位為末梢回腸、盲腸、上行結腸及橫行結腸、下行結腸及S狀結腸、直腸及肛門，上述CNN輸出作為被拍攝上述第2內視鏡影像之劃分部位對應於末梢回腸、盲腸、上行結腸及橫行結腸、下行結腸及S狀結腸、直腸及肛門中之至少一個的概率。
又，本發明之第8態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第4態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：上述消化器官之部位為大腸，並且上述劃分部位為末梢回腸、包含盲腸-上行結腸-橫行結腸之右側結腸、包含下行結腸-S狀結腸-直腸之左側結腸及肛門，上述CNN輸出作為被拍攝上述第2內視鏡影像之劃分部位對應於末梢回腸、包含盲腸-上行結腸-橫行結腸之右側結腸、包含下行結腸-S狀結腸-直腸之左側結腸及肛門中之至少一個的概率。
根據本發明之第6至8中任一態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，可準確地進行大腸之各劃分部位之分類，從而容易理解必須進行精密檢查之劃分。再者，大腸之劃分部位之選擇只要考慮大腸疾病之出現傾向及出現頻度等，亦考慮針對各劃分部位之CNN之感度及特異性而適當選擇即可。
又，本發明之第9態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第3態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：上述消化器官之部位為小腸，並且上述內視鏡影像為無線膠囊內視鏡影像，上述疾病為糜爛及潰瘍中之至少一個。
根據本發明之第9態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，對於多個受驗者之藉由WCE所得之小腸之內視鏡影像，可於短時間內以實質上與內視鏡專科醫生匹敵之精度獲得受驗者之小腸之疾病之陽性及/或陰性之區域及概率，而可於短時間內篩選必須另行進行確診之受驗者，從而內視鏡專科醫生之檢查/修正變得容易。再者，根據本態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，於小腸之WCE內視鏡影像中糜爛與潰瘍之區別雖不明確，但可準確且自動的篩選該等中之至少一個。
又，本發明之第10態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第3態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：上述消化器官之部位為十二指腸，並且上述內視鏡影像為食道胃十二指腸內視鏡影像，上述疾病為淺表非乳頭部十二指腸上皮性腫瘤。
根據本發明之第10態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，對於藉由食道胃十二指腸內視鏡所得之內視鏡影像，可於短時間內獲得淺表非乳頭部十二指腸上皮性腫瘤之區域及概率。
本發明之第11態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第9或10態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：上述疾病之陽性或陰性之確診結果係作為上述疾病之陽性之區域顯示於上述第2內視鏡影像內，上述經訓練之卷積神經網路將所檢測出之上述疾病之陽性之區域顯示於上述第2內視鏡影像內，並且將上述概率分數顯示於上述第2影像內。
根據本發明之第11態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，可於第2內視鏡影像內準確地對獲得內視鏡專科醫生之確診結果之區域與藉由經訓練之CNN而檢測出之疾病之陽性之區域進行對比，因此可使CNN之感度及特異度更良好。
又，本發明之第12態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第11態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：其係藉由作為上述疾病之陽性或陰性之確診結果之上述第2內視鏡影像內所顯示之上述疾病之陽性之區域與藉由上述經訓練之卷積神經網路顯示於上述第2內視鏡影像內之上述疾病之陽性之區域之重疊，判定上述經訓練之卷積神經網路之診斷結果之對錯。
根據本發明之第12態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，由於在第2內視鏡影像內顯示獲得內視鏡專科醫生之確診結果之區域、及藉由經訓練之CNN而檢測出之疾病之陽性之區域，故而可根據其等區域之重疊狀態立刻與經訓練之CNN之診斷結果進行對比。
又，本發明之第13態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第12態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：於上述重疊為 (1)作為上述小腸之上述疾病之陽性或陰性之確診結果之上述第2內視鏡影像內所顯示之上述疾病之陽性之區域之80%以上時、或 (2)於藉由上述經訓練之卷積神經網路顯示於上述第2內視鏡影像內之上述疾病之陽性之區域存在複數個時，任一個區域與作為上述疾病之陽性或陰性之確診結果之上述第1內視鏡影像內所顯示之上述疾病之陽性之區域重疊時， 判定上述經訓練之卷積神經網路之診斷正確。
根據本發明之第13態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，可容易地判定CNN之診斷之對錯，從而經訓練之CNN之診斷之精度提高。
又，本發明之第14態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第9至13中任一態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：上述經訓練之卷積神經網路將所檢測出之上述疾病之陽性之區域與上述概率分數一併顯示於上述第2影像內。
根據本發明之第14態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，內視鏡專科醫生可於短時間內準確地把握多個受驗者之小腸及十二指腸之疾病之陽性及/或陰性之區域及概率分數，從而內視鏡專科醫生之檢查/修正變得容易。
又，本發明之第15態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第3態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：上述消化器官之部位為食道，並且上述內視鏡影像為非放大內視鏡影像或放大內視鏡影像，上述疾病為淺表食道鱗狀細胞癌(SCC)之侵犯深度。又，本發明之第16態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第15態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：上述疾病之陽性或陰性之確診結果判定上述鱗狀細胞癌之侵犯深度為黏膜上皮-黏膜固有層(EP-LPM)、黏膜肌板(MM)、黏膜下層表面附近(SM1)、黏膜下層中間部以降深處(SM2-)之哪一個。
根據本發明之第15或第16態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，由於可於短時間內準確地把握淺表食道SCC之侵犯深度，故而可準確地進行針對淺表食道SCC之內視鏡切除術(ER)之應用性之判斷。
又，本發明之第17態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第1至16中任一態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：上述CNN進而與來自X射線電腦斷層拍攝裝置、超音波電腦斷層拍攝裝置或核磁共振影像診斷裝置之三維資訊進行組合。
X射線電腦斷層拍攝裝置、超音波電腦斷層拍攝裝置或核磁共振影像診斷裝置可立體地表示各消化器官之結構，因此若與第1至16中任一態樣之CNN之輸出進行組合，可更準確地把握被拍攝內視鏡影像之部位。
又，本發明之第18態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法係如第1至17中任一態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於：上述第2內視鏡影像係利用內視鏡拍攝中之影像、經由通信網路發送來之影像、藉由遠距離操作系統或雲端系統提供之影像、記錄於電腦可讀取之記錄媒體之影像、或動態影像中之至少1個。
根據第18態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法，可於短時間內輸出相對於所輸入之第2內視鏡影像之消化器官之疾病陽性及陰性之各者之概率或重症度，因此，不論第2內視鏡影像之輸入形式如何，例如自遠距離處發送之影像或動態影像均能夠利用。再者，作為通信網路，可利用周知之網際網路、內部網路、商際網路、LAN(Local Area Network，區域網路)、ISDN(Integrated Service Digital Network，整合式服務數位網路)、VAN(value added network，加值網路)、CATV(Community Antenna TeleVision，社區共用天線電視)通信網路、虛擬專用網路(virtual private network)、電話線路網、行動通信網路、衛星通信網路等。又，構成通信網路之傳輸媒體亦可利用周知之IEEE1394串列匯流排、USB(Universal Serial Bus，通用串列匯流排)、電力線載波、有線電視線路、電話線線路、ADSL(Asymmetric Digital Subscriber Line，非對稱數位式用戶迴路)線路等有線、紅外線、Bluetooth(註冊商標)、IEEE802.11等無線、行動電話網路、衛星線路、地面數位網路等無線等。藉由該等，可以所謂之雲服務或遠距離支援服務之形態利用。
又，作為電腦可讀取之記錄媒體，可使用周知之磁帶或卡式磁帶等帶系、包含軟(註冊商標)碟、硬碟等磁碟、光碟-ROM(Read Only Memory，唯讀記憶體)/MO(magneto-optical，磁光)/MD(MiniDisc，小型磁碟)/數位影音光碟/光碟-R等光碟之碟系、IC卡、記憶卡、光學卡等卡系、或者遮罩ROM/EPROM(Erasable Programmable Read Only Memory，可抹除可程式化唯讀記憶體)/EEPROM(Electrically Erasable Programmable Read Only Memory，電子可抹除可程式化唯讀記憶體)/快閃ROM等半導體記憶體系等。藉由其等，可提供能夠對所謂之醫療機構或診查機構簡便地移植或設置系統之形態。
進而，本發明之第19態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統之特徵在於：其係具有內視鏡影像輸入部、輸出部、及組入有CNN之電腦者， 上述電腦具備：第1記憶區域，其記憶消化器官之第1內視鏡影像； 第2記憶區域，其記憶與上述第1內視鏡影像對應之上述消化器官之上述疾病之陽性或陰性、過去之疾病、重症度之等級、疾病之侵犯深度、或與所拍攝之部位對應之資訊中之至少1個之確診結果；及 第3記憶區域，其記憶上述CNN程式； 上述CNN係基於記憶於上述第1記憶部之上述第1內視鏡影像、及記憶於上述第2記憶區域之確診結果被訓練，且 基於自上述內視鏡影像輸入部輸入之消化器官之第2內視鏡影像，將相對於上述第2內視鏡影像之消化器官之疾病之陽性及/或陰性之概率、過去之疾病之概率、疾病之重症度之等級、疾病之侵犯深度、或與所拍攝之部位對應之概率中之至少一者輸出至上述輸出部。
又，本發明之第20態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統係如本發明之第18態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：上述第1內視鏡影像分別與所拍攝之部位建立關聯。
又，本發明之第21態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統係如本發明之第20態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：上述消化器官之部位包含咽頭、食道、胃、十二指腸、小腸及大腸中之至少1個。
又，本發明之第22態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統係如本發明之第21態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：上述消化器官之部位於咽頭、食道、胃、十二指腸、小腸及大腸中之至少一者被劃分成複數個部位。
又，本發明之第23態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統係如本發明之第21或22態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：上述消化器官之部位為胃，並且上述CNN基於上述第2內視鏡影像，輸出H.pylori感染陽性之概率、H.pylori感染陰性之概率及H.pylori除菌之概率中之至少一個。
又，本發明之第24態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統係如本發明之第22態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：上述消化器官之部位為大腸，上述劃分部位為末梢回腸、盲腸、上行結腸、橫行結腸、下行結腸、S狀結腸、直腸及肛門中之至少一個，上述CNN輸出作為被拍攝上述第2內視鏡影像之上述劃分部位對應於末梢回腸、盲腸、上行結腸、橫行結腸、下行結腸、S狀結腸、直腸及肛門中之至少一個的概率。
又，本發明之第25態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統係如本發明之第22態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：上述消化器官之部位為大腸，並且上述劃分部位為末梢回腸、盲腸、上行結腸、橫行結腸、下行結腸、S狀結腸、直腸及肛門中之至少一個，上述CNN輸出作為被拍攝上述第2內視鏡影像之部位對應於末梢回腸、盲腸、上行結腸及橫行結腸、下行結腸及S狀結腸、直腸及肛門中之至少一個的概率。
又，本發明之第26態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統係如本發明之第22態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：上述消化器官之部位為大腸，並且上述經訓練之CNN輸出作為被拍攝上述第2內視鏡影像之部位對應於末梢回腸、包含盲腸-上行結腸-橫行結腸之右側結腸、包含下行結腸-S狀結腸-直腸之左側結腸及肛門中之至少一者之劃分部位的概率。
又，本發明之第27態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統係如本發明之第21態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：上述消化器官之部位為小腸，並且上述經訓練之卷積神經網路基於上述第2內視鏡影像，輸出與作為上述疾病之糜爛及潰瘍中之至少一個對應之概率。
又，本發明之第28態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統係如本發明之第21態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：上述消化器官之部位為十二指腸，並且上述經訓練之卷積神經網路基於上述第2內視鏡影像，輸出與作為上述疾病之淺表非乳頭部十二指腸上皮性腫瘤對應之概率。
又，本發明之第29態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統係如本發明之第19至28中任一態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：上述CNN進而與來自X射線電腦斷層拍攝裝置、超音波電腦斷層拍攝裝置或核磁共振影像診斷裝置之三維資訊進行組合。
又，本發明之第30態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統係如本發明之第19至28中任一態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：上述第2內視鏡影像係利用內視鏡拍攝中之影像、經由通信網路發送來之影像、藉由遠距離操作系統或雲端系統提供之影像、記錄於電腦可讀取之記錄媒體之影像、或動態影像中之至少1個。
根據本發明之第19至30中任一態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統，可分別發揮與第1至18中任一態樣之使用CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法相同之效果。
進而，本發明之第31態樣之藉由消化器官之內視鏡影像之診斷支援程式之特徵在於：其係用以作為如第19至28中任一態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統中之各機構而使電腦動作者。
根據本發明之第31態樣之藉由消化器官之內視鏡影像之診斷支援程式，可提供一種用以作為如第19至28中任一態樣之藉由消化器官之內視鏡影像之疾病的診斷支援系統中之各機構使電腦動作之藉由消化器官之內視鏡影像之診斷支援程式。
又，本發明之第32態樣之電腦可讀取之記錄媒體之特徵在於：其記錄有如第31態樣之藉由消化器官之內視鏡影像之診斷支援程式。
根據本發明之第32態樣之電腦可讀取之記錄媒體，可提供一種記錄有如第31態樣之藉由消化器官之內視鏡影像之診斷支援程式之電腦可讀取之記錄媒體。 [發明之效果]
如上所述，根據本發明，由於組入有CNN之程式係基於針對複數位受驗者之各者預先獲得之複數個消化器官之內視鏡影像、及針對複數位受驗者之各者預先獲得之上述疾病之陽性或陰性之確診結果予以訓練，故而可於短時間內以實質上與內視鏡專科醫生匹敵之精度獲得受驗者之消化器官之疾病之陽性及/或陰性之概率、過去之疾病之概率、疾病之重症度之等級、疾病之侵犯深度、與所拍攝之部位對應之資訊等，從而可於短時間內篩選必須另行進行確診之受驗者。
以下，以H.pylori感染胃炎之情形及大腸之各部位識別之情形為例，對本發明之藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體詳細地進行說明。但是，以下所示之實施形態係表示用以將本發明之技術思想具體化之例者，並非意圖將本發明特定為該等情形。即，本發明亦能夠同等地應用於申請專利範圍所包含之其他實施形態者。又，於本發明中，稱為影像之用語不僅包含靜止影像，亦包含動態影像。
[實施形態1] 於實施形態1中，針對本發明之藉由內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體，對應用於H.pylori感染胃炎之情形之例進行說明。於一位發明者所屬之醫院中，總計33人之內視鏡檢查醫生使用利用白色光之通常倍率之內視鏡進行食道-胃-十二指腸內視鏡檢查(以下稱為「EGD」)。EGD之適應症係與各種上腹部症狀、針對胃病之鋇檢查之陽性結果、異常之血清胃蛋白酶原之等級、胃或十二指腸之既往症或篩查相關之來自基層醫療醫師之介紹。
利用標準之EGD用內視鏡(EVIS GIF-XP290N、GIF-XP260、GIF-XP260NS、GIF-N260等、Olympus Medical Systems公司、東京)使用白色光拍攝影像，而進行EGD。所獲得之影像係通常倍率之影像，未使用放大之影像。
所有患者接受用以檢測H.pylori感染之有無之檢查。該檢查係血液或尿中之抗H.pylori IgG等級測定、糞便抗原測定及尿素呼氣試驗中之至少一種。並且，於該等檢查之任一者中顯示陽性反應之患者被分類為H.pylori陽性。於未被診斷為H.pylori陽性之患者中，無接受過H.pylori除菌治療之經驗者被分類為H.pylori陰性。又，過去接受過H.pylori除菌治療且已經除菌成功之患者被分類為H.pylori除菌。於圖1中示出所獲得之典型之胃部內視鏡影像。再者，圖1A係被診斷為H.pylori陽性之影像之例，圖1B係被診斷為H.pylori陰性之影像之例，圖1C係H.pylori除菌後之影像之例。
[關於資料集] 藉由對2015年12月至2017年4月進行之5,236人之EGD之影像進行追溯評論，準備AI庫之診斷系統之訓練及驗證所使用之資料集(分別稱為「訓練用資料集」及「驗證用資料集」，兩者彙總稱為「訓練/驗證用資料集」；又，有時將訓練及驗證之兩者彙總稱為「訓練/驗證」)。具有胃癌、潰瘍、或黏膜下腫瘤之存在或病歷之患者之資料自訓練/驗證用資料集中排除。為了將因胃內之食物殘渣、出血及暈光所導致產生之不清晰之影像排除，被診斷為H.pylori陽性、H.pylori陰性或H.pylori除菌之胃之影像藉由內視鏡專科醫生進而進行篩查。又，亦準備成為評價對象之內視鏡影像資料集(稱為「測試資料集」)。再者，該「訓練/驗證用資料」與本發明之「第1內視鏡影像」對應，「測試資料」與本發明之「第2內視鏡影像」對應。
如表1所示，將自被判定為H.pylori陽性之742人、被判定為H.pylori陰性之3,469人及被判定為H.pylori除菌之845位患者獲得之98,564張影像製作成訓練用資料集用。使98,564張內視鏡影像於0-359°之間隨機旋轉，將周圍之黑框部分修整並刪除，並適當地以0.9-1.1倍之標度縮小及放大，而使影像數增加。此種影像數之增加包含旋轉、放大、縮小、像素數之變更、明暗部之擷取或色調變化部位之擷取之至少1個，可藉由工具自動進行。再者，亦可排除窄頻帶影像等經加強之影像，而僅包含具有通常倍率之通常之白色光影像。繼而，使用依據胃之7個部位(賁門部、胃底部、胃體部、胃角部、前庭部、幽門竇及幽門、參照圖2)分類之影像構建CNN。
[驗證用資料集之準備] 為了對使用上述訓練用資料集構建之實施形態1之CNN與內視鏡檢查醫生之診斷精度進行評價，準備驗證用資料集。於一位發明者所屬之醫院中，排除自2017年5月至6月進行過內視鏡檢查之871位患者之影像資料中H.pylori之感染狀況不詳之22人及接受過胃切除術之2人之影像資料，最終包含來自847位患者(分別是70位H.pylori陽性、493位H.pylori陰性及284位H.pylori除菌)之合計23,699張影像(參照圖3)。
將該等患者之人口統計學特徵及影像之特徵示於表1。 [表1]
Figure 108121798-A0304-0001
關於臨床診斷，藉由糞便抗原檢查而進行者為264人(31%)，藉由尿中之抗H.pylori IgG等級而進行者為126人(15%)。於63人(7%)之症例中進行複數種診斷檢查。訓練資料集與驗證用資料集之間不存在重複。
[訓練/驗證、演算法] 為了構建AI庫之診斷系統，利用由伯克利視覺與學習中心(BVLC)最先開發之Caffe構架作為由Szegedy等人開發之最先進之深層學習類神經網路之開發基盤，使用包含22層之GoogLeNet(https://arxiv.0rg/abs/1409.4842)作為卷積神經網路(CNN)架構。
實施形態1中所使用之CNN如圖4所示，使用反向傳播(Backpropagation：誤差反向傳播法)進行訓練。CNN之各層使用AdaDelta(https://arxiv.0rg/abs/1212.5701)，以全局學習率為0.005進行概率的最佳化。為了使所有影像與GoogLeNet具有相容性，將各影像調整為244×244像素。又，將通過ImageNet學習了自然影像之特徵量之已訓練過之模型用作訓練開始時之初始值。ImageNet(http://www.image-net.0rg/)係於2017年年初收載有多達1,400萬點以上之影像之資料庫。該訓練方法被稱為遷移學習，已確認即便於指導資料較少之情形時亦有效。再者，於實施形態1之CNN中，使用INTEL公司之Core i7-7700K作為CPU(Central Processing Unit，中央處理單元)，使用NVIDEA公司之GeForce GTX 1070作為圖形處理裝置用GPU(Graphics Processing Unit，圖形處理單元)。
[評價演算法] 經訓練/驗證之實施形態1之CNN輸出0至1之間之概率值(PS)作為相對於經輸入之影像之H.pylori陽性、H.pylori陰性及H.pylori除菌之診斷結果。若將H.pylori陽性之PS值表示為Pp，將H.pylori陰性之PS值表示為Pn，將H.pylori除菌之PS值表示為Pe，則成為Pp＋Pn＋Pe＝1。選擇取該3個概率值之最大值作為最準確之「CNN之診斷」。
所有患者資訊於用以維持患者之匿名性之資料分析之前被刪除。該研究獲得日本醫師會制度審查委員會(ID JMA-IIA00283)之認可，係於赫爾辛基宣言之下實施。
將實施形態1中所測得之藉由CNN所得之診斷結果與藉由臨床檢查所得之診斷結果之關係彙總示於表2。 [表2]
Figure 108121798-A0304-0002
於全部23,699張影像之中，CNN將418張影像診斷為H.pylori陽性，將23,034張影像診斷為H.pylori陰性，進而將247張影像診斷為H.pylori除菌。於CNN將全部影像診斷為H.pylori陰性之655人中，於臨床檢查中，466人(71%)同樣地被診斷為H.pylori陰性，22人(3%)被診斷為H.pylori陽性，167人(25%)被診斷為H.pylori除菌。
又，於CNN將至少1張影像診斷為「H.pylori陽性或除菌」之192人中，於臨床檢查中，48人(25%)被診斷為H.pylori陽性，117人(61%)被診斷為H.pylori除菌，共計165人(86%)同樣地被診斷為「H.pylori陽性或除菌」，但27人(14%)被診斷為H.pylori陰性。進而，於CNN將至少1張影像診斷為H.pylori除菌之119人中，於臨床檢查中，83人(70%)同樣地被診斷為H.pylori除菌，但16人(13%)被診斷為H.pylori陰性，20人(17%)被診斷為H.pylori陽性。再者，CNN診斷23,669張影像所耗費之時間為261秒。
根據表2所示之結果得知以下內容。即得知：於使用CNN之藉由胃內視鏡影像之H.pylori感染狀態之診斷時，作為CNN構建用之訓練/驗證用資料集，不僅包含藉由臨床檢查診斷為H.pylori陽性及陰性之影像，亦將被診斷為H.pylori除菌之影像包含在內進行構建，藉此，對在短時間內擷取「H.pylori陽性或除菌」之症例有用。進而示出基於該CNN之篩查系統於導入臨床實踐時具有充分之感度與特異度，可顯著降低篩查內視鏡檢查時所拍攝到之影像(測試資料)時之內視鏡專科醫生之作業負荷。
根據該實施形態1之CNN，可不知疲倦地大幅縮短H.pylori感染之篩查時間，且於內視鏡檢查後立即獲得報告結果。藉此，可有助於作為全世界應解決之較大課題之內視鏡檢查醫生之H.pylori感染診斷之負擔減輕及醫療費之削減。進而，利用本實施形態1之CNN進行之H.pylori診斷只要輸入內視鏡檢查時之影像即可立即獲得結果，因此，可完全地「線上」進行H.pylori診斷輔助，從而能以所謂之「遠距離醫療」之形式解決因地域導致之醫師之分佈不均勻性之問題。
在我國，尤其是老年人中H.pylori感染較多，於2013年2月對針對因H.pylori感染而產生之胃炎患者之H.pylori除菌療法應用健康保險，實際上該H.pylori除菌療法廣泛採用H.pylori感染患者作為對象。進而，於2016年開始之藉由胃癌之內視鏡影像而進行之整群篩查中要處理大量內視鏡影像，從而必需更有效之影像篩查法。實施形態1中所獲得之結果暗示針對大量保存影像使用該CNN，即便不存在內視鏡檢查者之評價，亦能夠大幅幫助H.pylori感染之篩查，進而藉由試驗確認H.pylori感染，並且最終可能會達到H.pylori除菌。並且，針對H.pylori感染狀況之CNN之診斷能力藉由增加胃之各部位之分類而提高，胃癌之診斷能力亦藉由追加H.pylori感染狀況之資訊而得到改善。
再者，於實施形態1中，示出使用GoogLeNet作為CNN之體系結構之例，但CNN之體系結構日益進化，存在若採用最新者則可獲得更良好之結果之情形。又，作為深層學習架構同樣使用開放原始碼之Caffe，但除此以外可使用CNTK、TensorFlow、Theano、Torch、MXNet等。進而，作為最佳化方法使用了Adam，但除此以外可適當地選擇使用周知之SGD(Stochastic Gradient Descent：隨機梯度下降法)法、對SGD賦予慣性項(Momentum)之MomentumSGV法、AdaGrad法、AdaDelta法、NesterovAG法、RMSpropGraves法等。
如上所述，利用實施形態1之CNN之藉由胃之內視鏡影像之H.pylori感染之診斷精度與內視鏡檢查醫生匹敵。因此，實施形態1之CNN對根據篩查或其他理由自所獲得之內視鏡影像篩選H.pylori感染患者有用。又，由於使CNN學習了H.pylori除菌後之影像，故而亦可用於H.pylori是否已被除菌之判定。
[診斷支援系統] 組入有實施形態1之作為診斷支援系統之CNN之電腦基本上具備內視鏡影像輸入部、記憶部(硬碟或半導體記憶體)、影像解析裝置、判定顯示裝置、及判定輸出裝置。除此以外，亦可為直接具備內視鏡影像拍攝裝置者。又，該電腦系統亦可遠離內視鏡檢查設施而設置，自遠距離地方獲得影像資訊而作為中央診斷支援系統、或作為經由網際網路網之雲型電腦系統而運轉。
該電腦於內部之記憶部具備：第1記憶區域，其記憶針對複數位受驗者之各者預先獲得之複數個消化器官之內視鏡影像；第2記憶區域，其記憶針對複數位受驗者之各者預先獲得之上述疾病之陽性或陰性之確診結果；及第3記憶區域，其記憶CNN程式。於此情形時，由於針對複數位受驗者之各者預先獲得之複數個消化器官之內視鏡影像之數量較多而資料量變大、以及於CNN程式之作動時進行大量資料處理，故而較佳為進行並行處理，又，較佳為具有大容量之記憶部。
近年來，CPU或GPU之能力顯著提昇，組入有於實施形態1中使用之作為診斷支援系統之CNN的電腦若使用於某種程度上高性能之市售之個人電腦之情形時，作為H.pylori感染胃炎診斷系統，亦可於1小時內處理3000症例以上，針對1張影像能以約0.2秒鐘進行處理。因此，藉由將利用內視鏡拍攝中之影像資料賦予至組入有於實施形態1中使用之CNN之電腦，亦能夠即時地進行H.pylori感染判定，自全世界或偏僻地方發送來之胃內視鏡影像自不必說，即便其係動態影像，亦能夠遠距離地進行診斷。尤其是，近年來之電腦之GPU性能非常優異，因此，藉由組入實施形態1之CNN，能夠進行高速且高精度之影像處理。
又，輸入至組入有實施形態1之作為診斷支援系統之CNN之電腦之輸入部的受驗者之消化器官之內視鏡影像可設為利用內視鏡拍攝中之影像、經由通信網路發送來之影像或記錄於電腦可讀取之記錄媒體之影像。即，組入有實施形態1之作為診斷支援系統之CNN的電腦可於短時間內對所輸入之受驗者之消化器官之內視鏡影像輸出消化器官之疾病陽性及陰性之各者之概率，因此，可不侷限於受驗者之消化器官之內視鏡影像之輸入形式而利用。
再者，作為通信網路，可利用周知之網際網路、內部網路、商際網路、LAN、ISDN、VAN、CATV通信網、虛擬專用網路(virtual private network)、電話線路網、行動通訊網路、衛星通信網路等。又，構成通信網路之傳輸媒體亦可利用周知之IEEE1394串列匯流排、USB、電力線載波、有線電視線路、電話線線路、ADSL線路等有線、紅外線、Bluetooth(註冊商標)、IEEE802.11等無線、行動電話網、衛星線路、地面數位網路等無線等。又，作為電腦可讀取之記錄媒體，可使用周知之磁帶或卡式磁帶等帶系、包含軟(註冊商標)碟、硬碟等磁碟、及光碟-ROM/MO/MD/數位影音光碟/光碟-R等光碟之碟系、IC卡、記憶卡、光學卡等卡系、或者遮罩ROM/EPROM/EEPROM/快閃ROM等半導體記憶體系等。
[實施形態2] 於實施形態2中，關於本發明之藉由內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體，對應用於大腸之各部位分類之例進行說明。大腸之各部位包含末梢回腸、盲腸、上行結腸、橫行結腸、下行結腸、S狀結腸、直腸及肛門。再者，將大腸之主要解剖學分類示於圖5。於實施形態2中，以可自動區別該等各部位之影像之方式對CNN進行訓練及驗證。
於一位發明者所屬之醫院中，對自2017年1月至2017年11月接受過全大腸內視鏡檢查(CS)之患者之臨床資料進行了回顧評價。實施CS之原因為腹痛、腹瀉、陽性糞便免疫化學檢查、同一醫院中之過去之CS之追蹤、單純之篩查等。為了準確地特定出結腸/直腸之解剖學部位，僅使用充分地吹入了空氣之已特定出結腸/直腸之部位之正常之結腸/直腸影像。被排除之影像係結腸/直腸息肉、癌及活檢痕跡之類者占大部分，具有重度炎症或出血者亦被排除。又，僅包含通常倍率之白色光影像或加強影像。
利用該CS法拍攝之影像係使用標準大腸內視鏡(EVIS LUCERA ELITE，CF TYPE H260AL/I，PCF TYPE Q260AI，Q260AZI，H290I，及H290ZI，Olympus Medical Systems、東京、日本)拍攝所得。於CS中拍攝回腸、盲腸、上行結腸、橫行結腸、下行結腸、S狀結腸、直腸及肛門之影像，於各CS中平均獲得24張影像。
再者，為了對CNN進行訓練/驗證，於開發演算法之前對隨附於影像之所有患者資訊進行匿名化。設為使與實施形態2之CNN相關之內視鏡醫生均無法訪問能識別之患者資訊。由於該CNN之訓練/驗證係使用經匿名化之資料之回顧性調查，故而關於患者之同意書，採用選擇退出方法。該研究獲得了日本醫師會倫理審查委員會(ID：JMA-IIA00283)之批准。
將實施形態2之CNN系統之流程圖之概要示於圖6。此處，為了於末梢回腸、盲腸、上行及橫行結腸、下行及S狀結腸、直腸、肛門及無法分類之7個範疇中對CNN進行訓練/驗證，藉由內視鏡專科醫生對影像進行分類。用於訓練/驗證之所有影像於對CNN進行訓練/驗證之前至少藉由2位內視鏡專科醫生確認分類。訓練/驗證用資料集被分類成末梢回腸、盲腸、上行及橫行結腸、下行及S狀結腸、直腸及肛門之6個範疇。訓練/驗證用資料集不含無法分類之影像。
先前，構建針對結腸/直腸息肉之AI系統所需之影像資料係藉由利用5,000張以下之影像進行訓練而進行。因此，為了確保充分之資料量，以基於約10,000張影像構建實施形態2之CNN系統為目標。準備自2017年1月至2017年3月收集之409人之影像9995張作為訓練用影像，將於2017年11月獲取之118人之影像5121張用作驗證用影像集(參照表3)。將兩影像集之各解剖學部位之影像數示於表4。
[表3]
Figure 108121798-A0304-0003
[表4]
Figure 108121798-A0304-0004
以如上方式獲得之實施形態2之訓練/驗證用資料集為了與GoogLeNet具有相容性，而將所有影像之尺寸調整為244×244像素。並且，實施形態2中所使用之CNN系統係使用與實施形態1之CNN系統相同者來進行訓練。
實施形態2之CNN系統針對訓練/驗證用之影像，輸出各影像之各部位之概率分數(PS)。概率分數為0-1(0-100%)之範圍，表示影像所屬之大腸之部位之概率。CNN針對各影像，算出7個部位(末梢回腸、盲腸、上行及橫行結腸、下行及S狀結腸、直腸、肛門及無法分類)各自之概率分數。獲得概率分數之最高值之解剖學部位被分配為影像之部位。再者，大腸之部位亦存在根據各組織之類似性而將盲腸、上行結腸及橫行結腸彙總設為右側結腸，將下行結腸、S狀結腸及直腸設為左側結腸，並分類為末梢回腸、右側結腸、左側結腸及肛門之4部位。
例如，圖7之左側之大腸內視鏡影像係上行-橫行結腸影像之例，且係CNN判斷上行-橫行結腸之概率分數為95%，判斷下行-S狀結腸之概率分數為5%之例。結果，CNN將圖7之左側之大腸內視鏡影像分配為上行-橫行結腸。
基於實施形態2之CNN之主要目的在於求出大腸內視鏡影像之基於CNN之解剖學分類之感度及特異度。針對各部位繪製接收機動作特性(ROC)曲線，藉由GraphPad Prism 7(GraphPad software、Inc、California、U.S.A)算出ROC曲線之下側部分之面積(AUC)。將藉由實施形態2之CNN而製作之大腸之各部位之ROC曲線示於圖8。再者，圖8A-圖8F分別係依序表示末梢回腸、盲腸、上行結腸、下行結腸、S狀結腸、直腸及肛門之ROC曲線之圖。
實施形態2中所構建之CNN系統準確地識別了驗證用資料集之影像之66.6%(3,410張/5,121張)。表5表示基於CNN分配至影像之概率分數之準確識別率。 [表5]
Figure 108121798-A0304-0005
CNN系統針對概率分數超過99%之影像，分配所有影像(5,121張)中之10%(507張)，其中465張(被準確分類者之14%)係藉由臨床診斷而被正確分類者，準確度為91.7%。
同樣地，CNN系統針對概率分數超過90%且為99%以下之影像，分配所有影像中之25%(1,296張)，其中1,039張(被正確分類者之30%)係藉由臨床診斷而被正確分類者，準確度為80.2%。同樣地，CNN系統針對概率分數超過70%且為90%以下之影像，分配所有影像中之30%(1,549張)，其中1,009張(被準確分類者之30%)係藉由臨床診斷而被準確分類者，準確度為65.1%。
同樣地，CNN系統針對概率分數超過50%且為70%以下之影像，分配所有影像中之27%(1,397張)，其中761張(被準確分類者之22%)係藉由臨床診斷而被準確分類者，準確度為54.5%。進而，CNN系統針對概率分數為50%以下之影像，分配所有影像中之7%(372張)，其中136張(被準確分類者之4%)係藉由臨床診斷而被準確分類者，準確度為36.6%。
表6表示藉由臨床診斷而分類之各解剖學部位之CNN之輸出之分佈。此處，不存在被分類為「無法分類」之影像。 [表6]
Figure 108121798-A0304-0006
實施形態2中所構建之CNN以91.4%之最高感度識別出肛門之影像，繼而，以90.0%之第二高之感度識別出下行結腸及S狀結腸，以69.4%之感度識別出末梢回腸，以51.1%之感度識別出上行結腸及橫行結腸，進而以49.8%之感度識別出盲腸，直腸僅為23.3%之最低感度而未能識別。又，相對於各解剖學部位之特異度除下行結腸及S狀結腸之部位(60.9%)以外為90%以上。再者，實施形態2中所構建之CNN針對各解剖學部位識別出具有超過0.8之AUC值之影像。
表7表示將盲腸、上行結腸及橫行結腸表示為「右側結腸」、將下行結腸、S狀結腸及直腸表示為「左側結腸」之情形時之於實施形態2中構建之CNN之末梢回腸、右側結腸、左側結腸及肛門之輸出分佈。左側結腸示出91.2%之較高之感度及63.%之相對較低之特異性，但回腸末端、右側結腸及肛門示出相反之結果。 [表7]
Figure 108121798-A0304-0007
繼而，針對各解剖學部位，依據各特定之概率分數、即70%≧PS＞60%、80%≧PS＞70%、90%≧PS＞80%及PS＞90%之4個劃分部位計算感度及特異度。將計算結果示於表8。 [表8]
Figure 108121798-A0304-0008
根據表8所示之結果，關於除直腸以外之所有部位，於所有概率分數中，概率分數越高，感度及特異度越高。然而，於直腸中，概率分數越高，特異度越高，但感度與概率分數之傾向不一致。
對由實施形態2之CNN誤識別之1,711張(總影像數－正常判定數＝5,121－3,410＝1,711，參照表5)影像進行評價。實施形態2之CNN系統誤識別了總影像之17.5%(299張/1,711張)，概率分數為0.9以上。於圖9及圖10中示出由實施形態2之CNN誤識別之影像之典型例。圖9A係準確識別為肛門之內視鏡影像之例，圖9B表示被誤識別為肛門之末梢回腸之影像。圖9B之內腔之輪廓與肛門之輪廓類似。圖10A係準確識別為盲腸之內視鏡影像之例，圖10B係被誤識別為末梢回腸之盲腸之影像之例。於圖10A中出現闌尾孔作為盲腸之特徵之一，但於圖10B中被誤識別為末梢回腸。
如以上所述，於實施形態2中，基於409人之9995張大腸內視鏡影像構建了CNN系統。該CNN系統使用大規模之獨立之驗證用資料集識別解剖學部位，結果顯示出於臨床上有用之性能。該CNN系統能以60%以上之精度識別結腸之影像。因此，該系統會成為了不久的將來之大腸內視鏡檢查用之AI系統之開發之基礎吧。
為了開發出用於結腸疾病之AI系統，影像之有效之解剖學部位之識別能力係第一重要之步驟。先前，已知有用於識別結腸息肉之AI系統，且感度為79%-98.7%之範圍，特異度為74.1%-98.5%之範圍。然而，先前之系統不具有識別息肉之解剖學部位之能力。熟知息肉或大腸癌之出現頻度視結腸之解剖學部位而有所不同。只要實施形態2之CNN系統可改變基於其解剖學部位檢測出結腸之病變之感度，則可開發出更有效之AI系統。
於實施形態2中所構建之CNN中，精度根據概率分數之值而有所不同。一般而言，具有較高之概率分數之影像以較高之精度被識別，因此CNN可藉由僅限定於具有較高之概率分數之影像而更良好地發揮功能。為了實現於臨床上有用之應用，必需確定識別結果之概率分數之適當之值。
若將實施形態2中所構建之CNN之結果與構建了可對胃腸影像進行分類之CNN系統之發明者等人之以前之報告進行比較，則並不良好。先前之用於識別胃腸之解剖學部位之感度及特異度係於喉頭中為93.9%及100%，食道中為95.8%及99.7%，胃中為98.9%及93.0%，十二指腸中為87.0%及99.2%。
然而，就算是對於臨床醫生而言，與胃腸內視鏡影像之解剖學部位同樣地準確地識別大腸內視鏡影像之解剖學部位亦更困難。例如，臨床醫生有時無法區別上行-橫行結腸之影像與下行-S狀結腸之影像。尤其是不易識別各部位間存在餘裕之影像。進而，臨床醫生通常可藉由考慮影像之連續順序或與臨床現場之以前之影像或之後之影像之關係來識別大腸內視鏡之影像為哪個部分。因此，關於CNN之基於單一影像之66%之精度，若統合前影像與後影像之關係，則可達成更良好之性能，因此無法過小評價。
實施形態2中所構建之CNN系統之感度及特異性視解剖學部位而有所不同。下行結腸-S狀結腸之部位具有90%以上之高感度，特異性最低為69.9%。對照而言，回腸末端、盲腸、上行結腸―橫行結腸及直腸雖具有較高之特異性，但感度為23.3-69.4%而為低感度。又，實施形態2之CNN以90%以上之高感度與特異度識別出肛門。有興趣的是於自具有較高之概率分數之影像之中算出之情形時，直腸之識別感度降低。
於實施形態2之CNN中，針對直腸影像，並未確實準確地輸出，而直腸影像被識別為下行-S狀結腸。直腸以低感度被識別之原因應該在於不存在特徵部分吧。然而，實施形態2之CNN雖末梢回腸及盲腸具有回盲瓣、闌尾口等特徵部分，但識別感度仍相對較低。獲得此種結果之原因可藉由實施形態2之CNN系統未能識別屬於各部位之此種特徵部分來說明。其原因在於實施形態2之CNN系統可僅基於影像整體之結構識別影像，不會對CNN分別指教基於影像內之各部位之特徵部分而僅將整個影像分類為各部位。若可將影像之典型部分告知實施形態2之CNN系統，則其等部位之識別精度提高。
即，若使內視鏡靠近部位之表面或使內腔未被充分地吹入空氣，則難以捕捉內腔之形狀。於食道-胃-十二指腸之影像中，食道、胃、及十二指腸之上皮互不相同，故而需要基於表面之微細結構識別影像。例如，胃中，上皮視解剖學部位而有所不同。例如，幽門腺分佈於胃幽門，胃底腺存在於其他區域。
另一方面，盲腸、上行結腸、橫行結腸、下行結腸、S狀結腸、及直腸之微細結構圖案幾乎相同。因此，將表面微細結構告知CNN來區別結腸-直腸之影像無效。但是，於實施形態2之CNN系統中，為了識別末梢回腸或肛門，告知表面微細結構有用。
進而，於實施形態2之CNN系統中，為了提高影像之準確之定位能力，可將大腸內視鏡檢查與電腦斷層拍攝或可顯示透視影像等三維資訊之其他X射線CT(Computed Tomography：電腦斷層拍攝裝置)、USCT(Ultrasonic Computer Tomography：超音波電腦斷層拍攝裝置)、MRI(Magnetic Resonance Imaging：核磁共振影像診斷裝置)等醫療用影像中之拍攝機構(modality：模態)進行組合。於訓練用資料集可使用具有該等模態之影像之情形時，CNN可更準確地識別大腸內視鏡影像之位置。
自動識別結腸之解剖學部位之能力會對診斷與治療之兩者造成重大之影響。第一，識別結腸疾病位於何處。例如，為了治療潰瘍性大腸炎，可基於大腸炎之存在部位進行治療或投予適當種類之藥劑。又，關於結腸-直腸癌，癌所存在之解剖學部位成為手術用之重要資訊。
第二，與結腸之解剖學部位相關之資訊對大腸內視鏡之插入與排出之兩者之間之準確檢查有用。尤其是對於訓練中之培訓醫生或初診醫生而言用以完成內視鏡觀測器之插入之最困難之要因之一在於識別內視鏡觀測器被插入至何處。若設為可藉由CNN客觀地識別內視鏡觀測器位於何處，則對訓練中之培訓醫生或初診醫生插入大腸內視鏡有幫助。於識別解剖學部位之功能被採用於視訊影像之情形時，用以完成大腸內視鏡之插入之時間及困難性降低。
於實施形態2之CNN系統中，存在必須考慮之若干限制。第一，準確度中包含對驗證影像進行分類之專科醫生之能力或技能。專科醫生之識別大腸內視鏡影像之解剖學部位之能力係根植於大腸內視鏡檢查之次數、訓練時間、內視鏡檢查之資格等內視鏡經驗或技能。於實施形態2之CNN系統中，驗證用資料集係由1位醫師分配，故而可能會包含被誤分類之影像。為了準確地分配影像，必須由複數位醫師對所有影像進行分類。
第二，於實施形態2之CNN系統中，利用單一設施獲取所有影像。存在視施術者或設施之方針而各部位之大腸內視鏡影像之數量、內腔內之空氣量或影像之角度所有不同之情況。
最後，於構建實施形態2之大腸內視鏡之CNN時，訓練用資料及驗證用資料之兩者使用較先前所使用者更多之影像，但為了構建可靠性更高之CNN，較佳為使用更多之影像。一般而言，於構建可基於其特性準確地區別影像之CNN系統時，應該需要10,000以上之影像吧。進而，必須自由複數位醫師分配之複數個設施準備更多之訓練用資料集。
如以上所述，於實施形態2中，就大腸內視鏡影像之解剖學部位之觀點而言，明確了新構建之CNN系統於臨床上之適當之性能。其成為用以構建可更簡單地檢測出結腸疾病之CNN系統之第一步。
[實施形態3] 於實施形態3中，對藉由無線膠囊內視鏡(WCE)影像之小腸之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體進行說明。再者，於實施形態3中，由於難以區別糜爛與潰瘍，故而將兩者合併表示成「糜爛/潰瘍」。即，該說明書中之「糜爛/潰瘍」之用語不僅以「糜爛」、「潰瘍」、「糜爛及潰瘍」之意義使用，亦以尚包含「並不明確係糜爛及潰瘍之哪一個，但至少不是正常黏膜」之意義使用。
[關於資料集] 於一位發明者所屬之醫院中，自於2009年10月至2014年12月之期間內接受過WCE之115位患者收集5360張小腸之糜爛/潰瘍之影像作為訓練用資料集。又，為了驗證CNN，於2015年1月至2018年1月準備來自65位患者之10,440張獨立之影像，並用作驗證用資料集。由3位內視鏡專科醫生診斷出該等驗證用資料集之中，45位患者之440張影像具有小腸之糜爛/潰瘍，20位患者之10,000張影像為小腸之正常黏膜。作為WCE，使用Pillcam(註冊商標)SB2或SB3WCE裝置(Given Imaging，Yoqneam，Israel)實施。
再者，為了對CNN進行訓練/驗證，於開發出演算法之前對隨附於影像之所有患者資訊進行匿名化。使與實施形態1之CNN相關之內視鏡醫生均無法訪問可識別之患者資訊。由於該CNN之訓練/驗證係使用經匿名化之資料之回顧性調查，故而關於患者之同意書，採用選擇退出方法。該研究獲得了東京大學倫理委員會(No. 11931)及日本醫師會倫理審查委員會(ID：JMA-IIA00283)之批准。將實施形態3之CNN系統之流程圖之概要示於圖11。
WCE之適應症主要是原因不明之消化管出血，此外，係使用其他醫療設備觀察到異常小腸影像之例、腹痛、過去之小腸症例之追蹤、來自與腹瀉篩查相關之初診醫生之介紹等。作為病因，非類固醇性抗炎症較多，其次主要是炎症性腸疾病、小腸惡性腫瘤、吻合部潰瘍，未能確定病因者亦較多。將CNN之訓練用及驗證用所使用之資料集之患者特性示於表9。
[表9]
Figure 108121798-A0304-0009
[訓練/驗證、演算法] 為了構建AI庫之診斷系統，不變更演算法而是利用被稱為Single Shot MultiBox Detector(單鏡頭多箱檢測器)(SSD、https://arxiv.0rg/abs/1512.02325)之深層類神經網路架構。首先，藉由2位內視鏡專科醫生，於訓練資料集之影像內之糜爛/潰瘍之所有區域手動標註具有長方形之交界框之註釋。該等影像通過於伯克利視覺與學習中心(Berkeley Visionand Learning Center)最先開發之Caffe構架被組入至SSD架構中。Caffe構架係最先開發之最為通常廣泛使用之構架之一。
實施形態3之CNN當交界框之內側之區域為糜爛/潰瘍區域、其他區域為背景時設為「教育」。並且，CNN其本身擷取交界框區域之特定特徵，並經由訓練資料集將糜爛/潰瘍之特徵設為「學習」。CNN之所有層以全局學習率0.0001進行概率最佳化。各影像調整為300×300像素。與之對應地亦變更交界框之尺寸。為了保證所有資料與SSD具有相容性，該等之值係藉由試誤而設定。
[結果之測定及統計] 首先，利用人工作業以虛線對驗證資料集之影像內之所有糜爛/潰瘍賦予長方形之交界框(以下，稱為「正框」)。又，經訓練之CNN以細線對驗證資料集之影像內之經檢測出之糜爛/潰瘍之區域賦予長方形之交界框(以下，稱為「CNN框」)，並且輸出糜爛/潰瘍之概率分數(範圍為0-1)。概率分數越高，表示CNN判斷該區域包含糜爛/潰瘍之概率越高。
發明者等人對實施形態3之CNN判別各影像是否包含糜爛/潰瘍之能力進行了評價。為了執行該評價，使用以下之定義。 1)於CNN框與正框重疊80%以上時設為正解。 2)於1個影像內存在複數個CNN框，且即便於該等框之1個中亦準確地檢測出糜爛/潰瘍之情形時，得出結論為影像被準確地識別。 再者，以如上方式被判斷為正解之WCE內視鏡影像於將其資訊賦予至影像而拍攝之影像之雙重檢查之現場被有效用作診斷輔助，或於WCE內視鏡檢查時以動態影像即時顯示資訊而被有效用作診斷輔助。
又，藉由改變概率分數之臨界值，繪製接收機動作特性(ROC)曲線，為了對藉由實施形態1之CNN之糜爛/潰瘍識別進行評價，算出曲線下面積(AUC)。使用相對於包含依據Youden指數之分數之概率分數的各種臨界值，算出作為實施形態3之CNN之檢測糜爛/潰瘍之能力之感度、特異度及精度。再者，Youden指數係用以決定以感度與特異度計算所得之最佳臨界值之標準方法之一，係求出如「感度＋特異度－1」之數值成為最大之臨界值者。此處，使用STATA軟體(版本13；Stata Corp、College Station、TX、USA)對資料進行統計分析。
驗證資料集包含來自65位患者(男性＝62%、平均年齡＝57歲、標準偏差(SD)＝19歲)之10,440張影像。實施形態1之經訓練之CNN評價該等影像需要233秒。其與毎秒44.8張影像之速度相等。檢測出糜爛/潰瘍之CNN之AUC為0.960(95%可靠區間[CI]、0.950-0.969；參照圖12)。
根據Youden指數，概率分數之最佳臨界值為0.481，概率分數為0.481之區域被CNN識別為糜爛/潰瘍。於該臨界值中，CNN之感度、特異度及精度為88.2%(95%CI(可靠區間)、84.8-91.0%)、90.9%(95%CI、90.3-91.4%)及90.8%(95%CI、90.2-91.3%)(參照表10)。再者，表10表示使概率分數之臨界值自0.2至0.9之範圍內逐次增加0.1計算所得之各者之感度、特異度及精度。
[表10]
Figure 108121798-A0304-0010
如上所述，將以概率分數之臨界值＝0.481藉由實施形態1之CNN分類之糜爛/潰瘍之分類結果與藉由內視鏡專科醫生所得之糜爛/潰瘍之分類結果之關係彙總示於表11。 [表11]
Figure 108121798-A0304-0011
又，圖13A-圖13D分別表示由CNN準確檢測出之代表性區域，圖14A-圖14H分別表示由CNN誤分類之典型區域。假陰性影像如表12所示，被分類成交界不清晰(參照圖14A)、與周圍之正常黏膜類似之顏色、過小、無法整體觀察(側方性(因患部位於側面而難以看見)或局部性(僅局部可見))(參照圖14B)之4種原因。
[表12]
Figure 108121798-A0304-0012
另一方面，偽陽性影像如表13所示，被分類成正常黏膜、泡(圖14C)、碎片(圖14D)、血管擴張(圖14E)、真正之糜爛(圖14F-圖14H)之5種原因。 [表13]
Figure 108121798-A0304-0013
如以上所述，明確根據實施形態3之經訓練之CNN，可構建用於WCE之小腸影像中之糜爛及潰瘍之自動檢測之CNN庫之程式，從而檢測出90.8%之高精度(AUC、0.960)之獨立之試驗影像中之糜爛/潰瘍。
[實施形態4] 於實施形態4中，對藉由通常之內視鏡(非放大內視鏡，非ME)、超音波內視鏡(EUS)及放大內視鏡(ME)之診斷鱗狀細胞癌(SCC)之侵犯深度之診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體進行說明。
首先，使用圖15對食道之SCC之侵犯深度與其分類之關係進行說明。食道自食道之內面側起包含黏膜上皮(EP)、黏膜固有層(LPM)、黏膜肌板(MM)、黏膜下層(SM)、固有肌層及外膜。於SCC停留於黏膜上皮(EP)內之情形時表示為「EP」，且被分類成「Tis」。於SCC達到黏膜上皮之下部之黏膜固有層(LPM)之情形時表示為「LPM」，同樣於達到黏膜肌板(MM)之情形時表示為「MM」，且兩者均被分類成「T1a」。
該等黏膜上皮、黏膜固有層及黏膜肌板係通常被稱為「黏膜」之部位。根據日本之準則及歐洲之準則，期待將ER應用於上述SCC達到上皮(EP)/黏膜固有層(LPM)、黏膜肌(MM)/200 μm左右者。
SCC達到黏膜固有層之下部之黏膜下層者對應於其深度依序表示為「SM1」、「SM2」及「SM3」，且全部被分類成「T1b」。再者，「SM1」、「SM2」及「SM3」之劃分部位之交界雖不明確，但可大致憑感覺分成黏膜下層表面附近、黏膜下層中間部及黏膜下深部之3劃分部位。
於上述準則中，針對被分類成較T1a達到更深處之T1b之SCC，並未示出ER之應用性。然而，報告有於SCC之侵犯深度為T1a(MM及SM1)之情形時，癌之轉移概率未達10%，因此基於食道切除術之較高之死亡率及實質性罹患率，尤其是於患者為老人或虛弱之情形時，ER被視作用於T1a(MM及SM1)之最適當之初始治療。食道切除術由於轉移風險超過25%，故而通常於T1b(黏膜下層中間部(SM2)或黏膜下深部(SM3))之情形時應用。因此，用於SCC之侵犯深度之術前診斷之最重要之工作係將T1a(EP及SM1)與T1b(SM2或SM3)進行區別。
[關於資料集] 於一位發明者所屬之醫院中使用日常拍攝之內視鏡影像進行作為AI系統之CNN之訓練。所使用之內視鏡系統係高解像度或高清上部胃腸內視鏡(GIF-XP290N，GIF-Q260J，GIF-RQ260Z，GIF-FQ260Z，GIF-Q240Z，GIF-H290Z，GIF-H290，GIF-HQ290及GIF-H260Z；Olympus製造，東京、日本)及視訊處理器(CV260；Olympus製造)、高清放大胃腸內視鏡(GIF-H290Z，GIF-H290，GIF-HQ290，GIF-H260Z：Olympus製造)及視訊處理器(EVIS LUCERA CV-260/CLV-260及EVIS LUCERA ELITE CV-290/CLV-290SL；Olympus Medical System製造)、高解像度內視鏡(EG-L590ZW，EG-L600ZW及EG-L600ZW7；FUJIFILM製造，東京，日本)及視訊內視鏡系統(LASEREO：FUJIFILM製造)。
訓練用影像係使用標準白色光影像、窄頻帶光(NBI)影像及藍色雷射光(BLI)之影像，排除屬於以下之排除基準之患者之影像。該經排除之影像中包含具有重度食道炎之患者、具有化學療法之病歷之患者、對食道之放射線照射、與潰瘍或潰瘍之瘢痕相鄰之病變、因吹入過少空氣所導致之低品質影像、出血、暈光、模糊、偏離焦點或黏液。
選擇後，收集來自804名患者之經病理學證明之淺表食道SCC之8,660張非ME影像及5,678張ME影像作為訓練影像資料集。該等影像以JPEG(Joint Photographic Experts Group，聯合圖像專家小組)形式保存，並基於切除標本之病理診斷於病理學上被分類成pEP及pLPM、pMM、pSM1、及、pSM2及pSM3癌。其後，藉由日本消化系統內視鏡學會之指導醫生並利用人工作業賦予四邊框之標識。癌之整個區域用於pEP-pSM1癌而被標識，僅pSM2及pSM3用於SM2及SM3癌而被特別標識。
關於內視鏡視訊處理器之結構強化，窄頻帶成像(NBI)被設定為B模式等級8，藍色雷射成像(BLI)之等級被設定成5-6。於放大觀察時為了適當保持內視鏡變焦透鏡之前端與黏膜面之間之距離，將黑色軟質罩安裝於內視鏡之前端。進行藉由非放大白色光影像、NBI或BLI之初始常規檢查，並對癌之突出之程度、下陷之程度及硬度進行評價。
繼而，將NBI放大，對表面血管結構之外觀、尤其是毛細血管之毛細血管袢之變化進行評價。最後，為了對癌之擴散進行描寫而進行碘染色。
[訓練/驗證、演算法] 實驗形態4之AI庫之診斷系統不變更演算法，而是使用實質上與實施形態3之情形相同之被稱為單 鏡頭多箱檢測器(SSD)之CNN體系及Caffe構架。
模型訓練以全局學習率0.0001之概率斜率下降進行。各影像被調整為300×300像素，四邊框亦以進行最佳CNN分析之方式變更尺寸。為了保證所有資料與SSD具有相容性，該等值係藉由試誤而設定。
[結果之測定及統計] 基於CNN之AI系統之評價係藉由淺表食道SCC之獨立之驗證試驗資料進行。自2017年1月至2018年4月於一位發明者所屬之病院中接受過ESD或食道切除術之患者收集影像。與訓練資料集同樣將滿足排除基準之患者排除後，選擇155位患者。自一位患者選擇3-6張代表性影像(非ME及ME)，並藉由AI系統進行診斷。
經訓練之CNN生成與其診斷之概率對應之具有0與1之間之連續數之EP-SM1或SM2/SM3癌之診斷。於診斷為病變之整個區域限定於EP-SM1之情形時，診斷病變為EP-SM1癌。於診斷為病變之一部分滲入SM2或SM3之情形時，診斷病變為SM2/3癌。對非ME、ME及最終診斷(非ME＋ME)之結果進行分析。
為了將AI系統與醫師之判斷之準確性進行比較，邀請日本消化系統內視鏡學會之16名內視鏡專科醫生作為內視鏡專家。內視鏡專科醫生作為醫師具有9-23年之專業知識，經歷了3000-20000次內視鏡檢查。又，其等日常進行術前診斷及胃腸癌之利用內視鏡之切除。對其等提供與AI系統相同之驗證測試資料，來進行EP-SM1或SM2/SM3癌之診斷。
主要輸出指標係診斷精度、感度、特異性、陽性預測值(PPV)、陰性預測值(NPV)、及診斷時間。於AI系統與內視鏡專科醫生之間對該等值進行比較。為了對癌之侵犯深度之診斷中之觀察者間之變動進行評價，使用κ統計。κ值＞0.8表示幾乎完全一致，κ值＝0.8-0.6表示實質上一致，κ值＝0.6-0.4表示中等程度之一致，κ值＝0.4-0.2表示低度一致，κ值＜0.2表示略微一致，κ值＝0表示偶然一致，κ值＜0暗示不一致。所有計算係使用統計軟體EZR進行。
該調查係受到大阪國際癌症中心之倫理審查委員會(No. 2017-1710059178)及日本醫師會倫理審查委員會(ID JMA-IIA00283)之批准後進行。
為了研究AI之診斷之妥當性，自155位患者選擇合計405張非ME影像及509張ME影像。將所選擇之患者之人口統計歸納於表14。 [表14]
Figure 108121798-A0304-0014
用以診斷所有影像之所需時間為29秒。如表15所示，於pEP-SM1癌(非ME＋ME)之最終診斷中，獲得感度90.1%、特異度95.8%、陽性預測值99.2%、陰性預測值63.9%、精度91.0%。
[表15]
Figure 108121798-A0304-0015
於pEP-SM1癌之非ME診斷中，獲得感度95.4%、特異度79.2%、陽性預測值96.2%、陰性預測值76.0%、及精度92.9%。於pSM1癌之ME診斷中，獲得感度91.6%、特異度79.2%、陽性預測值96.0%、陰性預測值63.3%、精度89.7%。
為了對區別AI之M癌與SM癌之性能進行研究，自155位患者選擇相同之妥當性檢查試驗資料、即405張非ME影像及509張ME影像。診斷所有影像所需之時間為29秒。於pM癌之最終診斷中，獲得特異性89.0%(95%CI、82.2%-93.8%)、92.9%(95%CI、76.5%-99.1%)、陽性預測值98.3%(95%CI、48.3%-79.4%)、精度89.7%(95%CI、83.8%-94.0%)。
於pM癌之非ME診斷中，獲得感度93.7%(95%CI、88.0%-97.2%)、特異度75.0%(95%CI、55.1%-89.3%)、陽性預測值94.4%(95%CI、88.9%-97.7%)、陰性預測值72.4%(95%CI、52.8%-87.3%)、精度90.3%(95%CI、84.5%-94.5%)。於ME之pM癌診斷中，獲得感度93.7%(95%CI、88.0%-97.2%)、特異度85.7%(95%CI、67.3%-96.0%)、陽性預測值96.7%(95%CI、56.6%-88.5%)、精度92.3%(95%CI、86.9%-95.9%)。
相同之有效性試驗資料之SCC之侵犯深度係藉由16位內視鏡專科醫生來診斷(表16)。整體而言，獲得感度89.8%、特異性88.3%、97.9%之陽性預測值、65.5%之陰性預測值、及89.6%之精度。於具有長期(16年以上)及短期(未達16年)之專業知識之內視鏡專家之小組分析中，診斷精度分別為91.0%及87.7%。用於診斷之觀察者間之一致度為0.303(Fleiss之κ係數、z＝41.1、p值＝0.000)。對所有驗證試驗資料進行評價所需之時間為115分鐘(範圍70-180分鐘)。
將與病變之特徵對應之AI系統之診斷精度示於表16及17。AI系統及內視鏡專科醫生之正確性包含病變之性質、例如癌浸潤深度、形態及病變之大小。
[表16]
Figure 108121798-A0304-0016
[表17]
Figure 108121798-A0304-0017
AI系統之非ME診斷顯示出較高之性能。非ME影像之大部分為白色光影像。使用白色光成像之非ME係可於世界上利用之先前之最普通之內視鏡成像方式。使用先前之非ME之癌侵犯深度之診斷較為主觀，且基於可能會受到觀察者間變動之影響之癌之突出、下限、及硬度。
使用此種先前之非ME之癌侵犯深度之診斷之差異源於較低之客觀性，會損害其可靠性，且妨礙作為用以診斷癌侵犯深度之工具之非ME之應用。然而，藉由實施形態4之AI系統之診斷可示出明確之診斷，故而可提供客觀性診斷，而可解決變動性。另一方面，ME之診斷能力於實施形態4之AI系統中不利。該欠佳之性能係因ME影像之訓練用影像之量較少而獲得。藉由累積用於ME之相對較多之訓練資料集，期待進一步之改善。
如上所述，實施形態4之AI系統顯示用以診斷淺表食道SCC之癌侵犯深度之良好之性能，最終診斷之精度為91.0%，與具有長期之專業知識之內視鏡專家之精度匹敵。
[實施形態5] 於實施形態5中，對構建使用食道胃十二指腸內視鏡(EGD)影像之診斷系統，並基於EGD影像藉由CNN對淺表非乳頭部十二指腸上皮性腫瘤(SNADET)進行診斷之診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體進行說明。
首先，使用圖16對十二指腸之主要解剖學部位之名稱進行說明。十二指腸自靠近胃之側起被分類成球部(bulb)、上部(superior part)、十二指腸上曲(superior duodenal flexture)、下行部(descending part)、十二指腸下曲(inferior duodenal flexture)、水平部(horizontal part)、上行部(ascending part)及空腸(jejunum)。雖省略圖示，但下行部於內側具有2個隆起，其中一者成為供副胰腺開口之十二指腸小乳頭，另一者係供胰腺與總膽管開口之十二指腸大乳頭(Vater 乳頭)。再者，球部與胃之幽門部(參照圖2)相連，空腸經由回腸(省略圖示)與大腸之盲腸相連。該十二指腸構成小腸之一部分。
[關於資料集] 於一位發明者所屬之醫院中，使用於日常之臨床診療中之篩查或作為治療前檢查而進行之EGD檢查中拍攝之EGD內視鏡影像進行作為AI系統之CNN之訓練。所使用之內視鏡系統為高解像度或高清上部胃腸內視鏡(GIF-H290Z、GIF-H290、GIF-H260Z、GIF-Q240Z＋Olympus Medical Systems、Co.、Ltd/東京、日本)。
作為訓練用影像，對自2016年8月至2018年11月於大阪國際癌症中心針對87位患者(96病變)進行之EGD影像進行追溯研究。並且，自31例於組織學上被診斷為高度異形成及65例於組織學上被診斷為腺瘤之96例SNADET病變收集1546張訓練用影像。病理學診斷係藉由臨床認證醫生或於臨床專科醫生之監督下進行。大部分診斷係基於經切除之標本進行，但若干診斷係基於活檢標本進行。
具有SNADET病變之所有影像藉由內視鏡專科醫生手動賦予方形狀之交界框，並藉由其他內視鏡專科醫生進行確認。進而對具有SNADET病變之內視鏡影像進行篩查，排除包含暈光、模糊、偏離焦點、黏液、食物殘渣及活檢後之出血等因各種原因而模糊之影像。最後，獲得具有SNADET病變之531張內視鏡影像作為訓練用資料集。
為了對所構建之CNN之診斷精度進行評價，準備與訓練用資料集不同之資料集作為試驗資料集。準備自36例病變獲得之399張影像(9例高度異形成及27例腺瘤；其中141張為白色光影像，61張為靛藍胭脂紅染色影像，197張為窄頻帶影像)及681張正常影像(573張白色光影像及108張窄頻帶影像)作為試驗資料集。
[訓練/驗證、演算法] 實驗形態5之AI庫之診斷系統不變更演算法，使用實質上與實施形態3之情形相同之被稱為單 鏡頭多箱檢測器(SSD)之CNN體系及Caffe構架。CNN之訓練以全局學習率0.0001之概率斜率下降進行。各影像被調整為300×300像素，四邊框亦以進行最佳CNN分析之方式變更尺寸。為了保證所有資料與SSD具有相容性，該等值係藉由試誤而設定。
並且，訓練用影像集內之顯示SNADET之所有區域藉由經驗豐富之內視鏡專科醫生手動標註長方形之交界框，各影像藉由其他內視鏡專科醫生進行雙重檢查。並且，CNN係以將交界框內之區域識別為表示SNADET者，將其他區域識別為表示背景者之方式進行訓練。
[結果之測定及統計] 使用訓練用影像集構建CNN後，使用作為驗證資料集而準備之測試影像對CNN之性能進行評價。首先，當經訓練之CNN自測試影像之輸入資料中檢測出SNADET時進行診斷(高度異形成或腺瘤)，並以包圍特定病變之方式於內視鏡影像內一併顯示長方形之交界框及概率分數。概率分數之臨界值設定為0.4，並且，即便其檢測出病變，只要概率分數低於0.4，則亦判斷其為陰性。
又，只要CNN可賦予與由內視鏡專科醫生賦予之交界框之一部分重疊之交界框，則判斷可準確地檢測出SNADET。於為內視鏡專科醫生識別為包含SNADET之影像而CNN未識別出該影像之情形時，判斷其為假陰性。於CNN將非腫瘤結構診斷為SNADET之情形時，判斷為偽陽性。主要評價項目為精度、感度、特異度、陽性適中率(PPV)、陰性適中率(NPV)。將準確診斷為SNADET之數量除以實際之SNADET數量，來計算CNN之感度。
將CNN準確診斷為非SNADET之影像之數量除以非SNADET影像之總數，藉此計算出特異度。將CNN準確診斷為SNADET之影像之數量除以CNN診斷為SNADET之所有影像，藉此計算出PPN。繼而，將CNN準確診斷為非SNADET之影像之數量除以CNN診斷為非SNADET之所有影像之數量，藉此計算出NPV。所有統計解析使用R軟體(ver.3.5.1)，將未達0.05之p值視作統計上顯著。
本試驗係受到大阪府立國際癌症中心之倫理審查委員會(第2017-1710059178號)及日本醫師會倫理審查委員會(ID:JMA-IIA00283)之批准而進行。
[表18]
Figure 108121798-A0304-0018
表18表示試驗影像集所使用之33位患者及36例病變之特徵。9例病變(25%)為高度異形成，27例病變(75%)為腺瘤。腫瘤大小之中央值為12 mm(3-50 mm之範圍)。CNN對自36例SNADET病變獲得之影像(共計399張影像)與正常之十二指腸之影像(681張影像)之共計1080張影像進行診斷。經訓練之CNN於影像庫中檢測出SNADET病變之94.7%(399張中之378張)，又，於病變庫中檢測出100%。儘管SNADET病變包含5 mm以下之5例病變，仍由CNN檢測出所有病變。
圖17A表示直徑3 mm之較小之病變之影像，但CNN不僅可於放大影像之情形時檢測出該較小之病變，於相對偏離之影像中，亦可如圖17B所示般檢測出該較小之病變。CNN診斷包含SNADET之399張影像與包含正常影像之1080張影像所需之時間分別為12秒與31秒。將實施形態5中之AI診斷之詳細結果示於表19。AI診斷之感度與特異度分別為94.7%(378/399)與87.4%(596/681)。又，陽性適中率(PPV)與陰性適中率(NPV)分別為80.8%與97.4%。
[表19]
Figure 108121798-A0304-0019
偽陽性之發生率為12.6%(681張正常影像中之86張)。偽陽性係由正常之十二指腸之襞(45張)、正常之十二指腸之黏膜(23張)、十二指腸之乳頭狀之襞(9張)、及低品質之影像(例如暈光、9張)引起。將該等成為偽陽性之十二指腸之影像示於圖18。再者，圖18A係成為偽陽性之正常之十二指腸之襞之影像，圖18B同樣地係正常之十二指腸之黏膜之影像，圖18C同樣地係十二指腸之乳頭狀之襞之影像，圖18D同樣地係產生暈光之低品質影像之例。認為大部分偽陽性之誤檢測係因將與蠕動運動相關之隆起部誤解釋成病變而引起。
又，假陰性之發生率為5.3%(399張影像中之21張)。該等假陰性之大部分係因偏離部分之病灶之成像而引起(參照圖19)。例如，圖19A係內視鏡專科醫生識別為SNADET並賦予了方形狀之框，而CNN未能識別為SNADET之影像之例。又，圖19B係CNN可識別為SNADET並於內視鏡專科醫生識別為SNADET並賦予之方形狀之框內賦予方形狀之框，但概率分數為小於臨界值之0.4之0.24，從而判斷為並非SNADET之影像之例。如上所述，假陰性之原因之大部分係基於在偏離部位所拍攝之病變部者，即便是熟練之內視鏡醫，僅憑其等影像亦難以準確地檢測出該等病變。
通常，十二指腸之篩查有時藉由白色光成像(WLI)進行，其後，繼續藉由窄頻帶成像(NBI)進行詳細之觀察。因此，大部分WLI影像係自遠處拍攝，大部分NBI影像係自近處拍攝。將WLI與NBI之診斷結果之比較示於表20。 [表20]
Figure 108121798-A0304-0020
根據表20，NBI之感度明顯高於WLI之感度(p＝0.009)。另一方面，關於特異度，WLI明顯高於NBI(P＝0.001)。即，NBI相較於WLI而言，對於SNADET顯示出明顯高之感度與較低之特異度。若考慮到NBI加強表面結構，則其可能會關係到實際提高針對SNADET之感度，但該等結果可能會因影像之狀態或訓練用資料集等若干因素產生偏差。又，WLI由於係自遠處拍攝，故而包含周圍之黏膜，NBI主要包含病變部。實施形態5之NBI之訓練用資料集由於缺乏正常結構，故而可能會導致低特異度。
如以上所述，根據實施形態5之CNN，全部399張病變影像於12秒中得到驗證，換言之，毎秒分析33張影像。該情況暗示能夠進行日常之內視鏡診療中之即時SNADET檢測。
[實施形態6] 使用圖20對使用實施形態6之CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法進行說明。於實施形態6中，可使用利用實施形態1-5之CNN之藉由消化器官之內視鏡影像之疾病的診斷支援方法。於S1中，使用消化器官之第1內視鏡影像、及與第1內視鏡影像對應之消化器官之上述疾病之陽性或陰性、過去之疾病、重症度之等級、疾病之侵犯深度、或與所拍攝之部位對應之資訊中之至少1個之確診結果對CNN進行訓練/驗證。若為該CNN為胃內視鏡影像中之H.pylori相關疾病之診斷用之情形，則不僅包含H.pylori陽性及H.pylori陽性之情形，亦包含H.pylori除菌後之影像資料。
於S2中，於S1中經訓練/驗證之CNN基於消化器官之第2內視鏡影像，輸出該消化器官之疾病之陽性及/或陰性之概率、過去之疾病之概率、疾病之重症度之等級、或與所拍攝之部位對應之概率中之至少1個。該第2內視鏡影像表示新觀察到之內視鏡影像。
於S1中，第1內視鏡影像可分別與所拍攝之部位建立關聯。作為部位，可包含咽頭、食道、胃、十二指腸、小腸及大腸中之至少1個，該部位亦可於複數個消化器官中之至少一者被劃分成複數個部位。
於第1內視鏡影像包含胃內視鏡影像之情形時，於S1中，作為疾病，不僅包含H.pylori感染陽性或陰性，亦可包含H.pylori除菌之有無，於S2中，可輸出H.pylori感染陽性之概率、H.pylori感染陰性之概率及H.pylori除菌之概率中之至少一個。
於第1內視鏡影像包含大腸內視鏡影像之情形時，於S1中，作為劃分部位，可包含末梢回腸、盲腸、上行結腸、橫行結腸、下行結腸、S狀結腸、直腸及肛門，於S2中，作為第2內視鏡影像之大腸之劃分部位，例如可輸出與末梢回腸、盲腸、上行結腸、橫行結腸、下行結腸、S狀結腸、直腸及肛門中之至少一個對應之概率，亦可輸出與末梢回腸、盲腸、上行結腸及橫行結腸、下行結腸及S狀結腸、直腸及肛門中之至少一個對應之概率，進而，亦可輸出與末梢回腸、包含盲腸-上行結腸-橫行結腸之右側結腸、包含下行結腸-S狀結腸-直腸之左側結腸及肛門中之至少一個對應之概率。
又，於S2中，第2內視鏡影像可為利用內視鏡拍攝中之影像、經由通信網路發送來之影像、藉由遠距離操作系統或雲端系統提供之影像、記錄於電腦可讀取之記錄媒體中之影像、或動態影像中之至少1個。
[實施形態7] 參照圖21對實施形態7之藉由消化器官之內視鏡影像之疾病的診斷支援系統、藉由消化器官之內視鏡影像之診斷支援程式、及電腦可讀取之記錄媒體進行說明。於實施形態7中，可利用於實施形態4及5中說明過之藉由消化器官之內視鏡影像之疾病的診斷支援系統。
該藉由消化器官之內視鏡影像之疾病的診斷支援系統1具有內視鏡影像輸入部10、輸出部30、組入有CNN之電腦20、及輸出部30。電腦20具備：第1記憶區域21，其記憶消化器官之第1內視鏡影像；第2記憶區域22，其記憶與第1內視鏡影像對應之消化器官之疾病之陽性或陰性、過去之疾病、重症度之等級、或與所拍攝之部位對應之資訊中之至少1個之確診結果；及第3記憶區域23，其記憶CNN程式。記憶於第3記憶區域23中之CNN程式基於記憶於第1記憶區域21中之第1內視鏡影像、及記憶於第2記憶區域22中之確診結果被訓練/驗證，基於自內視鏡影像輸入部10輸入之消化器官之第2內視鏡影像，將相對於第2內視鏡影像之消化器官之疾病之陽性及/或陰性之概率、過去之疾病之概率、疾病之重症度之等級、或與所拍攝之部位對應之概率中之至少1個輸出至輸出部30。
記憶於第1記憶區域21中之第1內視鏡影像可分別與所拍攝之部位建立關聯。作為部位，可包含咽頭、食道、胃、十二指腸、小腸或大腸中之至少1個，該部位亦可於複數個消化器官中之至少一者被劃分成複數個部位。
於記憶於第1記憶區域21中之第1內視鏡影像包含胃內視鏡影像之情形時，作為記憶於第2記憶區域22中之確診結果，不僅包含H.pylori感染陽性或陰性，亦可包含H.pylori除菌之有無，關於記憶於第3記憶區域中之第2內視鏡影像，可自輸出部30輸出H.pylori感染陽性之概率、H.pylori感染陰性之概率及H.pylori除菌之概率中之至少一個。
於記憶於第1記憶區域21中之第1內視鏡影像包含大腸內視鏡影像之情形時，作為記憶於第2記憶區域22中之確診結果之劃分部位可包含末梢回腸、盲腸、上行結腸、橫行結腸、下行結腸、S狀結腸、直腸及肛門，作為記憶於第3記憶區域中之第2內視鏡影像之大腸之劃分部位，例如可自輸出部輸出與末梢回腸、盲腸、上行結腸、橫行結腸、下行結腸、S狀結腸、直腸及肛門中之至少一個對應之概率，亦可自輸出部30輸出與末梢回腸、盲腸、上行結腸及橫行結腸、下行結腸及S狀結腸、直腸及肛門中之至少一個對應之概率，進而，亦可自輸出部30輸出與末梢回腸、包含盲腸-上行結腸-橫行結腸之右側結腸、包含下行結腸-S狀結腸-直腸之左側結腸及肛門中之至少一個對應之概率。
又，記憶於第3記憶區域中之第2內視鏡影像可為利用內視鏡拍攝中之影像、經由通信網路發送來之影像、藉由遠距離操作系統或雲端系統提供之影像、記錄於電腦可讀取之記錄媒體中之影像、或動態影像中之至少1個。
實施形態7之藉由消化器官之內視鏡影像之疾病的診斷支援系統具備用以作為各機構使電腦動作之藉由消化器官之內視鏡影像之診斷支援程式。又，藉由消化器官之內視鏡影像之診斷支援程式可預先記憶於電腦可讀取之記錄媒體中。
10‧‧‧內視鏡影像輸入部20‧‧‧電腦21‧‧‧第1記憶區域22‧‧‧第2記憶區域23‧‧‧第3記憶區域30‧‧‧輸出部
圖1A係H.pylori感染之陽性之情形時之胃內視鏡影像例，圖1B係H.pylori感染之陰性之情形時之胃內視鏡影像例，圖1C係H.pylori除菌後之胃內視鏡影像例。 圖2係表示胃之主要解剖學部位之圖。 圖3係表示實施形態1之CNN構建用之驗證用資料集用之患者之篩選之圖。 圖4係表示GoogLeNet之動作之模式概念圖。 圖5係表示大腸之主要解剖學部位之圖。 圖6係實施形態2之CNN系統構建用之流程圖之概略圖。 圖7係表示實施形態2之代表性大腸內視鏡影像與藉由CNN識別之各部位之概率分數之圖。 圖8A-圖8F分別依序表示末梢回腸、盲腸、上行結腸、下行結腸、S狀結腸、直腸及肛門之接收機動作特性(ROC)曲線之圖。 圖9A係表示準確識別為肛門之影像與各部位之概率分數之圖，圖9B係被誤識別為肛門之末梢回腸之影像與各部位之概率分數之圖。 圖10A係表示準確識別為盲腸之影像與各部位之概率分數之圖，圖10B係表示被誤識別為末梢回腸之盲腸之影像與各部位之概率分數之圖。 圖11係實施形態3之CNN系統構建用之流程圖之概略圖。 圖12係表示藉由實施形態3之CNN所得之ROC曲線之一例之圖。 圖13A-圖13D係表示藉由實施形態3之CNN準確診斷之代表性小腸內視鏡影像與藉由CNN識別之特定部位之概率分數之圖。 圖14A-圖14E係藉由實施形態3之CNN分別依序基於暗度、側方性、泡、破片、血管擴張診斷為偽陽性之影像之例，圖14F-圖14H係雖為真正之糜爛但仍診斷為偽陽性之影像之例。 圖15係對應用實施形態4之CNN之食道之淺表性鱗狀細胞癌(SCC)之侵犯深度與其分類之關係進行說明之概略剖視圖。 圖16係表示十二指腸之主要解剖學部位之圖。 圖17A係十二指腸之內視鏡影像之一例，圖17B係表示藉由實施形態5之CNN對圖17A之部分進行識別所得之影像之圖。 圖18A係於實施形態5之CNN中成為偽陽性之正常之十二指腸襞之影像，圖18B同樣地係正常之十二指腸黏膜之影像，圖18C同樣地係十二指腸乳頭襞之影像，圖18D同樣地係產生暈光之低品質之影像之例。 圖19A係未能利用實施形態5之CNN識別出病變之內視鏡影像，圖19B同樣地係雖識別出病變但由於概率分數較小故而進行否定判斷之內視鏡影像。 圖20係使用實施形態6之類神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法之方塊圖。 圖21係與藉由實施形態7之消化器官之內視鏡影像之疾病的診斷支援系統、藉由消化器官之內視鏡影像之診斷支援程式、及電腦可讀取之記錄媒體相關之方塊圖。

Claims (32)

  1. 一種使用卷積神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其特徵在於： 使用上述消化器官之第1內視鏡影像、及 與上述第1內視鏡影像對應之上述消化器官之上述疾病之陽性或陰性、過去之疾病、重症度之等級、疾病之侵犯深度、或者與所拍攝之部位對應之資訊中之至少1個之確診結果， 訓練卷積神經網路，且 上述經訓練之卷積神經網路基於消化器官之第2內視鏡影像，輸出該消化器官之疾病之陽性及/或陰性之概率、過去之疾病之概率、疾病之重症度之等級、疾病之侵犯深度、或與所拍攝之部位對應之概率中之至少1個。
  2. 如請求項1之使用卷積神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中上述第1內視鏡影像分別與所拍攝之消化器官之部位建立關聯。
  3. 如請求項2之使用卷積神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中上述消化器官之部位包含咽頭、食道、胃、十二指腸、小腸及大腸中之至少1個。
  4. 如請求項3之使用卷積神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中上述消化器官之部位於咽頭、食道、胃、十二指腸及大腸中之至少一者被劃分成複數個部位。
  5. 如請求項3或4之使用卷積神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中上述消化器官之部位為胃，並且上述至少1個之確診結果包含H.pylori感染陽性、H.pylori感染陰性及H.pylori除菌中之任一者，上述卷積神經網路輸出H.pylori感染陽性之概率、H.pylori感染陰性之概率及H.pylori除菌之概率中之至少一個。
  6. 如請求項4之使用卷積神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中上述消化器官之部位為大腸，上述劃分部位為末梢回腸、盲腸、上行結腸、橫行結腸、下行結腸、S狀結腸、直腸及肛門，上述卷積神經網路輸出作為被拍攝上述第2內視鏡影像之上述劃分部位對應於末梢回腸、盲腸、上行結腸、橫行結腸、下行結腸、S狀結腸、直腸及肛門中之至少一個的概率。
  7. 如請求項4之使用卷積神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中上述消化器官之部位為大腸，上述劃分部位為末梢回腸、盲腸、上行結腸及橫行結腸、下行結腸及S狀結腸、直腸及肛門，上述卷積神經網路輸出作為被拍攝上述第2內視鏡影像之劃分部位對應於末梢回腸、盲腸、上行結腸及橫行結腸、下行結腸及S狀結腸、直腸及肛門中之至少一個的概率。
  8. 如請求項4之使用卷積神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中上述消化器官之部位為大腸，上述劃分部位為末梢回腸、包含盲腸-上行結腸-橫行結腸之右側結腸、包含下行結腸-S狀結腸-直腸之左側結腸及肛門，上述卷積神經網路輸出作為被拍攝上述第2內視鏡影像之劃分部位對應於末梢回腸、包含盲腸-上行結腸-橫行結腸之右側結腸、包含下行結腸-S狀結腸-直腸之左側結腸及肛門中之至少一個的概率。
  9. 如請求項3之使用卷積神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中上述消化器官之部位為小腸，並且上述內視鏡影像為無線膠囊內視鏡影像，上述疾病為糜爛及潰瘍中之至少一個。
  10. 如請求項3之使用卷積神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中上述消化器官之部位為十二指腸，並且上述內視鏡影像為食道胃十二指腸內視鏡影像，上述疾病為淺表非乳頭部十二指腸上皮性腫瘤。
  11. 如請求項9或10之使用卷積神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中上述疾病之陽性或陰性之確診結果係作為上述疾病之陽性之區域顯示於上述第2內視鏡影像內， 上述經訓練之卷積神經網路將所檢測出之上述疾病之陽性之區域顯示於上述第2內視鏡影像內，並且將上述概率分數顯示於上述第2影像內。
  12. 如請求項11之使用卷積神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其藉由作為上述疾病之陽性或陰性之確診結果之上述第2內視鏡影像內所顯示之上述疾病之陽性之區域與藉由上述經訓練之卷積神經網路顯示於上述第2內視鏡影像內之上述疾病之陽性之區域之重疊，而判定上述經訓練之卷積神經網路之診斷結果之對錯。
  13. 如請求項12之使用卷積神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中於上述重疊為 (1)作為上述小腸之上述疾病之陽性或陰性之確診結果之上述第2內視鏡影像內所顯示之上述疾病之陽性之區域之80%以上時、或 (2)藉由上述經訓練之卷積神經網路顯示於上述第2內視鏡影像內之上述疾病之陽性之區域存在複數個時，其中任一個區域與作為上述疾病之陽性或陰性之確診結果之上述第1內視鏡影像內所顯示之上述疾病之陽性之區域重疊時， 判定上述經訓練之卷積神經網路之診斷正確。
  14. 如請求項9至13中任一項之使用卷積神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中上述經訓練之卷積神經網路將所檢測到之上述疾病之陽性之區域與上述概率分數一併顯示於上述第2影像內。
  15. 如請求項3之使用卷積神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中上述消化器官之部位為食道，上述內視鏡影像為非放大內視鏡影像或放大內視鏡影像，上述疾病為鱗狀細胞癌之癌侵犯深度。
  16. 如請求項15之使用卷積神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中上述疾病之陽性或陰性之確診結果判定上述鱗狀細胞癌之癌侵犯深度為黏膜上皮-黏膜固有層、黏膜肌板、黏膜下層表面附近、黏膜下層中間部以降深處之哪一個。
  17. 如請求項1至16中任一項之使用卷積神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中上述卷積神經網路進而與來自X射線電腦斷層拍攝裝置、超音波電腦斷層拍攝裝置或核磁共振影像診斷裝置之三維資訊進行組合。
  18. 如請求項1至17中任一項之使用卷積神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援方法，其中上述第2內視鏡影像係利用內視鏡拍攝中之影像、經由通信網路發送來之影像、藉由遠距離操作系統或雲端系統提供之影像、記錄於電腦可讀取之記錄媒體之影像、或動態影像中之至少1個。
  19. 一種藉由消化器官之內視鏡影像之疾病的診斷支援系統，其特徵在於：具有內視鏡影像輸入部、輸出部、及組入有卷積神經網路之電腦，且 上述電腦具備： 第1記憶區域，其記憶消化器官之第1內視鏡影像； 第2記憶區域，其記憶與上述第1內視鏡影像對應之上述消化器官之上述疾病之陽性或陰性、過去之疾病、重症度之等級、疾病之侵犯深度、或者與所拍攝之部位對應之資訊中之至少1者之確診結果；及 第3記憶區域，其記憶上述卷積神經網路程式； 上述卷積神經網路程式係 基於記憶於上述第1記憶部之上述第1內視鏡影像、及記憶於上述第2記憶區域之確診結果被訓練，且 基於自上述內視鏡影像輸入部輸入之消化器官之第2內視鏡影像，將相對於上述第2內視鏡影像之消化器官之疾病之陽性及/或陰性之概率、過去之疾病之概率、疾病之重症度之等級、疾病之侵犯深度、或與所拍攝之部位對應之概率中之至少1個輸出至上述輸出部。
  20. 如請求項19之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其中上述第1內視鏡影像分別與所拍攝到之部位建立關聯。
  21. 如請求項20之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其中上述消化器官之部位包含咽頭、食道、胃、十二指腸、小腸及大腸中之至少1個。
  22. 如請求項21之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其中上述消化器官之部位於咽頭、食道、胃、十二指腸、小腸及大腸中之至少一者被劃分成複數個部位。
  23. 如請求項21或22之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其中上述消化器官之部位為胃，並且上述卷積神經網路基於上述第2內視鏡影像，輸出H.pylori感染陽性之概率、H.pylori感染陰性之概率及H.pylori除菌之概率中之至少一個。
  24. 如請求項22之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其中上述消化器官之部位為大腸，上述劃分部位為末梢回腸、盲腸、上行結腸、橫行結腸、下行結腸、S狀結腸、直腸及肛門中之至少一個，上述卷積神經網路輸出作為被拍攝上述第2內視鏡影像之上述劃分部位對應於末梢回腸、盲腸、上行結腸、橫行結腸、下行結腸、S狀結腸、直腸及肛門中之至少一個的概率。
  25. 如請求項22之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其中上述消化器官之部位為大腸，上述劃分部位為末梢回腸、盲腸、上行結腸、橫行結腸、下行結腸、S狀結腸、直腸及肛門中之至少一個，上述卷積神經網路輸出作為被拍攝上述第2內視鏡影像之部位對應於末梢回腸、盲腸、上行結腸及橫行結腸、下行結腸及S狀結腸、直腸及肛門中之至少一個的概率。
  26. 如請求項22之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其中上述消化器官之部位為大腸，並且上述經訓練之卷積神經網路輸出作為被拍攝上述第2內視鏡影像之部位對應於末梢回腸、包含盲腸-上行結腸-橫行結腸之右側結腸、包含下行結腸-S狀結腸-直腸之左側結腸及肛門中之至少一個劃分部位的概率。
  27. 如請求項21之使用卷積神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其中上述消化器官之部位為小腸，並且上述經訓練之卷積神經網路基於上述第2內視鏡影像，輸出與作為上述疾病之糜爛及潰瘍之至少一個對應之概率。
  28. 如請求項21之使用卷積神經網路之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其中上述消化器官之部位為十二指腸，並且上述經訓練之卷積神經網路基於上述第2內視鏡影像，輸出與作為上述疾病之淺表非乳頭部十二指腸上皮性腫瘤對應之概率。
  29. 如請求項19至28中任一項之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其中上述卷積神經網路進而與來自X射線電腦斷層拍攝裝置、超音波電腦斷層拍攝裝置或核磁共振影像診斷裝置之三維資訊進行組合。
  30. 如請求項19至28中任一項之藉由消化器官之內視鏡影像之疾病的診斷支援系統，其中上述第2內視鏡影像係利用內視鏡拍攝中之影像、經由通信網路發送來之影像、藉由遠距離操作系統或雲端系統提供之影像、記錄於電腦可讀取之記錄媒體之影像、或動態影像中之至少1個。
  31. 一種藉由消化器官之內視鏡影像之診斷支援程式，其特徵在於：其係用以作為如請求項19至28中任一項之藉由消化器官之內視鏡影像之疾病的診斷支援系統中之各機構而使電腦動作者。
  32. 一種電腦可讀取之記錄媒體，其特徵在於：其記錄有如請求項31之藉由消化器官之內視鏡影像之診斷支援程式。
TW108121798A 2018-06-22 2019-06-21 藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體 TW202006742A (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2018-119381 2018-06-22
JP2018119381 2018-06-22
JP2018133760 2018-07-13
JP2018-133760 2018-07-13
JP2018218490 2018-11-21
JP2018-218490 2018-11-21
JP2019-032163 2019-02-25
JP2019032163A JP7017198B2 (ja) 2018-06-22 2019-02-25 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体

Publications (1)

Publication Number Publication Date
TW202006742A true TW202006742A (zh) 2020-02-01

Family

ID=68983927

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108121798A TW202006742A (zh) 2018-06-22 2019-06-21 藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體

Country Status (3)

Country Link
EP (1) EP3811845A4 (zh)
TW (1) TW202006742A (zh)
WO (1) WO2019245009A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI775190B (zh) * 2020-05-13 2022-08-21 日商東芝三菱電機產業系統股份有限公司 物理模型鑑別系統

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4094673A4 (en) * 2020-01-20 2023-07-12 FUJIFILM Corporation MEDICAL IMAGE PROCESSING DEVICE, MEDICAL IMAGE PROCESSING DEVICE OPERATION METHOD, AND ENDOSCOPIC SYSTEM
US11113577B1 (en) * 2020-02-27 2021-09-07 GE Precision Healthcare LLC Systems and methods for detecting laterality of a medical image
WO2022014235A1 (ja) * 2020-07-14 2022-01-20 富士フイルム株式会社 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム
CN111899229A (zh) * 2020-07-14 2020-11-06 武汉楚精灵医疗科技有限公司 一种基于深度学习多模型融合技术的胃早癌辅助诊断方法
CN112201335B (zh) * 2020-07-23 2023-05-26 中国人民解放军总医院 一种线阵超声内镜下识别腹腔内结构系统及其方法
CN111862090B (zh) * 2020-08-05 2023-10-10 武汉楚精灵医疗科技有限公司 一种基于人工智能的食管癌术前管理的方法和系统
CN112435246A (zh) * 2020-11-30 2021-03-02 武汉楚精灵医疗科技有限公司 窄带成像放大胃镜下胃癌的人工智能诊断方法
JP7374224B2 (ja) * 2021-01-14 2023-11-06 コ，ジファン 内視鏡を用いた大腸検査ガイド装置
WO2022264751A1 (ja) * 2021-06-16 2022-12-22 富士フイルム株式会社 医用画像処理装置、医用画像処理方法、及びプログラム
CN113643291B (zh) * 2021-10-14 2021-12-24 武汉大学 食管标志物浸润深度等级确定方法、装置及可读存储介质
CN114049934B (zh) * 2021-11-10 2022-09-16 富士胶片（中国）投资有限公司 辅助诊断方法、装置、系统、设备和介质
JP7465409B2 (ja) 2022-01-19 2024-04-10 コ，ジファン 人工知能基盤の血管学習による大腸ポリープ検出方法及び装置
WO2024004850A1 (ja) * 2022-06-28 2024-01-04 オリンパスメディカルシステムズ株式会社 画像処理システム、画像処理方法及び情報記憶媒体
CN116109559A (zh) * 2022-11-22 2023-05-12 武汉楚精灵医疗科技有限公司 胃部标志物的浸润深度检测方法、装置及存储介质
CN116259414B (zh) * 2023-05-09 2023-08-18 南京诺源医疗器械有限公司 转移性淋巴结区分模型、构建方法及应用

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002301019A (ja) 2001-04-09 2002-10-15 Hironori Yamamoto 内視鏡装置
US7986337B2 (en) 2004-09-27 2011-07-26 Given Imaging Ltd. System and method for editing an image stream captured in vivo
JP6528608B2 (ja) 2015-08-28 2019-06-12 カシオ計算機株式会社 診断装置、及び診断装置における学習処理方法、並びにプログラム
US20170084036A1 (en) * 2015-09-21 2017-03-23 Siemens Aktiengesellschaft Registration of video camera with medical imaging
JP6545591B2 (ja) 2015-09-28 2019-07-17 富士フイルム富山化学株式会社 診断支援装置、方法及びコンピュータプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI775190B (zh) * 2020-05-13 2022-08-21 日商東芝三菱電機產業系統股份有限公司 物理模型鑑別系統

Also Published As

Publication number Publication date
WO2019245009A1 (ja) 2019-12-26
EP3811845A1 (en) 2021-04-28
EP3811845A4 (en) 2022-03-16

Similar Documents

Publication Publication Date Title
JP7017198B2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
TW202006742A (zh) 藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體
JP7037220B2 (ja) 消化器官の内視鏡画像による疾患の診断支援システム、診断支援システムの作動方法、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
Cai et al. Using a deep learning system in endoscopy for screening of early esophageal squamous cell carcinoma (with video)
JP7216376B2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP6657480B2 (ja) 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム
Nakagawa et al. Classification for invasion depth of esophageal squamous cell carcinoma using a deep neural network compared with experienced endoscopists
Ikenoyama et al. Detecting early gastric cancer: Comparison between the diagnostic ability of convolutional neural networks and endoscopists
Ueyama et al. Application of artificial intelligence using a convolutional neural network for diagnosis of early gastric cancer based on magnifying endoscopy with narrow‐band imaging
Igarashi et al. Anatomical classification of upper gastrointestinal organs under various image capture conditions using AlexNet
WO2021054477A2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
Hu et al. Identifying early gastric cancer under magnifying narrow-band images with deep learning: a multicenter study
Xu et al. Artificial intelligence in the diagnosis of gastric precancerous conditions by image-enhanced endoscopy: a multicenter, diagnostic study (with video)
Namikawa et al. Utilizing artificial intelligence in endoscopy: a clinician’s guide
Namikawa et al. Artificial intelligence-based diagnostic system classifying gastric cancers and ulcers: comparison between the original and newly developed systems
Suzuki et al. Artificial intelligence for cancer detection of the upper gastrointestinal tract
Hirasawa et al. Current status and future perspective of artificial intelligence applications in endoscopic diagnosis and management of gastric cancer
Li et al. Intelligent detection endoscopic assistant: An artificial intelligence-based system for monitoring blind spots during esophagogastroduodenoscopy in real-time
Li et al. Correlation of the detection rate of upper GI cancer with artificial intelligence score: results from a multicenter trial (with video)
Shiroma et al. Ability of artificial intelligence to detect T1 esophageal squamous cell carcinoma from endoscopic videos: supportive effects of real-time assistance
Ahmad et al. PTH-004 Deep learning for real-time automated polyp localisation in colonoscopy videos
JP2023079866A (ja) 超拡大内視鏡による胃癌の検査方法、診断支援方法、診断支援システム、診断支援プログラム、学習済みモデル及び画像診断支援装置