JP7037220B2

JP7037220B2 - 消化器官の内視鏡画像による疾患の診断支援システム、診断支援システムの作動方法、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体

Info

Publication number: JP7037220B2
Application number: JP2020557614A
Authority: JP
Inventors: 宏章斎藤; 智聖七條; 有真遠藤; 和玄青山; 智裕多田; 篤生山田; 健太郎中川; 立石原; 智則青木; 温子玉城
Original assignee: 株式会社Ａｉメディカルサービス
Priority date: 2018-11-21
Filing date: 2019-11-21
Publication date: 2022-03-16
Anticipated expiration: 2039-11-21
Also published as: WO2020105699A9; WO2020105699A1; EP3884838A1; CN113164010A; EP3884838A4; US20220020496A1; JPWO2020105699A1; TW202037327A

Description

本発明は、ニューラルネットワーク（neural network）を用いた消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プロラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体に関する。

消化器官、例えば、喉頭、咽頭、食道、胃、十二指腸、胆道、膵菅、小腸、大腸などに対し、内視鏡検査が多く行われている。上部消化器官の内視鏡検査は、胃癌、食道癌、消化性潰瘍、逆流性胃炎などのスクリーニングのために、また、大腸の内視鏡検査は大腸癌、大腸ポリープ、潰瘍性大腸炎等のスクリーニングのために、しばしば行われている。特に上部消化器官の内視鏡検査は、様々な上腹部症状の詳細な検査、胃の病気に対するバリウム検査の陽性結果を受けての精密検査、及び、日本の定期健康診断に一般的に組み込まれている異常な血清ペプシノゲンレベルに対する精密検査にも有用である。また、近年では、胃癌検診は従来のバリウム検査から胃内視鏡検査への移行が進んでいる。

胃癌は、最も一般的な悪性腫瘍の１つであり、数年前には世界中で約１００万件も発症したものと推定されている。胃癌発症の根本原因のうち、ヘリコバクター・ピロリ（Helicobacter pylori、以下、「Ｈ．ピロリ」ということがある。）感染は、萎縮性胃炎、腸上皮化生を誘導し、最終的には胃癌発症につながる。世界中で非噴門胃癌のうちの９８％はＨ．ピロリが寄与していると考えられている。Ｈ．ピロリに感染した患者の胃癌の危険性が高まり、Ｈ．ピロリ除菌後の胃癌の発生率が低下したことを考慮し、国際癌研究機関（International Agency for Research on Cancer）は、Ｈ．ピロリを明確な発癌物質と分類している。この結果から、胃癌発症のリスクを低減させるためにはＨ．ピロリの除菌が有用であり、抗菌薬によるＨ．ピロリの除菌はわが国の保険診療にもなっており、今後とも保健衛生上強く奨励される治療法である。事実、日本国の厚生労働省は、２０１３年２月にＨ．ピロリ感染による胃炎患者の根絶治療のための健康保険適用を承認した。

Ｈ．ピロリ感染の存在についての鑑別診断には、胃内視鏡検査は極めて有用な情報を提供する。毛細血管がきれいに見える場合（ＲＡＣ（regular arrangement of collecting venules））や胃底腺ポリープはＨ．ピロリ陰性の胃粘膜に特徴的であるが、萎縮、発赤、粘膜腫脹、皺壁肥大は、Ｈ．ピロリ感染胃炎の代表的な所見である。また、斑状赤斑は、Ｈ．ピロリを除菌した胃粘膜の特性である。Ｈ．ピロリ感染の正確な内視鏡診断は、血液又は尿中の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原測定、尿素呼気試験、又は迅速ウレアーゼ試験などの様々な検査によって確認され、検査結果が陽性の患者はＨ．ピロリ除菌に進むことができる。内視鏡検査は広く胃病変の検査に使われるが、臨床検体分析によらずに胃病変の確認時にＨ．ピロリ感染までも特定できるようになれば、画一的に血液検査や尿検査等を行うことのなく、患者の負担は大きく減り、また医療経済上の貢献も期待できる。

また、食道癌は８番目に多い癌で、６番目に多い癌の死亡原因であり、２０１２年には４５６，０００件の新たな症例と４０万人の死亡が推定されている。ヨーロッパや北米では食道腺癌の発生率は急速に高まっているが、扁平上皮癌（ＳＣＣ）は全世界の食道癌の８０％を占める最も一般的な腫瘍型である。進行した食道ＳＣＣ患者の全生存率は依然として低いままである。しかし、この癌が粘膜癌又は粘膜下癌として検出されれば、良好な予後が期待できる。

また、全大腸内視鏡検査（colonoscopy、ＣＳ）は、結腸・直腸癌（colorectal cancer、ＣＲＣ）、結腸・直腸ポリープ及び炎症性大腸疾患などの結腸・直腸疾患を高感度及び高特異度を持って検出することができる。このような疾患の早期診断により、患者はよりよい予後の早期治療が可能になるため、ＣＳの十分な品質を提供することが重要である。

このように、上部消化器官及び大腸の内視鏡検査は広く行われるようになっているが、小腸に対する内視鏡検査は、一般的な内視鏡を小腸の内部にまで挿入することが困難なため、あまり行われていない。一般的な内視鏡は長さが約２ｍ程度であり、小腸まで内視鏡を挿入するには、経口的に胃及び十二指腸を経由して、あるいは経肛門的に大腸を経由して小腸まで挿入する必要があり、しかも、小腸自体は６－７ｍ程度もある長い器官であるので、一般的な内視鏡では小腸全体に亘る挿入及び観察が困難なためである。そのため、小腸の内視鏡検査には、ダブルバルーン内視鏡(特許文献１参照）又はワイヤレスカプセル内視鏡（Wireless Capsule Endoscopy、以下単に「ＷＣＥ」ということがある。）(特許文献２参照）が使用されている。

ダブルバルーン内視鏡は、内視鏡の先端側に設けられたバルーンと、内視鏡を覆うオーバーチューブの先端側に設けられたバルーンとを、交互にあるいは同時に膨らませたりしぼませたりして、長い小腸をたぐり寄せるようにして短縮化・直線化しながら検査を行う方法であるが、小腸の長さが長いので、一度に小腸の全長に亘って検査を行うことは困難である。そのため、ダブルバルーン内視鏡による小腸の検査は、通常は経口的な内視鏡検査と、経肛門的な内視鏡検査との２回に分けて行われている。

また、ＷＣＥによる内視鏡検査は、カメラ、フラッシュ、電池、送信機等が内蔵された経口摂取可能なカプセルを飲み込み、カプセルが消化管内を移動中に撮影した画像を無線で外部に送信し、これを外部で受信及び記録することにより検査が行われるものであり、一度に小腸の全体に亘る撮影が可能である。

また、咽頭癌はしばしば進行した段階で検出され、予後は不良である。さらに、咽頭癌の進行した患者は、外科的切除と化学放射線療法を必要とし、美容上の問題と、嚥下及び会話の機能喪失の両方の問題があり、結果として生活の質を大きく低下させる。従前、食道胃十二指腸内視鏡（ＥＧＤ）検査では、患者の不快感を軽減するために内視鏡が咽頭を素早く通過することが重要であると考えられ、咽頭の観察も確立されていなかった。内視鏡医は、食道の場合とは異なり、気道への誤嚥のリスクがあるため、咽頭でヨウ素染色を使用できない。したがって、表在性咽頭癌はほとんど検出されなかった。

しかし、近年、狭帯域イメージング（ＮＢＩ）などの画像強調内視鏡検査の開発及び内視鏡医の意識の向上もあり、食道胃十二指腸内視鏡検査中の咽頭癌の検出が増加している。表在性咽頭癌（ＳＰＣ）の検出の増加に伴い、表在性胃腸癌の局所切除として確立された内視鏡的切除術（ＥＲ）、内視鏡的粘膜下層剥離術（ＥＳＤ）、又は内視鏡的粘膜切除術（ＥＭＲ）により表在性咽頭癌を治療する機会が得られる。また、表在性咽頭癌の患者の機能と生活の質を維持する理想的な低侵襲治療である表在性咽頭癌の内視鏡的粘膜下層剥離術による短期及び長期の好ましい治療結果も報告されている。

特開２００２－３０１０１９号公報特開２００６－０９５３０４号公報特開２０１７－０４５３４１号公報特開２０１７－０６７４８９号公報

Bibault JE, Giraud P, Burgun A. Big Data and machine learning in radiation oncology: State of the art and future prospects. Cancer Lett. 2016;382(1):110-117. Esteva A, Kuprel B, Novoa RA, et al. Dermatologist-level classification of skin cancer with deep neural networks. Nature. 2017;542(7639):115-118. Gulshan V, Peng L, Coram M, et al. Development and Validation of a Deep Learning Algorithm for Detection of Diabetic Retinopathy in Retinal Fundus Photographs. JAMA. 2016;316(22):2402-2410. Byrne MF, Chapados N, Soudan F, et al. Real-time differentiation of adenomatous and hyperplastic diminutive colorectal polyps during analysis of unaltered videos of standard colonoscopy using a deep learning model. Gut. 2017. Chen PJ, Lin MC, Lai MJ, Lin JC, Lu HH, Tseng VS. Accurate Classification of Diminutive Colorectal Polyps Using Computer-Aided Analysis. Gastroenterology. 2018;154(3):568-575. Misawa M, Kudo SE, Mori Y, et al. Artificial Intelligence-Assisted Polyp Detection for Colonoscopy: Initial Experience. Gastroenterology. 2018. Takiyama H, Ozawa T, Ishihara S, et al. Automatic anatomical classification of esophagogastroduodenoscopy images using deep convolutional neural networks. Sci Rep. 2018;8(1):7497. Hirasawa T, Aoyama K, Tanimoto T, et al. Application of artificial intelligence using a convolutional neural network for detecting gastric cancer in endoscopic images. Gastric Cancer. 2018. Shichijo S, Nomura S, Aoyama K, et al. Application of Convolutional Neural Networks in the Diagnosis of Helicobacter pylori Infection Based on Endoscopic Images. EBioMedicine. 2017;25:106-111. Iakovidis DK, Koulaouzidis A. Automatic lesion detection in capsule endoscopy based on color saliency: closer to an essential adjunct for reviewing software. Gastrointestinal endoscopy 2014 Nov;80(5):877-83. Boal Carvalho P, Magalhaes J, Dias DE Castro F, et al. Suspected blood indicator in capsule endoscopy: a valuable tool for gastrointestinal bleeding diagnosis. Arq Gastroenterol. 2017;54(1):16-20. Muto M, Minashi K, Yano T, et al. Early detection of superficial squamous cell carcinoma in the head and neck region and esophagus by narrow band imaging: a multicenter randomized controlled trial. J Clin Oncol. 2010 Mar 20; 28(9): 1566-1572. Korman LY, Delvaux M, Hagenmuller F, Keuchel M, Friedman S, Weinstein M, Shetzline M, Cave D, de Franchis R: Capsule endoscopy structured terminology (CEST): proposal of a standardized and structured terminology for reporting capsule endoscopy procedures. Endoscopy 2005, 37(10):951-959.

このような消化器官の内視鏡検査においては、多くの内視鏡画像が収集されるが、精度管理のために内視鏡専門医による内視鏡画像のダブルチェックが義務付けられている。年に数万件もの内視鏡検診に伴い、二次読影において内視鏡専門医が読影する画像枚数は１人あたり１時間で約２８００枚と膨大なものとなっており、現場の大きな負担となっている。

特に小腸のＷＣＥによる検査では、ＷＣＥの移動は、ＷＣＥ自体の動きによるものではなく、腸の蠕動によるものであるため、外部から動きを規制することはできないので、見逃しを防ぐために一度の検査で多数の画像が撮影され、しかも、ＷＣＥが小腸を移動している時間は約８時間もあるため、一度の検査で撮影される画像は非常に多くなる。たとえば、ＷＣＥは１人あたり約６０，０００枚の画像を無線で送信するので、内視鏡専門医は早送りしてチェックすることとなるが、異常な所見は１フレームないし２フレームしか現れない可能性があるため、これによる平均的なＷＣＥ画像分析には３０－１２０分の厳しい注意と集中が必要である。

しかも、これらの内視鏡画像に基づく診断は、内視鏡専門医に対する訓練や、保存画像をチェックするのに多くの時間を要するばかりか、主観的であり、様々な偽陽性判断及び偽陰性判断を生じる可能性がある。さらに、内視鏡専門医による診断は、疲労により精度が悪化することがある。このような現場の多大な負担や精度の低下は、受診者数の制限にもつながる可能性があり、ひいては需要に応じた医療サービスが十分に提供されない懸念も想定される。

また、表在性咽頭癌（ＳＰＣ）の検出と治療に関するほとんど全ての報告は日本国からのものであり、これらの手法で採用されている狭帯域イメージング（ＮＢＩ）や拡大内視鏡（ＭＥ）検査などの画像強調内視鏡検査は世界中で普及しているわけではない。内視鏡医への十分な教育なしに、狭帯域イメージングや拡大内視鏡を使用せずに表在性咽頭癌を検出することは困難だからある。そのため食道胃十二指腸内視鏡検査画像で表在性咽頭癌を検出する効率的なシステムが強く求められている。

上記の内視鏡検査の労務負荷と精度低下の改善のためには、ＡＩ（人工知能：artificial intelligence）の活用が期待されている。近年の画像認識能力が人間を上回ったＡＩを内視鏡専門医のアシストとして使用できれば、二次読影作業の精度とスピードを向上させるものと期待されている。近年、ディープラーニング（深層学習）を用いたＡＩが様々な医療分野で注目されており、放射線腫瘍学、皮膚癌分類、糖尿病性網膜症(非特許文献１－３参照）や消化器内視鏡分野、特に大腸内視鏡を含む分野(非特許文献４－６参照）だけでなく、様々な医療分野において、医学画像を専門医に替わってスクリーニングできるとの報告がある。また、各種ＡＩを利用して医用画像診断を行った特許文献（特許文献３、４参照）も存在する。しかし、ＡＩの内視鏡画像診断能力が実際の医療現場において役立つ精度（正確性）と性能（スピード）を満たせるかどうかについては、十分に検証されておらず、ＡＩを利用した内視鏡画像に基づく診断は、未だに実用化されていない。

ディープラーニングは、複数に重ねて構成されたニューラルネットワークを用いて、入力データから高次の特徴量を学習できる。また、ディープラーニングは、バックプロパゲーション・アルゴリズムを使用して、各層の表現を前の層の表現から計算するために使用される内部パラメータを、装置がどのように変更すべきかを示すことによって更新することができる。

医用画像の関連付けに際しては、ディープラーニングは、過去に蓄積された医用画像を用いて訓練することができ、医学的画像から患者の臨床的特徴を直接得ることができる強力な機械学習技術になり得る。ニューラルネットワークは脳の神経回路の特性を計算機上のシミュレーションによって表現した数理モデルであるところ、ディープラーニングを支えるアルゴリズムのアプローチがニューラルネットワークである。畳み込みニューラルネットワーク（ＣＮＮ）は、Szegedyらによって開発され、画像の深層学習のための最も一般的なネットワークアーキテクチャである。

消化管内視鏡検査における内視鏡画像の判定作業において、高い精度を維持した上での効率化が大きな課題になっている。また、この分野の画像解析にＡＩを活用しようとしたときには、そのＡＩ技術の向上が大きな課題となっている。発明者等は、解剖学的部位に応じて食道・胃・十二指腸の画像を分類でき、内視鏡画像中の胃癌を確実に見出すことができるＣＮＮシステムを構築した(非特許文献７，８参照）。

さらに、発明者等は、最近、内視鏡画像に基づくＨ．ピロリ胃炎の診断におけるＣＮＮの役割を報告し、ＣＮＮの能力が経験豊富な内視鏡医に匹敵し、診断時間がかなり短くなることを示した（非特許文献９参照）。しかし、このＣＮＮは、訓練／検証用データセットとして、Ｈ．ピロリ除菌された症例が除外され、Ｈ．ピロリ陽性及び陰性の症例のみが用いられており、予めＨ．ピロリ除菌された症例を除外した訓練／検証用データセットの構築に手間が掛かるという課題が存在するほか、Ｈ．ピロリ陽性及び陰性の症例のみでなく、Ｈ．ピロリ除菌された症例をも正確に同定することができるかどうかは評価できないという課題が存在している。

また、ＣＳを実施する場合、開業医は通常、直腸、結腸、及び終末回腸の一部を検査するが、疾患の臨床特性は結腸・直腸の解剖学的部位によって異なる。例えば、いくつかの最近の研究によると、結腸・直腸癌では、化学療法による疫学、予後及び臨床結果に関して、右側結腸及び左側結腸でいくつかの違いが指摘されている。同様に、大腸の解剖学的部位は、潰瘍性大腸炎の治療にとって重要である。潰瘍性大腸炎における経口薬剤ないし座薬の適用性は大腸炎の存在位置に基づくからである。従って、ＣＳ検査に際して結腸・直腸疾患の解剖学的部位を正確に特定することは臨床的に意味がある。

ＣＳは糞便潜血陽性の場合や腹部症状のスクリーニングに一般的に使用されるが、施術者が大腸内視鏡を自由に取り扱い、異常領域を認識し、病気を正確に診断するのに十分な特別な訓練が必要である。そのような技能を得るのに時間がかかる理由の１つは、内視鏡検査中の解剖学的認識の困難性である。結腸のそれぞれの部位の解剖学的な相違点と、結腸のさまざまな部分の類似性のため、ＣＳの初心者だけでなくＣＳの専門家も、その内視鏡スコープの先端の正確な位置を認識することができない。

したがって、開業医がＣＳを行い、異常を検出するためには、ＣＳ画像を介して結腸の解剖学的部分を正確に認識することが必要である。最近の証拠によると、十分なスキルを得るには、ＣＳ試験の全部を修了した経験が少なくとも２００件必要ある。実際、日本国では、内視鏡専門の認定は５年以上の内視鏡訓練の後にのみ行われる。

また、ＷＣＥによって発見される小腸における最も一般的な症状は、びらんや潰瘍などの粘膜破壊である。これらは主に非ステロイド性抗炎症薬（ＮＳＡＩＤ）によって引き起こされ、時にはクローン病または小腸悪性腫瘍によって引き起こされるため、早期診断と早期治療が必要である。従前の各種報告では、小腸のびらんないし潰瘍による粘膜が破壊されている部分は、周囲の正常粘膜との間に色の差が小さいため、ソフトウェア的に自動検出するには血管拡張症を検出する場合よりも劣っていた（非特許文献１０参照）。また、小腸のＷＣＥ画像に対してＣＮＮを適用して、小腸の各種疾患や、出血ないし突出病変を診断することについての研究はない。

さらに、粘膜又は粘膜下癌と定義される表在食道扁平上皮癌(以下、ＳＣＣということがある。）は、日本で診断されたすべての食道癌の３８％を占めている。表在食道ＳＣＣでは、食道切除術及び内視鏡的切除術（ＥＲ）が適用可能であるが、両者は侵襲性の点で大きく異なる。適切な治療法を選択する際には、転移の危険性やＥＲの治癒の可能性を考慮すると、癌の深達度(浸潤深度）が最も重要な因子である。

癌の深達度の内視鏡診断は、食道癌の術後経過、突出、硬さ、及び微小血管の変化等、様々な内視鏡所見を評価するのに十分な専門知識を必要とする。表在食道ＳＣＣの深達度の診断には非拡大内視鏡（非ＭＥ）検査、拡大内視鏡（ＭＥ）検査、超音波内視鏡（ＥＵＳ）検査が用いられている。非拡大内視鏡を用いた診断は、主観的であり、観察者間の変動性の影響を受ける可能性のある癌の突出、陥没、及び硬さに基づく。拡大内視鏡検査は、食道癌の深達度と密接に関連している微小血管構造の明確な観察を可能にする。

超音波内視鏡と拡大内視鏡による診断は、非拡大内視鏡による診断よりも客観的であるが、複雑であり、医師の専門知識に影響される。したがって、超音波内視鏡と拡大内視鏡の報告された癌の深達度の正確な精度は相反しており、満足のいくものではない。そのため、食道癌の癌侵襲深度をより客観的に簡単に診断する方法として、革新的なアプローチが求められている。

本発明は、上記のような従来技術の課題を解決すべくなされたものである。すなわち、本発明の目的は、ＣＮＮを複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像と、複数の被験者のそれぞれについて予め得られている疾患の陽性又は陰性の確定診断結果とに基いて訓練することにより、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の消化器官の疾患の陽性及び／又は陰性の確率、疾患の重症度のレベル、疾患の深達度等を得ることで、別途確定診断を行わなければならない被験者を短時間で選別することができる消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することにある。

また、本発明の第２の目的は、ＷＣＥによる小腸の内視鏡画像に基く、ＣＮＮシステムを用いた小腸の突出病変を正確に同定することができる小腸の疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することを目的とする。

さらに、本発明の第３の目的は、小腸のワイヤレスカプセル内視鏡画像に基いて、小腸に血液成分が含まれる確率を正確に出力することができる表在食道ＳＣＣの診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することを目的とする。

さらに、本発明の第４の目的は、食道の非拡大内視鏡画像及び拡大内視鏡画像に基づいて、食道の扁平上皮癌の深達度に対応する確率を正確に特定することができる、消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することにある。

さらに、本発明の第５の目的は、食道胃十二指腸内視鏡（ＥＧＤ）検査画像に基づく、ＣＮＮシステムを用いた表在性咽頭癌の有無を正確に特定することができる、消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することにある。

本発明の第１の態様の畳み込みニューラルネットワーク（以下、「ＣＮＮシステム」ということがある。）を用いた消化器官の内視鏡画像による疾患の診断支援システムは、前記第１の内視鏡画像に対応する、前記消化器官の疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報の少なくとも１つの確定診断結果と、を用いて畳み込みニューラルネットワークを訓練し、前記訓練された畳み込みニューラルネットワークは、前記消化器官の第２の内視鏡画像に基いて、前記消化器官の疾患の領域を検出し、検出した前記疾患の陽性又は陰性、及び、前記疾患の深達度に対応する確率を出力する、畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムであって、前記消化器官の部位が小腸であって、前記第２の内視鏡画像がワイヤレスカプセル内視鏡画像であり、前記疾患が突出病変であり、前記確率が、突出病変の領域の確率であり、前記確定診断結果が、前記第１の内視鏡画像を、ポリープ、結節、上皮腫瘍、粘膜下腫瘍及び静脈構造の５つの突出病変のカテゴリーに分類する突出病変診断情報を含み、前記訓練された畳み込みニューラルネットワークは、内視鏡画像入力部から入力された前記第２の内視鏡画像の前記５つの突出病変のカテゴリーに応じた前記突出病変の領域の確率のうち、所定の閾値に基づいた突出病変の領域の確率を出力することを特徴とする。

かかる態様の第１の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムによれば、ＣＮＮが複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像からなる第１の内視鏡画像と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性又は陰性、重症度のレベル、もしくは、疾患の深達度の少なくとも１つの確定診断結果とに基いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の消化器官の疾患の陽性又は陰性、及び、疾患の深達度に対応する確率のいずれか１つ以上を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになる。しかも、多数の被験者についての複数の消化器官の内視鏡画像からなるテストデータに対する疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、疾患の深達度、又は、撮像された部位に対応する確率の少なくとも１つを自動診断することができるため、内視鏡専門医によるチェック／修正が容易になるだけでなく、疾患と関連づけられた画像の集合を作成する作業の省略化も図ることができる。
また、第１の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムによれば、多数の被験者についてのワイヤレスカプセル内視鏡（以下、「ＷＣＥ」ということがある。）による小腸の内視鏡画像に対して、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の小腸の突出病変の陽性及び／又は陰性の領域及び確率を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになり、内視鏡専門医によるチェック／修正が容易になる。
また、第１の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムによれば、ＣＥＳＴ分類に基づくカテゴリーを適用して、ポリープ、結節、上皮腫瘍、粘膜下腫瘍、静脈構造などの５つの突出病変のカテゴリーについて、高感度で、良好な検出率で検出及び分類できる。さらに、カットオフ値を適切に設定することにより、感度と特異度を共に向上できる。

本発明の第２の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムは、第１の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記訓練された畳み込みニューラルネットワークは、検出した前記突出病変の領域を前記第２の内視鏡画像内に表示するとともに、前記第２の内視鏡画像内に前記確率を表示することを特徴とする。

本発明の第２の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムによれば、第２の内視鏡画像内に、内視鏡専門医による確定診断結果が得られた領域と、訓練されたＣＮＮシステムによって検出された疾患の陽性の領域とが正確に対比できるので、ＣＮＮの感度及び特異度をより良好なものとすることができるようになる。

また、本発明の第３の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムは、第１又は第２の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第２の内視鏡画像内には、前記小腸の前記疾患の陽性又は陰性の確定診断結果に基いて前記突出病変の領域として表示され、前記訓練された畳み込みニューラルネットワークは、前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と、前記訓練された畳み込みニューラルネットワークにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域との重なりにより、前記訓練された畳み込みニューラルネットワークの診断結果の正誤を判定することを特徴とする。

本発明の第３の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムによれば、第２の内視鏡画像内に、内視鏡専門医による確定診断結果が得られた領域と、訓練されたＣＮＮによって検出された疾患の陽性の領域とが表示されているので、それらの領域の重なり状態によって、直ちに訓練されたＣＮＮの診断結果に対比することができるようになる。

また、本発明の第４の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムは、第３の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記重なりが、
（１）前記小腸の前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域の８０％以上である時、又は、
（２）前記ＣＮＮにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域が複数存在するとき、いずれか一つの領域が前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と重なっている時、
前記ＣＮＮの診断は正しいと判定することを特徴とする。

本発明の第４の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、ＣＮＮの診断の正誤を容易に判定することができるようになり、訓練されたＣＮＮの診断の精度が向上する。

本発明の第５の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法は、ＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法であって、前記診断支援システムが、少なくとも、畳み込みニューラルネットワークを訓練する訓練部と、訓練された前記畳み込みニューラルネットワークにより前記内視鏡画像を解析する解析部と、を備え、前記訓練部が、前記消化器官の小腸のワイヤレスカプセル内視鏡画像である第１の内視鏡画像と、該第１の内視鏡画像に対応する、少なくとも小腸の出血の有無に関する情報を含む確定診断結果と、を用いて畳み込みニューラルネットワークを訓練する訓練ステップと、前記解析部が、前記訓練された畳み込みニューラルネットワークにより、小腸のワイヤレスカプセル内視鏡画像である第２の内視鏡画像に基いて、少なくとも小腸に血液成分が含まれる確率を出力する出力ステップと、を含み、前記訓練ステップで用いる前記確定診断結果が、小腸の正常な粘膜である旨を示す診断情報、小腸の内腔に活動性出血を含む旨を示す診断情報、および、小腸の内腔に凝血塊を含む旨を示す診断情報の３つの診断情報を含み、前記出力ステップが、前記３つの診断情報に応じた前記確率のうち、所定の閾値に基づいた確率を出力することを特徴とする。

第５の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、小腸の血液成分を含む画像と正常な粘膜画像とを正確にかつ高速に区別できるので、内視鏡専門医によるチェック／修正が容易になる。また、第５の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によればＳＢＩよりも正確に分類でき、また、単純カットオフ値０．５でも、感度及び特異性の両方でＳＢＩより優れており、さらに、カットオフ値を適切に設定することにより、感度及び特異性を向上することができるため、ＷＣＥの非常に正確なスクリーニングツールとして使用できる。

また、本発明の第６の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、ＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法であって、前記診断支援システムが、少なくとも、畳み込みニューラルネットワークを訓練する訓練部と、訓練された前記畳み込みニューラルネットワークにより前記内視鏡画像を解析する解析部と、を備え、前記訓練部が、前記消化器官の食道の非拡大内視鏡画像及び拡大内視鏡画像であり、重度の食道炎を有する患者の画像、化学療法の病歴を有する患者の画像、食道への放射線照射の画像、潰瘍又は潰瘍の瘢痕に隣接する病変の画像、少なすぎる空気吹き込みによる低品質の画像、出血の画像、ハレーションの画像、ぼけの画像、焦点外れの画像、又は、粘液の画像を除かれた第１の内視鏡画像と、該第１の内視鏡画像に対応する、少なくとも食道の扁平上皮癌（ＳＣＣ）の深達度に対応する情報を含む確定診断結果と、を用いて畳み込みニューラルネットワークを訓練する訓練ステップと、前記解析部が、前記訓練された畳み込みニューラルネットワークにより、食道の非拡大内視鏡画像及び拡大内視鏡画像である第２の内視鏡画像に基いて、前記扁平上皮癌の深達度が粘膜上皮－粘膜固有層（ＥＰ－ＬＰＭ）、粘膜筋板（ＭＭ）、粘膜下層表面近傍（ＳＭ１）、粘膜下層中間部以深（ＳＭ２－）のいずれかであることを判定し、前記扁平上皮癌の深達度に対応する確率を出力する出力ステップと、を含むことを特徴とする。

本発明の第６の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、食道の扁平上皮癌（ＳＣＣ）の深達度を短時間で、正確に把握することができ、Ｔ１ａ（ＥＰ及びＳＭ１）をＴ１ｂ（ＳＭ２又はＳＭ３）と区別し、表在食道ＳＣＣに対する内視鏡的切除術（ＥＲ）の適用性の判断を正確に行うことができるようになる。また、非拡大内視鏡画像及び拡大内視鏡画像を訓練画像データセットとして利用し、除外基準に属する患者の画像を除外して訓練することにより、診断精度が向上する。

また、本発明の第７の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法であって、前記診断支援システムが、少なくとも、畳み込みニューラルネットワークを訓練する訓練部と、訓練された前記畳み込みニューラルネットワークにより前記内視鏡画像を解析する解析部と、を備え、前記訓練部が、前記消化器官の部位である咽頭の食道胃十二指腸内視鏡検査画像であり、ハレーション、焦点ぼけ、粘液、又は唾液に起因する低品質の画像は除かれた第１の内視鏡画像と、該第１の内視鏡画像に対応する、少なくとも咽頭癌に対応する情報を含む確定診断結果と、を用いて畳み込みニューラルネットワークを訓練する訓練ステップと、前記解析部が、前記訓練された畳み込みニューラルネットワークにより、前記咽頭の食道胃十二指腸内視鏡検査画像である第２の内視鏡画像に基いて、少なくとも表在性咽頭癌に対応する確率を出力する出力ステップと、を含むことを特徴とする。

本発明の第７の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、訓練画像として、咽頭の食道胃十二指腸内視鏡検査画像であり、ハレーション、焦点ぼけ、粘液、又は唾液に起因する低品質の画像は除かれた画像を用いることにより、通常の食道胃十二指腸内視鏡検査の際にも高感度かつ高精度に表在性咽頭癌の存在を検知することができるようになる。

また、本発明の第８の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第７の態様のＣＮＮを用いた消化器官の内視鏡画像によ疾患の診断支援システムの作動方法において、前記内視鏡画像が白色光内視鏡画像であることを特徴とする。

本発明の第８の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、世界中で広く用いられている白色光内視鏡により得られた画像によって咽頭癌の存在を検知することができるため、練度の低い医師でも誤り少なく正確に咽頭癌の存在を検知することができるようになる。

また、本発明の第９の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第５－８のいずれかの態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記ＣＮＮは、さらにＸ線コンピュータ断層撮影装置、超音波コンピュータ断層撮影装置又は磁気共鳴画像診断装置からの３次元情報と組み合わされていることを特徴とする。

Ｘ線コンピュータ断層撮影装置、超音波コンピュータ断層撮影装置又は磁気共鳴画像診断装置は、それぞれの消化器官の構造を立体的に表すことができるから、第６－１０のいずれかの態様におけるＣＮＮシステムの出力と組み合わせると、内視鏡画像が撮影された部位をより正確に把握することができるようになる。

また、本発明の第１０の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、第５－８のいずれかの態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法において、前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする。

第１０の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、入力された第２の内視鏡画像に対する消化器官の疾患陽性及び陰性のそれぞれの確率ないし重症度を短時間で出力することができるので、第２の内視鏡画像の入力形式によらず、例えば遠隔地から送信された画像であっても、動画であっても利用可能となる。なお、通信ネットワークとしては、周知のインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等を利用可能である。また、通信ネットワークを構成する伝送媒体も周知のＩＥＥＥ１３９４シリアルバス、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線回線、ＡＤＳＬ回線等の有線、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１等の無線、携帯電話網、衛星回線、地上波デジタル網等の無線等を利用できる。これらによって、いわゆるクラウドサービスや遠隔支援サービスの形態として利用可能である。

また、コンピュータ読み取り可能な記録媒体としては、周知の磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク、ハードディスク等の磁気ディスク、コンパクトディスク－ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク－Ｒ等の光ディスクを含むディスク系、ＩＣカード、メモリカード、光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系等を用いることができる。これらによって、いわゆる医療機関や検診機関に簡便にシステムを移植又は設置できる形態を提供することができる。

さらに、本発明の第１１の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムは、内視鏡画像入力部と、出力部と、畳み込みニューラルネットワークが組み込まれたコンピュータと、を有する畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムであって、前記コンピュータは、消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、及び、前記疾患の深達度に対応する情報の確定診断結果を記憶する第２の記憶領域と、前記畳み込みニューラルネットワークを記憶する第３の記憶領域と、を備え、前記畳み込みニューラルネットワークは、前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する前記消化器官の前記疾患の陽性又は陰性、及び、前記疾患の深達度に対応する確率を前記出力部に出力するものとされており、前記疾患が突出病変であり、前記確率が、突出病変の領域の確率であり、前記確定診断結果が、前記第１の内視鏡画像を、ポリープ、結節、上皮腫瘍、粘膜下腫瘍及び静脈構造の５つの突出病変のカテゴリーに分類する突出病変診断情報を含み、前記消化器官の部位が小腸であって、前記第２の内視鏡画像がワイヤレスカプセル内視鏡画像であり、前記訓練された畳み込みニューラルネットワークは、前記内視鏡画像入力部から入力された前記第２の内視鏡画像の前記５つの突出病変のカテゴリーに応じた前記突出病変の確率のうち、所定の閾値に基づいた突出病変の領域の確率を出力することを特徴とする。

また、本発明の第１２の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムは、第１１の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記訓練されたＣＮＮは、検出した前記突出病変の領域を前記第２の内視鏡画像内に表示するとともに、前記第２の内視鏡画像内に前記確率を表示することを特徴とする。

また、本発明の第１３の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムは、第１１又は第１２の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第２の内視鏡画像内には、前記小腸の前記疾患の陽性又は陰性の確定診断結果に基いて前記突出病変の領域として表示され、前記訓練された畳み込みニューラルネットワークは、前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と、前記訓練された畳み込みニューラルネットワークにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域との重なりにより、前記訓練された畳み込みニューラルネットワークの診断結果の正誤を判定することを特徴とする。

また、本発明の第１４の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムは、第１３の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記重なりが、（１）前記小腸の前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域の８０％以上である時、又は、（２）前記訓練された畳み込みニューラルネットワークにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域が複数存在するとき、いずれか一つの領域が前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と重なっている時、前記訓練された畳み込みニューラルネットワークの診断は正しいと判定することを特徴とする。

本発明の第１１－１４のいずれかのＣＮＮを用いた態様の消化器官の内視鏡画像による疾患の診断支援システムによれば、それぞれ第１－４のいずれかの態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムと同様の効果を奏することができる。

また、本発明の第１５の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムは、内視鏡画像入力部と、出力部と、畳み込みニューラルネットワークが組み込まれたコンピュータと、を有する畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムであって、前記コンピュータは、消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、前記疾患の深達度に対応する情報の確定診断結果を記憶する第２の記憶領域と、前記畳み込みニューラルネットワークを記憶する第３の記憶領域と、を備え、前記畳み込みニューラルネットワークは、前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する前記消化器官の前記疾患の陽性又は陰性、及び、前記疾患の深達度に対応する確率を前記出力部に出力するものとされており、前記消化器官の部位が小腸であって、前記第２の内視鏡画像がワイヤレスカプセル内視鏡画像であり、前記確定診断結果が、小腸の正常な粘膜である旨を示す診断情報、小腸の内腔に活動性出血を含む旨を示す診断情報、および、小腸の内腔に凝血塊を含む旨を示す診断情報の３つの診断情報を含み、前記訓練された畳み込みニューラルネットワークは、前記３つの診断情報に応じた前記確率のうち、所定の閾値に基づいた確率を出力することによって前記第２の内視鏡画像内に前記疾患としての出血の有無の確率を表示することを特徴とする。

また、本発明の第１６の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムは、内視鏡画像入力部と、出力部と、畳み込みニューラルネットワークが組み込まれたコンピュータと、を有する畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムであって、前記コンピュータは、消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、前記疾患の深達度に対応する情報の確定診断結果を記憶する第２の記憶領域と、前記畳み込みニューラルネットワークを記憶する第３の記憶領域と、を備え、前記畳み込みニューラルネットワークは、前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する前記消化器官の前記疾患の陽性又は陰性、及び、前記疾患の深達度に対応する確率を前記出力部に出力するものとされており、前記消化器官の部位が食道であって、前記第２の内視鏡画像が非拡大内視鏡画像及び拡大内視鏡画像であり、重度の食道炎を有する患者の画像、化学療法の病歴を有する患者の画像、食道への放射線照射の画像、潰瘍又は潰瘍の瘢痕に隣接する病変の画像、少なすぎる空気吹き込みによる低品質の画像、出血の画像、ハレーションの画像、ぼけの画像、焦点外れの画像、又は、粘液の画像を除かれた第１の内視鏡画像と、該第１の内視鏡画像に対応する、少なくとも食道の扁平上皮癌の深達度に対応する情報を含む確定診断結果とを用いて前記畳み込みニューラルネットワークが訓練され、訓練された前記畳み込みニューラルネットワークが、食道の非拡大内視鏡画像及び拡大内視鏡画像である第２の内視鏡画像に基いて、前記扁平上皮癌の深達度が粘膜上皮－粘膜固有層、粘膜筋板、粘膜下層表面近傍、粘膜下層中間部以深のいずれかであることを判定し、前記扁平上皮癌の深達度に対応する確率を出力することを特徴とする。

また、本発明の第１７の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムは、内視鏡画像入力部と、出力部と、畳み込みニューラルネットワークが組み込まれたコンピュータと、を有する畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムであって、前記コンピュータは、消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域と、前記畳み込みニューラルネットワークを記憶する第３の記憶領域と、を備え、前記畳み込みニューラルネットワークは、前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する前記消化器官の疾患の領域を検出し、検出した前記疾患の陽性又は陰性、及び、前記疾患の深達度に対応する確率を出力するものとされており、前記消化器官の部位が咽頭であって、第１の内視鏡画像が食道胃十二指腸内視鏡検査画像であり、ハレーション、焦点ぼけ、粘液、又は唾液に起因する低品質の画像は除かれたものであり、前記第２の内視鏡画像が食道胃十二指腸内視鏡検査画像であり、前記疾患が咽頭癌であり、少なくとも表在性咽頭癌に対応する確率を出力することを特徴とする。

また、本発明の第１８の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムは、第１７の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記内視鏡画像が白色光内視鏡画像であることを特徴とする。

また、本発明の第１９の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第１１－１８のいずれかの態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムにおいて、畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムは、さらにＸ線コンピュータ断層撮影装置、超音波コンピュータ断層撮影装置又は磁気共鳴画像診断装置からの３次元情報と組み合わされていることを特徴とする。

また、本発明の第２０の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第１１－１８のいずれかの態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする。

本発明の第１５－２０のいずれかのＣＮＮを用いた態様の消化器官の内視鏡画像による疾患の診断支援システムによれば、それぞれ第５－１０のいずれかの態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法と同様の効果を奏することができる。

さらに、本発明の第２１の態様のＣＮＮを用いた消化器官の内視鏡画像による診断支援プログラムは、第１１－２０のいずれかの態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援システムにおける各手段としてコンピュータを動作させるためのものであることを特徴とする。

本発明の第２１の態様のＣＮＮを用いた消化器官の内視鏡画像による診断支援プログラムによれば、第１１－２０のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおける各手段としてコンピュータを動作させるための、消化器官の内視鏡画像による診断支援プログラムを提供することができる。

また、本発明の第２２の態様のコンピュータ読み取り可能な記録媒体は、第２１の態様の消化器官の内視鏡画像による診断支援プログラムを記録したことを特徴とする。

本発明の第２２の態様の消化器官の内視鏡画像によるコンピュータ読み取り可能な記録媒体によれば、第２１の態様の消化器官の内視鏡画像による診断支援プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することができる。

以上述べたように、本発明によれば、ＣＮＮを組み込んだプログラムが複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性又は陰性の確定診断結果とに基いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の消化器官の疾患の陽性及び／又は陰性の確率、疾患の重症度のレベル、疾患の深達度等を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになる。

図１ＡはＨ．ピロリ感染の陽性の場合の胃内視鏡画像例であり、図１ＢはＨ．ピロリ感染の陰性の場合の胃内視鏡画像例であり、図１ＣはＨ．ピロリ除菌後の胃内視鏡画像例である。胃の主要な解剖学的部位を示す図である。 GoogLeNetの動作を示す模式概念図である。実施形態１のＣＮＮ構築用の検証用データセット用の患者の選別を示す図である。大腸の主要な解剖学的部位を示す図である。実施形態２のＣＮＮシステム構築用のフローチャートの概略図である。実施形態２の代表的な大腸内視鏡画像とＣＮＮにより認識された各部位の確率スコアを示す図である。図８Ａ－図８Ｆは、それぞれ順に終末回腸、盲腸、上行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の受信機動作特性（ＲＯＣ）曲線を示す図である。図９Ａは肛門と正しく認識された画像と各部位の確率スコアを示す図であり、図９Ｂは肛門と誤認識された終末回腸の画像と各部位の確率スコアを示す図である。図１０Ａは盲腸と正しく認識された画像と各部位の確率スコアを示す図であり、図１０Ｂは終末回腸と誤認識された盲腸の画像と各部位の確率スコアを示す図である。実施形態３のＣＮＮシステム構築用のフローチャートの概略図である。実施形態３のＣＮＮによるＲＯＣ曲線の一例を示す図である。図１３Ａ－図１３Ｄは、実施形態３のＣＮＮによって正しく診断された代表的な小腸内視鏡画像とＣＮＮにより認識された特定部位の確率スコアを示す図である。図１４Ａ－図１４Ｅは実施形態３のＣＮＮによってそれぞれ順に暗さ、側方性、泡、破片、血管拡張に基いて偽陽性と診断された画像の例であり、図１４Ｆ－図１４Ｈは真のびらんであるが偽陽性と診断された画像の例である。実施形態４のＣＮＮシステム構築用のフローチャートの概略図である。実施形態４のＣＮＮによるＲＯＣ曲線の一例を示す図である。図１７Ａ－図１７Ｅは、それぞれ実施形態4のＣＮＮによってポリープ、結節、上皮腫瘍、粘膜下腫瘍及び静脈構造の５つのカテゴリーに正しく検出及び分類された代表的な領域を示す図である。図１８Ａ－図１８Ｃは、全て実施形態４のＣＮＮによって正しく検出できなかった一人の患者の画像の例である。偽陽性画像中、内視鏡専門医が真の突出病変であると診断した画像の例である。実施形態５のＣＮＮシステム構築用のフローチャートの概略図である。実施形態５のＣＮＮによるＲＯＣ曲線の一例を示す図である。図２２Ａは実施形態５のＣＮＮシステムによって正しく分類された代表的な血液を含む画像であり、同じく図２２Ｂは正常粘膜画像を示す画像である。図２３ＡはＳＢＩによって血液成分を含むものとして正しく分類された画像であり、図２３Ｂは赤色領域推定表示機能（ＳＢＩ）によって正常粘膜として誤って分類された画像である。実施形態６のＣＮＮを適用する食道の表在性扁平上皮癌（ＳＣＣ）の深達度とその分類との関係を説明する概略断面図である。図２５Ａ－図２５Ｄは、それぞれ実施形態７のＣＮＮシステムによって正しく咽頭癌と分類された代表的な画像の例である。図２６Ａ－図２６Ｆは、それぞれ実施形態７のＣＮＮシステムによって擬陽性と分類された代表的な画像の例である。実施形態７のＣＮＮシステムによるＷＬＩ及びＮＢＩの感度及び陽性的中率を示すグラフである。図２８Ａ－図２８Ｄは、それぞれ実施形態７のＣＮＮシステムによって偽陰性と分類された画像の例である。実施形態８のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法のブロック図である。実施形態９の消化器官の内視鏡画像による疾患の診断支援システム、消化器官の内視鏡画像による診断支援プログラム、及び、コンピュータ読み取り可能な記録媒体についてのブロック図である。

以下、本発明に係る消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、Ｈ．ピロリ感染胃炎の場合及び大腸の部位別認識の場合を例にとって詳細に説明する。ただし、以下に示す実施形態は、本発明の技術思想を具体化するための例を示すものであって、本発明をこれらの場合に特定することを意図するものではない。すなわち、本発明は特許請求の範囲に含まれるその他の実施形態のものにも等しく適応し得るものである。また、本発明において、画像という用語には、静止画像だけでなく、動画も含まれる。

［実施形態１］
実施形態１では、本発明の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、Ｈ．ピロリ感染胃炎の場合に適用した例を説明する。発明者の一人が属する医院において、延べ３３人の内視鏡検査医が白色光による通常の倍率の内視鏡を用い、食道胃十二指腸内視鏡（以下、「ＥＧＤ」ということがある。）検査を行った。ＥＧＤの適応症は、様々な上腹部症状、胃の病気に対するバリウム検査の陽性結果、異常な血清ペプシノゲンのレベル、胃や十二指腸の既往症又はスクリーニングに関するプライマリケア医からの紹介であった。

標準的なＥＧＤ用内視鏡（ＥＶＩＳＧＩＦ－ＸＰ２９０Ｎ、ＧＩＦ－ＸＰ２６０、ＧＩＦ－ＸＰ２６０ＮＳ、ＧＩＦ－Ｎ２６０；オリンパスメディカルシステムズ社、東京）で白色光を用いて画像を撮影し、ＥＧＤを行った。得られた画像は通常の倍率の画像であり、拡大された画像は使用していない。

全ての患者は、Ｈ．ピロリ感染の有無の検出のための検査を受けた。その検査は、血液又は尿中の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原測定及び尿素呼気試験の少なくとも一つであった。そして、これらの検査のいずれかにおいて陽性反応を示した患者は、Ｈ．ピロリ陽性と分類された。Ｈ．ピロリ陽性と診断されなかった患者において、Ｈ．ピロリ除菌治療を受けた経験がなかった者はＨ．ピロリ陰性と分類された。また、過去にＨ．ピロリ除菌治療を受け、既に除菌に成功した患者はＨ．ピロリ除菌と分類された。図１に、得られた典型的な胃部内視鏡画像を示す。なお、図１ＡはＨ．ピロリ陽性と診断された画像の例であり、図１ＢはＨ．ピロリ陰性と診断された画像の例であり、図１ＣはＨ．ピロリ除菌後の画像の例である。

［データセットについて］
２０１５年１２月－２０１７年４月にかけて行われた５，２３６人のＥＧＤの画像を遡及的にレビューすることにより、ＣＮＮベースの診断システムの訓練及び検証に使用するデータセット（それぞれ「訓練用データセット」及び「検証用データセット」といい、両者纏めて「訓練／検証用データセット」という。また、訓練及び検証の両者を纏めて「訓練／検証」ということがある。）を用意した。胃癌、潰瘍、又は粘膜下腫瘍の存在又は病歴を有する患者のデータは、訓練／検証用データセットから除外した。Ｈ．ピロリ陽性、Ｈ．ピロリ陰性又はＨ．ピロリ除菌と診断された胃の画像は、胃内の食物残渣、出血及びハレーションによる不明瞭な画像を除外するために、内視鏡専門医によってさらにスクリーニングされた。また、評価対象となる内視鏡画像データセット（「テストデータセット」という。）も用意した。なお、この「訓練／検証用データ」が本発明の「第１の内視鏡画像」に対応し、「テストデータ」が本発明の「第２の内視鏡画像」に対応する。

表１に示したように、Ｈ．ピロリ陽性と判定された７４２人、Ｈ．ピロリ陰性と判定された３，４６９人及びＨ．ピロリ除菌と判定された８４５人の患者から得られた９８，５６４枚の画像を訓練用データセット用に調製した。９８，５６４枚の内視鏡画像を、０－３５９°の間でランダムに回転させ、周囲の黒い枠部分をトリミングして削除し、適宜に０．９－１．１倍のスケールで縮小ないし拡大し、画像数を増加させた。このような画像数の増加は、回転、拡大、縮小、画素数の変更、明暗部の抽出又は色調変化部位の抽出の少なくとも１つを含み、ツールによって自動的に行うことができる。なお、狭帯域画像などの強調された画像を除外し、通常の倍率を有する通常の白色光画像のみが含まれるようにしてもよい。次いで、胃の７箇所（噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞及び幽門、図２参照）にしたがって分類された画像を用いてＣＮＮシステムを構築した。

［検証用データセットの準備］
上述した訓練用データセットを用いて構築された実施形態１のＣＮＮシステムと内視鏡検査医との診断精度を評価するために、検証用データセットを準備した。発明者の一人が属する医院において、２０１７年５月から６月にかけて内視鏡検査を行った８７１人の患者の画像データのうち、Ｈ．ピロリの感染状況が不明である２２人及び胃切除術を受けた２人の画像データを除外し、最終的に８４７人の患者（それぞれ７０人のＨ．ピロリ陽性、４９３人のＨ．ピロリ陰性及び２８４人のＨ．ピロリ除菌）からの合計２３，６９９枚の画像を含んでいた（図３参照）。

これらの患者の人口統計学的特徴及び画像の特徴を表１に示した。

臨床診断は、糞便抗原検査によるものが２６４人（３１％）、尿中の抗Ｈ．ピロリＩｇＧレベルによるものが１２６人（１５％）であった。６３人（７％）の症例で複数の診断検査が行われた。訓練データセットと検証用データセットの間に重複はない。

［訓練／検証・アルゴリズム］
ＣＮＮベースの診断システムを構築するため、Szegedyらによって開発された最先端のディープラーニングニューラルネットワークの開発基盤として、バークレー・ビジョン・ラーニング・センター（ＢＶＬＣ）で最初に開発されたCaffeフレームワークを利用し、畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャとして２２層からなるGoogLeNet（https://arxiv.org/abs/1409.4842）を使用した。

本実施形態１で用いたＣＮＮシステムは、図４に示したように、バックプロパゲーション（Backpropagation：誤差逆伝播法）を用いて訓練されている。ＣＮＮの各層は、AdaDelta（https://arxiv.org/abs/1212.5701）を使用し、グローバル学習率が0.005で確率的最適化が行われている。全ての画像をGoogLeNetと互換性を持たせるために、各画像を２４４×２４４ピクセルにリサイズした。また、ImageNetを通して自然画像の特徴量を学んだ訓練済みのモデルを訓練開始時の初期値として使用した。ImageNet（http://www.image-net.org/）は、２０１７年当初で１，４００万点以上もの画像が収載されているデータベースである。この訓練手法は転移学習と呼ばれ、教師データが少ない場合でも有効であることが認められている。なお、実施形態１のＣＮＮシステムでは、ＣＰＵとしてINTEL社のCore i7-7700Kを使用し、グラフィックス処理装置用ＧＰＵとしてNVIDEA社のGeForce GTX 1070を使用した。

［評価アルゴリズム］
訓練／検証された実施形態１のＣＮＮシステムは、入力された画像に対してのＨ．ピロリ陽性、Ｈ．ピロリ陰性及びＨ．ピロリ除菌の診断結果として、０から１の間の確率値（ＰＳ）を出力する。Ｈ．ピロリ陽性の確率スコアをＰｐ、Ｈ．ピロリ陰性の確率スコアをＰｎ、Ｈ．ピロリ除菌の確率スコアをＰｅと表すと、Ｐｐ＋Ｐｎ＋Ｐｅ＝１となる。この３つの確率値の最大値をとるものが最も確からしい「ＣＮＮの診断」として選択された。

全ての患者情報は、患者の匿名性を維持するためのデータ分析の前に削除された。この研究は、日本医師会制度審査委員会（ID JMA-IIA00283）の承認を得て、ヘルシンキ宣言の下で実施された。

実施形態１で測定されたＣＮＮシステムによる診断結果と臨床検査による診断結果との関係を表２に纏めて示した。

全２３，６９９枚の画像の中で、ＣＮＮシステムは４１８枚の画像をＨ．ピロリ陽性と診断し、２３，０３４枚の画像をＨ．ピロリ陰性と診断し、さらに２４７枚の画像をＨ．ピロリ除菌と診断した。ＣＮＮシステムが全画像をＨ．ピロリ陰性と診断した６５５人中、臨床検査では４６６人（７１％）が同様にＨ．ピロリ陰性と診断されたが、２２人（３％）がＨ．ピロリ陽性と診断され、１６７人（２５％）がＨ．ピロリ除菌と診断された。

また、ＣＮＮシステムが少なくとも１画像を「Ｈ．ピロリ陽性又は除菌」と診断した１９２人中、臨床検査では４８人（２５％）がＨ．ピロリ陽性、１１７人（６１％）がＨ．ピロリ除菌、計１６５人（８６％）が同様に「Ｈ．ピロリ陽性又は除菌」と診断されたが、２７人（１４％）はＨ．ピロリ陰性と診断された。さらに、ＣＮＮシステムが少なくとも１画像についてＨ．ピロリ除菌と診断した１１９人中、臨床検査では８３人（７０％）が同様にＨ．ピロリ除菌と診断されたが、１６人（１３％）がＨ．ピロリ陰性と診断され、２０人（１７％）がＨ．ピロリ陽性と診断された。なお、ＣＮＮシステムが２３，６６９枚の画像を診断するのに掛かった時間は２６１秒である。

表２に示した結果から、以下のことが分かる。すなわち、ＣＮＮを用いた胃内視鏡画像によるＨ．ピロリ感染状態の診断に際しては、ＣＮＮ構築用の訓練／検証用データセットとして、臨床検査によりＨ．ピロリ陽性及び陰性と診断された画像だけでなく、Ｈ．ピロリ除菌と診断された画像も含めて構築することにより、短時間で「Ｈ．ピロリ陽性又は除菌」の症例を抽出するのに有用であることが分かる。さらに、このＣＮＮに基づくスクリーニングシステムは、臨床実践に導入するのに十分な感度と特異度を有しており、内視鏡検査時に撮影された画像（テストデータ）のスクリーニングに際する内視鏡専門医の作業負荷を著しく低減することができることを示している。

この実施形態１のＣＮＮによれば、疲労なしにＨ．ピロリ感染のスクリーニング時間をずっと短くすることができ、内視鏡検査後すぐに報告結果が得られるようになる。これにより、世界中で解決すべき大きな課題である内視鏡検査医のＨ．ピロリ感染診断の負担軽減と医療費の削減に貢献することができる。さらに、この実施形態１のＣＮＮによるＨ．ピロリ診断は、内視鏡検査時の画像を入力すれば直ぐに結果が得られるため、完全に「オンライン」でＨ．ピロリ診断補助を行うことができ、いわゆる「遠隔医療」として地域による医師の分布の不均一性の問題を解決することができるようになる。

我が国においては、特に高齢者ではＨ．ピロリ感染が多く、２０１３年２月にＨ．ピロリ感染による胃炎患者に対するＨ．ピロリ除菌療法に対して健康保険が適用されるようになり、実際にはこのＨ．ピロリ除菌療法はＨ．ピロリ感染患者を対象として広く採用されるようになっている。さらに、２０１６年に開始された胃癌の内視鏡画像によるマススクリーニングでは、大量の内視鏡画像が処理されており、より効率的な画像スクリーニング法が必要とされている。実施形態１で得られた結果は、大量の保存画像をこのＣＮＮを用いて、内視鏡検査者の評価なしでも、Ｈ．ピロリ感染のスクリーニングを大きく助けることができ、さらなる試験によりＨ．ピロリ感染の確認につながるとともに最終的にはＨ．ピロリ除菌に至る可能性があることを示唆している。しかも、Ｈ．ピロリ感染状況に対するＣＮＮの診断能力は、胃の各部位の分類を加えることにより向上するが、胃癌の診断能力もＨ．ピロリ感染状況の情報を追加することにより改善される。

なお、実施形態１では、ＣＮＮのアーキテクチャとしてGoogLeNetを使用した例を示したが、ＣＮＮのアーキテクチャは日々進化しており、最新のものを採用するとより良好な結果が得られる場合がある。また、ディープラーニングフレームワークとして同じくオープンソースのCaffeを使用したが、他にCNTK、TensorFlow、Theano、Torch、MXNet等を使用し得る。さらに、最適化手法としてAdamを使用したが、他に周知のＳＧＤ（Stochastic Gradient Descent：確率的勾配降下法）法、ＳＧＤに慣性項（Momentum）を付与したMomentumSGD法、AdaGrad法、AdaDelta法、NesterovAG法、RMSpropGraves法等を適宜に選択して使用し得る。

以上述べたように、実施形態１のＣＮＮシステムによる胃の内視鏡画像によるＨ．ピロリ感染の診断精度は、内視鏡検査医に匹敵した。したがって、実施形態１のＣＮＮシステムは、スクリーニング又はその他の理由により、得られた内視鏡画像からＨ．ピロリ感染患者を選別するのに役立つ。また、Ｈ．ピロリ除菌後の画像をＣＮＮシステムに学習させたので、Ｈ．ピロリが除菌できたかどうかの判定にも使える。

［診断支援システム］
実施形態１の診断支援システムとしてのＣＮＮを組み込んだコンピュータは、基本的に、内視鏡画像入力部と、記憶部（ハードディスクないし半導体メモリ）と、画像解析装置と、判定表示装置と、判定出力装置とを備えている。他に、直接内視鏡画像撮像装置を備えているものであってもよい。また、このコンピュータシステムは、内視鏡検査施設から離れて設置され、遠隔地から画像情報を得て中央診断支援システムとしたり、インターネット網を介したクラウド型コンピュータシステムとしても稼働させることができる。

このコンピュータは、内部の記憶部に、複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像を記憶する第１の記憶領域と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性又は陰性の確定診断結果を記憶する第２の記憶領域と、ＣＮＮプログラムを記憶する第３の記憶領域と、を備えることになる。この場合、複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像は数が多くてデータ量が大きくなること、ＣＮＮプログラムの作動時に大量のデータ処理が行われることから、並列処理とすることが好ましく、また、大容量の記憶部を有することが好ましい。

近年、ＣＰＵやＧＰＵの能力の向上が著しく、実施形態１で使用した診断支援システムとしてのＣＮＮプログラムを組み込んだコンピュータは、ある程度高性能な市販のパーソナルコンピュータを使用した場合であれば、Ｈ．ピロリ感染胃炎診断システムとしても、１時間に３０００症例以上を処理でき、１枚の画像については約０．２秒で処理することができる。そのため、内視鏡で撮影中の画像データを実施形態１で使用したＣＮＮプログラムを組み込んだコンピュータに与えることにより、リアルタイムでのＨ．ピロリ感染判定も可能となり、世界中や僻地から送信された胃内視鏡画像はもちろんのこと、たとえそれが動画であっても、遠隔で診断可能となる。特に、近年のコンピュータのＧＰＵは性能が非常に優れているので、実施形態１のＣＮＮプログラムを組み込むことにより、高速かつ高精度の画像処理が可能となる。

また、実施形態１の診断支援システムとしてのＣＮＮプログラムを組み込んだコンピュータの入力部に入力する被験者の消化器官の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像又はコンピュータ読み取り可能な記録媒体に記録された画像とすることができる。すなわち実施形態１の診断支援システムとしてのＣＮＮプログラムを組み込んだコンピュータは、短時間で入力された被験者の消化器官の内視鏡画像に対して消化器官の疾患陽性及び陰性のそれぞれの確率を出力することができるので、被験者の消化器官の内視鏡画像の入力形式によらず利用可能となる。

なお、通信ネットワークとしては、周知のインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等を利用可能である。また、通信ネットワークを構成する伝送媒体も周知のＩＥＥＥ１３９４シリアルバス、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線回線、ＡＤＳＬ回線等の有線、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１等の無線、携帯電話網、衛星回線、地上波デジタル網等の無線等を利用できる。また、コンピュータ読み取り可能な記録媒体としては、周知の磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク、ハードディスク等の磁気ディスク、コンパクトディスク－ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク－Ｒ等の光ディスクを含むディスク系、ＩＣカード、メモリカード、光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系等を用いることができる。

［実施形態２］
実施形態２では、本発明の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、大腸の部位別分類に適用した例を説明する。大腸の各部位は、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門からなる。なお、大腸の主要な解剖学的分類を図５に示した。実施形態２では、これらの部位別の画像を自動的に区別できるように、ＣＮＮシステムを訓練及び検証した。

発明者の一人が属する医院において、２０１７年１月から２０１７年１１月にかけて、全大腸内視鏡検査（ＣＳ）を受けた患者の臨床データを回顧的にレビューした。ＣＳを実施した理由は、腹痛、下痢、陽性糞便免疫化学検査、同一医院における過去のＣＳのフォローアップ、単なるスクリーニングなどであった。結腸・直腸の解剖学的部位を正確に特定するため、十分に空気が吹き込まれた、結腸・直腸の部位を特定できた正常な結腸・直腸画像のみを用いた。除外された画像は、結腸・直腸ポリープ、癌及び生検跡のようなものが大部分を占めており、重度の炎症又は出血を有するものも除外された。また、通常の倍率の白色光画像又は強調画像のみが含まれていた。

このＣＳ法で撮影された画像は、標準的な大腸内視鏡（ＥＶＩＳＬＵＣＥＲＡＥＬＩＴＥ，ＣＦＴＹＰＥＨ２６０ＡＬ／Ｉ，ＰＣＦＴＹＰＥＱ２６０ＡＩ，Ｑ２６０ＡＺＩ，Ｈ２９０Ｉ，及びＨ２９０ＺＩ，オリンパスメディカルシステムズ、東京、日本）を用いて撮影された。回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸及び肛門の画像をＣＳ中に撮影し、それぞれのＣＳ中に平均２４枚の画像を得た。

なお、ＣＮＮシステムを訓練／検証するために、アルゴリズムの開発に先立って画像に付随する全患者情報を匿名化した。実施形態２のＣＮＮに関与した内視鏡医のいずれも、識別可能な患者情報にアクセスすることができないようにした。このＣＮＮシステムの訓練／検証は、匿名化されたデータを使用した後ろ向き調査であったため、患者の同意書についてはオプトアウトアプローチを採用した。この研究は、日本医師会倫理審査委員会（ID：JMA-IIA00283）の承認を得た。

実施形態２のＣＮＮシステムのフローチャートの概要を図６に示す。ここではＣＮＮシステムを終末回腸、盲腸、上行及び横行結腸、下行及びＳ字結腸、直腸、肛門及び分類不能の７つのカテゴリーに訓練／検証するために、内視鏡専門医によって画像を分類した。訓練／検証のための全ての画像は、ＣＮＮシステムを訓練／検証する前に少なくとも２人の内視鏡専門医によって分類をチェックされた。訓練／検証用データセットは、終末回腸、盲腸、上行及び横行結腸、下行及びＳ字結腸、直腸及び肛門の６つのカテゴリーに分類された。訓練／検証用データセットには分類不能な画像は含まれていなかった。

従来、結腸・直腸ポリープに対するＡＩシステムを構築するために必要な画像データは５，０００枚以下の画像で訓練することにより行われていた。そこで、十分なデータ量を確保するため、約１０，０００枚の画像を基に実施形態２のＣＮＮシステムを構築することを目指した。２０１７年１月から２０１７年３月までに収集された４０９人の画像９９９５枚を訓練用画像として用意し、２０１７年１１月に取得した１１８人の画像５１２１枚を検証用画像セットに用いた（表３参照）。両方の画像セットの各解剖学的部位の画像数を表４に示した。

このようにして得られた実施形態２の訓練／検証用データセットは、GoogLeNetと互換性を持たせるために、全ての画像のサイズが２４４×２４４ピクセルにリサイズされている。そして、実施形態２で用いたＣＮＮシステムは、実施形態１のＣＮＮシステムと同様のものを用いて訓練した。

実施形態２のＣＮＮシステムは、訓練／検証用の画像について、各画像の部位毎の確率スコア（ＰＳ）を出力する。確率スコアは０－１（０－１００％）の範囲であり、画像が属する大腸の部位の確率を表している。ＣＮＮシステムは、各画像を７つの部位毎（終末回腸、盲腸、上行及び横行結腸、下行及びＳ字結腸、直腸、肛門及び分類不能）の確率スコアを算出する。確率スコアの最高値を得た解剖学的部位が画像の部位として割り当てられる。なお、大腸の部位は、それぞれの組織の類似性から、盲腸、上行結腸及び横行結腸を纏めて右側結腸と、下行結腸、Ｓ字結腸及び直腸を左側結腸とし、終末回腸、右側結腸、左側結腸及び肛門の４部位に分類することもある。

例えば、図７の左側の大腸内視鏡画像は上行－横行結腸画像の例であるが、ＣＮＮシステムは、上行－横行結腸の確率スコアが９５％と判断したが、下行－Ｓ字結腸の確率スコアが５％であるとも判断した例を示している。結果として、ＣＮＮシステムは図７の左側の大腸内視鏡画像を上行－横行結腸であると割り当てている。

実施形態２のＣＮＮシステムによる主要な目的は、大腸内視鏡画像のＣＮＮシステムによる解剖学的分類の感度及び特異度を求めることである。受信機動作特性（ＲＯＣ）曲線を各部位について描き、GraphPad Prism 7（GraphPad software、Inc、California、U.S.A）によりＲＯＣ曲線の下側部分の面積（ＡＵＣ）を算出した。実施形態２のＣＮＮシステムによって作成された大腸の部位別のＲＯＣ曲線を図８に示した。なお、図８Ａ－図８Ｆは、それぞれ順に終末回腸、盲腸、上行結腸、下行結腸、Ｓ字結腸、直腸及び肛門のＲＯＣ曲線を示す図である。

実施形態２で構築されたＣＮＮシステムは、検証用データセットの画像の６６．６％（３，４１０枚／５，１２１枚）を正しく認識した。表５は、ＣＮＮシステムが画像に提割り当てた確率スコアによる正しい認識率を示す。

ＣＮＮシステムは、確率スコアが９９％を超える画像については、全画像（５，１２１枚）中１０％（５０７枚）を割り当てたが、そのうち４６５枚（正しく分類されたものの１４％）が臨床診断により正しく分類されたものであり、精度は９１．７％であった。

同じく、ＣＮＮシステムは、確率スコアが９０％を越え、９９％以下の画像については、全画像中２５％（１，２９６枚）を割り当てたが、そのうち１，０３９枚（正しく分類されたものの３０％）が臨床診断により正しく分類されたものであり、精度は８０．２％であった。同じく、ＣＮＮシステムは、確率スコアが７０％を超え、９０％以下の画像については、全画像中３０％（１，５４９枚）を割り当てたが、そのうち１，００９枚（正しく分類されたものの３０％）が臨床診断により正しく分類されたものであり、精度は６５．１％であった。

同じく、ＣＮＮシステムは、確率スコアが５０％を超え、７０％以下の画像については、全画像中２７％（１，３９７枚）を割り当てたが、そのうち７６１枚（正しく分類されたものの２２％）が臨床診断により正しく分類されたものであり、精度は５４．５％であった。さらに、ＣＮＮシステムは、確率スコアが５０％以下の画像については、全画像中７％（３７２枚）を割り当てたが、そのうち１３６枚（正しく分類されたものの４％）が臨床診断により正しく分類されたものであり、精度は３６．６％であった。

表６は、臨床診断により分類された解剖学的部位毎のＣＮＮシステムの出力の分布を示す。ここでは、「分類不能」に分類された画像はなかった。

実施形態２で構築されたＣＮＮシステムは、肛門の画像９１．４％の最も高い感度で認識し、次いで、下行結腸及びＳ字結腸を９０．０％の次に高い感度で、終末回腸を６９．４％の感度で、上行結腸及び横行結腸を５１．１％の感度で、さらに盲腸を４９．８％の感度で認識したが、直腸は２３．３％の最も低い感度でしか認識できなかった。また、それぞれの解剖学的部位に対する特異度は、下行結腸及びS状結腸の部位（６０．９％）を除いて９０％以上であった。なお、実施形態２で構築したＣＮＮシステムは、各解剖学的部位について０．８を超えるＡＵＣ値を有する画像を認識した。

表７は、盲腸、上行結腸及び横行結腸を「右側結腸」と表し、下行結腸、Ｓ字結腸及び直腸を「左側結腸」と表した場合の、実施形態２で構築したＣＮＮシステムの終末回腸、右側結腸、左側結腸及び肛門の出力分布を示す。左側結腸は、９１．２％の高い感度及び６３．％の比較的低い特異性を示したが、回腸末端、右側結腸及び肛門は逆の結果を示した。

次に、各解剖学的部位について、特定の確率スコア毎、すなわち、７０％≧ＰＳ＞６０％、８０％≧ＰＳ>７０％、９０％≧ＰＳ>８０％及びＰＳ＞９０％の４区分に従って、感度及び特異度を計算した。計算結果を表８に示した。

表８に示した結果によると、直腸を除くすべての部位に関し、全ての確率スコアにおいて、確率スコアが高いほど感度及び特異度が高くなっていた。しかし、直腸では、確率スコアが高い程特異度は高くなっていたが、感度は確率スコアの傾向とは一致していなかった。

実施形態２のＣＮＮシステムによって誤って認識された１，７１１枚（全画像数－正常判定数＝５，１２１－３，４１０＝１，７１１、表５参照）の画像をレビューした。実施形態２のＣＮＮシステムは、全画像の１７．５％（２９９枚／１，７１１枚）を間違って認識し、確率スコアは０．９以上であった。図９及び図１０に、実施形態２のＣＮＮシステムによって間違って認識された画像の典型的な例を示す。図９Ａは肛門と正しく認識された内視鏡画像の例であり、図９Ｂは肛門として間違って認識された終末回腸の画像を示す。図９Ｂの内腔の輪郭は肛門の輪郭に類似していた。図１０Ａは盲腸と正しく認識された内視鏡画像の例であり、図１０Ｂは終末回腸と誤って認識された盲腸の画像の例である。図１０Ａには盲腸の特徴の１つとして虫垂の穴が見えるが、図１０Ｂでは終末回腸として間違って認識された。

以上述べたように、実施形態２では４０９人の９９９５枚の大腸内視鏡画像に基づいてＣＮＮシステムを構築した。このＣＮＮシステムは、大規模な独立した検証用データセットを用いて解剖学的部位を識別したところ、臨床的に有用な性能を示した。このＣＮＮシステムは、６０％以上の精度で結腸の画像を認識することができた。したがって、このＣＮＮシステムは、近い将来の大腸内視鏡検査用のＡＩシステムの開発の基礎となるであろう。

結腸疾患のためのＡＩシステムを開発するためには、画像の効率的な解剖学的部位の認識能力が第一の重要なステップである。従来、結腸ポリープの認識のためのＡＩシステムが知られていたが、感度は７９％－９８．７％の範囲であり、特異度は７４．１％－９８．５％の範囲であった。しかし、従来のシステムは、ポリープの解剖学的部位を認識する能力を有さなかった。ポリープ又は大腸癌の出現頻度は、結腸の解剖学的部位によって異なることはよく知られている。実施形態２のＣＮＮシステムがその解剖学的部位に基づいて結腸の病変を検出する感度を変えることができれば、より効果的なＡＩシステムを開発することができる。

実施形態２で構築されたＣＮＮシステムでは、精度は確率スコアの値によって異なった。一般に、高い確率スコアを有する画像が高い精度で認識されるので、ＣＮＮシステムは、高い確率スコアを有する画像のみに限定することにより、より良好に機能することができる。臨床的に有用な応用のためには、認識結果を確実にする確率スコアの適切な値が必要である。

実施形態２で構築されたＣＮＮシステムの結果は、胃腸画像を分類できるＣＮＮシステムを構築した発明者等の以前の報告と比較すると、良好ではなかった。従来の胃腸の解剖学的部位を認識するための感度及び特異度は、喉頭で９３．９％及び１００％、食道で９５．８％及び９９．７％、胃で９８．９％及び９３．０％、十二指腸で８７．０％及び９９．２％であった。

しかし、臨床医にとってさえ、大腸内視鏡画像の解剖学的部位を、胃腸内視鏡画像の解剖学的部位と同様に正確に認識することは、より困難である。例えば、臨床医は上行－横行結腸の画像と下行－Ｓ字結腸の画像とを区別できないことがある。特に、各部位間にマージンにある画像は認識しにくい。さらに、臨床医は、通常、画像の連続的な順序又は臨床現場での以前の画像又は後の画像との関係を考慮することによって、大腸内視鏡の画像がどこの部分であるかを認識することができる。したがって、ＣＮＮシステムの単一画像に基づく６６％の精度は、前画像と後画像との関係を統合するとより良い性能が達成できるので、過小評価することはできない。

実施形態２で構築したＣＮＮシステムの感度及び特異性は、解剖学的部位によって異なる。下行結腸－Ｓ字結腸の部位は、９０％以上の高い感度を有したが、特異性は６９．９％と最も低かった。対照的に、回腸末端、盲腸、上行結腸―横行結腸及び直腸では高い特異性を有していたが、感度は２３．３－６９．４％と低感度であった。また、実施形態２のＣＮＮシステムは、９０％以上の高い感度と特異度で肛門を認識した。興味深いことに、高い確率スコアを有する画像の中から算出した場合、直腸の認識感度は低下した。

実施形態２のＣＮＮシステムでは、直腸画像に対しては確実に正しく出力されず、直腸画像が下行－Ｓ状結腸として認識された。直腸が低感度で認識された理由は、特徴的な部分がないためであろう。しかし、実施形態２のＣＮＮシステムは、終末回腸及び盲腸では、回盲弁、虫垂口などの特徴的な部分を有していたが、認識感度は比較的低かった。このような結果が得られた理由は、実施形態２のＣＮＮシステムが各部位に属するそのような特徴的な部分を認識できなかったことによって説明することができる。その理由は、実施形態２のＣＮＮシステムは、画像全体の構造のみに基づいて画像を認識することができ、ＣＮＮシステムに画像内の各部位に基づく特徴部分をそれぞれ教示することなく、全画像を各部位に分類するだけであるからである。画像の典型的な部分を実施形態２のＣＮＮシステムに教えることができれば、それらの部位の認識精度は高くなる。

すなわち、内視鏡を部位の表面に近づけたり、内腔が空気に不十分に吹き込まれたりすると、内腔の形状を捕捉することが困難になる。食道・胃・十二指腸の画像では、食道、胃、及び十二指腸の上皮が互いに異なるため、表面の微細構造に基づいて画像を認識する必要がある。例えば、胃の中では、上皮は解剖学的部位によって異なる。例えば、幽門腺は胃幽門に分布し、胃底腺は他の領域に存在している。

一方、盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、及び直腸の微細構造パターンはほぼ同じである。したがって、表面微細構造をＣＮＮシステムに教えて結腸・直腸の画像を区別するようにすることは非効率的である。ただ、実施形態２のＣＮＮシステムにおいて、終末回腸又は肛門を認識するためには、表面微細構造を教えることは有用である。

さらに、実施形態２のＣＮＮシステムにおいて、画像の正確な位置決め能力を高めるために、大腸内視鏡検査とコンピュータ断層撮影や透視画像などの３次元情報を表示できる他のＸ線ＣＴ（Computed Tomography：コンピュータ断層撮影装置）、ＵＳＣＴ（Ultrasonic Computer Tomography：超音波コンピュータ断層撮影装置）、ＭＲＩ（Magnetic Resonance Imaging：磁気共鳴画像診断装置）など、医療用画像における撮像手段（modality：モダリティ）とを組み合わせることができる。訓練用データセットにこれらのモダリティがある画像を使用できる場合、ＣＮＮシステムは大腸内視鏡画像の位置をより正確に認識することができる。

結腸の解剖学的部位を自動的に認識する能力は、診断と治療の両方に大きな影響を与える。第１に、結腸疾患がどこにあるかを認識する。例えば、潰瘍性大腸炎の治療のため、大腸炎の存在部位に基づいて治療又は適切な種類の薬剤を投与することができる。また、結腸・直腸癌に関しては、癌が存在する解剖学的部位は手術のための重要な情報となる。

第２に、結腸の解剖学的部位に関する情報は、大腸内視鏡の挿入と排出の両方の間の正確な検査に有用である。特に訓練中の研修医ないし初診医にとって内視鏡スコープの挿入を完了させるための最も困難な要因の１つは、内視鏡スコープがどこに挿入されているかを認識することである。ＣＮＮシステムによって内視鏡スコープが客観的にどこにあるかを認識することができるようにすると、訓練中の研修医ないし初診医が大腸内視鏡を挿入するのに役立つ。解剖学的部位を認識する機能がビデオ画像に採用された場合、大腸内視鏡の挿入を完了するための時間及び困難性が低減される。

［実施形態３］
実施形態３では、ワイヤレスカプセル内視鏡（ＷＣＥ）画像による小腸のびらん／潰瘍に関する疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について説明する。なお、実施形態３では、びらんと潰瘍との区別が困難であったので、両者合わせて「びらん／潰瘍」と表してある。すなわち、この明細書における「びらん／潰瘍」という用語は、「びらん」、「潰瘍」、「びらん及び潰瘍」の意味だけでなく、「びらん及び潰瘍のどちらかは明確でないが、少なくとも正常粘膜ではない」ものも含む意味で用いられている。

［データセットについて］
発明者の一人が属する医院において、２００９年１０月から２０１４年１２月までの間にＷＣＥを受けた１１５人の患者から、訓練用データセットとして小腸のびらん／潰瘍の画像を５３６０枚収集した。また、実施形態３のＣＮＮシステムの検証のために、２０１５年１月から２０１８年１月までに６５人の患者からの１０，４４０枚の独立した画像を準備し、検証用データセットとして用いた。これらの検証用データセットのうち、４５人の患者の４４０画像は小腸のびらん／潰瘍を有しており、２０人の患者の１０，０００画像は小腸の正常粘膜であると３人の内視鏡専門医により診断されている。ＷＣＥとしては、Pillcam（登録商標）ＳＢ２又はＳＢ３ＷＣＥ装置（Given Imaging, Yoqneam, Israel）を用いて実施した。

なお、実施形態３のＣＮＮシステムを訓練／検証するために、アルゴリズムの開発に先立って画像に付随する全患者情報を匿名化した。実施形態３のＣＮＮシステムに関与した内視鏡医のいずれも、識別可能な患者情報にアクセスすることができないようにした。このＣＮＮシステムの訓練／検証は、匿名化されたデータを使用した後ろ向き調査であったため、患者の同意書についてはオプトアウトアプローチを採用した。この研究は、東京大学倫理委員会（Ｎｏ．１１９３１）及び日本医師会（ＩＤ：ＪＭＡ－ＩＩＡ００２８３）の承認を得た。実施形態３のＣＮＮシステムのフローチャートの概要を図１０に示す。

ＷＣＥの適応症は、原因不明の消化管出血（ＯＧＩＢ：Obscure Gastrointestinal Bleeding）が主であり、他に他の医療機器を用いて異常小腸画像が観察された例、腹痛、過去の小腸症例のフォローアップ、下痢スクリーニングに関するプライマリケア医からの紹介等であった。病因としては、非ステロイド性抗炎症が多く、それに次いで炎症性腸疾患、小腸悪性腫瘍、吻合部潰瘍が主であったが、病因を確定できなかったものも多かった。ＣＮＮシステムの訓練用及び検証用に用いられたデータデットの患者特性を表９に示した。

［訓練／検証・アルゴリズム］
実施形態３のＣＮＮシステムを構築するために、アルゴリズムを変更することなく、Single Shot MultiBox Detector（ＳＳＤ、https://arxiv.org/abs/1512.02325）と呼ばれるディープニューラルネットワークアーキテクチャを利用した。まず、２人の内視鏡専門医によって、訓練データセットの画像内のびらん／潰瘍のすべての領域に、手動で長方形の境界ボックスを有する注釈が付けられた。これらの画像は、バークレー・ビジョン・ラーニング・センター（Berkeley Vision and Learning Center）で最初に開発されたCaffeフレームワークを通じてＳＳＤアーキテクチャに組み込まれた。Caffeフレームワークは、最初に開発された、最も一般的で広く使用されているフレームワークの１つである。

実施形態３のＣＮＮシステムは、境界ボックスの内側の領域がびらん／潰瘍領域であり、他の領域が背景であると訓練された。そして、実施形態３のＣＮＮシステムは、それ自体で境界ボックス領域の特定の特徴を抽出し、訓練データセットを介してびらん／潰瘍の特徴を「学習」した。ＣＮＮのすべての層は、グローバル学習率０．０００１で確率的最適化が行われている。各画像は３００×３００ピクセルにリサイズした。それに応じて境界ボックスのサイズも変更された。これらの値は、すべてのデータがＳＳＤと互換性があることを保証するために、試行錯誤によって設定された。ＣＰＵとしてINTEL社のCore i7-7700Kを使用し、グラフィックス処理装置用ＧＰＵとしてNVIDEA社のGeForce GTX 1070を使用した。

［結果の測定及び統計］
まず、検証用データセットの画像内のびらん／潰瘍の全てに、手作業で長方形の境界ボックス（以下、「真のボックス」という。）を太線で付与した。また、実施形態３の訓練されたＣＮＮシステムは、検証用データセットセットの画像内の検出したびらん／潰瘍の領域に長方形の境界ボックス（以下、「ＣＮＮボックス」という。）を細線で付与するとともに、びらん／潰瘍の確率スコア（範囲は０－１）を出力した。確率スコアが高いほど、実施形態３の訓練されたＣＮＮシステムはその領域にびらん／潰瘍が含まれている確率が高いと判断していることを示している。

発明者等は、各画像がびらん／潰瘍を含むか否かについて、実施形態３のＣＮＮシステムが判別する能力を評価した。この評価を実行するために、以下の定義を使用した。
１）ＣＮＮボックスが真のボックスに８０％以上重なったときは正解とした。
２）複数のＣＮＮボックスが１つの画像内に存在し、それらのボックスの１つでもびらん／潰瘍を正しく検出した場合、画像が正しく識別されたと結論付けた。
なお、このようにして正解と判断されたＷＣＥ内視鏡画像は、その情報を画像に付与して撮影された画像のダブルチェックの現場で診断補助として活用したり、ＷＣＥ内視鏡検査時に動画でリアルタイムで情報を表示して診断補助として活用される。

また、確率スコアのカットオフ値を変えることによって、受信機動作特性（ＲＯＣ）曲線をプロットし、実施形態３の訓練されたＣＮＮシステムによるびらん／潰瘍識別の評価のために曲線下面積（ＡＵＣ）を計算した。Youdenインデックスに従ったスコアを含む確率スコアに対する様々なカットオフ値を用いて、実施形態３のＣＮＮシステムのびらん／潰瘍を検出する能力である、感度、特異度及び精度を計算した。なお、Youdenインデックスは、感度と特異度で計算された最適なカットオフ値を決定するための標準的な方法の１つであり、「感度＋特異度－１」の数値が最大となるようなカットオフ値を求めるものである。ここではＳＴＡＴＡソフトウェア（バージョン１３；Stata Corp、College Station、TX、USA）を用いてデータを統計的に分析した。

検証用データセットは、６５人の患者（男性＝６２％、平均年齢＝５７歳、標準偏差（ＳＤ）＝１９歳）からの１０，４４０画像からなっていた。実施形態３の訓練されたＣＮＮシステムは、これらの画像を評価するのに２３３秒を要した。これは、毎秒４４．８画像の速度に等しい。びらん／潰瘍を検出した実施形態３の訓練されたＣＮＮシステムのＡＵＣは０．９６０（９５％信頼区間［ＣＩ］、０．９５０－０．９６９；図１１参照）であった。

Youdenインデックスによれば、確率スコアの最適カットオフ値は０．４８１であり、確率スコアが０．４８１の領域がＣＮＮによってびらん／潰瘍として認識された。そのカットオフ値では、ＣＮＮの感度、特異度及び精度は、８８．２％（９５％ＣＩ（信頼区間）、８４．８－９１．０％）、９０．９％（９５％ＣＩ、９０．３－９１．４％）及び９０．８％（９５％ＣＩ、９０．２－９１．３％）であった（表１０参照）。なお、表１０は、確率スコアのカットオフ値を０．２から０．９まで０．１ずつ増加させて計算した、それぞれの感度、特異度及び精度を示している。

このようにして、確率スコアのカットオフ値＝０．４８１として実施形態３の訓練されたＣＮＮシステムにより分類されたびらん／潰瘍の分類結果と内視鏡専門医によるびらん／潰瘍の分類結果との関係を表１１に纏めて示した。

また、図１２Ａ－（図１２ＤはそれぞれＣＮＮシステムによって正しく検出された代表的な領域を示し、図１３Ａ－図１３ＨはそれぞれＣＮＮシステムによって誤分類された典型的な領域を示している。偽陰性画像は、表１２に示されるように、境界不明瞭（図１３Ａ参照）、周囲の正常粘膜と類似の色、小さすぎ、全体の観察不可（側方性（患部が側面にあるので見え難い）ないし部分性（部分的にしか見えない））（図１３Ｂ参照）の４つの原因に分類された。

一方、偽陽性画像は、表１３に示したように、正常粘膜、泡（図１３Ｃ）、破片（図１３Ｄ）、血管拡張（図１３Ｅ）、真のびらん（図１３Ｆ－図１３Ｈ）の５つの原因に分類された。

以上述べたように、実施形態３の訓練されたＣＮＮシステムによれば、ＷＣＥの小腸像におけるびらん及び潰瘍の自動検出のためのＣＮＮベースのプログラムが構築され、９０．８％の高い精度（ＡＵＣ、０．９６０）の独立した試験画像におけるびらん／潰瘍を検出できることが明らかにされた。

［実施形態４］
実施形態４では、ワイヤレスカプセル内視鏡（ＷＣＥ）画像による小腸の突出病変に関する疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について説明する。なお、突出病変との形態学的特徴は、ポリープ、結節、腫瘤／腫瘍から静脈構造までさまざまであり、これらの病変の病因には、神経内分泌腫瘍、腺癌、家族性腺腫性ポリポーシス、プーツ－ジェガーズ(Peutz-Jeghers)症候群、濾胞性リンパ腫及び胃腸間質腫瘍が含まれまる。これらの病変には早期診断と治療が必要であるため、ＷＣＥ検査の見落としを避ける必要がある。

［データセットについて］
発明者が属する複数の医院において、２００９年１０月から２０１８年５月まで、ＷＣＥを受けた２９２人の患者から、訓練用データセットとして突出病変の画像を３０，５８４枚収集した。また、ＣＮＮのトレーニングに使用される画像とは無関係に、突出病変のない１０，０００枚の画像と、突出病変のある７，５０７枚の画像を含む、９３人の患者からの合計１７，５０７枚の画像を検証に使用した。突出病変は、ＣＥＳＴ分類の定義（非特許文献１３参照）に基づいて、ポリープ、結節、上皮腫瘍、粘膜下腫瘍、及び静脈構造の５つのカテゴリーに形態学的に分類した。ただし、ＣＥＳＴ分類の定義における腫瘤／腫瘍病変は、上皮腫瘍と粘膜下腫瘍とに分けて分類した。

［訓練／検証・アルゴリズム］
実施形態４のＣＮＮシステムのフローチャートの概要を図１５に示した。実施形態４のＣＮＮシステムでは、実施形態３の場合と同様のＳＳＤディープニューラルネットワークアーキテクチャ及びCaffeフレームワークを利用した。まず、６人の内視鏡専門医によって、訓練データセットの画像内の突出病変の全ての領域に、手動で長方形の境界ボックスを有する注釈が付けられた。注釈はそれぞれの内視鏡専門医により個別に実行され、コンセンサスは後で決定された。これらの画像はCaffeフレームワークを通じてＳＳＤアーキテクチャに組み込まれた。

実施形態４のＣＮＮシステムは、境界ボックスの内側の突出病変であり、他の領域が背景であると訓練された。そして、実施形態４のＣＮＮシステムは、それ自体で境界ボックス領域の特定の特徴を抽出し、訓練データセットを介して突出病変の特徴を「学習」した。ＣＮＮの全ての層は、グローバル学習率０．０００１で確率的最適化が行われている。各画像は３００×３００ピクセルにリサイズした。それに応じて境界ボックスのサイズも変更された。これらの値は、全てのデータがＳＳＤと互換性があることを保証するために、試行錯誤によって設定された。ＣＰＵとしてINTEL社のCore i7-7700Kを使用し、グラフィックス処理装置用ＧＰＵとしてNVIDEA社のGeForce GTX 1070を使用した。なお、ＷＣＥとしては、実施形態３の場合と同様のPillcam ＳＢ２又はＳＢ３ＷＣＥ装を用いて実施した。データは、ＳＴＡＴＡソフトウェア（バージョン１３；Stata Corp、College Station、TX、USA）を使用して分析された。

なお、実施形態４のＣＮＮシステムを訓練／検証するために、アルゴリズムの開発に先立って画像に付随する全患者情報を匿名化した。実施形態４のＣＮＮシステムに関与した内視鏡医のいずれも、識別可能な患者情報にアクセスすることができないようにした。このＣＮＮシステムの訓練／検証は、匿名化されたデータを使用した後ろ向き調査であったため、患者の同意書についてはオプトアウトアプローチを採用した。この研究は、日本医師会倫理委員会（ID:JMA-IIA00283）、仙台厚生病院（No.30-5）、東京大学病院（No.11931）、広島大学病院（No.E-1246）の承認を得た。

［結果の測定及び統計］
まず、検証用データセットの画像内の突出病変の領域の全てに、手作業で長方形の境界ボックス（以下、「真のボックス」という。）を太線で付与した。また、実施形態４の訓練されたＣＮＮシステムは、検証用データセットセットの画像内の検出した突出病変の領域に長方形の境界ボックス（以下、「ＣＮＮボックス」という。）を細線で付与するとともに、突出病変の領域の確率スコア（ＰＳ：範囲は０－１）を出力した。確率スコアが高いほど、実施形態４の訓練されたＣＮＮシステムはその領域に突出病変が含まれている確率が高いと判断していることを示している。

発明者等は、実施形態４のＣＮＮシステムが各画像が突出病変を含むか否かについて判別する能力を、各画像の確率スコアの降順でＣＮＮボックスを評価した。ＣＮＮボックス、突出病変の確率スコア、及び突出病変のカテゴリーは、ＣＮＮボックスが突出病変を明確に囲んでいたときはＣＮＮの結果として決定された。

ＣＮＮボックスが多数描かれているために視覚的に判断することが困難であった場合、ＣＮＮボックスと真のボックスのオーバーラップが０．０５Intersection over Unions (ＩｏＵ)と等しいかそれよりも大きい場合は、ＣＮＮの結論として決定された。なお、ＩｏＵは、オブジェクト検出器の精度を測定する評価方法であり、２つのボックスの重複領域を２つのボックスの結合領域で割ることによって計算される。
ＩｏＵ＝（オーバーラップ領域）／（両者合わせた領域）
ＣＮＮボックスが上記のルールに適用されなかった場合、確率スコアが次に低いＣＮＮボックスが順番に評価された。

複数の真のボックスが１つの画像に表示されたときに、ＣＮＮボックスの１つが真のボックスと重なる場合、そのＣＮＮボックスはＣＮＮの結果であると決定された。突出病変のない画像の場合、確率スコアが最大のＣＮＮボックスがＣＮＮの結果として決定された。３人の内視鏡専門医が全ての画像に対してこれらのタスクを実行した。

確率スコアのカットオフ値を変化させることで受信機動作特性（ＲＯＣ）曲線をプロットし、実施形態４の訓練されたＣＮＮシステムによる突出病変識別の程度を評価するために曲線下面積（ＡＵＣ）を計算した（図１６参照）。そして、実施形態３の場合と同様にして、Youdenインデックスに従ったスコアを含む確率スコアに対する様々なカットオフ値を用いて、実施形態４のＣＮＮシステムの突出病変を検出する能力である、感度、特異度及び精度を計算した。

実施形態４における二次的な結果は、ＣＮＮによる突出病変の５つのカテゴリーへの分類、及び個々の患者分析における突出病変の検出である。分類の精度については、ＣＮＮと内視鏡専門医との分類の一致率を調べた。突出病変の検出率に関する個々の患者分析では、ＣＮＮが同じ患者の複数の画像で少なくとも１つの突出病変画像を検出した場合、ＣＮＮによる検出は正しいと定義された。

さらに、ＣＮＮプロセスを行った後、検証データトセット内の１０，０００枚の臨床的に正常とされた画像を再評価した。正常画像とされた画像中、幾つかの真の突出病変であると思われるＣＮＮボックスが抽出された。この病変は医師によって見落とされている可能性がある。これは、３人の内視鏡専門医のコンセンサスに基づいている。

また、実施形態４のＣＮＮシステムの訓練用及び検証用に用いられたデータデットの患者特性及び訓練用データセットと検証用データセットの詳細を表１４に示した。検証用データセットは、７３人の患者（男性、６５．８％、平均年齢、６０．１歳、標準偏差、１８．７歳）からの突出病変を含む７，５０７枚の画像と、２０人の患者（男性、６０．０％、平均年齢、５１．９歳、標準偏差、１１．４歳）からの病変のない１０，０００枚の画像で構成されていた。

実施形態４で構築されたＣＮＮは、５３０．４６２秒で全画像の分析を終え、１画像あたりの平均速度は０．０３０３秒であった。突出病変の検出に使用された実施形態４のＣＮＮのＡＵＣは０．９１１（９５％信頼区間（Ｃｌ）、０．９０６９－０．９１５５）であった（図１６参照）。

Youdenインデックスによると、確率スコアの最適なカットオフ値は０．３１７であった。したがって、確率スコアが０．３１７以上の領域がＣＮＮによって検出された突出病変として認識された。そのカットオフ値を使用すると、ＣＮＮの感度と特異度はそれぞれ９０．７％（９５％ＣＩ、９０．０％－９１．４％）と７９．８％（９５％ＣＩ、７９．０％－８０．６％）であった（表１５）。

突出病変のカテゴリーのサブグループ分析では、ＣＮＮの感度は、ポリープ、結節、上皮腫瘍、粘膜下腫瘍、及び静脈構造の検出について８６．５％、９２．０％、９５．８％、７７．０％、及び９４．４％であった。図１７Ａ－図１７Ｅは、それぞれ実施形態４のＣＮＮによってポリープ、結節、上皮腫瘍、粘膜下腫瘍及び静脈構造の５つのカテゴリーに正しく検出及び分類された代表的な領域を示す。

個々の患者の分析では、突出病変の検出率は９８．６％（７２／７３）であった。突出病変のカテゴリー別に、ポリープ、結節、上皮腫瘍、粘膜下腫瘍、及び静脈構造の患者あたりの検出率は、９６．７％（２９／３０）、１００％（１４／１４）、１００％（１４／１４）、１００％（１１／１１）、及び１００％（４／４）であった。ただし、図１８Ａ―ズ１８Ｃに示した１人の患者のポリープの３つの画像は、全て実施形態４ってＣＮＮによって検出できなかった。この画像では、ＣＮＮボックスの全ての確率スコアは０．３１７未満であったため、ＣＮＮによって突出病変としては検出されなかった。また、突出病変を持たないように見えるが、ＣＮＮが確率スコア０．３１７以上のＣＮＮボックスを提供した偽陽性画像（ｎ＝２，０１９）中、２つが内視鏡専門医によって真の突出病変であることが示唆された（図１９）。

ＣＮＮ及び専門の内視鏡医による突出病変のラベル付けを表１６に示した。ポリープ、結節、上皮腫瘍、粘膜下腫瘍、及び静脈構造に対するＣＮＮ及び内視鏡医のラベル付けの一致率は４２．０％、８３．０％、８２．２％、４４．５％及び４８．０％であった。

以上述べたように、実施形態４におけるＣＮＮでは、ＣＥＳＴに基づくカテゴリーを適用し、ポリープ、結節、上皮腫瘍、粘膜下腫瘍、静脈構造などのカテゴリー間の感度の違いもあるが、高感度で、良好な検出率で検出及び分類できることが明らかにされた。

［実施形態５］
ワイヤレスカプセル内視鏡（以下、単に「ＷＣＥ」という。）は、小腸疾患を調査するための不可欠なツールとなっており、主要な適応症は明らかな出血源が見当たらない原因不明の消化管出血（ＯＧＩＢ）が主である。ＷＣＥ画像のスクリーニングに際し、医師は患者一人あたり１０，０００枚の画像を３０－１２０分もかけて読影している。そのため、ＷＣＥの画像解析には血液成分を自動的に検出できるかどうかが重要である。このようなＷＣＥ画像における血液成分を自動的に検出する手段として、例えば「赤色領域推定表示機能」（Suspected Blood Indicator。以下単に「ＳＢＩ」という。）が知られている（非特許文献１１参照）。ＳＢＩは、ＲＡＰＩＤＣＥ読影ソフトウェア（Ｍｅｄｔｒｏｎｉｃ、ミネソタ州、ミネアポリス、米国）に搭載されている画像選択ツールであり、出血の可能性がある領域を赤色のピクセルでタグ付けする。

実施形態５では、上述したＳＢＩと対比して、ＣＮＮシステムを用いたＷＣＥ画像による小腸の出血の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について説明する。なお、小腸の血液成分の検出に際しては、血液の量的な推測が可能であり、この場合、血液の分布範囲等から血液量を推測することも可能である。ただし、以下では血液成分の有無、すなわち出血の有無について検出する場合を例示する。

［データセットについて］
発明者の一部が属する単一の機関（東京大学病院、日本）において、２００９年１１月から２０１５年８月までのＷＣＥ画像を遡及的に取得した。その期間中、ＷＣＥは実施形態３の場合と同様の、Pillcam ＳＢ２又はＳＢ３ＷＣＥ装置を使用して実施した。２人の内視鏡専門医が、ＳＢＩの結果を考慮せずに、内腔に血液成分を含む画像及び正常な小腸粘膜の画像を分類した。内腔の血液成分は、活動性出血又は凝血塊と定義されている。

実施形態５のＣＮＮシステムの訓練用データセットとして、２７，８４７枚の画像（２９人の患者の血液成分を含む６，５０３枚の画像及び１２人の患者の正常小腸粘膜の２１，３４４枚の画像）を収集した。同じくＣＮＮシステムの検証用データセットとして、訓練用データセットとは別に、２５人の患者から１０，２０８枚の画像を用意した。これらの画像のうち、５人の患者からの２０８枚の画像は小腸に出血があることを示しており、２０人の患者からの１０，０００枚の画像は正常な小腸粘膜のものであった。実施形態５のＣＮＮシステムのフローチャートの概要を図２０に示した。

なお、実施形態５のＣＮＮシステムを訓練／検証するために、アルゴリズムの開発に先立って画像に付随する全患者情報を匿名化した。実施形態５のＣＮＮに関与した内視鏡医のいずれも識別可能な患者情報にアクセスすることができないようにした。この実施形態５のＣＮＮシステムの訓練／検証は、匿名化されたデータを使用した後ろ向き調査であったため、患者の同意書についてはオプトアウトアプローチを採用した。この研究は、東京大学倫理委員会（No.11931）及び日本医師会（ID JMA-IIA00283）の承認を得た。

［訓練／検証・アルゴリズム］
実施形態５で用いたＣＮＮシステムのアルゴリズムは、５０層のディープニューラルネットワークアーキテクチャであるResNet50(https://arxiv.org/abs/1512.03385)を使用して開発された。その後、新しく開発されたＣＮＮシステムを訓練して検証するために、バークレー・ビジョン・ラーニング・センターで最初に開発されたＣａｆｆｅフレームワークを使用して訓練された。そして、ＳＧＤ（Stochastic Gradient Descent）を使用し、ネットワークのすべての層をグローバル学習率０．０００１で確率的最適化を行った。全ての画像は、ResNet50との互換性を付与するために、２２４×２２４ピクセルにリサイズした。

［結果の測定及び統計］
実施形態５のＣＮＮシステムにおける主要な結果には、受信機動作特性（ＲＯＣ）曲線の曲線下面積（ＡＵＣ）、感度、特異度、及び血液成分の画像と正常粘膜の画像との間のＣＮＮシステムの識別能力の精度が含まれている。訓練された実施形態５のＣＮＮシステムは、画像当たりの血液成分についての確率スコアとして、０から１の間の連続した数値を出力した。確率スコアが高いほど、ＣＮＮシステムは画像に血液成分が含まれている確率が高いと判断していることを示している。実施形態５におけるＣＮＮシステムの検証テストは、単一の静止画像を使用して実行され、確率スコアの閾値を変化させることによってＲＯＣ曲線をプロットし、識別の程度を評価するためにＡＵＣを計算した。

実施形態５では、ＣＮＮシステムによる最終的な分類のために、確率スコアのしきい値を単純に０．５に設定し、血液成分を含む画像と正常粘膜の画像との間のＣＮＮシステムの識別能力の感度、特異性及び精度を計算した。さらに、検証セットでは、１０，２０８枚の画像を検討することにより、血液成分を含む画像と正常粘膜の画像との間のＳＢＩによる識別能力の感度、特異性及び精度を評価した。実施形態５のＣＮＮシステムとＳＢＩとの能力の差異は、マクネマーの検定を使用して比較された。得られたデータは、ＳＴＡＴＡソフトウェア（バージョン１３；Stata Corp、College Station、TX、USA）を用いて統計的に分析された。

検証用データセットは、２５人の患者からの１０，２０８枚の画像から構成されていた（男性、５６％、平均年齢、５３．４歳、標準偏差、１２．４歳）。実施形態５の訓練されたＣＮＮシステムは、これらの画像を評価するのに２５０秒要した。これは毎秒４０．８枚の画像の速度に等しい。血液成分を含む画像を識別する実施形態５のＣＮＮシステムのＡＵＣは０．９９９８であった（９５％ＣＩ(信頼区間）、０．９９９６－１．００００；図２１参照）。また、表１７は、確率スコアのカットオフ値を０．１から０．９まで０．１ずつ増加させることによって計算されたそれぞれの感度、特異度及び精度を示す。

確率スコア０．５のカットオフ値で、実施形態５のＣＮＮシステムの感度、特異度及び精度はそれぞれ９６．６３％（９５％ＣＩ、９３．１９－９８．６４％）、９９．９６％（９５％ＣＩ、９９．９０－９９．９９％）及び９９．８９％（９５％ＣＩ、９９．８１－９９．９５％）であった。なお、表１７の確率スコアのカットオフ値０．２１は、Youdenの指数に従って計算された最適カットオフ値であるが、この検証用データセットでは、Youdenインデックスのカットオフ値における精度は、０．５の単純カットオフ値における精度よりも低かった。また、図２２は、実施形態５のＣＮＮシステムによって正しく分類された代表的な血液を含む画像(図２２Ａ）と正常粘膜画像(図２２Ｂ）を示している。なお、図２２Ａ及び図２２Ｂのそれぞれの実施形態５のＣＮＮシステムによって得られた確率値を下記表１８に示した。

一方、ＳＢＩの感度、特異度及び精度は、それぞれ７６．９２％（９５％ＣＩ、７０．５９－８２．４７％）、９９．８２％（９５％ＣＩ、９９．７２－９９．８９％）及び９９．３５％（９５％ＣＩ、９９．１８－９９．５０％）であった。これらはいずれも、ＣＮＮシステムよりも有意に低かった（ｐ＜０．０１）。表１９に実施形態５のＣＮＮシステムとＳＢＩの分類の相違を示した。

図２３は、実施形態５のＣＮＮによって正常粘膜として分類された７つの偽陰性画像を示している。これらのうち、図２３Ａに示した４つの画像はＳＢＩによって血液成分を含むものとして正しく分類されたものであり、図２３Ｂの３つの画像はＳＢＩによって正常粘膜として誤って分類されたものである。なお、図２３Ａ及び図２３Ｂのそれぞれの実施形態５のＣＮＮシステム及びＳＢＩによって得られた分類を下記表２０に、同じくＣＮＮシステムとＳＢＩとの分類の関係を表２１にそれぞれ示した。

以上述べたように、実施形態５の訓練されたＣＮＮシステムによれば、９９．９％の高精度で血液成分を含む画像と正常な粘膜画像を区別できた（ＡＵＣ、０．９９９８）。また、ＳＢＩとの直接比較では、実施形態５の訓練されたＣＮＮシステムがＳＢＩよりも正確に分類できることが示された。単純カットオフポイント０．５でも、実施形態５の訓練されたＣＮＮシステムは、感度及び特異性の両方でＳＢＩより優れていた。この結果は、実施形態５の訓練されたＣＮＮシステムがＷＣＥの非常に正確なスクリーニングツールとして使用できることを示している。

［実施形態６］
実施形態６では、通常の内視鏡（非拡大内視鏡，非ＭＥ）、超音波内視鏡（ＥＵＳ）及び拡大内視鏡（ＭＥ）による扁平上皮癌（ＳＣＣ）の深達度を診断する診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について説明する。

まず、食道のＳＣＣの深達度とその分類との関係を図２４を用いて説明する。食道は、食道の内面側から、粘膜上皮（ＥＰ）、粘膜固有層（ＬＰＭ），粘膜筋板（ＭＭ）、粘膜下層（ＳＭ）、固有筋層及び外膜からなっている。ＳＣＣが粘膜上皮（ＥＰ）内に止まっている場合は「ＥＰ」と表示し、「Ｔｉｓ」に分類される。ＳＣＣが粘膜上皮の下部の粘膜固有層（ＬＰＭ）まで達している場合は「ＬＰＭ」と表示し、同じく粘膜筋板（ＭＭ）まで達している場合は「ＭＭ」と表示し、両者ともに「Ｔ１ａ」に分類される。

これらの粘膜上皮、粘膜固有層及び粘膜筋板が一般的に「粘膜」と称される箇所である。日本のガイドライン及び欧州のガイドラインによれば、ＥＲは、上皮（ＥＰ）／粘膜固有層（ＬＰＭ）、粘膜筋（ＭＭ）／２００μｍ程度まで達しているものに適用することが望ましいとされている。

ＳＣＣが粘膜固有層の下部の粘膜下層まで達しているものは，その深さに応じて順に「ＳＭ１」、「ＳＭ２」及び「ＳＭ３」と表示し、全て「Ｔ１ｂ」に分類される。なお、「ＳＭ１」、「ＳＭ２」及び「ＳＭ３」の区分の境界は明確なものではないが、一応、感覚的に粘膜下層表面近傍、粘膜下層中間部及び粘膜下深部の３区分に分けることができる。

上記のガイドラインでは、Ｔ１ａよりも深く達したＴ１ｂに分類されるＳＣＣに対してＥＲの適用性については示されていない。しかしながら、ＳＣＣの深達度がＴ１ａ（ＭＭ及びＳＭ１）である場合には、癌の転移確率は１０％未満であると報告されているので、食道切除術の高い死亡率及び実質的な罹患率に基づき、特に患者が老人であるか虚弱である場合には、ＥＲはＴ１ａ（ＭＭ及びＳＭ１）のための最も適切な初期治療と見なされている。食道切除術は、転移リスクが２５％を超えているため、通常Ｔ１ｂ（粘膜下層中間部（ＳＭ２）又は粘膜下深部（ＳＭ３））の場合に適応される。したがって、ＳＣＣの深達度の術前診断のための最も重要な仕事は、Ｔ１ａ（ＥＰ及びＳＭ１）をＴ１ｂ（ＳＭ２又はＳＭ３）と区別することである。

［データセットについて］
発明者の一人が属する医院において日常撮影された内視鏡画像を用いてＣＮＮシステムの訓練を行った。使用した内視鏡システムは、高解像度ないし高精細上部胃腸内視鏡（ＧＩＦ－ＸＰ２９０Ｎ，ＧＩＦ－Ｑ２６０Ｊ，ＧＩＦ－ＲＱ２６０Ｚ，ＧＩＦ－ＦＱ２６０Ｚ，ＧＩＦ－Ｑ２４０Ｚ，ＧＩＦ－Ｈ２９０Ｚ，ＧＩＦ－Ｈ２９０，ＧＩＦ－ＨＱ２９０及びＧＩＦ－Ｈ２６０Ｚ；オリンパス製，東京，日本）及びビデオプロセッサ（ＣＶ２６０；オリンパス製）、高精細拡大胃腸内視鏡（ＧＩＦ－Ｈ２９０Ｚ，ＧＩＦ－Ｈ２９０，ＧＩＦ－ＨＱ２９０，ＧＩＦ－Ｈ２６０Ｚ：オリンパス製）及びビデオプロセッサ（ＥＶＩＳＬＵＣＥＲＡＣＶ－２６０／ＣＬＶ－２６０及びＥＶＩＳＬＵＣＥＲＡＥＬＩＴＥＣＶ－２９０／ＣＬＶ－２９０ＳＬ；オリンパスメディカルシステム製）、高解像度内視鏡（ＥＧ－Ｌ５９０ＺＷ，ＥＧ－Ｌ６００ＺＷ及びＥＧ－Ｌ６００ＺＷ７；富士フィルム製，東京，日本）及びビデオ内視鏡システム（ＬＡＳＥＲＥＯ：富士フイルム製）であった。

訓練画像は、標準白色光画像、狭帯域光（ＮＢＩ）画像及び青色レーザ光(ＢＬＩ）を用いた画像であるが、以下の除外基準に属する患者の画像は除外された。この除された画像には、重度の食道炎を有する患者、化学療法の病歴を有する患者、食道への放射線照射、潰瘍又は潰瘍の瘢痕に隣接する病変、少なすぎる空気吹き込みによる低品質の画像、出血、ハレーション、ぼけ、焦点外れ、又は粘液が含まれる。

選択後、８０４名の患者の病理学的に証明された表在食道ＳＣＣからの８，６６０枚の非拡大内視鏡画像及び５，６７８の拡大内視鏡画像を訓練画像データセットとして収集した。これらの画像は、ＪＰＥＧ(Joint Photographic Experts Group)形式で保存され、切除標本の病理診断に基づいて、病理学的ｐＥＰ及びｐＬＰＭ、ｐＭＭ、ｐＳＭ１、及び、ｐＳＭ２及びｐＳＭ３癌に分類された。その後、日本消化器内視鏡学会の指導医によって手作業で四角枠の標識を付与した。癌の全領域は、ｐＥＰ－ｐＳＭ１癌のために標識され、ｐＳＭ２及びｐＳＭ３のもののみがＳＭ２及びＳＭ３癌のために特別に標識された。

内視鏡ビデオプロセッサの構造強化は、狭帯域イメージング（ＮＢＩ）はＢモードレベル８に設定され、青色レーザイメージング（ＢＬＩ）のレベルレベルは５－６に設定された。拡大観察時に内視鏡ズームレンズの先端と粘膜面との間の距離を適切に保つため、内視鏡の先端に黒い軟質フードを取り付けた。非拡大白色光画像、ＮＢＩ又はＢＬＩによる初期ルーチン検査を行って、癌の突出の程度、陥没の程度及び硬さを評価した。

続いて、ＮＢＩを拡大して、表面血管構造の外観、特に毛細血管の毛細血管ループの変化を評価した。最後に、癌の広がりを描写するためにヨウ素染色を行った。

［訓練／検証・アルゴリズム］
実験形態６のＣＮＮシステムは、アルゴリズムを変更することなく、実質的に実施形態３の場合と同様のシングルショットマルチボックス検出器（ＳＳＤ）と呼ばれるＣＮＮアーキテクチャと、Caffeフレームワークとを用いた。

訓練は、グローバル学習率０．０００１の確率勾配降下で行った。各画像は３００×３００ピクセルにリサイズされ、四角枠も最適なＣＮＮ分析を行うようにサイズを変更した。これらの値は、すべてのデータがＳＳＤと互換性があることを保証するために、試行錯誤によって設定された。

［結果の測定及び統計］
実験形態６の訓練されたＣＮＮシステムに基づく評価は、表在食道ＳＣＣの独立した検証試験データによって行われた。２０１７年１月から２０１８年４月まで、発明者の一人が属する病院で内視鏡的粘膜下層剥離術又は食道切除術を受けた患者から画像を収集した。訓練データセットと同じ除外基準を満たす患者を除外した後、１５５人の患者を選択した。一人の患者から３－６枚の代表的な画像（非拡大内視鏡及び拡大内視鏡）を選択し、ＣＮＮシステムによって診断した。

実験形態６の訓練されたＣＮＮシステムは、その診断の確率に対応する、０と１との間の連続数を有するＥＰ－ＳＭ１又はＳＭ２／ＳＭ３癌の診断を生成する。病変の全領域がＥＰ－ＳＭ１に限定されていると診断された場合、病変はＥＰ－ＳＭ１癌と診断された。病変の一部がＳＭ２又はＳＭ３に侵入したと診断された場合、病変はＳＭ２／３癌と診断された。非拡大内視鏡、拡大内視鏡及び最終診断（非拡大内視鏡＋拡大内視鏡）の結果を分析した。

実験形態６の訓練されたＣＮＮシステムと医師の判断の正確性を比較するために、内視鏡専門家として日本消化器内視鏡学会の１６名の認定内視鏡専門医が招待された。内視鏡専門医は医師として９－２３年の専門知識を有し、３０００－２００００回の内視鏡検査を経験している。彼らはまた、術前診断及び胃腸癌の内視鏡的切除を日常的に行っている。彼らに対し、ＣＮＮシステムと同じ検証テストデータが提供され、ＥＰ－ＳＭ１又はＳＭ２／ＳＭ３癌の診断を行なった。

主な出力指標は、診断精度、感度、特異性、陽性予測値（ＰＰＶ）、陰性予測値（ＮＰＶ）、及び診断時間であった。これらの値を実験形態６の訓練されたＣＮＮシステムと内視鏡専門医との間で比較した。癌の深達度の診断における観察者間の変動を評価するために、κ統計が用いられた。κ値＞０．８は、ほぼ完全な一致を示し、κ値＝０．８－０．６は実質的な一致、κ値＝０．６－０．４は中程度の一致、κ値＝０．４－０．２は低度の一致、κ値<０．２はわずかな一致、κ値＝０は偶然の一致を示し、κ値<０は不一致を示唆している。全ての計算は統計ソフトＥＺＲを用いて行った。

この調査は、大阪国際癌研究所（No.2017-1710059178）及び日本医師会（ID JMA-IIA00283）の承認を受けて行われた。

実験形態６の訓練されたＣＮＮシステムの診断の妥当性を調べるため、１５５人の患者からの合計で４０５枚の非拡大内視鏡画像と、５０９枚の拡大内視鏡画像を選択した。選択された患者の人口統計を表２２に要約した。

全ての画像を診断するための所要時間は２９秒であった。表２３に示したように、ｐＥＰ－ＳＭ１癌（非拡大内視鏡＋拡大内視鏡）の最終診断では、感度９０．１％、特異度９５．８％、陽性予測値９９．２％、陰性予測値６３．９％、精度９１．０％が得られた。

ｐＥＰ－ＳＭ１癌の非拡大内視鏡診断では、感度９５．４％、特異度７９．２％、陽性予測値９６．２％、陰性予測値７６．０％、及び精度９２．９％が得られた。ｐＳＭ１癌の拡大内視鏡診断では、感度９１．６％、特異度７９．２％、陽性予測値９６．０％、陰性予測値６３．３％、精度８９．７％が得られた。

実験形態６の訓練されたＣＮＮシステムのＭ癌とＳＭ癌とを区別する性能を調べるため、１５５人の患者から同一の妥当性検査試験データ、すなわち、４０５枚の非拡大内視鏡画像及び５０９枚の拡大内視鏡画像を選択した。すべての画像を診断するのに必要な時間は２９秒であった。ｐＭ癌の最終診断では、特異性８９．０％（９５％ＣＩ、８２．２％－９３．８％）、９２．９％（９５％ＣＩ、７６．５％－９９．１％）、陽性予測値９８．３％（９５％ＣＩ、４８．３％－７９．４％）、精度８９．７％（９５％ＣＩ、８３．８％－９４．０％）が得られた。

ｐＭ癌の非拡大内視鏡診断では、感度９３．７％（９５％ＣＩ、８８．０％－９７．２％）、特異度７５．０％（９５％ＣＩ、５５．１％－８９．３％）、陽性予測値９４．４％（９５％ＣＩ、８８．９％－９７．７％）、陰性予測値７２．４％（９５％ＣＩ、５２．８％－８７．３％）、精度９０．３％（９５％ＣＩ、８４．５％－９４．５％）が得られた。拡大内視鏡のｐＭ癌診断では、感度９３．７％（９５％ＣＩ、８８．０％－９７．２％）、特異度８５．７％（９５％ＣＩ、６７．３％－９６．０％）、陽性予測値９６．７％（９５％ＣＩ、５６．６％－８８．５％）、精度９２．３％（９５％ＣＩ、８６．９％－９５．９％）が得られた。

同じ有効性試験データのＳＣＣの深達度は、１６人の内視鏡専門医によって診断された（表２３）。全体として、感度８９．８％、特異性８８．３％、９７．９％の陽性予測値、６５．５％の陰性予測値、及び８９．６％の精度が得られた。長期（１６年以上）及び短期（１６年未満）の専門知識を持つ内視鏡専門家のサブグループ分析では、診断精度はそれぞれ９１．０％及び８７．７％であった。診断のための観察者間の一致度は０．３０３（Fleissのκ係数、ｚ＝４１．１、ｐ値＝０．０００）であった。全ての検証試験データを評価するのに要した時間は１１５分（範囲７０－１８０分）であった。

病変の特徴に応じた実験形態６の訓練されたＣＮＮシステムの診断精度を表２４及び表２５に示した。実験形態６の訓練されたＣＮＮシステム及び内視鏡専門医の正確さは、病変の性質、例えば、癌浸潤深さ、形態及び病変の大きさが含まれる。

実験形態６の訓練されたＣＮＮシステムの非拡大内視鏡診断は高い性能を示した。非拡大内視鏡画像の大部分は白色光画像であった。白色光イメージングを使用した非拡大内視鏡は、世界中で利用可能な従来の最も一般的な内視鏡イメージング方式である。従来の非拡大内視鏡を用いた癌深達度の診断は、主観的であり、観察者間変動の影響を受ける可能性のある癌の突出、陥没、及び硬さに基づいている。

このような従来の非拡大内視鏡を用いた癌深達度の診断のばらつきは、低い客観性に由来し、その信頼性を損ない、癌深達度を診断するためのツールとしての非拡大内視鏡の適用を妨げた。しかしながら、実験形態６の訓練されたＣＮＮシステムによる診断は、明確な診断を示すことができるため、客観的な診断を提供し、変動性を解決することができる。一方、拡大内視鏡の診断能は実実験形態６の訓練されたＣＮＮシステムでは不利であった。この好ましくない性能は、拡大内視鏡画像の訓練画像の量が少ないことから得られたものである。拡大内視鏡のためのより多くの訓練データセットを蓄積することにより、さらなる改善が期待される。

上述したように、実験形態６の訓練されたＣＮＮシステムは、表在食道ＳＣＣの深達度を診断するための良好な性能を示し、最終診断の精度は９１．０％であり、長期の専門知識を持つ内視鏡専門家の精度に匹敵している。

［実施形態７］
実施形態７では、通常の食道胃十二指腸内視鏡（ＥＧＤ）を使用し、白色光イメージング（ＷＬＩ）及び狭帯域イメージング（ＭＢＩ）による表在性咽頭願（ＳＰＣ）を診断する診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について説明する。

［データセットについて］
発明者の一人が属する医院において日常のスクリーニング又は術前検査のために実行されたＥＧＤにより撮影された内視鏡画像を用いてＣＮＮシステムの訓練を行った。使用した内視鏡システムは、高解像度の内視鏡（ＧＩＦ－Ｈ２９０Ｚ、ＧＩＦ－Ｈ２９０、ＧＩＦ－ＸＰ２９０Ｎ、ＧＩＦ－Ｈ２６０Ｚ、ＧＩＦ－Ｈ２６０；オリンパス医療システム、東京、日本国）及び標準の内視鏡ビデオシステム（ＥＶＩＳＬＵＣＥＲＡＣＶ－２６０／ＣＬＶ－２６０、ＥＶＩＳＬＵＣＥＲＡＥＬＩＴＥＣＶ－２９０／ＣＬＶ－２９０ＳＬ、オリンパス医療システム）であった。

訓練データセットとして、咽頭癌の５，４０３枚の画像を遡及的に収集した。これには、標準ＷＬＩの２，１０９枚の画像と、咽頭癌病変部２４７例を含むＮＢＩの３，２９４枚の画像が含まれている。これらの画像の症例は、２０２例の表在性咽頭癌と４５例の進行癌を含む扁平上皮癌（ＳＣＣ）であることが組織学的に証明されている。訓練画像からは、ハレーション、焦点ぼけ、粘液、唾液等に起因する低品質の画像は除かれ、拡大内視鏡検査による拡大画像も除外された。また、同じ画像に２つ以上の病変がある画像も除外された。表在性咽頭癌の全ての症例は、内視鏡的切除術（ＥＲ）適用の時点でのヨウ素染色及び治療後のフォローアップ内視鏡検査を使用して、他の癌がないことが確認されている。咽頭癌病変の全ての画像は、６年以上の経験があり、大規模な癌センターで６，０００件の検査を行った経験豊富な内視鏡医によって手動でマーク付けされた。

［訓練／検証・アルゴリズム］
実験形態７のＣＮＮシステムは、アルゴリズムを変更することなく、実質的に実施形態３の場合と同様のシングルショットマルチボックス検出器（ＳＳＤ）と呼ばれるＣＮＮアーキテクチャを用いるとともに、Caffeフレームワークを用いた。Caffeフレームワークは、元々Berkeley Vision and Learning Centerで開発された最も広く使用されているフレームワークの１つである。

訓練は、グローバル学習率０．０００１の確率勾配降下で行った。各画像は３００×３００ピクセルにリサイズされ、境界ボックスも最適なＣＮＮ分析を行うようにサイズを変更した。これらの値は、すべてのデータがＳＳＤと互換性があることを保証するために、試行錯誤によって設定された。

［結果の測定及び統計］
実験形態７の訓練されたＣＮＮシステムの評価のため、咽頭癌と非癌の患者の独立した検証データセットを準備した。これらの画像には、３５例の表在性咽頭癌及び５例の進行性咽頭癌を含む、３５人の患者からの４０例の咽頭癌病変部の画像（９２８枚の咽頭癌部分の画像及び７３２枚の癌ではない部分の画像）と、癌が存在していない４０人の患者の画像（２５２枚の癌のない画像）が含まれていた。咽頭癌の患者３５人のうち、３０人の患者はそれぞれ１つの病変を有し、５人の患者は同時に２つの病変を有していた。これら全ての咽頭癌患者は、２０１５年から２０１８年にかけて発明者の一人が属する病院で内視鏡的粘膜下層剥離術又は咽頭切除により治療されていた。さらに、スクリーニング検査の検証目的で、全ての症例でＷＬＩ及びＮＢＩによる一連の咽頭のスクリーニング画像を選択した。

この研究は、公益財団法人癌研究会有明病院の治験審査委員会（No.2016-1171）及び日本医師会制度審査委員会（ID JMA-II A00283）によって承認されている。

［結果の測定及び統計］
訓練データセットを使用して実験形態７の訓練されたＣＮＮシステムを構築した後、独立した検証画像を使用してパフォーマンスを評価した。ＣＮＮシステムが検証画像の入力データから咽頭癌を検出すると、ＣＮＮシステムの診断信頼スコア基準値６０に基づいて、咽頭癌の疾患名が割り当てられ、関連する病変を囲むように長方形の点線の枠が内視鏡画像に表示された。ここでは、咽頭癌の検出のためのＣＮＮシステムの診断性能を評価するためにいくつかの基準が選択された。

実験形態７のＣＮＮシステムが癌の一部でも認識できる場合、ＣＮＮシステムは正しく診断したと見なされた。これは、１つの画像で癌の境界全体を特定することが困難な場合があり、癌の検出が本実施形態の主な目的であったためである。ただし、実験形態７の訓練されたＣＮＮシステムによって判断された画像に癌があった場合でも、画像の８０％以上を占める広い非癌性部位が含まれている場合は正しく診断されていないと見なされた。癌のある画像では、ＣＮＮシステムが非癌性の部位を癌性であると認識したとき、それは偽陽性の認識と判断された。

病変の肉眼検査による分類は、日本頭頸部癌学会編集の頭頸部癌に関する臨床研究の一般規則の日本分類に従って決定された。また、検証データセットとして使用される症例をよりよく理解するために、国際対癌連合（ＵＩＣＣ）による悪性腫瘍のＴＮＭ分類からのＴ因子を使用した。
Ｔ因子を簡単に述べると、下咽頭では、以下のとおりとなる。
Ｔ１：下咽頭の１部位に限定され、最大径は２ｃｍ以下、
Ｔ２：下咽頭の隣接部位に拡大、又は、最大径が２ｃｍ以上で４ｃｍ以下であり、片側咽頭の固定なし、
Ｔ３：最大径が４ｃｍを超える腫瘍、又は、片側咽頭の固定ないし食道への拡大を伴う、
Ｔ４ａ／Ｔ４ｂ：腫瘍が隣接臓器のいずれかに浸潤している。
中咽頭では、以下のとおりとなる。
Ｔ１：腫瘍が２ｃｍ以下、
Ｔ２：腫瘍が２ｃｍ以上で４ｃｍ以下。

全ての連続変数は、範囲の中央値(median値)として表されている。医用統計解析ソフトGraphPad Prism（GraphPad Software、Inc、La Jolla、CA）を利用したフィッシャーの正確度検定を使用して、統計分析を実施した。Ｐ＜０．０５の場合は統計的に有意とみなされた。

腫瘍サイズの中央値は２２．５ｍｍでであり、病変の７２．５％が梨状洞にあり、病変の１７．５％が下咽頭の後壁にあった。肉眼による分類では、４７．５％が０－IIａであり、４０％が０－IIｂであった。全ての病変は組織病理学で扁平上皮癌（ＳＣＣ）であることが確認された（表２６参照）。

検証画像の一例を図２５に示した。なお、図２５Ａ－図２５Ｄは、実施形態７のＣＮＮシステムが正しく咽頭癌を検出した画像を示している。実施形態７のＣＮＮシステムは、咽頭癌として認識した領域を破線で方形の枠として表示している。なお、実線の方形状の枠は、内視鏡専門医が癌の領域として表示したものである。

図２５Ａでは、梨状洞に白っぽい表面隆起病変が見られる。実施形態７のＣＮＮシステムは、病変を正しく認識し、内視鏡専門医によって描かれた実線正方形の枠と実質的に一致する破線の方形状の枠で囲んでいる。また、実施形態７のＣＮＮシステムは、茶色がかった領域として示される狭帯域イメージング（ＮＢＩ）による咽頭癌(図２５Ｂ）、白色光イメージング（ＷＬＩ）によるかすかに赤みがかった不明瞭な病変（図２５Ｃ）及び狭帯域イメージングＮＢＩの接線方向の病変（図２５Ｄ）など、一般に検出が困難なとされている病変も認識できていた。

実施形態７のＣＮＮシステムは、ＷＬＩとＮＢＩの包括的な診断により、咽頭癌（４０／４０）の全ての病変を正しく検出した。その検出率は、ＷＬＩで９２．５％（３７／４０）、ＮＢＩで１００％（３８／３８）であった。実施形態７のＣＮＮシステムは、サイズが１０ｍｍ未満の３つの咽頭癌を全て検出できた。さらに、実施形態７のＣＮＮは２８秒で１９１２枚の画像を分析できた。

また、実施形態７のＣＮＮシステムは、ＮＢＩによる各画像では８５．６％の感度で咽頭癌を正しく検出できたが、ＷＬＩによる各画像では７０．１％の感度で検出された。これはＮＢＩの場合よりも有意に低い感度であった（表２７、図２７Ａ参照）。ＷＬＩとＮＢＩのＰＰＶ（陽性的中率）は実質的に異なっていない（表２７、図２７Ｂ参照）。また、実施形態７のＣＮＮシステムの特異度、ＰＰＶ及びＮＰＶ（陰性的中率）は、それぞれ５７．１％、６０．７％及び７７．２％であったた（表２４参照）。

実施形態７のＣＮＮシステムでの偽陽性と偽陰性の原因は、頻度の降順で表２８及び表２９に纏められている。偽陽性の最も多い原因は、正常な構造を癌と誤診でしたものが５１％を占めていた（表２８参照）。実施形態７のＣＮＮシステムは、咽頭の正常な舌、披裂、喉頭蓋、及び正常な粘膜の凹凸を誤診することがある。実施形態７のＣＮＮシステムが擬陽性と誤診した画像の例を図２６に示した。たとえば、小さなのう胞による凹凸がある場合(図２６Ａ）、舌根の画像（図２６Ｂ）及び披列の画像（図２６Ｃ）の例であるが、いずれも癌と誤診した。また、炎症を伴う正常な粘膜を癌と誤診でしたものが２３％を占め（表２８）、正常な粘膜のＷＬＩの局所的な赤みがかった領域やＮＢＩの茶色がかった領域なども癌とも誤診された（図２６Ｄ）。泡と血液は、咽頭内では水で洗うことができないため、検証画像に残っており、癌と誤診されることもあった（図２６Ｅ）。良性病変に関しては、リンパ濾胞が最も頻繁に見られた（図２６Ｆ）。

実施形態７のＣＮＮシステムで偽陰性と認定された画像の例を図２８に示した。実施形態７のＣＮＮシステムでの偽陰性と認定された画像の半分は、病変が遠すぎる場合（図２８Ａ）、病変の一部のみが存在する場合（図２８Ｂ）、又は接線ビューの病変の場合（図２８Ｃ）などの困難な条件（表２９参照）によるものであった。実施形態７のＣＮＮシステムは、ＷＬＩのいくつかの不明瞭な病変も見逃していた（図２８Ｄ）。これは、内視鏡専門医でも診断することが困難な例であった。

以上述べたように、実施形態７のＣＮＮシステムは、咽頭癌を検出するために良好なパフォーマンスを示し、各ケースで咽頭癌の全ての病変を検出できた。全画像の感度は７９．７％であり、特にＮＢＩ画像の感度は８５．７％であった。すなわち、実施形態７のＣＮＮシステムでは、ＮＢＩはＷＬＩよりも咽頭癌を検出するのに優れていた。このことは目視による内視鏡専門医の検出結果と一致しており、従来はＷＬＩで８％、ＮＢＩで１００％であり、両者は非常に検出率が異なっていると報告されてる（非特許文献１２参照）。これは、ＷＬＩの画像では、表在癌と正常粘膜のコントラストが弱いためある。しかし実施形態７のＣＮＮシステムは、ＷＬＩの画像でも６９．８％の検出率であった。これは、以前の報告による内視鏡専門医の検出率よりもはるかに高い。したがって実施形態７のＣＮＮシステムは、ＮＢＩのない施設でも咽頭癌の検出に役立つことがわかる。

［実施形態８］
実施形態８のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法について、図２９を用いて説明する。実施形態８では、実施形態１－６のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法を使用することができる。Ｓ１では、消化器官の第１の内視鏡画像と、第１の内視鏡画像に対応する、消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、疾患の深達度、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、を用いてＣＮＮシステムを訓練／検証する。このＣＮＮシステムが胃内視鏡画像におけるＨ．ピロリ関連疾患の診断用の場合であれば、Ｈ．ピロリ陽性及びＨ．ピロリ陽性の場合だけでなく、Ｈ．ピロリ除菌後の画像データをも含める。

Ｓ２では、Ｓ１において訓練／検証されたＣＮＮシステムは、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する確率の少なくとも１つを出力する。この第２の内視鏡画像は、新たに観察された内視鏡画像を示す。

Ｓ１では、第１の内視鏡画像はそれぞれが撮像された部位に関連付けられていてもよい。部位としては、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つを含むことができ、この部位は、複数の消化器官の少なくとも１つにおいて複数箇所に区分されていてもよい。

第１の内視鏡画像が胃内視鏡画像を含む場合には、Ｓ１では疾患としてＨ．ピロリ感染陽性又は陰性だけでなく、Ｈ．ピロリ除菌の有無を含めてもよく、Ｓ２ではＨ．ピロリ感染陽性の確率、Ｈ．ピロリ感染陰性の確率及びＨ．ピロリ除菌の確率の少なくとも一つを出力するようにしてもよい。

第１の内視鏡画像が大腸内視鏡画像を含む場合には、Ｓ１では、区分として、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門を含めてもよく、Ｓ２では、第２の内視鏡画像の大腸の区分として、例えば、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力するようにしてもよく、終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力するようにしてもよく、さらには、終末回腸、盲腸－上行結腸－横行結腸からなる右側結腸、下行結腸－Ｓ字結腸－直腸からなる左側結腸及び肛門の少なくとも一つに対応する確率を出力するようにしてもよい。

また、Ｓ２では、第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであってもよい。

［実施形態９］
実施形態９の消化器官の内視鏡画像による疾患の診断支援システム、消化器官の内視鏡画像による診断支援プログラム、及び、コンピュータ読み取り可能な記録媒体について図３０を参照して、説明する。実施形態９では、実施形態８で説明した消化器官の内視鏡画像による疾患の診断支援方法を利用することができる。

この消化器官の内視鏡画像による疾患の診断支援システム１は、内視鏡画像入力部１０と、出力部３０と、ＣＮＮプログラムが組み込まれたコンピュータ２０と、出力部３０と、を有する。コンピュータ２０は、消化器官の第１の内視鏡画像を記憶する第１の記憶領域２１と、第１の内視鏡画像に対応する、消化器官の疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域２２と、ＣＮＮプログラムを記憶する第３の記憶領域２３と、を備える。第３の記憶領域２３に記憶されたＣＮＮプログラムは、第１の記憶領域２１に記憶されている第１の内視鏡画像と、第２の記憶領域２２に記憶されている確定診断結果とに基いて訓練／検証されており、内視鏡画像入力部１０から入力された消化器官の第２の内視鏡画像に基いて、第２の内視鏡画像に対する消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する確率の少なくとも１つを出力部３０に出力する。

第１の記憶領域２１に記憶する第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていてもよい。部位としては、咽頭、食道、胃、十二指腸、小腸又は大腸の少なくとも１つを含むことができ、この部位は、複数の消化器官の少なくとも１つにおいて複数箇所に区分されていてもよい。

第１の記憶領域２１に記憶する第１の内視鏡画像が胃内視鏡画像を含む場合には、第２の記憶領域２２に記憶する確定診断結果としては、Ｈ．ピロリ感染陽性又は陰性だけでなく、Ｈ．ピロリ除菌の有無を含めてもよく、第３の記憶領域に記憶させた第２の内視鏡画像について、Ｈ．ピロリ感染陽性の確率、Ｈ．ピロリ感染陰性の確率及びＨ．ピロリ除菌の確率の少なくとも一つを出力部３０から出力するようにしてもよい。

第１の記憶領域２１に記憶する第１の内視鏡画像が大腸内視鏡画像を含む場合には、第２の記憶領域２２に記憶する確定診断結果としての区分として、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門を含めてもよく、第３の記憶領域に記憶させた第２の内視鏡画像の大腸の区分として、例えば、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力部３０から出力するようにしてもよく、終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力部３０から出力するようにしてもよく、さらには、終末回腸、盲腸－上行結腸－横行結腸からなる右側結腸、下行結腸－Ｓ字結腸－直腸からなる左側結腸及び肛門の少なくとも一つに対応する確率を出力部３０から出力するようにしてもよい。

また、第３の記憶領域に記憶させる第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであってもよい。

実施形態９の消化器官の内視鏡画像による疾患の診断支援システムは、各手段としてコンピュータを動作させるためのもの消化器官の内視鏡画像による診断支援プログラムを備えている。また、消化器官の内視鏡画像による診断支援プログラムは、コンピュータ読み取り可能な記録媒体に記憶しておくことができる。

１０…内視鏡画像入力部
２０…コンピュータ
２１…第１の記憶領域
２２…第２の記憶領域
２３…第３の記憶領域
３０…出力部

Claims

消化器官の第１の内視鏡画像と、
前記第１の内視鏡画像に対応する、前記消化器官の疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報の少なくとも１つの確定診断結果と、
を用いて畳み込みニューラルネットワークを訓練し、
前記訓練された畳み込みニューラルネットワークは、前記消化器官の第２の内視鏡画像に基いて、前記消化器官の疾患の領域を検出し、検出した前記疾患の陽性又は陰性、及び、前記疾患の深達度に対応する確率を出力する、畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムであって、
前記消化器官の部位が小腸であって、前記第２の内視鏡画像がワイヤレスカプセル内視鏡画像であり、前記疾患が突出病変であり、前記確率が、突出病変の領域の確率であり、
前記確定診断結果が、前記第１の内視鏡画像を、ポリープ、結節、上皮腫瘍、粘膜下腫瘍及び静脈構造の５つの突出病変のカテゴリーに分類する突出病変診断情報を含み、
前記訓練された畳み込みニューラルネットワークは、内視鏡画像入力部から入力された前記第２の内視鏡画像の前記５つの突出病変のカテゴリーに応じた前記突出病変の領域の確率のうち、所定の閾値に基づいた突出病変の領域の確率を出力することを特徴とする、畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
前記訓練された畳み込みニューラルネットワークは、検出した前記突出病変の領域を前記第２の内視鏡画像内に表示するとともに、前記第２の内視鏡画像内に前記確率を表示することを特徴とする、請求項１に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
前記第２の内視鏡画像内には、前記小腸の前記疾患の陽性又は陰性の確定診断結果に基いて前記突出病変の領域として表示され、
前記訓練された畳み込みニューラルネットワークは、前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と、前記訓練された畳み込みニューラルネットワークにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域との重なりにより、前記訓練された畳み込みニューラルネットワークの診断結果の正誤を判定することを特徴とする、請求項１又は２に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
前記重なりが、
（１）前記小腸の前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域の８０％以上である時、又は、
（２）前記訓練された畳み込みニューラルネットワークにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域が複数存在するとき、いずれか一つの領域が前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と重なっている時、
前記訓練された畳み込みニューラルネットワークの診断は正しいと判定することを特徴とする、請求項３に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法であって、
前記診断支援システムが、少なくとも、畳み込みニューラルネットワークを訓練する訓練部と、訓練された前記畳み込みニューラルネットワークにより前記内視鏡画像を解析する解析部と、を備え、
前記訓練部が、前記消化器官の小腸のワイヤレスカプセル内視鏡画像である第１の内視鏡画像と、該第１の内視鏡画像に対応する、少なくとも小腸の出血の有無に関する情報を含む確定診断結果と、を用いて畳み込みニューラルネットワークを訓練する訓練ステップと、
前記解析部が、前記訓練された畳み込みニューラルネットワークにより、小腸のワイヤレスカプセル内視鏡画像である第２の内視鏡画像に基いて、少なくとも小腸に血液成分が含まれる確率を出力する出力ステップと、
を含み、
前記訓練ステップで用いる前記確定診断結果が、小腸の正常な粘膜である旨を示す診断情報、小腸の内腔に活動性出血を含む旨を示す診断情報、および、小腸の内腔に凝血塊を含む旨を示す診断情報の３つの診断情報を含み、
前記出力ステップが、前記３つの診断情報に応じた前記確率のうち、所定の閾値に基づいた確率を出力することを特徴とする、畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法であって、
前記診断支援システムが、少なくとも、畳み込みニューラルネットワークを訓練する訓練部と、訓練された前記畳み込みニューラルネットワークにより前記内視鏡画像を解析する解析部と、を備え、
前記訓練部が、前記消化器官の食道の非拡大内視鏡画像及び拡大内視鏡画像であり、重度の食道炎を有する患者の画像、化学療法の病歴を有する患者の画像、食道への放射線照射の画像、潰瘍又は潰瘍の瘢痕に隣接する病変の画像、少なすぎる空気吹き込みによる低品質の画像、出血の画像、ハレーションの画像、ぼけの画像、焦点外れの画像、又は、粘液の画像を除かれた第１の内視鏡画像と、該第１の内視鏡画像に対応する、少なくとも食道の扁平上皮癌の深達度に対応する情報を含む確定診断結果と、を用いて畳み込みニューラルネットワークを訓練する訓練ステップと、
前記解析部が、前記訓練された畳み込みニューラルネットワークにより、食道の非拡大内視鏡画像及び拡大内視鏡画像である第２の内視鏡画像に基いて、前記扁平上皮癌の深達度が粘膜上皮－粘膜固有層、粘膜筋板、粘膜下層表面近傍、粘膜下層中間部以深のいずれかであることを判定し、前記扁平上皮癌の深達度に対応する確率を出力する出力ステップと、を含むことを特徴とする、畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法であって、
前記診断支援システムが、少なくとも、畳み込みニューラルネットワークを訓練する訓練部と、訓練された前記畳み込みニューラルネットワークにより前記内視鏡画像を解析する解析部と、を備え、
前記訓練部が、前記消化器官の部位である咽頭の食道胃十二指腸内視鏡検査画像であり、ハレーション、焦点ぼけ、粘液、又は唾液に起因する低品質の画像は除かれた第１の内視鏡画像と、該第１の内視鏡画像に対応する、少なくとも咽頭癌に対応する情報を含む確定診断結果と、を用いて畳み込みニューラルネットワークを訓練する訓練ステップと、
前記解析部が、前記訓練された畳み込みニューラルネットワークにより、前記咽頭の食道胃十二指腸内視鏡検査画像である第２の内視鏡画像に基いて、少なくとも表在性咽頭癌に対応する確率を出力する出力ステップと、を含むことを特徴とする、畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
前記内視鏡画像が白色光内視鏡画像であることを特徴とする、請求項７に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
前記畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、さらにＸ線コンピュータ断層撮影装置、超音波コンピュータ断層撮影装置又は磁気共鳴画像診断装置からの３次元情報と組み合わされていることを特徴とする、請求項５－８のいずれかに記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする、請求項５－８のいずれかに記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法。
内視鏡画像入力部と、出力部と、畳み込みニューラルネットワークが組み込まれたコンピュータと、を有する畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムであって、
前記コンピュータは、
消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、及び、前記疾患の深達度に対応する情報の確定診断結果を記憶する第２の記憶領域と、
前記畳み込みニューラルネットワークを記憶する第３の記憶領域と、
を備え、
前記畳み込みニューラルネットワークは、
前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、
前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２
の内視鏡画像に対する前記消化器官の前記疾患の陽性又は陰性、及び、前記疾患の深達度に対応する確率を前記出力部に出力するものとされており、
前記疾患が突出病変であり、前記確率が、突出病変の領域の確率であり、
前記確定診断結果が、前記第１の内視鏡画像を、ポリープ、結節、上皮腫瘍、粘膜下腫瘍及び静脈構造の５つの突出病変のカテゴリーに分類する突出病変診断情報を含み、
前記消化器官の部位が小腸であって、前記第２の内視鏡画像がワイヤレスカプセル内視鏡画像であり、前記訓練された畳み込みニューラルネットワークは、前記内視鏡画像入力部から入力された前記第２の内視鏡画像の前記５つの突出病変のカテゴリーに応じた前記突出病変の確率のうち、所定の閾値に基づいた突出病変の領域の確率を出力することを特徴とする、畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
前記訓練された畳み込みニューラルネットワークは、検出した前記突出病変の領域を前記第２の内視鏡画像内に表示するとともに、前記第２の内視鏡画像内に前記確率を表示することを特徴とする、請求項１１に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
前記第２の内視鏡画像内には、前記小腸の前記疾患の陽性又は陰性の確定診断結果に基いて前記突出病変の領域として表示され、
前記訓練された畳み込みニューラルネットワークは、前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と、前記訓練された畳み込みニューラルネットワークにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域との重なりにより、前記訓練された畳み込みニューラルネットワークの診断結果の正誤を判定することを特徴とする、請求項１１又は１２に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
前記重なりが、
（１）前記小腸の前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像
内に表示された前記疾患の陽性の領域の８０％以上である時、又は、
（２）前記訓練された畳み込みニューラルネットワークにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域が複数存在するとき、いずれか一つの領域が前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と重なっている時、
前記訓練された畳み込みニューラルネットワークの診断は正しいと判定することを特徴とする、請求項１３に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
内視鏡画像入力部と、出力部と、畳み込みニューラルネットワークが組み込まれたコンピュータと、を有する畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムであって、
前記コンピュータは、
消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、前記疾患の深達度に対応する情報の確定診断結果を記憶する第２の記憶領域と、
前記畳み込みニューラルネットワークを記憶する第３の記憶領域と、
を備え、
前記畳み込みニューラルネットワークは、
前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、
前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する前記消化器官の前記疾患の陽性又は陰性、及び、前記疾患の深達度に対応する確率を前記出力部に出力するものとされており、
前記消化器官の部位が小腸であって、前記第２の内視鏡画像がワイヤレスカプセル内視鏡画像であり、
前記確定診断結果が、小腸の正常な粘膜である旨を示す診断情報、小腸の内腔に活動性出血を含む旨を示す診断情報、および、小腸の内腔に凝血塊を含む旨を示す診断情報の３つの診断情報を含み、
前記訓練された畳み込みニューラルネットワークは、前記３つの診断情報に応じた前記確率のうち、所定の閾値に基づいた確率を出力することによって前記第２の内視鏡画像内に前記疾患としての出血の有無の確率を表示することを特徴とする、畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
内視鏡画像入力部と、出力部と、畳み込みニューラルネットワークが組み込まれたコンピュータと、を有する畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムであって、
前記コンピュータは、
消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、前記疾患の深達度に対応する情報の確定診断結果を記憶する第２の記憶領域と、
前記畳み込みニューラルネットワークを記憶する第３の記憶領域と、
を備え、
前記畳み込みニューラルネットワークは、
前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、
前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する前記消化器官の前記疾患の陽性又は陰性、及び、前記疾患の深達度に対応する確率を前記出力部に出力するものとされており、
前記消化器官の部位が食道であって、前記第２の内視鏡画像が非拡大内視鏡画像及び拡大内視鏡画像であり、
重度の食道炎を有する患者の画像、化学療法の病歴を有する患者の画像、食道への放射線照射の画像、潰瘍又は潰瘍の瘢痕に隣接する病変の画像、少なすぎる空気吹き込みによる低品質の画像、出血の画像、ハレーションの画像、ぼけの画像、焦点外れの画像、又は、粘液の画像を除かれた第１の内視鏡画像と、該第１の内視鏡画像に対応する、少なくとも食道の扁平上皮癌の深達度に対応する情報を含む確定診断結果とを用いて前記畳み込みニューラルネットワークが訓練され、
訓練された前記畳み込みニューラルネットワークが、食道の非拡大内視鏡画像及び拡大内視鏡画像である第２の内視鏡画像に基いて、前記扁平上皮癌の深達度が粘膜上皮－粘膜固有層、粘膜筋板、粘膜下層表面近傍、粘膜下層中間部以深のいずれかであることを判定し、前記扁平上皮癌の深達度に対応する確率を出力することを特徴とする、畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
内視鏡画像入力部と、出力部と、畳み込みニューラルネットワークが組み込まれたコンピュータと、を有する畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムであって、
前記コンピュータは、
消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域と、
前記畳み込みニューラルネットワークを記憶する第３の記憶領域と、
を備え、
前記畳み込みニューラルネットワークは、
前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、
前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する前記消化器官の疾患の領域を検出し、検出した前記疾患の陽性又は陰性、及び、前記疾患の深達度に対応する確率を出力するものとされており、
前記消化器官の部位が咽頭であって、第１の内視鏡画像が食道胃十二指腸内視鏡検査画像であり、ハレーション、焦点ぼけ、粘液、又は唾液に起因する低品質の画像は除かれたものであり、前記第２の内視鏡画像が食道胃十二指腸内視鏡検査画像であり、前記疾患が咽頭癌であり、少なくとも表在性咽頭癌に対応する確率を出力することを特徴とする、畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
前記内視鏡画像が白色光内視鏡画像であることを特徴とする、請求項１７に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムは、さらにＸ線コンピュータ断層撮影装置、超音波コンピュータ断層撮影装置又は磁気共鳴画像診断装置からの３次元情報と組み合わされていることを特徴とする、請求項１１－１８のいずれかに記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする、請求項１１－１８のいずれかに記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
請求項１１－２０のいずれかに記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムにおける各手段としてコンピュータを動作させるためのものであることを特徴とする、畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援プログラム。
請求項２１に記載の畳み込みニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援プログラムを記録したことを特徴とする、コンピュータ読み取り可
能な記録媒体。