WO2021220822A1

WO2021220822A1 - 画像診断装置、画像診断方法、画像診断プログラムおよび学習済みモデル

Info

Publication number: WO2021220822A1
Application number: PCT/JP2021/015555
Authority: WO
Inventors: 洋平池之山; 翔城間; 敏之由雄; 智裕多田
Original assignee: 公益財団法人がん研究会; 株式会社Ａｉメディカルサービス
Priority date: 2020-04-27
Filing date: 2021-04-15
Publication date: 2021-11-04
Also published as: US20230255467A1; JPWO2021220822A1; CN115460968A

Abstract

食道の内視鏡検査において、食道がんの診断精度を向上させることが可能な画像診断装置、画像診断方法、画像診断プログラムおよび学習済みモデル。画像診断装置は、被験者の食道を撮像した内視鏡動画像を取得する内視鏡画像取得部と、食道がんが存在する食道を撮像した食道がん画像を教師データとして学習させた畳み込みニューラルネットワークを用いて、取得された内視鏡動画像内に存在する食道がんの位置を推定する推定部と、推定された食道がんの位置と、当該位置に食道がんが存在する可能性を指標する確信度とを内視鏡動画像上に重畳表示させる表示制御部とを備える。

Description

画像診断装置、画像診断方法、画像診断プログラムおよび学習済みモデル

　本発明は、画像診断装置、画像診断方法、画像診断プログラムおよび学習済みモデルに関する。

　食道がんは、全がん腫のうち世界で８番目に多いがんであり、がん関連死亡率が６番目に高く、年間５０万人以上が死亡している。食道がんの中で、南米およびアジア（日本を含む）に多いのは食道扁平上皮がんである。進行性食道がんは予後が悪いが、表在性食道がんは早期に発見されれば内視鏡的切除などの低侵襲治療で治療でき、予後も良好である。それゆえ、表在性食道がんの早期発見が最も重要な課題である。

　食道がんは、内視鏡検査技術の発達により早期発見が多くなっており、それが、予後の改善、臓器温存される低侵襲治療の実現につながっている。さらに、内視鏡的粘膜下層剥離術（ＥＳＤ：Endoscopic Submucosal Dissection）の開発により、早期食道がんの治療は低侵襲治療となっている。ただし、日本の食道がん診断・治療ガイドラインでは、ＥＳＤの適応は粘膜層までに浸潤が留まる食道がんに限られていることから、早期で食道がんを発見、診断することが重要となっている。

　しかし、表在性食道がんは、内視鏡検査（ＥＧＤ：Esophagogastroduodenoscopy）を行ったとしても、被験者の食道に対して白色光を照射して観察を行う白色光観察（ＷＬＩ：White light imaging）のみで発見することは困難である。これに対して、被験者の食道に対して狭帯域光を照射して観察を行う狭帯域光観察（ＮＢＩ: Narrow Band Imaging、狭帯域光法）は表在性食道がんの検出には有用であるが、狭帯域光観察を用いても経験の浅い内視鏡医の検出率は５３％と低いことが報告されている。

　その理由として、食道がんは色調の変化に乏しく、ほぼ凹凸のない平坦な病変として発生するからで、こうした所見は熟練しないと病変として認識することが難しいことが挙げられる。また、その背景粘膜には炎症を伴うことが多いために、経験の浅い内視鏡医では炎症粘膜と食道がんを混同する傾向があり、がん病変の判定をさらに難しくしている。このように、一概に消化管と言っても、ポリープが特徴的な大腸がんと比較しても、食道がんを内視鏡的に適切に診断することはまだ困難が多く、より高度の診断技術が内視鏡診断領域に求められている。

　内視鏡機器の改良のみならず、検査技術として生化学的な手法も開発されつつある。そのひとつに、ヨード液を食道内腔に撒布するヨード（ルゴール）染色を用いて、食道がんを高感度で検出する方法がある。すなわち、多発ヨード不染帯（ヨード液を食道内腔に撒布した際に、茶褐色に染色されず黄白色を示す部分）をバイオマーカーとした検査方法で、ヨード染色後に食道内に多発ヨード不染帯が認められる被験者（患者）では、多発ヨード不染帯が認められない被験者と比べて、食道がんや頭頸部がんの発生頻度が高いことが報告されている。

　多発ヨード不染帯は、重度の喫煙や飲酒、緑黄色野菜の摂取量の少なさと関連し、食道内に存在する多発ヨード不染帯は、背景上皮のがん抑制遺伝子ＴＰ５３変異が起こることで生じると言われ、前述したように、多発ヨード不染帯が存在する被験者は食道がんや頭頸部がんのリスクが高いことから、ヨード染色を用いた観察は、内視鏡検査による食道がんや頭頸部がんの精密スクリーニングに適している。

しかし、ヨード染色は、胸部不快感（副作用）や手術時間の長期化などの問題があり、全症例に使用することは現実的ではなく、食道がんの既往歴のある症例や頭頸部がんを合併している症例など、ごく限られたハイリスク症例を使用して選定することが望ましいとされる。ヨード染色を行わずに済む高精度検査法あるいは必要に応じてヨード染色を組み合わせる検査法など、さらなる迅速で有用な手法が食道がんの早期発見のために求められている。

　近年ディープラーニング（深層学習）を用いた人工知能（ＡＩ：Artificial Intelligence）が開発され、医療分野においても応用されている。さらに、ＡＩに入力された画像の特徴を維持したまま畳み込み学習を行う畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）が開発され、学習した画像の分類・判定を行うコンピューター支援診断（ＣＡＤ：Computer-Aided Diagnosis）システムの画像診断能力は劇的に向上している。

　医療分野のディープラーニングによる画像判定技術は、放射線画像診断、皮膚がん分類、病理標本の組織学的分類、超拡大内視鏡による大腸病変検出など、ＡＩが専門医の診断を支援する様々な報告がある。特に、顕微内視鏡レベルにおいてはＡＩが専門医と同等の精度を出せることが証明されている(非特許文献１を参照)。また、皮膚科では、ディープラーニング機能を持ったＡＩが専門医と同等の画像診断能力を発揮することが発表されており(非特許文献２を参照)、各種機械学習法を利用した特許文献（特許文献１，２を参照）も存在する。

　ただし、静止画を教師データとして学習に用い、検査時に撮像した静止画をＡＩで判定させる場合には、静止画を撮像しないとＡＩが判定できないため、撮像しない時間中にがん病巣の見落としが起こること、静止画で広い範囲を観察するには時間がかかることなどが問題として残っている。また、バイオマーカーのひとつである多発ヨード不染帯の存在有無を推定し、食道がんのハイリスク症例を検出する画像診断技術は、実際の医療現場（実臨床）にはまだ導入されていない状況である。

　こうした現状を整理すると、今後のＡＩ診断支援技術に求められる要件として、内視鏡エキスパートの総合的な診断技術により近づけるためには、動画によるリアルタイムで精密な画像診断補助を行うこと、がんリスクに関連するバイオマーカーによる判定も併せて診断精度を上げることなどが求められている。

特開２０１７－０４５３４１号公報特開２０１７－０６７４８９号公報

http://www.giejournal.org/article/S0016-5107(14)02171-3/fulltext, "Novel computer-aided diagnostic system for colorectal lesions by using endocytoscopy" Yuichi Mori et. al. Presented at Digestive Disease Week 2014, May 3-6, 2014, Chicago, Illinois, USA 「Nature」2017年2月号、巻頭論文、「皮膚の病変を学習する：人工知能が画像から皮膚がんを検出する能力を強化する」http://www.natureasia.com/ja-jp/nature/highlights/82762 Horie Y, Yoshio T, Aoyama K, et al. The diagnostic outcomes of esophageal cancer by artificial intelligence using convolutional neural networks. Gastrointest Endosc. 2018,89:25-32

　上述のように、医療分野におけるＡＩの画像診断能力は一部で専門医並みであることが示唆されているが、ＡＩの画像診断能力を使用して食道がんの診断をリアルタイムに高精度に行う技術は、まだ実際の医療現場（実臨床）には導入されておらず、今後の早期の実用化が期待されている状況である。がんの画像診断においては、形態学的な特徴と組織由来の生化学的バイオマーカーや細胞生物学的反応など、がん組織の特性に基づく判定基準が必須となることから、内視鏡による消化器がんの診断と一口に言っても、臓器が異なればＡＩ診断プログラムも臓器ごとに最適化された技術や判定基準の設計が必要になる。

　例えば、扁平な食道がんは、隆起したポリープで検出しやすい大腸がんとは異なる形態で、より難しく、新しい工夫や技術が必要である。医療機器は操作者の経験度よって、得られる結果の精度や判定が異なる可能性も大きいことから、その工夫や技術のなかには、内視鏡の画像処理に係る機能だけではなく、機器操作者である内視鏡医の操作法を適正化する方法も検討されるべきである。すなわち、各消化器がん（食道がん、胃がん、大腸がんなど）の固有の特徴量の抽出と、その病態レベルの判定基準が異なり、各がん種の特徴に合ったＡＩプログラムの設計が必要である。加えて、機器使用時の操作の適正化機能や、粘膜の直接観察のみならず、がんリスクを表現するバイオマーカーのような粘膜特性を評価する新技術も、有用な組み合わせ技術として開発が望まれている。

　本発明の目的は、食道の内視鏡検査において、食道がんの診断精度を向上させることが可能な画像診断装置、画像診断方法および画像診断プログラムを提供することである。

　本発明に係る画像診断装置は、
　被験者の食道を撮像した内視鏡動画像を取得する内視鏡画像取得部と、
　食道がんが存在する食道を撮像した食道がん画像を教師データとして学習させた畳み込みニューラルネットワークを用いて、取得された前記内視鏡動画像内に存在する食道がんの位置を推定する推定部と、
　推定された食道がんの位置と、当該位置に食道がんが存在する可能性を指標する確信度とを前記内視鏡動画像上に重畳表示させる表示制御部と、
　を備える。

　本発明に係る画像診断方法は、
　被験者の食道を撮像した内視鏡動画像を取得する内視鏡画像取得工程と、
　食道がんが存在する食道を撮像した食道がん画像を教師データとして学習させた畳み込みニューラルネットワークを用いて、取得された前記内視鏡動画像内に存在する食道がんの位置を推定する推定工程と、
　推定された食道がんの位置と、当該位置に食道がんが存在する可能性を指標する確信度とを前記内視鏡動画像上に重畳表示させる表示制御工程と、
　を含む。

　本発明に係る画像診断プログラムは、
　コンピューターに、
　被験者の食道を撮像した内視鏡動画像を取得する内視鏡画像取得処理と、
　食道がんが存在する食道を撮像した食道がん画像を教師データとして学習させた畳み込みニューラルネットワークを用いて、取得された前記内視鏡動画像内に存在する食道がんの位置を推定する推定処理と、
　推定された食道がんの位置と、当該位置に食道がんが存在する可能性を指標する確信度とを前記内視鏡動画像上に重畳表示させる表示制御処理と、
　を実行させる。

　本発明に係る学習済みモデルは、
　ヨード染色が行われずに、多発ヨード不染帯が存在する食道を撮像した非ヨード染色画像である多発ヨード不染帯食道画像と、多発ヨード不染帯が存在しない食道を撮像した非ヨード染色画像である非多発ヨード不染帯食道画像とを教師データとして畳み込みニューラルネットワークを学習させることによって得られ、
　被験者の食道を撮像した内視鏡画像と食道がんとの関連の有無を推定し、推定結果を出力するようコンピューターを機能させる。

　本発明によれば、食道の内視鏡検査において、食道がんの診断精度を向上させることができる。

第１の実施の形態における画像診断装置の全体構成を示すブロック図である。第１の実施の形態における画像診断装置のハードウェア構成を示す図である。第１の実施の形態における畳み込みニューラルネットワークの構成を示す図である。第１の実施の形態における内視鏡動画像上に判定結果画像を重畳表示させた例を示す図である。第２の実施の形態における画像診断装置の全体構成を示すブロック図である。第２の実施の形態における畳み込みニューラルネットワークの構成を示す図である。図７Ａ，図７Ｂ，７Ｃは、第２の実施の形態における食道内腔にヨード液を撒布した際に、当該食道を撮像した内視鏡画像の例を示す図である評価試験用データセットに用いられる内視鏡動画像（低速度）に関する被験者および病変（食道がん）の特徴を示す図である。評価試験用データセットに用いられる内視鏡動画像（高速度）に関する被験者および病変（食道がん）の特徴を示す図である。内視鏡動画像に食道がんが存在することを正しく診断できるか否か（感度）について、白色光、狭帯域光のそれぞれを照射した場合の比較結果を表す図である。白色光、狭帯域光のそれぞれを照射した場合における画像診断装置の感度、特異度、陽性的中率および陰性的中率を表す図である。図１２Ａ，図１２Ｂ，図１２Ｃ，図１２Ｄ，図１２Ｅ，図１２Ｆは、評価試験用データセットに用いられる内視鏡画像の例を示す図である。評価試験用データセットに用いられる内視鏡画像に関する被験者の特徴を示す図である。図１４Ａ，図１４Ｂ，図１４Ｃ，図１４Ｄ，図１４Ｅ，図１４Ｆ，図１４Ｇ，図１４Ｈ，図１４Ｉは、内視鏡画像における各種の内視鏡所見を示す図である。画像診断装置、内視鏡医の感度、特異度、陽性的中率、陰性的中率および正診率を表す図である。多発ヨード不染帯が存在する内視鏡画像に対する内視鏡所見の有無の評価結果と、多発ヨード不染帯が存在しない内視鏡画像に対する内視鏡所見の有無の評価結果とを表す図である。内視鏡画像に多発ヨード不染帯が存在することを正しく診断できるか否か（感度）について、画像診断装置と内視鏡的所見との比較結果を表す図である。画像診断装置によって内視鏡画像に多発ヨード不染帯が存在する（存在しない）と診断された症例について食道扁平上皮がん、頭頸部扁平上皮がんの発生数および１００人年当たりの発生率を表す図である。

　以下、本実施の形態を図面に基づいて詳細に説明する。第１の実施形態は、リアルタイム動画による画像診断装置、画像診断方法、画像診断プログラムからなり、第２の実施形態は、食道内腔のヨード染色による多発ヨード不染帯に係る教師データで訓練されたＡＩによる画像診断装置、画像診断方法、画像診断プログラムからなる。食道がんの内視鏡検査時には、第１の実施形態または第２の実施形態それぞれの単独の実施、あるいは第１実施形態と第２実施形態の組合せ実施のいずれでも構わない。

［画像診断装置の全体構成］
　まず、第１の実施の形態（リアルタイム動画による診断）における画像診断装置１００の構成について説明する。図１は、画像診断装置１００の全体構成を示すブロック図である。図２は、第１の実施の形態における画像診断装置１００のハードウェア構成の一例を示す図である。

　画像診断装置１００は、医師（例えば、内視鏡医）による消化器（本実施の形態では、食道）の内視鏡検査において、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）が有する内視鏡画像の画像診断能力を使用して食道がんの診断をリアルタイム動画にて行う。画像診断装置１００には、内視鏡撮像装置２００および表示装置３００が接続されている。

　内視鏡撮像装置２００は、例えば、撮像手段を内蔵した電子内視鏡（ビデオスコープともいう）や、光学式内視鏡に撮像手段を内蔵したカメラヘッドを装着したカメラ装着内視鏡等である。内視鏡撮像装置２００は、例えば、被験者の口または鼻から消化器に挿入され、当該消化器内の診断対象部位を撮像する。

　本実施の形態では、内視鏡撮像装置２００は、医師の操作（例えば、ボタン操作）に応じて、被験者の食道に対して白色光または狭帯域光（例えば、ＮＢＩ用狭帯域光）を照射した状態で当該食道内の診断対象部位を内視鏡動画像として撮像する。内視鏡動画像は、時間的に連続する複数の内視鏡画像から構成される。内視鏡撮像装置２００は、撮像した内視鏡動画像を表す内視鏡画像データＤ１を画像診断装置１００に出力する。

　表示装置３００は、例えば、液晶ディスプレイであり、画像診断装置１００から出力された内視鏡動画像および判定結果画像を、医師に識別可能に表示する。

　図２に示すように、画像診断装置１００は、主たるコンポーネントとして、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、外部記憶装置（例えば、フラッシュメモリ）１０４、通信インターフェイス１０５およびＧＰＵ（Graphics Processing Unit）１０６等を備えたコンピューターである。

　画像診断装置１００の各機能は、例えば、ＣＰＵ１０１，ＧＰＵ１０６がＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４等に記憶された制御プログラム（例えば、画像診断プログラム）や各種データ（例えば、内視鏡画像データ、学習用教師データ、畳み込みニューラルネットワークのモデルデータ（構造データおよび学習済み重みパラメータ等）などを参照することによって実現される。なお、ＲＡＭ１０３は、例えば、データの作業領域や一時退避領域として機能する。

　なお、画像診断装置１００の各機能の一部または全部は、ＣＰＵ１０１，ＧＰＵ１０６による処理に代えて、または、これと共に、ＤＳＰ（Digital Signal Processor）による処理によって実現されても良い。また、同様に、各機能の一部または全部は、ソフトウェアによる処理に代えて、または、これと共に、専用のハードウェア回路による処理によって実現されても良い。

　図１に示すように、画像診断装置１００は、内視鏡画像取得部１０、推定部２０および表示制御部３０を備えている。学習装置４０は、画像診断装置１００において使用される畳み込みニューラルネットワークのモデルデータ（本発明の「学習済みモデル」に対応）を生成する機能を有する。なお、表示制御部３０は、本発明の「警告出力制御部」としても機能する。

［内視鏡画像取得部］
　内視鏡画像取得部１０は、内視鏡撮像装置２００から出力された内視鏡画像データＤ１を取得する。そして、内視鏡画像取得部１０は、取得した内視鏡画像データＤ１を推定部２０に出力する。なお、内視鏡画像取得部１０は、内視鏡画像データＤ１を取得する際、内視鏡撮像装置２００から直接取得しても良いし、外部記憶装置１０４に格納された内視鏡画像データＤ１や、インターネット回線等を介して提供された内視鏡画像データＤ１を取得しても良い。

［推定部］
　推定部２０は、畳み込みニューラルネットワークを用いて、内視鏡画像取得部１０から出力された内視鏡画像データＤ１により表される内視鏡動画像内における病変（本実施の形態では、食道がん）の存在を推定し、推定結果を出力する。具体的には、推定部２０は、内視鏡動画像内に存在する病変の病変名（名称）および病変位置（位置）と、当該病変名および病変位置の確信度（確度ともいう）とを推定する。そして、推定部２０は、内視鏡画像取得部１０から出力された内視鏡画像データＤ１と、病変名、病変位置および確信度の推定結果を表す推定結果データＤ２とを表示制御部３０に出力する。

　また、推定部２０は、内視鏡画像データＤ１により表される内視鏡動画像内において確信度が所定値（例えば、０．５）以上である内視鏡画像が所定時間（例えば、０．５秒）内に所定数（例えば、３）存在する場合、内視鏡動画像内に病変（食道がん）が存在すると推定する。ここで、上記所定数は、上記所定値が小さくなるにつれて大きくなるように設定される。推定部２０は、内視鏡動画像内に病変が存在すると推定した場合、その旨（推定結果）を表示制御部３０に出力する。

　本実施の形態では、推定部２０は、病変名および病変位置の確信度を示す指標として確率スコアを推定する。確率スコアは、０より大きく、１以下の値で表される。確率スコアが高いほど、病変名および病変位置の確信度が高いことを意味する。

　なお、確率スコアは、病変名および病変位置の確信度を示す指標の一例であって、その他の任意の態様の指標が用いられてもよい。例えば、確率スコアは、０％～１００％の値で表される態様であっても良いし、数段階のレベル値のうちの何れで表される態様であっても良い。

　畳み込みニューラルネットワークは、順伝播型ニューラルネットワークの一種であって、脳の視覚野の構造における知見に基づくものである。基本的に、画像の局所的な特徴抽出を担う畳み込み層と、局所毎に特徴をまとめあげるプーリング層（サブサンプリング層）とを繰り返した構造となっている。畳み込みニューラルネットワークの各層によれば、複数のニューロン（Ｎｅｕｒｏｎ）を所持し、個々のニューロンが視覚野と対応するような形で配置されている。それぞれのニューロンの基本的な働きは、信号の入力と出力とからなる。ただし、各層のニューロン間は、相互に信号を伝達する際に、入力された信号をそのまま出力するのではなく、それぞれの入力に対して結合荷重を設定し、その重み付きの入力の総和が各ニューロンに設定されている閾値を超えた時に、次の層のニューロンに信号を出力する。学習データからこれらニューロン間の結合荷重を算出しておく。これによって、リアルタイムのデータを入力することによって、出力値の推定が可能となる。公知の畳み込みニューラルネットワークモデルとしては、例えば、ＧｏｏｇＬｅＮｅｔ、ＲｅｓＮｅｔ、ＳＥＮｅｔなどが挙げられるが、この目的に適合する畳み込みニューラルネットワークであれば、それを構成するアルゴリズムは特に限定されない。

　図３は、本実施の形態における畳み込みニューラルネットワークの構成を示す図である。なお、畳み込みニューラルネットワークのモデルデータ（構造データおよび学習済み重みパラメータ等）は、画像診断プログラムと共に外部記憶装置１０４に格納されている。

　図３に示すように、畳み込みニューラルネットワークは、例えば、特徴抽出部Ｎａと識別部Ｎｂとを有する。特徴抽出部Ｎａは、入力される画像（具体的には、内視鏡画像データＤ１により表される内視鏡動画像を構成する内視鏡画像）から画像特徴を抽出する処理を施す。識別部Ｎｂは、特徴抽出部Ｎａにより抽出された画像特徴から画像に係る推定結果を出力する。

　特徴抽出部Ｎａは、複数の特徴量抽出層Ｎａ１、Ｎａ２・・・が階層的に接続されて構成される。各特徴量抽出層Ｎａ１、Ｎａ２・・・は、畳み込み層（Convolution layer）、活性化層（Activation layer）およびプーリング層（Pooling layer）を備える。

　第１層目の特徴量抽出層Ｎａ１は、入力される画像を、ラスタスキャンにより所定サイズ毎に走査する。そして、特徴量抽出層Ｎａ１は、走査したデータに対して、畳み込み層、活性化層およびプーリング層によって特徴量抽出処理を施すことにより、入力画像に含まれる特徴量を抽出する。第１層目の特徴量抽出層Ｎａ１は、例えば、水平方向に延びる線状の特徴量や斜め方向に延びる線状の特徴量等の比較的シンプルな単独の特徴量を抽出する。

　第２層目の特徴量抽出層Ｎａ２は、前階層の特徴量抽出層Ｎａ１から入力される画像（特徴マップとも称される）を、例えば、ラスタスキャンにより所定サイズ毎に走査する。そして、特徴量抽出層Ｎａ２は、走査したデータに対して、同様に、畳み込み層、活性化層およびプーリング層による特徴量抽出処理を施すことにより、入力画像に含まれる特徴量を抽出する。なお、第２層目の特徴量抽出層Ｎａ２は、第１層目の特徴量抽出層Ｎａ１が抽出した複数の特徴量の位置関係などを参照しながら統合させることで、より高次元の複合的な特徴量を抽出する。

　第２層目以降の特徴量抽出層（図３では、説明の便宜として、特徴量抽出層Ｎａを２階層のみを示す）は、第２層目の特徴量抽出層Ｎａ２と同様の処理を実行する。そして、最終層の特徴量抽出層の出力（複数の特徴マップのマップ内の各値）が、識別部Ｎｂに対して入力される。

　識別部Ｎｂは、例えば、複数の全結合層（Fully Connected）が階層的に接続された多層パーセプトロンによって構成される。

　識別部Ｎｂの入力側の全結合層は、特徴抽出部Ｎａから取得した複数の特徴マップのマップ内の各値に全結合し、その各値に対して重み係数を変化させながら積和演算を行って出力する。

　識別部Ｎｂの次階層の全結合層は、前階層の全結合層の各素子が出力する値に全結合し、その各値に対して異なる重み係数を適用しながら積和演算を行う。そして、識別部Ｎｂの最後段には、特徴抽出部Ｎａに入力される画像（内視鏡画像）内に存在する病変の病変名および病変位置と、当該病変名および病変位置の確率スコア（確信度）とを出力する層（例えば、ソフトマックス関数等）が設けられる。

　畳み込みニューラルネットワークは、あらかじめ経験豊富な内視鏡医によってマーキング処理されたリファレンスデータ（以下、「教師データ」という）を用いて学習処理を行っておくことよって、入力される内視鏡画像から所望の推定結果（ここでは、病変名、病変位置および確率スコア）を出力し得るように、推定機能を保有することができる。このとき、代表的な病態をカバーし、バイアスが調整された十分な量の教師データで学習させ、重みを適正に調整することによって、過学習を防ぎ、食道がん診断に汎化された性能を有するＡＩプログラムを作製することができる。

　本実施の形態における畳み込みニューラルネットワークは、内視鏡画像データＤ１を入力とし（図３のＩｎｐｕｔ）、内視鏡画像データＤ１により表される内視鏡動画像を構成する内視鏡画像の画像特徴に応じた病変名、病変位置および確率スコアを推定結果データＤ２として出力する（図３のＯｕｔｐｕｔ）ように構成される。

　なお、畳み込みニューラルネットワークは、より好適には、内視鏡画像データＤ１に加えて、被験者の年齢、性別、地域、または既病歴に係る情報を入力し得る構成（例えば、識別部Ｎｂの入力素子として設ける）としても良い。実臨床におけるリアルワールドデータの重要性は特に認められていることから、こうした被験者属性の情報を追加することによって、実臨床において、より有用なシステムに展開することができる。すなわち、内視鏡画像の特徴は、被験者の年齢、性別、地域、既病歴、家族病歴等に係る情報と相関関係を有すると考えられており、畳み込みニューラルネットワークに対して、内視鏡画像データＤ１に加えて年齢等の被験者属性情報を参照させることによって、より高精度に病変名および病変位置を推定し得る構成とすることができる。この手法は、地域や人種間によっても疾患の病態が異なることがあることから、特に本発明を国際的に活用する場合には、取り入れるべき事項である。

　また、推定部２０は、畳み込みニューラルネットワークによる処理の他、前処理として、内視鏡画像のサイズやアスペクト比に変換する処理、内視鏡画像の色分割処理、内視鏡画像の色変換処理、色抽出処理、輝度勾配抽出処理等を行っても良い。過学習を防ぎ、精度を高めるためには、重みづけの調整を行うことも好ましい。

［表示制御部］
　表示制御部３０は、推定部２０から出力された内視鏡画像データＤ１により表される内視鏡動画像上において、推定部２０から出力された推定結果データＤ２により表される病変名、病変位置および確率スコアを重畳表示するための判定結果画像を生成する。そして、表示制御部３０は、内視鏡画像データＤ１と、生成した判定結果画像を表す判定結果画像データＤ３とを表示装置３００に出力する。この場合、内視鏡動画像の病変部の構造強調や色彩強調、差分処理、高コントラスト化、高精細化などのデジタル画像処理システムを接続し、観察者（例えば、医師）の理解と判定を助ける加工を施して表示させることもできる。

　表示装置３００は、表示制御部３０から出力された内視鏡画像データＤ１により表される内視鏡動画像上に、判定結果画像データＤ３により表される判定結果画像を重畳表示させる。表示装置３００に表示される内視鏡動画像および判定結果画像は、医師によるリアルタイムの診断補助及び診断支援に用いられる。

　本実施の形態では、表示制御部３０は、確率スコアがある閾値（例えば、０．４）以上である場合、内視鏡動画像上において、病変位置を示す矩形枠、病変名および確率スコアを重畳表示させる。一方、表示制御部３０は、確率スコアがある閾値（例えば、０．４）未満である場合、つまり内視鏡動画像内に病変が存在する確率が低い場合、内視鏡動画像上において、病変位置を示す矩形枠、病変名および確率スコアを表示させない。すなわち、表示制御部３０は、推定部２０から出力された推定結果データＤ２により表される確率スコアに応じて、内視鏡動画像上における判定結果画像の表示態様を変更する。

　また、表示制御部３０は、内視鏡動画像内に病変が存在すると推定した旨が推定部２０から出力された場合、表示装置３００を制御し、内視鏡動画像を表示する画面を発光させたり、病変判定部の矩形範囲を点滅させたりすることによって警告を表示出力させる。これにより、医師に対して、内視鏡動画像内に病変が存在することの注意を効果的に促すことができる。なお、内視鏡動画像内に病変が存在すると推定部２０により推定された場合、図示しないスピーカーから警告音を鳴らす（出力する）ことによって警告を出力させても良い。さらにこのとき、判定確率や推定確率を独自に算出して表示させることも可能である。

　図４は、内視鏡動画像上に判定結果画像を重畳表示させた例を示す図である。図４は、被験者の食道に対して狭帯域光を照射した状態で当該食道内の診断対象部位を撮像した内視鏡動画像である。図４の右側に表示される内視鏡動画像に示すように、判定結果画像として、推定部２０により推定された病変位置（範囲）を示す矩形枠５０が表示される。図４の左側に表示される複数（例えば、３つ）の内視鏡画像は、内視鏡動画像内において確信度が所定値（例えば、０．５）以上である内視鏡画像を撮像タイミング順（上下方向）に表示される内視鏡画像である。図４の左側に表示される内視鏡画像に示すように、判定結果画像として、推定部２０により推定された病変位置（範囲）を示す矩形枠５２，５４，５６、病変名（例えば、食道がん：cancer）および確率スコア（例えば、７７．９８％、６３．４４％、５５．４０％）が表示される。

［学習装置］
　学習装置４０は、推定部２０の畳み込みニューラルネットワークが内視鏡画像データＤ１（具体的には、内視鏡動画像を構成する内視鏡画像）から病変位置、病変名および確率スコアを推定し得るように、図示しない外部記憶装置に記憶されている教師データＤ４を入力し、学習装置４０の畳み込みニューラルネットワークに対して学習処理を行う。

　本実施の形態では、学習装置４０は、過去に行われた食道の内視鏡検査において、複数の被験者の食道に対して白色光または狭帯域光を照射し、内視鏡撮像装置２００により撮像された内視鏡画像（静止画像）と、医師によってあらかじめ判定された、当該内視鏡画像内に存在する病変（食道がん）の病変名および病変位置と、を教師データＤ４として用いて学習処理を行う。具体的には、学習装置４０は、畳み込みニューラルネットワークに内視鏡画像を入力した際の正解値（病変名および病変位置）に対する出力データの誤差（損失とも称される）が小さくなるように、畳み込みニューラルネットワークの学習処理を行う。

　本実施の形態では、学習装置４０は、病変（食道がん）が映り込んでいる、つまり存在する内視鏡画像（本発明の「食道がん画像」に対応）を、教師データＤ４として用いて学習処理を行う。

　学習処理における教師データＤ４としての内視鏡画像は、日本トップクラスのがん治療専門病院の豊富なデータベースを主に使用し、豊富な診断・治療経験を有する日本消化器内視鏡学会指導医がすべての画像を詳細に検討、選別し、精密な手動処理で病変（食道がん）の病変位置に対するマーキングを行った。リファレンスデータとなる教師データＤ４（内視鏡画像データ）の精度管理とバイアスの排除のためには、そのまま画像診断装置１００の診断精度に直結するために、豊富な経験を有するエキスパート内視鏡医による画像選別と病変同定、特徴抽出のマーキングが行われた十分量の症例数が極めて重要な工程である。このような高精度のデータクレンジング作業と高品質なレファレンンスデータの利用によって、信頼性の高いＡＩプログラムの出力結果が提供される。

　内視鏡画像の教師データＤ４は、画素値のデータであっても良いし、所定の色変換処理等がなされたデータであっても良い。また、前処理として、炎症像と非炎症像の比較からがん部に特徴的なテクスチャ特徴、形状特徴、凹凸状況、広がり特徴等を抽出したものが用いられても良い。また、教師データＤ４は、内視鏡画像データに加えて、被験者の年齢、性別、地域または既病歴、家族病歴等に係る情報を関連付けて学習処理を行ってもよい。

　なお、学習装置４０が学習処理を行う際のアルゴリズムは、公知の手法であってよい。学習装置４０は、例えば、公知のバックプロパゲーション（Backpropagation：誤差逆伝播法）を用いて、畳み込みニューラルネットワークに対して学習処理を施し、ネットワークパラメータ（重み係数、バイアス等）を調整する。そして、学習装置４０によって学習処理が施された畳み込みニューラルネットワークのモデルデータ（構造データおよび学習済み重みパラメータ等）は、例えば、画像診断プログラムと共に、外部記憶装置１０４に格納される。公知の畳み込みニューラルネットワークモデルとしては、たとえば、ＧｏｏｇＬｅＮｅｔ、ＲｅｓＮｅｔ、ＳＥＮｅｔなどが挙げられる。

　以上詳しく説明したように、本実施の形態では、画像診断装置１００は、被験者の食道を撮像した内視鏡動画像を取得する内視鏡画像取得部１０と、食道がんが存在する食道を撮像した食道がん画像を教師データとして学習させた畳み込みニューラルネットワークを用いて、取得された内視鏡動画像内における食道がんの存在を推定し、推定結果を出力する推定部２０とを備える。

　具体的には、畳み込みニューラルネットワークは、複数の被験者のそれぞれについて予め得られている複数の食道（消化器）の内視鏡画像（食道がん画像）と、複数の被験者のそれぞれについて予め得られている病変（食道がん）の病変名および病変位置の確定判定結果とに基づいて学習されている。そのため、短時間、かつ、実質的に経験豊富な内視鏡医に匹敵する精度で、新規被験者の食道の病変名および病変位置を推定することができる。したがって、食道の内視鏡検査において、本実施の形態による畳み込みニューラルネットワークが有する内視鏡動画像の診断能力を使用して食道がんの診断をリアルタイムに行うことができる。

　実臨床においては、画像診断装置１００は、検査室で内視鏡医による内視鏡動画像の診断を直接的に支援する診断支援ツールとして利用することもできる。また、画像診断装置１００は、複数の検査室から伝送される内視鏡動画像の診断を支援する中央診断支援サービスとして利用することや、インターネット回線を通じた遠隔操作によって、遠隔地の機関における内視鏡動画像の診断を支援する診断支援サービスとして利用することもできる。また、画像診断装置１００は、クラウド上で動作させることもできる。さらに、これらの内視鏡動画像とＡＩ判定結果をそのまま動画ライブラリー化し、教育研修や研究のための教材や資料として活用することもできる。

［画像診断装置の全体構成］
　次に、第２の実施の形態（多発ヨード不染帯の存在有無の推定による診断）における画像診断装置１００Ａの構成について説明する。図５は、画像診断装置１００Ａの全体構成を示すブロック図である。

　画像診断装置１００Ａは、医師（例えば、内視鏡医）による消化器（本実施の形態では、食道）の内視鏡検査において、畳み込みニューラルネットワークが有する内視鏡画像の画像診断能力を使用し、被験者の食道を撮像した内視鏡画像における多発ヨード不染帯の存在有無を推定する。多発ヨード不染帯は、ヨード液を食道内腔に撒布した際に、茶褐色に染色されず黄白色を示す部分である。画像診断装置１００Ａには、内視鏡撮像装置２００Ａおよび表示装置３００Ａが接続されている。

　内視鏡撮像装置２００Ａは、例えば、撮像手段を内蔵した電子内視鏡（ビデオスコープともいう）や、光学式内視鏡に撮像手段を内蔵したカメラヘッドを装着したカメラ装着内視鏡等である。内視鏡撮像装置２００Ａは、例えば、被験者の口または鼻から消化器に挿入され、当該消化器内の診断対象部位を撮像する。

　本実施の形態では、内視鏡撮像装置２００Ａは、医師の操作（例えば、ボタン操作）に応じて、被験者の食道に対して白色光または狭帯域光（例えば、ＮＢＩ用狭帯域光）を照射した状態で当該食道内の診断対象部位を内視鏡画像として撮像する。内視鏡撮像装置２００Ａは、撮像した内視鏡画像を表す内視鏡画像データＤ１を画像診断装置１００Ａに出力する。

　表示装置３００Ａは、例えば、液晶ディスプレイであり、画像診断装置１００Ａから出力された内視鏡画像および判定結果画像を、医師に識別可能に表示する。

　画像診断装置１００Ａは、第１の実施の形態における画像診断装置１００と同様に主たるコンポーネントとして、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、外部記憶装置（例えば、フラッシュメモリ）１０４、通信インターフェイス１０５およびＧＰＵ（Graphics Processing Unit）１０６等を備えたコンピューターである（図２を参照）。

　画像診断装置１００Ａの各機能は、例えば、ＣＰＵ１０１，ＧＰＵ１０６がＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４等に記憶された制御プログラム（例えば、画像診断プログラム）や各種データ（例えば、内視鏡画像データ、教師データ、畳み込みニューラルネットワークのモデルデータ（構造データおよび学習済み重みパラメータ等））などを参照することによって実現される。なお、ＲＡＭ１０３は、例えば、データの作業領域や一時退避領域として機能する。

　なお、画像診断装置１００Ａの各機能の一部または全部は、ＣＰＵ１０１，ＧＰＵ１０６による処理に代えて、または、これと共に、ＤＳＰ（Digital Signal Processor）による処理によって実現されても良い。また、同様に、各機能の一部または全部は、ソフトウェアによる処理に代えて、または、これと共に、専用のハードウェア回路による処理によって実現されても良い。

　図５に示すように、画像診断装置１００Ａは、内視鏡画像取得部１０Ａ、推定部２０Ａおよび表示制御部３０Ａを備えている。学習装置４０Ａは、画像診断装置１００Ａにおいて使用される畳み込みニューラルネットワークのモデルデータ（本発明の「学習済みモデル」に対応）を生成する機能を有する。

［内視鏡画像取得部］
　内視鏡画像取得部１０Ａは、内視鏡撮像装置２００Ａから出力された内視鏡画像データＤ１を取得する。そして、内視鏡画像取得部１０Ａは、取得した内視鏡画像データＤ１を推定部２０Ａに出力する。なお、内視鏡画像取得部１０Ａは、内視鏡画像データＤ１を取得する際、内視鏡撮像装置２００Ａから直接取得しても良いし、外部記憶装置１０４に格納された内視鏡画像データＤ１や、インターネット回線等を介して提供された内視鏡画像データＤ１を取得しても良い。

［推定部］
　推定部２０Ａは、畳み込みニューラルネットワークを用いて、内視鏡画像取得部１０Ａから出力された内視鏡画像データＤ１により表される内視鏡画像内における多発ヨード不染帯の存在有無を推定し、推定結果を出力する。具体的には、推定部２０Ａは、内視鏡画像内における多発ヨード不染帯の存在有無の確信度（確度とも言う）を推定する。そして、推定部２０Ａは、内視鏡画像取得部１０Ａから出力された内視鏡画像データＤ１と、多発ヨード不染帯の存在有無の確信度に係る推定結果を表す推定結果データＤ２とを表示制御部３０Ａに出力する。

　本実施の形態では、推定部２０Ａは、多発ヨード不染帯の存在有無の確信度を示す指標として確率スコアを推定する。確率スコアは、０より大きく、１以下の値で表される。確率スコアが高いほど、多発ヨード不染帯の存在有無の確信度が高いことを意味する。

　なお、確率スコアは、多発ヨード不染帯の存在有無の確信度を示す指標の一例であって、その他の任意の態様の指標が用いられても良い。例えば、確率スコアは、０％～１００％の値で表される態様であっても良いし、数段階のレベル値のうちの何れで表される態様であっても良い。

　畳み込みニューラルネットワークは、順伝播型ニューラルネットワークの一種であって、脳の視覚野の構造における知見に基づくものである。基本的に、画像の局所的な特徴抽出を担う畳み込み層と、局所毎に特徴をまとめあげるプーリング層（サブサンプリング層）とを繰り返した構造となっている。畳み込みニューラルネットワークの各層によれば、複数のニューロン（Ｎｅｕｒｏｎ）を所持し、個々のニューロンが視覚野と対応するような形で配置されている。それぞれのニューロンの基本的な働きは、信号の入力と出力とからなる。

　ただし、各層のニューロン間は、相互に信号を伝達する際に、入力された信号をそのまま出力するのではなく、それぞれの入力に対して結合荷重を設定し、その重み付きの入力の総和が各ニューロンに設定されている閾値を超えた時に、次の層のニューロンに信号を出力する。学習データからこれらニューロン間の結合荷重を算出しておく。これによって、リアルタイムのデータを入力することによって、出力値の推定が可能となる。この目的に適合する畳み込みニューラルネットワークであれば、それを構成するアルゴリズムは特に限定されない。

　図６は、本実施の形態における畳み込みニューラルネットワークの構成を示す図である。なお、畳み込みニューラルネットワークのモデルデータ（構造データおよび学習済み重みパラメータ等）は、画像診断プログラムと共に、外部記憶装置１０４に格納されている。

　図６に示すように、畳み込みニューラルネットワークは、例えば、特徴抽出部Ｎａと識別部Ｎｂとを有する。特徴抽出部Ｎａは、入力される画像（具体的には、内視鏡画像データＤ１により表される内視鏡画像）から画像特徴を抽出する処理を施す。識別部Ｎｂは、特徴抽出部Ｎａにより抽出された画像特徴から画像に係る推定結果を出力する。

　第２層目以降の特徴量抽出層（図６では、説明の便宜として、特徴量抽出層Ｎａを２階層のみを示す）は、第２層目の特徴量抽出層Ｎａ２と同様の処理を実行する。そして、最終層の特徴量抽出層の出力（複数の特徴マップのマップ内の各値）が、識別部Ｎｂに対して入力される。

　識別部Ｎｂの次階層の全結合層は、前階層の全結合層の各素子が出力する値に全結合し、その各値に対して異なる重み係数を適用しながら積和演算を行う。そして、識別部Ｎｂの最後段には、特徴抽出部Ｎａに入力される画像（内視鏡画像）内における多発ヨード不染帯の存在有無の確率スコア（確信度）を出力する層（例えば、ソフトマックス関数等）が設けられる。

　畳み込みニューラルネットワークは、あらかじめ経験豊富な内視鏡医によってマーキング処理されたリファレンスデータ（以下、「教師データ」という）を用いて学習処理を行っておくことよって、入力される内視鏡画像から所望の推定結果（ここでは、多発ヨード不染帯の存在有無の確率スコア）を出力し得るように、推定機能を保有することができる。このとき、代表的な病態をカバーし、バイアスが調整された十分な量の教師データで学習させ、重みを適正に調整することによって、過学習を防ぐことができる。また、本実施の多発ヨード不染帯の存在有無の診断に汎化された性能を有するＡＩプログラムを連結させることによって、高速で高精度の診断性能を有するプログラムが可能となる。

　本実施の形態における畳み込みニューラルネットワークは、内視鏡画像データＤ１を入力とし（図６のＩｎｐｕｔ）、内視鏡画像データＤ１により表される内視鏡画像の画像特徴に応じた多発ヨード不染帯の存在有無の確率スコアを推定結果データＤ２として出力する（図６のＯｕｔｐｕｔ）ように構成される。

　なお、畳み込みニューラルネットワークは、より好適には、内視鏡画像データＤ１に加えて、被験者の年齢、性別、地域または既病歴に係る情報を入力し得る構成（例えば、識別部Ｎｂの入力素子として設ける）としても良い。実臨床におけるリアルワールドデータの重要性は特に認められていることから、こうした被験者属性の情報を追加することによって、実臨床において、より有用なシステムに展開することができる。すなわち、内視鏡画像の特徴は、被験者の年齢、性別、地域、既病歴、家族病歴等に係る情報と相関関係を有すると考えられており、畳み込みニューラルネットワークに対して、内視鏡画像データＤ１に加えて年齢等の被験者属性情報を参照させることによって、より高精度に多発ヨード不染帯の存在有無を推定し得る構成とすることができる。この手法は、地域や人種間によっても疾患の病態が異なることがあることから、特に本発明を国際的に活用する場合には、取り入れるべき事項である。

　また、推定部２０Ａは、畳み込みニューラルネットワークによる処理の他、前処理として、内視鏡画像のサイズやアスペクト比に変換する処理、内視鏡画像の色分割処理、内視鏡画像の色変換処理、色抽出処理、輝度勾配抽出処理等を行っても良い。なお、過学習を防ぎ、精度を高めるためには、重みづけの調整を行うことも好ましい。

［表示制御部］
　表示制御部３０Ａは、推定部２０Ａから出力された内視鏡画像データＤ１により表される内視鏡画像上において、推定部２０Ａから出力された推定結果データＤ２により表される確率スコアを重畳表示するための判定結果画像を生成する。そして、表示制御部３０Ａは、内視鏡画像データＤ１と、生成した判定結果画像を表す判定結果画像データＤ３とを表示装置３００Ａに出力する。この場合、内視鏡画像の構造強調や色彩強調、差分処理、高コントラスト化、高精細化などのデジタル画像処理システムを接続し、観察者（例えば、医師）の理解と判定を助ける加工を施して表示させることもできる。

　表示装置３００Ａは、表示制御部３０Ａから出力された内視鏡画像データＤ１により表される内視鏡画像上に、判定結果画像データＤ３により表される判定結果画像を重畳表示させる。表示装置３００Ａに表示される内視鏡画像および判定結果画像は、例えば医師によるリアルタイムの診断補助および診断支援に用いられる。

　本実施の形態では、表示制御部３０Ａは、確率スコアがある閾値（例えば、０．６）以上である場合、表示装置３００Ａを制御し、内視鏡画像を表示する画面を発光させることによって、多発ヨード不染帯が存在する旨の警告を表示出力させる。これにより、医師に対して、内視鏡画像内に多発ヨード不染帯が存在することの注意を効果的に促すことができる。なお、画像診断装置１００Ａは、確率スコアがある閾値以上である場合、図示しないスピーカーから警告音を鳴らす（出力する）ことによって警告を出力させても良い。さらにこのとき、判定確率や推定確率を独自に算出して表示させることも可能である。

［学習装置］
　学習装置４０Ａは、推定部２０Ａの畳み込みニューラルネットワークが内視鏡画像データＤ１（具体的には、内視鏡画像）から多発ヨード不染帯の存在有無の確率スコアを推定し得るように、図示しない外部記憶装置に記憶されている教師データＤ４を入力し、学習装置４０Ａの畳み込みニューラルネットワークに対して学習処理を行う。

　本実施の形態では、学習装置４０Ａは、過去に行われた食道の内視鏡検査において、複数の被験者の食道に対して白色光または狭帯域光を照射した状態で内視鏡撮像装置２００Ａにより撮像された内視鏡画像と、確認のためのヨード染色によってあらかじめ判定された、当該内視鏡画像における多発ヨード不染帯の存在有無と、を教師データＤ４として用いて学習処理を行う。具体的には、学習装置４０Ａは、畳み込みニューラルネットワークに内視鏡画像を入力した際の正解値（多発ヨード不染帯の存在有無）に対する出力データの誤差（損失とも称される）が小さくなるように、畳み込みニューラルネットワークの学習処理を行う。

　本実施の形態では、学習装置４０Ａは、実際に多発ヨード不染帯が存在する食道を撮像した内視鏡画像（本発明の「不染帯画像」に対応）と、実際に多発ヨード不染帯が存在しない食道を撮像した内視鏡画像（本発明の「非不染帯画像」に対応）とを、教師データＤ４として用いて学習処理を行う。

　図７は、食道内腔にヨード液を撒布した際に、当該食道を撮像した内視鏡画像の例を示す図である。図７Ａに示す内視鏡画像は、食道内に存在する多発ヨード不染帯の数が０であり、当該内視鏡画像内に多発ヨード不染帯は存在しない（グレードＡ）と医師によって判定される。図７Ｂに示す内視鏡画像は、食道内に存在する多発ヨード不染帯の数が１以上９以下であり、当該内視鏡画像内に多発ヨード不染帯は存在しない（グレードＢ）と医師によって判定される。図７Ｃに示す内視鏡画像は、食道内に存在する多発ヨード不染帯の数が１０以上であり、当該内視鏡画像内に多発ヨード不染帯は存在する（グレードＣ）と医師によって判定される。このような多発ヨード不染帯の教師データで学習させたプログラムで駆動させる内視鏡画像処理装置（画像診断装置１００Ａ）は、あえてヨード染色しなくても多発ヨード不染帯を推定できるようになる。

　学習処理における教師データＤ４としての内視鏡画像は、日本トップクラスのがん治療専門病院の豊富なデータベースを主に使用し、豊富な診断・治療経験を有する日本消化器内視鏡学会指導医がすべての内視鏡画像を詳細に検討し、多発ヨード不染帯の存在有無を判定している。リファレンスデータとなる教師データＤ４（内視鏡画像データ）の精度管理とバイアスの排除のためには、そのまま画像診断装置１００Ａの診断精度に直結するために、豊富な経験を有するエキスパート内視鏡医による画像選別と多発ヨード不染帯の存在有無の判定が行われた十分量の症例数が極めて重要な工程である。このような高精度のデータクレンジング作業と高品質なリファレンンスデータの利用によって、信頼性の高いＡＩプログラムの出力結果が提供される。

　内視鏡画像の教師データＤ４は、画素値のデータであっても良いし、所定の色変換処理等がなされたデータであっても良い。また、前処理として、不染帯画像と非不染帯画像との比較から多発ヨード不染帯の存在有無に特徴的なテクスチャ特徴、形状特徴、凹凸状況、広がり特徴等を抽出したものが用いられても良い。また、教師データＤ４は、内視鏡画像データに加えて、被験者の年齢、性別、地域、既病歴または家族病歴等に係る情報を関連付けて学習処理を行ってもよい。

　なお、学習装置４０Ａが学習処理を行う際のアルゴリズムは、公知の手法であってよい。学習装置４０Ａは、例えば、公知のバックプロパゲーション（Backpropagation：誤差逆伝播法）を用いて、畳み込みニューラルネットワークに対して学習処理を施し、ネットワークパラメータ（重み係数、バイアス等）を調整する。そして、学習装置４０Ａによって学習処理が施された畳み込みニューラルネットワークのモデルデータ（構造データおよび学習済み重みパラメータ等）は、例えば、画像診断プログラムと共に、外部記憶装置１０４に格納される。公知の畳み込みニューラルネットワークモデルとしては、たとえば、ＧｏｏｇlｅＮｅｔ、ＲｅｓＮｅｔ、ＳＥＮｅｔなどが挙げられる。

　以上詳しく説明したように、本実施の形態では、画像診断装置１００Ａは、被験者の食道を撮像した内視鏡画像を取得する内視鏡画像取得部１０Ａと、多発ヨード不染帯が存在する食道を撮像した多発ヨード不染帯食道画像と、多発ヨード不染帯が存在しない食道を撮像した非多発ヨード不染帯食道画像とを教師データとして学習させ、ヨード染色をせずに多発ヨード不染帯を検出する畳み込みニューラルネットワークを用いて、取得された内視鏡画像における多発ヨード不染帯の存在有無を推定し、推定結果を出力する推定部２０Ａとを備える。多発ヨード不染帯の存在はがんリスクが高いことにつながるので、本実施の形態の画像診断装置１００Ａは、そのまま食道がんのリスク判定機能を有しながら診断に供することができる。

　具体的には、畳み込みニューラルネットワークは、複数の被験者のそれぞれについて予め得られている複数の食道（消化器）の内視鏡画像（多発ヨード不染帯食道画像、非多発ヨード不染帯食道画像）と、複数の被験者のそれぞれについて予め得られている多発ヨード不染帯の存在有無の確定判定結果とに基づいて学習されている。そのため、新規被験者の食道を撮像した内視鏡画像における多発ヨード不染帯の存在有無を推定することができる。したがって、通常のヨード染色を用いない通常の内視鏡検査において、本実施の形態による畳み込みニューラルネットワークが有する内視鏡画像の診断能力を使用し、食道がんのハイリスク症例の指標である多発ヨード不染帯の存在有無を予測しながら診断することができる。その結果、事前にヨード染色したのと同等に食道がんのハイリスク症例を事前に同定して、被験者にはヨード染色という身体的負荷を与えずに、高精度で効率的に食道がんを検出することができ、本発明の第１の実施の形態であるリアルタイム動画による診断と併せて、ヨード染色せずに多発ヨード不染帯の存在をＡＩにより予知することで、リアルタイム動画による食道がんの有無の判定を効率的に行うことができる。

　実臨床においては、画像診断装置１００Ａは、検査室で内視鏡医による内視鏡画像の診断を直接的に支援する診断支援ツールとして利用することもできる。また、画像診断装置１００Ａは、複数の検査室から伝送される内視鏡画像の診断を支援する中央診断支援サービスとして利用することや、インターネット回線を通じた遠隔操作によって、遠隔地の機関における内視鏡画像の診断を支援する診断支援サービスとして利用することもできる。また、画像診断装置１００Ａは、クラウド上で動作させることもできる。さらに、これらの内視鏡画像とＡＩ判定結果とをそのまま動画ライブラリー化し、教育研修や研究のための教材や資料として活用することもできる。

　多発ヨード不染帯の予測判定によるがんリスク評価と併せると、内視鏡挿入時に低速モードと高速モードを決める方法によって、高リスクでは低速で観察し、低リスクでは高速で観察するという、術者側の操作を適正化する機能で、さらに効率的で高精度の診断が容易となる。すなわち、内視鏡を食道に挿入する際に、まず多発ヨード不染帯の検知状況から、食道がんリスクの大小が判定できるので、その判定によって、内視鏡基準挿入速度の設定と警告の感度を画像装置表示部で表示し、操作条件を再設定し、食道内腔の観察に適した条件下で診断を行うことができる。検査中の内視鏡挿入速度は、基準挿入速度と、実際の挿入速度との差分が小さくなるように、警告を出力させることができ。適正な観察条件が維持される。多発ヨード不染帯が検出されず、がんリスクが低ければ食道内腔を早く通り過ぎることも可能であるが、その際には内視鏡医が気づきにくい病巣はリアルタイム画像診断装置で十分検出し得る。一方、多発ヨード不染帯が検出され、がんリスクが高い場合は内視鏡医が詳細に観察することになり、内視鏡医とリアルタイム画像診断装置と併せて微細ながん病変を見逃さない精密な診断ができる。このように、内視鏡リアルタイム動画像の診断と多発ヨード不染帯の予測判定とを組合せることにより、静止画を撮像しなくても、ヨード染色をしなくとも、内視鏡を食道に入れるだけですぐに食道がんリスクの程度が分かり、患部観察は速い動きだと精度が下がるが、ゆっくり動かすと精度が上がるという人間の判定様式を補完・拡張して、食道がんリスクを人間の判断速度を遙かに超えた速度で効率的に判定することが可能となる。これによって、被験者にとっても最短の時間と必要最低限の身体的負荷で検査を受けることができる。

　以上のように、上記第１の実施の形態（内視鏡リアルタイム動画による診断）と上記第２の実施の形態（多発ヨード不染帯の予測判定）とを適宜組み合わせることによって、被験者ごとのがんリスク度に合わせた観察が可能な内視鏡基準挿入速度を調整し、従来技術を超えて、効率的に高精度で食道がんの診断を補助することができる。

　また、上記第１および第２の実施の形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

　最後に、上記第１および第２の実施の形態の構成における効果を確認するための評価試験について説明する。

[第１の評価試験]
　まず、上記第１の実施の形態の構成における効果を確認するための第１の評価試験（内視鏡リアルタイム動画像の判定）について説明する。

［教師データセットの準備］
　２０１４年から２０１７年に組織学的に食道がんと診断された４２９病変の内視鏡静止画像８４２８枚を画像診断装置における畳み込みニューラルネットワークの学習に使用する教師データセット（教師データ）として用意した。内視鏡撮像装置としては、オリンパスメディカルシステムズ社のＧＩＦ－Ｈ２４０Ｚ、ＧＩＦ－Ｈ２６０Ｚ、ＧＩＦ－Ｈ２９０を用いた。

　なお、教師データセットとしての内視鏡画像には、被験者の食道を内視鏡撮像装置により撮像された内視鏡画像のうち、画像中に食道がんが認められる（存在する）内視鏡画像を含めた。一方、粘液、血液が広範に付着している、ピントが合っていないまたはハレーションの理由により画像品質が悪い内視鏡画像は、教師データセットから除外した。食道がんの専門家である日本消化器内視鏡学会指導医は、用意された内視鏡画像を詳細に検討、選別し、精密な手動処理で病変の病変位置に対するマーキングを行い、教師データセットを用意した。

［学習・アルゴリズム］
　食道がんの診断を行う画像診断装置の構築には、２２層のレイヤーで構成され、以前の畳み込みニューラルネットワークと共通の構造を持ちながら、十分なパラメータ数と表現力を有するＧｏｏｇｌｅＮｅｔを畳み込みニューラルネットワークとして使用した。バークレービジョン及びラーニングセンター(ＢＶＬＣ：Berkeley Vision and Learning Center)で開発されたＣａｆｆｅディープラーニングフレームワークを学習および評価試験に使用した。畳み込みニューラルネットワークの全ての層は、確率的勾配降下法を使用して、グローバル学習率０．０００１で微調整されている。畳み込みニューラルネットワークと互換性を持たせるために、各内視鏡画像を２２４×２２４ピクセルにリサイズした。

［評価試験用データセットの準備］
　構築された畳み込みニューラルネットワークベースの画像診断装置の診断精度を評価するために、２０１８年８月～２０１９年８月の間に公益財団法人がん研究会有明病院で初回治療としてＥＳＤが行われた症例において、まず、複数の被験者の食道に対して内視鏡撮像装置により撮像され、食道がんが存在する複数の被験者の食道に対して白色光と狭帯域光のどちらの観察も含んだ３２の内視鏡精密検査動画像１セットと、複数の被験者の食道に対して白色光または狭帯域光を照射し内視鏡撮像装置により撮像された通常検査動画では食道がんが存在する２０例において白色光と狭帯域光の内視鏡動画像合計４０と、複数の被験者の食道に対し内視鏡撮像装置により撮像され、食道がんが存在しない２０例に白色光または狭帯域光の内視鏡動画像合計４０を評価試験用データセットとして収集した。食道がんが映り込んでいる内視鏡動画像と、食道がんが映り込んでいない内視鏡動画像とを撮像した。評価試験用データセットを構成する各内視鏡動画像のフレームレートは、３０ｆｐｓ（１内視鏡画像＝０．０３３秒）である。内視鏡撮像装置としては、教師データセットの準備と同様に、オリンパスメディカルシステムズ社のＧＩＦ－Ｈ２４０Ｚ、ＧＩＦ－Ｈ２６０Ｚ、ＧＩＦ－Ｈ２９０を用いた。撮像の際の構造強調は、白色光を照射する場合にＡモードレベル５を設定し、狭帯域光を照射する場合にＢモードレベル８を設定した。

　なお、評価試験用データセットには、適格基準を満たす内視鏡動画像として、精密検査動画としては被験者の食道を注視した状態で内視鏡撮像装置により５秒間撮像された内視鏡動画像を含めた。また、通常検査動画（具体的には、病変精査のために詳細に観察している動画）として、低速度（例えば、１ｃｍ／ｓ）で内視鏡を動かし病変を観察する内視鏡動画像（低速度）を撮像した。また、通常検査動画として、食道入口部から食道胃接合部までを高速度（例えば、２ｃｍ／ｓ）で素早く内視鏡を挿入する内視鏡動画像（高速度）を撮像した。一方、粘液、血液が広範に付着している、ピントが合っていないまたはハレーションの理由により画像品質が悪い内視鏡動画像については、除外基準を満たす内視鏡動画像として、評価試験用データセットから除外した。食道がんの専門家である日本消化器内視鏡学会指導医は、用意された内視鏡動画像を詳細に検討し、食道がんが存在する内視鏡動画像と食道がんが存在しない内視鏡動画像とを選別し、評価試験用データセットを用意した。

　図８は、評価試験用データセットに用いられた内視鏡動画像（低速度）に関する被験者および病変（食道がん）の特徴を示す図である。年齢および腫瘍径については、中央値[全範囲]を示している。図８に示すように例えば、腫瘍径の中央値は１７ｍｍであった。深達度では、粘膜浅層（ＥＰ）が７病変であり、粘膜深層（ＬＰＭ）が２１病変であり、粘膜筋板浸潤（ＭＭ）が３例、粘膜下層浸潤（ＳＭ）が１病変であった。肉眼型（分類）では、１６病変で陥凹型（０－ｌｌｃ）が最も多かった。

　図９は、評価試験用データセットに用いられた内視鏡動画像（高速度）に関する被験者および病変（食道がん）の特徴を示す図である。年齢および腫瘍径については、中央値[全範囲]を示している。図８に示すように例えば、腫瘍径の中央値は１７ｍｍであった。深達度では、粘膜浅層（ＥＰ）が８病変であり、粘膜深層（ＬＰＭ）が１０病変であり、粘膜筋板浸潤（ＭＭ）が３例、粘膜下層浸潤（ＳＭ）が１病変であった。肉眼型（分類）では、１６病変で陥凹型（０－ｌｌｃ）が最も多かった。

［評価試験の方法］
　本評価試験では、教師データセットを用いて学習処理が行われた畳み込みニューラルネットワークベースの画像診断装置に対して評価試験用データセットを入力し、当該評価試験用データセットを構成する各内視鏡動画像内に食道がんが存在するか否かを正しく診断できるか否かについて評価した。画像診断装置は、確信度が所定値以上である内視鏡画像が所定時間内に所定数存在する場合、内視鏡動画像内に病変が存在すると診断する。

　具体的には、画像診断装置は、１秒間の内視鏡動画像を３０フレームの静止画像として認識している。画像診断装置が食道がんを認識すると０．５秒間(１５フレーム)戻って検索し、その中に３フレーム以上食道がんを含む内視鏡画像が存在した場合、内視鏡動画像内に食道がんが存在すると診断する。

　また、本評価試験では、被験者の食道に対して白色光、狭帯域光のそれぞれを照射した状態で撮像された内視鏡動画像において、画像診断装置が、食道がんが存在することを正しく診断できるか否か（感度）について、次の式（１）を用いて算出した。
　感度＝（評価試験用データセットにおいて食道がんが存在することを正しく診断できた内視鏡動画像の数）／（評価試験用データセットにおいて実際に食道がんが存在する内視鏡動画像の数）・・・（１）

　また、本評価試験では、被験者の食道に対して白色光、狭帯域光のそれぞれを照射した状態で撮像された内視鏡動画像において、画像診断装置の診断能力に対する特異度、陽性的中率（ＰＰＶ）および陰性的中率（ＮＰＶ）を次の式（２）～（４）を用いて算出した。
　特異度＝（評価試験用データセットにおいて食道がんが存在しないことを正しく診断できた内視鏡動画像の数）／（評価試験用データセットにおいて実際に食道がんが存在しない内視鏡動画像の数）・・・（２）
　陽性的中率（ＰＰＶ）＝（評価試験用データセットにおいて食道がんが存在すると診断した内視鏡動画像のうち、実際に食道がんが存在する内視鏡動画像の数）／（評価試験用データセットにおいて食道がんが存在すると診断した内視鏡動画像の数）・・・（３）
　陰性的中率（ＮＰＶ）＝（評価試験用データセットにおいて食道がんが存在しないと診断した内視鏡動画像のうち、実際に食道がんが存在しない内視鏡動画像の数）／（評価試験用データセットにおいて食道がんが存在すると診断した内視鏡動画像の数）・・・（４）

［評価試験の結果］
　図１０は、被験者の食道に対して白色光、狭帯域光のそれぞれを照射した状態で撮像された内視鏡動画像における画像診断装置の感度を表す図である。図１０に示すように、画像診断装置は、被験者の食道に対して白色光を照射した状態で撮像された内視鏡動画像のうち７５％（９５％ＣＩ）の内視鏡動画像について、食道がんが存在することを正しく診断できた。また、画像診断装置は、被験者の食道に対して狭帯域光を照射した状態で撮像された内視鏡動画像のうち５５％（９５％ＣＩ）の内視鏡動画像について、食道がんが存在することを正しく診断できた。また、画像診断装置は、被験者の食道に対して白色光または狭帯域光を照射した状態で撮像された内視鏡動画像のうち８５％（９５％ＣＩ）の内視鏡動画像について、食道がんが存在することを正しく診断できた。

　図１１は、被験者の食道に対して白色光、狭帯域光のそれぞれを照射した状態で撮像された内視鏡動画像において、画像診断装置の診断能力に対する感度、特異度、陽性的中率（ＰＰＶ）および陰性的中率（ＮＰＶ）を表す図である。図１１に示すように、被験者の食道に対して白色光を照射した状態で撮像された内視鏡動画像において、画像診断装置の感度、特異度、陽性的中率および陰性的中率はそれぞれ、７５％、３０％、５２％および５５％であった。また、被験者の食道に対して狭帯域光を照射した状態で撮像された内視鏡動画像において、画像診断装置の感度、特異度、陽性的中率および陰性的中率はそれぞれ、５５％、８０％、７３％および６４％であった。

［第１の評価試験に対する考察］
　病変精査のために詳細に観察している内視鏡動画像（３２本）では、白色光、狭帯域光の両方において画像診断装置は全ての食道がんの認識が可能であった。次に、食道がんの存在は分からず、食道入口部から食道胃接合部まで２．０ｃｍ／sで素早く挿入している内視鏡動画像では白色光と狭帯域光の両方を加えると画像診断装置は８５％の食道がんの認識が可能であった。同様の素早い内視鏡動画像を１５人の内視鏡医（食道がんの診断を実臨床で行っている日本消化器内視鏡学会認定専門医７人と非専門医８人）が診断すると中央値４５％（２５－６０％)の正診率であった。また、画像診断装置が食道がんと認識した領域を四角枠で示すＡＩ補助下の内視鏡動画像では１５人中１１人の内視鏡医で正診率が中央値１０％（５－２０％）上昇した。

　以上のことから、内視鏡挿入速度が１．０ｃｍ／ｓ程度の遅いスピードであればＡＩも内視鏡医もほぼ全ての食道がんを診断することが可能であると考えられる。しかしながら、２．０ｃｍ／ｓ程度の早い挿入速度では内視鏡医は病変を認識することが非常に難しい。ＡＩが食道がんの位置に四角枠を表示することで内視鏡医の病変認識は少し改善した。それに対してＡＩはある程度の高い精度で食道がんの拾い上げが可能である。

　非特許文献３には、ＮＢＩ併用拡大内視鏡により撮像された内視鏡画像（静止画像）を用いてコンピューター支援診断（ＣＡＤ）システムの食道がんの診断能力を評価した結果、感度７７％、特異度７９％、陽性的中率３９％、陰性的中率９５％であったことが記載されている。また、偽陽性となる原因の例として、重度の影、正常の構造物(食道胃接合部、左主気管支、椎体)、良性病変(瘢痕、局所萎縮、バレット食道)が記載されている。

　しかしながら、非特許文献３においては、コンピューター支援診断システムの診断能力と、食道がんの診断技術を習得した内視鏡熟練医の診断能力とを比較していないため、診断能力を評価するために使用された内視鏡画像の診断難易度が不明であり、コンピューター支援診断システムの診断能力の解釈に限界があった。

　また、非特許文献３においては、静止画像（内視鏡画像）を用いた検討を行っており、内視鏡検査後に内視鏡画像の二次読影を行う場合には有用であるものの、動画での検討を行っていないため、食道がんの診断をリアルタイムに行う実際の医療現場に導入することは困難であった。リアルタイム動画に適用させるためには、ＡＩアルゴリズムの再設計と最適化が別途必要になる。

　以上のとおり、従来の先行技術ではリアルタイム動画による検討が行われていないために、本発明と比べて実臨床での有用性や精度などの評価が十分ではなく、産業上の有用性も限定的である。しかしながら、本発明ではこれらの課題を克服する試みが達成され、以下の点が従来技術に比べて特に優れている。
（１）本発明における画像診断装置は、多くの内視鏡医と診断能力の比較を行っているため、畳み込みニューラルネットワークにおける重みづけやパラメータの設定が適切であり、さらに動画評価のための難易度を適正に評価することが可能である。また多くの内視鏡医との比較を行うことで、少数の内視鏡医との比較で生じるバイアスを低下させることも調整できる。その上で、ＣＡＤシステムが熟練医と同等以上の診断能力を有する性能をもたらすことができる。実臨床での利用のほか、教育訓練用システムとしても利用できることを示した。
（２）本発明では、通常内視鏡やＮＢＩ併用非拡大内視鏡を使用することで、その診断能力が高いため、実臨床における有用性が高かった。
（３）本発明では、静止画像の代わりに動画像を用いており、実臨床において画像診断装置を用いて食道がんの内視鏡的診断をリアルタイムに行うことができる。これによって、静止画像を検査後に見直して判定する手間と時間がなくなり、内視鏡検査時に即時に食道がんの診断支援を行うことができ、検査効率や費用対効果の点で非常に優れる。
（４）静止画像による診断では写真が撮像されたもののみを評価するため、内視鏡検査時に検出する食道がんの数は限られてしまうことになるが、本発明による動画像では、静止画像のように患部を撮影するタイミングに関係なく連続的に食道内腔を連続観察できるため、検査中にリアルタイムで食道がんの検出を可能にし、また検出できる食道がんの数が制限されないという点が、食道がんのサーベイランスという意味から実臨床において非常に有用である。

［第２の評価試験］
　次に、上記第２の実施の形態の構成における効果を確認するための第２の評価試験（多発ヨード不染帯の判定）について説明する。

［教師データセットの準備］
　２０１５年４月～２０１８年１０月の間に公益財団法人がん研究会有明病院の日常臨床において、ヨード染色が行われた症例について、複数の被験者の食道に対して白色光または狭帯域光を照射した状態で内視鏡撮像装置により撮像された内視鏡画像を電子カルテ装置から抽出した。そして、その抽出した内視鏡画像を、画像診断装置における畳み込みニューラルネットワークの学習に使用する教師データセット（教師データ）として用意した。その内訳は、実際に食道内に多発ヨード不染帯が存在する１８８症例における２７３６枚の内視鏡画像（白色光観察：１２９４枚、狭帯域光観察：１４４２枚）と、実際に食道内に多発ヨード不染帯が存在しない４０７症例における３８９８枚の内視鏡画像（白色光観察：１９５４枚、狭帯域光観察：１９４４枚）とである。内視鏡撮像装置としては、高解像度内視鏡（ＧＩＦ－Ｈ２９０Ｚ、オリンパスメディカルシステムズ株式会社、東京都）および高解像度内視鏡ビデオシステム（ＥＶＩＳ　ＬＵＣＥＲＡ　ＥＬＩＴＥ　ＣＶ－２９０／ＣＬＶ－２９０ＳＬ、オリンパスメディカルシステムズ株式会社、東京都）を用いた。撮像の際の構造強調について、白色光を照射する場合にＡモードレベル５を設定し、狭帯域光を照射する場合にＢモードレベル８を設定した。

　なお、食道切除の既往歴がある症例で撮像された内視鏡画像や、食道への化学療法や放射線治療を受けた症例で撮像された内視鏡画像については、教師データセットから除外した。また、食道がんを含む内視鏡画像や、送気不良、生検後の出血、ハレーション、ぼやけ、デフォーカス、粘液などの理由により画像品質の悪い内視鏡画像についても、教師データセットから除外した。豊富な診断・治療経験を有する日本消化器内視鏡学会指導医（２名）は、用意された内視鏡画像を詳細に検討し、多発ヨード不染帯の存在有無を判定して教師データセットを用意した。

［学習・アルゴリズム］
　被験者の食道を撮像した内視鏡画像における多発ヨード不染帯の存在有無を推定する画像診断装置を構築するため、２２層のレイヤーで構成され、以前の畳み込みニューラルネットワークと共通の構造を持ちながら、十分なパラメータ数と表現力を有するＧｏｏｇｌｅＮｅｔを畳み込みニューラルネットワークとして使用した。バークレービジョン及びラーニングセンター（ＢＶＬＣ：Berkley Vision and Learning Center）で開発されたＣａｆｆｅディープラーニングフレームワークを学習および評価試験に使用した。畳み込みニューラルネットワークの全ての層は、確率的勾配降下法を使用して、グローバル学習率０．０００１で微調整した。畳み込みニューラルネットワークと互換性を持たせるために、各内視鏡画像を２２４×２２４ピクセルにリサイズした。

［評価試験用データセットの準備］
　構築された畳み込みニューラルネットワークベースの画像診断装置の診断精度を評価するために、２０１８年１１月～２０１９年７月の間に公益財団法人がん研究会有明病院の日常臨床において、ヨード染色が行われた症例について、複数の被験者の食道に対して白色光または狭帯域光を照射した状態で内視鏡撮像装置により撮像された内視鏡画像を評価試験用データセットとして収集した。その内訳は、実際に食道内に多発ヨード不染帯が存在する３２症例における３４２枚の内視鏡画像（白色光観察：１３５枚、狭帯域光観察：２０７枚）と、実際に食道内に多発ヨード不染帯が存在しない４０症例における３２５枚の内視鏡画像（白色光観察：１６５枚、狭帯域光観察：１６０枚）とである。内視鏡撮像装置としては、高解像度内視鏡（ＧＩＦ－Ｈ２９０Ｚ、オリンパスメディカルシステムズ株式会社、東京都）および高解像度内視鏡ビデオシステム（ＥＶＩＳ　ＬＵＣＥＲＡ　ＥＬＩＴＥ　ＣＶ－２９０／ＣＬＶ－２９０ＳＬ、オリンパスメディカルシステムズ株式会社、東京都）を用いた。

　なお、内視鏡画像の除外基準は教師データセットと同じであるが、バイアスを避けるために基本的には、食道に対して白色光または狭帯域光を照射した状態で撮像された全ての内視鏡画像を使用した。日本消化器内視鏡学会指導医は、用意された内視鏡画像を詳細に検討し、多発ヨード不染帯の存在有無を判定して評価試験用データセットを用意した。

　図１２は、評価試験用データセットに用いられる内視鏡画像の例を示す図である。図１２Ａは、被験者の食道に対して白色光を照射した状態で内視鏡撮像装置により撮像され、実際に食道内に多発ヨード不染帯が存在しない（ヨード染色を行った場合の染色程度：グレードＡ）と判定された内視鏡画像である。図１２Ｂは、被験者の食道に対して狭帯域光を照射した状態で内視鏡撮像装置により撮像され、実際に食道内に多発ヨード不染帯が存在しない（ヨード染色を行った場合の染色程度：グレードＡ）と判定された内視鏡画像である。

　図１２Ｃは、被験者の食道に対して白色光を照射した状態で内視鏡撮像装置により撮像され、実際に食道内に多発ヨード不染帯が存在しない（ヨード染色を行った場合の染色程度：グレードＢ）と判定された内視鏡画像である。図１２Ｄは、被験者の食道に対して狭帯域光を照射した状態で内視鏡撮像装置により撮像され、実際に食道内に多発ヨード不染帯が存在しない（ヨード染色を行った場合の染色程度：グレードＢ）と判定された内視鏡画像である。

　図１２Ｅは、被験者の食道に対して白色光を照射した状態で内視鏡撮像装置により撮像され、実際に食道内に多発ヨード不染帯が存在する（ヨード染色を行った場合の染色程度：グレードＣ）と判定された内視鏡画像である。図１２Ｆは、被験者の食道に対して狭帯域光を照射した状態で内視鏡撮像装置により撮像され、実際に食道内に多発ヨード不染帯が存在する（ヨード染色を行った場合の染色程度：グレードＣ）と判定された内視鏡画像である。

　図１３は、評価試験用データセットに用いられる内視鏡画像に関する被験者の特徴を示す図である。図１３における年齢については、中央値を示している。実際に食道内に多発ヨード不染帯が存在しない被験者と実際に食道内に多発ヨード不染帯が存在する被験者との間における各種特徴の比較には、ピアソンのカイ二乗検定とフィッシャーの厳密検定を用いる一方、観察人年の比較にはワルドの検定を用いた（図１３のＰ値を参照）。ここで、各検定において、統計学的有意差は０．０５未満とした。今回の評価試験において、Ｐ値の算出には、「ＥＺＲ　ｖｅｒｓｉｏｎ　１．２７（自治医科大学埼玉医療センター）」を用いた。

　図１３に示すように、食道内に多発ヨード不染帯が存在する被験者は、食道内に多発ヨード不染帯が存在しない被験者に比べて、多量飲酒者と現在喫煙者の割合が有意に高い一方、性別、年齢および紅潮（フラッシング）反応については両者の間に有意差は認められなかった。観察期間中、食道内に多発ヨード不染帯が存在しない被験者では、１００人年あたりの同時性・異時性がんとして検出された食道扁平上皮がんは５．６個であり、頭頸部扁平上皮がんは０．３個であった。一方、食道内に多発ヨード不染帯が存在する被験者では、１００人年あたりの同時性・異時性がんとして検出された食道扁平上皮がんは１３．３個であり、頭頸部扁平上皮がんは４．８個であった。

［評価試験の方法］
　本評価試験では、教師データセットを用いて学習処理が行われた畳み込みニューラルネットワークベースの画像診断装置に対して評価試験用データセットを入力し、当該評価試験用データセットを構成する各内視鏡画像に多発ヨード不染帯が存在するか否かを正しく診断（判定）できるか否かについて評価した。画像診断装置は、多発ヨード不染帯の存在有無の確信度が所定値以上である内視鏡画像について、当該内視鏡画像に多発ヨード不染帯が存在すると判定する一方、多発ヨード不染帯の存在有無の確信度が所定値未満である内視鏡画像について、当該内視鏡画像に多発ヨード不染帯が存在しないと判定する。画像診断装置は、内視鏡画像毎に多発ヨード不染帯が存在するか否かについて判定を行い、症例毎に内視鏡画像の多数決で多発ヨード不染帯が存在するか否かについて判定を行った。

　また、本評価試験では、画像診断装置の診断能力と、内視鏡医の診断能力とを比較するため、内視鏡医は、評価試験用データセットを構成する内視鏡画像を見て、当該内視鏡画像に多発ヨード不染帯が存在するか否かについて診断を行った。内視鏡医としては、日本消化器内視鏡学会の医師経験：８～１７年、内視鏡検査件数：３，５００～１８，０００件の内視鏡医１０人を選定した。選定された内視鏡医１０人は、内視鏡画像毎に多発ヨード不染帯が存在するか否かについて診断を行い、症例毎に内視鏡画像の多数決で多発ヨード不染帯が存在するか否かについて診断を行った。

　本評価試験では、画像診断装置（または内視鏡医）の診断能力に対する感度、特異度、陽性的中率（ＰＰＶ）、陰性的中率（ＮＰＶ）および正診率を次の式（５）～（９）を用いて算出した。
　感度＝（食道内に多発ヨード不染帯が存在することを正しく診断できた症例数）／（実際に食道内に多発ヨード不染帯が存在する総症例数）・・・（５）
　特異度＝（食道内に多発ヨード不染帯が存在しないことを正しく診断できた症例数）／（実際に食道内に多発ヨード不染帯が存在しない総症例数）・・・（６）
　陽性的中率（ＰＰＶ）＝（食道内に多発ヨード不染帯が存在すると診断した症例のうち、実際に食道内に多発ヨード不染帯が存在する症例数）／（食道内に多発ヨード不染帯が存在すると診断した症例数）・・・（７）
　陰性的中率（ＮＰＶ）＝（食道内に多発ヨード不染帯が存在しないと診断した症例のうち、実際に食道内に多発ヨード不染帯が存在しない症例数）／（食道内に多発ヨード不染帯が存在しないと診断した症例数）・・・（８）
　正診率＝（食道内に多発ヨード不染帯が存在するか否かを正しく診断できた症例数）／（全ての症例数）・・・（９）

　また、本評価試験では、経験豊富な内視鏡医は、評価試験用データセットを構成する全内視鏡画像に対して、多発ヨード不染帯が存在することを正しく診断することに役立つと考えられる背景食道粘膜の内視鏡所見の有無を評価し、内視鏡画像毎に内視鏡的所見の多数決で食道内に多発ヨード不染帯が存在するか否かについて診断を行った。そして、食道内に多発ヨード不染帯が存在することを正しく診断できるか否か（感度）について、画像診断装置と内視鏡的所見との間でどちらが優れているかを比較した。

　ここで、上記内視鏡的所見としては、以下（ａ）～（ｆ）の６つが挙げられる。
　（ａ）１視野に２個未満のグリコーゲンアカントーシスが確認される。
　（ｂ）角化症（ケラトーシス）が確認される。
　（ｃ）粗造な（ざらざらとした）食道粘膜が確認される。
　（ｄ）食道に対して白色光を照射した場合に、血管透見が確認されない。
　（ｅ）食道に対して白色光を照射した場合に、発赤調の背景粘膜が確認される。
　（ｆ）食道に対して狭帯域光を照射した場合に、茶色の背景粘膜が確認される。

　図１４は、内視鏡画像における各種の内視鏡所見を示す図である。図１４Ａは、食道に対して白色光を照射した場合に１視野に２個以上のグリコーゲンアカントーシスが確認される、すなわち内視鏡所見（ａ）が認められない内視鏡画像を示す。図１４Ｂは、食道に対して狭帯域光を照射した場合に１視野に２個以上のグリコーゲンアカントーシスが確認される、すなわち内視鏡所見（ａ）が認められない内視鏡画像を示す。図１４Ｃは、食道に対して白色光を照射した場合に角化症が確認される、すなわち内視鏡所見（ｂ）が認められる内視鏡画像を示す。図１４Ｄは、食道に対して狭帯域光を照射した場合に角化症が確認される、すなわち内視鏡所見（ｂ）が認められる内視鏡画像を示す。

　図１４Ｅは、食道に対して白色光を照射した場合に粗造な食道粘膜が確認される、すなわち内視鏡所見（ｃ）が認められる内視鏡画像を示す。図１４Ｆは、食道に対して狭帯域光を照射した場合に粗造な食道粘膜が確認される、すなわち内視鏡所見（ｃ）が認められる内視鏡画像を示す。図１４Ｇは、食道に対して白色光を照射した場合に血管透見が確認される、すなわち内視鏡所見（ｄ）が認められない内視鏡画像を示す。図１４Ｈは、食道に対して白色光を照射した場合に発赤調の背景粘膜が確認される、すなわち内視鏡所見（ｅ）が認められない内視鏡画像を示す。図１４Ｉは、食道に対して狭帯域光を照射した場合に茶色の背景粘膜が確認される、すなわち内視鏡所見（ｆ）が認められる内視鏡画像を示す。

［評価試験の結果］

　図１５は、画像診断装置、内視鏡医の感度、特異度、陽性的中率、陰性的中率および正診率を表す図である。画像診断装置と内視鏡医との間における感度、特異度および正診率の比較には、両側マクネマー検定を用いた。

　図１５に示すように、画像診断装置は、食道内に多発ヨード不染帯が存在する症例のうち８４．４％（＝２７／３２）の症例について多発ヨード不染帯が存在することを正しく診断し、食道内に多発ヨード不染帯が存在しない症例のうち７０．０％（＝２８／４０）の症例について多発ヨード不染帯が存在しないことを正しく診断した。一方、内視鏡医は、食道内に多発ヨード不染帯が存在する症例のうち４６．９％（＝１５／３２）の症例について多発ヨード不染帯が存在することを正しく診断し、食道内に多発ヨード不染帯が存在しない症例のうち７７．５％（＝３１／４０）の症例について多発ヨード不染帯が存在しないことを正しく診断した。多発ヨード不染帯の存在有無に関する正診率は、画像診断装置が７６．４％であり、内視鏡医が６３．９％であった。特に、画像診断装置は、１０人中９人の内視鏡医より、食道内に多発ヨード不染帯が存在することを正しく診断する感度が有意に高かった。一方、特異度および正診率については、画像診断装置と内視鏡医との間で有意差はなかった。

　図１６は、内視鏡医による、多発ヨード不染帯が存在する内視鏡画像に対する内視鏡所見の有無の評価結果と、多発ヨード不染帯が存在しない内視鏡画像に対する内視鏡所見の有無の評価結果とを表す図である。多発ヨード不染帯が存在する内視鏡画像と多発ヨード不染帯が存在しない内視鏡画像との間において、各内視鏡所見について所見ありと評価された数の比較には、ピアソンのカイ二乗検定とフィッシャーの厳密検定とを用いた。

　図１６に示すように、食道内に多発ヨード不染帯が存在する内視鏡画像では、グリコーゲンアカントーシス（２個未満）、角化症、粗造な食道粘膜、血管透見の消失、発赤調の背景粘膜および茶色の背景粘膜の内視鏡所見について所見ありと評価された数が、多発ヨード不染帯が存在しない内視鏡画像と比べて有意に多かった。すなわち、内視鏡所見ありと評価された場合、食道内に多発ヨード不染帯が存在する可能性がそれなりに高いと考えられる。

　図１７は、内視鏡画像を参照して食道内に多発ヨード不染帯が存在することを正しく診断できるか否か（感度）について、画像診断装置と内視鏡的所見との比較結果を表す図である。画像診断装置と各内視鏡所見との間における感度の比較には、両側マクネマー検定を用いた。

　図１７に示すように、全ての内視鏡画像（白色光観察および狭帯域光観察）において、画像診断装置の感度は８１．６％（＝２７９／３４２）であり、グリコーゲンアカントーシス（２個未満）、角化症、粗造な食道粘膜について内視鏡所見ありと評価された場合よりも有意に、多発ヨード不染帯が存在することを正しく診断することができた。食道に対して白色光を照射した内視鏡画像では、画像診断装置の感度は８１．５％（＝１１０／１３５）であり、発赤調の背景粘膜について内視鏡所見ありと評価された場合よりも有意に、多発ヨード不染帯が存在することを正しく診断することができた。食道に対して狭帯域光を照射した内視鏡画像では、画像診断装置の感度は８１．６％（＝１６９／２０７）であり、茶色の背景粘膜について内視鏡所見ありと評価された場合よりも有意に、多発ヨード不染帯が存在することを正しく診断することができた。以上のように、画像診断装置は、各内視鏡所見について所見ありと評価された場合よりも感度が高く、内視鏡所見の中では「血管透見の消失」について所見ありと評価された場合、最も感度が高かった。

　図１８は、画像診断装置によって食道内に多発ヨード不染帯が存在する（存在しない）と診断された症例について同時性・異時性がんとして検出された食道扁平上皮がん、頭頸部扁平上皮がんの数を表す図である。多発ヨード不染帯が存在すると診断された症例と多発ヨード不染帯が存在しないと診断された症例との間の比較には、ピアソンのカイ二乗検定とフィッシャーの厳密検定とを用いた。

　図１８に示すように、画像診断装置によって食道内に多発ヨード不染帯が存在すると診断された症例について、１００人年あたりで検出された食道扁平上皮がんは１１．２個であり、食道扁平上皮がんおよび頭頸部扁平上皮がんは１４．６個であった。画像診断装置によって食道内に多発ヨード不染帯が存在しないと診断された症例について、１００人年あたりで検出された食道扁平上皮がんは６．１個であり、食道扁平上皮がんおよび頭頸部扁平上皮がんは７．０個であった。以上のように、食道扁平上皮がんについても、食道扁平上皮がんおよび頭頸部扁平上皮がんについても、食道内に多発ヨード不染帯が存在すると診断された症例の方が、食道内に多発ヨード不染帯が存在しないと診断された症例に比べて、同時性・異時性がんとしての発生率は有意に高かった。したがって、画像診断装置は、食道内における多発ヨード不染帯の存在有無だけでなく、同時性・異時性がんとしての食道扁平上皮がんおよび頭頸部扁平上皮がんの発生リスクについても層別化することができた。

［第２の評価試験に対する考察］
　以上のように、画像診断装置は、畳み込みニューラルネットワークが有する内視鏡画像の診断能力を使用し、ヨード染色が行われていない食道を撮像した内視鏡画像において、食道扁平上皮がんや頭頸部扁平上皮がんのハイリスク症例の指標である多発ヨード不染帯の存在有無を、経験豊富な内視鏡医よりも高感度に診断することができた。

　従来、食道扁平上皮がんの危険因子としては、多量飲酒や喫煙、紅潮（フラッシング）反応などが知られている。食道に対してヨード染色を行った後に認められる多発ヨード不染帯の内視鏡所見は、上記危険因子を全て反映しており、食道扁平上皮がん、頭頸部扁平上皮がんの発生リスクを層別化している。多発ヨード不染帯は、食道扁平上皮がん、頭頸部扁平上皮がんの治療後のサーベイランス（定期検査）スケジュールを決定する上でも非常に有用である。しかし、ヨード染色を行わないと多発ヨード不染帯の存在有無はわからないため、当該ヨード染色は通常、がんやがんの疑いのある病変にしか使用されず、その有用性は限定されている。しかしながら、画像診断装置を用いることで、全ての被験者における初回の内視鏡検査（ＥＧＤ）においてヨード染色を行わずに撮像された内視鏡画像から食道扁平上皮がんの発生リスクを判定することができる。

　食道扁平上皮がん、頭頸部扁平上皮がんのリスクが高いハイリスク症例は、狭帯域光を照射した状態で食道や咽頭を注意深く観察し、食道ではヨード染色を行った状態で観察することが理想的であるが、全ての症例で当該ヨード染色を実施することは現実的ではない。ヨード染色はがんがある方、またはがんを疑う方に使用して、がんを見逃さずに拾い上げることと、がんの範囲を診断する目的に行う。また、多発ヨード不染帯の程度でがんのリスクを判定することもできる。ただし、刺激性があり不快感を生じることや、ヨードアレルギーの患者には使用できないなどの問題もある。ヨード染色を使わないで、がんリスク判定をＡＩに担わせ、ヨード染色が行われない食道の内視鏡画像からリスクの高い症例を認識できれば、より有用である。しかし、従来、ヨード染色が行われない食道の内視鏡画像から多発ヨード不染帯を効果的に判定するための内視鏡検査の手法は知られておらず、本発明で初めて達成された。

　そこで本評価試験では、ヨード染色が行われない食道の内視鏡画像から多発ヨード不染帯の存在有無を診断するために、６つの内視鏡所見の有無を評価した。これらの内視鏡所見は何れも、多発ヨード不染帯が存在する症例で高頻度に確認される。特に、２つの内視鏡所見「１視野に２個未満のグリコーゲンアカントーシスが確認される」および「食道に対して白色光を照射した場合に、血管透見が確認されない」の感度は予想以上に高く、ヨード染色が行われない食道の内視鏡画像から多発ヨード不染帯の存在有無を診断することができる。しかし、多発ヨード不染帯が存在することを正しく診断することについて内視鏡医の感度は４６．９％と低かった（図１５を参照）。その理由は、上記２つの内視鏡所見が多くの内視鏡医において確認されなかったためと推察される。そして、それ以外の４つの内視鏡所見は何れも感度が低かった。一方、画像診断装置は、６つの各内視鏡所見よりも感度が高く、さらに、経験豊富な内視鏡医よりも感度が高かった。つまり、これらの内視鏡所見を総合的に判断して多発ヨード不染帯の存在有無を診断するのは、画像診断装置の方が人間の内視鏡医よりも優れていることを示唆している。

　また、評価試験用データセットを用いて、松野らが報告している「拡張血管の多発病巣（ＭＤＶ）」の診断性能を検討した。本発明者は、ＭＤＶに関して限られた知識しか有していなかったため、非拡大静止画像からＭＤＶを認識するのは少し難しかった。他の知見と比較するためにはもう少し訓練が必要と考えられるが、本発明者が解析した結果、ＭＤＶは、感度が５９．４％、特異度が７０．４％、精度が７９．５％であった。すなわちＭＤＶは、原著論文では高い特異度と精度を示しているものの、感度は原著論文でも本発明者による解析と同様に、それほど高くはなかった。食道扁平上皮がん、頭頸部扁平上皮がんのハイリスク症例をより多く認識し、食道扁平上皮がん、頭頸部扁平上皮がんを確実に見逃さないためには、画像診断装置において最も高い値を示した感度が最も重要な診断値と考えられる。

　以上のように、本発明者は、ヨード染色が行われない食道の内視鏡画像から多発ヨード不染帯が存在する症例、すなわち食道扁平上皮がん、頭頸部扁平上皮がんの発生リスクが高い症例を高感度で診断することが可能な画像診断装置を構築した。この画像診断装置を用いることにより、内視鏡医は、ヨード染色を用いない通常の内視鏡検査において、慎重なサーベイランスが必要な食道扁平上皮がんのハイリスク症例を効率的に検出することができ、ヨード染色を適切に適用し、高精度な食道がん診断をすることができる。

　本出願は、２０２０年４月２７日付で出願された日本国特許出願（特願２０２０－０７８６０１）に基づくものであり、その内容はここに参照として取り込まれる。

　本発明は、食道の内視鏡検査において、食道がんの診断精度を向上させることが可能な画像診断装置、画像診断方法、画像診断プログラムおよび学習済みモデルとして有用である。リアルタイム動画診断と多発ヨード不染帯の予測からがんリスク判定も行うことで、被験者臓器ごとに適した迅速で高精度な内視鏡による食道がん診断法を提供する。

　１０,１０Ａ　内視鏡画像取得部
　２０,２０Ａ　推定部
　３０,３０Ａ　表示制御部
　４０,４０Ａ　学習装置
　１００,１００Ａ　画像診断装置
　１０１　ＣＰＵ
　１０２　ＲＯＭ
　１０３　ＲＡＭ
　１０４　外部記憶装置
　１０５　通信インターフェイス
　２００,２００Ａ　内視鏡撮像装置
　３００,３００Ａ　表示装置
　Ｄ１　内視鏡画像データ
　Ｄ２　推定結果データ
　Ｄ３　判定結果画像データ
　Ｄ４　教師データ

Claims

　被験者の食道を撮像した内視鏡動画像を取得する内視鏡画像取得部と、
　食道がんが存在する食道を撮像した食道がん画像を教師データとして学習させた畳み込みニューラルネットワークを用いて、取得された前記内視鏡動画像内に存在する食道がんの位置を推定する推定部と、
　推定された食道がんの位置と、当該位置に食道がんが存在する可能性を指標する確信度とを前記内視鏡動画像上に重畳表示させる表示制御部と、
　を備える画像診断装置。
　前記内視鏡動画像は、内視鏡撮像装置を前記食道に挿入して撮像され、
　前記食道に食道がんが存在するリスクに応じた食道内腔の観察速度として前記内視鏡撮像装置の基準挿入速度を設定し、前記基準挿入速度と、実際の挿入速度との間に乖離がある場合に警告を出力させる警告出力制御部を備える、
　請求項１に記載の画像診断装置。
　前記リスクは、ヨード染色が行われずに、多発ヨード不染帯が存在する食道を撮像した非ヨード染色画像である多発ヨード不染帯食道画像と、多発ヨード不染帯が存在しない食道を撮像した非ヨード染色画像である非多発ヨード不染帯食道画像とを教師データとして学習させた畳み込みニューラルネットワークを用いて、前記食道における多発ヨード不染帯の存在有無の推定から判定される、
　請求項２に記載の画像診断装置。
　被験者の食道を撮像した内視鏡動画像を取得する内視鏡画像取得工程と、
　食道がんが存在する食道を撮像した食道がん画像を教師データとして学習させた畳み込みニューラルネットワークを用いて、取得された前記内視鏡動画像内に存在する食道がんの位置を推定する推定工程と、
　推定された食道がんの位置と、当該位置に食道がんが存在する可能性を指標する確信度とを前記内視鏡動画像上に重畳表示させる表示制御工程と、
　を含む画像診断方法。
　前記食道がん画像を教師データとして学習させた畳み込みニューラルネットワークを、ヨード染色が行われずに、多発ヨード不染帯が存在する食道を撮像した非ヨード染色画像である多発ヨード不染帯食道画像と、多発ヨード不染帯が存在しない食道を撮像した非ヨード染色画像である非多発ヨード不染帯食道画像とを教師データとして学習させた畳み込みニューラルネットワークと連結して実行させる、
　請求項４に記載の画像診断方法。
　コンピューターに、
　被験者の食道を撮像した内視鏡動画像を取得する内視鏡画像取得処理と、
　食道がんが存在する食道を撮像した食道がん画像を教師データとして学習させた畳み込みニューラルネットワークを用いて、取得された前記内視鏡動画像内に存在する食道がんの位置を推定する推定処理と、
　推定された食道がんの位置と、当該位置に食道がんが存在する可能性を指標する確信度とを前記内視鏡動画像上に重畳表示させる表示制御処理と、
　を実行させる画像診断プログラム。
　前記食道がん画像を教師データとして学習させた畳み込みニューラルネットワークを、ヨード染色が行われずに、多発ヨード不染帯が存在する食道を撮像した非ヨード染色画像である多発ヨード不染帯食道画像と、多発ヨード不染帯が存在しない食道を撮像した非ヨード染色画像である非多発ヨード不染帯食道画像とを教師データとして学習させた畳み込みニューラルネットワークと連結して実行させる、
　請求項６に記載の画像診断プログラム。
　ヨード染色が行われずに、多発ヨード不染帯が存在する食道を撮像した非ヨード染色画像である多発ヨード不染帯食道画像と、多発ヨード不染帯が存在しない食道を撮像した非ヨード染色画像である非多発ヨード不染帯食道画像とを教師データとして畳み込みニューラルネットワークを学習させることによって得られ、
　被験者の食道を撮像した内視鏡画像と食道がんとの関連の有無を推定し、推定結果を出力するようコンピューターを機能させる学習済みモデル。