TW201922174A

TW201922174A - 圖像診斷支援裝置、資料收集方法、圖像診斷支援方法及圖像診斷支援程式

Info

Publication number: TW201922174A
Application number: TW107138465A
Authority: TW
Inventors: 平澤俊明; 多田智裕; 青山和玄
Original assignee: 公益財團法人癌症研究會; 日商Ａｉ醫療服務股份有限公司
Priority date: 2017-10-30
Filing date: 2018-10-30
Publication date: 2019-06-16
Also published as: BR112020008774A2; SG11202003973VA; US20200337537A1; JP6657480B2; US11633084B2; WO2019088121A1; JP2020073081A; JPWO2019088121A1; KR20200106028A; EP3705025A1; EP3705025A4; JP7335552B2; CN111655116A

Abstract

一種可支援由內視鏡醫生所進行的內視鏡圖像的診斷的圖像診斷支援裝置、資料收集方法、圖像診斷支援方法及圖像診斷支援程式。圖像診斷支援裝置包括：病變推斷部，利用卷積神經網路推斷由消化器官內視鏡攝像裝置所拍攝的被檢查者的消化器官內視鏡圖像內所存在的病變的名稱與位置、及該些的準確度的資訊；以及顯示控制部，生成顯示該病變的名稱與位置、及該些的準確度的分析結果圖像，並進行使所述分析結果圖像顯示於消化器官內視鏡圖像上的控制；且卷積神經網路根據藉由萎縮、腸上皮化生、黏膜的隆起或凹陷、及黏膜色調的狀況的特徵提取而事先判定的多個消化器官腫瘤內視鏡圖像內所存在的病變的病變名及病變位置來進行學習處理。

Description

圖像診斷支援裝置、資料收集方法、圖像診斷支援方法及圖像診斷支援程式

本發明是有關於一種圖像診斷支援裝置、資料收集方法、圖像診斷支援方法及圖像診斷支援程式。

癌症是世界上死因最高的疾病，根據世界衛生組織（World Health Organization，WHO）的統計，於2015年死亡880萬人，按臟器分類，包含胃或大腸等的消化系統佔據首位。尤其胃癌是世界上第五多的惡性腫瘤，且為世界上第三多的癌症關聯死亡的原因，每年產生約100萬的新病例，約70萬人死亡。胃癌患者的預後依存於診斷時的癌症的階段（進行度）。雖然已進行的胃癌為預後不良，但早期胃癌的5年生存率為90%以上，藉由迅速地發現早期的病灶，並以外科方式切除，可完全治好許多胃癌。因此，早期胃癌的內視鏡檢測是用於減少胃癌死亡率的最有效的方法，利用如內視鏡黏膜切除術（Endoscopic Mucosal Resection，EMR）或內視鏡黏膜下層剝離術（Endoscopic Submucosal Dissection，ESD）般的臟器保存型的內視鏡療法進行治療的技術的普及可對患者帶來極大的恩惠。

消化器官的內視鏡檢查（特別是上部消化管內視鏡檢查（Esophagogastroduodenoscopy， EGD））是用於診斷胃癌的標準方法，但藉由利用EGD的觀察來檢測胃癌時的假陰性率據說是26%（參照非專利文獻1），而為高頻度。進而，大部分的胃癌自萎縮性黏膜中產生，早期胃癌的一部分僅顯示出微細的形態變化，而難與伴隨萎縮性變化的背景黏膜進行區分，因此經驗少的內視鏡醫生有看漏胃癌的傾向。因此，內視鏡醫生需要用於適當地檢測胃癌的特別的培訓與經驗，但積累有一定的經驗的內視鏡醫生的培養據說需要1萬張的圖像診斷經驗與10年的期間。

於消化器官的內視鏡檢查中收集許多內視鏡圖像，但為了管理診斷精度，理想的是由內視鏡醫生進行內視鏡圖像的二次核對，於「用於對策型診察的胃內視鏡診察手冊」（一般社團法人日本消化器官癌症診察學會編）中規定必須二次核對。但是，內視鏡圖像的二次核對需要許多時間，因此對於醫療現場的內視鏡醫生而言成為沉重的負擔。

而且，根據該些內視鏡圖像的診斷可謂是根據經驗與觀察的主觀判定，存在產生各種假陽性判斷及假陰性判斷的可能性。進而，醫療機器是只有機器自身的性能與操作者的準確的操作的兩條件得到滿足，才發揮最高度的性能者，但於內視鏡診斷中，有時因內視鏡醫生的疲勞而導致精度下降。為了彌補此種內視鏡醫生的個人問題，近年來，將利用機械學習的圖像辨識的精度已飛躍性地提昇的AI（人工智慧：artificial intelligence）有效地用作內視鏡醫生的支援，藉此期待內視鏡圖像的二次核對作業的精度與速度提昇。

近年來，利用深度學習（深層學習）的AI於各種醫療領域中受到關注，有AI可代替專科醫生來進行包含放射線腫瘤學、皮膚癌分類、糖尿病性視網膜症、胃活檢的組織學分類、利用超擴大內視鏡的大腸病變的特徵建立的醫療領域的圖像診斷的各種報告。尤其，於顯微內視鏡水準中，AI可展現出與專科醫生同等的精度已得到證明（參照非專利文獻2）。另外，於皮膚科中，具有深度學習功能的AI發揮與專科醫生同等的圖像診斷能力已得到發表（參照非專利文獻3），亦存在利用各種機械學習法的專利文獻（參照專利文獻1、專利文獻2）。
[現有技術文獻]
[專利文獻]

[專利文獻1]日本專利特開2017-045341號公報
[專利文獻2]日本專利特開2017-067489號公報
[非專利文獻]

[非專利文獻1] 細川（Hosokawa）O等人., 「肝胃腸病學（Hepatogastroenterology）」.2007；54（74）：442-4.
[非專利文獻2]http://www.giejournal.org/article/S0016-5107（14）02171-3/fulltext, 「使用細胞內視鏡的用於結腸直腸病變的新型電腦輔助診斷系統（Novel computer-aided diagnostic system for colorectal lesions by using endocytoscopy）」森悠一（Yuichi Mori）等人. 於消化系統疾病周提出（Presented at Digestive Disease Week）2014, 5月3日-6日, 2014, 芝加哥, 伊利諾伊州, 美國
[非專利文獻3]「自然（Nature）」2017年2月號，卷首論文，「學習皮膚的病變：強化人工智慧根據圖像檢測皮膚癌的能力」（http://www.natureasia.com/ja-jp/nature/highlights/82762）

[發明所欲解決之課題]
如上所述，已暗示AI的圖像辨識能力與人類專科醫生一樣，但於消化器官的常規內視鏡檢查中，使用AI的內視鏡圖像的診斷能力的診斷支援技術是尚未被導入醫療現場中，今後的實用化受到期待的狀況。

本發明的目的是提供一種可支援由內視鏡醫生所進行的內視鏡圖像的診斷的圖像診斷支援裝置、資料收集方法、圖像診斷支援方法及圖像診斷支援程式。
[解決課題之手段]

本發明的圖像診斷支援裝置包括：
病變推斷部，利用卷積神經網路（Convolutional Neural Network，CNN）推斷由消化器官內視鏡攝像裝置所拍攝的被檢查者的消化器官內視鏡圖像內所存在的病變的名稱與位置、及該些的準確度的資訊；以及
顯示控制部，生成顯示該病變的名稱與位置、及該些的準確度的分析結果圖像，並進行使所述分析結果圖像顯示於所述消化器官內視鏡圖像上的控制；且
所述卷積神經網路根據藉由提取萎縮、腸上皮化生、黏膜的隆起或凹陷、及黏膜色調的狀況的特徵而事先判定的多個消化器官腫瘤內視鏡圖像內所存在的病變的病變名稱及病變位置來進行學習處理。

本發明的資料收集方法針對被檢查者的消化管，使用所述圖像診斷支援裝置，將所述顯示控制部的顯示結果作為與消化管病變相關的資料來收集。

本發明的圖像診斷支援方法使用如下的裝置，所述裝置包括：
病變推斷部，利用卷積神經網路推斷由消化器官內視鏡攝像裝置所拍攝的被檢查者的消化器官內視鏡圖像內所存在的病變的名稱與位置、及該些的準確度的資訊；以及
顯示控制部，生成顯示該病變的名稱與位置、及該些的準確度的分析結果圖像，並進行使所述分析結果圖像顯示於所述消化器官內視鏡圖像上的控制；且
所述卷積神經網路根據藉由提取萎縮、腸上皮化生、黏膜的隆起或凹陷、及黏膜色調的狀況的特徵而事先判定的多個消化器官腫瘤內視鏡圖像內所存在的病變的病變名稱及病變位置來進行學習處理。

本發明的圖像診斷支援程式使電腦執行：
利用卷積神經網路推斷由消化器官內視鏡攝像裝置所拍攝的被檢查者的消化器官內視鏡圖像內所存在的病變的名稱與位置、及該些的準確度的資訊的處理；以及
生成顯示該病變的名稱與位置、及該些的準確度的分析結果圖像，並進行使所述分析結果圖像顯示於所述內視鏡圖像上的控制的處理；且
所述卷積神經網路根據藉由提取萎縮、腸上皮化生、黏膜的隆起或凹陷、及黏膜色調的狀況的特徵而事先判定的多個消化器官腫瘤內視鏡圖像內所存在的病變的病變名稱及病變位置來進行學習處理。

與本發明中的利用病變部位（萎縮、腸上皮化生、黏膜的隆起或凹陷、黏膜色調的狀況）的特徵提取的判定相關的基準可由經驗豐富的內視鏡醫生高精度地設定，例如於本發明者的著作（「利用常規內視鏡觀察的早期胃癌的挑出與診斷」，平澤俊明/河內洋・著，藤崎順子・監修，日本醫療中心，2016年）中有詳細記載。
[發明的效果]

根據本發明，可提供一種支援由內視鏡醫生所進行的內視鏡圖像的診斷的技術。

以下，根據圖式對本實施方式進行詳細說明。

[圖像診斷支援裝置的整體結構]
首先，對本實施方式中的圖像診斷支援裝置100的結構進行說明。圖1是表示圖像診斷支援裝置100的整體結構的方塊圖。圖2是表示本實施方式中的圖像診斷支援裝置100的硬體結構的一例的圖。

圖像診斷支援裝置100於消化器官（例如食道、胃、十二指腸或大腸等）的內視鏡檢查中，使用卷積神經網路（Convolutional Neural Network ，CNN）所具有的內視鏡圖像的診斷能力，支援由醫師（例如內視鏡醫生）所進行的內視鏡圖像的診斷。於圖像診斷支援裝置100上連接有內視鏡攝像裝置200（對應於本發明的「消化器官內視鏡攝像裝置」）及顯示裝置300。

內視鏡攝像裝置200例如為內置有攝像元件的電子內視鏡（亦稱為視訊內視鏡）、或於光學式內視鏡中安裝內置有攝像元件的相機頭而成的安裝有相機的內視鏡等。內視鏡攝像裝置200例如自被檢查者的口或鼻插入消化器官中，對該消化器官內的診斷對象部位進行拍攝。而且，內視鏡攝像裝置200將表示拍攝消化器官內的診斷對象部位所得的內視鏡圖像（對應於本發明的「消化器官內視鏡圖像」）的內視鏡圖像資料D1（靜態圖像）輸出至圖像診斷支援裝置100中。再者，亦可為內視鏡動態圖像，而非內視鏡圖像資料D1。

顯示裝置300例如為液晶顯示器，將自圖像診斷支援裝置100中輸出的分析結果圖像可辨識地顯示給醫師。

圖像診斷支援裝置100是包括中央處理單元（Central Processing Unit，CPU）101、唯讀記憶體（Read Only Memory，ROM）102、隨機存取記憶體（Random Access Memory，RAM）103、外部記憶裝置（例如快閃記憶體）104、及通信接口105、圖形處理單元（Graphics Processing Unit，GPU）106等作為主要的組件的電腦。

圖像診斷支援裝置100的各功能例如藉由CPU101參照記憶於ROM102、RAM103、外部記憶裝置104等中的控制程式（例如圖像診斷支援程式）或各種資料（例如內視鏡圖像資料、教學資料、卷積神經網路的模型資料（結構資料及已學習的權重參數等））等來實現。再者，RAM103例如作為資料的作業區域或臨時退避區域發揮功能。

再者，各功能的一部分或全部亦可藉由代替利用CPU的處理的利用數位訊號處理器（Digital Signal Processor，DSP）的處理來實現、或者藉由利用CPU的處理與利用DSP的處理一同來實現。另外，同樣地，各功能的一部分或全部亦可藉由代替利用軟體的處理的利用專用的硬體電路的處理來實現、或者藉由利用軟體的處理與利用專用的硬體電路的處理一同來實現。

如圖1所示，圖像診斷支援裝置100包括內視鏡圖像取得部10、病變推斷部20、顯示控制部30。學習裝置40具有生成圖像診斷支援裝置100中所使用的卷積神經網路的模型資料（結構資料及已學習的權重參數等）的功能。

[圖像取得部]
圖像取得部10取得自內視鏡攝像裝置200中輸出的內視鏡圖像資料D1。而且，圖像取得部10將所取得的內視鏡圖像資料D1輸出至病變推斷部20中。再者，圖像取得部10於取得內視鏡圖像資料D1時，可自內視鏡攝像裝置200直接取得，亦可取得儲存於外部記憶裝置104中的內視鏡圖像資料D1、或經由網際網路線路等所提供的內視鏡圖像資料D1。

[病變推斷部]
病變推斷部20使用卷積神經網路，推斷由自內視鏡圖像取得部10中輸出的內視鏡圖像資料D1表示的內視鏡圖像內所存在的病變的病變名（名稱）與病變位置（位置）、及該病變名與病變位置的準確度。而且，病變推斷部20將自內視鏡圖像取得部10中輸出的內視鏡圖像資料D1與表示病變名、病變位置及準確度的推斷結果的推斷結果資料D2輸出至顯示控制部30中。

於本實施方式中，病變推斷部20推斷概率分數作為表示病變名及病變位置的準確度的指標。概率分數由大於0、且1以下的值表示。概率分數越高，意味著病變名及病變位置的準確度越高。

再者，概率分數是表示病變名及病變位置的準確度的指標的一例，可使用其他任意的形態的指標。例如，概率分數可為由0%～100%的值表示的形態，亦可為由幾個等級的水準值中的任一個表示的形態。

卷積神經網路是前饋型（feed forward）神經網路的一種，且為基於腦的視覺區的結構中的見識者。基本上，變成使擔負圖像的局部的特徵提取的卷積層、及於各局部將特徵匯總的池化層（pooling layer）（子採樣層（subsampling layer））重覆的結構。根據卷積神經網路的各層，持有多個神經元（Neuron），各個神經元以如與視覺區對應般的形態來配置。各個神經元的基本的工作包含訊號的輸入與輸出。但是，各層的神經元間於相互傳遞訊號時，並不將所輸入的訊號直接輸出，而對各個輸入設定連接權（connection weight），當其加權的輸入的總和已超過各神經元中所設定的臨限值時，將訊號輸出至下一層的神經元中。先根據學習資料來算出該些神經元間的連接權。藉此，藉由輸入即時的資料，可進行輸出值的推斷。只要是可實現該目的的卷積神經網路，則構成其的演算法並無特別限定。

圖3是表示本實施方式中的卷積神經網路的結構的圖。再者，卷積神經網路的模型資料（結構資料及已學習的權重參數等）與圖像診斷支援程式一同被儲存於外部記憶裝置104中。

如圖3所示，卷積神經網路例如具有特徵提取部Na與辨識部Nb。特徵提取部Na實施自所輸入的圖像（內視鏡圖像資料D1）中提取圖像特徵的處理。辨識部Nb根據由特徵提取部Na所提取的圖像特徵而輸出與圖像相關的推斷結果。

特徵提取部Na是使多個特徵量提取層（Na1、Na2・・・）分階層地連接來構成。各特徵量提取層（Na1、Na2・・・）包括卷積層（Convolution layer）、激活層（Activation layer）及池化層（Pooling layer）。

第一層的特徵量提取層Na1藉由光柵掃瞄而每隔規定尺寸對所輸入的圖像進行掃描。而且，特徵量提取層Na1藉由卷積層、激活層及池化層來對經掃描的資料實施特徵量提取處理，藉此提取輸入圖像中所包含的特徵量。第一層的特徵量提取層Na1例如提取於水平方向上延長的線狀的特徵量或於傾斜方向上延長的線狀的特徵量等比較簡單的單獨的特徵量。

第二層的特徵量提取層Na2例如藉由光柵掃瞄而每隔規定尺寸對自上一階層的特徵量提取層Na1所輸入的圖像（亦稱為特徵圖）進行掃描。而且，特徵量提取層Na2同樣對經掃描的資料實施利用卷積層、激活層及池化層的特徵量提取處理，藉此提取輸入圖像中所包含的特徵量。再者，第二層的特徵量提取層Na2一面參照第一層的特徵量提取層Na1所提取的多個特徵量的位置關係等一面進行統合，藉此提取更高維度的複合的特徵量。

第二層以後的特徵量提取層（圖3中，為了便於說明，僅表示兩個階層的特徵量提取層Na）執行與第二層的特徵量提取層Na2相同的處理。而且，最終層的特徵量提取層的輸出（多個特徵圖的圖內的各值）被輸入至辨識部Nb中。

辨識部Nb例如包含使多個全連接層（Fully Connected）分階層地連接而成的多層感知器。

辨識部Nb的輸入側的全連接層與自特徵提取部Na取得的多個特徵圖的圖內的各值全連接，一面相對於所述各值使權重係數變化一面進行積和演算後輸出。

辨識部Nb的下一階層的全連接層與上一階層的全連接層的各元件所輸出的值全連接，一面相對於所述各值使權重係數不同一面進行積和演算。而且，於辨識部Nb的最後段設置輸出內視鏡圖像內所存在的病變的病變名與病變位置、及該病變名與病變位置的概率分數（準確度）的層（例如，歸一化指數函數（softmax function）等）。

卷積神經網路能夠以先使用事先由經驗豐富的內視鏡醫生進行了標記處理的參考資料（以下，稱為「教學資料」）進行學習處理，藉此可根據所輸入的內視鏡圖像輸出所期望的推斷結果（此處為病變名、病變位置及概率分數）的方式保有推斷功能。

本實施方式中的卷積神經網路以如下方式構成：輸入內視鏡圖像資料D1（圖3的（輸入）input），並將對應於由該內視鏡圖像資料D1表示的內視鏡圖像的圖像特徵的病變名、病變位置及概率分數作為推斷結果資料D2而輸出（圖3的（輸出）output）。

再者，卷積神經網路亦可更適宜地設為除內視鏡圖像資料D1以外，可輸入涉及年齡、性別、地域、或過往病史的資訊的結構（例如，作為辨識部Nb的輸入元件來設置）。實際臨床中的真實世界資料（real world data）的重要性特別受到重視，因此藉由追加此種患者屬性的資訊，於實際臨床中，可開展成更有用的系統。即，內視鏡圖像的特徵與涉及年齡、性別、地域或過往病史的資訊具有關聯關係，除內視鏡圖像資料D1以外，使卷積神經網路參照年齡等患者屬性資訊，藉此可變成可更高精度地推斷病變名、病變位置的結構。有時疾病的病態亦因地域或人種而不同，因此尤其當於國際上有效地利用本發明時，該方法是應採納的事項。

另外，除利用卷積神經網路的處理以外，病變推斷部20亦可進行轉換成內視鏡圖像的尺寸或縱橫比的處理、內視鏡圖像的顏色分割處理、內視鏡圖像的顏色轉換處理、顏色提取處理、亮度梯度提取處理等作為前處理。

[顯示控制部]
顯示控制部30生成於由自病變推斷部20中輸出的內視鏡圖像資料D1表示的內視鏡圖像上，顯示由自病變推斷部20中輸出的推斷結果資料D2表示的病變名、病變位置及概率分數的分析結果圖像。而且，顯示控制部30將內視鏡圖像資料D1與表示所生成的分析結果圖像的分析結果圖像資料D3輸出至顯示裝置300中。於此情況下，亦可連接內視鏡圖像的病變部的結構強調或色彩強調、高對比度化、高精細化等的數位圖像處理系統，實施幫助觀察者的理解與判定的加工後進行顯示。

顯示裝置300使由分析結果圖像資料D3表示的分析結果圖像顯示於由自顯示控制部30中輸出的內視鏡圖像資料D1表示的內視鏡圖像上。所顯示的內視鏡圖像及分析結果圖像例如可用於內視鏡圖像的二次核對作業。另外，於本實施方式中，至顯示一張內視鏡圖像及分析結果圖像為止的時間非常快，因此除內視鏡圖像的二次核對作業以外，亦可作為內視鏡動畫而用於由醫師所進行的即時的診斷輔助。

圖4是表示本實施方式中的使分析結果圖像顯示於內視鏡圖像上的例子的圖。如圖4所示，於分析結果圖像中顯示有表示由病變推斷部20所推斷的病變位置（範圍）的矩形框50、病變名（早期癌：早期胃癌（early stomach cancer））及概率分數（0.8）。於本實施方式中，就對喚起參照分析結果圖像的醫師的注意加以促進的觀點而言，當概率分數為某一臨限值（例如，0.4）以上時，表示由病變推斷部20所推斷的病變位置（範圍）的矩形框利用黃色來顯示。即，顯示控制部30對應於由自病變推斷部20中輸出的推斷結果資料D2表示的概率分數，變更確定分析結果圖像中的病變位置的病變位置確定資訊（本實施方式中為矩形框）的顯示形態。再者，矩形框52僅供參考，其表示已由醫師診斷為胃癌的病變位置（範圍），並不顯示於實際的分析結果圖像中，但表示變成與熟練的內視鏡醫生的判定相同的結果。

[學習裝置]
學習裝置40輸入記憶於未圖示的外部記憶裝置中的教學資料D4，針對學習裝置40的卷積神經網路進行學習處理，以使病變推斷部20的卷積神經網路可根據內視鏡圖像資料D1推斷病變位置、病變名及概率分數。

於本實施方式中，學習裝置40將由內視鏡攝像裝置200對被檢查者的消化器官進行拍攝所得的內視鏡圖像（對應於本發明的「消化器官腫瘤內視鏡圖像」），以及藉由萎縮、腸上皮化生、黏膜的隆起或凹陷、黏膜色調的狀況的特徵提取而事先由醫師判定的該內視鏡圖像內所存在的病變的病變名及病變位置用作教學資料D4來進行學習處理。具體而言，學習裝置40以相對於將內視鏡圖像輸入至卷積神經網路中時的正解值（病變名及病變位置）的輸出資料的誤差（亦稱為損失）變小的方式，進行卷積神經網路的學習處理。

於本實施方式中，於作為教學資料D4的內視鏡圖像中包含對被檢查者的消化器官內照射白色光來進行拍攝所得的內視鏡圖像、對被檢查者的消化器官內散布色素（例如靛藍胭脂紅、碘液）來進行拍攝所得的內視鏡圖像、及對被檢查者的消化器官內照射窄帶光（例如窄帶成像（Narrow Band Imaging，NBI）用窄帶光、藍光雷射成像（Blue Laser Imaging，BLI）用窄帶光）來進行拍攝所得的內視鏡圖像。學習處理中的作為教學資料D4的內視鏡圖像主要使用日本頂級的癌症治療專科醫院的資料庫，具有豐富的診斷・治療經驗的日本消化器官內視鏡學會指導醫生對所有圖像進行詳細研究、挑選，並藉由精密的手動處理來進行對於病變的病變位置的做標記。成為參考資料的教學資料D4（內視鏡圖像資料）的精度管理直接關係到圖像診斷支援裝置100的分析精度，因此由具有豐富的經驗的權威內視鏡醫生所進行的圖像挑選與病變鑑定、特徵提取的做標記是極其重要的步驟。

內視鏡圖像的教學資料D4可為畫素值的資料，亦可為進行了規定的顏色轉換處理等的資料。另外，亦可使用紋理結構特徵、形狀特徵、寬度特徵等作為前處理者。再者，除內視鏡圖像資料以外，教學資料D4亦可將涉及年齡、性別、地域或過往病史的資訊建立關聯來進行學習處理。

再者，學習裝置40進行學習處理時的演算法可為公知的方法。學習裝置40例如使用公知的反向傳播（Backpropagation：誤差反向傳播法），針對卷積神經網路實施學習處理，並調整網路參數（權重係數、偏差等）。而且，由學習裝置40實施了學習處理的卷積神經網路的模型資料（結構資料及已學習的權重參數等）例如與圖像診斷支援程式一同被儲存於外部記憶裝置104中。

如以上所詳細說明般，於本實施方式中，圖像診斷支援裝置100包括：病變推斷部，利用卷積神經網路推斷由消化器官內視鏡攝像裝置所拍攝的被檢查者的消化器官內視鏡圖像內所存在的病變的名稱與位置、及該些的準確度的資訊；以及顯示控制部，生成顯示該病變的名稱與位置、及該些的準確度的分析結果圖像，並進行使所述分析結果圖像顯示於消化器官內視鏡圖像上的控制。卷積神經網路根據藉由萎縮、腸上皮化生、黏膜的隆起或凹陷、及黏膜色調的狀況的特徵提取而事先判定的多個消化器官腫瘤內視鏡圖像內所存在的病變的病變名及病變位置來進行學習處理。

根據如此構成的本實施方式，卷積神經網路根據針對多個被檢查者的各者事先獲得的多個消化器官的內視鏡圖像、及針對多個被檢查者的各者事先獲得的病變的病變名與病變位置的確定診斷結果來進行學習，因此能夠以短時間、且實質上匹敵經驗豐富的內視鏡醫生的精度，推斷新的被檢查者的消化器官的病變名及病變位置。因此，於消化器官的內視鏡檢查中，可使用本發明的卷積神經網路所具有的內視鏡圖像的診斷能力，強力地支援由內視鏡醫生所進行的內視鏡圖像的診斷。於實際臨床中，內視鏡醫生亦可於診室中將本發明的卷積神經網路直接用作診斷支援工具，另一方面，亦可將自多個診室所傳送的內視鏡圖像設為中央診斷支援服務、或藉由經由網際網路線路的遠距離操作而用作對於遠方的機關的診斷支援服務。

再者，所述實施方式均只不過是表示實施本發明時的具體化的一例者，並不藉由該些實施方式來限定性地解釋本發明的技術範圍。即，本發明可不脫離其主旨或其主要的特徵而以各種形態實施。

[實驗例]
最後，對用於確認所述實施方式的結構中的效果的評價試驗進行說明。

[學習用資料集的準備]
準備2004年4月～2016年12月所進行的EGD的內視鏡圖像作為用於圖像診斷支援裝置中的卷積神經網路的學習的學習用資料集（教學資料）。EGD是為了日常診療中的篩查或術前檢查而實施，內視鏡圖像使用標準的內視鏡（GIF-H290Z、GIF-H290、GIF-XP290N、GIF-H260Z、GIF-Q260J、GIF-XP260、GIF-XP260NS、GIF-N260等，奧林巴斯醫療系統（Olympus Medical Systems）公司，東京）及標準的內視鏡視訊系統（埃維斯·盧塞拉（EVIS LUCERA）CV-260/CLV-260、埃維斯·盧塞拉·埃立特（EVIS LUCERA ELITE）CV-290/CLV-290SL，奧林巴斯醫療系統公司）來收集。

於作為學習用資料集的內視鏡圖像中包含對被檢查者的消化器官內照射白色光來進行拍攝所得的內視鏡圖像、對被檢查者的消化器官內散布色素（例如靛藍胭脂紅、碘液）來進行拍攝所得的內視鏡圖像、及對被檢查者的消化器官內照射窄帶光（例如NBI用窄帶光、BLI用窄帶光）來進行拍攝所得的內視鏡圖像。另外，將圖像品質因由送氣不足所引起的胃的伸展不良、活檢後的出血、暈光、鏡頭的模糊、失焦或黏液等而不佳的內視鏡圖像自學習用資料集中排除。

最終，針對已於組織學上得到證明的2,639個胃癌，收集了13,584張內視鏡圖像作為學習用資料集。作為胃癌的專家的日本消化器官內視鏡學會指導醫生（於癌症專科醫院中具有10年以上的經驗，具有診斷6,000個病例以上的胃癌的實際成績）於所收集的內視鏡圖像中，以手動方式精密地對所有胃癌（早期癌（early cancer）或進行性癌（advanced cancer））的病變名及病變位置進行特徵提取的標記設定，而準備學習用資料集。

[學習・演算法]
為了構築圖像診斷支援裝置，使用將視覺幾何組（Visual Geometry Group，VGG）（https://arxiv.org/abs/1409.1556）作為基礎的由16層以上構成的卷積神經網路。將由柏克萊視覺與學習中心（Berkeley Vision and Learning Center，BVLC）所開發的Caffe深度學習框架用於學習及評價試驗。卷積神經網路的所有層使用隨機梯度下降法（stochastic gradient descent），以0.0001的全域學習率（global learning rate）來進行微調整。為了與CNN具有互換性，將各圖像的尺寸調整成300×300畫素。

[評價試驗用資料集的準備]
為了評價所構築的基於卷積神經網路的圖像診斷支援裝置的診斷精度，自2017年3月1日至2017年3月31日為止，將於公益財團法人癌症研究會有明醫院中接受了作為常規的臨床檢查的EGD的69名患者（胃癌77個病變）作為對象，收集了2,296張內視鏡圖像（胃）作為評價試驗用資料集。其結果，於62人中胃癌存在1個病變，於6人中胃癌存在2個病變，於1人中胃癌存在3個病變。所有EGD使用標準的內視鏡（GIF-H290Z，奧林巴斯醫療系統公司，東京）及標準的內視鏡視訊系統（埃維斯·盧塞拉·埃立特（EVIS LUCERA ELITE）CV-290/CLV-290SL，奧林巴斯醫療系統公司）來實施。於EGD中，對胃內無遺漏地進行觀察，並拍攝內視鏡圖像，拍攝張數為每一名患者達到18張～69張。

圖5是表示與用於評價試驗用資料集的內視鏡圖像相關的患者及病變的特徵的圖。如圖5所示，腫瘤尺寸（直徑）的中位數為24 mm，腫瘤尺寸（直徑）的範圍為3 mm～170 mm。於肉眼分類中，表淺型（0-IIa、0-IIb、0-IIc、0-IIa＋IIc、0-IIc＋IIb、0-IIc＋III）為55個病變（71.4%）而最多。於腫瘤的深度中，早期胃癌（T1）為42個病變（67.5%），進行性胃癌（T2-T4）為25個病變（32.5%）。

[評價試驗的方法]
於本評價試驗中，對使用學習用資料集進行了學習處理的基於卷積神經網路的圖像診斷支援裝置輸入評價試驗用資料集，並對是否可根據構成該評價試驗用資料集的各內視鏡圖像來正確地檢測胃癌進行評價。將可正確地檢測到胃癌的情況看作「正解」。卷積神經網路若根據內視鏡圖像檢測胃癌（病變），則輸出其病變名（早期胃癌或進行性胃癌）、病變位置及概率分數。

再者，構成評價試驗用資料集的內視鏡圖像中所存在的胃癌中的若干胃癌存在於多個內視鏡圖像中，因此使用以下的定義進行評價試驗。

（定義1）
當卷積神經網路於多個內視鏡圖像中檢測到相同（一個）的胃癌時，看作正解。圖6A及圖6B是對在多個內視鏡圖像中存在相同的癌症的情況進行說明的圖。於圖6A、圖6B中，矩形框54、矩形框56表示由醫師手動設定的胃癌的病變位置（範圍）。矩形框58表示由卷積神經網路所推斷的胃癌的病變位置（範圍）。圖6A表示於遠景中對胃癌進行拍攝所得的內視鏡圖像，圖6B表示於近視場中對該胃癌進行拍攝所得的內視鏡圖像。如圖6A、圖6B所示，卷積神經網路於遠景中無法檢測到胃癌，但於近景中可檢測到胃癌。於此種情況下，於本評價試驗中看作正解。

（定義2）
即便於不同的內視鏡圖像中檢測到假陽性的病變（胃癌），當該些病變（胃癌）為相同的病變時，亦將該些病變（胃癌）看作一個病變。

（定義3）
由於存在胃癌的病變位置（範圍）的邊界線不明確的情況，因此將卷積神經網路檢測到胃癌的一部分的情況看作正解。圖7是對由醫師所診斷的病變位置（範圍）與由卷積神經網路所診斷的病變位置（範圍）的不同進行說明的圖。於圖7中，矩形框60表示由醫師手動設定的胃癌的病變位置（範圍）。矩形框62表示由卷積神經網路所推斷的胃癌的病變位置（範圍）。如圖7所示，在由醫師手動設定的胃癌的病變位置（範圍）與由卷積神經網路所推斷的胃癌的病變位置（範圍）之間存在差異。如此，當卷積神經網路檢測到胃癌的至少一部分時，於本評價試驗中看作正解。

另外，於本評價試驗中，使用以下的式（1）、式（2）來算出檢測胃癌的卷積神經網路的相對於診斷能力的感度及陽性預測值（Positive Predictive Value，PPV）。
感度＝（卷積神經網路所檢測到的胃癌的數量）/（構成評價試驗用資料集的內視鏡圖像中所存在的胃癌的數量（77））・・・（1）
陽性預測值＝（卷積神經網路所檢測到的胃癌的數量）/（卷積神經網路已診斷為胃癌的病變的數量）・・・（2）

[評價試驗的結果]
卷積神經網路於47秒的短時間內使對構成評價試驗用資料集的2,296張內視鏡圖像進行分析的處理結束。另外，卷積神經網路檢測到77個胃癌（病變）中的71個胃癌。即，卷積神經網路的相對於診斷能力的感度為92.2%。

圖8A及圖8B是表示內視鏡圖像及分析結果圖像的例子的圖。圖8A是於胃體中部小彎中略微存在平坦的紅色病變的內視鏡圖像。胃癌與背景黏膜的萎縮類似，因此可認為即便是內視鏡醫生，亦難以根據圖8A的內視鏡圖像檢測胃癌。圖8B是表示卷積神經網路檢測到胃癌（0-IIc，5 mm，tub1，T1a）的分析結果圖像。於圖8B中，矩形框64表示由醫師手動設定的胃癌的病變位置（範圍）。矩形框66表示由卷積神經網路所推斷的胃癌的病變位置（範圍）。

圖9是表示於本評價試驗中，對應於腫瘤的深度及腫瘤尺寸的不同的感度的變化的圖。如圖9所示，卷積神經網路檢測到腫瘤尺寸（直徑）為6 mm以上的71個胃癌中的71個胃癌（98.6%）。另外，卷積神經網路檢測到所有浸潤性癌（T1b、T2、T3、T4a）。

另一方面，卷積神經網路看漏了6個胃癌。6個胃癌中的5個是微小的癌（腫瘤尺寸≦5 mm）。所看漏的所有胃癌是就連內視鏡醫生亦難以與胃炎進行區分的分化型黏膜內癌。再者，胃黏膜內癌的倍增時間（腫瘤的體積變成2倍的時間）一般認為是2年～3年，因此可認為即便看漏此種小的癌，於每年的EGD中亦作為黏膜內癌受到檢測，並不妨礙本發明的卷積神經網路的有用性與臨床應用。

圖10是表示由卷積神經網路看漏的病變（胃癌）的詳細情況的圖。圖11A至圖11F是表示存在由卷積神經網路看漏的病變的內視鏡圖像（分析結果圖像）的圖。

於圖11A中，矩形框70表示由卷積神經網路看漏的胃癌（前庭部大彎，0-IIc，3 mm，tub1，T1a）的病變位置（範圍）。於圖11B中，矩形框72表示由卷積神經網路看漏的胃癌（胃體中部的小彎，0-IIc，4 mm，tub1，T1a）的病變位置（範圍）。

於圖11C中，矩形框74表示由卷積神經網路看漏的胃癌（前庭部後壁，0-IIc，4 mm，tub1，T1a）的病變位置（範圍）。於圖11D中，矩形框76表示由卷積神經網路看漏的胃癌（前庭部後壁，0-IIc，5 mm，tub1，T1a）的病變位置（範圍）。

於圖11E中，矩形框78表示由卷積神經網路看漏的胃癌（前庭部大彎，0-IIc，5 mm，tub1，T1a）的病變位置（範圍）。矩形框80是由卷積神經網路推斷為胃癌的非癌性病變（幽門環）。於圖11F中，矩形框82表示由卷積神經網路看漏的胃癌（胃體下部的前壁，0-IIc，16 mm，tub1，T1a）的病變位置（範圍）。

另外，卷積神經網路將161個非癌性病變作為胃癌來檢測。陽性預測值為30.6%。圖12是表示由卷積神經網路作為胃癌所檢測到的非癌性病變的詳細情況的圖。如圖12所示，作為胃癌所檢測到的非癌性病變的大致一半是伴隨色調的變化或不規則的黏膜表面的變化的胃炎。內視鏡醫生難以將此種胃炎與胃癌進行區分的情況亦多，有利用胃活檢的胃癌診斷的陽性反應預測值（Positive Predictive Value，PPV）為3.2%～5.6%的報告。關於癌症的臨床診斷，癌症檢測的看漏與患者喪失治療機會相關聯，因此假陰性比假陽性更成為問題。若考慮由內視鏡醫生所進行的活檢的PPV低，則可認為卷積神經網路的PPV於臨床上可充分容許。

圖13A至圖13C是表示包含由卷積神經網路作為胃癌所檢測到的非癌性病變的分析結果圖像的圖。於圖13A中，矩形框84表示由卷積神經網路作為胃癌所檢測到的胃炎（伴隨不整齊的黏膜表面結構的腸上皮化生）的病變位置（範圍）。於圖13B中，矩形框86表示由卷積神經網路作為胃癌所檢測到的胃炎（由局部的萎縮所產生的白色黏膜）的病變位置（範圍）。於圖13C中，矩形框88表示由卷積神經網路作為胃癌所檢測到的胃炎（由慢性胃炎所引起的黏膜的發紅）的病變位置（範圍）。

繼而，對用於確認所述實施方式的結構中的效果的第二評價試驗進行說明。

[學習用資料集的準備]
準備2013年12月～2017年3月所進行的大腸的內視鏡檢查12,895例的內視鏡圖像作為用於圖像診斷支援裝置中的卷積神經網路的學習的學習用資料集（教學資料）。於內視鏡圖像中包含已於組織學上由認定病理學者證明的腺癌、腺瘤、增生性息肉、無蒂鋸齒狀腺瘤/息肉（sessile serrated adenoma/polyps ，SSAP）、幼年性息肉、黑斑息肉（Peutz-Jeghers polyp）、炎症性息肉、淋巴球樣凝集塊等。EGD是為了日常診療中的篩查或術前檢查而實施，內視鏡圖像使用標準的內視鏡視訊系統（埃維斯·盧塞拉（EVIS LUCERA）：CF TYPE H260AL/I，PCF TYPE Q260AI、Q260AZI，H290I、H290Z，奧林巴斯醫療系統公司）來收集。

圖14A表示包含突出型的腺瘤的大腸的內視鏡圖像。圖14B表示包含平坦型的腫瘤（參照虛線90）的大腸的內視鏡圖像。圖14C表示包含突出型的增生性息肉的大腸的內視鏡圖像。圖14D表示包含平坦型的增生性息肉（參照虛線92）的大腸的內視鏡圖像。圖14E表示包含突出型的SSAP的大腸的內視鏡圖像。圖14F表示包含平坦型的SSAP（參照虛線94）的大腸的內視鏡圖像。

於作為學習用資料集的內視鏡圖像中包含對被檢查者的大腸內照射白色光來進行拍攝所得的內視鏡圖像、及對被檢查者的大腸內照射窄帶光（例如NBI用窄帶光）來進行拍攝所得的內視鏡圖像。另外，將圖像品質因糞便的殘留物、暈光、活檢後的出血而不佳的內視鏡圖像自學習用資料集中排除。

圖15A表示對被檢查者的大腸內的黑斑息肉照射白色光來進行拍攝所得的內視鏡圖像。圖15B表示對被檢查者的大腸內的黑斑息肉照射窄帶光（NBI用窄帶光）來進行拍攝所得的內視鏡圖像。圖15C表示對被檢查者的大腸內的炎症性息肉照射白色光來進行拍攝所得的內視鏡圖像。圖15D表示對被檢查者的大腸內的炎症性息肉照射窄帶光（NBI用窄帶光）來進行拍攝所得的內視鏡圖像。圖15E表示對在被檢查者的大腸內看起來像是息肉狀區域的非腫瘤性黏膜進行拍攝所得的內視鏡圖像。圖15F表示對在被檢查者的大腸內看起來像是息肉狀區域的淋巴球集合體進行拍攝所得的內視鏡圖像。

最終，作為學習用資料集，收集與已於組織學上得到證明的4,752個大腸息肉相關的20,431張內視鏡圖像，並且收集了與正常的大腸黏膜相關的4,013張內視鏡圖像。於所收集的內視鏡圖像中，以手動方式精密地對所有大腸息肉的病變名（種類）及病變位置進行了特徵提取的標記設定。圖16是表示與用於學習用資料集的內視鏡圖像相關的大腸息肉等的特徵的圖。再者，於圖16中，當於一張內視鏡圖像中包含多個大腸息肉時，將該多個大腸息肉的各者作為不同的內視鏡圖像來計算。

[學習・演算法]
為了構築圖像診斷支援裝置，使用將單次多盒檢測器（Single Shot MultiBox Detector，SSD）（https://arxiv.org/abs/1512.02325）作為基礎的由16層以上構成的卷積神經網路。將由柏克萊視覺與學習中心（Berkeley Vision and Learning Center，BVLC）所開發的Caffe深度學習框架用於學習及評價試驗。卷積神經網路的所有層使用隨機梯度下降法，以0.0001的全域學習率來進行微調整。為了與CNN具有互換性，將各圖像的尺寸調整成300×300畫素。對應於各圖像的尺寸調整，進行了相對於病變的病變位置的標記的尺寸變更。

[評價試驗用資料集的準備]
為了評價所構築的基於卷積神經網路的圖像診斷支援裝置的診斷精度，將自2017年1月1日至2017年3月31日為止，接受了作為常規的臨床檢查的EGD的174名患者作為對象，收集了包含具有大腸息肉的885張內視鏡圖像的6,759張內視鏡圖像（大腸）作為評價試驗用資料集。為了評價常規的臨床檢查中的圖像診斷支援裝置的診斷精度，亦收集了伴隨糞便或送氣不足的內視鏡圖像作為評價試驗用資料集。但是，伴隨炎症性腸疾病的內視鏡圖像存在診斷結果改變的可能性，因此自評價試驗用資料集中排除。另外，亦將伴隨活檢後的出血的內視鏡圖像、及內視鏡治療後的內視鏡圖像自評價試驗用資料集中排除。與學習用資料集同樣地，於作為評價試驗用資料集的內視鏡圖像中包含對被檢查者的大腸內照射白色光來進行拍攝所得的內視鏡圖像、及對被檢查者的大腸內照射窄帶光（例如NBI用窄帶光）來進行拍攝所得的內視鏡圖像。圖17是表示與用於評價試驗用資料集的內視鏡圖像相關的大腸息肉等的特徵的圖。再者，於圖17中，當於一張內視鏡圖像中包含多個大腸息肉時，將該多個大腸息肉的各者作為不同的內視鏡圖像來計算。

[評價試驗的方法]
於本評價試驗中，對使用學習用資料集進行了學習處理的基於卷積神經網路的圖像診斷支援裝置輸入評價試驗用資料集，並對是否可根據構成該評價試驗用資料集的各內視鏡圖像來正確地檢測大腸息肉進行評價。將可正確地檢測到大腸息肉的情況看作「正解」。卷積神經網路若根據內視鏡圖像檢測大腸息肉，則輸出其病變名（種類）、病變位置及概率分數。

再者，當要取得評價試驗的結果時，使用以下的定義進行評價試驗。

（定義1）
當於由醫師所診斷的大腸息肉的病變位置（範圍）的80%以上的區域中，由卷積神經網路所診斷的大腸息肉的病變位置（範圍）重迭時，於本評價試驗中，判斷為卷積神經網路根據內視鏡圖像而正確地檢測到大腸息肉，並看作正解。
（定義2）
當卷積神經網路根據內視鏡圖像而將種類不同的兩個以上的大腸息肉作為相同的病變位置（範圍）來檢測時，於本評價試驗中，判斷為卷積神經網路檢測到概率分數最高的種類的大腸息肉。

另外，於本評價試驗中，使用以下的式（1）、式（2）來算出檢測大腸息肉的卷積神經網路的相對於診斷能力的感度及陽性預測值（PPV）。
感度＝（卷積神經網路所檢測到的大腸息肉的數量）/（構成評價試驗用資料集的內視鏡圖像中所存在的大腸息肉的數量）・・・（1）
陽性預測值＝（卷積神經網路所檢測到的大腸息肉的數量）/（卷積神經網路已診斷為大腸息肉的病變的數量）・・・（2）

[評價試驗的結果]
卷積神經網路以48.7張/秒（即每一張內視鏡圖像的分析處理時間：20 ms）的快速的速度使對構成評價試驗用資料集的內視鏡圖像進行分析的處理結束。另外，卷積神經網路於構成評價試驗用資料集的內視鏡圖像中推斷1,247個大腸息肉的病變位置，並正確地檢測到1,172個真正的（已於組織學上得到證明）大腸息肉中的1,073個大腸息肉。卷積神經網路的相對於診斷能力的感度及陽性預測值分別為92%及86%。

具體而言，於對被檢查者的大腸內照射白色光來進行拍攝所得的內視鏡圖像中，卷積神經網路的相對於診斷能力的感度及陽性預測值分別為90%及82%。另外，於對被檢查者的大腸內照射窄帶光（NBI用窄帶光）來進行拍攝所得的內視鏡圖像中，卷積神經網路的相對於診斷能力的感度及陽性預測值分別為97%及98%。

另外，卷積神經網路於構成評價試驗用資料集的內視鏡圖像（包含只有未滿10 mm的真正的大腸息肉）中推斷1,143個大腸息肉的病變位置，並正確地檢測到1,143個真正的大腸息肉中的969個大腸息肉。卷積神經網路的相對於診斷能力的感度及陽性預測值分別為92%及85%。

為了提昇卷積神經網路的診斷能力，重要的是對未由卷積神經網路正確地檢測到真正的大腸息肉，即看漏的理由進行驗證。因此，本發明者等人對由卷積神經網路錯誤地檢測到大腸息肉的內視鏡圖像（假陽性圖像）、及未由卷積神經網路檢測到真正的大腸息肉的內視鏡圖像（假陰性圖像）均進行了複查，並分類成若干類別。

圖18是表示假陽性圖像及假陰性圖像的分類結果的圖。如圖18所示，165張假陽性圖像中的64張假陽性圖像（39%）是容易與大腸息肉進行區分的正常結構，其大部分是迴盲瓣（N＝56）。另外，55張假陽性圖像（33%）是大腸縐褶，其大部分是伴隨送氣不足的圖像。於其他假陽性圖像（20%）中包含容易與真正的大腸息肉進行區分，因暈光（N＝14）、相機鏡頭的表面模糊（N＝4）、污濁、污濁（N＝2）或排泄物（N＝4）而人為地產生的異常圖像。另外，12張假陽性圖像（7%）被疑為真正的息肉，但最終無法確認。

另外，如圖18所示，可認為89張假陰性圖像中的50張假陰性圖像（56%）主要因小或暗而難以辨識大腸息肉的表面的質感，未由卷積神經網路作為真正的大腸息肉而檢測到。另外，可認為34張假陰性圖像（38%）因大腸息肉被自側方拍攝、或被部分地拍攝，故未由卷積神經網路作為真正的大腸息肉而檢測到。另外，可認為5張假陰性圖像（6%）因大腸息肉非常大，故未由卷積神經網路作為真正的大腸息肉而檢測到。

另外，本發明者等人將已由卷積神經網路檢測並分類的大腸息肉的分類（CNN分類）、與已於組織學上得到證明的大腸息肉的分類（組織分類）的一致程度作為卷積神經網路的分類精度而進行了複查。圖19A及圖19B是表示CNN分類與組織分類的一致程度的圖。

如圖19A所示，於對被檢查者的大腸內照射白色光來進行拍攝所得的內視鏡圖像中，整體的83%的大腸息肉的分類已由卷積神經網路正確地分類。已於組織學上作為腺瘤而得到證明的大腸息肉中的97%的大腸息肉已由卷積神經網路作為腺瘤而正確地分類。此時的卷積神經網路的相對於診斷能力（分類能力）的陽性預測值及陰性預測值分別為86%及85%。另外，已於組織學上作為增生性息肉而得到證明的大腸息肉中的47%的大腸息肉已由卷積神經網路作為增生性息肉而正確地分類。此時的卷積神經網路的相對於診斷能力（分類能力）的陽性預測值及陰性預測值分別為64%及90%。另外，已於組織學上作為SSAP而得到證明的大腸息肉的大多數已由卷積神經網路作為腺瘤（26%）或增生性息肉（52%）而錯誤地分類。

如圖19B所示，於對被檢查者的大腸內照射窄帶光（NBI用窄帶光）來進行拍攝所得的內視鏡圖像中，整體的81%的大腸息肉的分類已由卷積神經網路正確地分類。已於組織學上作為腺瘤而得到證明的大腸息肉中的97%的大腸息肉已由卷積神經網路作為腺瘤而正確地分類。此時的卷積神經網路的相對於診斷能力（分類能力）的陽性預測值及陰性預測值分別為83%及91%。

另外，本發明者等人針對5 mm以下的大腸息肉，將已由卷積神經網路檢測並分類的大腸息肉的分類（CNN分類）、與已於組織學上得到證明的大腸息肉的分類（組織分類）的一致程度作為卷積神經網路的分類精度而進行了複查。圖20是針對5 mm以下的大腸息肉，表示CNN分類與組織分類的一致程度的圖。

如圖20所示，於對被檢查者的大腸內照射白色光來進行拍攝所得的內視鏡圖像中，已於組織學上作為腺瘤而得到證明的大腸息肉（N＝356）中的98%的大腸息肉（N＝348）已由卷積神經網路作為腺瘤而正確地分類。此時的卷積神經網路的相對於診斷能力（分類能力）的陽性預測值及陰性預測值分別為85%及88%。另外，已於組織學上作為增生性息肉而得到證明的大腸息肉中的50%的大腸息肉已由卷積神經網路作為增生性息肉而正確地分類。此時的卷積神經網路的相對於診斷能力（分類能力）的陽性預測值及陰性預測值分別為77%及88%。另外，雖然未圖示，但於對被檢查者的大腸內照射窄帶光（NBI用窄帶光）來進行拍攝所得的內視鏡圖像中，已於組織學上作為腺瘤而得到證明的大腸息肉（N＝142）中的97%的大腸息肉（N＝138）已由卷積神經網路作為腺瘤而正確地分類。此時的卷積神經網路的相對於診斷能力（分類能力）的陽性預測值及陰性預測值分別為84%及88%。如根據圖19A及圖19B、圖20中所示的結果而明確般，顯示出卷積神經網路的診斷能力（分類能力）與大腸息肉的大小無關而同等。

根據以上的第二評價試驗的結果，可知即便大腸息肉小，卷積神經網路亦能夠相當正確且以令人吃驚的速度有效地檢測大腸息肉，存在有助於減少大腸的內視鏡檢查中的大腸息肉的看漏的可能性。進而，可知卷積神經網路可將所檢測到的大腸息肉正確地分類，而強力地支援由內視鏡醫生所進行的內視鏡圖像的診斷。

圖21A至圖21F、圖22A至圖22H是表示第二評價試驗中的內視鏡圖像及分析結果圖像的例子的圖。圖21A表示包含已由卷積神經網路正確地檢測及分類的大腸息肉（腺瘤）的內視鏡圖像及分析結果圖像。如圖21A所示，於分析結果圖像中顯示有表示由卷積神經網路所推斷的病變位置（範圍）的矩形框110、病變名（腺瘤（Adenoma））及概率分數（0.97）。再者，矩形框112僅供參考，其表示已於組織學上得到證明的大腸息肉（腺瘤）的病變位置（範圍），並不顯示於實際的分析結果圖像中。

圖21B表示包含已由卷積神經網路正確地檢測及分類的大腸息肉（增生性息肉）的內視鏡圖像及分析結果圖像。如圖21B所示，於分析結果圖像中顯示有表示由卷積神經網路所推斷的病變位置（範圍）的矩形框114、病變名（增生性息肉（Hyperplastic））及概率分數（0.83）。再者，矩形框116僅供參考，其表示已於組織學上得到證明的大腸息肉（增生性息肉）的病變位置（範圍），並不顯示於實際的分析結果圖像中。

圖21C將包含未由卷積神經網路檢測到，即看漏的大腸息肉（腺瘤）的內視鏡圖像作為假陰性圖像來表示。矩形框118僅供參考，其表示已於組織學上得到證明的大腸息肉（腺瘤）的病變位置（範圍），並不顯示於實際的分析結果圖像中。

圖21D將包含已由卷積神經網路錯誤地檢測及分類的正常的大腸縐褶的內視鏡圖像及分析結果圖像作為假陽性圖像來表示。如圖21D所示，於分析結果圖像中顯示有表示由卷積神經網路所推斷的病變位置（範圍）的矩形框120、病變名（腺瘤（Hyperplastic））及概率分數（0.70）。

圖21E表示包含已由卷積神經網路正確地檢測病變位置（範圍），但錯誤地分類的大腸息肉（腺瘤）的內視鏡圖像及分析結果圖像。如圖21E所示，於分析結果圖像中顯示有表示由卷積神經網路所推斷的病變位置（範圍）的矩形框122、病變名（增生性息肉（Hyperplastic））及概率分數（0.54）。再者，矩形框124僅供參考，其表示已於組織學上得到證明的大腸息肉（腺瘤）的病變位置（範圍），並不顯示於實際的分析結果圖像中。

圖21F表示包含已由卷積神經網路正確地檢測病變位置（範圍），但錯誤地分類的大腸息肉（增生性息肉）的內視鏡圖像及分析結果圖像。如圖21F所示，於分析結果圖像中顯示有表示由卷積神經網路所推斷的病變位置（範圍）的矩形框126、病變名（腺瘤（Adenoma））及概率分數（0.62）。再者，矩形框128僅供參考，其表示已於組織學上得到證明的大腸息肉（增生性息肉）的病變位置（範圍），並不顯示於實際的分析結果圖像中。

圖22A將包含未由卷積神經網路檢測到，即看漏的大腸息肉（腺瘤）的內視鏡圖像作為假陰性圖像來表示。矩形框130、矩形框132僅供參考，其表示已於組織學上得到證明的大腸息肉（腺瘤）的病變位置（範圍），並不顯示於實際的分析結果圖像中。可認為由矩形框130、矩形框132所示的大腸息肉（腺瘤）是非常小，而難以辨識該大腸息肉的狀況，因此未由卷積神經網路檢測到。

圖22B將包含未由卷積神經網路檢測到，即看漏的大腸息肉（腺瘤）的內視鏡圖像作為假陰性圖像來表示。矩形框134僅供參考，其表示已於組織學上得到證明的大腸息肉（腺瘤）的病變位置（範圍），並不顯示於實際的分析結果圖像中。可認為由矩形框134所示的大腸息肉（腺瘤）是昏暗，而難以辨識該大腸息肉的狀況，因此未由卷積神經網路檢測到。

圖22C將包含未由卷積神經網路檢測到，即看漏的大腸息肉（腺瘤）的內視鏡圖像作為假陰性圖像來表示。矩形框136僅供參考，其表示已於組織學上得到證明的大腸息肉（腺瘤）的病變位置（範圍），並不顯示於實際的分析結果圖像中。可認為由矩形框136所示的大腸息肉（腺瘤）被自側方拍攝、或被部分地拍攝，因此未由卷積神經網路檢測到。

圖22D將包含未由卷積神經網路檢測到，即看漏的大腸息肉（腺瘤）的內視鏡圖像作為假陰性圖像來表示。矩形框138僅供參考，其表示已於組織學上得到證明的大腸息肉（腺瘤）的病變位置（範圍），並不顯示於實際的分析結果圖像中。可認為由矩形框138所示的大腸息肉（腺瘤）是非常大，而難以辨識該大腸息肉的狀況，因此未由卷積神經網路檢測到。

圖22E將包含已由卷積神經網路錯誤地檢測及分類的迴盲瓣（正常結構）的內視鏡圖像及分析結果圖像作為假陽性圖像來表示。如圖22E所示，於分析結果圖像中顯示有表示由卷積神經網路所推斷的病變位置（範圍）的矩形框140、病變名（其他（The others））及概率分數（0.62）。

圖22F將包含已由卷積神經網路錯誤地檢測及分類的正常的大腸縐褶的內視鏡圖像及分析結果圖像作為假陽性圖像來表示。如圖22F所示，於分析結果圖像中顯示有表示由卷積神經網路所推斷的病變位置（範圍）的矩形框142、病變名（腺瘤（Adenoma））及概率分數（0.32）。

圖22G將包含已由卷積神經網路錯誤地檢測及分類的暈光（人為的異常圖像）的內視鏡圖像及分析結果圖像作為假陽性圖像來表示。如圖22G所示，於分析結果圖像中顯示有表示由卷積神經網路所推斷的病變位置（範圍）的矩形框144、病變名（腺瘤（Adenoma））及概率分數（0.43）。

圖22H將包含已由卷積神經網路錯誤地檢測及分類的息肉的內視鏡圖像及分析結果圖像作為假陽性圖像來表示。該息肉被疑為真正的息肉，但最終無法確認。如圖22H所示，於分析結果圖像中顯示有表示由卷積神經網路所推斷的病變位置（範圍）的矩形框146、病變名（增生性息肉（Hyperplastic））及概率分數（0.48）。

繼而，對用於確認所述實施方式的結構中的效果的第三評價試驗進行說明。

[學習用資料集的準備]
準備2016年2月～2017年4月所進行的食道的內視鏡圖像8,428張（384人）作為用於圖像診斷支援裝置中的卷積神經網路的學習的學習用資料集（教學資料）。於內視鏡圖像中包含已於組織學上由認定病理學者證明的食道癌（具體而言，鱗狀細胞癌（食道鱗狀細胞癌（Esophageal Squamous Cell Carcinoma，ESCC））或腺癌（食道腺癌（Esophageal Adenocarcinoma，EAC））。內視鏡檢查是為了日常診療中的篩查或術前檢查而實施，內視鏡圖像使用標準的內視鏡（GIF-H290Z、GIF-H290、GIF-XP290N、GIF-H260Z、GIF-H260，奧林巴斯醫療系統公司，東京）及標準的內視鏡視訊系統（埃維斯·盧塞拉（EVIS LUCERA）CV-260/CLV-260，埃維斯•盧塞拉•埃立特（EVIS LUCERA ELITE）CV-290/CLV-290SL，奧林巴斯醫療系統公司）來收集。

於作為學習用資料集的內視鏡圖像中包含對被檢查者的食道內照射白色光來進行拍攝所得的內視鏡圖像、及對被檢查者的食道內照射窄帶光（NBI用窄帶光）來進行拍攝所得的內視鏡圖像。另外，將圖像品質因暈光、鏡頭的模糊、失焦、黏液或送氣不足等而不佳的內視鏡圖像自學習用資料集中排除。

最終，作為學習用資料集，收集了與已於組織學上得到證明的食道癌相關的8,428張內視鏡圖像。於該內視鏡圖像中包括：包含表淺型食道癌332個病變與進行性胃癌65個病變的397個病變的鱗狀細胞癌、及包含表淺型食道癌19個病變與進行性胃癌13個病變的32個病變的腺癌。於所收集的內視鏡圖像中，上部內視鏡檢查的件數為2,000病例以上的經驗豐富的內視鏡醫生以手動方式精密地對所有食道癌（鱗狀細胞癌或腺癌）的病變名（表淺型食道癌、或進行型食道癌）及病變位置進行了特徵提取的標記設定。

[評價試驗用資料集的準備]
為了評價所構築的基於卷積神經網路的圖像診斷支援裝置的診斷精度，將接受了作為常規的臨床檢查的內視鏡檢查的97名患者（47人：具有食道癌49個病變，50人：不具有食道癌）作為對象，收集了1,118張內視鏡圖像（食道）作為評價試驗用資料集。其結果，於47名患者中的45人中食道癌存在1個病變，於2人中食道癌存在2個病變。與學習用資料集同樣地，於作為評價試驗用資料集的內視鏡圖像中包含對被檢查者的食道內照射白色光來進行拍攝所得的內視鏡圖像、及對被檢查者的食道內照射窄帶光（NBI用窄帶光）來進行拍攝所得的內視鏡圖像。

圖23是表示與用於評價試驗用資料集的內視鏡圖像相關的患者（n＝47）及病變（n＝49）的特徵的圖。如圖23所示，腫瘤尺寸（直徑）的中位數為20 mm，腫瘤尺寸（直徑）的範圍為5 mm～700 mm。於肉眼分類中，表淺型（0-I型、0-IIa型、0-IIb型、0-IIc型）為43個病變而比進行型（6個病變）多。於腫瘤的深度中，表淺型食道癌（黏膜癌：T1a，黏膜下癌：T1b）為42個病變，進行性胃癌（T2-T4）為7個病變。於組織病理學中，鱗狀細胞癌為41個病變，腺癌為8個病變。

[評價試驗的方法]
於本評價試驗中，對使用學習用資料集進行了學習處理的基於卷積神經網路的圖像診斷支援裝置輸入評價試驗用資料集，並對是否可根據構成該評價試驗用資料集的各內視鏡圖像來正確地檢測食道癌進行評價。將可正確地檢測到食道癌的情況看作「正解」。卷積神經網路若根據內視鏡圖像檢測食道癌，則輸出其病變名（表淺型食道癌、或進行型食道癌）、病變位置及概率分數。

（定義1）
即便於卷積神經網路檢測到食道癌的一部分的情況下，於本評價試驗中，亦判斷為卷積神經網路檢測到食道癌，並看作正解。其原因在於：有時於內視鏡圖像中難以辨識食道癌的整個邊界。但是，即便於實際上在表示由卷積神經網路檢測到的食道癌的病變位置（範圍）的矩形框內已存在食道癌的情況下，當該矩形框於大範圍（內視鏡圖像的80%以上）內包含非食道癌的部位時，於本評價試驗中，亦判斷為卷積神經網路無法檢測到食道癌。

（定義2）
於與食道癌存在2個病變的2名患者相關的內視鏡圖像中，僅限於卷積神經網路檢測到該2個病變的情況，於本評價試驗中，判斷為卷積神經網路檢測到食道癌，並看作正解。

（定義3）
當於不存在食道癌的內視鏡圖像中，卷積神經網路將至少一個非食道癌的部位作為食道癌來檢測時，於本評價試驗中，判斷為卷積神經網路誤檢測到食道癌，並看作假陽性。但是，當於不存在食道癌的一張內視鏡圖像中，卷積神經網路將兩個非食道癌的部位作為食道癌而誤檢測時，於本評價試驗中，作為一個假陽性而非兩個假陽性來計數。

另外，於本評價試驗中，使用以下的式（1）～式（4）來算出檢測各內視鏡圖像中的食道癌的卷積神經網路的相對於診斷能力的感度、特異度、陽性預測值（PPV）及陰性預測值（Negative Predictive Value，NPV）。
感度＝（卷積神經網路正確地檢測到食道癌的內視鏡圖像的數量）/（構成評價試驗用資料集且存在食道癌的內視鏡圖像的數量）・・・（1）
特異度＝（卷積神經網路正確地檢測到不存在食道癌的內視鏡圖像的數量）/（構成評價試驗用資料集且不存在食道癌的內視鏡圖像的數量）・・・（2）
陽性預測值＝（卷積神經網路正確地檢測到食道癌的內視鏡圖像的數量）/（卷積神經網路檢測到食道癌的內視鏡圖像的數量）・・・（3）
陰性預測值＝（卷積神經網路正確地檢測到不存在食道癌的內視鏡圖像的數量）/（卷積神經網路檢測到不存在食道癌的內視鏡圖像的數量）・・・（4）

[評價試驗的結果]
卷積神經網路於27秒內使對構成評價試驗用資料集的1,118張內視鏡圖像進行分析的處理結束。應關注的是卷積神經網路正確地檢測到腫瘤尺寸未滿10 mm的所有（7個）食道癌。卷積神經網路的相對於診斷能力的陽性預測值為40%，雖然是陰影與正常結構的誤診斷，但陰性預測值為95%。另外，卷積神經網路以98%的精度正確地檢測到食道癌的分類（表淺型食道癌或進行型食道癌）。

圖24A至圖24D是表示第三評價試驗中的內視鏡圖像及分析結果圖像的例子的圖。圖24A表示包含已由卷積神經網路正確地檢測及分類的食道癌的內視鏡圖像（對被檢查者的食道內照射白色光來進行拍攝所得的內視鏡圖像）及分析結果圖像。如圖24A所示，於分析結果圖像中顯示有表示由卷積神經網路所推斷的病變位置（範圍）的矩形框150、病變名（表淺型食道癌）及概率分數（0.91）。再者，矩形框152僅供參考，其表示已於組織學上得到證明的食道癌的病變位置（範圍），並不顯示於實際的分析結果圖像中。

圖24B對應於圖24A，表示包含已由卷積神經網路正確地檢測及分類的食道癌的內視鏡圖像（對被檢查者的食道內照射NBI用窄帶光來進行拍攝所得的內視鏡圖像）及分析結果圖像。如圖24B所示，於分析結果圖像中顯示有表示由卷積神經網路所推斷的病變位置（範圍）的矩形框154、病變名（表淺型食道癌）及概率分數（0.97）。再者，矩形框156僅供參考，其表示已於組織學上得到證明的食道癌的病變位置（範圍），並不顯示於實際的分析結果圖像中。

圖24C將包含未由卷積神經網路檢測到，即看漏的食道癌的內視鏡圖像（對被檢查者的食道內照射白色光來進行拍攝所得的內視鏡圖像）作為假陰性圖像來表示。矩形框158僅供參考，其表示已於組織學上得到證明的食道癌的病變位置（範圍），並不顯示於實際的分析結果圖像中。

圖24D對應於圖24C，表示包含已由卷積神經網路正確地檢測及分類的食道癌的內視鏡圖像（對被檢查者的食道內照射NBI用窄帶光來進行拍攝所得的內視鏡圖像）及分析結果圖像。如圖24D所示，於分析結果圖像中顯示有表示由卷積神經網路所推斷的病變位置（範圍）的矩形框160、病變名（表淺型食道癌）及概率分數（0.98）。再者，矩形框162僅供參考，其表示已於組織學上得到證明的食道癌的病變位置（範圍），並不顯示於實際的分析結果圖像中。

圖25是針對具有食道癌的47人的病例（食道癌）、不具有食道癌的50人的病例（非食道癌），表示利用卷積神經網路的食道癌/非食道癌的檢測結果、及利用活檢的食道癌/非食道癌的檢測結果的圖。於圖25中，於綜合的診斷結果中，當於對被檢查者的食道內照射白色光及NBI用窄帶光的至少一者來進行拍攝所得的內視鏡圖像中，卷積神經網路正確地檢測到食道癌/非食道癌時，於本評價試驗中，判斷為卷積神經網路正確地檢測到食道癌/非食道癌。如圖25所示，卷積神經網路於進行了綜合的診斷的情況下，於在內視鏡圖像中存在食道癌的病例的98%（46/47）中，正確地檢測到食道癌。另外，雖然未圖示，但卷積神經網路正確地檢測到腫瘤尺寸未滿10 mm的所有食道癌。

圖26是表示於圖25所示的各病例中，照射白色光來進行拍攝所得的內視鏡圖像中的感度（以下稱為白色光感度）、照射NBI用窄帶光來進行拍攝所得的內視鏡圖像中的感度（以下稱為NBI用窄帶光感度）、以及照射白色光及NBI用窄帶光的至少一者來進行拍攝所得的內視鏡圖像中的感度（以下稱為綜合感度）的圖。如圖26所示，於圖25所示的各病例中，NBI用窄帶光感度（89%）高於白色光感度（81%），綜合感度（98%）遠高於白色光感度。與鱗狀細胞癌相關的白色光感度、NBI用窄帶光感度及綜合感度分別為79%、89%、97%。與腺癌相關的白色光感度、NBI用窄帶光感度及綜合感度分別為88%、88%、100%。

圖27是針對照射白色光或NBI用窄帶光來進行拍攝所得的各內視鏡圖像，表示利用卷積神經網路的食道癌/非食道癌的檢測結果、及利用活檢的食道癌/非食道癌的檢測結果的圖。圖28是表示於圖27所示的各內視鏡圖像中，照射白色光來進行拍攝所得的內視鏡圖像中的感度（以下稱為白色光感度）、及照射NBI用窄帶光來進行拍攝所得的內視鏡圖像中的感度（以下稱為NBI用窄帶光感度）的圖。

如圖27所示，卷積神經網路於作為活檢結果被診斷為存在食道癌的內視鏡圖像的74%（125/168）中，正確地檢測到食道癌。而且，卷積神經網路的相對於診斷能力的感度、特異度、陽性預測值及陰性預測值分別為74%、80%、40%及95%。另外，如圖28所示，NBI用窄帶光感度（81%）高於白色光感度（69%）。與鱗狀細胞癌相關的白色光感度及NBI用窄帶光感度分別為72%、84%。與腺癌相關的白色光感度及NBI用窄帶光感度分別為55%、67%。

本發明者等人將已由卷積神經網路檢測並分類的食道癌的分類（CNN分類）、與已於組織學上得到證明的食道癌的分類（侵入深度）的一致程度作為卷積神經網路的分類精度而進行了複查。圖29是表示CNN分類與侵入深度的一致程度的圖。

如圖29所示，於對被檢查者的食道內照射白色光來進行拍攝所得的內視鏡圖像中，整體的100%（89/89）的食道癌的分類已由卷積神經網路正確地分類。即，已於組織學上作為表淺型食道癌而得到證明的食道癌中的100%（75/75）的食道癌已由卷積神經網路作為表淺型食道癌而正確地分類。另外，已於組織學上作為進行型食道癌而得到證明的食道癌中的100%（14/14）的食道癌已由卷積神經網路作為進行型食道癌而正確地分類。

另外，於對被檢查者的食道內照射NBI用窄帶光來進行拍攝所得的內視鏡圖像中，整體的96%（76/79）的食道癌的分類已由卷積神經網路正確地分類。已於組織學上作為表淺型食道癌而得到證明的食道癌中的99%（67/68）的食道癌已由卷積神經網路作為表淺型食道癌而正確地分類。另外，已於組織學上作為進行型食道癌而得到證明的食道癌中的82%（9/11）的食道癌已由卷積神經網路作為進行型食道癌而正確地分類。

另外，於對被檢查者的食道內照射白色光或NBI用窄帶光來進行拍攝所得的內視鏡圖像中，整體的98%（165/168）的食道癌的分類已由卷積神經網路正確地分類。已於組織學上作為表淺型食道癌而得到證明的食道癌中的99%（142/143）的食道癌已由卷積神經網路作為表淺型食道癌而正確地分類。另外，已於組織學上作為進行型食道癌而得到證明的食道癌中的92%（23/25）的食道癌已由卷積神經網路作為進行型食道癌而正確地分類。如以上般，可知卷積神經網路的分類精度非常高。再者，與鱗狀細胞癌及腺癌相關的卷積神經網路的分類精度分別為99%（146/147）及90%（19/21）。

為了提昇卷積神經網路的診斷能力，重要的是對由卷積神經網路錯誤地檢測到食道癌的的理由、與未正確地檢測到真正的食道癌即看漏的理由進行驗證。因此，本發明者等人對由卷積神經網路錯誤地檢測到食道癌的內視鏡圖像（假陽性圖像）、及未由卷積神經網路檢測到真正的食道癌的內視鏡圖像（假陰性圖像）均進行了複查，並分類成若干類別。

圖30是表示假陽性圖像及假陰性圖像的分類結果的圖。如圖30所示，188張假陽性圖像中的95張假陽性圖像（50%）伴隨陰影。另外，61張假陽性圖像（32%）包含容易辨別為食道癌的正常結構，其大部分為食道胃接合部（Esophageal Gastric Junction，EGJ）或左主支氣管。另外，32張假陽性圖像（17%）包含有可能被誤診為食道癌的良性病變，其大部分為術後瘢痕、局灶性萎縮（focal atrophy）、巴瑞特食道（Barrett's esophagus）、炎症。

圖31A是將因伴隨陰影，故已由卷積神經網路錯誤地檢測及分類的內視鏡圖像及分析結果圖像作為假陽性圖像來表示的圖。如圖31A所示，於分析結果圖像中顯示有表示由卷積神經網路所推斷的病變位置（範圍）的矩形框170、病變名（表淺型食道癌）及概率分數（0.70）。

圖31B是將因包含容易辨別為食道癌的正常結構（食道胃接合部），故已由卷積神經網路錯誤地檢測及分類的內視鏡圖像及分析結果圖像作為假陽性圖像來表示的圖。如圖31B所示，於分析結果圖像中顯示有表示由卷積神經網路所推斷的病變位置（範圍）的矩形框172、病變名（表淺型食道癌）及概率分數（0.57）。

圖31C是將因包含容易辨別為食道癌的正常結構（左主支氣管），故已由卷積神經網路錯誤地檢測及分類的內視鏡圖像及分析結果圖像作為假陽性圖像來表示的圖。如圖31C所示，於分析結果圖像中顯示有表示由卷積神經網路所推斷的病變位置（範圍）的矩形框174、病變名（表淺型食道癌）及概率分數（0.60）。

圖31D是將因包含容易辨別為食道癌的正常結構（椎體），故已由卷積神經網路錯誤地檢測及分類的內視鏡圖像及分析結果圖像作為假陽性圖像來表示的圖。如圖31D所示，於分析結果圖像中顯示有表示由卷積神經網路所推斷的病變位置（範圍）的矩形框176、病變名（表淺型食道癌）及概率分數（0.80）。

圖31E是將因包含有可能被誤診為食道癌的良性病變（術後瘢痕），故已由卷積神經網路錯誤地檢測及分類的內視鏡圖像及分析結果圖像作為假陽性圖像來表示的圖。如圖31E所示，於分析結果圖像中顯示有表示由卷積神經網路所推斷的病變位置（範圍）的矩形框178、病變名（表淺型食道癌）及概率分數（0.88）。

圖31F是將因包含有可能被誤診為食道癌的良性病變（局灶性萎縮），故已由卷積神經網路錯誤地檢測及分類的內視鏡圖像及分析結果圖像作為假陽性圖像來表示的圖。如圖31F所示，於分析結果圖像中顯示有表示由卷積神經網路所推斷的病變位置（範圍）的矩形框180、病變名（表淺型食道癌）及概率分數（0.83）。

另外，如圖30所示，可認為41張假陰性圖像中的10張假陰性圖像（25%）被卷積神經網路誤診斷為由背景黏膜所引起的炎症的結果是未作為真正的食道癌而被檢測到。另外，可認為7張假陰性圖像（17%）因照射有NBI用窄帶光的鱗狀細胞癌被不清晰地拍攝，故未作為真正的食道癌而由卷積神經網路檢測到。

另外，可認為4張假陰性圖像（10%）雖然存在巴瑞特食道腺癌，但與腺癌相關的學習存在不充分的地方，因此未作為真正的食道癌而由卷積神經網路檢測到。另外，可認為20張假陰性圖像（49%）因於內視鏡圖像中為病變存在於遠方、僅存在病變的一部分等難以診斷的狀態，故未作為真正的食道癌而由卷積神經網路檢測到。

圖32A是將包含因於內視鏡圖像中為病變存在於遠方而難以診斷的狀態，故未由卷積神經網路檢測到的食道癌的內視鏡圖像作為假陰性圖像來表示的圖。矩形框182僅供參考，其表示已於組織學上得到證明的食道癌的病變位置（範圍），並不顯示於實際的分析結果圖像中。

圖32B是將包含因於內視鏡圖像中為僅存在病變的一部分而難以診斷的狀態，故未由卷積神經網路檢測到的食道癌的內視鏡圖像作為假陰性圖像來表示的圖。矩形框184僅供參考，其表示已於組織學上得到證明的食道癌的病變位置（範圍），並不顯示於實際的分析結果圖像中。

圖32C是將包含作為被誤診斷為由背景黏膜所引起的炎症的結果，未由卷積神經網路檢測到的食道癌的內視鏡圖像作為假陰性圖像來表示的圖。矩形框186僅供參考，其表示已於組織學上得到證明的食道癌的病變位置（範圍），並不顯示於實際的分析結果圖像中。

圖32D是將包含因照射有NBI用窄帶光的鱗狀細胞癌被不清晰地拍攝，故未由卷積神經網路檢測到的食道癌的內視鏡圖像作為假陰性圖像來表示的圖。矩形框188僅供參考，其表示已於組織學上得到證明的食道癌的病變位置（範圍），並不顯示於實際的分析結果圖像中。

圖32E是將包含雖然存在巴瑞特食道腺癌，但與腺癌相關的學習存在不充分的地方，故未由卷積神經網路檢測到的食道癌（巴瑞特食道腺癌）的內視鏡圖像作為假陰性圖像來表示的圖。矩形框190僅供參考，其表示已於組織學上得到證明的食道癌的病變位置（範圍），並不顯示於實際的分析結果圖像中。

根據以上的第三評價試驗的結果，可知即便食道癌小，卷積神經網路亦能夠相當正確且以令人吃驚的速度有效地檢測食道癌，存在有助於減少食道的內視鏡檢查中的食道癌的看漏的可能性。進而，可知卷積神經網路可將所檢測到的食道癌正確地分類，而強力地支援由內視鏡醫生所進行的內視鏡圖像的診斷。而且，可認為藉由進行更多的學習處理，卷積神經網路達成更高的診斷精度。

2017年10月30日申請的日本專利特願2017-209232、2018年1月22日申請的日本專利特願2018-007967、2018年3月5日申請的日本專利特願2018-038828的日本申請中所包含的說明書、圖式及摘要的揭示內容全部被引用於本申請案中。
[產業上之可利用性]

本發明作為可支援由內視鏡醫生所進行的內視鏡圖像的診斷的圖像診斷支援裝置、資料收集方法、圖像診斷支援方法及圖像診斷支援程式有用。

10‧‧‧內視鏡圖像取得部（圖像取得部）

20‧‧‧病變推斷部

30‧‧‧顯示控制部

40‧‧‧學習裝置

50、52、54、56、58、60、62、64、66、70、72、74、76、78、80、82、84、86、88、110、112、114、116、118、120、122、124、126、128、130、132、134、136、138、140、142、144、146、150、152、154、156、158、160、162、170、172、174、176、178、180、182、184、186、188、190‧‧‧矩形框

90、92、94‧‧‧虛線

100‧‧‧圖像診斷支援裝置

101‧‧‧CPU

102‧‧‧ROM

103‧‧‧RAM

104‧‧‧外部記憶裝置

105‧‧‧通信接口

106‧‧‧GPU

200‧‧‧內視鏡攝像裝置

300‧‧‧顯示裝置

D1‧‧‧內視鏡圖像資料

D2‧‧‧推斷結果資料

D3‧‧‧分析結果圖像資料

D4‧‧‧教學資料

Na‧‧‧特徵提取部

Na1、Na2‧‧‧特徵量提取層

Nb‧‧‧辨識部

圖1是表示本實施方式中的圖像診斷支援裝置的整體結構的方塊圖。

圖2是表示本實施方式中的圖像診斷支援裝置的硬體結構的圖。

圖3是表示本實施方式中的卷積神經網路的結構的圖。

圖4是表示本實施方式中的使分析結果圖像顯示於內視鏡圖像上的例子的圖。

圖5是表示與用於評價試驗用資料集的內視鏡圖像相關的患者及病變的特徵的圖。

圖6A及圖6B是表示內視鏡圖像及分析結果圖像的例子的圖。

圖7是對在多個內視鏡圖像中存在癌症的情況進行說明的圖。

圖8A及圖8B是對由醫師所診斷的病變位置（範圍）與由卷積神經網路所診斷的病變位置（範圍）的不同進行說明的圖。

圖9是表示對應於腫瘤的深度及腫瘤尺寸的不同的感度的變化的圖。

圖10是表示由卷積神經網路看漏的病變的詳細情況的圖。

圖11A至圖11F是表示存在由卷積神經網路看漏的病變的內視鏡圖像的圖。

圖12是表示由卷積神經網路作為胃癌所檢測到的非癌性病變的詳細情況的圖。

圖13A至圖13C是表示包含由卷積神經網路作為胃癌所檢測到的非癌性病變的分析結果圖像的圖。

圖14A至圖14F是表示包含腺瘤、增生性息肉（hyperplastic polyp）或無蒂鋸齒狀腺瘤/息肉（Sessile Serrated Adenoma/Polyps，SSAP）的大腸的內視鏡圖像的圖。

圖15A至圖15F是表示包含罕見型的大腸息肉的大腸的內視鏡圖像的圖。

圖16是表示與用於學習用資料集的內視鏡圖像相關的大腸息肉等的特徵的圖。

圖17是表示與用於評價試驗用資料集的內視鏡圖像相關的大腸息肉等的特徵的圖。

圖18是表示假陽性圖像及假陰性圖像的分類結果的圖。

圖19A及圖19B是表示卷積神經網路（Convolutional Neural Network ，CNN）分類與組織分類的一致程度的圖。

圖20是針對5 mm以下的大腸息肉，表示CNN分類與組織分類的一致程度的圖。

圖21A至圖21F是表示第二評價試驗中的內視鏡圖像及分析結果圖像的例子的圖。

圖22A至圖22H是表示第二評價試驗中的內視鏡圖像及分析結果圖像的例子的圖。

圖23是表示與用於評價試驗用資料集的內視鏡圖像相關的患者及病變的特徵的圖。

圖24A至圖24D是表示第三評價試驗中的內視鏡圖像及分析結果圖像的例子的圖。

圖25是表示利用卷積神經網路的食道癌/非食道癌的檢測結果、及利用活檢的食道癌/非食道癌的檢測結果的圖。

圖26是表示白色光感度、窄帶成像（Narrow Band Imaging，NBI）用窄帶光感度及綜合感度的圖。

圖27是表示利用卷積神經網路的食道癌/非食道癌的檢測結果、及利用活檢的食道癌/非食道癌的檢測結果的圖。

圖28是表示白色光感度及NBI用窄帶光感度的圖。

圖29是表示CNN分類與侵入深度的一致程度的圖。

圖30是表示假陽性圖像及假陰性圖像的分類結果的圖。

圖31A至圖31F是表示將已由卷積神經網路錯誤檢測及分類的內視鏡圖像及分析結果圖像作為假陽性圖像來表示的圖。

圖32A至圖32E是表示將包含未由卷積神經網路檢測到的食道癌的內視鏡圖像作為假陰性圖像來表示的圖。

Claims

一種圖像診斷支援裝置，其包括：病變推斷部，利用卷積神經網路推斷由消化器官內視鏡攝像裝置所拍攝的被檢查者的消化器官內視鏡圖像內所存在的病變的名稱與位置、及該些的準確度的資訊；以及顯示控制部，生成顯示所述病變的名稱與位置、及該些的準確度的分析結果圖像，並進行使所述分析結果圖像顯示於所述消化器官內視鏡圖像上的控制；且所述卷積神經網路根據藉由提取萎縮、腸上皮化生、黏膜的隆起或凹陷、及黏膜色調的狀況的特徵而事先判定的多個消化器官腫瘤內視鏡圖像內所存在的病變的病變名稱及病變位置來進行學習處理。
如申請專利範圍第1項所述的圖像診斷支援裝置，其中所述顯示控制部對應於所述準確度，變更確定所述分析結果圖像中的病變的位置的病變位置資訊的顯示形態。
如申請專利範圍第1項或第2項所述的圖像診斷支援裝置，其中於所述多個消化器官腫瘤內視鏡圖像中包含對被檢查者的消化器官內照射白色光來進行拍攝所得的內視鏡圖像。
如申請專利範圍第1項或第2項所述的圖像診斷支援裝置，其中於所述多個消化器官腫瘤內視鏡圖像中包含對被檢查者的消化器官內散布色素來進行拍攝所得的內視鏡圖像。
如申請專利範圍第1項或第2項所述的圖像診斷支援裝置，其中於所述多個消化器官腫瘤內視鏡圖像中包含對被檢查者的消化器官內照射窄帶光來進行拍攝所得的內視鏡圖像。
如申請專利範圍第1項或第2項所述的圖像診斷支援裝置，其中於所述消化器官中包含胃。
如申請專利範圍第1項或第2項所述的圖像診斷支援裝置，其中於所述消化器官中包含食道。
如申請專利範圍第1項或第2項所述的圖像診斷支援裝置，其中於所述消化器官中包含十二指腸。
如申請專利範圍第1項或第2項所述的圖像診斷支援裝置，其中於所述消化器官中包含大腸。
一種資料收集方法，其針對被檢查者的消化管，使用如申請專利範圍第1項或第2項所述的圖像診斷支援裝置，將所述顯示控制部的顯示結果作為與消化管病變相關的資料來收集。
一種圖像診斷支援方法，其使用如下的裝置，所述裝置包括：病變推斷部，利用卷積神經網路推斷由消化器官內視鏡攝像裝置所拍攝的被檢查者的消化器官內視鏡圖像內所存在的病變的名稱與位置、及該些的準確度的資訊；以及顯示控制部，生成顯示所述病變的名稱與位置、及該些的準確度的分析結果圖像，並進行使所述分析結果圖像顯示於所述消化器官內視鏡圖像上的控制；且所述卷積神經網路根據藉由提取萎縮、腸上皮化生、黏膜的隆起或凹陷、及黏膜色調的狀況的特徵而事先判定的多個消化器官腫瘤內視鏡圖像內所存在的病變的病變名稱及病變位置來進行學習處理。
一種圖像診斷支援程式，使電腦執行下述處理：利用卷積神經網路推斷由消化器官內視鏡攝像裝置所拍攝的被檢查者的消化器官內視鏡圖像內所存在的病變的名稱與位置、及該些的準確度的資訊的處理；以及生成顯示所述病變的名稱與位置、及該些的準確度的分析結果圖像，並進行使所述分析結果圖像顯示於所述內視鏡圖像上的控制的處理；且所述卷積神經網路根據藉由提取萎縮、腸上皮化生、黏膜的隆起或凹陷、及黏膜色調的狀況的特徵而事先判定的多個消化器官腫瘤內視鏡圖像內所存在的病變的病變名稱及病變位置來進行學習處理。