JP6657480B2 - 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム - Google Patents
画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム Download PDFInfo
- Publication number
- JP6657480B2 JP6657480B2 JP2019520910A JP2019520910A JP6657480B2 JP 6657480 B2 JP6657480 B2 JP 6657480B2 JP 2019520910 A JP2019520910 A JP 2019520910A JP 2019520910 A JP2019520910 A JP 2019520910A JP 6657480 B2 JP6657480 B2 JP 6657480B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- lesion
- neural network
- convolutional neural
- endoscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/80—Recognising image objects characterised by unique random patterns
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Optics & Photonics (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Gastroenterology & Hepatology (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Endoscopes (AREA)
- Image Analysis (AREA)
Description
内視鏡画像における病変の位置を入力することなく当該内視鏡画像を入力した場合、当該内視鏡画像内に存在する病変の名称および位置と、それらの確度の情報とを出力する畳み込みニューラルネットワークの出力結果により、消化器内視鏡撮像装置により撮像された被験者の消化器内視鏡画像内に存在する病変の名称および位置と、それらの確度の情報とを、畳み込みニューラルネットワークによって推定する病変推定部と、
推定された当該病変の名称および位置と、それらの確度とを表示する解析結果画像を生成して、前記消化器内視鏡画像上に表示させる制御を行う表示制御部と、
を備え、
前記畳み込みニューラルネットワークは、複数の消化器腫瘍内視鏡画像内において、豊富な経験を有する医師により萎縮、腸上皮化生、粘膜の隆起または陥凹、および、粘膜色調の状況の特徴抽出によってあらかじめ判定された病変の病変名および病変位置を教師データとして学習処理が行われる。
内視鏡画像における病変の位置を入力することなく当該内視鏡画像を入力した場合、病変推定部が、当該内視鏡画像内に存在する病変の名称および位置と、それらの確度の情報とを出力する畳み込みニューラルネットワークの出力結果により、消化器内視鏡撮像装置により撮像された被験者の消化器内視鏡画像内に存在する病変の名称および位置と、それらの確度の情報とを、畳み込みニューラルネットワークによって推定するステップと、
表示制御部が、推定された当該病変の名称および位置と、それらの確度とを表示する解析結果画像を生成して、前記消化器内視鏡画像上に表示させる制御を行うステップと、
資料収集部が、被験者の消化管について、前記表示制御部の表示結果を、消化管病変に関する資料として収集するステップとを有し、
前記畳み込みニューラルネットワークは、複数の消化器腫瘍内視鏡画像内において、豊富な経験を有する医師により萎縮、腸上皮化生、粘膜の隆起または陥凹、および、粘膜色調の状況の特徴抽出によってあらかじめ判定された病変の病変名および病変位置を教師データとして学習処理が行われる。
本発明に係る画像診断支援装置の作動方法は、
内視鏡画像における病変の位置を入力することなく当該内視鏡画像を入力した場合、病変推定部が、当該内視鏡画像内に存在する病変の名称および位置と、それらの確度の情報とを出力する畳み込みニューラルネットワークの出力結果により、消化器内視鏡撮像装置により撮像された被験者の消化器内視鏡画像内に存在する病変の名称および位置と、それらの確度の情報とを、畳み込みニューラルネットワークによって推定するステップと、
表示制御部が、推定された当該病変の名称および位置と、それらの確度とを表示する解析結果画像を生成して、前記消化器内視鏡画像上に表示させる制御を行うステップと有し、
前記畳み込みニューラルネットワークは、複数の消化器腫瘍内視鏡画像内において、豊富な経験を有する医師により萎縮、腸上皮化生、粘膜の隆起または陥凹、および、粘膜色調の状況の特徴抽出によってあらかじめ判定された病変の病変名および病変位置を教師データとして学習処理が行われる。
コンピューターに、
内視鏡画像における病変の位置を入力することなく当該内視鏡画像を入力した場合、当該内視鏡画像内に存在する病変の名称および位置と、それらの確度の情報とを出力する畳み込みニューラルネットワークの出力結果により、消化器内視鏡撮像装置により撮像された被験者の消化器内視鏡画像内に存在する病変の名称および位置と、それらの確度の情報とを、畳み込みニューラルネットワークによって推定する処理と、
推定された当該病変の名称および位置と、それらの確度とを表示する解析結果画像を生成して、前記内視鏡画像上に表示させる制御を行う処理と、
を実行させ、
前記畳み込みニューラルネットワークは、複数の消化器腫瘍内視鏡画像内において、豊富な経験を有する医師により萎縮、腸上皮化生、粘膜の隆起または陥凹、および、粘膜色調の状況の特徴抽出によってあらかじめ判定された病変の病変名および病変位置を教師データとして学習処理が行われる。
まず、本実施の形態における画像診断支援装置100の構成について説明する。図1は、画像診断支援装置100の全体構成を示すブロック図である。図2は、本実施の形態における画像診断支援装置100のハードウェア構成の一例を示す図である。
画像取得部10は、内視鏡撮像装置200から出力された内視鏡画像データD1を取得する。そして、画像取得部10は、取得した内視鏡画像データD1を病変推定部20に出力する。なお、画像取得部10は、内視鏡画像データD1を取得する際、内視鏡撮像装置200から直接取得しても良いし、外部記憶装置104に格納された内視鏡画像データD1や、インターネット回線等を介して提供された内視鏡画像データD1を取得しても良い。
病変推定部20は、畳み込みニューラルネットワークを用いて、内視鏡画像取得部10から出力された内視鏡画像データD1により表される内視鏡画像内に存在する病変の病変名(名称)および病変位置(位置)と、当該病変名および病変位置の確度とを推定する。そして、病変推定部20は、内視鏡画像取得部10から出力された内視鏡画像データD1と、病変名、病変位置および確度の推定結果を表す推定結果データD2とを表示制御部30に出力する。
表示制御部30は、病変推定部20から出力された内視鏡画像データD1により表される内視鏡画像上において、病変推定部20から出力された推定結果データD2により表される病変名、病変位置および確率スコアを表示する解析結果画像を生成する。そして、表示制御部30は、内視鏡画像データD1と、生成した解析結果画像を表す解析結果画像データD3とを表示装置300に出力する。この場合、内視鏡画像の病変部の構造強調や色彩強調、高コントラスト化、高精細化などのデジタル画像処理システムを接続し、観察者の理解と判定を助ける加工を施して表示させることもできる。
学習装置40は、病変推定部20の畳み込みニューラルネットワークが内視鏡画像データD1から病変位置、病変名および確率スコアを推定し得るように、図示しない外部記憶装置に記憶されている教師データD4を入力し、学習装置40の畳み込みニューラルネットワークに対して学習処理を行う。
最後に、上記実施の形態の構成における効果を確認するための評価試験について説明する。
2004年4月〜2016年12月にかけて行われたEGDの内視鏡画像を、画像診断支援装置における畳み込みニューラルネットワークの学習に使用する学習用データセット(教師データ)として用意した。EGDは、日常診療におけるスクリーニングまたは術前検査のために実施され、内視鏡画像は、標準的な内視鏡(GIF−H290Z、GIF−H290、GIF−XP290N、GIF−H260Z、GIF−Q260J、GIF−XP260、GIF−XP260NS、GIF−N260等、オリンパスメディカルシステムズ社、東京)および標準的な内視鏡ビデオシステム(EVIS LUCERA CV−260/CLV−260、EVIS LUCERA ELITE CV−290/CLV−290SL、オリンパスメディカルシステムズ社)を用いて収集した。
画像診断支援装置を構築するため、VGG(https://arxiv.org/abs/1409.1556)をベースとした16層以上で構成される畳み込みニューラルネットワークを使用した。バークレービジョン及びラーニングセンター(Berkeley Vision and Learning Center (BVLC))で開発されたCaffeディープラーニングフレームワークを学習および評価試験に使用した。畳み込みニューラルネットワークの全ての層は、確率的勾配降下法を使用して、グローバル学習率0.0001で微調整されている。CNNと互換性を持たせるために、各画像を300×300ピクセルにリサイズした。
構築された畳み込みニューラルネットワークベースの画像診断支援装置の診断精度を評価するために、2017年3月1日〜2017年3月31日まで、公益財団法人がん研究会有明病院で通常の臨床検査としてEGDを受けた69人の患者(胃がん77病変)を対象にして、2,296の内視鏡画像(胃)を評価試験用データセットとして収集した。その結果、62人に胃がんが1病変存在し、6人に胃がんが2病変存在し、1人に胃がんが3病変存在していた。全てのEGDは、標準的な内視鏡(GIF−H290Z、オリンパスメディカルシステムズ社、東京)および標準的な内視鏡ビデオシステム(EVIS LUCERA ELITE CV−290/CLV−290SL、オリンパスメディカルシステムズ社)を用いて実施した。EGDでは、胃内をくまなく観察し、内視鏡画像を撮影し、撮影枚数は1人の患者あたり18〜69枚となった。
本評価試験では、学習用データセットを用いて学習処理が行われた畳み込みニューラルネットワークベースの画像診断支援装置に対して評価試験用データセットを入力し、当該評価試験用データセットを構成する各内視鏡画像から胃がんを正しく検出できるか否かについて評価した。胃がんを正しく検出できた場合を「正解」とみなした。畳み込みニューラルネットワークは、内視鏡画像から胃がん(病変)を検出すると、その病変名(早期胃がんまたは進行胃がん)、病変位置および確率スコアを出力する。
畳み込みニューラルネットワークが複数の内視鏡画像で同一(1つ)の胃がんを検出した場合は、正解とみなした。図6は、複数の内視鏡画像に同一のがんが存在する場合について説明する図である。図6A,6Bにおいて、矩形枠54,56は、医師により手動で設定された胃がんの病変位置(範囲)を示す。矩形枠58は、畳み込みニューラルネットワークにより推定された胃がんの病変位置(範囲)を示す。図6Aは、胃がんを遠景で撮像した内視鏡画像を示し、図6Bは、当該胃がんを近視野で撮像した内視鏡画像を示す。図6A,6Bに示すように、畳み込みニューラルネットワークは、遠景では胃がんを検出することはできなかったが、近景では胃がんを検出することができた。このような場合、本評価試験では、正解とみなした。
偽陽性の病変(胃がん)が異なる内視鏡画像で検出されても、それらが同じ病変であった場合、それらは1つの病変とみなした。
胃がんの病変位置(範囲)の境界線が不明確な場合があるため、畳み込みニューラルネットワークが胃がんの一部を検出した場合は正解とみなした。図7は、医師によって診断された病変位置(範囲)と、畳み込みニューラルネットワークによって診断された病変位置(範囲)との違いを説明する図である。図7において、矩形枠60は、医師により手動で設定された胃がんの病変位置(範囲)を示す。矩形枠62は、畳み込みニューラルネットワークにより推定された胃がんの病変位置(範囲)を示す。図7に示すように、医師により手動で設定された胃がんの病変位置(範囲)と、畳み込みニューラルネットワークにより推定された胃がんの病変位置(範囲)との間には差異があった。このように畳み込みニューラルネットワークが胃がんの少なくとも一部を検出した場合、本評価試験では正解とみなした。
感度=(畳み込みニューラルネットワークが検出した胃がんの数)/(評価試験用データセットを構成する内視鏡画像に存在する胃がんの数(77))・・・(1)
陽性的中率=(畳み込みニューラルネットワークが検出した胃がんの数)/(畳み込みニューラルネットワークが胃がんと診断した病変の数)・・・(2)
畳み込みニューラルネットワークは、評価試験用データセットを構成する2,296の内視鏡画像を分析する処理を47秒という短い時間で終了させた。また、畳み込みニューラルネットワークは、77の胃がん(病変)のうち71の胃がんを検出した。すなわち、畳み込みニューラルネットワークの診断能力に対する感度は92.2%であった。
2013年12月〜2017年3月にかけて行われた大腸の内視鏡検査12,895例の内視鏡画像を、画像診断支援装置における畳み込みニューラルネットワークの学習に使用する学習用データセット(教師データ)として用意した。内視鏡画像には、認定病理学者によって組織学的に証明された腺がん、腺腫、過形成性ポリープ、SSAP(sessile serrated adenoma/polyps)、若年性ポリープ、Peutz−Jeghersポリープ、炎症性ポリープ、リンパ球様凝集塊などが含まれる。EGDは、日常診療におけるスクリーニングまたは術前検査のために実施され、内視鏡画像は、標準的な内視鏡ビデオシステム(EVIS LUCERA:CF TYPE H260AL/I、PCF TYPE Q260AI,Q260AZI、H290I,H290Z、オリンパスメディカルシステムズ社)を用いて収集した。
画像診断支援装置を構築するため、Single Shot MultiBox Detector(SSD、https://arxiv.org/abs/1512.02325)をベースとした16層以上で構成される畳み込みニューラルネットワークを使用した。バークレービジョン及びラーニングセンター(Berkeley Vision and Learning Center (BVLC))で開発されたCaffeディープラーニングフレームワークを学習および評価試験に使用した。畳み込みニューラルネットワークの全ての層は、確率的勾配降下法を使用して、グローバル学習率0.0001で微調整されている。CNNと互換性を持たせるために、各画像を300×300ピクセルにリサイズした。各画像のリサイズに応じて、病変の病変位置に対するマーキングのサイズ変更を行った。
構築された畳み込みニューラルネットワークベースの画像診断支援装置の診断精度を評価するために、2017年1月1日〜2017年3月31日まで、通常の臨床検査としてEGDを受けた174人の患者を対象にして、大腸ポリープを有する885の内視鏡画像を含む6,759の内視鏡画像(大腸)を評価試験用データセットとして収集した。通常の臨床検査における画像診断支援装置の診断精度を評価するため、便または送気不足を伴う内視鏡画像も評価試験用データセットとして収集した。しかし、炎症性腸疾患を伴う内視鏡画像は、診断結果が変わる可能性があるため、評価試験用データセットから除外した。また、生検後の出血を伴う内視鏡画像、および、内視鏡治療後の内視鏡画像についても評価試験用データセットから除外した。評価試験用データセットとしての内視鏡画像には、学習用データセットと同様に、被験者の大腸内に対して白色光を照射して撮像された内視鏡画像、および、被験者の大腸内に対して狭帯域光(例えば、NBI用狭帯域光)を照射して撮像された内視鏡画像を含めた。図17は、評価試験用データセットに用いられた内視鏡画像に関する大腸ポリープ等の特徴を示す図である。なお、図17において、1つの内視鏡画像において複数の大腸ポリープが含まれる場合、当該複数の大腸ポリープのそれぞれを、異なる内視鏡画像として数えた。
本評価試験では、学習用データセットを用いて学習処理が行われた畳み込みニューラルネットワークベースの画像診断支援装置に対して評価試験用データセットを入力し、当該評価試験用データセットを構成する各内視鏡画像から大腸ポリープを正しく検出できるか否かについて評価した。大腸ポリープを正しく検出できた場合を「正解」とみなした。畳み込みニューラルネットワークは、内視鏡画像から大腸ポリープを検出すると、その病変名(種類)、病変位置および確率スコアを出力する。
医師によって診断された大腸ポリープの病変位置(範囲)の80%以上の領域で、畳み込みニューラルネットワークによって診断された大腸ポリープの病変位置(範囲)が重なった場合、本評価試験では、畳み込みニューラルネットワークが内視鏡画像から大腸ポリープを正しく検出したと判断し、正解とみなした。
(定義2)
畳み込みニューラルネットワークが内視鏡画像から種類の異なる2つ以上の大腸ポリープを同じ病変位置(範囲)として検出した場合、本評価試験では、畳み込みニューラルネットワークは、確率スコアの最も高い種類の大腸ポリープを検出したと判断した。
感度=(畳み込みニューラルネットワークが検出した大腸ポリープの数)/(評価試験用データセットを構成する内視鏡画像に存在する大腸ポリープの数)・・・(1)
陽性的中率=(畳み込みニューラルネットワークが検出した大腸ポリープの数)/(畳み込みニューラルネットワークが大腸ポリープと診断した病変の数)・・・(2)
畳み込みニューラルネットワークは、評価試験用データセットを構成する内視鏡画像を分析する処理を48.7枚/秒(すなわち1枚の内視鏡画像当たりの分析処理時間:20ms)という速い速度で終了させた。また、畳み込みニューラルネットワークは、評価試験用データセットを構成する内視鏡画像において1,247の大腸ポリープの病変位置を推定し、1,172の真正な(組織学的に証明された)大腸ポリープのうち、1,073の大腸ポリープを正しく検出した。畳み込みニューラルネットワークの診断能力に対する感度および陽性的中率は、それぞれ92%および86%であった。
2016年2月〜2017年4月にかけて行われた食道の内視鏡画像8,428枚(384人)を、画像診断支援装置における畳み込みニューラルネットワークの学習に使用する学習用データセット(教師データ)として用意した。内視鏡画像には、認定病理学者によって組織学的に証明された食道がん(具体的には、扁平上皮がん(ESCC)または腺がん(EAC))が含まれる。内視鏡検査は、日常診療におけるスクリーニングまたは術前検査のために実施され、内視鏡画像は、標準的な内視鏡(GIF−H290Z、GIF−H290、GIF−XP290N、GIF−H260Z、GIF−H260、オリンパスメディカルシステムズ社、東京)および標準的な内視鏡ビデオシステム(EVIS LUCERA CV−260/CLV−260、EVIS LUCERA ELITE CV−290/CLV−290SL、オリンパスメディカルシステムズ社)を用いて収集した。
画像診断支援装置を構築するため、Single Shot MultiBox Detector(SSD、https://arxiv.org/abs/1512.02325)をベースとした16層以上で構成される畳み込みニューラルネットワークを使用した。バークレービジョン及びラーニングセンター(Berkeley Vision and Learning Center (BVLC))で開発されたCaffeディープラーニングフレームワークを学習および評価試験に使用した。畳み込みニューラルネットワークの全ての層は、確率的勾配降下法を使用して、グローバル学習率0.0001で微調整されている。CNNと互換性を持たせるために、各画像を300×300ピクセルにリサイズした。各画像のリサイズに応じて、病変の病変位置に対するマーキングのサイズ変更を行った。
構築された畳み込みニューラルネットワークベースの画像診断支援装置の診断精度を評価するために、通常の臨床検査として内視鏡検査を受けた97人の患者(47人:食道がん49病変を有する、50人:食道がんを有しない)を対象にして、1,118の内視鏡画像(食道)を評価試験用データセットとして収集した。その結果、47人の患者のうち45人に食道がんが1病変存在し、2人に食道がんが2病変存在していた。評価試験用データセットとしての内視鏡画像には、学習用データセットと同様に、被験者の食道内に対して白色光を照射して撮像された内視鏡画像、および、被験者の食道内に対して狭帯域光(NBI用狭帯域光)を照射して撮像された内視鏡画像を含めた。
本評価試験では、学習用データセットを用いて学習処理が行われた畳み込みニューラルネットワークベースの画像診断支援装置に対して評価試験用データセットを入力し、当該評価試験用データセットを構成する各内視鏡画像から食道がんを正しく検出できるか否かについて評価した。食道がんを正しく検出できた場合を「正解」とみなした。畳み込みニューラルネットワークは、内視鏡画像から食道がんを検出すると、その病変名(表在型食道がん、または、進行型食道がん)、病変位置および確率スコアを出力する。
畳み込みニューラルネットワークが食道がんの一部でも検出した場合、本評価試験では、畳み込みニューラルネットワークは、食道がんを検出したと判断し、正解とみなした。なぜなら、内視鏡画像において食道がんの境界全体を認識することが困難な場合があるからです。ただし、畳み込みニューラルネットワークによって検出された食道がんの病変位置(範囲)を示す矩形枠内に実際に食道がんが存在した場合でも、その矩形枠が非食道がんの部位を広範囲(内視鏡画像の80%以上)に含むときには、本評価試験では、畳み込みニューラルネットワークは食道がんを検出できなかったと判断した。
(定義2)
食道がんが2病変存在していた2人の患者に関する内視鏡画像において、畳み込みニューラルネットワークが当該2病変を検出した場合に限り、本評価試験では、畳み込みニューラルネットワークが食道がんを検出したと判断し、正解とみなした。
(定義3)
食道がんの存在しない内視鏡画像において畳み込みニューラルネットワークが少なくとも1つの非食道がんの部位を食道がんとして検出した場合、本評価試験では、畳み込みニューラルネットワークが食道がんを誤検出したと判断し、偽陽性とみなした。ただし、食道がんの存在しない1つの内視鏡画像において畳み込みニューラルネットワークが2つの非食道がんの部位を食道がんとして誤検出した場合、本評価試験では、2つではなく1つの偽陽性としてカウントした。
感度=(畳み込みニューラルネットワークが食道がんを正しく検出した内視鏡画像の数)/(評価試験用データセットを構成し、食道がんが存在する内視鏡画像の数)・・・(1)
特異度=(畳み込みニューラルネットワークが、食道がんが存在しないことを正しく検出した内視鏡画像の数)/(評価試験用データセットを構成し、食道がんが存在しない内視鏡画像の数)・・・(2)
陽性的中率=(畳み込みニューラルネットワークが食道がんを正しく検出した内視鏡画像の数)/(畳み込みニューラルネットワークが食道がんを検出した内視鏡画像の数)・・・(3)
陰性的中率=(畳み込みニューラルネットワークが、食道がんが存在しないことを正しく検出した内視鏡画像の数)/(畳み込みニューラルネットワークが、食道がんが存在しないことを検出した内視鏡画像の数)・・・(4)
畳み込みニューラルネットワークは、評価試験用データセットを構成する1,118の内視鏡画像を分析する処理を27秒で終了させた。注目すべきことに、畳み込みニューラルネットワークは、腫瘍サイズが10mm未満である全て(7つ)の食道がんを正しく検出した。畳み込みニューラルネットワークの診断能力に対する陽性的中率は40%であり、陰影と正常構造の誤診断であったが、陰性的中率は95%であった。また、畳み込みニューラルネットワークは、食道がんの分類(表在型食道がんまたは進行型食道がん)を98%の精度で正しく検出した。
20 病変推定部
30 表示制御部
40 学習装置
100 画像診断支援装置
101 CPU
102 ROM
103 RAM
104 外部記憶装置
105 通信インターフェイス
200 内視鏡撮像装置
300 表示装置
D1 内視鏡画像データ
D2 推定結果データ
D3 解析結果画像データ
D4 教師データ
Claims (12)
- 内視鏡画像における病変の位置を入力することなく当該内視鏡画像を入力した場合、当該内視鏡画像内に存在する病変の名称および位置と、それらの確度の情報とを出力する畳み込みニューラルネットワークの出力結果により、消化器内視鏡撮像装置により撮像された被験者の消化器内視鏡画像内に存在する病変の名称および位置と、それらの確度の情報とを、畳み込みニューラルネットワークによって推定する病変推定部と、
推定された当該病変の名称および位置と、それらの確度とを表示する解析結果画像を生成して、前記消化器内視鏡画像上に表示させる制御を行う表示制御部と、
を備え、
前記畳み込みニューラルネットワークは、複数の消化器腫瘍内視鏡画像内において、豊富な経験を有する医師により萎縮、腸上皮化生、粘膜の隆起または陥凹、および、粘膜色調の状況の特徴抽出によってあらかじめ判定された病変の病変名および病変位置を教師データとして学習処理が行われる、
画像診断支援装置。 - 前記表示制御部は、前記確度に応じて、前記解析結果画像における病変の位置を特定する病変位置情報の表示態様を変更する、
請求項1に記載の画像診断支援装置。 - 前記複数の消化器腫瘍内視鏡画像には、被験者の消化器内に対して、白色光を照射して撮像された内視鏡画像が含まれる、
請求項1または2に記載の画像診断支援装置。 - 前記複数の消化器腫瘍内視鏡画像には、被験者の消化器内に対して、色素を散布して撮像された内視鏡画像が含まれる、
請求項1〜3の何れか1項に記載の画像診断支援装置。 - 前記複数の消化器腫瘍内視鏡画像には、被験者の消化器内に対して、狭帯域光を照射して撮像された内視鏡画像が含まれる、
請求項1〜4の何れか1項に記載の画像診断支援装置。 - 前記消化器には、胃が含まれる、
請求項1〜5の何れか1項に記載の画像診断支援装置。 - 前記消化器には、食道が含まれる、
請求項1〜5の何れか1項に記載の画像診断支援装置。 - 前記消化器には、十二指腸が含まれる、
請求項1〜5の何れか1項に記載の画像診断支援装置。 - 前記消化器には、大腸が含まれる、
請求項1〜5の何れか1項に記載の画像診断支援装置。 - 内視鏡画像における病変の位置を入力することなく当該内視鏡画像を入力した場合、病変推定部が、当該内視鏡画像内に存在する病変の名称および位置と、それらの確度の情報とを出力する畳み込みニューラルネットワークの出力結果により、消化器内視鏡撮像装置により撮像された被験者の消化器内視鏡画像内に存在する病変の名称および位置と、それらの確度の情報とを、畳み込みニューラルネットワークによって推定するステップと、
表示制御部が、推定された当該病変の名称および位置と、それらの確度とを表示する解析結果画像を生成して、前記消化器内視鏡画像上に表示させる制御を行うステップと、
資料収集部が、被験者の消化管について、前記表示制御部の表示結果を、消化管病変に関する資料として収集するステップとを有し、
前記畳み込みニューラルネットワークは、複数の消化器腫瘍内視鏡画像内において、豊富な経験を有する医師により萎縮、腸上皮化生、粘膜の隆起または陥凹、および、粘膜色調の状況の特徴抽出によってあらかじめ判定された病変の病変名および病変位置を教師データとして学習処理が行われる、
画像診断支援装置の作動方法。 - 内視鏡画像における病変の位置を入力することなく当該内視鏡画像を入力した場合、病変推定部が、当該内視鏡画像内に存在する病変の名称および位置と、それらの確度の情報とを出力する畳み込みニューラルネットワークの出力結果により、消化器内視鏡撮像装置により撮像された被験者の消化器内視鏡画像内に存在する病変の名称および位置と、それらの確度の情報とを、畳み込みニューラルネットワークによって推定するステップと、
表示制御部が、推定された当該病変の名称および位置と、それらの確度とを表示する解析結果画像を生成して、前記消化器内視鏡画像上に表示させる制御を行うステップと有し、
前記畳み込みニューラルネットワークは、複数の消化器腫瘍内視鏡画像内において、豊富な経験を有する医師により萎縮、腸上皮化生、粘膜の隆起または陥凹、および、粘膜色調の状況の特徴抽出によってあらかじめ判定された病変の病変名および病変位置を教師データとして学習処理が行われる、
画像診断支援装置の作動方法。 - コンピューターに、
内視鏡画像における病変の位置を入力することなく当該内視鏡画像を入力した場合、当該内視鏡画像内に存在する病変の名称および位置と、それらの確度の情報とを出力する畳み込みニューラルネットワークの出力結果により、消化器内視鏡撮像装置により撮像された被験者の消化器内視鏡画像内に存在する病変の名称および位置と、それらの確度の情報とを、畳み込みニューラルネットワークによって推定する処理と、
推定された当該病変の名称および位置と、それらの確度とを表示する解析結果画像を生成して、前記内視鏡画像上に表示させる制御を行う処理と、
を実行させ、
前記畳み込みニューラルネットワークは、複数の消化器腫瘍内視鏡画像内において、豊富な経験を有する医師により萎縮、腸上皮化生、粘膜の隆起または陥凹、および、粘膜色調の状況の特徴抽出によってあらかじめ判定された病変の病変名および病変位置を教師データとして学習処理が行われる、
画像診断支援プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020018003A JP7335552B2 (ja) | 2017-10-30 | 2020-02-05 | 画像診断支援装置、学習済みモデル、画像診断支援装置の作動方法および画像診断支援プログラム |
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017209232 | 2017-10-30 | ||
JP2017209232 | 2017-10-30 | ||
JP2018007967 | 2018-01-22 | ||
JP2018007967 | 2018-01-22 | ||
JP2018038828 | 2018-03-05 | ||
JP2018038828 | 2018-03-05 | ||
PCT/JP2018/040381 WO2019088121A1 (ja) | 2017-10-30 | 2018-10-30 | 画像診断支援装置、資料収集方法、画像診断支援方法および画像診断支援プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020018003A Division JP7335552B2 (ja) | 2017-10-30 | 2020-02-05 | 画像診断支援装置、学習済みモデル、画像診断支援装置の作動方法および画像診断支援プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019088121A1 JPWO2019088121A1 (ja) | 2019-11-14 |
JP6657480B2 true JP6657480B2 (ja) | 2020-03-04 |
Family
ID=66333530
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019520910A Active JP6657480B2 (ja) | 2017-10-30 | 2018-10-30 | 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム |
JP2020018003A Active JP7335552B2 (ja) | 2017-10-30 | 2020-02-05 | 画像診断支援装置、学習済みモデル、画像診断支援装置の作動方法および画像診断支援プログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020018003A Active JP7335552B2 (ja) | 2017-10-30 | 2020-02-05 | 画像診断支援装置、学習済みモデル、画像診断支援装置の作動方法および画像診断支援プログラム |
Country Status (9)
Country | Link |
---|---|
US (1) | US11633084B2 (ja) |
EP (1) | EP3705025A4 (ja) |
JP (2) | JP6657480B2 (ja) |
KR (1) | KR20200106028A (ja) |
CN (1) | CN111655116A (ja) |
BR (1) | BR112020008774A2 (ja) |
SG (1) | SG11202003973VA (ja) |
TW (1) | TW201922174A (ja) |
WO (1) | WO2019088121A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022014235A1 (ja) * | 2020-07-14 | 2022-01-20 | 富士フイルム株式会社 | 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム |
WO2023047963A1 (ja) | 2021-09-21 | 2023-03-30 | 学校法人帝京大学 | 医用画像診断支援装置、医用画像診断支援方法およびプログラム |
JP7508559B2 (ja) | 2020-07-14 | 2024-07-01 | 富士フイルム株式会社 | 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6818424B2 (ja) * | 2016-04-13 | 2021-01-20 | キヤノン株式会社 | 診断支援装置、情報処理方法、診断支援システム及びプログラム |
US11100633B2 (en) | 2018-06-13 | 2021-08-24 | Cosmo Artificial Intelligence—Al Limited | Systems and methods for processing real-time video from a medical image device and detecting objects in the video |
WO2020008834A1 (ja) * | 2018-07-05 | 2020-01-09 | 富士フイルム株式会社 | 画像処理装置、方法及び内視鏡システム |
WO2020026341A1 (ja) * | 2018-07-31 | 2020-02-06 | オリンパス株式会社 | 画像解析装置および画像解析方法 |
US11510561B2 (en) * | 2018-08-21 | 2022-11-29 | Verily Life Sciences Llc | Endoscope defogging |
KR102168485B1 (ko) * | 2018-10-02 | 2020-10-21 | 한림대학교 산학협력단 | 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법 |
KR102210806B1 (ko) * | 2018-10-02 | 2021-02-01 | 한림대학교 산학협력단 | 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법 |
US20210407077A1 (en) * | 2018-12-04 | 2021-12-30 | Hoya Corporation | Information processing device and model generation method |
WO2020174747A1 (ja) * | 2019-02-26 | 2020-09-03 | 富士フイルム株式会社 | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム |
CN112566540B (zh) * | 2019-03-27 | 2023-12-19 | Hoya株式会社 | 内窥镜用处理器、信息处理装置、内窥镜系统、程序以及信息处理方法 |
JP2021012570A (ja) * | 2019-07-08 | 2021-02-04 | 株式会社日立製作所 | 破面解析装置及び破面解析方法 |
CN110517745B (zh) * | 2019-08-15 | 2023-06-27 | 中山大学肿瘤防治中心 | 医疗检查结果的展示方法、装置、电子设备及存储介质 |
WO2021033303A1 (ja) * | 2019-08-22 | 2021-02-25 | Hoya株式会社 | 訓練データ生成方法、学習済みモデル及び情報処理装置 |
WO2021054477A2 (ja) * | 2019-09-20 | 2021-03-25 | 株式会社Aiメディカルサービス | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 |
JP7315809B2 (ja) * | 2019-10-08 | 2023-07-27 | 公立大学法人会津大学 | 大腸内視鏡検査補助装置、大腸内視鏡検査補助方法及び大腸内視鏡検査補助プログラム |
TWI726459B (zh) * | 2019-10-25 | 2021-05-01 | 中國醫藥大學附設醫院 | 遷移學習輔助預測系統、方法及電腦程式產品 |
WO2021095446A1 (ja) * | 2019-11-11 | 2021-05-20 | 富士フイルム株式会社 | 情報表示システムおよび情報表示方法 |
JP7320260B2 (ja) * | 2019-11-15 | 2023-08-03 | オーアイ・イノベーション株式会社 | 髄位置推定装置および製材システム |
JP7346285B2 (ja) * | 2019-12-24 | 2023-09-19 | 富士フイルム株式会社 | 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム |
EP3846477B1 (en) * | 2020-01-05 | 2023-05-03 | Isize Limited | Preprocessing image data |
TWI725716B (zh) * | 2020-01-21 | 2021-04-21 | 雲象科技股份有限公司 | 內視鏡檢測系統及其方法 |
US20230337893A1 (en) * | 2020-03-31 | 2023-10-26 | Nec Corporation | Information processing device, display method, and non-transitory computer-readable medium for storing program |
JP7447243B2 (ja) * | 2020-04-08 | 2024-03-11 | 富士フイルム株式会社 | プロセッサ装置及びその作動方法 |
WO2021220822A1 (ja) * | 2020-04-27 | 2021-11-04 | 公益財団法人がん研究会 | 画像診断装置、画像診断方法、画像診断プログラムおよび学習済みモデル |
WO2021220279A1 (en) * | 2020-05-01 | 2021-11-04 | Given Imaging Ltd. | Systems and methods for selecting images of event indicators |
US20230230364A1 (en) * | 2020-05-26 | 2023-07-20 | Nec Corporation | Image processing device, control method and storage medium |
KR102417531B1 (ko) * | 2020-07-08 | 2022-07-06 | 주식회사 메가젠임플란트 | 학습 데이터 생성장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체 |
KR102222547B1 (ko) * | 2020-07-15 | 2021-03-04 | 주식회사 웨이센 | 인공지능 기반의 대장내시경 영상 분석 방법 |
KR102255311B1 (ko) * | 2020-08-10 | 2021-05-24 | 주식회사 웨이센 | 인공지능 기반의 위내시경 영상 분석 방법 |
US20220039806A1 (en) * | 2020-08-10 | 2022-02-10 | Kunnskap Medical, LLC | Endoscopic system with component control |
KR102262684B1 (ko) * | 2020-11-13 | 2021-06-09 | 주식회사 웨이센 | 영상 수신 장치의 인공지능 기반의 영상 처리 방법 |
KR102505791B1 (ko) * | 2021-01-11 | 2023-03-03 | 한림대학교 산학협력단 | 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램 |
CN112426119B (zh) * | 2021-01-26 | 2021-04-13 | 上海孚慈医疗科技有限公司 | 一种内窥镜筛查处理方法和装置 |
JP2022135013A (ja) * | 2021-03-04 | 2022-09-15 | Hoya株式会社 | プログラム、情報処理方法及び情報処理装置 |
WO2022208615A1 (ja) * | 2021-03-29 | 2022-10-06 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記憶媒体 |
TWI797585B (zh) * | 2021-03-31 | 2023-04-01 | 艾陽科技股份有限公司 | 雷達感測心律方法及其系統 |
CN113456002A (zh) * | 2021-07-15 | 2021-10-01 | 显微智能科技(湖南)有限公司 | 一种体内癌症细胞定位装置及方法 |
TWI762388B (zh) * | 2021-07-16 | 2022-04-21 | 國立中正大學 | 以超頻譜檢測物件影像之方法 |
JP2023044308A (ja) * | 2021-09-17 | 2023-03-30 | Hoya株式会社 | コンピュータプログラム、情報処理方法及び内視鏡 |
TWI789932B (zh) * | 2021-10-01 | 2023-01-11 | 國泰醫療財團法人國泰綜合醫院 | 大腸瘜肉影像偵測方法、裝置及其系統 |
CN114569043A (zh) * | 2022-01-29 | 2022-06-03 | 重庆天如生物科技有限公司 | 一种基于人工智能的内窥镜辅助检查方法及装置 |
TWI796156B (zh) | 2022-03-04 | 2023-03-11 | 國立中正大學 | 以波段用於超頻譜檢測物件影像之方法 |
WO2024009631A1 (ja) * | 2022-07-06 | 2024-01-11 | 富士フイルム株式会社 | 画像処理装置及び画像処理装置の作動方法 |
CN116681681B (zh) * | 2023-06-13 | 2024-04-02 | 富士胶片(中国)投资有限公司 | 内窥镜图像的处理方法、装置、用户设备及介质 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4450973B2 (ja) | 2000-11-30 | 2010-04-14 | オリンパス株式会社 | 診断支援装置 |
JP2007280229A (ja) * | 2006-04-11 | 2007-10-25 | Fujifilm Corp | 類似症例検索装置、類似症例検索方法およびそのプログラム |
WO2008024419A1 (en) * | 2006-08-21 | 2008-02-28 | Sti Medical Systems, Llc | Computer aided analysis using video from endoscopes |
JP5675106B2 (ja) | 2006-11-15 | 2015-02-25 | シーエフピーエイチ, エル.エル.シー. | ゲームサーバと通信しているゲーム機を決定する装置および方法 |
CN101584571A (zh) * | 2009-06-15 | 2009-11-25 | 无锡骏聿科技有限公司 | 一种胶囊内镜辅助读片方法 |
JP5455550B2 (ja) * | 2009-10-23 | 2014-03-26 | Hoya株式会社 | 電子内視鏡用プロセッサ |
WO2011156001A1 (en) * | 2010-06-07 | 2011-12-15 | Sti Medical Systems, Llc | Versatile video interpretation,visualization, and management system |
WO2012018560A2 (en) * | 2010-07-26 | 2012-02-09 | Kjaya, Llc | Adaptive visualization for direct physician use |
JP5800595B2 (ja) | 2010-08-27 | 2015-10-28 | キヤノン株式会社 | 医療診断支援装置、医療診断支援システム、医療診断支援の制御方法、及びプログラム |
JP5670695B2 (ja) * | 2010-10-18 | 2015-02-18 | ソニー株式会社 | 情報処理装置及び方法、並びにプログラム |
JP5802440B2 (ja) | 2011-06-02 | 2015-10-28 | オリンパス株式会社 | 蛍光観察装置 |
US9684960B2 (en) * | 2014-01-25 | 2017-06-20 | Pangea Diagnostics Limited | Automated histological diagnosis of bacterial infection using image analysis |
KR20160049897A (ko) * | 2014-10-28 | 2016-05-10 | 삼성전자주식회사 | 연속적인 의료 영상을 이용한 컴퓨터 보조 진단 장치 및 방법 |
US9672596B2 (en) * | 2015-03-31 | 2017-06-06 | Olympus Corporation | Image processing apparatus to generate a reduced image of an endoscopic image |
JP6552613B2 (ja) | 2015-05-21 | 2019-07-31 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
WO2017017722A1 (ja) | 2015-07-24 | 2017-02-02 | オリンパス株式会社 | 処理装置、処理方法及びプログラム |
JP6528608B2 (ja) | 2015-08-28 | 2019-06-12 | カシオ計算機株式会社 | 診断装置、及び診断装置における学習処理方法、並びにプログラム |
US10510144B2 (en) * | 2015-09-10 | 2019-12-17 | Magentiq Eye Ltd. | System and method for detection of suspicious tissue regions in an endoscopic procedure |
JP6545591B2 (ja) | 2015-09-28 | 2019-07-17 | 富士フイルム富山化学株式会社 | 診断支援装置、方法及びコンピュータプログラム |
CN105574871A (zh) * | 2015-12-16 | 2016-05-11 | 深圳市智影医疗科技有限公司 | 在放射图像中检测肺部局部性病变的分割分类方法和系统 |
WO2017104192A1 (ja) * | 2015-12-17 | 2017-06-22 | オリンパス株式会社 | 医用観察システム |
CN109068945B (zh) * | 2016-03-29 | 2020-12-01 | 富士胶片株式会社 | 图像处理装置、图像处理装置的工作方法及记录介质 |
JP6656357B2 (ja) | 2016-04-04 | 2020-03-04 | オリンパス株式会社 | 学習方法、画像認識装置およびプログラム |
JP6401737B2 (ja) | 2016-05-24 | 2018-10-10 | 株式会社三共 | 遊技機 |
CN106097335B (zh) | 2016-06-08 | 2019-01-25 | 安翰光电技术(武汉)有限公司 | 消化道病灶图像识别系统及识别方法 |
JP6811045B2 (ja) | 2016-07-15 | 2021-01-13 | 株式会社三共 | 遊技機 |
US9589374B1 (en) * | 2016-08-01 | 2017-03-07 | 12 Sigma Technologies | Computer-aided diagnosis system for medical images using deep convolutional neural networks |
CN106934799B (zh) * | 2017-02-24 | 2019-09-03 | 安翰科技(武汉)股份有限公司 | 胶囊内窥镜图像辅助阅片系统及方法 |
WO2018225448A1 (ja) * | 2017-06-09 | 2018-12-13 | 智裕 多田 | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 |
-
2018
- 2018-10-30 JP JP2019520910A patent/JP6657480B2/ja active Active
- 2018-10-30 EP EP18873255.6A patent/EP3705025A4/en not_active Withdrawn
- 2018-10-30 CN CN201880071367.9A patent/CN111655116A/zh active Pending
- 2018-10-30 BR BR112020008774-2A patent/BR112020008774A2/pt not_active IP Right Cessation
- 2018-10-30 SG SG11202003973VA patent/SG11202003973VA/en unknown
- 2018-10-30 WO PCT/JP2018/040381 patent/WO2019088121A1/ja unknown
- 2018-10-30 KR KR1020207015517A patent/KR20200106028A/ko unknown
- 2018-10-30 TW TW107138465A patent/TW201922174A/zh unknown
- 2018-10-30 US US16/760,458 patent/US11633084B2/en active Active
-
2020
- 2020-02-05 JP JP2020018003A patent/JP7335552B2/ja active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022014235A1 (ja) * | 2020-07-14 | 2022-01-20 | 富士フイルム株式会社 | 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム |
JP7508559B2 (ja) | 2020-07-14 | 2024-07-01 | 富士フイルム株式会社 | 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム |
WO2023047963A1 (ja) | 2021-09-21 | 2023-03-30 | 学校法人帝京大学 | 医用画像診断支援装置、医用画像診断支援方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11633084B2 (en) | 2023-04-25 |
JPWO2019088121A1 (ja) | 2019-11-14 |
JP7335552B2 (ja) | 2023-08-30 |
EP3705025A4 (en) | 2021-09-08 |
WO2019088121A1 (ja) | 2019-05-09 |
SG11202003973VA (en) | 2020-05-28 |
BR112020008774A2 (pt) | 2020-12-22 |
TW201922174A (zh) | 2019-06-16 |
KR20200106028A (ko) | 2020-09-10 |
CN111655116A (zh) | 2020-09-11 |
EP3705025A1 (en) | 2020-09-09 |
JP2020073081A (ja) | 2020-05-14 |
US20200337537A1 (en) | 2020-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6657480B2 (ja) | 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム | |
Horie et al. | Diagnostic outcomes of esophageal cancer by artificial intelligence using convolutional neural networks | |
JP6875709B2 (ja) | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 | |
KR102210806B1 (ko) | 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법 | |
Pogorelov et al. | Deep learning and hand-crafted feature based approaches for polyp detection in medical videos | |
KR102168485B1 (ko) | 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법 | |
Shimamoto et al. | Real-time assessment of video images for esophageal squamous cell carcinoma invasion depth using artificial intelligence | |
US20220296081A1 (en) | Method for real-time detection of objects, structures or patterns in a video, an associated system and an associated computer readable medium | |
WO2007105214A2 (en) | Cascade analysis for intestinal contraction detection | |
WO2020162275A1 (ja) | 医療画像処理装置、内視鏡システム、及び医療画像処理方法 | |
WO2021054477A2 (ja) | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 | |
WO2021220822A1 (ja) | 画像診断装置、画像診断方法、画像診断プログラムおよび学習済みモデル | |
CN114372951A (zh) | 基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统 | |
CN115018767A (zh) | 基于本征表示学习的跨模态内镜图像转换及病灶分割方法 | |
Mackiewicz | Capsule endoscopy-state of the technology and computer vision tools after the first decade | |
CN116745861A (zh) | 通过实时影像获得的病变判断系统的控制方法、装置及程序 | |
Liedlgruber et al. | A summary of research targeted at computer-aided decision support in endoscopy of the gastrointestinal tract | |
TWI820624B (zh) | 基於語義分割於影像辨識之方法 | |
CN114581408A (zh) | 一种基于yolov5的胃镜息肉检测方法 | |
US20230162356A1 (en) | Diagnostic imaging device, diagnostic imaging method, diagnostic imaging program, and learned model | |
JP2023079866A (ja) | 超拡大内視鏡による胃癌の検査方法、診断支援方法、診断支援システム、診断支援プログラム、学習済みモデル及び画像診断支援装置 | |
Katayama et al. | Development of Computer-Aided Diagnosis System Using Single FCN Capable for Indicating Detailed Inference Results in Colon NBI Endoscopy | |
TWM620109U (zh) | 輔助判斷系統 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190418 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190418 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190418 |
|
AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20190514 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190612 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190614 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190617 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190617 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190903 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6657480 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |