JPWO2019142910A1 - 診断支援装置、学習装置、診断支援方法、学習方法及びプログラム - Google Patents
診断支援装置、学習装置、診断支援方法、学習方法及びプログラム Download PDFInfo
- Publication number
- JPWO2019142910A1 JPWO2019142910A1 JP2019566525A JP2019566525A JPWO2019142910A1 JP WO2019142910 A1 JPWO2019142910 A1 JP WO2019142910A1 JP 2019566525 A JP2019566525 A JP 2019566525A JP 2019566525 A JP2019566525 A JP 2019566525A JP WO2019142910 A1 JPWO2019142910 A1 JP WO2019142910A1
- Authority
- JP
- Japan
- Prior art keywords
- fundus
- image
- information
- region
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
- A61B3/1241—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes specially adapted for observation of ocular blood flow, e.g. by fluorescein angiography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Theoretical Computer Science (AREA)
- Hematology (AREA)
- Vascular Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
Description
本願は、2018年1月19日に、日本に出願された特願2018−7585号に基づき優先権を主張し、その内容をここに援用する。
眼底の画像である眼底画像と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を学習した学習モデルを用いて、眼底画像における血液循環異常領域を特定する特定部と、
患者の眼底画像と、前記学習モデルとを用いて前記特定部が特定した患者の前記眼底画像における血液循環異常領域を示す情報を出力する出力部と
を有する診断支援装置である。
(2)本発明の一態様は、上記(1)に記載の診断支援装置において、
前記血液循環異常領域は、前記蛍光眼底造影画像と、前記蛍光眼底造影画像に付された網膜無灌流領域と新生血管とのうちいずれか一方又は両方に関する眼科医の診断注記とに基づいて生成される診断支援装置である。
(3)本発明の一態様は、上記(1)又は上記(2)に記載の診断支援装置において、
前記特定部は、前記眼底画像における網膜無灌流領域と新生血管に該当する領域とのいずれか一方又は両方を特定する診断支援装置である。
(4)本発明の一態様は、上記(1)から上記(3)のいずれか一項に記載の診断支援装置において、
前記出力部は、前記眼底画像に前記特定部が特定した血液循環異常領域を重ねた画像を出力する、診断支援装置である。
眼底の画像である眼底画像と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成する学習部
を有する学習装置である。
(6)本発明の一態様は、上記(5)に記載の学習装置において、
前記血液循環異常領域は、前記蛍光眼底造影画像と、前記蛍光眼底造影画像に付された網膜無灌流領域と新生血管とのうちいずれか一方又は両方に関する眼科医の診断注記とに基づいて生成される、学習装置である。
眼底の画像である眼底画像と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を学習した学習モデルを用いて、眼底画像における血液循環異常領域を特定し、
患者の眼底画像と、前記学習モデルとを用いて特定した患者の前記眼底画像における血液循環異常領域を示す情報を出力する、診断支援装置が実行する診断支援方法である。
眼底の画像である眼底画像を示す情報と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域を示す情報とを取得し、
取得した前記眼底画像と、前記眼底の前記蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成する、学習装置が実行する学習方法である。
診断支援装置のコンピュータに、
眼底の画像である眼底画像と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を学習した学習モデルを用いて、眼底画像における血液循環異常領域を特定させ、
患者の眼底画像と、前記学習モデルとを用いて特定させた患者の前記眼底画像における血液循環異常領域を示す情報を出力させる、プログラムである。
学習装置のコンピュータに、
眼底の画像である眼底画像を示す情報と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域を示す情報とを取得させ、
取得させた前記眼底画像と、前記眼底の前記蛍光眼底造影画像に基づいて特定させた血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成させる、プログラムである。
図1は、本発明の情報処理装置の一実施形態であるサーバ1を含む、情報処理システムの構成図である。
サーバ1と、眼科医端末2と、検査機器3とは、インターネット(Internet)等のネットワークNを介して相互に接続されている。
「NPA・NV存在確率マップ生成処理」とは、サーバ1が実行する処理のうち、NPA・NV教師情報を生成してからNPA・NV存在確率マップを生成するまでの一連の処理をいう。
「NPA・NV教師情報」とは、患者の眼底画像情報における網膜無灌流領域(NPA/non−perfusion area)(以下「網膜無灌流領域」または「NPA」と呼ぶ)の存在確率(以下「NPA存在確率」と呼ぶ)と、新生血管(NV/neovascularization)の存在確率(以下「NV存在確率」と呼ぶ)とを演算する際の教師情報をいう。具体的には、「NPA・NV教師情報」は、蛍光眼底造影画像情報と、この情報に付されたNPA・NVアノテーション情報とに基づいて生成される。
「網膜無灌流領域」とは、眼虚血性疾患において網膜血管閉塞の結果生じる網膜の循環不良領域をいう。
「眼底画像情報」とは、眼底画像に基づく画像情報をいう。
「蛍光眼底造影画像情報」とは、蛍光眼底造影画像に基づく情報をいう。
「NPA・NVアノテーション情報」とは、蛍光眼底造影画像情報に付された、網膜無灌流領域(NPA)と新生血管(NV)とのうち少なくとも一方に関する眼科医Dの診断注記をいう。
「新生血管」とは、網膜無灌流領域における網膜の循環不良や虚血がさらに進行したものである。新生血管から、出血や、増殖膜形成を介した網膜剥離が生じると、最終的には失明に至るため、網膜無灌流領域や新生血管などの網膜の循環不良領域を特定することは、診療上非常に重要である。
なお、NPA・NV存在確率マップ生成処理の具体的な処理の流れについては、図4のフローチャートを参照して後述する。
「付随所見教師情報」とは、患者の眼底画像情報における付随所見の存在確率を演算する際の教師情報をいう。具体的には、「付随所見教師情報」は、蛍光眼底造影画像情報及び眼底画像情報と、これらの画像情報に付された付随所見アノテーション情報とに基づいて生成された教師情報をいう。
「付随所見アノテーション情報」とは、蛍光眼底造影画像情報及び眼底画像情報に対して眼科医Dが「正常ではない」という判断を付随的に行った診断注記のうち、網膜無灌流領域(NPA)または新生血管(NV)に関する診断注記以外のものをいう。例えば、毛細血管瘤、眼底出血、硬性白斑、軟性白斑、静脈異常、網膜内細小血管異常、硝子体出血、増殖膜、網膜剥離といった情報は、いずれも「付随所見アノテーション情報」の一例である。
「付随所見存在確率マップ」とは、眼底画像情報に付随所見の存在確率を識別表示させた画像情報(図示せず)である。
なお、付随所見存在確率マップ生成処理の具体的な処理の流れについては、図4のフローチャートを参照して後述する。
なお、推定NPA・NV特定処理の具体的な処理の流れについては、図4のフローチャートを参照して後述する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
入力部17は、各種ハードウェア鉛等で構成され、各種情報を入力する。
記憶部18は、DRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
通信部19は、インターネットを含むネットワークNを介して他の装置との間で行う通信を制御する。
図3は、図1の情報処理システムにおける図2のサーバ1の機能的構成のうち、NPA・NV存在確率マップ生成処理、付随所見存在確率マップ生成処理、推定NPA・NV特定処理、及び推定NPA・NV表示処理を実現するための機能的構成の一例を示す機能ブロック図である。
付随所見存在確率マップ生成処理が実行される場合には、画像取得部101と、アノテーション取得部102と、教師情報生成部103と、演算部104とが機能する。
推定NPA・NV特定処理が実行される場合には、推定NPA・NV特定部106が機能する。
推定NPA・NV表示処理が実行される場合には、推定NPA・NV表示制御部107が機能する。
記憶部18(図2)の一領域には、画像DB401と、アノテーションDB402と、教師DB403とが設けられている。なお、記憶部18は、サーバ1ではなく、眼科医端末2に配置されてもよい。
これにより、サーバ1は、患者の蛍光眼底造影画像情報及び眼底画像情報を漏れなく的確に管理することができる。
これにより、サーバ1は、蛍光眼底造影画像情報に付された網膜無灌流領域(NPA)と、新生血管(NV)とのうち少なくとも一方に関する眼科医Dの診断注記を、NPA・NVアノテーション情報として漏れなく管理することができる。
これにより、サーバ1は、蛍光眼底造影画像情報及び眼底画像情報に付された付随所見に関する眼科医Dの診断注記を、付随所見アノテーション情報として漏れなく管理することができる。
即ち、画像DB401には、複数の患者から得られた蛍光眼底造影画像情報が蓄積されており、アノテーションDB402には、NPA・NVアノテーション情報が蓄積されている。教師情報生成部103は、これらデータベースに蓄積された情報に基づいて、眼底画像情報におけるNPA・NVの存在確率を演算する際の教師情報となるNPA・NV教師情報を生成する。
これにより、サーバ1は、患者の眼底画像情報におけるNPA存在確率とNV存在確率とを演算するための教師情報を生成して蓄積することができる。
また、教師情報生成部103は、蛍光眼底造影画像情報及び眼底画像情報と、これら画像情報に対応する付随所見アノテーション情報とに基づいて、付随所見教師情報を生成する。
即ち、画像DB401には、複数の患者から得られた眼底画像情報と蛍光眼底造影画像情報とが蓄積されており、アノテーションDB402には、付随所見アノテーション情報が蓄積されている。教師情報生成部103は、これらデータベースに蓄積された情報に基づいて、眼底画像情報における付随所見の存在確率を演算する際の教師情報となる付随所見教師情報を生成する。
これにより、サーバ1は、患者の眼底画像情報における付随所見の存在確率を演算するための教師情報を蓄積することができる。
これにより、眼底画像情報のうち網膜無灌流領域(NPA)に該当することが推定される領域と、新生血管(NV)に該当することが推定される領域とを特定するための基準を設定することが可能となる。
これにより、眼底画像情報のうち網膜無灌流領域(NPA)該当することが推定される領域と、新生血管(NV)に該当することが推定される領域とを特定するための基準を設定することが可能となる。
これにより、眼底画像情報における網膜無灌流領域(NPA)、及び新生血管(NV)の存在を推定するための根拠となる情報を生成することができる。
なお、眼底画像情報にNPA存在確率とNV存在確率とを識別表示させる手法は特に限定されない。例えば、色の違いによってNPA存在確率とNV存在確率とを識別表示してもよいし、色の濃淡によってNPA存在確率とNV存在確率とを識別表示してもよい。
また、マップ生成部105は、眼底画像情報に付随所見存在確率を識別表示させた画像情報としての付随所見存在確率マップ(図示せず)を生成する。
これにより、眼底画像情報における網膜無灌流領域(NPA)、及び新生血管(NV)の存在を推定するための根拠となる情報を生成することができる。
なお、眼底画像情報に付随所見存在確率を識別表示させる手法は特に限定されない。例えば、色の違いによって付随所見存在確率を識別表示させてもよいし、色の濃淡によって付随所見存在確率を識別表示してもよい。
これにより、眼底画像に基づく画像情報のうち、網膜無灌流領域(NPA)の存在が推定される領域(推定NPA)と、新生血管(NV)の存在が推定される領域(推定NV)を早期かつ容易に特定することができる。
これにより、眼底画像に基づく画像情報に、網膜無灌流の存在が推定される領域(推定NPA)と、新生血管(NV)の存在が推定される領域(推定NV)を重畳して表示させることができる。
図4は、図3のサーバ1が実行する一連の処理の流れを説明するフローチャートである。
ステップS1において、画像取得部101は、検査機器3から蛍光眼底造影画像情報が送信されて来たか否かを判定する。
蛍光眼底造影画像情報が送信されて来た場合には、ステップS1においてYESであると判定されて、処理はステップS2に進む。一方、蛍光眼底造影画像情報が送信されて来ていない場合には、ステップS1においてNOであると判定されて、処理はステップS1に戻される。即ち、蛍光眼底造影画像情報が送信されて来るまでの間、ステップS1の判定処理が繰り返される。その後、蛍光眼底造影画像情報が送信されて来ると、ステップS1においてYESであると判定されて、処理はステップS2に進む。
ステップS2において、画像取得部101は、送信されて来た蛍光眼底造影画像情報を取得する。
NPA・NVアノテーション情報が送信されて来た場合には、ステップS3においてYESであると判定されて、処理はステップS4に進む。一方、NPA・NVアノテーション情報が送信されて来ていない場合には、ステップS3においてNOであると判定されて、処理はステップS3に戻される。即ち、NPA・NVアノテーション情報が送信されて来るまでの間、ステップS3の判定処理が繰り返される。その後、NPA・NVアノテーション情報が送信されて来ると、ステップS3においてYESであると判定されて、処理はステップS4に進む。
ステップS4において、アノテーション取得部102は、送信されて来たNPA・NVアノテーション情報を取得する。
ステップS6において、画像取得部101は、検査機器3から眼底画像情報が送信されて来たか否かを判定する。
眼底画像情報が送信されて来た場合には、ステップS6においてYESであると判定されて、処理はステップS7に進む。一方、眼底画像情報が送信されて来ていない場合には、ステップS6においてNOであると判定されて、処理はステップS6に戻される。即ち、眼底画像情報が送信されて来るまでの間、ステップS6の判定処理が繰り返される。その後、眼底画像情報が送信されて来ると、ステップS6においてYESであると判定されて、処理はステップS7に進む。
ステップS7において、画像取得部101は、送信されて来た眼底画像情報を取得する。
付随所見アノテーション情報が送信されて来た場合には、ステップS8においてYESであると判定されて、処理はステップS9に進む。一方、付随所見アノテーション情報が送信されて来ていない場合には、ステップS8においてNOであると判定されて、処理はステップS9乃至S11をスキップしてステップS12に進む。
ステップS9において、アノテーション取得部102は、付随所見アノテーション情報を取得する。
ステップS10において、教師情報生成部103は、蛍光眼底造影画像情報と、当該蛍光眼底造影画像情報に対応するNPA・NVアノテーション情報とに基づいて、付随所見教師情報を生成する。
ステップS11において、演算部104は、付随所見教師情報に基づいて、眼底画像情報における付随所見の存在確率を演算する。
ステップS12において、マップ生成部105は、眼底画像情報に付随所見存在確率を識別表示させた画像情報としての付随所見存在確率マップを生成する。
ステップS14において、マップ生成部105は、眼底画像情報にNPA存在確率と、NV存在確率とを識別表示させた画像情報としてのNPA・NV存在確率マップを生成する。
ステップS15において、推定NPA・NV特定部106は、NPA存在確率と、NV存在確率とに基づいて、眼底画像情報のうち網膜無灌流領域(NPA)に該当することが推定される領域を推定NPAとして特定し、新生血管(NV)に該当することが推定される領域を推定NVとして特定する。
ステップS16において、推定NPA・NV表示制御部107は、眼底画像情報に、推定NPAと、NV領域とを表示させる制御を実行する。
処理の終了指示がない場合には、ステップS17においてNOであると判定されて、処理はステップS1に戻される。一方、処理の終了指示があった場合には、ステップS17においてYESであると判定されて、処理は終了する。
以上のような一連の処理をサーバ1が実行することにより、推定NPA領域と、推定NV領域とが眼底画像情報に表示される。
図5は、サーバ1が実行する処理における各種情報の流れを示す図である。
眼底検査において、患者の眼底画像が撮像されると、この眼底画像に基づく眼底画像情報は、サーバ1により取得される。眼底画像情報及びNPA・NV教師情報は、演算部104のNPA・NVアノテーションプログラムによる演算処理に用いられる。NPA・NVアノテーションプログラムによる演算処理の結果、NPA・NV存在確率マップが生成される。このNPA・NV存在確率マップに基づいて、眼底画像情報における推定NPAと推定NVとが特定される。
眼底画像情報及びNPA・NV教師情報は、演算部104の付随所見判定プログラムによる演算処理に用いられる。付随所見判定プログラムによる演算処理の結果、付随所見存在確率マップが生成される。このように、付随所見存在確率マップが生成された場合には、付随所見存在確率マップと、NPA・NV教師情報とに基づいて、眼底画像情報における推定NPAと、推定NVとが特定される。
図7は、サーバ1が実行する処理において取得される蛍光眼底造影画像情報の一例を示す図である。
そこで、サーバ1は、蓄積された複数の患者から得られた蛍光眼底造影画像情報と、これら情報の夫々に付されたNPA・NVアノテーション情報に基づいて生成されたNPA・NV教師情報を用いて、NPA・NV存在確率マップ生成処理を行う。これにより、負担の大きい蛍光眼底造影検査を実施することなく、近隣の診療所や検診などで簡便に撮影可能な眼底画像から、循環異常所見を簡便に特定することが可能となる。
これにより、眼底画像情報における網膜無灌流領域(NPA)、及び新生血管(NV)の存在を推定するための根拠となる情報を生成することができる。
これにより、特殊な眼底カメラや診断装置を必要とする蛍光眼底造影検査を実施することなく、患者の眼底を撮像した眼底画像から、網膜無灌流の存在が推定される領域や、新生血管の存在が推定される領域を早期かつ容易に特定することができる。
そして、1つの機能ブロックは、ハードウェア単体で構成しても良いし、ソフトウェア単体との組み合わせで構成しても良い。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
例えば、図4のステップS6において、画像取得部101は、検査機器3から眼底画像情報が送信されて来たか否かを判定し、ステップS7において眼底画像情報を取得する。しかし、眼底画像情報は、付随所見存在確率マップ生成処理が実行される場合には、付随所見教師情報が生成される時点で適切に管理されていれば足りる。また、付随所見存在確率マップ生成処理が実行されない場合には、NPA存在確率と、NV存在確率とが演算される時点で適切に管理されていれば足りる。このため、眼底画像情報は、付随所見教師情報が生成される場合には、ステップS10において付随所見教師情報が生成されるよりも前のいずれかの時点から画像DB401に記憶され管理されていればよい。また、付随所見教師情報が生成されない場合には、ステップS13においてNPA存在確率と、NV存在確率とが演算されるよりも前のいずれかの時点から画像DB401に記憶され管理されていればよい。
即ち、本発明が適用されるプログラムは、
情報処理装置を制御するコンピュータに、
蛍光眼底造影画像情報(例えば図7の蛍光眼底造影画像情報C)を取得する蛍光眼底造影画像取得ステップ(例えば図4のステップS2)と、
前記蛍光眼底造影画像情報に付された、網膜無灌流領域(NPA)と新生血管(NV)とのうち少なくとも一方に関する眼科医の診断注記を、NPA・NVアノテーション情報として取得するNPA・NVアノテーション取得ステップ(例えば図4のステップS4)と、
前記蛍光眼底造影画像情報と、当該蛍光眼底造影画像情報に対応する前記NPA・NVアノテーション情報とに基づいて、前記網膜無灌流領域(NPA)の存在確率、及び新生血管(NV)の存在確率を演算するための教師情報となるNPA・NV教師情報を生成するNPA・NV教師情報生成ステップ(例えば図4のステップS5)と、
眼底画像情報(例えば図6の眼底画像情報F)を取得する眼底画像取得ステップ(例えば図4のステップS7)と、
前記NPA・NV教師情報に基づいて、前記眼底画像情報における前記網膜無灌流領域(NPA)の存在確率と、新生血管(NV)の存在確率とを演算するNPA・NV存在確率演算ステップ(例えば図4のステップS13)と、
前記網膜無灌流領域の存在確率と、前記新生血管の存在確率とに基づいて、前記眼底画像情報のうち前記網膜無灌流領域(NPA)に該当すると推定される領域を推定NPAとして特定し、前記新生血管(NV)に該当すると推定される領域を推定NVとして特定する推定NPA・NV特定ステップ(例えば図4のステップS15)と、
を含む。
これにより、特殊な眼底カメラや診断装置を必要とする蛍光眼底造影検査を実施することなく、患者の眼底を撮像した眼底画像から、網膜無灌流の存在が推定される領域を早期かつ容易に特定することができる。
これにより、眼底画像情報における網膜無灌流領域(NPA)、及び新生血管(NV)の存在を推定するための根拠となる情報を生成することができる。
前記蛍光眼底造影画像情報及び前記眼底画像情報と、当該蛍光眼底造影画像情報及び当該眼底画像情報に対応する前記付随所見アノテーション情報とに基づいて、前記眼底画像情報における前記付随所見の存在確率を演算するための教師情報となる付随所見教師情報を生成する付随所見教師情報生成ステップ(例えば図4のステップS10)と、
前記付随所見教師情報に基づいて、前記眼底画像情報における前記付随所見の存在確率を演算する付随所見存在確率演算ステップ(例えば図4のステップS11)と、
をさらに含み、
前記NPA・NV存在確率演算ステップではさらに、
前記付随所見の存在確率と、前記NPA・NV教師情報とに基づいて、前記眼底画像情報における前記網膜無灌流領域(NPA)の存在確率と、新生血管(NV)の存在確率とを演算する制御処理を実行させることができる。
(変形例)
図10は、本発明の一実施形態の変形例の情報処理システムの構成図である。本発明の一実施形態の変形例の情報処理システムは、眼科医端末2と、検査機器3と、学習装置200と、診断支援装置300とを含む。これらの装置は、ネットワークNを介して互いに接続される。
学習装置200は、患者の眼底画像を示す情報と、その患者の蛍光眼底造影画像を示す情報とを取得し、取得した眼底画像を示す情報と、蛍光眼底造影画像を示す情報とを関連付けて、記憶する。具体的には、患者の眼底検査において、検査機器3は、患者の眼底画像を撮像し、患者IDと、撮像した眼底画像を示す情報とを含み、学習装置200を宛先とする眼底画像通知情報を作成し、作成した眼底画像通知情報を、学習装置200へ送信する。また、患者の蛍光眼底造影検査において、検査機器3は、患者の蛍光眼底造影画像を撮像し、患者IDと、撮像した蛍光眼底造影画像を示す情報とを含み、学習装置200を宛先とする蛍光眼底造影画像通知情報を作成し、作成した蛍光眼底造影画像通知情報を、学習装置200へ送信する。
学習装置200は、眼科医端末2が送信したNPA・NVアノテーション通知情報を受信し、受信したNPA・NVアノテーション通知情報に含まれるNPA・NVアノテーション情報を記憶する。なお、蛍光眼底造影画像を示す情報と、この蛍光眼底造影画像に付されたNPA・NVアノテーション情報とは、互いに関連付けられて記憶される。
学習装置200は、NPA・NV学習情報に含まれる眼底画像を示す情報を入力情報とし、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域を教師情報として、眼底画像と、その眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成する。なお、学習モデルを生成する具体的な手法は特に限定されない。例えば、NPA・NV学習情報から、血液循環異常領域を有する眼底画像に共通する特徴を抽出し、抽出した共通する特徴と、眼底画像における血液循環異常領域との関係を導出してもよい。ニューラルネットワーク、ディープラーニング(深層学習)の技術を用いて、眼底画像と、その眼底画像における血液循環異常領域との関係とを導出してもよい。学習装置200は、生成した学習モデルを記憶するとともに、生成した学習モデルを含み、診断支援装置300をあて先とする学習モデル通知情報を作成し、作成した学習モデル通知情報を、診断支援装置300へ送信する。
以下、情報処理システムに含まれる学習装置200と、診断支援装置300とについて、説明する。
図11は、本発明の実施形態の変形例の学習装置の一例を示すブロック図である。
学習装置200は、通信部205と、記憶部210と、操作部220と、情報処理部230と、表示部240と、各構成要素を図11に示されているように電気的に接続するためのアドレスバスやデータバスなどのバスライン250とを備える。
アプリ212は、学習装置200に、眼底画像を示す情報と、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域とを関連付けたNPA・NV学習情報を生成させ、生成させたNPA・NV学習情報を記憶させる。アプリ212は、学習装置200に、NPA・NV学習情報に含まれる眼底画像を示す情報を入力情報とし、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域を教師情報として、眼底画像と、その眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成させる。アプリ212は、学習装置200に、生成した学習モデルを記憶させるとともに、診断支援装置300へ送信させる。
画像取得部231は、通信部205が出力した蛍光眼底造影画像通知情報を取得し、取得した蛍光眼底造影画像通知情報に含まれる患者IDと、蛍光眼底造影画像を示す情報とを取得する。画像取得部231は、取得した患者IDと、蛍光眼底造影画像を示す情報とを関連付けて、画像DB213に記憶する。
アノテーション取得部232は、通信部205が出力した付随所見アノテーション通知情報を取得し、取得した付随所見アノテーション通知情報に含まれる患者IDと、付随所見アノテーション情報とを取得する。アノテーション取得部232は、取得した患者IDと、付随所見アノテーション情報とを関連付けて、アノテーションDB214に記憶する。
図12は眼底画像の一例を示す図であり、図13は蛍光眼底造影画像の一例を示す図である。
学習情報生成部233は、眼底画像の緑成分を抽出し、緑成分を抽出した眼底画像である緑成分抽出眼底画像からノイズ成分を除去する。学習情報生成部233は、ノイズ成分を除去した緑成分抽出眼底画像を、矩形に分割する。学習情報生成部233は、矩形に分割した画像に基づいて、ノイズ成分を除去した緑成分抽出眼底画像を、所定のサイズにリサイズする。所定のサイズにリサイズする際に、バイキュービック補間などの補間方法によって補間する。
学習情報生成部233は、蛍光眼底造影画像の緑成分を抽出し、緑成分を抽出した蛍光眼底造影画像である緑成分抽出蛍光眼底造影画像からノイズ成分を除去する。学習情報生成部233は、ノイズ成分を除去した緑成分抽出蛍光眼底造影画像を、矩形に分割する。学習情報生成部233は、矩形に分割した画像に基づいて、ノイズ成分を除去した緑成分抽出蛍光眼底造影画像を、所定のサイズにリサイズする。所定のサイズにリサイズする際に、バイキュービック補間などの補間方法によって補間する。
学習情報生成部233は、眼底画像を示す情報と、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域とを関連付けたNPA・NV学習情報を生成し、生成したNPA・NV学習情報を、記憶部210の学習情報215に記憶する。図11に戻り説明を続ける。
ニューラルネットワークが学習用データそのもの、あるいは、それに非常によく似た画像にのみに対して良い性能を示し、未知の画像に対しては著しく低い性能を示してしまう現象は、過学習(over−fitting)と呼ばれ、これを解決するにはより多くのサンプルを集めることや、学習データに回転などの幾何学的操作を加えることによって改善される。
本実施形態の変形例では、パッチを生成した後に、回転角をσ=3deg.の正規分布に基づいて決定し、50%の確率で水平反転、20%の確率で垂直反転を行った。
ニューラルネットワークの構造の一例はU−Netに基づいている。図15において、bはconvolution(kernel_size=(3,3))、gはmax pooling(pool_size=(2,2))、oはup sampling(size=(2,2))を表している。各convolution層の後には活性化関数ReLUを用い、batch normalizationを行った。ただし、最後のconvolution層には、活性化関数としてsigmoidを用いて、batch normalizationは行わなかった。
学習部234は、生成した学習モデルを含み、診断支援装置300をあて先とする学習モデル通知情報を作成し、作成した学習モデル通知情報を、通信部205へ出力する。
図16は、本発明の実施形態の変形例の診断支援装置の一例を示すブロック図である。
診断支援装置300は、通信部305と、記憶部310と、操作部320と、情報処理部330と、表示部340と、各構成要素を図16に示されているように電気的に接続するためのアドレスバスやデータバスなどのバスライン350とを備える。
アプリ312は、診断支援装置300に、患者の眼底画像と、学習モデルとを用いて特定させたその眼底画像における血液循環異常領域を示す情報と、患者IDとを含み、眼科医端末2をあて先とする診断情報を作成させ、作成させた診断情報を、眼科医端末2へ送信させる。
受付部331は、通信部305が出力した患者情報を取得し、取得した患者情報に含まれる患者IDと、眼底画像を示す情報とを取得する。受付部331は、取得した患者IDと、眼底画像を示す情報とを受け付け、受け付けた患者IDと、眼底画像を示す情報とを、特定部332に出力する。
具体的には、本実施形態の変形例では、学習装置200と同様に、画像からパッチを抽出して、抽出したパッチと、学習モデルとを用いて、眼底画像における血液循環異常領域を特定する場合について説明する。ここでは、一例として、パッチサイズを64px×64pxとし、stride(パッチ抽出の枠を動かす間隔)を2pxとした。生成したパッチの全てを選択する。
特定部332は、学習モデルに基づいて、64×64×1の画像を取得する。特定部332は、取得した画素値を、元画像の対応するピクセルにvoteし、平均化する。ここで、特定部332は、取得した画像を、カラー表示へ変換してもよい。
図17と図18とを参照して、本実施形態の変形例の情報処理システムの動作の一例について説明する。
図17は、本実施形態の変形例の情報処理システムに含まれる学習装置の動作の一例を示すフローチャートである。図17は、眼科医端末2が、学習装置200へ、NPA・NVアノテーション通知情報と、付随所見アノテーション通知情報とを送信し、検査機器3が、学習装置200へ眼底画像通知情報と、蛍光眼底造影画像通知情報とを送信した後の動作について示す。
学習装置200の通信部205は、検査機器3が送信した眼底画像通知情報を受信し、受信した眼底画像通知情報を、情報処理部230へ出力する。情報処理部230の画像取得部231は、通信部205が出力した眼底画像通知情報を取得し、取得した眼底画像通知情報に含まれる患者IDと、眼底画像を示す情報とを関連付けて、記憶部210の画像DB213に記憶する。
学習装置200の通信部205は、検査機器3が送信した蛍光眼底造影画像通知情報を受信し、受信した蛍光眼底造影画像通知情報を、情報処理部230へ出力する。情報処理部230の画像取得部231は、通信部205が出力した蛍光眼底造影画像通知情報を取得し、取得した蛍光眼底造影画像通知情報に含まれる患者IDと、蛍光眼底造影画像を示す情報とを関連付けて、記憶部210の画像DB213に記憶する。
学習装置200の通信部205は、眼科医端末2が送信したNPA・NVアノテーション通知情報を受信し、受信したNPA・NVアノテーション通知情報を、情報処理部230へ出力する。情報処理部230のアノテーション取得部232は、通信部205が出力したNPA・NVアノテーション通知情報を取得し、取得したNPA・NVアノテーション通知情報に含まれる患者IDと、NPA・NVアノテーション情報とを関連付けて、記憶部210のアノテーションDB214に記憶する。
学習装置200の学習情報生成部233は、記憶部210の画像DB213に記憶された患者IDと、患者IDに関連付けられている眼底画像を示す情報と、蛍光眼底造影画像を示す情報とを取得する。学習情報生成部233は、記憶部210のアノテーションDB214に記憶された患者IDと、患者IDに関連付けられているNPA・NVアノテーション情報と、付随所見アノテーション情報とを取得する。学習情報生成部233は、取得した蛍光眼底造影画像を示す情報と、NPA・NVアノテーション情報と、付随所見アノテーション情報とに基づいて、血液循環異常領域を特定する。学習情報生成部233は、眼底画像を示す情報と、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域とを関連付けたNPA・NV学習情報を生成し、生成したNPA・NV学習情報を、記憶部210の学習情報215に記憶する。
学習装置200の学習部234は、記憶部210の学習情報215に記憶したNPA・NV学習情報を取得する。学習部234は、取得したNPA・NV学習情報に含まれる眼底画像を示す情報と、血液循環異常領域を示す情報とを取得する。学習部234は、取得した眼底画像を示す情報を入力情報とし、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域を教師情報として、眼底画像と、その眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成する。学習部234は、生成した学習モデルを、記憶部210の学習モデル216に記憶する。
図17に示されるフローチャートによれば、学習装置200は、蛍光眼底造影画像を示す情報と、NPA・NVアノテーション情報と、付随所見アノテーション情報とに基づいて、血液循環異常領域を特定できる。学習装置200は、眼底画像を示す情報を入力情報とし、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域を教師情報として、眼底画像と、その眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成できる。
診断支援装置300の通信部305は、学習装置200が送信した学習モデル通知情報を受信し、受信した学習モデル通知情報を、情報処理部330へ出力する。受付部331は、通信部305が出力した学習モデル通知情報を取得し、取得した学習モデル通知情報に含まれる学習モデルを取得する。受付部331は、取得した学習モデルを受け付け、受け付けた学習モデルを、記憶部310の学習モデル216に記憶する。
通信部305は、眼科医端末2が送信した患者情報を受信し、受信した患者情報を、情報処理部330へ出力する。受付部331は、通信部305が出力した患者情報を取得し、取得した患者情報に含まれる患者IDと、眼底画像を示す情報とを取得する。受付部331は、取得した患者IDと、眼底画像を示す情報とを受け付け、受け付けた患者IDと、眼底画像を示す情報とを、特定部332に出力する。
特定部332は、受付部331が出力した患者IDと、眼底画像を示す情報とを取得する。特定部332は、記憶部310の学習モデル216に記憶されている学習モデルを取得する。
特定部332は、記憶部310の学習モデル216に記憶されている学習モデルを取得し、取得した学習モデルを用いて、特定対象である眼底画像における血液循環異常領域を特定する。特定部332は、特定した眼底画像における血液循環異常領域を示す情報と、患者IDとを、作成部333へ出力する。
作成部333は、特定部332が出力した患者IDと、眼底画像における血液循環異常領域を示す情報とを取得する。作成部333は、患者IDと、取得した眼底画像における血液循環異常領域を示す情報とを含み、眼科医端末2を宛先とする診断情報を作成する。作成部333は、作成した診断情報を通信部305へ出力する。
図18に示されるフローチャートによれば、診断支援装置300は、眼底画像を示す情報を入力情報とし、その眼底画像に対応する蛍光眼底造影画像に基づいて特定された血液循環異常領域を教師情報として生成された眼底画像と、その眼底画像における血液循環異常領域との関係を表す学習モデルを用いて、特定対象である眼底画像における血液循環異常領域を特定できる。
血液循環異常領域は、蛍光眼底造影画像と、蛍光眼底造影画像に付された網膜無灌流領域と新生血管とのうちいずれか一方又は両方に関する眼科医の診断注記とに基づいて生成される。このように構成することによって、蛍光眼底造影画像と、蛍光眼底造影画像に付された網膜無灌流領域と新生血管とのうちいずれか一方又は両方に関する眼科医の診断注記とに基づいて、教師情報とする血液循環異常領域を生成できる。
なお、前述のサーバ1、眼科医端末2、検査機器3、学習装置200、診断支援装置300は内部にコンピュータを有している。そして、前述した各装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリなどをいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
(付記1)情報処理装置を制御するコンピュータに、
蛍光眼底造影画像情報を取得する蛍光眼底造影画像取得ステップと、
前記蛍光眼底造影画像情報に付された、網膜無灌流領域と新生血管とのうち少なくとも一方に関する眼科医の診断注記を、NPA・NVアノテーション情報として取得するNPA・NVアノテーション取得ステップと、
前記蛍光眼底造影画像情報と、当該蛍光眼底造影画像情報に対応する前記NPA・NVアノテーション情報とに基づいて、前記網膜無灌流領域の存在確率、及び新生血管の存在確率を演算するための教師情報となるNPA・NV教師情報を生成するNPA・NV教師情報生成ステップと、
眼底画像情報を取得する眼底画像取得ステップと、
前記NPA・NV教師情報に基づいて、前記眼底画像情報における前記網膜無灌流領域の存在確率と、前記新生血管の存在確率とを演算するNPA・NV存在確率演算ステップと、
前記網膜無灌流領域の存在確率と、前記新生血管の存在確率とに基づいて、前記眼底画像情報のうち前記網膜無灌流領域に該当すると推定される領域を推定NPAとして特定し、前記新生血管に該当すると推定される領域を推定NVとして特定する推定NPA・NV特定ステップと、
を含む制御処理を実行させるプログラム。
(付記2)前記眼底画像情報に前記NPA存在確率と、NV存在確率とを識別表示させた、NPA・NV存在確率マップを生成するNPA・NV存在確率マップ生成ステップをさらに含む、
付記1に記載のプログラム。
(付記3)前記蛍光眼底造影画像情報及び前記眼底画像情報に付された、付随所見に関する前記眼科医の診断注記を、付随所見アノテーション情報として取得する付随アノテーション取得ステップと、
前記蛍光眼底造影画像情報及び前記眼底画像情報と、当該蛍光眼底造影画像情報及び当該眼底画像情報に対応する前記付随所見アノテーション情報とに基づいて、前記眼底画像情報における前記付随所見の存在確率を演算するための教師情報となる付随所見教師情報を生成する付随所見教師情報生成ステップと、
前記付随所見教師情報に基づいて、前記眼底画像情報における前記付随所見の存在確率を演算する付随所見存在確率演算ステップと、
をさらに含み、
前記NPA・NV存在確率演算ステップではさらに、
前記付随所見の存在確率と、前記NPA教師情報とに基づいて、前記眼底画像情報における前記網膜無灌流領域の存在確率と、新生血管の存在確率とを演算する制御処理を実行させる、
付記1又は2に記載のプログラム。
(付記4)前記眼底画像情報に前記付随所見の存在確率を識別表示させた、付随所見存在確率マップを生成する付随所見存在確率マップ生成ステップをさらに含む、
付記3に記載のプログラム。
蛍光眼底造影画像情報を取得する蛍光眼底造影画像取得ステップと、
前記蛍光眼底造影画像情報に付された、網膜無灌流領域と新生血管とのうち少なくとも一方に関する眼科医の診断注記を、NPA・NVアノテーション情報として取得するNPA・NVアノテーション取得ステップと、
前記蛍光眼底造影画像情報と、当該蛍光眼底造影画像情報に対応する前記NPA・NVアノテーション情報とに基づいて、前記網膜無灌流領域の存在確率、及び新生血管の存在確率を演算するための教師情報となるNPA・NV教師情報を生成するNPA・NV教師情報生成ステップと、
眼底画像情報を取得する眼底画像取得ステップと、
前記NPA・NV教師情報に基づいて、前記眼底画像情報における前記網膜無灌流領域の存在確率と、前記新生血管の存在確率とを演算するNPA・NV存在確率演算ステップと、
前記網膜無灌流領域の存在確率と、前記新生血管の存在確率とに基づいて、前記眼底画像情報のうち前記網膜無灌流領域に該当すると推定される領域を推定NPAとして特定し、前記新生血管に該当すると推定される領域を推定NVとして特定する推定NPA・NV特定ステップと、
を含む情報処理方法。
(付記6)蛍光眼底造影画像情報を取得する蛍光眼底造影画像取得手段と、
前記蛍光眼底造影画像情報に付された、網膜無灌流領域と新生血管とのうち少なくとも一方に関する眼科医の診断注記を、NPA・NVアノテーション情報として取得するNPA・NVアノテーション取得手段と、
前記蛍光眼底造影画像情報と、当該蛍光眼底造影画像情報に対応する前記NPA・NVアノテーション情報とに基づいて、前記網膜無灌流領域の存在確率、及び新生血管の存在確率を演算するための教師情報となるNPA・NV教師情報を生成するNPA・NV教師情報生成手段と、
眼底画像情報を取得する眼底画像取得手段と、
前記NPA・NV教師情報に基づいて、前記眼底画像情報における前記網膜無灌流領域の存在確率と、前記新生血管の存在確率とを演算するNPA・NV存在確率演算手段と、
前記網膜無灌流領域の存在確率と、前記新生血管の存在確率とに基づいて、前記眼底画像情報のうち前記網膜無灌流領域に該当すると推定される領域を推定NPAとして特定し、前記新生血管に該当すると推定される領域を推定NVとして特定する推定NPA・NV特定手段と、
を備える情報処理装置。
2:眼科医端末
3:検査機器
11:CPU
12:ROM
13:RAM
14:バス
15:入出力インターフェース
16:表示部
17:入力部
18:記憶部
19:通信部
20:ドライブ
30:リムーバブルメディア
101:画像取得部
102:アノテーション取得部
103:教師情報生成部
104:演算部
105:マップ生成部
106:推定NPA・NV特定部
107:推定NPA・NV表示制御部
200:学習装置
205:通信部
210:記憶部
211:プログラム
212:アプリ
213:画像DB
214:アノテーションDB
215:学習情報
216:学習モデル
220:操作部
230:情報処理部
231:画像取得部
232:アノテーション取得部
233:学習情報生成部
234:学習部
240:表示部
250:バスライン
300:診断支援装置
305:通信部
310:記憶部
311:プログラム
312:アプリ
320:操作部
330:情報処理部
331:受付部
332:特定部
333:作成部
240:表示部
350:バスライン
401:画像DB
402:アノテーションDB
403:教師DB
A:推定NPA
B:推定NV
C:蛍光眼底造影画像情報
D:眼科医
E:NPA・NV存在確率マップ
F:眼底画像情報
Claims (10)
- 眼底の画像である眼底画像と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を学習した学習モデルを用いて、眼底画像における血液循環異常領域を特定する特定部と、
患者の眼底画像と、前記学習モデルとを用いて前記特定部が特定した患者の前記眼底画像における血液循環異常領域を示す情報を出力する出力部と
を有する診断支援装置。 - 前記血液循環異常領域は、前記蛍光眼底造影画像と、前記蛍光眼底造影画像に付された網膜無灌流領域と新生血管とのうちいずれか一方又は両方に関する眼科医の診断注記とに基づいて生成される、請求項1に記載の診断支援装置。
- 前記特定部は、前記眼底画像における網膜無灌流領域と新生血管に該当する領域とのいずれか一方又は両方を特定する、請求項1又は請求項2に記載の診断支援装置。
- 前記出力部は、前記眼底画像に前記特定部が特定した血液循環異常領域を重ねた画像を出力する、請求項1から請求項3のいずれか一項に記載の診断支援装置。
- 眼底の画像である眼底画像と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成する学習部
を有する学習装置。 - 前記血液循環異常領域は、前記蛍光眼底造影画像と、前記蛍光眼底造影画像に付された網膜無灌流領域と新生血管とのうちいずれか一方又は両方に関する眼科医の診断注記とに基づいて生成される、請求項5に記載の学習装置。
- 眼底の画像である眼底画像と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を学習した学習モデルを用いて、眼底画像における血液循環異常領域を特定し、
患者の眼底画像と、前記学習モデルとを用いて特定した患者の前記眼底画像における血液循環異常領域を示す情報を出力する、診断支援装置が実行する診断支援方法。 - 眼底の画像である眼底画像を示す情報と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域を示す情報とを取得し、
取得した前記眼底画像と、前記眼底の前記蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成する、学習装置が実行する学習方法。 - 診断支援装置のコンピュータに、
眼底の画像である眼底画像と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を学習した学習モデルを用いて、眼底画像における血液循環異常領域を特定させ、
患者の眼底画像と、前記学習モデルとを用いて特定させた患者の前記眼底画像における血液循環異常領域を示す情報を出力させる、プログラム。 - 学習装置のコンピュータに、
眼底の画像である眼底画像を示す情報と、前記眼底の蛍光眼底造影画像に基づいて特定された血液循環異常領域を示す情報とを取得させ、
取得させた前記眼底画像と、前記眼底の前記蛍光眼底造影画像に基づいて特定させた血液循環異常領域とに基づいて、眼底画像と、前記眼底画像における血液循環異常領域との関係を表す学習モデルを学習によって生成させる、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022147056A JP2022180466A (ja) | 2018-01-19 | 2022-09-15 | 診断支援装置、学習装置、診断支援方法、学習方法及びプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018007585 | 2018-01-19 | ||
JP2018007585 | 2018-01-19 | ||
PCT/JP2019/001470 WO2019142910A1 (ja) | 2018-01-19 | 2019-01-18 | 診断支援装置、学習装置、診断支援方法、学習方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022147056A Division JP2022180466A (ja) | 2018-01-19 | 2022-09-15 | 診断支援装置、学習装置、診断支援方法、学習方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019142910A1 true JPWO2019142910A1 (ja) | 2021-01-07 |
JP7143862B2 JP7143862B2 (ja) | 2022-09-29 |
Family
ID=67302295
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019566525A Active JP7143862B2 (ja) | 2018-01-19 | 2019-01-18 | 診断支援装置、学習装置、診断支援方法、学習方法及びプログラム |
JP2022147056A Pending JP2022180466A (ja) | 2018-01-19 | 2022-09-15 | 診断支援装置、学習装置、診断支援方法、学習方法及びプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022147056A Pending JP2022180466A (ja) | 2018-01-19 | 2022-09-15 | 診断支援装置、学習装置、診断支援方法、学習方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210000343A1 (ja) |
EP (1) | EP3741288A4 (ja) |
JP (2) | JP7143862B2 (ja) |
CN (1) | CN111902071A (ja) |
WO (1) | WO2019142910A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019142910A1 (ja) * | 2018-01-19 | 2019-07-25 | 学校法人慶應義塾 | 診断支援装置、学習装置、診断支援方法、学習方法及びプログラム |
JP6916849B2 (ja) * | 2019-09-13 | 2021-08-11 | 株式会社クレスコ | 情報処理装置、情報処理方法および情報処理プログラム |
JP2021176056A (ja) * | 2020-05-01 | 2021-11-04 | 国立研究開発法人理化学研究所 | 医療システム及び医療情報処理装置 |
CN112967260B (zh) * | 2021-03-17 | 2024-01-26 | 中国科学院苏州生物医学工程技术研究所 | 基于弱监督学习的眼底荧光造影图像渗漏点检测方法 |
KR102543937B1 (ko) * | 2021-03-18 | 2023-06-14 | 가톨릭대학교 산학협력단 | 딥러닝 기반의 안저 형광 혈관 조영 영상 내 비관류 영역의 자동 탐지 장치 및 방법 |
JPWO2023032162A1 (ja) * | 2021-09-03 | 2023-03-09 | ||
JP2023051045A (ja) * | 2021-09-30 | 2023-04-11 | DeepEyeVision株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN115272255A (zh) * | 2022-08-02 | 2022-11-01 | 中山大学中山眼科中心 | 一种利用眼底彩照自动生成荧光造影图像的方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160071266A1 (en) * | 2014-09-08 | 2016-03-10 | The Cleveland Clinic Foundation | Automated analysis of angiographic images |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7290880B1 (en) * | 2005-07-27 | 2007-11-06 | Visionsense Ltd. | System and method for producing a stereoscopic image of an eye fundus |
JP4822527B2 (ja) * | 2006-09-26 | 2011-11-24 | 国立大学法人岐阜大学 | 画像解析装置及び画像解析プログラム |
JP2010178802A (ja) | 2009-02-03 | 2010-08-19 | Gifu Univ | 眼底画像解析システム、及び眼底画像解析プログラム |
CN201624637U (zh) * | 2009-08-21 | 2010-11-10 | 上海市第一人民医院 | 可调谐光源结合共焦激光同步眼底血管造影系统 |
JP5628636B2 (ja) * | 2010-11-09 | 2014-11-19 | 株式会社トプコン | 眼底画像処理装置及び眼底観察装置 |
US20140314288A1 (en) | 2013-04-17 | 2014-10-23 | Keshab K. Parhi | Method and apparatus to detect lesions of diabetic retinopathy in fundus images |
WO2016154485A1 (en) * | 2015-03-25 | 2016-09-29 | Oregon Health & Science University | Optical coherence tomography angiography methods |
CN104835150B (zh) * | 2015-04-23 | 2018-06-19 | 深圳大学 | 一种基于学习的眼底血管几何关键点图像处理方法及装置 |
JP6090505B1 (ja) * | 2016-04-12 | 2017-03-08 | 株式会社網膜情報診断研究所 | 眼底画像解析システムとそのプログラム |
JP6744625B2 (ja) | 2016-07-11 | 2020-08-19 | 株式会社ペティオ | ペット用サークル |
EP3300654B1 (en) * | 2016-09-30 | 2022-01-05 | Nidek Co., Ltd. | Method for fundus image observation |
CN108172291B (zh) * | 2017-05-04 | 2020-01-07 | 深圳硅基智能科技有限公司 | 基于眼底图像的糖尿病视网膜病变识别系统 |
WO2019142910A1 (ja) * | 2018-01-19 | 2019-07-25 | 学校法人慶應義塾 | 診断支援装置、学習装置、診断支援方法、学習方法及びプログラム |
-
2019
- 2019-01-18 WO PCT/JP2019/001470 patent/WO2019142910A1/ja unknown
- 2019-01-18 CN CN201980018367.7A patent/CN111902071A/zh active Pending
- 2019-01-18 EP EP19741888.2A patent/EP3741288A4/en active Pending
- 2019-01-18 JP JP2019566525A patent/JP7143862B2/ja active Active
-
2020
- 2020-07-16 US US16/930,510 patent/US20210000343A1/en not_active Abandoned
-
2022
- 2022-09-15 JP JP2022147056A patent/JP2022180466A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160071266A1 (en) * | 2014-09-08 | 2016-03-10 | The Cleveland Clinic Foundation | Automated analysis of angiographic images |
Non-Patent Citations (1)
Title |
---|
VARUN GULSHAN, ET AL.: "Development and Validation of a Deep Learning Algorithm for Detection of Diabetic Retinopathy in Ret", JAMA, vol. 316, no. 22, JPN6022033527, 29 November 2016 (2016-11-29), pages 2402 - 2410, XP055509254, ISSN: 0004849559, DOI: 10.1001/jama.2016.17216 * |
Also Published As
Publication number | Publication date |
---|---|
JP7143862B2 (ja) | 2022-09-29 |
US20210000343A1 (en) | 2021-01-07 |
JP2022180466A (ja) | 2022-12-06 |
EP3741288A1 (en) | 2020-11-25 |
CN111902071A (zh) | 2020-11-06 |
EP3741288A8 (en) | 2021-01-13 |
WO2019142910A1 (ja) | 2019-07-25 |
EP3741288A4 (en) | 2021-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7143862B2 (ja) | 診断支援装置、学習装置、診断支援方法、学習方法及びプログラム | |
CN111493814B (zh) | 眼底病变的识别系统 | |
Keel et al. | Development and validation of a deep‐learning algorithm for the detection of neovascular age‐related macular degeneration from colour fundus photographs | |
WO2020200087A1 (en) | Image-based detection of ophthalmic and systemic diseases | |
KR20130042640A (ko) | 화상 처리 장치 | |
JP2022033126A (ja) | 眼の画像内における病変の検知 | |
JP7258354B2 (ja) | 生体組織内の異常を検出するための方法及びシステム | |
US11200674B2 (en) | Image processing apparatus, method, and storage medium for enabling user to REC0GNT7E change over time represented by substraction image | |
US11894125B2 (en) | Processing fundus camera images using machine learning models trained using other modalities | |
US11730364B2 (en) | Apparatus and methods for supporting reading of fundus image | |
JP2006149654A (ja) | 眼底の病変についての診断の支援 | |
Güven | Automatic detection of age-related macular degeneration pathologies in retinal fundus images | |
JP2006263127A (ja) | 眼底画像診断支援システム、及び眼底画像診断支援プログラム | |
JP2021182403A (ja) | 変換装置、変換方法、及びプログラム | |
JP2019146936A (ja) | 診断支援システム、診断支援方法、及びプログラム | |
JP2019149094A (ja) | 診断支援システム、診断支援方法、及びプログラム | |
JP6620636B2 (ja) | 眼底画像処理装置 | |
JP2010158279A (ja) | 眼底画像解析システム、及び眼底画像解析プログラム | |
US20220328186A1 (en) | Automatic cervical cancer diagnosis system | |
WO2013041977A1 (en) | Method of retinal image enhancement and tool therefor | |
Almazroa et al. | The appropriateness of digital diabetic retinopathy screening images for a computer-aided glaucoma screening system | |
JP6410498B2 (ja) | 眼科装置及びその制御方法 | |
US20220181026A1 (en) | Information processing apparatus, information processing system, information processing method, and storage medium | |
JP2024062089A (ja) | 医用情報処理装置、医用情報処理方法、医用情報処理プログラム、及び医用情報処理システム | |
CN116703941A (zh) | 眼底渗出病灶提取方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200807 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210115 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210709 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220816 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220829 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7143862 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |