JP2024083838A - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP2024083838A JP2024083838A JP2022197888A JP2022197888A JP2024083838A JP 2024083838 A JP2024083838 A JP 2024083838A JP 2022197888 A JP2022197888 A JP 2022197888A JP 2022197888 A JP2022197888 A JP 2022197888A JP 2024083838 A JP2024083838 A JP 2024083838A
- Authority
- JP
- Japan
- Prior art keywords
- image
- attribute
- unit
- normal
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 50
- 238000003672 processing method Methods 0.000 title abstract description 5
- 238000010801 machine learning Methods 0.000 claims description 90
- 210000001367 artery Anatomy 0.000 claims description 65
- 238000000034 method Methods 0.000 claims description 31
- 238000007689 inspection Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 48
- 238000013527 convolutional neural network Methods 0.000 description 24
- 238000005259 measurement Methods 0.000 description 19
- 210000004204 blood vessel Anatomy 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 13
- 238000013500 data storage Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 239000003086 colorant Substances 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 206010003210 Arteriosclerosis Diseases 0.000 description 2
- 206010020772 Hypertension Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 208000011775 arteriosclerosis disease Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 239000012503 blood component Substances 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 238000007373 indentation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000025033 vasoconstriction Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Eye Examination Apparatus (AREA)
- Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
Abstract
【課題】画像中の検査対象部位の組織全体の特徴を評価した測定値を得ることが可能な情報処理装置、情報処理方法及びプログラムを提供する。【解決手段】情報処理装置20は、被検者の検査対象部位の撮影により取得された第1画像を取得する画像取得部224と、第1画像の検査対象部位の第1属性が正常である確信度及び/又は正常な第1属性から所定の逸脱度である確信度を取得する第1分類部226と、第1分類部が取得した確信度に基づいて推論結果を出力する出力部2210とを備える。【選択図】図3
Description
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
眼底は血管や神経細胞層を直接観察できる部位である。眼底カメラなどを用いて取得される眼底画像は、眼球の病気や糖尿病、高血圧、動脈硬化を発見したり、その進行度を評価したりする情報を有している。
特許文献1では、被検眼の眼底画像を処理することで、被検眼の眼底における動静脈径比を算出する眼底画像処理装置であって、眼底画像に含まれる乳頭を特定する乳頭特定手段と、眼底画像に含まれる血管を特定する血管特定手段と、血管特定手段によって特定された血管のうち、乳頭特定手段によって特定された乳頭の高さよりも上方の領域に位置する血管同士の径の比である上方径比を算出する上方径比算出手段と、血管特定手段によって特定された血管のうち、乳頭の高さよりも下方の領域に位置する血管同士の径の比である下方径比を算出する下方径比算出手段とを備える眼底画像処理装置が開示されている。
特許文献1に記載の眼底画像処理装置によれば、一定の精度で動静脈径比を算出することができる。一方で、特許文献1に記載の眼底画像処理装置では、動静脈径比の算出過程で個々の血管に着目して個別に測定結果を算出するため、眼底画像の広い領域から動静脈を検出する場合には膨大な処理が行われることとなり、大量のコンピュータリソースが必要とされていた。
そこで、本発明は、画像中の検査対象部位の組織全体の特徴を評価した測定値を得ることが可能な情報処理装置、情報処理方法及びプログラムを提供することを目的とする。
本開示の一態様に係る情報処理装置は、被検者の検査対象部位の撮影により取得された第1画像を取得する画像取得部と、第1画像の検査対象部位の第1属性が正常である確信度及び/又は正常な第1属性から所定の逸脱度である確信度を取得する第1分類部と、第1分類部が取得した確信度に基づいて推論結果を出力する出力部とを備える。
この態様によれば、情報処理装置は、第1画像の検査対象部位の第1属性が正常である確信度及び/又は正常な第1属性から所定の逸脱度である確信度を取得する第1分類部を用いて、第1画像の検査対象部位の第1属性全体の特徴を評価した測定値を得ることができる。第1画像の検査対象部位の個々の属性を測定・評価する場合と比較して、情報処理装置は、少ないコンピュータリソースで測定値を得ることができる。
上記情報処理装置において、第1画像の検査対象部位の第2属性が正常である確信度及び/又は正常な第2属性から所定の逸脱度である確信度を取得する第2分類部をさらに備え、出力部は、第2分類部が取得した確信度に基づいて推論結果を出力してもよい。この態様によれば、情報処理装置は、第1画像の検査対象部位について、第1属性に加えて第2属性についても、その属性全体の特徴を評価した測定値を得ることができる。
上記情報処理装置において、第1画像は、被検者の眼底画像であり、第1属性及び第2属性は、動脈に関する属性であってもよい。この態様によれば、情報処理装置は、眼底画像の動脈に関する第1属性及び第2属性全体の特徴を評価した測定値を得ることができる。
上記情報処理装置において、第1画像の検査対象部位の第3属性が正常である確信度及び/又は正常な第3属性から所定の逸脱度である確信度を取得する第3分類部をさらに備え、出力部は、第3分類部が取得した確信度に基づいて推論結果を出力してもよい。この態様によれば、情報処理装置は、第1画像の検査対象部位について、第1属性及び第2属性に加えて第3属性についても、その属性全体の特徴を評価した測定値を得ることができる。
上記情報処理装置において、第1画像は、被検者の眼底画像であり、第1属性及び第2属性は、動脈に関する属性であり、第3属性は、眼底に関する属性であってもよい。この態様によれば、情報処理装置は、眼底画像の動脈に関する第1属性及び第2の属性全体の特徴に加えて、眼底に関する第3属性全体の特徴を評価した測定値を得ることができる。
上記情報処理装置において、第1分類部、第2分類部、および第3分類部は単一の分類部であってもよい。この態様によれば、情報処理装置は、分類部に要する記憶容量を削減しながら、3つの属性全体の特徴を評価した測定値を得ることができる。
上記情報処理装置において、第2分類部は、第1画像を第2推論モデルに入力することで検査対象部位の第2属性が正常である確信度及び/又は正常な第2属性から所定の逸脱度である確信度を取得するものであり、第2推論モデルは、第1画像に含まれる検査対象部位の第2属性が正常であるか正常な第2属性から所定の逸脱度であるかを推定するモデルであってもよい。この態様によれば、情報処理装置は、健常な検査対象部位の画像及び非健常な検査対象部位の画像から、正常な第2属性及び/又は正常な第2属性から逸脱した特徴について学習した推論モデルを用いて、検査対象部位の第2属性全体の特徴を評価した測定値を得ることができる。
上記情報処理装置において、第1分類部は、第1画像を第1推論モデルに入力することで検査対象部位の第1属性が正常である確信度及び/又は正常な第1属性から所定の逸脱度である確信度を取得するものであり、第1推論モデルは、第1画像に含まれる検査対象部位の第1属性が正常であるか正常な第1属性から所定の逸脱度であるかを推定するモデルであってもよい。この態様によれば、この態様によれば、情報処理装置は、健常な検査対象部位の画像及び非健常な検査対象部位の画像から、正常な第2属性及び/又は正常な第2属性から逸脱した特徴について学習した推論モデルを用いて、検査対象部位の第2属性全体の特徴を評価した測定値を得ることができる。
上記情報処理装置において、第1分類部の分類に寄与した領域を可視化した第2画像を作成する画像作成部をさらに備え、出力部は、画像作成部が作成した第2画像に基づいて推論結果を出力してもよい。この態様によれば、情報処理装置は、第1画像の検査対象部位において、正常な第1属性からの逸脱が予想される領域を把握することができる。
上記情報処理装置において、画像作成部は、第1分類部の分類の確信度に基づいて、第1分類部の分類への寄与度を表す値を調整して第2画像を作成してもよい。この態様によれば、情報処理装置は、正常な第1属性からの逸脱が予想される領域を精度良く指摘することができる。
上記情報処理装置において、第1分類部は、検査対象部位の第1属性が正常である確信度と正常な第1属性から所定の逸脱度である複数の確信度とを取得してもよい。この態様によれば、情報処理装置は、正常な第1属性からの逸脱度が異なる複数の逸脱度に関する確信度を得ることができる。
本開示の他の態様に係る方法は、被検者の検査対象部位の撮影により取得された第1画像を取得することと、第1画像の検査対象部位の第1属性が正常である確信度及び/又は正常な第1属性から所定の逸脱度である確信度を取得することと、確信度に基づいて推論結果を出力することとを含む。
本開示の他の態様に係るプログラムは、1又は複数のコンピュータに、被検者の検査対象部位の撮影により取得された第1画像を取得する処理と、第1画像の検査対象部位の第1属性が正常である確信度及び/又は正常な第1属性から所定の逸脱度である確信度を取得する処理と、確信度に基づいて推論結果を出力する処理とを実行させる。
本開示の他の態様に係る情報処理装置は、健常又は正常な第1属性からの逸脱度を示す情報が正解データとしてラベル付けされた画像を機械学習モデルに入力して機械学習モデルを学習させる学習部と、学習部で学習された学習済モデルを出力するモデル出力部とを備える。この態様によれば、情報処理装置は、正常な第1属性及び/又は正常な第1属性からの逸脱度の推論に用いることが可能な学習済モデルを得ることができる。
本発明によれば、画像中の検査対象部位の組織全体の特徴を評価した測定値を得ることが可能な情報処理装置、情報処理方法及びプログラムを提供することができる。
添付図面を参照して、本発明の実施形態について説明する。なお、以下の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施形態を採用することが可能であり、係る実施形態も本発明の範囲に含まれる。
(システム構成)
図1、図2及び図3を用いて、本発明の概要について説明する。図1は、本発明の一実施形態に係る情報処理システムのネットワーク構成を示す図である。図2は、本発明の一実施形態に係る学習装置の処理を説明する概略図である。図3は、本発明の一実施形態に係る推論装置の処理を説明する概略図である。
図1、図2及び図3を用いて、本発明の概要について説明する。図1は、本発明の一実施形態に係る情報処理システムのネットワーク構成を示す図である。図2は、本発明の一実施形態に係る学習装置の処理を説明する概略図である。図3は、本発明の一実施形態に係る推論装置の処理を説明する概略図である。
情報処理システムは、学習装置10、推論装置20及び記憶装置30を備える。学習装置10は、通信ネットワークNを介して、推論装置20及び記憶装置30に接続される。通信ネットワークNは、有線又は無線回線により構成された有線通信網及び無線通信網のいずれであってもよく、インターネットやLocal Area Network(LAN)であってよい。
学習装置10は、記憶装置30に記憶された学習データに基づいて、機械学習モデルの学習を行い、学習済モデルを記憶装置30に記憶する。本実施形態に係る学習装置10は機械学習モデルを備えるが、機械学習モデルは、学習装置10と別体の装置に備えられてもよい。
ここで、機械学習モデルとは、所定のモデル構造と、学習処理によって変動する処理パラメータとを有し、学習データから得られる経験に基づいてその処理パラメータが最適化されることで、識別精度が向上するモデルである。すなわち機械学習モデルは、学習処理によって最適な処理パラメータを学習するモデルである。機械学習モデルのアルゴリズムは、例えば、サポートベクターマシン、ロジスティック回帰、ニューラルネットワーク等を用いることができるが、その種類は特に限定されない。当該学習を行う機械学習モデルには、学習前のものも、学習データによりすでに何らかの学習を行っているものも含まれる。
なお、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いて学習を行ったモデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加学習を行うこともできる。
推論装置20は、学習済モデルを用いて、入力データの特徴に応じた出力データを出力する。本実施形態に係る推論装置20は、記憶装置30から取得した学習済モデルを用いて、推論を行う。ここで、学習済モデルを取得するとは、学習済モデルの機能を推論装置20において再現するために必要な情報を取得することをいう。例えば、機械学習モデルとしてニューラルネットワークを用いる場合、学習済モデルを取得するとは、少なくとも、ニューラルネットワークのレイヤ数、各レイヤに関するノード数、ノード間を繋ぐリンクの重みパラメータ、各ノードに関するバイアスパラメータ及び各ノードに関する活性化関数の関数形に関する情報を取得することをいう。
記憶装置30は、機械学習モデルの学習に用いる学習データを記憶する。本実施形態に係る記憶装置30は、「健常」又は正常な動脈径からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像を第1の学習データとして記憶している。例えば、高血圧が進むと全身の血管に負担がかかり、眼底部で毛細血管が損傷を受けて、血管の狭細が引き起こされる。本実施形態では、正常な動脈径からの逸脱度を示す情報として、健常眼との類似度が高い径逸脱度1~健常眼との類似度が低い径逸脱度4の計4つのラベルを用いるが、他の任意の数のラベルを用いて正常な動脈径からの逸脱度を示してもよい。
また、記憶装置30は、「健常」又は正常な動脈の色からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像を第2の学習データとして記憶している。例えば、正常な動脈の色は赤色であるが、動脈硬化が進むと、血管壁が厚くなり動脈の中央が白っぽく見えるようになる。本実施形態では、正常な動脈の色からの逸脱度を示す情報として、健常眼との類似度が高い動脈色逸脱度1~健常眼との類似度が低い動脈色逸脱度4の計4つのラベルを用いるが、他の任意の数のラベルを用いて正常な動脈の色からの逸脱度を示してもよい。
また、記憶装置30は、「健常」又は正常な眼底の色からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像を第3の学習データとして記憶している。例えば、糖尿病網膜症が進むと、網膜の血管から血液成分の漏れや出血を起こし、正常な眼底の色と比較して、血管以外の領域が赤色に変化していく。本実施形態では、正常な眼底の色からの逸脱度を示す情報として、健常眼との類似度が高い眼底色逸脱度1~健常眼との類似度が低い眼底色逸脱度3の計3つのラベルを用いるが、他の任意の数のラベルを用いて正常な眼底の色からの逸脱度を示してもよい。
ここで、逸脱度には、例えば数字により表される評価に限らず、ABCや甲乙丙など、文字や記号により表されるランク付けやその他の評価も含まれる。なお、本実施形態では、医用画像の一例である眼底画像を用いる例について説明するが、他の任意の医用画像を用いてもよい。
なお、本実施形態では、機械学習モデルの学習に用いる学習データとして、健常眼の眼底画像と健常眼からの逸脱がみられる非健常眼の眼底画像とを用いる例について説明するが、健常眼の眼底画像のみを学習データとして用いたり、非健常眼の眼底画像のみを学習データとして用いたりしてもよい。
また、記憶装置30は、学習装置10によって出力された学習済モデルを記憶する。図1では、記憶装置30を単一の記憶装置として示しているが、記憶装置30は、1又は複数のファイルサーバによって構成されてよい。
ここで、本実施形態に係る学習装置10は、図2の上段に示されるように、眼底画像を入力データとして受け取り、健常眼の画像、径逸脱度1~4の非健常眼の画像のいずれかに分類する第1の機械学習モデルを備える。また、学習装置10は、図2の下段に示されるように、眼底画像を入力データとして受け取り、健常眼の画像、動脈色逸脱度1~4の非健常眼の画像のいずれかに分類する第2の機械学習モデルを備える。さらに、学習装置10は、図2では省略するが、眼底画像を入力データとして受け取り、健常眼の画像、眼底色逸脱度1~3の非健常眼の画像のいずれかに分類する第3の機械学習モデルを備える。学習装置10は、機械学習モデルを用いて眼底画像の分類を行い、予測した結果と学習データにラベル付けされた正解データとの誤差を最小化するように、機械学習モデルを学習させる。
なお、本実施形態では、健常眼の確信度についても出力する機械学習モデルを用いているが、別の実施形態では、健常眼の確認度については出力せず、所定の逸脱度の確信度のみを出力する機械学習モデルを用いてもよい。また、本実施形態では、動脈径用の機械学習モデル、動脈色用の機械学習モデル及び眼底色用の機械学習モデルを用いてそれぞれの分類を行っているが、別の実施形態では、単一の機械学習モデルを用いて動脈径、動脈色、及び眼底色の分類を行ってもよい。
本実施形態に係る推論装置20は、図3に示されるように、径学習済モデルを用いて順方向計算を行い、眼底画像が正常な動脈径の健常眼、径逸脱度1の非健常眼、径逸脱度2の非健常眼、径逸脱度3の非健常眼、径逸脱度4の非健常眼のいずれに属するかを推論する。次に、推論装置20は、径逸脱度1~4の確信度が所定の閾値以上の場合、径逸脱度1~4のうち最も高い確信度を有する分類に対応する出力層から可視化したい畳み込み層へ誤差逆伝播を行い、最も高い確信度を有する径逸脱度分類の出力に対する各特徴マップの寄与度を算出し、順方向計算で得られた特徴マップに寄与度を重み付けして足し合わせることで、ヒートマップを作成する。なお、本実施形態では、最も高い確信度を有する径逸脱度分類についてヒートマップを作成する例について説明するが、別の実施形態では、所定の閾値以上のすべての径逸脱度分類についてヒートマップを作成するようにしてもよい。
なお、図3では、径学習済モデルについて図示しているが、推論装置20は、同様に動脈色学習済モデルを用いて順方向計算を行い、眼底画像が正常な動脈の色の健常眼、動脈色逸脱度1の非健常眼、動脈色逸脱度2の非健常眼、動脈色逸脱度3の非健常眼、動脈色逸脱度4の非健常眼のいずれに属するかを推論する。同様に、推論装置20は、動脈色逸脱度1~4の確信度が所定の閾値以上の場合、動脈色逸脱度1~4のうち最も高い確信度を有する分類に対応する出力層から可視化したい畳み込み層へ逆誤差伝播を行い、最も高い確信度を有する動脈色逸脱度分類の出力に対する各特徴マップの寄与度を算出し、順方向計算で得られた特徴マップに寄与度を重み付けして足し合わせることで、ヒートマップを作成する。
同様に、推論装置20は、同様に眼底色学習済モデルを用いて順方向計算を行い、眼底画像が正常な眼底の色の健常眼、眼底色逸脱度1の非健常眼、眼底色逸脱度2の非健常眼、眼底色逸脱度3の非健常眼のいずれに属するかを推論する。同様に、推論装置20は、眼底色逸脱度1~3の確信度が所定の閾値以上の場合、眼底色逸脱度1~3のうち最も高い確信度を有する分類に対応する出力層から可視化したい畳み込み層へ逆誤差伝播を行い、最も高い確信度を有する眼底色逸脱度分類の出力に対する各特徴マップの寄与度を算出し、順方向計算で得られた特徴マップに寄与度を重み付けして足し合わせることで、ヒートマップを作成する。
複数の健常眼の画像及び正常な動脈径から逸脱している非健常眼の画像から動脈径の特徴について学習した学習済モデルを用いて眼底画像の動脈径に関する推論を行うことで、個々の動脈径が正常であるか否かではなく、画像に含まれる複数の動脈径について総合的に正常な動脈径から逸脱しているか否かを推論することができる。
同様に、複数の健常眼の画像及び正常な動脈の色から逸脱している非健常眼の画像から動脈の色の特徴について学習した学習済モデルを用いて眼底画像の動脈の色に関する推論を行うことで、個々の動脈の色が正常であるか否かではなく、画像に含まれる複数の動脈の色について総合的に正常な動脈の色から逸脱しているか否かを推論することができる。
同様に、複数の健常眼の画像及び正常な眼底の色から逸脱している非健常眼の画像から眼底の色の特徴について学習した学習済モデルを用いて眼底画像の眼底の色に関する推論を行うことで、個別の眼底領域の色が正常であるか否かではなく、画像に含まれる眼底の色について総合的に正常な眼底の色から逸脱しているか否かを推論することができる。
(機能構成:学習装置)
図4は、本発明の一実施形態に係る学習装置のブロック図である。なお、図4では、単一の学習装置10を想定し、必要な機能構成だけを示しているが、学習装置10を、複数のコンピュータシステムによる多機能の分散システムの一部として構成することもできる。
図4は、本発明の一実施形態に係る学習装置のブロック図である。なお、図4では、単一の学習装置10を想定し、必要な機能構成だけを示しているが、学習装置10を、複数のコンピュータシステムによる多機能の分散システムの一部として構成することもできる。
学習装置10は、入力部110と、制御部120と、記憶部130と、通信部140とを備えている。
入力部110は、学習装置10の管理者からの操作を受け付けるように構成され、キーボードやマウス、タッチパネル等によって実現することができる。
制御部120は、プロセッサに相当するCPUやMPU等の演算処理部121及びRAM等のメモリ122を備えている。演算処理部121(プロセッサ)は、各種入力に基づき、記憶部130に記録されたプログラムをメモリ122に展開して実行することで、演算処理部121における後述する機能及び処理を実現する。このプログラムは、CD-ROM等のコンピュータ読み取り可能な非一時的な記録媒体に記憶され、若しくはネットワークを介して配布され、コンピュータにインストールされるものであってもよい。メモリ122は、演算処理部121(プロセッサ)によるプログラム実行に必要なワークメモリとして機能する。
記憶部130は、ハードディスク等の記憶装置によって構成され、制御部120における処理の実行に必要な各種プログラムや、各種プログラムの実行に必要なデータ等を記録しておくものである。本実施形態では、記憶部130は、径学習データ記憶部131、動脈色学習データ記憶部132及び眼底色学習データ記憶部133を有していることが望ましい。なお、本実施形態では、動脈径用の学習データ、動脈色用の学習データ及び眼底色用の学習データを用いて機械学習モデルを学習させる例について説明するが、別の実施形態では、単一の学習データを用いて機械学習モデルを学習させてもよい。
径学習データ記憶部131には、後述の機械学習モデルM1の学習に用いる学習データが保存される。本実施形態では、径学習データ記憶部131には、「健常」又は正常な動脈径からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像が保存される。
動脈色学習データ記憶部132には、後述の機械学習モデルM2の学習に用いる学習データが保存される。本実施形態では、動脈色学習データ記憶部132には、「健常」又は正常な動脈の色からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像が保存される。
眼底色学習データ記憶部133には、後述の機械学習モデルM3の学習に用いる学習データが保存される。本実施形態では、眼底色学習データ記憶部133には、「健常」又は正常な眼底の色からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像が保存される。
通信部140は、学習装置10をネットワークに接続するように構成される。例えば、通信部140は、LANカード、アナログモデム、ISDNモデム等、及びこれらをシステムバス等の伝送路を介して処理部と接続するためのインタフェースから実現することができる。
さらに、図4に示すように、演算処理部121は、機能部として、学習データ取得部123、学習部124、径分類部125、動脈色分類部126、眼底色分類部127及びモデル出力部128を備えている。前述の通り、本実施形態では、動脈径用の機械学習モデル、動脈色用の機械学習モデル及び眼底色用の機械学習モデルを用いて各分類部が分類を行う例について説明するが、別の実施形態では、単一の機械学習モデルを用いて単一の分類部が動脈径、動脈色、及び眼底色の分類を行ってもよい。
学習データ取得部123は、後述の機械学習モデルM1、機械学習モデルM2及び機械学習モデルM3の学習に用いる学習データをそれぞれ取得して、径学習データ記憶部131、動脈色学習データ記憶部132及び眼底色学習データ133に記憶する。本実施形態では、学習データ取得部123は、記憶装置30から「健常」又は正常な動脈径からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像を取得して、径学習データ記憶部131に記憶する。また、学習データ取得部123は、記憶装置30から「健常」又は正常な動脈の色からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像を取得して、動脈色学習データ記憶部132に記憶する。さらに、学習データ取得部123は、記憶装置30から「健常」又は正常な眼底の色からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像を取得して、眼底色学習データ記憶部133に記憶する。
学習部124は、学習データ取得部123が取得した学習データを用いて、機械学習モデルM1、機械学習モデルM2及び機械学習モデルM3を学習させる。本実施形態では、学習部124は、「健常」又は正常な動脈径からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像を後述の径分類部125に入力して、機械学習モデルM1を学習させる。また、学習部124は、「健常」又は正常な動脈の色からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像を後述の動脈色分類部126に入力して、機械学習モデルM2を学習させる。さらに、学習部124は、「健常」又は正常な眼底の色からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像を後述の眼底色分類部127に入力して、機械学習モデルM3を学習させる。
径分類部125は、眼底画像の入力を受け付けて、健常眼の画像、径逸脱度1の非健常眼の画像、径逸脱度2の非健常眼の画像、径逸脱度3の非健常眼の画像、径逸脱度4の非健常眼の画像のいずれかに分類する。本実施形態では、径分類部125は、眼底画像の入力を受け付けて、機械学習モデルM1を用いて、健常眼、径逸脱度1、径逸脱度2、径逸脱度3、径逸脱度4の確信度を出力する。
機械学習モデルM1は、眼底画像を入力データとして受け取り、健常眼の画像、径逸脱度1の非健常眼の画像、径逸脱度2の非健常眼の画像、径逸脱度3の非健常眼の画像、径逸脱度4の非健常眼の画像のいずれかに分類する機械学習モデルである。本実施形態では、機械学習モデルM1の一例として、眼底画像を入力データとして受け取り、画像の分類を出力する畳み込みニューラルネットワーク(CNN)を用いた実施例について説明する。しかしながら、CNNは機械学習モデルM1の一例にすぎず、学習装置10は、機械学習モデルM1として他の構成を用いてもよい。
動脈色分類部126は、眼底画像の入力を受け付けて、健常眼の画像、動脈色逸脱度1の非健常眼の画像、動脈色逸脱度2の非健常眼の画像、動脈色逸脱度3の非健常眼の画像、動脈色逸脱度4の非健常眼の画像のいずれかに分類する。本実施形態では、動脈色分類部126は、眼底画像の入力を受け付けて、機械学習モデルM2を用いて、健常眼、動脈色逸脱度1、動脈色逸脱度2、動脈色逸脱度3、動脈色逸脱度4の確信度を出力する。
機械学習モデルM2は、眼底画像を入力データとして受け取り、健常眼の画像、動脈色逸脱度1の非健常眼の画像、動脈色逸脱度2の非健常眼の画像、動脈色逸脱度3の非健常眼の画像、動脈色逸脱度4の非健常眼の画像のいずれかに分類する機械学習モデルである。本実施形態では、機械学習モデルM2の一例として、眼底画像を入力データとして受け取り、画像の分類を出力する畳み込みニューラルネットワーク(CNN)を用いた実施例について説明する。しかしながら、CNNは機械学習モデルM2の一例にすぎず、学習装置10は、機械学習モデルM2として他の構成を用いてもよい。
眼底色分類部127は、眼底画像の入力を受け付けて、健常眼の画像、眼底色逸脱度1の非健常眼の画像、眼底色逸脱度2の非健常眼の画像、眼底色逸脱度3の非健常眼の画像の画像のいずれかに分類する。本実施形態では、眼底色分類部127は、眼底画像の入力を受け付けて、機械学習モデルM3を用いて、健常眼、眼底色逸脱度1、眼底色逸脱度2、眼底色逸脱度3の確信度を出力する。
機械学習モデルM3は、眼底画像を入力データとして受け取り、健常眼の画像、眼底色逸脱度1の非健常眼の画像、眼底色逸脱度2の非健常眼の画像、眼底色逸脱度3の非健常眼の画像の非健常眼の画像のいずれかに分類する機械学習モデルである。本実施形態では、機械学習モデルM3の一例として、眼底画像を入力データとして受け取り、画像の分類を出力する畳み込みニューラルネットワーク(CNN)を用いた実施例について説明する。しかしながら、CNNは機械学習モデルM3の一例にすぎず、学習装置10は、機械学習モデルM3として他の構成を用いてもよい。
学習部124は、機械学習モデルM1、機械学習モデルM2及びM3が予測した結果と学習データにラベル付けされた正解データとの誤差を最小化するように、機械学習モデルM1、機械学習モデルM2及びM3をそれぞれ学習させる。
機械学習モデルM1の学習が完了すると、モデル出力部128は、機械学習モデルM1の学習により得られた径学習済モデルを記憶装置30に出力する。また、機械学習モデルM2の学習が完了すると、モデル出力部128は、機械学習モデルM2の学習により得られた動脈色学習済モデルを記憶装置30に出力する。さらに、機械学習モデルM3の学習が完了すると、モデル出力部128は、機械学習モデルM3の学習により得られた眼底色学習済モデルを記憶装置30に出力する。なお、学習部124は、例えば、所定数の学習データを用いて機械学習モデルを学習させた後、学習を完了してもよいし、機械学習モデルを用いて予測した分類の精度が所定の条件を満たした場合に学習を完了してもよい。
(機能構成:推論装置)
図5は、本発明の一実施形態に係る推論装置のブロック図である。なお、図5では、単一の推論装置20を想定し、必要な機能構成だけを示しているが、推論装置20を、複数のコンピュータシステムによる多機能の分散システムの一部として構成することもできるし、1以上の情報処理装置で構成されるクラウドコンピューティングが推論装置20における機能構成の一部を実現してもよい。推論装置20として、例えば、コンピュータや眼底カメラを用いることができる。
図5は、本発明の一実施形態に係る推論装置のブロック図である。なお、図5では、単一の推論装置20を想定し、必要な機能構成だけを示しているが、推論装置20を、複数のコンピュータシステムによる多機能の分散システムの一部として構成することもできるし、1以上の情報処理装置で構成されるクラウドコンピューティングが推論装置20における機能構成の一部を実現してもよい。推論装置20として、例えば、コンピュータや眼底カメラを用いることができる。
推論装置20は、入力部210と、制御部220と、記憶部230と、通信部240と、表示部250とを備えている。
入力部210は、推論装置20の管理者からの操作を受け付けるように構成され、キーボードやマウス、タッチパネル等によって実現することができる。
制御部220は、プロセッサに相当するCPUやMPU等の演算処理部221及びRAM等のメモリ222を備えている。演算処理部221(プロセッサ)は、各種入力に基づき、記憶部230に記録されたプログラムをメモリ222に展開して実行することで、演算処理部221における後述する機能及び処理を実現する。このプログラムは、CD-ROM等のコンピュータ読み取り可能な非一時的な記録媒体に記憶され、若しくはネットワークを介して配布され、コンピュータにインストールされるものであってもよい。メモリ222は、演算処理部221(プロセッサ)によるプログラム実行に必要なワークメモリとして機能する。
記憶部230は、ハードディスク等の記憶装置によって構成され、制御部220における処理の実行に必要な各種プログラムや、各種プログラムの実行に必要なデータ等を記録しておくものである。本実施形態では、記憶部230は、画像記憶部231、径学習済モデル232、動脈色学習済モデル233及び眼底色学習済モデル234を有していることが望ましい。前述の通り、本実施形態では、動脈径用の学習済モデル、動脈色用の学習済モデル及び眼底色用の学習済モデルを用いて各分類部が分類を行う例について説明するが、別の実施形態では、単一の学習済モデルを用いて単一の分類部が動脈径、動脈色、及び眼底色の分類を行ってもよい。
画像記憶部231には、推論対象の画像が保存される。本実施形態では、画像記憶部231には、径逸脱度、動脈色逸脱度及び眼底色逸脱度の推論を行う眼底画像が保存されている。
径学習済モデル232には、推論に用いる学習済モデルが保存される。本実施形態では、径学習済モデル232には、眼底画像を入力データとして受け取り、健常眼の画像、径逸脱度1の非健常眼の画像、径逸脱度2の非健常眼の画像、径逸脱度3の非健常眼の画像、径逸脱度4の非健常眼の画像のいずれかに分類する学習済モデルが保存される。本実施形態では、径学習済モデル232の一例として、眼底画像を入力データとして受け取り、健常眼の画像、径逸脱度1の非健常眼の画像、径逸脱度2の非健常眼の画像、径逸脱度3の非健常眼の画像、径逸脱度4の非健常眼の画像のいずれかに分類する畳み込みニューラルネットワーク(CNN)を用いた実施例について説明する。しかしながら、CNNは径学習済モデル232の一例にすぎず、推論装置20は、径学習済モデル232として他の構成を用いてもよい。
動脈色学習済モデル233には、推論に用いる学習済モデルが保存される。本実施形態では、動脈色学習済モデル233には、眼底画像を入力データとして受け取り、健常眼の画像、動脈色逸脱度1の非健常眼の画像、動脈色逸脱度2の非健常眼の画像、動脈色逸脱度3の非健常眼の画像、動脈色逸脱度4の非健常眼の画像のいずれかに分類する学習済モデルが保存される。本実施形態では、動脈色学習済モデル233の一例として、眼底画像を入力データとして受け取り、健常眼の画像、動脈色逸脱度1の非健常眼の画像、動脈色逸脱度2の非健常眼の画像、動脈色逸脱度3の非健常眼の画像、動脈色逸脱度4の非健常眼の画像のいずれかに分類する畳み込みニューラルネットワーク(CNN)を用いた実施例について説明する。しかしながら、CNNは動脈色学習済モデル233の一例にすぎず、推論装置20は、動脈色学習済モデル233として他の構成を用いてもよい。
眼底色学習済モデル234には、推論に用いる学習済モデルが保存される。本実施形態では、眼底色学習済モデル234には、眼底画像を入力データとして受け取り、健常眼の画像、眼底色逸脱度1の非健常眼の画像、眼底色逸脱度2の非健常眼の画像、眼底色逸脱度3の非健常眼の画像の画像のいずれかに分類する学習済モデルが保存される。本実施形態では、眼底色学習済モデル234の一例として、眼底画像を入力データとして受け取り、健常眼の画像、眼底色逸脱度1の非健常眼の画像、眼底色逸脱度2の非健常眼の画像、眼底色逸脱度3の非健常眼の画像のいずれかに分類する畳み込みニューラルネットワーク(CNN)を用いた実施例について説明する。しかしながら、CNNは眼底色学習済モデル234の一例にすぎず、推論装置20は、眼底色学習済モデル234として他の構成を用いてもよい。
通信部240は、推論装置20をネットワークに接続するように構成される。例えば、通信部240は、LANカード、アナログモデム、ISDNモデム等、及びこれらをシステムバス等の伝送路を介して処理部と接続するためのインタフェースから実現することができる。
表示部250は、情報を表示するための装置であり、有機ELディスプレイ、液晶ディスプレイ等によって実現することができる。
さらに、図5に示すように、演算処理部221は、機能部として、モデル取得部223、画像取得部224、推論部225、径分類部226、動脈色分類部227、眼底色分類部228、ヒートマップ作成部229及び出力部2210を備えている。
モデル取得部223は、推論に用いる学習済モデルを取得して、記憶部230に記憶する。本実施形態では、モデル取得部223は、記憶装置30から径学習済モデルを取得して、径学習済モデル232に記憶する。また、モデル取得部223は、記憶装置30から動脈色学習済モデルを取得して、動脈色学習済モデル233に記憶する。さらに、モデル取得部223は、記憶装置30から眼底色学習済モデルを取得して、眼底色学習済モデル234に記憶する。
画像取得部224は、推論対象の画像を取得する。本実施形態では、画像取得部224は、推論を行う眼底画像を画像記憶部231から取得する。
推論部225は、画像取得部224が取得した画像から予測される、健常眼からの逸脱度を推論する。本実施形態では、推論部225は、径分類部226と動脈色分類部227と眼底色分類部228とヒートマップ作成部229とにより構成される。推論部225はまず、径分類部226に眼底画像を入力して、径分類部226から健常眼、径逸脱度1、径逸脱度2、径逸脱度3、径逸脱度4の確信度を取得する。
径分類部226は、眼底画像の入力を受け付けて、健常眼の画像、径逸脱度1の非健常眼の画像、径逸脱度2の非健常眼の画像、径逸脱度3の非健常眼の画像、径逸脱度4の非健常眼の画像のいずれかに分類する。本実施形態では、図3に示されるように、径分類部226は、眼底画像の入力を受け付けて、径学習済モデル232を用いて順方向計算を行い、健常眼、径逸脱度1、径逸脱度2、径逸脱度3、径逸脱度4の確信度を出力する。
また、推論部225は、動脈色分類部227に眼底画像を入力して、動脈色分類部227から健常眼、動脈色逸脱度1、動脈色逸脱度2、動脈色逸脱度3、動脈色逸脱度4の確信度を取得する。本実施形態では、動脈色分類部227は、眼底画像の入力を受け付けて、動脈色学習済モデル233を用いて順方向計算を行い、健常眼、動脈色逸脱度1、動脈色逸脱度2、動脈色逸脱度3、動脈色逸脱度4の確信度を出力する。
さらに、推論部225は、眼底色分類部228に眼底画像を入力して、眼底色分類部228から健常眼、眼底色逸脱度1、眼底色逸脱度2、眼底色逸脱度3の確信度を取得する。本実施形態では、眼底色分類部228は、眼底画像の入力を受け付けて、眼底色学習済モデル234を用いて順方向計算を行い、健常眼、眼底色逸脱度1、眼底色逸脱度2、眼底色逸脱度3の確信度を出力する。
なお、本実施形態では、眼底色分類部228が眼底色学習済モデル234を用いて健常眼、眼底色逸脱度1、眼底色逸脱度2、眼底色逸脱度3の確信度を出力する例について説明するが、別の実施形態では、眼底色分類部228は、学習済モデルを利用することなく、眼底画像中の血管以外の赤色の領域を識別し、識別した赤色の領域の面積や赤色の面積の位置等に基づいて、健常眼、眼底色逸脱度1、眼底色逸脱度2、眼底色逸脱度3の確信度を出力してもよい。
ヒートマップ作成部229は、径分類部226の分類に寄与した領域を可視化したヒートマップを作成する。本実施形態では、図3に示されるように、健常眼、径逸脱度1、径逸脱度2、径逸脱度3、径逸脱度4が出力されると、ヒートマップ作成部229は、径逸脱度1~4のうち最も高い確信度を有する分類に対応する出力層から可視化したい畳み込み層へ誤差逆伝播を行い、最も高い確信度を有する径逸脱度分類の出力に対する各特徴マップの寄与度を算出するために、対象の径逸脱度分類の出力に対する特徴マップの勾配を計算し、勾配のGlobal Max Pooling(GMP)を取る。次に、ヒートマップ作成部229は、順方向計算で得られた特徴マップにGMPを重み付けし、全ての特徴マップを加算した係数マップを取得する。
一実施形態では、ヒートマップ作成部229は、対象の径逸脱度分類の確信度に基づいて係数マップの各要素の値を調整する。例えば、図8に示されるように、ヒートマップ作成部229は、対象の径逸脱度分類の確信度が0.0~0.3の場合には係数マップの各要素の値をゼロとし、対象の径逸脱度分類の確信度が0.3~0.6の場合には対象の径逸脱度分類の確信度に比例して各要素の値を調整し、対象の径逸脱度分類の確信度が0.6~1.0の場合には各要素の値を100%、すなわちそのままの値とするように調整してもよい。対象の径逸脱度分類の確信度が低い場合には係数マップの各要素の値を小さくし、確信度が高い場合には係数マップの各要素の値を維持することで、健常眼からの逸脱が予想される領域を、精度良く指摘することができる。
最後に、ヒートマップ作成部229は、係数マップをカラースケールによって画像化し、得られた画像を入力画像のサイズにリサイズすることによって、ヒートマップを作成する。
本実施形態では、Grad-CAM(Gradient‐weighted Class Activation Mapping)によりヒートマップを作成する例について説明するが、他の可視化手法を用いてヒートマップを取得してもよい。また、本実施形態では、寄与度の高低をカラースケールで表現するヒートマップを作成しているが、他の形式で表現する可視化マップを作成してもよい。
また、ヒートマップ作成部229は、径分類部226の分類に寄与した領域を可視化したヒートマップと同様に、動脈色分類部227の分類に寄与した領域を可視化したヒートマップを作成する。動脈色分類部227の分類に寄与した領域を可視化したヒートマップを作成する処理については、径分類部226の分類に寄与した領域を可視化したヒートマップを作成する処理と同様であるため説明を省略する。
さらに、ヒートマップ作成部229は、径分類部226の分類に寄与した領域を可視化したヒートマップと同様に、眼底色分類部228の分類に寄与した領域を可視化したヒートマップを作成する。眼底色分類部228の分類に寄与した領域を可視化したヒートマップを作成する処理についても、径分類部226の分類に寄与した領域を可視化したヒートマップを作成する処理と同様であるため説明を省略する。
出力部2210は、推論部225が取得した情報に基づく推論結果を出力する。本実施形態では、出力部2210は、径分類部226が取得した健常眼、径逸脱度1、径逸脱度2、径逸脱度3、径逸脱度4の確信度に関する情報と、動脈色分類部227が取得した健常眼、動脈色逸脱度1、動脈色逸脱度2、動脈色逸脱度3、動脈色逸脱度4の確信度に関する情報と、眼底色分類部228が取得した健常眼、眼底色逸脱度1、眼底色逸脱度2、眼底色逸脱度3の確信度に関する情報とを出力する。また、出力部2210は、アルファブレンディングにより、画像取得部224が取得した眼底画像に、径分類部226の分類に寄与した領域を可視化したヒートマップ、動脈色分類部227の分類に寄与した領域を可視化したヒートマップヒートマップ又は眼底色分類部228の分類に寄与した領域を可視化したヒートマップヒートマップを重畳して出力することができる。
(学習処理)
図6を参照して、本発明の実施形態に係る学習装置の学習処理を詳細に説明する。本実施形態では、図6で説明される学習処理を行う前に、学習装置10の管理者の管理の下、記憶装置30に学習データが格納されているものとする。なお、図6に示す処理は、例えば、管理者が入力部110を介して学習済モデルを生成する処理を実行するための指示を入力することで実行される。なお、ここでは、径学習済モデルを生成する処理について説明する。動脈色学習済モデル及び眼底色学習済モデルを生成する処理については、径学習済モデルを生成する処理と同様であるため説明を省略する。
図6を参照して、本発明の実施形態に係る学習装置の学習処理を詳細に説明する。本実施形態では、図6で説明される学習処理を行う前に、学習装置10の管理者の管理の下、記憶装置30に学習データが格納されているものとする。なお、図6に示す処理は、例えば、管理者が入力部110を介して学習済モデルを生成する処理を実行するための指示を入力することで実行される。なお、ここでは、径学習済モデルを生成する処理について説明する。動脈色学習済モデル及び眼底色学習済モデルを生成する処理については、径学習済モデルを生成する処理と同様であるため説明を省略する。
ステップS601において、学習装置10の学習データ取得部123は、機械学習モデルMの学習に用いる学習データを取得して、径学習データ記憶部131に記憶する。本実施形態では、学習データ取得部123は、記憶装置30から「健常」又は正常な動脈径からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像を取得して、径学習データ記憶部131に記憶する。
次に、ステップS602において、学習装置10の学習部124は、学習データ取得部123が取得した学習データを用いて、機械学習モデルM1を学習させる。本実施形態では、学習部124は、「健常」又は正常な動脈径からの逸脱度を示す情報が正解データとしてラベル付けされた眼底画像を学習装置10の径分類部125に入力して、機械学習モデルM1を学習させる。
機械学習モデルM1は、眼底画像を入力データとして受け取り、健常眼の画像、径逸脱度1の非健常眼の画像、径逸脱度2の非健常眼の画像、径逸脱度3の非健常眼の画像、径逸脱度4の非健常眼の画像のいずれかに分類する機械学習モデルである。本実施形態では、機械学習モデルM1の一例として、眼底画像を入力データとして受け取り、画像の分類を出力する畳み込みニューラルネットワーク(CNN)を用いた実施例について説明する。しかしながら、CNNは機械学習モデルM1の一例にすぎず、学習装置10は、機械学習モデルM1として他の構成を用いてもよい。
学習部124は、機械学習モデルM1が予測した結果と学習データにラベル付けされた正解データとの誤差を最小化するように、機械学習モデルM1を学習させる。
機械学習モデルM1の学習が完了すると、ステップS603において、学習装置10のモデル出力部128は、機械学習モデルM1の学習により得られた径学習済モデルを記憶装置30に出力する。なお、学習部124は、例えば、所定数の学習データを用いて機械学習モデルM1を学習させた後、学習を完了してもよいし、機械学習モデルM1を用いて予測した分類の精度が所定の条件を満たした場合に学習を完了してもよい。
(推論処理)
図7を参照して、本発明の実施形態に係る推論装置の推論処理を詳細に説明する。本実施形態では、図7で説明される推論処理を行う前に、推論装置20の管理者の管理の下、径学習済モデル232、動脈色学習済モデル233及び眼底色学習済モデル234に記憶装置30から取得した学習済モデルが格納されているものとする。また、推論装置20の画像記憶部231には、被検者の検査対象部位である眼底を撮影することにより取得された、推論対象の眼底画像が格納されているものとする。なお、図7に示す処理は、例えば、管理者が入力部210を介して推論処理を実行するための指示を入力することで実行される。
図7を参照して、本発明の実施形態に係る推論装置の推論処理を詳細に説明する。本実施形態では、図7で説明される推論処理を行う前に、推論装置20の管理者の管理の下、径学習済モデル232、動脈色学習済モデル233及び眼底色学習済モデル234に記憶装置30から取得した学習済モデルが格納されているものとする。また、推論装置20の画像記憶部231には、被検者の検査対象部位である眼底を撮影することにより取得された、推論対象の眼底画像が格納されているものとする。なお、図7に示す処理は、例えば、管理者が入力部210を介して推論処理を実行するための指示を入力することで実行される。
ステップS701において、推論装置20の画像取得部224は、推論対象の画像を取得する。本実施形態では、画像取得部224は、径逸脱度、動脈色逸脱度及び眼底色逸脱度の推論を行う眼底画像を画像記憶部231から取得する。
ステップS702において、推論装置20の推論部225は、動脈径の逸脱度に関する確信度を取得する。本実施形態では、推論部225は、推論装置20の径分類部226に眼底画像を入力して、径分類部226から健常眼、径逸脱度1、径逸脱度2、径逸脱度3、径逸脱度4の確信度を取得する。具体的には、径分類部226は、眼底画像の入力を受け付けて、径学習済モデル232を用いて順方向計算を行い、健常眼、径逸脱度1、径逸脱度2、径逸脱度3、径逸脱度4の確信度を出力する。
本実施形態では、径学習済モデル232の一例として、眼底画像を入力データとして受け取り、健常眼の画像、径逸脱度1の非健常眼の画像、径逸脱度2の非健常眼の画像、径逸脱度3の非健常眼の画像、径逸脱度4の非健常眼の画像のいずれかに分類する畳み込みニューラルネットワーク(CNN)を用いた実施例について説明する。しかしながら、CNNは径学習済モデル232の一例にすぎず、推論装置20は、径学習済モデル232として他の構成を用いてもよい。
動脈径の逸脱度に関する確信度が出力され、径逸脱度1~4の確信度が所定の閾値以上の場合、ステップS703において、推論装置20のヒートマップ作成部229は、径逸脱度1~4のうち最も高い確信度を有する分類に対応する出力層から可視化したい畳み込み層へ誤差逆伝播を行い、最も高い確信度を有する径逸脱度分類の出力に対する各特徴マップの寄与度を算出するために、対象の径逸脱度分類の出力に対する特徴マップの勾配を計算し、勾配のGlobal Max Pooling(GMP)を取る。径逸脱度1~4の確信度が所定の閾値未満の場合、ステップS703~ステップS706をスキップしてS717に進む。
ステップS704において、ヒートマップ作成部229は、順方向計算で得られた特徴マップにGMPを重み付けし、全ての特徴マップを加算した係数マップを取得する。そして、ステップS705において、ヒートマップ作成部229は、非健常眼の確信度に基づいて係数マップの各要素の値を調整する。
本実施形態では、図8に示されるように、ヒートマップ作成部229は、対象の径逸脱度分類の確信度が0.0~0.3の場合には係数マップの各要素の値をゼロとし、対象の径逸脱度分類の確信度が0.3~0.6の場合には対象の径逸脱度分類の確信度に比例して各要素の値を調整し、対象の径逸脱度分類の確信度が0.6~1.0の場合には各要素の値を100%、すなわちそのままの値とするように調整してもよい。対象の径逸脱度分類の確信度が低い場合には係数マップの各要素の値を小さくし、確信度が高い場合には係数マップの各要素の値を維持することで、健常眼からの逸脱が予想される領域を、精度良く指摘することができる。
さらに、ステップS706において、ヒートマップ作成部229は、調整した係数マップをカラースケールによって画像化し、得られた画像を入力画像のサイズにリサイズすることによって、ヒートマップを作成する。
また、ステップS701で推論対象の画像を取得した後、ステップS702の処理と並行して、推論部225は、動脈の色の逸脱度に関する確信度を取得する(ステップS707)。なお、ステップS707~ステップS711の処理はステップS702~ステップS706と同様の処理であるため、説明を省略する。また、本実施形態では、ステップS702の処理とステップS707の処理とを並行して実行しているが、別の実施形態では、ステップS702~ステップS706の処理の後にステップS707~ステップS711の処理を実行してもよいし、ステップS707~ステップS711の処理の後にステップS702~ステップS706の処理を実行してもよい。
また、ステップS701で推論対象の画像を取得した後、ステップS702の処理と並行して、推論部225は、眼底の色の逸脱度に関する確信度を取得する(ステップS712)。なお、ステップS712~ステップS716の処理はステップS702~ステップS706と同様の処理であるため、説明を省略する。また、本実施形態では、ステップS702の処理とステップS712の処理とを並行して実行しているが、別の実施形態では、ステップS707~ステップS711の処理の後にステップS712~ステップS716の処理を実行してもよいし、ステップS712~ステップS716の処理の後にステップS702~ステップS706やステップS707~ステップS711の処理を実行してもよい。
ステップS717において、推論装置20の出力部2210は、推論部225が取得した情報に基づく推論結果を出力する。本実施形態では、出力部2210は、径分類部226が取得した健常眼、径逸脱度1、径逸脱度2、径逸脱度3、及び径逸脱度4の確信度に関する情報と、動脈色分類部227が取得した健常眼、動脈色逸脱度1、動脈色逸脱度2、動脈色逸脱度3、及び動脈色逸脱度4の確信度に関する情報とを出力する。一実施形態では、出力部2210は、径分類部226及び動脈色分類部227が取得したすべての分類の確信度を含む情報を出力することができる。また、出力部2210は、図9に示されるように、アルファブレンディングにより、画像取得部224が取得した眼底画像に、径分類部226の分類に寄与した領域を可視化したヒートマップ又は動脈色分類部227の分類に寄与した領域を可視化したヒートマップヒートマップを重畳して出力する。
なお、図9では、出力部2210は各分類部が取得した確信度に基づいて、最も高い確信度を有する分類の情報を出力しているが、別の実施形態では、出力部2210は各分類部が取得したすべての分類の確信度を出力してもよい。
以上、本実施形態によれば、学習装置10は、正常な動脈径及び/又は正常な動脈の色及び/又は正常な眼底の色からの逸脱度の推論に用いることが可能な学習済モデルを得ることができる。
また、本実施形態によれば、推論装置20は、健常眼の画像及び非健常眼の画像から、正常な動脈径及び/又は正常な動脈の色及び/又は正常な眼底の色から逸脱した特徴について学習した学習済モデルを用いて、眼底画像の動脈全体及び/又は眼底全体の特徴を評価した測定値を得ることができる。個々の動脈径や動脈の色、眼底の色を測定・評価する場合と比較して、推論装置20は、少ないコンピュータリソースで測定値を得ることができる。
さらに、推論装置20は、正常な動脈からの逸脱度を示す径分類部226及び/又は動脈色分類部227及び/又は眼底色分類部228の分類のうち最も高い確信度を有する分類の出力に大きく寄与した領域を可視化することで、健常眼からの逸脱が予想される領域を、精度良く指摘することができる。
なお、本実施形態では、径逸脱度、動脈色逸脱度及び眼底色逸脱度の推論を行う推論装置20について説明したが、径逸脱度のみ、又は動脈色逸脱度のみ、又は眼底色逸脱のみの推論を行うようにしてもよい。
また、本実施形態では、眼底画像の検査対象部位の属性として、動脈径、動脈の色、血管以外の眼底の色の特徴を評価した測定値を得る例について説明したが、視神経乳頭のへこみ等、他の任意の属性の特徴を評価した測定値を得ることができる。また、本実施形態では、出血に関連する眼底の色の特徴として特に血管以外の赤色の領域を評価した測定値を得る例について説明したが、眼底の色の特徴として他の色の領域を評価した測定値を得てもよいし、眼底全体ではなく、例えば視神経乳頭の色の特徴を評価した測定値を得てもよい。
10…学習装置、110…入力部、120…制御部、121…演算処理部、122…メモリ、123…学習データ取得部、124…学習部、125…径分類部、126…動脈色分類部、127…眼底色分類部、128…モデル出力部、130…記憶部、131…径学習データ記憶部、132…動脈色学習データ記憶部、133…眼底色学習データ記憶部、140…通信部、20…推論装置、210…入力部、220…制御部、221…演算処理部、222…メモリ、223…モデル取得部、224…画像取得部、225…推論部、226…径分類部(第1分類部)、227…動脈色分類部(第2分類部)、228…眼底色分類部(第3分類部)、229…ヒートマップ作成部(画像作成部)、2210…出力部、230…記憶部、231…画像記憶部、232…径学習済モデル(第1推論モデル)、233…動脈色学習済モデル(第2推論モデル)、234…眼底色学習済モデル、240…通信部、250…表示部、30…記憶装置、M1…機械学習モデル、M2…機械学習モデル、M3…機械学習モデル、N…通信ネットワーク
Claims (14)
- 被検者の検査対象部位の撮影により取得された第1画像を取得する画像取得部と、
前記第1画像の前記検査対象部位の第1属性が正常である確信度及び/又は正常な第1属性から所定の逸脱度である確信度を取得する第1分類部と、
前記第1分類部が取得した確信度に基づいて推論結果を出力する出力部と
を備える情報処理装置。 - 前記第1画像の前記検査対象部位の第2属性が正常である確信度及び/又は正常な第2属性から所定の逸脱度である確信度を取得する第2分類部
をさらに備え、
前記出力部は、前記第2分類部が取得した確信度に基づいて前記推論結果を出力する、
請求項1に記載の情報処理装置。 - 前記第1画像は、前記被検者の眼底画像であり、
前記第1属性及び前記第2属性は、動脈に関する属性である、
請求項2に記載の情報処理装置。 - 前記第1画像の前記検査対象部位の第3属性が正常である確信度及び/又は正常な第3属性から所定の逸脱度である確信度を取得する第3分類部
をさらに備え、
前記出力部は、前記第3分類部が取得した確信度に基づいて前記推論結果を出力する、
請求項2に記載の情報処理装置。 - 前記第1画像は、前記被検者の眼底画像であり、
前記第1属性及び前記第2属性は、動脈に関する属性であり、
前記第3属性は、眼底に関する属性である、
請求項4に記載の情報処理装置。 - 前記第1分類部、前記第2分類部、および前記第3分類部は単一の分類部である、請求項4に記載の情報処理装置。
- 前記第2分類部は、前記第1画像を第2推論モデルに入力することで前記検査対象部位の第2属性が正常である確信度及び/又は正常な第2属性から所定の逸脱度である確信度を取得するものであり、
前記第2推論モデルは、第1画像に含まれる検査対象部位の第2属性が正常であるか正常な第2属性から所定の逸脱度であるかを推定するモデルである、
請求項2記載の情報処理装置。 - 前記第1分類部は、前記第1画像を第1推論モデルに入力することで前記検査対象部位の第1属性が正常である確信度及び/又は正常な第1属性から所定の逸脱度である確信度を取得するものであり、
前記第1推論モデルは、第1画像に含まれる検査対象部位の第1属性が正常であるか正常な第1属性から所定の逸脱度であるかを推定するモデルである、
請求項1記載の情報処理装置。 - 前記第1分類部の分類に寄与した領域を可視化した第2画像を作成する画像作成部
をさらに備え、
前記出力部は、前記画像作成部が作成した前記第2画像に基づいて前記推論結果を出力する、
請求項1に記載の情報処理装置。 - 前記画像作成部は、前記第1分類部の分類の確信度に基づいて、前記第1分類部の分類への寄与度を表す値を調整して前記第2画像を作成する、請求項9に記載の情報処理装置。
- 前記第1分類部は、前記検査対象部位の第1属性が正常である確信度と正常な第1属性から所定の逸脱度である複数の確信度とを取得する、
請求項1に記載の情報処理装置。 - 被検者の検査対象部位の撮影により取得された第1画像を取得することと、
前記第1画像の前記検査対象部位の第1属性が正常である確信度及び/又は正常な第1属性から所定の逸脱度である確信度を取得することと、
前記確信度に基づいて推論結果を出力することと
を含む方法。 - 1又は複数のコンピュータに、
被検者の検査対象部位の撮影により取得された第1画像を取得する処理と、
前記第1画像の前記検査対象部位の第1属性が正常である確信度及び/又は正常な第1属性から所定の逸脱度である確信度を取得する処理と、
前記確信度に基づいて推論結果を出力する処理と
を実行させるプログラム。 - 健常又は正常な第1属性からの逸脱度を示す情報が正解データとしてラベル付けされた画像を機械学習モデルに入力して前記機械学習モデルを学習させる学習部と、
前記学習部で学習された学習済モデルを出力するモデル出力部と
を備える情報処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022197888A JP2024083838A (ja) | 2022-12-12 | 2022-12-12 | 情報処理装置、情報処理方法及びプログラム |
PCT/JP2023/043769 WO2024128108A1 (ja) | 2022-12-12 | 2023-12-07 | 情報処理装置、情報処理方法及びコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022197888A JP2024083838A (ja) | 2022-12-12 | 2022-12-12 | 情報処理装置、情報処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024083838A true JP2024083838A (ja) | 2024-06-24 |
Family
ID=91484920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022197888A Pending JP2024083838A (ja) | 2022-12-12 | 2022-12-12 | 情報処理装置、情報処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2024083838A (ja) |
WO (1) | WO2024128108A1 (ja) |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140276025A1 (en) * | 2013-03-14 | 2014-09-18 | Carl Zeiss Meditec, Inc. | Multimodal integration of ocular data acquisition and analysis |
WO2019074545A1 (en) * | 2017-10-13 | 2019-04-18 | iHealthScreen Inc. | IMAGE-BASED SCREENING SYSTEM FOR PREDICTING AN INDIVIDUAL TO HAVE THE RISK OF AGE-RELATED MACULAR DEGENERATION (AMD) |
WO2019171398A1 (en) * | 2018-03-08 | 2019-09-12 | Artificial Learning Systems India Private Limited | A fundus image analysis system |
CN112367896A (zh) * | 2018-07-09 | 2021-02-12 | 富士胶片株式会社 | 医用图像处理装置、医用图像处理系统、医用图像处理方法及程序 |
JP2021049270A (ja) * | 2019-09-26 | 2021-04-01 | 株式会社コンピュータマインド | 情報処理装置、情報処理方法及びプログラム |
JP7457315B2 (ja) * | 2019-12-20 | 2024-03-28 | 株式会社トプコン | 情報処理装置、推論モデル生成方法、情報処理方法、及びプログラム |
JP7483247B2 (ja) * | 2020-04-13 | 2024-05-15 | 株式会社トーメーコーポレーション | 検査対象分類システム、検査対象分類方法および検査対象分類プログラム |
WO2022120163A1 (en) * | 2020-12-04 | 2022-06-09 | Genentech, Inc. | Automated screening for diabetic retinopathy severity using color fundus image data |
CN112869706A (zh) * | 2021-02-24 | 2021-06-01 | 复旦大学 | 一种基于深度学习的双视野眼底图像融合方法 |
JP2022138552A (ja) * | 2021-03-10 | 2022-09-26 | 株式会社ニデック | 眼科画像処理装置、眼科画像処理プログラム、および眼科画像撮影装置 |
-
2022
- 2022-12-12 JP JP2022197888A patent/JP2024083838A/ja active Pending
-
2023
- 2023-12-07 WO PCT/JP2023/043769 patent/WO2024128108A1/ja unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024128108A1 (ja) | 2024-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2017235454B2 (en) | Systems and methods for estimating healthy lumen diameter and stenosis quantification in coronary arteries | |
JP6004084B2 (ja) | モデル更新方法、装置、およびプログラム | |
RU2017111892A (ru) | Способ и система прогнозирования непрерывного сердечного выброса (ссо) на основе физиологических данных пациента | |
US20230310085A1 (en) | Systems and methods for estimation of blood flow using response surface and reduced order modeling | |
KR20210113336A (ko) | 머신 러닝에 기반한 타깃 객체 속성 예측 방법 및 관련 디바이스 | |
JP2019128904A (ja) | 予測システム、シミュレーションシステム、方法およびプログラム | |
Takale et al. | Analysis of Clinical Decision Support System in Healthcare Industry Using Machine Learning Approach | |
WO2024128108A1 (ja) | 情報処理装置、情報処理方法及びコンピュータ読み取り可能な記録媒体 | |
WO2023068330A1 (ja) | 情報処理装置、情報処理方法及びコンピュータ読み取り可能な記録媒体 | |
JP7429036B2 (ja) | 判定装置、モデル生成装置、判定方法及び判定プログラム | |
EP4022636A1 (en) | Methods and systems for computer-aided diagnosis with deep learning models | |
WO2023054219A1 (ja) | 情報処理装置、情報処理方法及びコンピュータ読み取り可能な記録媒体 | |
EP4123664A1 (en) | Modelling the heart of a subject | |
KR102645240B1 (ko) | 심전도 이미지를 바탕으로 심근 경색에 대한 진단을 수행하는 전자 장치, 및 제어 방법 | |
US20240095938A1 (en) | Privacy preservation system | |
WO2021060076A1 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
Chan et al. | Identifying Pediatric Vascular Anomalies With Deep Learning | |
Papanikolaοu et al. | Lévy-Flight Model of Gaze Trajectories to Improve ADHD Diagnoses | |
JP2023552163A (ja) | X線イメージ内における対象病変の大きさの変化を測定する方法及びシステム | |
JP2023034400A (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR20210043471A (ko) | 베이지안 최대엔트로피모델 추정 및 뇌 기능 동적 특성 평가 방법 | |
CN118246435A (zh) | 一种应用于呼吸科领域的大型语言模型的评估方法和装置 | |
KR20240043488A (ko) | 멀티모달 딥 러닝 모델을 이용한 녹내장 환자의 미래 시야 예측 방법 | |
KR20230161117A (ko) | 가상현실 기반 저혈량성 쇼크 대상자 간호 시뮬레이션 교육 프로그램을 제공하는 전자 장치, 및 vr 장치 | |
CN117909736A (zh) | 指标变化预测模型训练方法、指标变化预测方法及其装置 |