JP2023551899A - カラー眼底画像データを使用する糖尿病性網膜症の重症度の自動化スクリーニング - Google Patents

カラー眼底画像データを使用する糖尿病性網膜症の重症度の自動化スクリーニング Download PDF

Info

Publication number
JP2023551899A
JP2023551899A JP2023533639A JP2023533639A JP2023551899A JP 2023551899 A JP2023551899 A JP 2023551899A JP 2023533639 A JP2023533639 A JP 2023533639A JP 2023533639 A JP2023533639 A JP 2023533639A JP 2023551899 A JP2023551899 A JP 2023551899A
Authority
JP
Japan
Prior art keywords
procedure
severe
color fundus
severity
imaging data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023533639A
Other languages
English (en)
Inventor
チー ヤン,
フェタラー ベンマンスール,
ダニエラ フェラーラ カヴァルカンティ,
ディミトリオス ダモプロス,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Genentech Inc
Original Assignee
Genentech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Genentech Inc filed Critical Genentech Inc
Publication of JP2023551899A publication Critical patent/JP2023551899A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4842Monitoring progression or stage of a disease
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

糖尿病性網膜症(DR)の重症度を評価するための方法およびシステムが本明細書に提供される。DRが評価される眼のカラー眼底撮像データが受信される。カラー眼底撮像データを使用する指標が生成され、この指標は、眼におけるDR重症度のスコアが選択範囲内にある確率を示す。【選択図】図1

Description

相互参照
本出願は、「AUTOMATED SCREENING FOR DIABETIC RETINOPATHY SEVERITY USING COLOR FUNDUS IMAGE DATA」という名称の2020年12月4日に出願された米国仮特許出願第63/121,711号、および、「AUTOMATED SCREENING FOR DIABETIC RETINOPATHY SEVERITY USING COLOR FUNDUS IMAGE DATA」という名称の2021年4月1日に出願された米国仮特許出願第63/169,809号の優先権を主張するものであり、あらゆる目的でこれら出願全体が参照により本明細書に組み込まれている。
本明細書は、一般的に、対象の糖尿病性網膜症(DR)の重症度を評価することを対象とする。より具体的には、本明細書は、カラー眼底撮像データを使用して、軽度から中程度のDR、軽度からやや重度のDR、軽度から重度のDR、中程度からやや重度のDR、中程度から重度のDR、やや重度から重度のDR、軽度以上のDR、中程度以上のDR、やや重度以上のDR、または重度以上のDRをニューラルネットワークシステムによってスクリーニングするための方法およびシステムを提供する。
糖尿病性網膜症(DR)は、糖尿病である対象の一般的な細小血管合併症である。高血糖値が網膜の血管への損傷を引き起こすときにDRは生じる。DRの2つの段階には、初期段階の非増殖糖尿病性網膜症(NPDR)、およびより進行した段階の増殖糖尿病性網膜症(PDR)が含まれる。NPDRでは、極小の血管に漏れが生じる場合があり、網膜および/または黄斑の腫れを引き起こす場合がある。場合によっては、黄斑虚血が生じる場合があり、網膜における極小の滲出物が形成される場合があり、またはその両方が生じる場合がある。PDRでは、硝子体液への漏血、視神経の損傷、またはその両方が生じる可能性があるような、新たな脆い血管が増大する場合がある未治療のPDRは、深刻な視力喪失、さらには盲目さえもたらす可能性がある。
特定の場合では、PDRの進行の変わり目にある重症度レベルにおいて、対象が軽度のNPDR、中程度のNPDR、やや重度のNPDR、または重度のNPDRであるかを識別することが望ましい場合がある。例えば、臨床治験では、臨床治験において含まれる可能性がある、対象が中程度のNPDR、やや重度のNPDR、または重度のNPDRであるかを識別するためのスクリーニング試験を使用し得る。しかしながら、そのようなスクリーニングを行うためのいくつかの現在利用可能な方法論は、高度な訓練を受けた評価者(例えば、等級判定者、試験官、病理学者、臨床医、評価機関、評価企業体など)を必要とする場合があり、不正確で評価者に依存するものであり時間がかかる場合がある。よって、自動化手順を使用してDR重症度を精確に評価するシステムおよび方法が必要とされている。
本開示は、糖尿病性網膜症(DR)の重症度を評価するためのシステムおよび方法を提供する。DRが評価される眼のカラー眼底撮像データが受信される。カラー眼底撮像データを使用する指標が生成され、この指標は、眼におけるDR重症度のスコアが選択範囲内にある確率を示す。訓練済みニューラルネットワークを使用して出力が生成される。
1つまたは複数の実施形態では、DR重症度を評価するための方法が提供される。対象の眼のカラー眼底撮像データが受信される。受信したカラー眼底撮像データを使用して(例えば、ニューラルネットワークシステムによって)眼についての予測されたDR重症度スコアが生成される。予測されたDR重症度スコアが選択範囲内にあるかを示す指標が、ニューラルネットワークシステムによって生成される。
本明細書で開示された原理およびこの利点をさらに詳しく理解してもらうために、ここで、添付の図面と併せて以下の説明を参照されたい。
さまざまな実施形態による、第1の評価システムのブロック図である。 さまざまな実施形態による、糖尿病性網膜症の重症度スコア(DRSS)の一例を示す図である。 さまざまな実施形態による、画像標準化手順の一例を示す図である。 さまざまな実施形態による、糖尿病性網膜症(DR)の重症度を評価するための第1のプロセスのフローチャートである。 さまざまな実施形態による、第2の評価システムのブロック図である。 さまざまな実施形態による、DR重症度を評価するための第2のプロセスのフローチャートである。 さまざまな実施形態による、図1および/または図5に関して本明細書に説明されたシステムを訓練する際に使用するニューラルネットワーク訓練手順のブロック図である。 さまざまな実施形態による、コンピュータシステムのブロック図である。
図は必ずしも一定尺度で描かれているわけでもないし、図における物体が相互関係の中で必ずしも一定尺度出描かれているわけでもないことを理解されたい。図は、本明細書に開示された装置、システム、および方法のさまざまな実施形態を簡潔にしこれを理解してもらうことを意図して示されるものである。可能な限り、同じまたは同様の部分に言及するために同じ参照番号が図面全体を通して使用されることになる。さらに、図面が本教示の範囲を限定することを決して意図するものではないことは認識されるべきである。
概要
糖尿病性網膜症(DR)を起こすまたは起こすリスクがある対象をスクリーニングするための現在の方法は、糖尿病性網膜症の早期治療に関する研究(ETDRS)によって開発された糖尿病性網膜症の重症度尺度(DRSS)に依存している。DRSSは、一般に、特に研究という観点から、DRの重症度を分類するための絶対的基準と見なされている。DRSSスコア35は軽度のDRを示し、DRSSスコア43は中程度のDRを示し、DRSSスコア47はやや重度のDRを示し、DRSSスコア53はPDRの前兆である重度のDRを示す。
場合によっては、臨床治験または研究は、重症度の選択範囲内にあるDRを起こす対象に対して設計され得る。例えば、特定の臨床治験では、対象が、軽度~中程度、軽度~やや重度、軽度~重度、中程度~やや重度、やや重度~重度、中程度~重度、軽度以上、中程度以上、やや重度以上、または重度以上に入るDRを起こすかを重視することが望まれる場合がある。対象のDRが中程度、やや重度、または重度と分類される可能性があるかどうかを素早く効率的にまた精確に識別できることは、多数の潜在的な対象をスクリーニングするまたはプレスクリーニングするために重要であり得る。
現在、対象のスクリーニングまたはプレスクリーニングは、対象の1つまたは複数のカラー眼底画像を生成することと、それらのカラー眼底画像を、対象をDRSSスコアに割り当てるために必須の知識および経験を有する専門の等級判定者に送ることとを含み得る。スクリーニングを受ける必要があり得る数百、数千、または数万の対象に対してこのプロセスを繰り返すには、費用がかかり、等級判定者に依存するものであり、時間がかかる場合がある。場合によっては、スクリーニングまたはプレスクリーニングプロセスにおけるDR重症度のこのタイプの人手による等級分けは、望ましくないやり方で臨床治験または研究に影響し得る「障害」を形成し得る。さらに、特定の場合では、このタイプの人手による等級分けは、人的エラーにより要望通りに精確ではない場合がある。
よって、本開示の方法およびシステムは、糖尿病患者のDRの選択範囲に対する自動化スクリーニングを可能にする。本明細書に説明される方法およびシステムは、スクリーニングと関連付けられた時間および費用の削減を助長すること、評価者に依存しないまたは評価者にほとんど依存しないプロセスを提供すること、上述されたその他の問題点のうちの1つまたは複数を軽減すること、またはこれらの組み合わせをもたらし得る。本明細書に説明されるさまざまな実施形態では、ニューラルネットワークシステムは、対象の眼のカラー眼底撮像データを受信する。ニューラルネットワークシステムは、眼におけるDRの重症度スコアが選択範囲内にあるかどうかの表示を生成するために使用される。選択範囲は、例えば、限定はされないが、35から43まで、35から47まで、35から53まで、43から47まで、47から53まで、43から53まで、少なくとも35、少なくとも43、少なくとも47、または少なくとも53のDRSSスコアであってよい。
ニューラルネットワークは、所望の精度を保証するのに十分な数の試料を使用して訓練される。1つまたは複数の実施形態では、1人の等級判定者または等級判定機関によって等級分けされた試料を使用する訓練が行われる。他の実施形態では、複数の等級判定者または複数の等級判定機関によって等級分けされた試料を使用する訓練が行われ得る。
上述される改善点を提供可能である方法論およびシステムの重要性および有用性を認識しかつ考慮に入れて、本明細書では、糖尿病性網膜症の重症度を評価するためのさまざまな実施形態について説明する。より詳細には、本明細書では、カラー眼底撮像データを使用して、眼が、軽度から中程度のDR、軽度からやや重度のDR、軽度から重度のDR、中程度からやや重度のDR、中程度から重度のDR、やや重度から重度のDR、軽度以上のDR、中程度以上のDR、やや重度以上のDR、または重度以上のDRであるかどうかをニューラルネットワークシステムによって識別するための方法およびシステムのさまざまな実施形態について説明する。
本明細書に説明されるシステムおよび方法は、重症度の選択範囲内にあるDRがより精確にかつ素早く識別されることを可能にし得る。このタイプの迅速な識別によってDRスクリーニングが改善されて、より多くの対象がより短い時間で確実にスクリーニングされることを可能にし得る。いくつかの実施形態では、改善されたDRスクリーニングによって、医療提供者は、改善された治療勧告を提供すること、または後続のリスク分析またはDRを発症する可能性があると識別された対象の監視を推奨することが可能になり得る。いくつかの実施形態では、本明細書に説明されるシステムおよび方法は、重症度の選択範囲内にあるDRをより精確にかつ効率的に識別するように、または専門の等級判定者によるさらなる分析のためにDRを起こす場合がある対象に目印を付けるように、専門の等級判定者を訓練するために使用され得る。いくつかの実施形態では、本明細書に説明されるシステムおよび方法は、臨床治験に含まれる対象を精確にかつ効率的に選択するために使用され得る。例えば、臨床治験が、特定のDR重症度(軽度から中程度のDR、軽度からやや重度のDR、軽度から重度のDR、または本明細書に説明される任意の他のDR重症度など)を有するまたは有するリスクがある対象を治療することを目的とする場合、システムおよび方法は、臨床治験に含まれるそのDR重症度を有するまたはDR重症度を発症するリスクがあるような対象のみを識別するために使用可能である。
定義
本開示は、これら例示の実施形態および応用例に、または例示の実施形態および応用例が実施されるまたは本明細書に記載されるやり方に限定されない。さらに、図は簡略化されたまたは部分的な光景を示す場合があり、図における要素の寸法は大きく描かれている場合がある、あるいは比例していない場合がある。
さらに、用語「~上」、「~に取り付けられ」、「~に接続され」、「~に結合され」、または同様の表現が本明細書において使用される際、1つの要素(例えば、構成要素、材料、層、基板など)は、1つの要素が、直接他の要素上に、他の要素に取り付けられている、他の要素に接続されている、または他の要素に結合されているかどうかにかかわらず、または、1つまたは複数の介在要素が一方の要素と他方の要素との間にあるかどうかにかかわらず、別の要素「上にある」、別の要素「に取り付けられている」、別の要素「に接続されている」、または別の要素「に結合されている」可能性がある。さらに、要素のリスト(例えば、要素a、b、c)を参照する場合、そのような参照は、リスト化された要素のいずれか1つそれ自体、リスト化された要素の全てより少ないものからなる任意の組み合わせ、および/または、リスト化された要素の全ての組み合わせを含むことが意図されている。本明細書における節の分割は、単に検討を容易にするためのものであって、考察される要素のいかなる組み合わせも限定するものではない。
「対象」という用語は、臨床治験の対象、治療を受ける人、抗がん剤治療を受ける人、寛解または回復に向けて監視されている人、(例えば、病歴により)予防健康分析を受ける人、または任意の他の人または対象の患者を指す場合がある。さまざまな場合では、「対象」および「患者」は本明細書では区別なく使用され得る。
別段定められない限り、本明細書に説明される本教示と併せて使用される科学用語および技術用語は、当業者によって一般的に理解される意味を有するものとする。さらに、別段文脈で要求されない限り、単数形の用語は複数形を含むものとし、複数形の用語は単数形を含むものとする。一般に、本明細書に記載された、化学、生化学、分子生物学、薬理学、および毒物学に関連して利用される命名法およびこれらの技術は、当技術分野ではよく知られており一般的に使用されるものである。
本明細書で使用される際、「実質的に」は、本来の目的通りに機能するのに十分であることを意味する。よって、用語「実質的に」は、完全なまたは完璧な状態、寸法、大きさ、または結果などからの些細な重要ではない変化、例えば、当業者には予期されるであろうが、全体的な性能に感知できるほどに影響を及ぼさないものを許容する。数値もしくはパラメータまたは数値として表現され得る特性に関して使用されるとき、「実質的に」は10パーセント以内を意味する。
用語「1つ(ones)」は1つより多いことを意味する。
本明細書で使用される際、用語「複数」は、2、3、4、5、6、7、8、9、10、またはそれ以上とすることができる。
本明細書で使用される際、用語「~のセット」は1つまたは複数を意味する。例えば、項目のセットは1つまたは複数の項目を含む。
本明細書で使用される際、「~のうちの少なくとも1つ」という語句は、項目のリストと共に使用されるとき、リスト化された項目のうちの1つまたは複数の種々の組み合わせが使用されてよく、リストにおける項目のうちの1つのみが必要とされる場合があることを意味する。項目は、特定の物体、物、ステップ、動作、プロセス、またはカテゴリであってよい。換言すれば、「~のうちの少なくとも1つ」は、項目の任意の組み合わせまたは任意の数の項目はリストから使用されてよいが、リストにおける項目の全てが必要とされるわけではない場合がある。例えば、限定はされないが、「項目A、項目Bまたは項目Cのうちの少なくとも1つ」は、項目A、項目Aおよび項目B、項目B、項目A、項目B、および項目C、項目Bおよび項目C、または項目AおよびCを意味する。場合によっては、「項目A、項目Bまたは項目Cのうちの少なくとも1つ」は、限定はされないが、2つの項目A、1つの項目B、および10個の項目C、4つの項目Bおよび7つの項目C、または何か他の適した組み合わせを意味する。
本明細書で使用される際、「モデル」は、1つまたは複数のアルゴリズム、1つまたは複数の数学的手法、1つまたは複数の機械学習アルゴリズム、またはこれらの組み合わせを含んでよい。
本明細書で使用される際、「機械学習」は、データをパースし、そこから学習後、世界の何かについての判断または予測を行うためにアルゴリズムを使用する実践を含む。機械学習は、ルールベースのプログラミングに頼ることなくデータから学習することができるアルゴリズムを使用する。
本明細書において使用される場合、「人工ニューラルネットワーク」または「ニューラルネットワーク」(NN)は、計算に対するコネクショニストアプローチに基づいて情報を処理する、人工ニューロンの相互接続されたグループを模倣する数学的アルゴリズムまたは計算モデルを指し得る。ニューラルネットと称される場合もあるニューラルネットワークは、非線形ユニットの1つまたは複数の層を用いて受信した入力に対する出力を予測することができる。いくつかのニューラルネットワークは、出力層に加えて1つまたは複数の隠れ層を含む。それぞれの隠れ層の出力は、ネットワークにおける次の層、すなわち、次の隠れ層または出力層への入力として使用される。ネットワークのそれぞれの層は、対応するパラメータセットの現在の値に従って、受信した入力から出力を生成し得る。さまざまな実施形態では、「ニューラルネットワーク」への言及は、1つまたは複数のニューラルネットワークへの言及であってよい。
ニューラルネットワークは、2つのやり方で情報を処理してよく、ニューラルネットワークは、訓練されているときは訓練モードにあり、学習したことを実践するときは推論(または予測)モードにある。ニューラルネットワークは、出力が訓練データの出力と合致するように、ネットワークが中間隠れ層における個々のノードの重み係数を調節する(その挙動を修正する)ことを可能にするフィードバックプロセス(例えば、逆伝搬法)を通して学習する。換言すれば、ニューラルネットワークは、訓練データ(学習例)が供給されることによって学習し、かつ、新たな範囲または入力のセットが提示されるときでも、最終的には正しい出力に到達する方法を学習する。ニューラルネットワークは、例えば、限定はされないが、フィードフォワードニューラルネットワーク(FNN)、リカレントニューラルネットワーク(RNN)、モジュラーニューラルネットワーク(MNN)、畳み込みニューラルネットワーク(CNN)、残差ニューラルネットワーク(ResNet)、常微分方程式ニューラルネットワーク(ニューラル-ODE)、または別のタイプのニューラルネットワークのうちの少なくとも1つを含み得る。
糖尿病性網膜症の重症度の自動化スクリーニング
図1は、さまざまな実施形態による、第1の評価システム100のブロック図である。評価システム100は、1または複数の対象の1つまたは複数の眼(例えば、1つまたは複数の網膜)における糖尿病性網膜症(DR)の重症度を評価するために使用される。
評価システム100は、コンピューティングプラットフォーム102、データストレージ104、および表示システム106を含む。コンピューティングプラットフォーム102はさまざまな形を取ってよい。1つまたは複数の実施形態では、コンピューティングプラットフォーム102は、単一のコンピュータ(もしくはコンピュータシステム)または互いに通信する複数のコンピュータを含む。他の例では、コンピューティングプラットフォーム102は、クラウドコンピューティングプラットフォームの形を取る。
データストレージ104および表示システム106はそれぞれ、コンピューティングプラットフォーム102と通信する。いくつかの例では、データストレージ104、表示システム106、またはこの両方は、コンピューティングプラットフォーム102の一部と見なされ得るあるいはこれと統合され得る。よって、いくつかの例では、コンピューティングプラットフォーム102、データストレージ104、および表示システム106は、互いに通信する別個の構成要素であり得るが、他の例では、これらの構成要素の何らかの組み合わせが統合される場合がある。
評価システム100は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせを使用して実装され得る画像プロセッサ108を含む。1つまたは複数の実施形態では、画像プロセッサ108はコンピューティングプラットフォーム102に実装される。
画像プロセッサ108は、処理を行うための入力110を受信する。1つまたは複数の実施形態では、入力110はカラー眼底撮像データ112を含む。カラー眼底撮像データ112は、例えば、カラー眼底撮像技術(カラー眼底撮影法とも称される)を使用して生成されたカラー眼底画像の視野(または視域)の1つまたは複数を含み得る。1つまたは複数の実施形態では、カラー眼底撮像データ112は、7視野カラー眼底撮像データを含む。いくつかの実施形態では、それぞれの視野はカラー眼底画像を含む。
画像プロセッサ108は、DR検出システム114を使用して入力110の少なくともカラー眼底撮像データ112を処理して、指標116を生成する。いくつかの実施形態では、DR検出システム114はニューラルネットワークシステムを含む。1つまたは複数の実施形態では、指標116は、眼におけるDR重症度のスコア(例えば、DRSSスコア)が選択範囲内にある確率118を示す。選択範囲は、例えば、限定はされないが、軽度から中程度の範囲、軽度からやや重度の範囲、軽度から重度の範囲、中程度からやや重度の範囲、やや重度から重度の範囲、中程度から重度の範囲、軽度以上の範囲、中程度以上の範囲、やや重度以上の範囲、または重度以上の範囲であってよい。1つまたは複数の実施形態では、これらの範囲は、35から43まで、35から47まで、35から53まで、43から47まで、47から53まで、43から53まで、少なくとも35、少なくとも43、少なくとも47、または少なくとも53のDRSSの一部分にそれぞれ対応する。
図2は、さまざまな実施形態による、DRSSスコアの一例200を示す。いくつかの実施形態では、10から12までの第1のスコア202はDRが眼にないことを示す。いくつかの実施形態では、14から20までの第2のスコア204はDRが眼に存在し得る(すなわち、DRが眼にあることが疑わしい)ことを示す。いくつかの実施形態では、少なくとも35または35から43までの第3のスコア206は、軽度のDRが眼に存在し得ることを示す。いくつかの実施形態では、少なくとも43または43から47までの第4のスコア208は、中程度のDRが眼に存在し得ることを示す。いくつかの実施形態では、少なくとも47または47から53までの第5のスコア210は、やや重度のDRが眼に存在し得ることを示す。いくつかの実施形態では、少なくとも53の第6のスコア212は、やや重度のDRが眼に存在し得ることを示す。図2は、第1のスコアと関連付けられた例示の第1の眼底画像222、第2のスコアと関連付けられた例示の第2の眼底画像224、第3のスコアと関連付けられた例示の第3の眼底画像226、第4のスコアと関連付けられた例示の第4の眼底画像228、第5のスコアと関連付けられた例示の第5の眼底画像230、および第6のスコアと関連付けられた例示の第6の画像232をさらに示す。
図1の論述に戻ると、いくつかの実施形態では、指標116は0~1および/または0および1を含む確率値の形を取る。他の実施形態では、指標116は、確率のカテゴリまたは分類子(例えば、低確率および高確率などから選択されるカテゴリ)である。1つまたは複数の実施形態では、指標116は、確率が選択された閾値を上回るかどうかの2進表示である。いくつかの実施形態では、閾値は少なくとも約0.5、0.6、0.7、0.8、0.9、またはそれ以上である。いくつかの実施形態では、閾値は最大で約0.9、0.8、0.7、0.6、0.5、またはそれ以下である。いくつかの実施形態では、閾値は先行する値のうちのいずれか2つによって定められた範囲内にある。
他の実施形態では、画像プロセッサ108は、DR検出システム114を使用して入力110の少なくともカラー眼底撮像データ112を処理して、予測DR重症度スコア(例えば、予測DRSSスコア)を生成する。画像プロセッサ108は次いで、予測された糖尿病性網膜症の重症度スコアが選択範囲内にある確率118を示す指標116を生成し得る。
DR検出システム114は、ニューラルネットワークの任意の数または組み合わせを含み得る。1つまたは複数の実施形態では、DR検出システム114は、1つまたは複数のニューラルネットワークを含む畳み込みニューラルネットワーク(CNN)システムの形を取る。これら1つまたは複数のニューラルネットワークのそれぞれは、それ自体、畳み込みニューラルネットワークであってよい。
いくつかの実施形態では、画像プロセッサ108は、画像標準化システム120をさらに備える。いくつかの実施形態では、画像標準化システム120は、カラー眼底撮像データ112に対する少なくとも1つの画像標準化手順を行って、標準化画像データのセットを生成するように構成される。いくつかの実施形態では、少なくとも1つの画像標準化手順は、視域検出手順、中心クロッピング手順、前景抽出手順、領域抽出手順、中心領域抽出手順、適応ヒストグラム均等化(AHE)手順、およびコントラスト制限AHE(CLAHE)手順のうちの1つまたは複数を含む。いくつかの実施形態では、画像標準化システム120は、前述の手順の少なくとも1、2、3、4、5、6、もしくは7のいずれか、または最大で7、6、5、4、3、2、または1のいずれかを実行するように構成される。
いくつかの実施形態では、視域検出手順は、カラー眼底画像の特徴が抽出されるカラー眼底画像内の視野を検出するように構成される任意の手順を含む。いくつかの実施形態では、中心クロッピング手順は、残りのカラー眼底画像からカラー眼底画像の中心領域をクロッピングするように構成される任意の手順を含む。いくつかの実施形態では、前景抽出手順は、残りのカラー眼底画像からカラー眼底画像の前景領域を抽出するように構成される任意の手順を含む。いくつかの実施形態では、領域抽出手順は、残りのカラー眼底画像からカラー眼底画像の任意の領域を抽出するように構成される任意の手順を含む。いくつかの実施形態では、中心領域抽出手順は、残りのカラー眼底画像からカラー眼底画像の中心領域を抽出するように構成される任意の手順を含む。
図3は、画像標準化手順300の一例を示す。示される例では、入力された眼のカラー眼底画像302が受信される。
次に、眼の前景領域(眼の眼底の小領域など)は、入力されたカラー眼底画像302から眼の前景画像304を生成するために抽出される。いくつかの実施形態では、前景領域は、視域検出手順または前景抽出手順を使用して抽出される。いくつかの実施形態では、前景領域は、カラー眼底画像において二値マスクをコンストラクトすることによって抽出される。いくつかの実施形態では、二値マスクは、強度閾値処理動作を使用して入力されたカラー眼底画像から検索される。いくつかの実施形態では、閾値は、入力されたカラー眼底画像の少なくとも1つ、2つ、3つ、もしくは4つのコーナー、または入力されたカラー眼底画像の最大で4つ、3つ、2つ、または1つのコーナーから推定される。いくつかの実施形態では、入力されたカラー眼底画像が1つまたは複数のコーナーにテキストまたはラベルを含有するとき、画像における最も明るいコーナーの少なくとも1つもしくは2つ、または最大で1つまたは2つが除外され、残りのコーナーを使用して閾値を推定する。いくつかの実施形態では、閾値は、眼の前景領域における実質的に全ての画素が前景画像304に含まれることを保証するためにある係数で増大させる。いくつかの実施形態では、係数は実験的に判断される。いくつかの実施形態では、二値マスクは次いで、入力されたカラー眼底画像の背景領域を含まない二値マスクの最も大きい接続された構成要素と置き換えられる。いくつかの実施形態では、二値マスクにおける穴を埋めるために二値マスク上で二値膨張が実行される。
眼の中心領域は、前景画像304から眼の中心領域画像306を生成するために抽出されてよい。いくつかの実施形態では、中心領域は、中心クロッピング手順、領域抽出手順、または中心領域抽出手順を使用して抽出される。いくつかの実施形態では、中心領域は、ハフ変換または円形ハフ変換を使用して抽出される。
コントラスト強調手順はまた、中心領域画像306から眼のコントラスト強調画像308を生成するために適用されてよい。いくつかの実施形態では、コントラスト強調手順はAHE手順またはCLAHE手順を含む。
いくつかの実施形態では、画像標準化手順300は、生のカラー眼底撮像データに対するシステム100の使用と比較するとき、(図1に関して本明細書に説明される)システム100の性能を改善する標準化画像データを生じさせる。いくつかの実施形態では、標準化画像データを使用して(図1に関して本明細書に説明される)指標116を生成する。
図1の論述に戻ると、いくつかの実施形態では、画像プロセッサ108はグレードアビリティシステム122をさらに備える。いくつかの実施形態では、グレードアビリティシステム122は、カラー眼底撮像データと関連付けられた視野数に基づいて、カラー眼底撮像データ(または標準化画像データ)のグレードアビリティを判断するように構成される。いくつかの実施形態では、カラー眼底撮像データ(または標準化画像データ)は、DRSSを判断するには不十分である視野数を含有し得る。例えば、臨床的に意義のある黄斑浮腫(CSME)を検出するために使用されるカラー眼底撮像データは1つの視野のみを含有し得るため、DRSSを判断するのに十分な情報を含有しない場合がある。よって、グレードアビリティは、カラー眼底撮像データ(または標準化画像データ)が少なくとも所定数の視野を含有するまたは含有しないことを示し得る。いくつかの実施形態では、所定数は少なくとも約2、3、4、5、6、7、8、もしくはそれ以上である、最大で8、7、6、5、4、3、もしくは2である、または先行する値のうちのいずれか2つによって定められる範囲内にある。いくつかの実施形態では、グレードアビリティシステム122は、少なくとも所定数の視野を含有しないカラー眼底撮像データ(または標準化画像データ)を除去するように構成される。
いくつかの実施形態では、グレードアビリティシステム122は、図1に示されるように、画像標準化システム120からの入力を受信するように構成される。いくつかの実施形態では、画像標準化システム120は、グレードアビリティシステム122からの入力を受信するように構成される。
いくつかの実施形態では、入力データ110は、対象と関連付けられたベースライン人口統計学的データ124、および/または対象と関連付けられたベースライン臨床データ126をさらに含む。いくつかの実施形態では、ベースライン人口統計学的データ124は、年齢、性別、身長、体重、人種、民族、および/または対象と関連付けられたその他の人口統計学的データを含む。いくつかの実施形態では、ベースライン臨床データ126は、糖尿病の型(例えば、1型糖尿病または2型糖尿病)または糖尿病罹病期間など、対象の糖尿病状態を含む。いくつかの実施形態では、指標116は、カラー眼底撮像データに加えて、ベースライン人口統計学的データおよび/またはベースライン臨床データを使用して生成される。
図4は、さまざまな実施形態による、DR重症度を評価するための第1のプロセス400のフローチャートである。1つまたは複数の実施形態では、プロセス400は、図1に説明される評価システム100を使用して実施される。
ステップ402は、対象の眼についての少なくともカラー眼底撮像データを含む入力データを受信することを含む。眼についてのカラー眼底撮像データは、図1に関して本明細書に説明される任意のカラー眼底撮像データを含んでよい。
ステップ404は、カラー眼底撮像データに対する少なくとも1つの画像標準化手順を行うことを含む。少なくとも1つの画像標準化手順は、図1~図3に関して本明細書に説明される任意の画像標準化手順であってよい。
ステップ406は、標準化画像データのセットを生成することを含む。いくつかの実施形態では、標準化画像データは、少なくとも1つの画像標準化手順を使用して生成される。
ステップ408は、少なくとも標準化画像データを使用して、眼におけるDR重症度のスコアが選択範囲内にある確率を示す指標を生成することを含む。この指標は、例えば、図1に関して本明細書に説明される指標116であってよい。選択範囲は、図1に関して本明細書に説明される任意の選択範囲であってよい。いくつかの実施形態では、指標は、図1に関して本明細書に説明されるDR検出システム114などのニューラルネットワークシステムを使用して生成される。
いくつかの実施形態では、方法は、図1に関して本明細書に説明されるように、カラー眼底撮像データのグレードアビリティを判断することをさらに含む。いくつかの実施形態では、方法は、図1に関して本明細書に説明されるように、カラー眼底撮像データを、少なくとも所定数の視野を含有しない場合に除去することをさらに含む。
いくつかの実施形態では、入力データは、図1に関して本明細書に説明されるように、対象と関連付けられた、任意のベースライン人口統計学的データおよび/またはベースライン臨床データをさらに含む。いくつかの実施形態では、指標は、図1に関して本明細書に説明されるように、カラー眼底撮像データに加えて、ベースライン人口統計学的データおよび/またはベースライン臨床データを使用して生成される。
いくつかの実施形態では、方法は、複数の訓練対象と関連付けられた少なくとも等級分け済みカラー眼底撮像データを含む訓練用データセットを使用してニューラルネットワークシステムを訓練することをさらに含む。いくつかの実施形態では、訓練データセットは、複数の訓練対象と関連付けられたベースライン人口統計学的データおよび/または複数の訓練対象と関連付けられたベースライン臨床データをさらに含む。複数の訓練対象は、任意の数の対象、例えば、少なくとも約1千、2千、3千、4千、5千、6千、7千、8千、9千、1万、2万、3万、4万、5万、6万、7万、8万、9万、10万、20万、30万、40万、50万、60万、70万、80万、90万、100万、もしくはそれ以上の対象、最大で約100万、90万、80万、70万、60万、50万、40万、30万、20万、10万、9万、8万、7万、6万、5万、4万、3万、2万、1万、9千、8千、7千、6千、5千、4千、3千、2千、1千、もしくはそれより少ない対象、または先行する値のうちのいずれか2つによって定められる範囲内にある対象数を含んでよい。いくつかの実施形態では、方法は、図7に関して本明細書に説明される方法を使用してニューラルネットワークシステムを訓練することをさらに含む。
図5は、さまざまな実施形態による、第2の評価システム500のブロック図である。評価システム500は、1または複数の対象の1つまたは複数の眼(例えば、1つまたは複数の網膜)における糖尿病性網膜症(DR)の重症度を評価するために使用される。
評価システム500は、図1に関して本明細書に説明される評価システム100と同様であり得る。いくつかの実施形態では、評価システム500は、図1に関して本明細書に説明されるように、コンピューティングプラットフォーム102、データストレージ104、表示システム106、および画像プロセッサ108を含む。いくつかの実施形態では、画像プロセッサ108は、図1に関して本明細書に説明されるように、処理を行うための入力110を受信する。いくつかの実施形態では、入力110は、図1に関して本明細書に説明されるように、カラー眼底撮像データ112を含む。画像プロセッサ108は、図1に関して本明細書に説明されるように、DR検出システム114を使用して入力110の少なくともカラー眼底撮像データ112を処理して指標116を生成する。1つまたは複数の実施形態では、指標116は、図1に関して本明細書に説明されるように、眼におけるDR重症度のスコア(例えば、DRSSスコア)が選択範囲内にある確率118を示す。選択範囲は、図1に関して本明細書に説明される任意の選択範囲であってよい。いくつかの実施形態では、入力100は、図1に関して本明細書に説明されるように、ベースライン人口統計学的データ124および/またはベースライン臨床データ126を含む。
第1の評価システム100と比較して、評価システム500は、眼についての指標および/または分類を判断するために使用されてよい1つまたは複数の判断510を受信するように構成されてよい。いくつかの実施形態では、1つまたは複数の判断は、専門家によって提供される、または専門家の判断と関連付けられる。いくつかの実施形態では、1つまたは複数の判断は、1つまたは複数のDR重症度スコア512を含む。いくつかの実施形態では、1つまたは複数のDR重症度スコア512は、対象の眼と関連付けられたDR重症度スコアの専門家の判断に基づいている。例えば、いくつかの実施形態では、1つまたは複数のDR重症度スコアは、対象の眼と関連付けられたDR重症度スコアの専門家の等級分けに基づいている。いくつかの実施形態では、1つまたは複数の判断は、複数のDR重症度分類514を含む。いくつかの実施形態では、複数のDR重症度分類514は、特定のDR重症度スコアと関連付けられたDR重症度分類の専門家の判断に基づいている。いくつかの実施形態では、複数のDR重症度分類は、軽度から中程度のDR(35から43までのDRSSに対応する)、軽度からやや重度のDR(35から47までのDRSSに対応する)、軽度から重度のDR(35から53までのDRSSに対応する)、中程度からやや重度のDR(43から47までのDRSSに対応する)、中程度から重度のDR(43から53までのDRSSに対応する)、やや重度から重度のDR(47から53までのDRSSに対応する)、軽度以上のDR(少なくとも35のDRSSに対応する)、中程度以上のDR(少なくとも43のDRSSに対応する)、やや重度以上のDR(少なくとも47のDRSSに対応する)、および重度以上のDR(少なくとも53のDRSSに対応する)のうちの1つまたは複数を示す。
よって、いくつかの実施形態では、評価システム500は、1つまたは複数のDR重症度スコアの判断を受信するように、およびこの判断に少なくとも部分的に基づいて指標を判断するように構成される。
いくつかの実施形態では、評価システム500は分類子520をさらに含む。いくつかの実施形態では、評価システムは、複数のDR重症度分類の判断を受信するように構成され、分類子は、指標および複数のDR重症度分類に基づいて、眼を複数のDR重症度分類のDR重症度分類に分類するように構成される。
図6は、さまざまな実施形態による、DR重症度を評価するための第2のプロセス600のフローチャートである。1つまたは複数の実施形態では、プロセス600は、図5に記載される評価システム500を使用して実施される。
ステップ602は、1つまたは複数のDR重症度スコアを判断することを含む。いくつかの実施形態では、それぞれのスコアはDR重症度レベルと関連付けられる。1つまたは複数のDR重症度スコアは、図5に関して本明細書に説明される任意のDR重症度スコアであってよい。
ステップ604は、複数のDR重症度分類を判断することであって、それぞれの分類がDR重症度閾値スコアの範囲またはセットによって示される、複数のDR重症度分類を判断することを含む。複数のDR重症度分類は、図5に関して本明細書に説明される任意のDR重症度分類であってよい。
ステップ606は、対象の眼についての少なくともカラー眼底撮像データを含む入力データを受信することを含む。
ステップ608は、受信した入力データから、対象の眼におけるDR重症度のスコアが選択範囲内にある確率を示す指標を判断することを含む。選択範囲は、図5に関して本明細書に説明される任意の選択範囲であってよい。
ステップ610は、指標に基づいて、眼を複数のDR重症度分類のDR重症度分類に分類することを含む。
いくつかの実施形態では、入力データは、図1に関して本明細書に説明されるように、対象と関連付けられた、任意のベースライン人口統計学的データおよび/またはベースライン臨床データをさらに含む。いくつかの実施形態では、指標は、図1に関して本明細書に説明されるように、カラー眼底撮像データに加えて、ベースライン人口統計学的データおよび/またはベースライン臨床データを使用して生成される。
いくつかの実施形態では、方法は、複数の訓練対象と関連付けられた少なくとも等級分け済みカラー眼底撮像データを含む訓練用データセットを使用してニューラルネットワークシステムを訓練することをさらに含む。いくつかの実施形態では、訓練データセットは、複数の訓練対象と関連付けられたベースライン人口統計学的データおよび/または複数の訓練対象と関連付けられたベースライン臨床データをさらに含む。複数の訓練対象は、任意の数の対象、例えば、少なくとも約1千、2千、3千、4千、5千、6千、7千、8千、9千、10千、20千、30千、40千、50千、60千、70千、80千、90千、100千、200千、300千、400千、500千、600千、700千、800千、900千、100万、もしくはそれ以上の対象、最大で約100万、900千、800千、700千、600千、500千、400千、300千、200千、100千、90千、80千、70千、60千、50千、40千、30千、20千、10千、9千、8千、7千、6千、5千、4千、3千、2千、1千、もしくはそれより少ない対象、または先行する値のうちのいずれか2つによって定められる範囲内にある対象数を含んでよい。いくつかの実施形態では、方法は、図7に関して本明細書に説明される方法を使用してニューラルネットワークシステムを訓練することをさらに含む。
図7は、図1および/または図5に関して本明細書に説明されるDR予測システムまたはニューラルネットワークシステムを訓練する際に使用するニューラルネットワーク訓練手順のブロック図である。学習フェーズにおいて、ニューラルネットワークシステムは、図1、図4、図5、および/または図6に関して本明細書に説明される指標および/または分類を判断するように訓練可能である。訓練フェーズにおいて、(図7において「全データセット」と称される)ニューラルネットワークシステムを訓練するために使用される(本明細書に説明される複数の訓練対象と関連付けられた等級分け済みカラー眼底撮像データなどの)データセットは、最初に階層化されかつ患者レベルで分割され得る。全データセットは、次いで、(図7において「訓練用データセット」と称される)ニューラルネットワークシステムを訓練するために使用される第1の部分、(図7において「調整用データセット」と称される)ニューラルネットワークを調整するために使用される第2の部分、および、(図7において「テスト用データセット」と称される)訓練されたニューラルネットワークシステムの後のテストおよび/または評価のために保持される第3の部分に分けられてよい。第1の部分は、全データセットの少なくとも約70%、75%、80%、85%、90%、95%、もしくはそれ以上、全データセットの最大で約95%、90%、85%、80%、75%、70%、もしくはそれ以下、または先行する値のいずれか2つによって定められる範囲内にある全データセットのパーセンテージを含んでよい。第2の部分は、全データセットの少なくとも約5%、10%、15%、20%、もしくはそれ以上、全データセットの最大で約20%、15%、10%、5%、もしくはそれ以下、または先行する値のいずれか2つによって定められる範囲内にある全データセットのパーセンテージを含んでよい。第3の部分は、全データセットの少なくとも約5%、10%、15%、20%、もしくはそれ以上、全データセットの最大で約20%、15%、10%、5%、もしくはそれ以下、または先行する値のいずれか2つによって定められる範囲内にある全データセットのパーセンテージを含んでよい。
訓練用データセットは、ニューラルネットワークシステムを訓練するために使用され得る。調整用データセットは、訓練用データセットによる訓練の後にニューラルネットワークシステムの性能をテストしかつ調整するために使用され得る。結果として生じる訓練済みニューラルネットワークシステムは、テストデータセットに適用されて、テストデータと関連付けられた本明細書に説明される任意の指標および/または任意の分類を予測し得る。予測された指標および/または分類は、さまざまな統計的尺度を使用して保持されたデータセットと関連付けられた(実際の時系列応答および/または対応する画像特徴などの)「グランドトゥルース」と比較され得る。例えば、尺度は、R値、平均平方誤差(RMSE)、平均絶対誤差(MAE)、およびピアソン相関係数のうちのいずれか1つまたは複数を含んでよい。
コンピュータ実施システム
図8は、さまざまな実施形態によるコンピュータシステムのブロック図である。コンピュータシステム800は、図1および/または図5における上述されるコンピューティングプラットフォーム102のための1つの実装形態の一例であり得る。1つまたは複数の例では、コンピュータシステム800は、情報を通信するためのバス802またはその他の通信機構、および情報を処理するためにバス802と結合される少なくとも1つのプロセッサ804を含むことができる。さまざまな実施形態では、コンピュータシステム800は、プロセッサ804によって実行される命令を判断するためにバス802に結合される、ランダムアクセスメモリ(RAM)806または他の動的ストレージデバイスとすることができるメモリも含むことができる。メモリはまた、プロセッサ804によって実行される命令の実行中にテンポラリ変数または他の中間情報を記憶するために使用可能である。さまざまな実施形態では、コンピュータシステム800は、静的情報およびプロセッサ804に対する命令を記憶するためにバス802に結合されるリードオンリメモリ(ROM)808または他の静的ストレージデバイスをさらに含むことができる。磁気ディスクまたは光ディスクなどのストレージデバイス810は、情報および命令を記憶するためにバス802に提供されかつ結合され得る。
さまざまな実施形態では、コンピュータシステム800は、情報をコンピュータユーザに表示するために、バス802を介して、陰極線管(CRT)または液晶ディスプレイ(LCD)などのディスプレイ812に結合可能である。英数字キーおよびその他のキーを含む入力ディスプレイ814は、情報およびコマンド選択をプロセッサ804に通信するためにバス802に結合可能である。別のタイプのユーザ入力デバイスは、方向情報およびコマンド選択をプロセッサ804に通信するための、およびディスプレイ812上のカーソル移動を制御するための、マウス、ジョイスティック、トラックボール、ジェスチャ入力デバイス、視線ベースの入力デバイス、またはカーソル方向キーなどのカーソル制御816である。この入力デバイス814は、典型的には、デバイスが平面における位置を指定することを可能にする、第1の軸(例えば、x)および第2の軸(例えば、y)の2つの軸における2つの自由度を有する。しかしながら、3次元(例えば、x、y、およびz)のカーソル移動を可能にする入力デバイス814も本明細書において考えられることは、理解されるべきである。
本教示のある特定の実装形態と一致するように、プロセッサ804が、RAM806に含有される1つまたは複数の命令の1つもしくは複数のシーケンスを実行することに応答して、結果がコンピュータシステム800によって提供可能である。いくつかの実施形態では、コンピュータシステム800は、1つまたは複数の特殊用途の処理ユニットが、これら特殊用途の処理ユニットの専用RAMに含有される1つまたは複数の命令の1つもしくは複数のシーケンスを実行することに応答した結果を提供し得る。そのような命令は、ストレージデバイス810など、別のコンピュータ可読媒体またはコンピュータ可読記憶媒体からRAM806に読み込み可能である。RAM806に含有される命令のシーケンスの実行によって、プロセッサ804は本明細書に説明されるプロセスを実行することが可能である。代替的には、ハードワイヤード回路は、本教示を実施するソフトウェア命令の代わりにまたはこれと組み合わせて使用可能である。よって、本教示の実装形態は、ハードウェア回路とソフトウェアとの任意の特定の組み合わせに限定されない。
本明細書で使用される用語「コンピュータ可読媒体」(例えば、データストア、データストレージ、ストレージデバイス、データストレージデバイスなど)または「コンピュータ可読記憶媒体」は、プロセッサ804に実行させるための命令を提供することに関与する任意の媒体を指す。そのような媒体は、限定はされないが、不揮発性媒体、揮発性媒体、および伝送媒体を含む多くの形を取ることができる。不揮発性媒体の例として、限定はされないが、ストレージデバイス810などの、光ディスク、ソリッドステートディスク、磁気ディスクを含むことができる。揮発性媒体の例として、限定はされないが、RAM806などの動的メモリを含むことができる。伝送媒体の例として、限定はされないが、バス802を含む配線を含む、同軸ケーブル、銅線、および光ファイバを含むことができる。
コンピュータ可読媒体の一般的な形式は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、もしくは任意の他の磁気媒体、CD-ROM、任意の他の光媒体、パンチカード、ペーパーテープ、穴のパターンを有する任意の他の物理媒体、RAM、PROM、およびEPROM、フラッシュEPROM、任意の他のメモリチップもしくはカートリッジ、またはコンピュータが読み込むことができる任意の他の有形的表現媒体を含む。
コンピュータ可読媒体に加えて、命令またはデータは、コンピュータシステム800のプロセッサ804に実行させるための1つまたは複数の命令のシーケンスを提供するために、通信装置またはシステムに含まれる伝送媒体上の信号として提供可能である。例えば、通信装置は、命令およびデータを示す信号を有するトランシーバを含んでよい。命令およびデータは、1つまたは複数のプロセッサに、本明細書における開示に概説される機能を実施させるように構成される。データ通信伝送接続の代表例として、限定はされないが、電話モデム接続、ワイドエリアネットワーク(WAN)、ローカルエリアネットワーク(LAN)、赤外データ接続、NFC接続、光通信接続などを含むことができる。
本明細書に説明される方法論、フローチャート、図形、および添付の開示が、コンピュータシステム800を、スタンドアロンデバイスとして、またはクラウドコンピューティングネットワークなどの共有コンピュータ処理リソースの分散ネットワーク上で使用して実施可能であることは、認識されるべきである。
本明細書に説明される方法論は、用途に応じてさまざまな手段によって実施されてよい。例えば、これらの方法論は、ハードウェア、ファームウェア、ソフトウェア、またはこれらの任意の組み合わせで実施されてよい。ハードウェア実施について、処理ユニットは、1つまたは複数の特定用途向け集積回路(ASIC)、デジタルシグナルプロセッサ(DSP)、デジタルシグナル処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、グラフィック処理ユニット(GPU)、テンソル処理ユニット(TPU)、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書に説明される機能を実行するように設計されるその他の電子ユニット、またはこれらの組み合わせ内に実装されてよい。
さまざまな実施形態では、本教示の方法は、C、C++、Pythonなどの従来のプログラミング言語で書き込まれたファームウェアならびに/またはソフトウェアプログラムおよびアプリケーションとして実施され得る。ファームウェアおよび/またはソフトウェアとして実施される場合、本明細書に説明される実施形態は、コンピュータに上述される方法を実行させるプログラムが記憶されている非一時的なコンピュータ可読媒体上で実施可能である。本明細書に記載されるさまざまなエンジンがコンピュータシステム800などのコンピュータシステム上に提供可能であることによって、プロセッサ804が、メモリ構成要素のRAM806、ROM808、またはストレージデバイス810のうちのいずれか1つまたはこれらの組み合わせによって提供される命令、および入力デバイス814を介して提供されるユーザ入力を受けて、これらのエンジンによって提供される分析および判断を実行することになることは、理解されるべきである。
実施例1
深層学習を使用する7視野カラー眼底写真からのやや重度および重度の非増殖糖尿病性網膜症の自動化スクリーニング
やや重度および重度の非増殖糖尿病性網膜症(NPDR)の眼の自動化識別における7視野カラー眼底写真(7F-CFP)を用いる深層学習(DL)モデルの性能は、米国プライマリケア環境における糖尿病の患者の中で評価された。
1999~2016年に収集されたデータを使用して、55,324人の糖尿病患者の眼が分析された(出所:オクラホマ州オクラホマ市のInoveon Corporation)。これらのうち、画像データがないことにより13,247人の患者が除外され、取得テストケースとして26人の患者が除外され、等級分け不可能な画像の存在により4,693人の患者が除外された。これによって、本明細書に開示されたシステムおよび方法を使用する評価のために合計37,358人の患者が残された。糖尿病性網膜症(DR)の重症度および臨床的に有意な黄斑浮腫(CSME)の存在は、集中読影センターにおける専門の等級判定者によって7F-CFPから評価された。DR重症度は、糖尿病性網膜症の早期治療に関する研究(ETDRS)のDR重症度尺度(DRSS)を使用して等級分けされた。
データセットは、合計で、29,890人の患者、3,732人の患者、および3,736人の患者それぞれに対して、モデル訓練80%、調整10%、およびテスト10%に分割された。表1は、データセットに含まれる患者についての人口統計学的情報を示す。表2は、データセットの含まれる患者についての臨床情報を示す。表3は、データセットに含まれる患者についてのDRSSスコアを示す。
転移学習による深層学習Inception V3モデルは、患者を、47~53の範囲におけるDRSSを有するまたは有さないのどちらかで分類するために(立体視を含む)7視野全てに対する画像レベルで訓練された。それぞれの患者の眼レベルでの予測を提供するために全視野にわたって予測が平均化された。受信者動作特性曲線の下の面積(AUROC)、特異性、感受性、および陽性適中率に基づいて、モデル性能が判断された。
調整セットに対する性能、および、ユーデン指数を最大化するための特異性および感受性の所望のカットオフに基づいて、モデルが選択された。AUROC0.988(CI95%、0.9872~0.9879)、精密さ0.57(CI95%、0.56~0.58)、感受性0.9639(CI95%、0.9628~0.9655)、特異性0.9624(CI95%、0.9621~0.9625)、陽性適中率0.368(CI95%、0.366~0.370)、および陰性適中率0.999(CI95%、0.9991~0.0002)において47~53の範囲におけるDRSSの患者を識別するためのテストセットに対して適切にモデルが実行された。さらに、軽度以上のDRを有したテストセットのメンバーについて、モデルは、AUROC0.93(CI95%、0.93~0.94)、精密さ0.574(CI95%、0.567~0.58)、感受性0.9639(CI95%、0.9624~0.9652)、特異性0.7912(CI95%、0.7901~0.7923)、陽性適中率0.376(CI95%、0.3743~0.3786)、および陰性適中率0.994(CI95%、0.9938~0.9943)を実現した。
これらの結果は、機械学習(およびとりわけDL)が47~53の範囲におけるDRSSによる眼の自動化識別をサポートできることを示している。そのようなモデルは、予防臨床治験について進行のリスクがある患者の識別によるスクリーニングをサポートすることができる。さらに、該モデルは臨床診療における患者のスクリーニングを支援することができる。
結論
さまざまな実施形態と併せて本教示について説明しているが、本教示がそのような実施形態に限定されることを意図するものではない。それどころか、本教示は、当業者には理解されるように、さまざまな代替策、修正、および等価物を包含する。
例えば、上述されるフローチャートおよびブロック図は、さまざまな方法およびシステムの実施形態の考えられる実装のアーキテクチャ、機能性、および/または動作を示す。フローチャートまたはブロック図におけるそれぞれのブロックは、モジュール、セグメント、機能、動作またはステップの一部分、またはこれらの組み合わせを表し得る。一実施形態のいくつかの代替的な実装形態において、ブロックに記される機能(単数または複数)は、図に記される順序以外で行われる場合がある。例えば、場合によっては、連続して示される2つのブロックは、実質的に同時に実行されてよい、または、何らかのやり方で統合されてよい。その他の場合、ブロックは逆の順序で実行される場合がある。さらに、場合によっては、フローチャートまたはブロック図における1つまたは複数の他のブロックを置き換えるまたは補足するために1つまたは複数のブロックが追加されてよい。
よって、さまざまな実施形態を説明する際に、本明細書では方法および/またはプロセスを特定の順序のステップとして提示している場合がある。しかしながら、方法またはプロセスが本明細書に記載される特定の順序のステップに依存していない範囲で、方法またはプロセスは、説明した特定の順序のステップに限定されるべきではなく、当業者には容易に理解できるように、順序は変えられる場合があり、かつ依然、さまざまな実施形態の趣旨および範囲内にとどまる場合がある。
実施形態の列挙
実施形態1.糖尿病性網膜症(DR)の重症度を評価するための方法であって、
対象の眼についての少なくともカラー眼底撮像データを含む入力データを受信することと、
カラー眼底撮像データに対する少なくとも1つの画像標準化手順を行うことと、
標準化画像データのセットを生成することと、
少なくとも標準化画像データを使用して、対象の眼におけるDR重症度のスコアが選択範囲内にある確率を示す指標を生成することと、を含む、方法。
実施形態2.カラー眼底撮像データは複数の視野を含み、それぞれの視野はカラー眼底画像を含む、実施形態1の方法。
実施形態3.カラー眼底撮像データと関連付けられた視野数に基づいて、カラー眼底撮像データのグレードアビリティを判断することであって、グレードアビリティは、カラー眼底撮像データが所定数の視野を含有するまたは含有しないという表示を示す、グレードアビリティを判断することをさらに含む、実施形態1または2の方法。
実施形態4.選択範囲は、軽度から中程度のDR、軽度からやや重度のDR、軽度から重度のDR、中程度からやや重度のDR、やや重度から重度のDR、中程度から重度のDR、中程度以上のDR、軽度以上のDR、やや重度以上のDR、または重度以上のDRを示す、実施形態1~3のいずれか1つの方法。
実施形態5.選択範囲は、35から43まで、35から47まで、35から53まで、43から47まで、47から53まで、43から53まで、少なくとも35、少なくとも43、少なくとも47、または少なくとも53の糖尿病性網膜症の重症度尺度(DRSS)の一部分を含む、実施形態1~4のいずれか1つの方法。
実施形態6.受信したカラー眼底撮像データを使用して眼におけるDR重症度のスコアを予測することをさらに含む、実施形態1~5のいずれか1つの方法。
実施形態7.指標は眼についての予測されたDR重症度スコアを含む、実施形態1~6のいずれか1つの方法。
実施形態8.少なくとも1つの画像標準化手順は、視域検出手順、中心クロッピング手順、前景抽出手順、領域抽出手順、中心領域抽出手順、適応ヒストグラム均等化(AHE)手順、およびコントラスト制限AHE(CLAHE)手順のうちの1つまたは複数を含む、実施形態1~7のいずれか1つの方法。
実施形態9.入力データは、対象と関連付けられたベースライン人口統計学的特性、および対象と関連付けられたベースライン臨床特性のうちの1つまたは複数をさらに含み、指標を生成することは、ベースライン人口統計学的特性、およびベースライン臨床特性のうちの1つまたは複数を使用して指標を生成することをさらに含む、実施形態1~8のいずれか1つの方法。
実施形態10.指標を生成することは、ニューラルネットワークシステムを使用して指標を生成することを含む、実施形態1~9のいずれか1つの方法。
実施形態11.複数の訓練対象と関連付けられた少なくとも等級分け済みカラー眼底撮像データを含む訓練用データセットを使用してニューラルネットワークシステムを訓練することをさらに含む、実施形態10の方法。
実施形態12.ニューラルネットワークシステムを訓練することは、複数の訓練対象と関連付けられたベースライン人口統計学的特性、および複数の訓練対象と関連付けられたベースライン臨床特性のうちの1つまたは複数を使用してニューラルネットワークを訓練することをさらに含む、実施形態11の方法。
実施形態13.糖尿病性網膜症(DR)の重症度を評価するためのシステムであって、
非一時的なメモリと、
非一時的なメモリと結合され、かつシステムに、
対象の眼についての少なくともカラー眼底撮像データを含む入力データを受信することと、
カラー眼底撮像データに対する少なくとも1つの画像標準化手順を行うことと、
標準化画像データのセットを生成することと、
少なくとも標準化画像データを使用して、対象の眼におけるDR重症度のスコアが選択範囲内にある確率を示す指標を生成することと、
を含む動作を実行させる命令を非一時的なメモリから読み込むように構成される、1つまたは複数のプロセッサと、を備える、システム。
実施形態14.カラー眼底撮像データは複数の視野を含み、それぞれの視野はカラー眼底画像を含む、実施形態13のシステム。
実施形態15.動作は、カラー眼底撮像データと関連付けられた視野数に基づいて、カラー眼底撮像データのグレードアビリティを判断することであって、グレードアビリティは、カラー眼底撮像データが所定数の視野を含有するまたは含有しないという表示を示す、グレードアビリティを判断することをさらに含む、実施形態13または14のシステム。
実施形態16.選択範囲は、軽度から中程度のDR、軽度からやや重度のDR、軽度から重度のDR、中程度からやや重度のDR、やや重度から重度のDR、中程度から重度のDR、軽度以上のDR、中程度以上のDR、やや重度以上のDR、または重度以上のDRを示す、実施形態13~15のいずれか1つのシステム。
実施形態17.選択範囲は、35から43まで、35から47まで、35から53まで、43から47まで、47から53まで、43から53まで、少なくとも35、少なくとも43、少なくとも47、または少なくとも53の糖尿病性網膜症の重症度尺度(DRSS)の一部分を含む、実施形態13~16のいずれか1つのシステム。
実施形態18.動作は、受信したカラー眼底撮像データを使用して眼におけるDR重症度のスコアを予測することをさらに含む、実施形態13~17のいずれか1つのシステム。
実施形態19.指標は眼についての予測されたDR重症度スコアを含む、実施形態13~18のいずれか1つのシステム。
実施形態20.少なくとも1つの画像標準化手順は、視域検出手順、中心クロッピング手順、前景抽出手順、領域抽出手順、中心領域抽出手順、適応ヒストグラム均等化(AHE)手順、およびコントラスト制限AHE(CLAHE)手順のうちの1つまたは複数を含む、実施形態13~19のいずれか1つのシステム。
実施形態21.入力データは、対象と関連付けられたベースライン人口統計学的特性、および対象と関連付けられたベースライン臨床特性のうちの1つまたは複数をさらに含み、指標を生成することは、ベースライン人口統計学的特性、およびベースライン臨床特性のうちの1つまたは複数を使用して指標を生成することをさらに含む、実施形態13~20のいずれか1つのシステム。
実施形態22.指標を生成することは、ニューラルネットワークシステムを使用して指標を生成することを含む、実施形態13~21のいずれか1つのシステム。
実施形態23.動作は、複数の訓練対象と関連付けられた少なくとも等級分け済みカラー眼底撮像データを含む訓練用データセットを使用してニューラルネットワークシステムを訓練することをさらに含む、実施形態22のシステム。
実施形態24.ニューラルネットワークシステムを訓練することは、複数の訓練対象と関連付けられたベースライン人口統計学的特性、および複数の訓練対象と関連付けられたベースライン臨床特性のうちの1つまたは複数を使用してニューラルネットワークを訓練することをさらに含む、実施形態23のシステム。
実施形態25.非一時的な機械可読媒体であって、システムに、
対象の眼についての少なくともカラー眼底撮像データを含む入力データを受信することと、
カラー眼底撮像データに対する少なくとも1つの画像標準化手順を行うことと、
標準化画像データのセットを生成することと、
少なくとも標準化画像データを使用して、対象の眼におけるDR重症度のスコアが選択範囲内にある確率を示す指標を生成することと、を含む動作を実行させるように実行可能な機械可読命令が記憶されている、非一時的な機械可読媒体。
実施形態26.カラー眼底撮像データは複数の視野を含み、それぞれの視野はカラー眼底画像を含む、実施形態25の非一時的な機械可読媒体。
実施形態27.動作は、カラー眼底撮像データと関連付けられた視野数に基づいて、カラー眼底撮像データのグレードアビリティを判断することであって、グレードアビリティは、カラー眼底撮像データが所定数の視野を含有するまたは含有しないという表示を示す、グレードアビリティを判断することをさらに含む、実施形態25または26の非一時的な機械可読媒体。
実施形態28.選択範囲は、軽度から中程度のDR、軽度からやや重度のDR、軽度から重度のDR、中程度からやや重度のDR、やや重度から重度のDR、中程度から重度のDR、軽度以上のDR、中程度以上のDR、やや重度以上のDR、または重度以上のDRを示す、実施形態25~27のいずれか1つの非一時的な機械可読媒体。
実施形態29.選択範囲は、35から43まで、35から47まで、35から53まで、43から47まで、47から53まで、43から53まで、少なくとも35、少なくとも43、少なくとも47、または少なくとも53の糖尿病性網膜症の重症度尺度(DRSS)の一部分を含む、実施形態25~28のいずれか1つの非一時的な機械可読媒体。
実施形態30.動作は、受信したカラー眼底撮像データを使用して眼におけるDR重症度のスコアを予測することをさらに含む、実施形態25~29のいずれか1つの非一時的な機械可読媒体。
実施形態31.指標は眼についての予測されたDR重症度スコアを含む、実施形態25~30のいずれか1つの非一時的な機械可読媒体。
実施形態32.少なくとも1つの画像標準化手順は、視域検出手順、中心クロッピング手順、前景抽出手順、領域抽出手順、中心領域抽出手順、適応ヒストグラム均等化(AHE)手順、およびコントラスト制限AHE(CLAHE)手順のうちの1つまたは複数を含む、実施形態25~31のいずれか1つの非一時的な機械可読媒体。
実施形態33.入力データは、対象と関連付けられたベースライン人口統計学的特性、および対象と関連付けられたベースライン臨床特性のうちの1つまたは複数をさらに含み、指標を生成することは、ベースライン人口統計学的特性、およびベースライン臨床特性のうちの1つまたは複数を使用して指標を生成することをさらに含む、実施形態25~32のいずれか1つの非一時的な機械可読媒体。
実施形態34.指標を生成することは、ニューラルネットワークシステムを使用して指標を生成することを含む、実施形態25~33のいずれか1つの方法。
実施形態35.動作は、複数の訓練対象と関連付けられた少なくとも等級分け済みカラー眼底撮像データを含む訓練用データセットを使用してニューラルネットワークシステムを訓練することをさらに含む、実施形態34の非一時的な機械可読媒体。
実施形態36.ニューラルネットワークシステムを訓練することは、複数の訓練対象と関連付けられたベースライン人口統計学的特性、および複数の訓練対象と関連付けられたベースライン臨床特性のうちの1つまたは複数を使用してニューラルネットワークを訓練することをさらに含む、実施形態35の非一時的な機械可読媒体。
実施形態37.糖尿病性網膜症(DR)の重症度を評価するための方法であって、
1つまたは複数のDR重症度スコアを判断することであって、それぞれのスコアはDR重症度レベルと関連付けられる、1つまたは複数のDR重症度スコアを判断することと、
複数のDR重症度分類を判断することであって、それぞれの分類がDR重症度閾値スコアの範囲またはセットによって示される、複数のDR重症度分類を判断することと、
対象の眼についての少なくともカラー眼底撮像データを含む入力データを受信することと、
受信した入力データから、対象の眼におけるDR重症度のスコアが選択範囲内にある確率を示す指標を判断することと、
指標に基づいて、受信した入力データの眼を複数のDR重症度分類のDR重症度分類に分類することと、を含む、方法。
実施形態38.DR閾値スコアの範囲またはセットを判断することであって、それぞれのDR閾値スコアは、複数のDR重症度分類のDR重症度分類に対応する最小スコアまたは最大スコアを示す、DR閾値スコアの範囲またはセットを判断することをさらに含む、実施形態37の方法。
実施形態39.少なくとも1つのDR重症度分類は、中程度からやや重度のDR、やや重度から重度のDR、または中程度から重度のDRを示す、実施形態37または38の方法。
実施形態40.DR重症度閾値スコアの少なくとも1つの範囲またはセットは、43から47まで、47から53まで、または43から53までの糖尿病性網膜症の重症度尺度(DRSS)の一部分を含む、実施形態37~39のいずれか1つの方法。
実施形態41.受信したカラー眼底撮像データを使用して眼におけるDR重症度のスコアを予測することをさらに含む、実施形態37~40のいずれか1つの方法。
実施形態42.指標は眼についての予測されたDR重症度スコアを含む、実施形態37~41のいずれか1つの方法。
実施形態43.入力データは、対象と関連付けられたベースライン人口統計学的特性、および対象と関連付けられたベースライン臨床特性のうちの1つまたは複数をさらに含み、指標を生成することは、ベースライン人口統計学的特性およびベースライン臨床特性のうちの1つまたは複数を使用して指標を生成することをさらに含む、実施形態37~42のいずれか1つの方法。
実施形態44.指標を生成することは、ニューラルネットワークシステムを使用して指標を生成することを含む、実施形態37~43のいずれか1つの方法。
実施形態45.複数の訓練対象と関連付けられた少なくとも等級分け済みカラー眼底撮像データを含む訓練用データセットを使用してニューラルネットワークシステムを訓練することをさらに含む、実施形態44の方法。
実施形態46.ニューラルネットワークシステムを訓練することは、複数の訓練対象と関連付けられたベースライン人口統計学的特性、および複数の訓練対象と関連付けられたベースライン臨床特性のうちの1つまたは複数を使用してニューラルネットワークを訓練することをさらに含む、実施形態45の方法。
実施形態47.糖尿病性網膜症(DR)の重症度を評価するためのシステムであって、
非一時的なメモリと、
非一時的なメモリと結合され、かつシステムに、
1つまたは複数のDR重症度スコアの判断を受信することであって、それぞれのスコアはDR重症度レベルと関連付けられる、1つまたは複数のDR重症度スコアの判断を受信することと、
複数のDR重症度分類の判断を受信することであって、それぞれの分類はDR重症度閾値スコアの範囲またはセットによって示される、複数のDR重症度分類の判断を受信することと、
対象の眼についての少なくともカラー眼底撮像データを含む入力データを受信することと、
受信した入力データから、対象の眼におけるDR重症度のスコアが選択範囲内にある確率を示す指標を判断することと、
指標に基づいて、受信した入力データの眼を複数のDR重症度分類のDR重症度分類に分類することと、
を含む動作を実行させる命令を非一時的なメモリから読み込むように構成される、1つまたは複数のプロセッサと、を備える、システム。
実施形態48.動作は、DR閾値スコアの範囲またはセットの判断を受信することであって、それぞれのDR閾値スコアは、複数のDR重症度分類のDR重症度分類に対応する最小スコアまたは最大スコアを示す、DR閾値スコアの範囲またはセットの判断を受信することをさらに含む、実施形態47のシステム。
実施形態49.少なくとも1つのDR重症度分類は、中程度からやや重度のDR、やや重度から重度のDR、または中程度から重度のDRを示す、実施形態47または48のシステム。
実施形態50.DR重症度閾値スコアの少なくとも1つの範囲またはセットは、43から47まで、47から53まで、または43から53までの糖尿病性網膜症の重症度尺度(DRSS)の一部分を含む、実施形態47~49のいずれか1つのシステム。
実施形態51.動作は、受信したカラー眼底撮像データを使用して眼におけるDR重症度のスコアを予測することをさらに含む、実施形態47~50のいずれか1つのシステム。
実施形態52.指標は眼についての予測されたDR重症度スコアを含む、実施形態47~51のいずれか1つのシステム。
実施形態53.入力データは、対象と関連付けられたベースライン人口統計学的特性、および対象と関連付けられたベースライン臨床特性のうちの1つまたは複数をさらに含み、指標を生成することは、ベースライン人口統計学的特性およびベースライン臨床特性のうちの1つまたは複数を使用して指標を生成することをさらに含む、実施形態47~52のいずれか1つのシステム。
実施形態54.指標を生成することは、ニューラルネットワークシステムを使用して指標を生成することを含む、実施形態47~53のいずれか1つのシステム。
実施形態55.動作は、複数の訓練対象と関連付けられた少なくとも等級分け済みカラー眼底撮像データを含む訓練用データセットを使用してニューラルネットワークシステムを訓練することをさらに含む、実施形態54のシステム。
実施形態56.ニューラルネットワークシステムを訓練することは、複数の訓練対象と関連付けられたベースライン人口統計学的特性、および複数の訓練対象と関連付けられたベースライン臨床特性のうちの1つまたは複数を使用してニューラルネットワークを訓練することをさらに含む、実施形態55のシステム。
実施形態57.非一時的な機械可読媒体であって、システムに、
1つまたは複数のDR重症度スコアの判断を受信することであって、それぞれのスコアはDR重症度レベルと関連付けられる、1つまたは複数のDR重症度スコアの判断を受信することと、
複数のDR重症度分類の判断を受信することであって、それぞれの分類はDR重症度閾値スコアの範囲またはセットによって示される、複数のDR重症度分類の判断を受信することと、
対象の眼についての少なくともカラー眼底撮像データを含む入力データを受信することと、
受信した入力データから、対象の眼におけるDR重症度のスコアが選択範囲内にある確率を示す指標を判断することと、
指標に基づいて、受信した入力データの眼を複数のDR重症度分類のDR重症度分類に分類することと、を含む動作を実行させるように実行可能な機械可読命令が記憶されている、非一時的な機械可読媒体。
実施形態58.動作は、DR閾値スコアの範囲またはセットの判断を受信することであって、それぞれのDR閾値スコアは、複数のDR重症度分類のDR重症度分類に対応する最小スコアまたは最大スコアを示す、DR閾値スコアの範囲またはセットの判断を受信することをさらに含む、実施形態57の非一時的な機械可読媒体。
実施形態59.少なくとも1つのDR重症度分類は、中程度からやや重度のDR、やや重度から重度のDR、または中程度から重度のDRを示す、実施形態57または58の非一時的な機械可読媒体。
実施形態60.DR重症度閾値スコアの少なくとも1つの範囲またはセットは、43から47まで、47から53まで、または43から53までの糖尿病性網膜症の重症度尺度(DRSS)の一部分を含む、実施形態57~59のいずれか1つの非一時的な機械可読媒体。
実施形態61.動作は、受信したカラー眼底撮像データを使用して眼におけるDR重症度のスコアを予測することをさらに含む、実施形態57~60のいずれか1つの非一時的な機械可読媒体。
実施形態62.指標は眼についての予測されたDR重症度スコアを含む、実施形態57~61のいずれか1つの非一時的な機械可読媒体。
実施形態63.入力データは、対象と関連付けられたベースライン人口統計学的特性、および対象と関連付けられたベースライン臨床特性のうちの1つまたは複数をさらに含み、指標を生成することは、ベースライン人口統計学的特性およびベースライン臨床特性のうちの1つまたは複数を使用して指標を生成することをさらに含む、実施形態57~62のいずれか1つの非一時的な機械可読媒体。
実施形態64.指標を生成することは、ニューラルネットワークシステムを使用して指標を生成することを含む、実施形態57~63のいずれか1つの非一時的な機械可読媒体。
実施形態65.動作は、複数の訓練対象と関連付けられた少なくとも等級分け済みカラー眼底撮像データを含む訓練用データセットを使用してニューラルネットワークシステムを訓練することをさらに含む、実施形態64の非一時的な機械可読媒体。
実施形態66.ニューラルネットワークシステムを訓練することは、複数の訓練対象と関連付けられたベースライン人口統計学的特性、および複数の訓練対象と関連付けられたベースライン臨床特性のうちの1つまたは複数を使用してニューラルネットワークを訓練することをさらに含む、実施形態65の非一時的な機械可読媒体。

Claims (20)

  1. 糖尿病性網膜症(DR)の重症度を評価するための方法であって、
    対象の眼についての少なくともカラー眼底撮像データを含む入力データを受信することと、
    前記カラー眼底撮像データに対する少なくとも1つの画像標準化手順を行うことと、
    標準化画像データのセットを生成することと、
    少なくとも前記標準化画像データを使用して、前記対象の前記眼におけるDR重症度のスコアが選択範囲内にある確率を示す指標を生成することと、を含む、方法。
  2. 前記カラー眼底撮像データと関連付けられた視野数に基づいて、前記カラー眼底撮像データのグレードアビリティを判断することであって、前記グレードアビリティは、前記カラー眼底撮像データが所定数の視野を含有するまたは含有しないという表示を示す、グレードアビリティを判断することをさらに含む、請求項1に記載の方法。
  3. 前記選択範囲は、軽度から中程度のDR、軽度からやや重度のDR、軽度から重度のDR、中程度からやや重度のDR、やや重度から重度のDR、中程度から重度のDR、軽度以上のDR、中程度以上のDR、やや重度以上のDR、または重度以上のDRを示す、請求項1に記載の方法。
  4. 前記選択範囲は、35から43まで、35から47まで、35から53まで、43から47まで、47から53まで、43から53まで、少なくとも35、少なくとも43、少なくとも47、または少なくとも53の糖尿病性網膜症の重症度尺度(DRSS)の一部分を含む、請求項1に記載の方法。
  5. 前記少なくとも1つの画像標準化手順は、視域検出手順、中心クロッピング手順、前景抽出手順、領域抽出手順、中心領域抽出手順、適応ヒストグラム均等化(AHE)手順、およびコントラスト制限AHE(CLAHE)手順のうちの1つまたは複数を含む、請求項1に記載の方法。
  6. 前記入力データは、前記対象と関連付けられたベースライン人口統計学的特性、および前記対象と関連付けられたベースライン臨床特性のうちの1つまたは複数をさらに含み、前記指標を生成することは、前記ベースライン人口統計学的特性および前記ベースライン臨床特性のうちの1つまたは複数を使用して前記指標を生成することをさらに含む、請求項1に記載の方法。
  7. 前記指標を生成することは、ニューラルネットワークシステムを使用して前記指標を生成することを含む、請求項1に記載の方法。
  8. 糖尿病性網膜症(DR)の重症度を評価するためのシステムであって、
    非一時的なメモリと、
    前記非一時的なメモリと結合され、かつ前記システムに、
    対象の眼についての少なくともカラー眼底撮像データを含む入力データを受信することと、
    前記カラー眼底撮像データに対する少なくとも1つの画像標準化手順を行うことと、
    標準化画像データのセットを生成することと、
    少なくとも前記標準化画像データを使用して、前記対象の前記眼におけるDR重症度のスコアが選択範囲内にある確率を示す指標を生成することと、
    を含む動作を実行させる命令を前記非一時的なメモリから読み込むように構成される、1つまたは複数のプロセッサと、を備える、システム。
  9. 前記動作は、前記カラー眼底撮像データと関連付けられた視野数に基づいて、前記カラー眼底撮像データのグレードアビリティを判断することであって、前記グレードアビリティは、前記カラー眼底撮像データが所定数の視野を含有するまたは含有しないという表示を示す、グレードアビリティを判断することをさらに含む、請求項13に記載のシステム。
  10. 前記選択範囲は、軽度から中程度のDR、軽度からやや重度のDR、軽度から重度のDR、中程度からやや重度のDR、やや重度から重度のDR、中程度から重度のDR、軽度以上のDR、中程度以上のDR、やや重度以上のDR、または重度以上のDRを示す、請求項8に記載のシステム。
  11. 前記選択範囲は、35から43まで、35から47まで、35から53まで、43から47まで、47から53まで、43から53まで、少なくとも35、少なくとも43、少なくとも47、または少なくとも53の糖尿病性網膜症の重症度尺度(DRSS)の一部分を含む、請求項8に記載のシステム。
  12. 前記少なくとも1つの画像標準化手順は、視域検出手順、中心クロッピング手順、前景抽出手順、領域抽出手順、中心領域抽出手順、適応ヒストグラム均等化(AHE)手順、およびコントラスト制限AHE(CLAHE)手順のうちの1つまたは複数を含む、請求項8に記載のシステム。
  13. 前記入力データは、前記対象と関連付けられたベースライン人口統計学的特性、および前記対象と関連付けられたベースライン臨床特性のうちの1つまたは複数をさらに含み、前記指標を生成することは、前記ベースライン人口統計学的特性および前記ベースライン臨床特性のうちの1つまたは複数を使用して前記指標を生成することをさらに含む、請求項8に記載のシステム。
  14. 前記指標を生成することは、ニューラルネットワークシステムを使用して前記指標を生成することを含む、請求項8に記載のシステム。
  15. 非一時的な機械可読媒体であって、システムに、
    対象の眼についての少なくともカラー眼底撮像データを含む入力データを受信することと、
    前記カラー眼底撮像データに対する少なくとも1つの画像標準化手順を行うことと、
    標準化画像データのセットを生成することと、
    少なくとも前記標準化画像データを使用して、前記対象の前記眼におけるDR重症度のスコアが選択範囲内にある確率を示す指標を生成することと、を含む動作を実行させるように実行可能な機械可読命令が記憶されている、非一時的な機械可読媒体。
  16. 前記動作は、前記カラー眼底撮像データと関連付けられた視野数に基づいて、前記カラー眼底撮像データのグレードアビリティを判断することであって、前記グレードアビリティは、前記カラー眼底撮像データが所定数の視野を含有するまたは含有しないという表示を示す、グレードアビリティを判断することをさらに含む、請求項15に記載の非一時的な機械可読媒体。
  17. 前記選択範囲は、軽度から中程度のDR、軽度からやや重度のDR、軽度から重度のDR、中程度からやや重度のDR、やや重度から重度のDR、中程度から重度のDR、軽度以上のDR、中程度以上のDR、やや重度以上のDR、または重度以上のDRを示す、請求項15に記載の非一時的な機械可読媒体。
  18. 前記選択範囲は、35から43まで、35から47まで、35から53まで、43から47まで、47から53まで、43から53まで、少なくとも35、少なくとも43、少なくとも47、または少なくとも53の糖尿病性網膜症の重症度尺度(DRSS)の一部分を含む、請求項15に記載の非一時的な機械可読媒体。
  19. 前記少なくとも1つの画像標準化手順は、視域検出手順、中心クロッピング手順、前景抽出手順、領域抽出手順、中心領域抽出手順、適応ヒストグラム均等化(AHE)手順、およびコントラスト制限AHE(CLAHE)手順のうちの1つまたは複数を含む、請求項15に記載の非一時的な機械可読媒体。
  20. 前記入力データは、前記対象と関連付けられたベースライン人口統計学的特性、および前記対象と関連付けられたベースライン臨床特性のうちの1つまたは複数をさらに含み、前記指標を生成することは、前記ベースライン人口統計学的特性および前記ベースライン臨床特性のうちの1つまたは複数を使用して前記指標を生成することをさらに含む、請求項15に記載の非一時的な機械可読媒体。
JP2023533639A 2020-12-04 2021-12-03 カラー眼底画像データを使用する糖尿病性網膜症の重症度の自動化スクリーニング Pending JP2023551899A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063121711P 2020-12-04 2020-12-04
US63/121,711 2020-12-04
US202163169809P 2021-04-01 2021-04-01
US63/169,809 2021-04-01
PCT/US2021/061802 WO2022120163A1 (en) 2020-12-04 2021-12-03 Automated screening for diabetic retinopathy severity using color fundus image data

Publications (1)

Publication Number Publication Date
JP2023551899A true JP2023551899A (ja) 2023-12-13

Family

ID=79024816

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2023533637A Pending JP2023551898A (ja) 2020-12-04 2021-12-03 カラー眼底画像データを使用する糖尿病性網膜症重症度についての自動スクリーニング
JP2023533639A Pending JP2023551899A (ja) 2020-12-04 2021-12-03 カラー眼底画像データを使用する糖尿病性網膜症の重症度の自動化スクリーニング

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2023533637A Pending JP2023551898A (ja) 2020-12-04 2021-12-03 カラー眼底画像データを使用する糖尿病性網膜症重症度についての自動スクリーニング

Country Status (4)

Country Link
US (2) US20230307135A1 (ja)
EP (2) EP4256529A1 (ja)
JP (2) JP2023551898A (ja)
WO (2) WO2022120163A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023115063A1 (en) 2021-12-17 2023-06-22 F. Hoffmann-La Roche Ag Detecting ocular comorbidities when screening for diabetic retinopathy (dr) using 7-field color fundus photos
GB2620761A (en) * 2022-07-20 2024-01-24 Univ Liverpool A computer-implemented method of determining if a fundus image requires referral for investigation for a disease
GB202210624D0 (en) * 2022-07-20 2022-08-31 Univ Liverpool A computer-implemented method of determining if a medical data sample requires referral for investigation for a disease

Also Published As

Publication number Publication date
EP4256529A1 (en) 2023-10-11
US20230309919A1 (en) 2023-10-05
JP2023551898A (ja) 2023-12-13
EP4256528A1 (en) 2023-10-11
WO2022120163A1 (en) 2022-06-09
WO2022120168A1 (en) 2022-06-09
US20230307135A1 (en) 2023-09-28

Similar Documents

Publication Publication Date Title
Elangovan et al. Glaucoma assessment from color fundus images using convolutional neural network
Sarki et al. Convolutional neural network for multi-class classification of diabetic eye disease
Saranya et al. Automatic detection of non-proliferative diabetic retinopathy in retinal fundus images using convolution neural network
JP2023551899A (ja) カラー眼底画像データを使用する糖尿病性網膜症の重症度の自動化スクリーニング
Da Rocha et al. Diabetic retinopathy classification using VGG16 neural network
Arslan et al. Artificial intelligence algorithms for analysis of geographic atrophy: a review and evaluation
Kumar et al. Redefining Retinal Lesion Segmentation: A Quantum Leap With DL-UNet Enhanced Auto Encoder-Decoder for Fundus Image Analysis
Toğaçar Detection of retinopathy disease using morphological gradient and segmentation approaches in fundus images
Patel Diabetic retinopathy detection and classification using pre-trained convolutional neural networks
Pan et al. Fundus image classification using Inception V3 and ResNet-50 for the early diagnostics of fundus diseases
Vipparthi et al. Diabetic retinopathy classification using deep learning techniques
Singh et al. A novel hybridized feature selection strategy for the effective prediction of glaucoma in retinal fundus images
Gulati et al. Comparative analysis of deep learning approaches for the diagnosis of diabetic retinopathy
Bakır et al. Detection of pneumonia from x-ray images using deep learning techniques
Pradeep et al. Enhanced Recognition system for Diabetic Retinopathy using Machine Learning with Deep Learning Approach
Shamrat et al. An advanced deep neural network for fundus image analysis and enhancing diabetic retinopathy detection
Saranya et al. Detection of exudates from retinal images for non-proliferative diabetic retinopathy detection using deep learning model
Taspinar Diabetic Rethinopathy phase identification with deep features
Sheikh Diabetic Reinopathy Classification Using Deep Learning
CN116634917A (zh) 使用彩色眼底图像数据的针对糖尿病视网膜病变严重程度的自动筛查
WO2019082203A1 (en) SYSTEM AND METHOD FOR DETECTION AND CLASSIFICATION OF RETINAL DISEASES
Akshita et al. Diabetic retinopathy classification using deep convolutional neural network
Jain et al. Ensemble Architecture for Prediction of Grading of Diabetic Retinopathy
AlSaad et al. A deep learning based automatic severity detector for diabetic retinopathy
Saleh et al. Early Diabetic Retinopathy Detection Using Convolution Neural Network