JP2023551898A - カラー眼底画像データを使用する糖尿病性網膜症重症度についての自動スクリーニング - Google Patents

カラー眼底画像データを使用する糖尿病性網膜症重症度についての自動スクリーニング Download PDF

Info

Publication number
JP2023551898A
JP2023551898A JP2023533637A JP2023533637A JP2023551898A JP 2023551898 A JP2023551898 A JP 2023551898A JP 2023533637 A JP2023533637 A JP 2023533637A JP 2023533637 A JP2023533637 A JP 2023533637A JP 2023551898 A JP2023551898 A JP 2023551898A
Authority
JP
Japan
Prior art keywords
severity
metric
severe
subject
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023533637A
Other languages
English (en)
Inventor
フェタラー ベンマンスール,
ダニエラ フェッラーラ カヴァルカンティ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Genentech Inc
Original Assignee
Genentech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Genentech Inc filed Critical Genentech Inc
Publication of JP2023551898A publication Critical patent/JP2023551898A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4842Monitoring progression or stage of a disease
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

糖尿病性網膜症(DR)の重症度を評価する方法およびシステムが本明細書で提供される。カラー眼底撮像データは、DRについて評価されている眼について受信される。カラー眼底撮像データを使用してメトリックが生成され、メトリックは、眼のDR重症度についてのスコアが選択された範囲内に入る確率を示す。【選択図】図1

Description

相互参照
本出願は、2020年12月4日に出願された「AUTOMATED SCREENING FOR DIABETIC RETINOPATHY SEVERITY USING COLOR FUNDUS IMAGE DATA」と題する米国仮特許出願第63/121,711号、および2021年4月1日に出願された「AUTOMATED SCREENING FOR DIABETIC RETINOPATHY SEVERITY USING COLOR FUNDUS IMAGE DATA」と題する米国仮特許出願第63/169,809号の優先権を主張し、これらの出願は、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。
分野
本明細書は、一般に、対象における糖尿病性網膜症(DR)の重症度を評価することに関する。より具体的には、本明細書は、カラー眼底撮像データを使用して、ニューラルネットワークシステムを介して、軽度から中程度のDR、軽度から中程度に重度のDR、軽度から重度のDR、中程度から中程度に重度のDR、中程度から重度のDR、中程度に重度から重度のDR、軽度を超えるDR、中程度を超えるDR、中程度に重度を超えるDR、または重度を超えるDRをスクリーニングするための方法およびシステムを提供する。
背景
糖尿病性網膜症(DR)は、真性糖尿病を有する対象における一般的な微小血管合併症である。DRは、高血糖レベルが網膜の血管に損傷を引き起こす場合に発生する。DRの2つの段階は、初期段階の非増殖性糖尿病性網膜症(NPDR)およびより進行した段階の増殖性糖尿病性網膜症(PDR)を含む。NPDRでは、微小血管が漏出し、網膜および/または黄斑が膨潤することがある。場合によっては、黄斑虚血が起こり得るか、網膜に微小滲出物が形成され得るか、またはその双方であり得る。PDRでは、新たな脆弱な血管が、血液を硝子体液に漏出させるか、視神経を損傷させるか、またはその双方が可能な様式で成長し得る。未処置のPDRは、重度の視力喪失および失明さえももたらす可能性がある。
特定の場合には、軽度のNPDR、中程度のNPDR、中程度に重度のNPDR、または重度のNPDR(PDRに進行する入口にある重症度のレベル)を有する対象を識別することが望ましい場合がある。例えば、臨床試験は、スクリーニング検査を使用して、臨床試験に含める可能性がある中程度のNPDR、中程度に重度のNPDR、または重度のNPDRを有する対象を識別し得る。しかしながら、そのようなスクリーニングを実行するためのいくつかの現在利用可能な方法論は、高度に訓練された査定者(例えば、人間の評価者、検査者、病理学者、臨床医、評価施設、評価エンティティなど)を必要とする場合があり、不正確で、査定者に依存し、時間がかかる場合がある。したがって、自動化された手順を使用してDR重症度を正確に評価するシステムおよび方法が必要とされている。
概要
本開示は、糖尿病性網膜症(DR)重症度を評価するためのシステムおよび方法を提供する。カラー眼底撮像データは、DRについて評価されている眼について受信される。カラー眼底撮像データを使用してメトリックが生成され、メトリックは、眼のDR重症度についてのスコアが選択された範囲内に入る確率を示す。出力は、訓練されたニューラルネットワークを使用して生成される。
1つまたは複数の実施形態では、DR重症度を評価するための方法が提供される。対象の眼についてカラー眼底撮像データが受信される。受信したカラー眼底撮像データを使用して、眼の予測DR重症度スコアが生成される(例えば、ニューラルネットワークシステムを介して)。予測DR重症度スコアが選択された範囲内に入ることを示すメトリックが、ニューラルネットワークシステムを介して生成される。
本明細書に開示された原理およびその利点のより完全な理解のために、ここで添付の図面と併せて以下の説明を参照する。
様々な実施形態にかかる、第1の評価システムのブロック図である。
様々な実施形態にかかる、糖尿病性網膜症重症度スコア(DRSS)の例を示している。
様々な実施形態にかかる、画像標準化手順の例を示している。
様々な実施形態にかかる、糖尿病性網膜症(DR)重症度を評価するための第1のプロセスのフローチャートである。
様々な実施形態にかかる、第2の評価システムのブロック図である。
様々な実施形態にかかる、DR重症度を評価するための第2のプロセスのフローチャートである。
様々な実施形態にかかる、図1および/または図5に関して本明細書に記載されるシステムを訓練する際に使用するためのニューラルネットワーク訓練手順のブロック図である。
様々な実施形態にかかる、コンピュータシステムのブロック図である。
図面は必ずしも一定の縮尺で描かれているわけではなく、図面内の物体は必ずしも互いに一定の縮尺で描かれているわけではないことを理解されたい。図面は、本明細書に開示される装置、システム、および方法の様々な実施形態に明瞭さおよび理解をもたらすことを意図した描写である。可能な限り、同じまたは同様の部分を指すために図面全体を通して同じ参照符号が使用される。さらに、図面は、本教示の範囲を決して限定するものではないことを理解されたい。
詳細な説明
概要
糖尿病性網膜症(DR)を有するまたは有するリスクがある対象をスクリーニングするための現在の方法は、初期治療糖尿病性網膜症試験(ETDRS)によって開発された糖尿病性網膜症重症度尺度(DRSS)に依存している。DRSSは、主に、特に研究の状況において、DRの重症度を分類するためのゴールドスタンダードと考えられている。35のDRSSスコアは軽度のDRを示し、43のDRSSスコアは中程度のDRを示し、47のDRSSスコアは中程度に重度のDRを示し、53のDRSSスコアはPDRの前兆である重度のDRを示す。
場合によっては、臨床試験または研究は、選択された重症度の範囲内に入るDRを有する対象に対して設計され得る。例えば、特定の臨床試験は、軽度と中程度との間、軽度と中程度に重度との間、軽度と重度との間、中程度と中程度に重度との間、中程度に重度と重度との間、中程度と重度との間、軽度を超える、中程度を超える、中程度に重度を超える、または重度を超えるDRを有する対象に焦点を合わせたい場合がある。対象のDRが中程度、中程度に重度、または重度に分類され得るかどうかを迅速、効率的、かつ正確に識別することができることは、多数の潜在的な対象をスクリーニングまたは事前スクリーニングするために重要となる場合がある。
現在、対象のスクリーニングまたは事前スクリーニングは、対象の1つまたは複数のカラー眼底画像を生成することと、それらのカラー眼底画像を、対象にDRSSスコアを割り当てるために必要な知識および経験を有する専門の人間の評価者に送信することとを含み得る。スクリーニングを受ける必要があり得る数百、数千、または数万人の対象に対してこのプロセスを繰り返すことは、費用がかかり、ラット依存性があり、時間がかかる場合がある。場合によっては、スクリーニングまたは事前スクリーニングプロセスにおけるDR重症度のこのタイプの手動格付けは、望ましくない方法で臨床試験または研究に影響を及ぼし得る「ボトルネック」を形成することがある。さらに、場合によっては、このタイプの手動格付けは、人為的ミスのために所望されるほど正確ではない場合がある。
したがって、本開示の方法およびシステムは、選択された範囲の糖尿病DRの自動スクリーニングを可能にする。本明細書に記載の方法およびシステムは、スクリーニングに関連付けられた時間およびコストを削減し、ラットに依存しないまたはほぼラットに依存しないプロセスを提供し、上記の他の問題の1つまたは複数、またはそれらの組み合わせを緩和するのに役立ち得る。本明細書に記載の様々な実施形態では、ニューラルネットワークシステムは、対象の眼のカラー眼底撮像データを受信する。ニューラルネットワークシステムは、眼のDRの重症度スコアが選択された範囲内にあるかどうかの指示を生成するために使用される。選択された範囲は、例えば、以下に限定されないが、35以上43以下、35以上47以下、35以上53以下、43以上47以下、47以上53以下、43以上53以下、少なくとも35、少なくとも43、少なくとも47、または少なくとも53のDRSSスコアであり得る。
ニューラルネットワークは、所望の精度を確保するのに十分な数のサンプルを使用して訓練される。1つまたは複数の実施形態では、訓練は、単一の人間の評価者または評価者の編成によって格付けされたサンプルを使用して実行される。他の実施形態では、訓練は、複数の人間の評価者または複数の評価者の組織によって格付けされたサンプルを使用して実行されてもよい。
上述した改善を提供することができる方法論およびシステムの重要性および有用性を認識して考慮に入れて、本明細書は、糖尿病性網膜症の重症度を評価するための様々な実施形態を記載する。より具体的には、本明細書は、カラー眼底撮像データを使用して、眼が軽度から中程度のDR、軽度から中程度に重度のDR、軽度から重度のDR、中程度から中程度に重度のDR、中程度から重度のDR、中程度に重度から重度のDR、軽度を超えるDR、中程度を超えるDR、中程度に重度を超えるDR、または重度を超えるDRを有するかどうかを、ニューラルネットワークシステムを介して識別するための方法およびシステムの様々な実施形態を記載する。
本明細書に記載のシステムおよび方法は、選択された重症度範囲内に入るDRをより正確かつ迅速に識別することを可能にし得る。このタイプの迅速な識別は、DRスクリーニングを改善し得て、より多くの対象をより短い時間で確実にスクリーニングすることを可能にする。いくつかの実施形態では、改善されたDRスクリーニングは、医療提供者が改善された処置推奨を提供すること、またはDRを発症する可能性があると識別された対象の後続リスク分析または監視を推奨することを可能にし得る。いくつかの実施形態では、専門の人間の評価者を訓練して、選択された重症度範囲内に入るDRをより正確かつ効率的に識別するか、または専門の人間の評価者によってさらに分析されるようにDRを有し得る対象の眼にフラグを立てるために、本明細書に記載のシステムおよび方法が使用され得る。いくつかの実施形態では、臨床試験に含める対象を正確かつ効率的に選択するために、本明細書に記載のシステムおよび方法が使用され得る。例えば、臨床試験が特定のDR重症度(例えば、軽度から中程度のDR、軽度から中程度に重度のDR、軽度から重度のDR、または本明細書に記載の任意の他のDR重症度)を有するかまたは有するリスクがある対象を処置することを目的とする場合、システムおよび方法は、臨床試験に含めるためにそのDR重症度を有するかまたは発症するリスクがある対象のみを識別するために使用され得る。
定義
本開示は、これらの例示的な実施形態および用途、または例示的な実施形態および用途が本明細書で動作するまたは説明される方法に限定されない。さらに、図は、簡略化されたまたは部分的な図を示す場合があり、図の要素の寸法は、誇張されているか、または比例していない場合がある。
さらに、本明細書では、「の上にある(on)」、「に取り付けられている(attached to)」、「に接続されている(connected to)」、「に結合されている(coupled to)」という用語または同様の用語が使用される場合、一方の要素が他方の要素の上に直接あるか、他方の要素に直接取り付けられているか、他方の要素に接続されているか、または他方の要素に結合されているか、または一方の要素と他方の要素との間に1つまたは複数の介在要素が存在するかにかかわらず、一方の要素(例えば、構成要素、材料、層、基板など)は、他方の要素「の上にある」、「に取り付けられている」、「に接続されている」、または「に結合されている」ことができる。さらに、要素のリスト(例えば、要素a、b、c)が参照される場合、そのような参照は、それ自体で列挙された要素のいずれか1つ、列挙された要素の全てよりも少ない要素の任意の組み合わせ、および/または列挙された要素の全ての組み合わせを含むことが意図される。本明細書におけるセクションの区分は、単に検討を容易にするためのものであり、説明された要素の任意の組み合わせを限定するものではない。
用語「対象」は、臨床試験の対象、処置を受けている人、抗癌療法を受けている人、寛解または回復について監視されている人、(例えば、その病歴に起因して)予防健康分析を受けている人、または関心のある任意の他の人もしくは患者を指し得る。様々な場合では、「対象」および「患者」は、本明細書において交換可能に使用され得る。
特に定義されない限り、本明細書に記載の本教示に関連して使用される科学用語および技術用語は、当業者によって一般的に理解される意味を有するものとする。さらに、文脈上別段の必要がない限り、単数形の用語には複数形が含まれ、複数形の用語には単数形が含まれるものとする。一般に、化学、生化学、分子生物学、薬理学および毒物学に関連して利用される命名法およびその技術は、本明細書に記載されており、当該技術分野において周知であり、一般的に使用されるものである。
本明細書で使用される場合、「実質的に」は、意図された目的のために機能するのに十分であることを意味する。したがって、「実質的に」という用語は、当業者によって予想されるが、全体的な性能にそれほど影響しないような、絶対的または完全な状態、寸法、測定値、結果などからの微細な、僅かな変動を可能にする。数値、または数値として表されることのできるパラメータもしくは特性に関して使用される場合、「実質的に」とは、10パーセント以内を意味する。
「複数」という用語は、2つ以上を意味する。
本明細書で使用される場合、「複数」という用語は、2、3、4、5、6、7、8、9、10以上とすることができる。
本明細書で使用される場合、「のセット」という用語は、1つまたは複数を意味する。例えば、項目のセットは、1つまたは複数の項目を含む。
本明細書で使用される場合、「のうちの少なくとも1つ」という語句は、項目のリストとともに使用される場合、列挙された項目のうちの1つまたは複数の異なる組み合わせが使用されてもよく、リスト内の項目のうちの1つのみが必要とされてもよいことを意味する。項目は、特定の物体、物、ステップ、動作、プロセス、またはカテゴリであり得る。換言すれば、「のうちの少なくとも1つ」は、リストから項目の任意の組み合わせまたは任意の数の項目が使用されてもよいが、リスト内の項目の全てが必要とされるわけではない場合があることを意味する。例えば、限定されないが、「項目A、項目B、または項目Cのうちの少なくとも1つ」は、項目A、項目Aおよび項目B、項目B、項目A、項目B、および項目C、項目Bおよび項目C、または項目AおよびCを意味する。場合によっては、「項目A、項目B、または項目Cの少なくとも1つ」は、限定されないが、項目Aのうちの2つ、項目Bのうちの1つ、および項目Cのうちの10個、項目Bのうちの4個と項目Cのうちの7個、またはいくつかの他の適切な組み合わせを意味する。
本明細書で使用される場合、「モデル」は、1つまたは複数のアルゴリズム、1つまたは複数の数学的技術、1つまたは複数の機械学習アルゴリズム、またはそれらの組み合わせを含み得る。
本明細書で使用される場合、「機械学習」は、アルゴリズムを使用してデータを解析し、そこから学習し、次いで世界の何かについての決定または予測を行う実践を含む。機械学習は、ルールベースのプログラミングに依存することなくデータから学習することができるアルゴリズムを使用する。
本明細書で使用される場合、「人工ニューラルネットワーク」または「ニューラルネットワーク」(NN)は、計算に対する接続論的手法に基づいて情報を処理する人工ニューロンの相互接続されたグループを模倣する数学的アルゴリズムまたは計算モデルを指し得る。ニューラルネットと呼ばれることもあるニューラルネットワークは、非線形ユニットの1つまたは複数の層を使用して、受信した入力の出力を予測することができる。いくつかのニューラルネットワークは、出力層に加えて1つまたは複数の隠れ層を含む。各隠れ層の出力は、ネットワーク内の次の層、すなわち、次の隠れ層または出力層への入力として使用される。ネットワークの各層は、各パラメータのセットの現在の値にしたがって、受信した入力から出力を生成し得る。様々な実施形態では、「ニューラルネットワーク」への言及は、1つまたは複数のニューラルネットワークへの言及であり得る。
ニューラルネットワークは、以下の2つの方法で情報を処理し得る:ニューラルネットワークが訓練されているとき、ニューラルネットワークは訓練モードにあり、ニューラルネットワークがそれ自体で学習したことを実際に実行するとき、ニューラルネットワークは推論(または予測)モードにある。ニューラルネットワークは、出力が訓練データの出力と一致するように、ネットワークが中間隠れ層内の個々のノードの重み係数を調整する(その挙動を修正する)ことを可能にするフィードバックプロセス(例えば、バックプロパゲーション)を通じて学習する。換言すれば、ニューラルネットワークは、訓練データ(学習例)を供給されることによって学習し、最終的には、新たな範囲または入力のセットが提示された場合であっても、正しい出力に到達する方法を学習する。ニューラルネットワークは、例えば、限定されないが、フィードフォワードニューラルネットワーク(FNN)、リカレントニューラルネットワーク(RNN)、モジュラーニューラルネットワーク(MNN)、畳み込みニューラルネットワーク(CNN)、残差ニューラルネットワーク(ResNet)、常微分方程式ニューラルネットワーク(ニューラル-ODE)、または別のタイプのニューラルネットワークのうちの少なくとも1つを含み得る。
糖尿病性網膜症重症度についての自動スクリーニング
図1は、様々な実施形態にかかる第1の評価システム100のブロック図である。評価システム100は、1人または複数の対象の1つまたは複数の眼(例えば、1つまたは複数の網膜)における糖尿病性網膜症(DR)重症度を評価するために使用される。
評価システム100は、コンピューティングプラットフォーム102と、データストレージ104と、ディスプレイシステム106とを含む。コンピューティングプラットフォーム102は、様々な形態をとり得る。1つまたは複数の実施形態では、コンピューティングプラットフォーム102は、互いに通信する単一のコンピュータ(またはコンピュータシステム)または複数のコンピュータを含む。他の例では、コンピューティングプラットフォーム102は、クラウドコンピューティングプラットフォームの形態をとる。
データストレージ104およびディスプレイシステム106は、それぞれ、コンピューティングプラットフォーム102と通信する。いくつかの例では、データストレージ104、ディスプレイシステム106、またはその双方は、コンピューティングプラットフォーム102の一部と見なされるか、そうでなければ統合されてもよい。したがって、いくつかの例では、コンピューティングプラットフォーム102、データストレージ104、およびディスプレイシステム106は、互いに通信する別個の構成要素であってもよいが、他の例では、これらの構成要素のいくつかの組み合わせが一緒に統合されてもよい。
評価システム100は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせを使用して実装され得る画像プロセッサ108を含む。1つまたは複数の実施形態では、画像プロセッサ108は、コンピューティングプラットフォーム102に実装される。
画像プロセッサ108は、処理のために入力110を受信する。1つまたは複数の実施形態では、入力110は、カラー眼底撮像データ112を含む。カラー眼底撮像データ112は、例えば、カラー眼底撮像技術(カラー眼底撮影ともいう)を使用して生成されたカラー眼底画像の1つまたは複数の視野(または複数の視野)を含んでもよい。1つまたは複数の実施形態では、カラー眼底撮像データ112は、7視野カラー眼底撮像データを含む。いくつかの実施形態では、各視野は、カラー眼底画像を含む。
画像プロセッサ108は、DR検出システム114を使用して入力110の少なくともカラー眼底撮像データ112を処理してメトリック116を生成する。いくつかの実施形態では、DR検出システム114は、ニューラルネットワークシステムを備える。1つまたは複数の実施形態では、メトリック116は、眼のDR重症度についてのスコア(例えば、DRSSスコア)が選択された範囲内に入る確率118を示す。選択された範囲は、例えば、以下に限定されないが、軽度から中程度の範囲、軽度から中程度に重度の範囲、軽度から重度の範囲、中程度から中程度に重度の範囲、中程度に重度から重度の範囲、中程度から重度の範囲、軽度を超える範囲、中程度を超える範囲、中程度に重度を超える範囲、または重度を超える範囲であり得る。1つまたは複数の実施形態では、これらの範囲は、それぞれ、35以上43以下、35以上47以下、35以上53以下、43以上47以下、47以上53以下、43以上53以下、少なくとも35、少なくとも43、少なくとも47、または少なくとも53のDRSSの部分に対応する。
図2は、様々な実施形態にかかるDRSSスコアの例200を示している。いくつかの実施形態では、10以上12以下の第1のスコア202は、DRが眼に存在しないことを示す。いくつかの実施形態では、14以上20以下の第2のスコア204は、DRが眼に存在し得ることを示す(すなわち、DRが眼において疑わしい)。いくつかの実施形態では、少なくとも35、または35以上43以下の第3のスコア206は、軽度のDRが眼に存在し得ることを示す。いくつかの実施形態では、少なくとも43、または43以上47以下の第4のスコア208は、中程度のDRが眼に存在し得ることを示す。いくつかの実施形態では、少なくとも47、または47以上53以下の第5のスコア210は、中程度に重度のDRが眼に存在し得ることを示す。いくつかの実施形態では、少なくとも53の第6のスコア212は、中程度に重度のDRが眼に存在し得ることを示す。図2は、第1のスコアに関連付けられた例示的な第1の眼底画像222、第2のスコアに関連付けられた例示的な第2の眼底画像224、第3のスコアに関連付けられた例示的な第3の眼底画像226、第4のスコアに関連付けられた例示的な第4の眼底画像228、第5のスコアに関連付けられた例示的な第5の眼底画像230、および第6のスコアに関連付けられた例示的な第6の画像232をさらに示している。
図1の説明に戻ると、いくつかの実施形態では、メトリック116は、0と1との間および/または0と1とを含む確率値の形態をとる。他の実施形態では、メトリック116は、確率のカテゴリ(例えば、低い確率および高い確率から選択されるカテゴリなど)または分類器である。1つまたは複数の実施形態では、メトリック116は、確率が選択された閾値を上回るかどうかのバイナリ指示である。いくつかの実施形態では、閾値は、少なくとも約0.5、0.6、0.7、0.8、0.9以上である。いくつかの実施形態では、閾値は、多くとも約0.9、0.8、0.7、0.6、0.5以下である。いくつかの実施形態では、閾値は、前述の値のいずれか2つによって定義される範囲内にある。
他の実施形態では、画像プロセッサ108は、DR検出システム114を使用して入力110の少なくともカラー眼底撮像データ112を処理して、予測DR重症度スコア(例えば、予測DRSSスコア)を生成する。次いで、画像プロセッサ108は、予測糖尿病性網膜症重症度スコアが選択された範囲内に入る確率118を示すメトリック116を生成し得る。
DR検出システム114は、任意の数または組み合わせのニューラルネットワークを含み得る。1つまたは複数の実施形態では、DR検出システム114は、1つまたは複数のニューラルネットワークを含む畳み込みニューラルネットワーク(CNN)システムの形態をとる。これらの1つまたは複数のニューラルネットワークのそれぞれは、それ自体が畳み込みニューラルネットワークであってもよい。
いくつかの実施形態では、画像プロセッサ108は、画像標準化システム120をさらに備える。いくつかの実施形態では、画像標準化システム120は、カラー眼底撮像データ112に対して少なくとも1つの画像標準化手順を実行して、標準化画像データのセットを生成するように構成されている。いくつかの実施形態では、少なくとも1つの画像標準化手順は、視野検出手順、中央トリミング手順、前景抽出手順、領域抽出手順、中央領域抽出手順、適応ヒストグラム等化(AHE)手順、およびコントラスト制限AHE(CLAHE)手順のうちの1つまたは複数を含む。いくつかの実施形態では、画像標準化システム120は、上述した手順のうちの任意の少なくとも1つ、2つ、3つ、4つ、5つ、6つ、もしくは7つ、または多くとも任意の7つ、6つ、5つ、4つ、3つ、2つ、もしくは1つを実行するように構成されている。
いくつかの実施形態では、視野検出手順は、カラー眼底画像の特徴が抽出されるカラー眼底画像内の視野を検出するように構成された任意の手順を含む。いくつかの実施形態では、中央トリミング手順は、カラー眼底画像の残りの部分からカラー眼底画像の中央領域をトリミングするように構成された任意の手順を含む。いくつかの実施形態では、前景抽出手順は、カラー眼底画像の残りの部分からカラー眼底画像の前景領域を抽出するように構成された任意の手順を含む。いくつかの実施形態では、領域抽出手順は、カラー眼底画像の残りの部分からカラー眼底画像の任意の領域を抽出するように構成された任意の手順を含む。いくつかの実施形態では、中央領域抽出手順は、カラー眼底画像の残りの部分からカラー眼底画像の中央領域を抽出するように構成された任意の手順を含む。
図3は、画像標準化手順300の例を示している。図示の例では、眼の入力カラー眼底画像302が受信される。
次に、入力されたカラー眼底画像302から眼の前景画像304を生成するために、眼の前景領域(眼の眼底部分領域など)が抽出される。いくつかの実施形態では、前景領域は、視野検出手順または前景抽出手順を使用して抽出される。いくつかの実施形態では、前景領域は、カラー眼底画像内にバイナリマスクを構築することによって抽出される。いくつかの実施形態では、バイナリマスクは、強度閾値処理演算を使用して入力カラー眼底画像から取得される。いくつかの実施形態では、閾値は、入力カラー眼底画像の少なくとも1つ、2つ、3つ、もしくは4つのコーナー、または入力カラー眼底画像の多くとも4つ、3つ、2つ、もしくは1つのコーナーから推定される。いくつかの実施形態では、入力カラー眼底画像が1つまたは複数のコーナーにテキストまたはラベルを含む場合、画像内の最も明るいコーナーの少なくとも1つまたは2つ、またはほとんど1つまたは2つが除外され、残りのコーナーが閾値を推定するために使用される。いくつかの実施形態では、眼の前景領域内の実質的に全てのピクセルが前景画像304に含まれることを保証するために、閾値が係数だけ増加される。いくつかの実施形態では、係数は、実験的に決定される。いくつかの実施形態では、バイナリマスクは、その後、入力カラー眼底画像の背景領域を含まないバイナリマスクの最大接続成分に置き換えられる。いくつかの実施形態では、バイナリマスクの孔を埋めるために、バイナリ拡張がバイナリマスクに対して実行される。
前景画像304から眼の中央領域画像306を生成するために、眼の中央領域が抽出され得る。いくつかの実施形態では、中央領域は、中央トリミング手順、領域抽出手順、または中央領域抽出手順を使用して抽出される。いくつかの実施形態では、中央領域は、ハフ変換または循環ハフ変換を使用して抽出される。
中央領域画像306から眼のコントラスト強調画像308を生成するために、コントラスト強調手順も適用され得る。いくつかの実施形態では、コントラスト強調手順は、AHE手順またはCLAHE手順を含む。
いくつかの実施形態では、画像標準化手順300は、生のカラー眼底撮像データに対するシステム100の使用と比較して、システム100(図1に関連して本明細書に記載される)の性能を改善する標準化画像データを生成する。いくつかの実施形態では、標準化画像データは、メトリック116(図1に関連して本明細書に記載される)を生成するために使用される。
図1の説明に戻ると、いくつかの実施形態では、画像プロセッサ108は、グレーダビリティシステム122をさらに備える。いくつかの実施形態では、グレーダビリティシステム122は、カラー眼底撮像データに関連付けられた視野の数に基づいてカラー眼底撮像データ(または標準化画像データ)のグレーダビリティを決定するように構成されている。いくつかの実施形態では、カラー眼底撮像データ(または標準化画像データ)は、DRSSを決定するには不十分ないくつかの視野を含み得る。例えば、臨床的に有意な黄斑浮腫(CSME)を検出するために使用されるカラー眼底撮像データは、1つの視野のみを含むことがあり、したがって、DRSSを決定するのに十分な情報を含まないことがある。したがって、グレーダビリティは、カラー眼底撮像データ(または標準化画像データ)が少なくとも所定数の視野を含むかまたは含まないことを示し得る。いくつかの実施形態では、所定数は、少なくとも約2つ、3つ、4つ、5つ、6つ、7つ、8つ、またはそれ以上、多くとも8つ、7つ、6つ、5つ、4つ、3つ、もしくは2つ、または前述の値のいずれか2つによって定義される範囲内である。いくつかの実施形態では、グレーダビリティシステム122は、少なくとも所定数の視野を含まないカラー眼底撮像データ(または標準化画像データ)を除外するように構成されている。
いくつかの実施形態では、グレーダビリティシステム122は、図1に示すように、画像標準化システム120から入力を受信するように構成されている。いくつかの実施形態では、画像標準化システム120は、グレーダビリティシステム122から入力を受信するように構成されている。
いくつかの実施形態では、入力データ110は、対象に関連付けられたベースライン人口統計学的データ124および/または対象に関連付けられたベースライン臨床データ126をさらに含む。いくつかの実施形態では、ベースライン人口統計学的データ124は、年齢、性別、身長、体重、人種、民族、および/または対象に関連付けられた他の人口統計データを含む。いくつかの実施形態では、ベースライン臨床データ126は、糖尿病型(例えば、1型糖尿病または2型糖尿病)または糖尿病持続期間などの対象の糖尿病状態を含む。いくつかの実施形態では、メトリック116は、カラー眼底撮像データに加えて、ベースライン人口統計学的データおよび/またはベースライン臨床データを使用して生成される。
図4は、様々な実施形態にかかる、DR重症度を評価するための第1のプロセス400のフローチャートである。1つまたは複数の実施形態では、プロセス400は、図1に記載の評価システム100を使用して実装される。
ステップ402は、少なくとも対象の眼についてのカラー眼底撮像データを含む入力データを受信することを含む。眼についてのカラー眼底撮像データは、図1に関して本明細書に記載された任意のカラー眼底撮像データを含み得る。
ステップ404は、カラー眼底撮像データに対して少なくとも1つの画像標準化手順を実行することを含む。少なくとも1つの画像標準化手順は、図1または図3に関して本明細書に記載された任意の画像標準化手順であり得る。
ステップ406は、標準化画像データのセットを生成することを含む。いくつかの実施形態では、標準化画像データは、少なくとも1つの画像標準化手順を使用して生成される。
ステップ408は、少なくとも標準化画像データを使用して、眼のDR重症度についてのスコアが選択された範囲内に入る確率を示すメトリックを生成することを含む。このメトリックは、例えば、図1に関して本明細書に記載されたメトリック116であり得る。選択された範囲は、図1に関して本明細書に記載された任意の選択された範囲であり得る。いくつかの実施形態では、メトリックは、図1に関して本明細書に記載されたDR検出システム114などのニューラルネットワークシステムを使用して生成される。
いくつかの実施形態では、本方法は、図1に関して本明細書に記載されるように、カラー眼底撮像データのグレーダビリティを決定することをさらに含む。いくつかの実施形態では、本方法は、図1に関して本明細書に記載されるように、少なくとも所定数の視野を含まない場合、カラー眼底撮像データを除外することをさらに含む。
いくつかの実施形態では、入力データは、図1に関して本明細書に記載されるように、対象に関連付けられた任意のベースライン人口統計学的データおよび/またはベースライン臨床データをさらに含む。いくつかの実施形態では、メトリックは、図1に関して本明細書に記載されるように、カラー眼底撮像データに加えてベースライン人口統計学的データおよび/またはベースライン臨床データを使用して生成される。
いくつかの実施形態では、本方法は、複数の訓練対象に関連付けられた少なくとも格付けされたカラー眼底撮像データを含む訓練データセットを使用してニューラルネットワークシステムを訓練することをさらに含む。いくつかの実施形態では、訓練データセットは、複数の訓練対象に関連付けられたベースライン人口統計学的データおよび/または複数の訓練対象に関連付けられたベースライン臨床データをさらに含む。複数の訓練対象は、少なくとも約1000、2000、3000、4000、5000、6000、7000、8000、9000、1万、2万、3万、4万、5万、6万、7万、8万、9万、10万、20万、30万、40万、50万、60万、70万、80万、90万、100万以上の対象、多くとも約100万、90万、80万、70万、60万、50万、40万、30万、20万、10万、9万、8万、7万、6万、5万、4万、3万、2万、1万、9000、8000、7000、6000、5000、4000、3000、2000、1000以下の対象、または前述の値のいずれか2つによって定義される範囲内にある数の対象など、任意の数の対象を含み得る。いくつかの実施形態では、本方法は、図7に関して本明細書に記載された方法を使用してニューラルネットワークシステムを訓練することをさらに含む。
図5は、様々な実施形態にかかる第2の評価システム500のブロック図である。評価システム500は、1人または複数の対象の1つまたは複数の眼(例えば、1つまたは複数の網膜)における糖尿病性網膜症(DR)重症度を評価するために使用される。
評価システム500は、図1に関して本明細書に記載された評価システム100と同様であってもよい。いくつかの実施形態では、評価システム500は、図1に関して本明細書に記載されるように、コンピューティングプラットフォーム102、データストレージ104、ディスプレイシステム106、および画像プロセッサ108を含む。いくつかの実施形態では、画像プロセッサ108は、図1に関して本明細書に記載されるように、処理のための入力110を受信する。いくつかの実施形態では、入力110は、図1に関して本明細書に記載されるように、カラー眼底撮像データ112を含む。画像プロセッサ108は、図1に関して本明細書に記載されるように、DR検出システム114を使用して入力110の少なくともカラー眼底撮像データ112を処理してメトリック116を生成する。1つまたは複数の実施形態では、メトリック116は、図1に関して本明細書に記載されるように、眼のDR重症度についてのスコア(例えば、DRSSスコア)が選択された範囲内に入る確率118を示す。選択された範囲は、図1に関して本明細書に記載された任意の選択された範囲であり得る。いくつかの実施形態では、入力100は、図1に関して本明細書に記載されるように、ベースライン人口統計学的データ124および/またはベースライン臨床データ126を含む。
第1の評価システム100と比較して、評価システム500は、眼のメトリックおよび/または分類を決定するために使用され得る1つまたは複数の決定510を受信するように構成されてもよい。いくつかの実施形態では、1つまたは複数の決定は、専門家によって提供されるか、または専門家の決定と関連付けられる。いくつかの実施形態では、1つまたは複数の決定は、1つまたは複数のDR重症度スコア512を含む。いくつかの実施形態では、1つまたは複数のDR重症度スコア512は、対象の眼に関連付けられたDR重症度スコアの専門家による決定に基づく。例えば、いくつかの実施形態では、1つまたは複数のDR重症度スコアは、対象の眼に関連付けられたDR重症度スコアの専門家格付けに基づく。いくつかの実施形態では、1つまたは複数の決定は、複数のDR重症度分類514を含む。いくつかの実施形態では、複数のDR重症度分類514は、特定のDR重症度スコアに関連付けられたDR重症度分類の専門家による決定に基づく。いくつかの実施形態では、複数のDR重症度分類は、軽度から中程度のDR(35以上43以下のDRSSに対応する)、軽度から中程度のDR(35以上47以下のDRSSに対応する)、軽度から重度のDR(35以上53以下のDRSSに対応する)、中程度から中程度に重度のDR(43以上47以下のDRSSに対応する)、中程度から重度のDR(43以上53以下のDRSSに対応する)、中程度に重度から重度のDR(47以上53以下のDRSSに対応する)、軽度を超えるDR(少なくとも35のDRSSに対応する)、中程度を超えるDR(少なくとも43のDRSSに対応する)、中程度に重度を超えるDR(少なくとも47のDRSSに対応する)、および重度を超えるDR(少なくとも53のDRSSに対応する)のうちの1つまたは複数を示す。
したがって、いくつかの実施形態では、評価システム500は、1つまたは複数のDR重症度スコアの決定を受信し、この決定に少なくとも部分的に基づいてメトリックを決定するように構成されている。
いくつかの実施形態では、評価システム500は、分類器520をさらに備える。いくつかの実施形態では、評価システムは、複数のDR重症度分類の決定を受信するように構成され、分類器は、メトリックおよび複数のDR重症度分類に基づいて、眼を複数のDR重症度分類のうちの1つのDR重症度分類に分類するように構成されている。
図6は、様々な実施形態にかかる、DR重症度を評価するための第2のプロセス600のフローチャートである。1つまたは複数の実施形態では、プロセス600は、図5に記載された評価システム500を使用して実装される。
ステップ602は、1つまたは複数のDR重症度スコアを決定することを含む。いくつかの実施形態では、各スコアは、DR重症度レベルに関連付けられる。1つまたは複数のDR重症度スコアは、図5に関して本明細書に記載された任意のDR重症度スコアであってもよい。
ステップ604は、複数のDR重症度分類を決定することを含み、各分類は、DR重症度閾値スコアの範囲またはセットによって示される。複数のDR重症度分類は、図5に関して本明細書に記載された任意のDR重症度分類であってもよい。
ステップ606は、少なくとも対象の眼についてのカラー眼底撮像データを含む入力データを受信することを含む。
ステップ608は、受信した入力データから、対象の眼のDR重症度についてのスコアが選択された範囲内に入る確率を示すメトリックを決定することを含む。選択された範囲は、図5に関して本明細書に記載された任意の選択された範囲であってもよい。
ステップ610は、メトリックに基づいて眼を複数のDR重症度分類のうちの1つのDR重症度分類に分類することを含む。
いくつかの実施形態では、入力データは、図1に関して本明細書に記載されるように、対象に関連付けられた任意のベースライン人口統計学的データおよび/またはベースライン臨床データをさらに含む。いくつかの実施形態では、メトリックは、図1に関して本明細書に記載されるように、カラー眼底撮像データに加えてベースライン人口統計学的データおよび/またはベースライン臨床データを使用して生成される。
いくつかの実施形態では、本方法は、複数の訓練対象に関連付けられた少なくとも格付けされたカラー眼底撮像データを含む訓練データセットを使用してニューラルネットワークシステムを訓練することをさらに含む。いくつかの実施形態では、訓練データセットは、複数の訓練対象に関連付けられたベースライン人口統計学的データおよび/または複数の訓練対象に関連付けられたベースライン臨床データをさらに含む。複数の訓練対象は、少なくとも約1000、2000、3000、4000、5000、6000、7000、8000、9000、1万、2万、3万、4万、5万、6万、7万、8万、9万、10万、20万、30万、40万、50万、60万、70万、80万、90万、100万以上の対象、多くとも約100万、90万、80万、70万、60万、50万、40万、30万、20万、10万、9万、8万、7万、6万、5万、4万、3万、2万、1万、9000、8000、7000、6000、5000、4000、3000、2000、1000以下の対象、または前述の値のいずれか2つによって定義される範囲内にある数の対象など、任意の数の対象を含み得る。いくつかの実施形態では、本方法は、図7に関して本明細書に記載された方法を使用してニューラルネットワークシステムを訓練することをさらに含む。
図7は、図1および/または図5に関して本明細書に記載されるDR予測システムまたはニューラルネットワークシステムを訓練する際に使用するためのニューラルネットワーク訓練手順のブロック図である。学習段階の間に、ニューラルネットワークシステムは、図1、図4、図5、および/または図6に関連して本明細書に記載されたメトリックおよび/または分類を決定するように訓練され得る。訓練段階の間に、(図7において「全データセット」と呼ばれる)ニューラルネットワークシステムを訓練するために使用されるデータセット(本明細書に記載の複数の訓練対象に関連付けられた格付けされたカラー眼底撮像データなど)は、最初に層別化され、患者レベルで分割され得る。次いで、全データセットは、ニューラルネットワークシステムを訓練するために使用される第1の部分(図7において「訓練データセット」と呼ばれる)、ニューラルネットワークを調整するために使用される第2の部分(図7において「調整データセット」と呼ばれる)、および訓練されたニューラルネットワークシステムの後の試験および/または評価のために保持される第3の部分(図7において「試験データセット」と呼ばれる)に分割され得る。第1の部分は、全データセットの少なくとも約70%、75%、80%、85%、90%、95%、もしくはそれ以上、全データセットの多くとも約95%、90%、85%、80%、75%、70%、もしくはそれ以下、または前述の値のいずれか2つによって定義される範囲内にある全データセットのパーセンテージを含み得る。第2の部分は、全データセットの少なくとも約5%、10%、15%、20%、もしくはそれ以上、全データセットの多くとも約20%、15%、10%、5%、もしくはそれ以下、または前述の値のいずれか2つによって定義される範囲内にある全データセットのパーセンテージを含み得る。第3の部分は、全データセットの少なくとも約5%、10%、15%、20%、もしくはそれ以上、全データセットの多くとも約20%、15%、10%、5%、もしくはそれ以下、または前述の値のいずれか2つによって定義される範囲内にある全データセットのパーセンテージを含み得る。
訓練データセットは、ニューラルネットワークシステムを訓練するために使用され得る。訓練データセットを用いた訓練後のニューラルネットワークシステムの性能を試験および調整するために、調整データセットが使用され得る。結果として得られる訓練されたニューラルネットワークシステムは、試験データセットに関連付けられた本明細書に記載の任意のメトリックおよび/または任意の分類を予測するために試験データセットに適用され得る。予測されたメトリックおよび/または分類は、様々な統計的尺度を使用して、ホールドアウトデータセットに関連付けられた「グラウンドトゥルース」(実際の時系列応答および/または対応する画像特徴など)と比較され得る。例えば、尺度は、R値、二乗平均平方根誤差(RMSE)、平均絶対誤差(MAE)、およびピアソン相関係数のうちの任意の1つまたは複数を含み得る。
コンピュータ実装システム
図8は、様々な実施形態にかかるコンピュータシステムのブロック図である。コンピュータシステム800は、図1および/または図5において上述したコンピューティングプラットフォーム102の一実装の例であり得る。1つまたは複数の例では、コンピュータシステム800は、情報を通信するためのバス802または他の通信機構と、情報を処理するためのバス802に結合された少なくとも1つのプロセッサ804とを含むことができる。様々な実施形態では、コンピュータシステム800はまた、プロセッサ804によって実行される命令を決定するためにバス802に結合されたランダムアクセスメモリ(RAM)806または他の動的記憶装置とすることができるメモリを含むことができる。メモリはまた、プロセッサ804によって実行される命令の実行中に一時変数または他の中間情報を記憶するために使用され得る。様々な実施形態では、コンピュータシステム800は、プロセッサ804のための静的情報および命令を記憶するためにバス802に結合された読み出し専用メモリ(ROM)808または他の静的記憶装置をさらに含むことができる。情報および命令を記憶するために、磁気ディスクまたは光ディスクなどの記憶装置810が設けられ、バス802に結合され得る。
様々な実施形態では、コンピュータシステム800は、バス802を介して、コンピュータユーザに情報を表示するために、陰極線管(CRT)または液晶ディスプレイ(LCD)などのディスプレイ812に結合され得る。英数字および他のキーを含む入力装置814は、情報およびコマンド選択をプロセッサ804に通信するためにバス802に結合され得る。別のタイプのユーザ入力装置は、プロセッサ804に方向情報およびコマンド選択を通信し、ディスプレイ812上のカーソル移動を制御するための、マウス、ジョイスティック、トラックボール、ジェスチャ入力装置、視線ベースの入力装置、またはカーソル方向キーなどのカーソル制御装置816である。この入力装置814は、典型的には、装置が平面内の位置を指定することを可能にする第1の軸(例えば、x)および第2の軸(例えば、y)の2軸の2自由度を有する。しかしながら、3次元(例えば、x、yおよびz)カーソル移動を可能にする入力装置814も本明細書で企図されることを理解されたい。
本教示の特定の実装と一致して、結果は、RAM806に含まれる1つまたは複数の命令の1つまたは複数のシーケンスを実行するプロセッサ804に応答して、コンピュータシステム800によって提供され得る。いくつかの実施形態では、コンピュータシステム800は、これらの専用処理ユニットの専用RAMに含まれる1つまたは複数の命令の1つまたは複数のシーケンスを実行する1つまたは複数の専用処理ユニットに応答して結果を提供し得る。そのような命令は、記憶装置810などの別のコンピュータ可読媒体またはコンピュータ可読記憶媒体からRAM806に読み込まれ得る。RAM806に含まれる命令シーケンスの実行は、プロセッサ804に本明細書に記載のプロセスを実行させることができる。あるいは、本教示を実装するために、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、ハードワイヤード回路が使用され得る。したがって、本教示の実装形態は、ハードウェア回路とソフトウェアとの特定の組み合わせに限定されない。
本明細書で使用される「コンピュータ可読媒体」(例えば、データストア、データストレージ、記憶装置、データ記憶装置など)、または「コンピュータ可読記憶媒体」という用語は、実行のためにプロセッサ804に命令を提供することに関与する任意の媒体を指す。そのような媒体は、不揮発性媒体、揮発性媒体、および伝送媒体を含むがこれらに限定されない多くの形態をとることができる。不揮発性媒体の例は、以下に限定されないが、記憶装置810などの光学、ソリッドステート、磁気ディスクを含むことができる。揮発性媒体の例は、以下に限定されないが、RAM806などの動的メモリを含むことができる。伝送媒体の例は、以下に限定されないが、バス802を備えるワイヤを含む、同軸ケーブル、銅線、および光ファイバを含むことができる。
コンピュータ可読媒体の一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、または他の任意の磁気媒体、CD-ROM、他の任意の光学媒体、パンチカード、紙テープ、孔のパターンを有する他の任意の物理媒体、RAM、PROM、およびEPROM、フラッシュEPROM、他の任意のメモリチップまたはカートリッジ、またはコンピュータが読み取ることができる他の任意の有形媒体を含む。
コンピュータ可読媒体に加えて、命令またはデータは、実行のためにコンピュータシステム800のプロセッサ804に1つまたは複数の命令のシーケンスを提供するために、通信装置またはシステムに含まれる伝送媒体上の信号として提供され得る。例えば、通信装置は、命令およびデータを示す信号を有するトランシーバを含み得る。命令およびデータは、1つまたは複数のプロセッサに、本明細書の開示に概説される機能を実装させるように構成される。データ通信伝送接続の代表的な例は、以下に限定されないが、電話モデム接続、ワイドエリアネットワーク(WAN)、ローカルエリアネットワーク(LAN)、赤外線データ接続、NFC接続、光通信接続などを含むことができる。
本明細書に記載の方法論、フローチャート、図、および付随する開示は、コンピュータシステム800をスタンドアロン装置として使用して、またはクラウドコンピューティングネットワークなどの共有コンピュータ処理リソースの分散ネットワーク上で実装され得ることを理解されたい。
本明細書に記載の方法論は、用途に応じて様々な手段によって実装され得る。例えば、これらの方法論は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの任意の組み合わせで実装されてもよい。ハードウェア実装の場合、処理ユニットは、1つまたは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、グラフィカルプロセッシングユニット(GPU)、テンソルプロセッシングユニット(TPU)、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書に記載の機能を実行するように設計された他の電子ユニット、またはそれらの組み合わせ内に実装されてもよい。
様々な実施形態では、本教示の方法は、C、C++、Pythonなどのような従来のプログラミング言語で書かれたファームウェアおよび/またはソフトウェアプログラムおよびアプリケーションとして実装されてもよい。ファームウェアおよび/またはソフトウェアとして実装される場合、本明細書に記載される実施形態は、コンピュータに上述した方法を実行させるためのプログラムが記憶された非一時的コンピュータ可読媒体上に実装され得る。本明細書に記載の様々なエンジンはコンピュータシステム800などのコンピュータシステム上に設けられ得、これによって、プロセッサ804は、メモリ構成要素RAM806、ROM808、または記憶装置810のいずれか1つ、またはそれらの組み合わせによって提供される命令、および入力装置814を介して提供されるユーザ入力にしたがって、これらのエンジンによって提供される分析および決定を実行することを理解されたい。
実施例1:深層学習を使用する7視野カラー眼底写真からの中程度に重度および重度の非増殖性糖尿病性網膜症の自動スクリーニング
中程度に重度および重度の非増殖性糖尿病性網膜症(NPDR)を有する眼の自動識別において7視野カラー眼底写真(7F-CFP)を使用する深層学習(DL)モデルの性能を、米国のプライマリケア環境における糖尿病患者の間で評価した。
55,324人の糖尿病患者の眼を、1999年から2016年の間に収集されたデータ(出典:Inoveon Corporation、オクラホマ州オクラホマシティ)を使用して分析した。これらのうち、13,247名の患者は画像データの欠如のために除外され、26名の患者は獲得試験症例として除外され、4,693名の患者は格付けできない画像の存在のために除外された。これにより、本明細書に開示されるシステムおよび方法を使用する評価のために合計37,358人の患者が残った。糖尿病性網膜症(DR)重症度および臨床的に有意な黄斑浮腫(CSME)の存在を、7F-CFPから専門の評価者によって集中リーディングセンターにおいて評価した。DR重症度は、初期治療糖尿病性網膜症試験(ETDRS)DR重症度尺度(DRSS)を使用して格付けされた。
それぞれ合計29,890人の患者、3,732人の患者および3,736人の患者について、データセットを、モデル訓練については80%、調整については10%および試験については10%に分割した。表1は、データセットに含まれる患者の人口統計情報を示している。表2は、データセットに含まれる患者の臨床情報を示している。表3は、データセットに含まれる患者のDRSSスコアを示している。
転移学習を用いた深層学習InceptionV3モデルを、47から53の範囲のDRSSを有するかまたは有していないかのいずれかとして患者を分類するために、7つ全ての視野(立体視を含む)上の画像レベルで訓練した。予測を全視野にわたって平均化して、各患者の眼レベルでの予測を提供した。モデル性能を、受信者動作特性曲線下面積(AUROC)、特異度、感度および陽性的中率に基づいて決定した。
モデルは、調整セットの性能、ならびにYouden指数を最大化するための特異度および感度の所望のカットオフに基づいて選択した。モデルは、0.988のAUROC(95% CI、0.9872~0.9879)、0.57の適合率(95% CI、0.56~0.58)、0.9639の感度(95% CI、0.9628~0.9655)、0.9624の特異度(95% CI、0.9621~0.9625)、0.368の陽性的中率(95% CI、0.366~0.370)、および0.999の陰性的中率(95% CI、0.9991~0.0002)において47から53の範囲のDRSSを有する患者を識別するための試験セットで良好に機能した。さらに、軽度のDRを超える試験セットのメンバーについて、モデルは、0.93のAUROC(95% CI、0.93~0.94)、0.574の適合率(95% CI、0.567~0.58)、0.9639の感度(95% CI、0.9624~0.9652)、0.7912の特異度(95% CI、0.7901~0.7923)、0.376の陽性的中率(95% CI、0.3743~0.3786)、および0.994の陰性的中率(95% CI、0.9938~0.9943)を達成した。
これらの結果は、機械学習(および特にDL)が、47から53の範囲のDRSSを有する眼の自動識別をサポートすることができることを示している。そのようなモデルは、予防的臨床試験のための進行のリスクがある患者の識別を通じてスクリーニングをサポートすることができる。さらに、臨床診療における患者スクリーニングを支援することができる。
結論
本教示は、様々な実施形態に関連して説明されているが、本教示がそのような実施形態に限定されることは意図されていない。逆に、本教示は、当業者によって理解されるように、様々な代替、変更、および均等物を包含する。
例えば、上述したフローチャートおよびブロック図は、様々な方法およびシステム実施形態の可能な実装のアーキテクチャ、機能、および/または動作を示している。フローチャートまたはブロック図の各ブロックは、モジュール、セグメント、機能、動作もしくはステップの一部、またはそれらの組み合わせを表し得る。実施形態のいくつかの代替実装では、ブロックに記載された1つまたは複数の機能は、図に記載された順序とは異なる順序で行われてもよい。例えば、場合によっては、連続して示される2つのブロックは、実質的に同時に実行されてもよく、または何らかの方法で統合されてもよい。他の場合には、ブロックは、逆の順序で実行されてもよい。さらに、場合によっては、フローチャートまたはブロック図内の1つまたは複数の他のブロックを置換または補足するために、1つまたは複数のブロックが追加されてもよい。
したがって、様々な実施形態を説明する際に、本明細書は、特定の一連のステップとして方法および/またはプロセスを提示している場合がある。しかしながら、方法またはプロセスが本明細書に記載の特定の順番のステップに依拠しない限り、方法またはプロセスは、記載された特定の順序のステップに限定されるべきではなく、当業者は、順序が変動してもよく、依然として様々な実施形態の趣旨および範囲内にあることを容易に理解することができる。
実施形態の記載
実施形態1.糖尿病性網膜症(DR)重症度を評価するための方法であって、
対象の眼についての少なくともカラー眼底撮像データを含む入力データを受信することと、
カラー眼底撮像データに対して少なくとも1つの画像標準化手順を実行することと、
標準化画像データのセットを生成することと、
少なくとも標準化画像データを使用して、対象の眼のDR重症度についてのスコアが選択された範囲内に入る確率を示すメトリックを生成することと
を含む、方法。
実施形態2.カラー眼底撮像データが複数の視野を含み、各視野がカラー眼底画像を含む、実施形態1に記載の方法。
実施形態3.カラー眼底撮像データに関連付けられた視野数に基づいて、カラー眼底撮像データのグレーダビリティを決定することであって、グレーダビリティが、カラー眼底撮像データが所定数の視野を含むまたは含まないことを示す、カラー眼底撮像データのグレーダビリティを決定することをさらに含む、実施形態1または2に記載の方法。
実施形態4.選択された範囲が、軽度から中程度のDR、軽度から中程度に重度のDR、軽度から重度のDR、中程度から中程度に重度のDR、中程度に重度から重度のDR、中程度から重度のDR、中程度を超えるDR、軽度を超えるDR、中程度に重度を超えるDR、または重度を超えるDRを表す、実施形態1から3のいずれか一項に記載の方法。
実施形態5.選択された範囲が、35以上43以下、35以上47以下、35以上53以下、43以上47以下、47以上53以下、43以上53以下、少なくとも35、少なくとも43、少なくとも47、または少なくとも53の糖尿病性網膜症重症度尺度(DRSS)の部分を含む、実施形態1から4のいずれか一項に記載の方法。
実施形態6.受信したカラー眼底撮像データを使用して眼のDR重症度についてのスコアを予測することをさらに含む、実施形態1から5のいずれか一項に記載の方法。
実施形態7.メトリックが眼についての予測DR重症度スコアを含む、実施形態1から6のいずれか一項に記載の方法。
実施形態8.少なくとも1つの画像標準化手順が、視野検出手順、中央トリミング手順、前景抽出手順、領域抽出手順、中央領域抽出手順、適応ヒストグラム等化(AHE)手順、およびコントラスト制限AHE(CLAHE)手順のうちの1つまたは複数を含む、実施形態1から7のいずれか一項に記載の方法。
実施形態9.入力データが、対象に関連付けられたベースライン人口統計学的特性および対象に関連付けられたベースライン臨床特性のうちの1つまたは複数をさらに含み、メトリックを生成することが、ベースライン人口統計学的特性およびベースライン臨床特性のうちの1つまたは複数を使用してメトリックを生成することをさらに含む、実施形態1から8のいずれか一項に記載の方法。
実施形態10.メトリックを生成することが、ニューラルネットワークシステムを使用してメトリックを生成することを含む、実施形態1から9のいずれか一項に記載の方法。
実施形態11.複数の訓練対象に関連付けられた少なくとも格付けされたカラー眼底撮像データを含む訓練データセットを使用してニューラルネットワークシステムを訓練することをさらに含む、実施形態10に記載の方法。
実施形態12.ニューラルネットワークシステムを訓練することが、複数の訓練対象に関連付けられたベースライン人口統計学的特性および複数の訓練対象に関連付けられたベースライン臨床特性のうちの1つまたは複数を使用してニューラルネットワークを訓練することをさらに含む、実施形態11に記載の方法。
実施形態13.糖尿病性網膜症(DR)重症度を評価するためのシステムであって、
非一時的メモリと、
非一時的メモリに結合され、かつ非一時的メモリから命令を読み取って、システムに、
対象の眼についての少なくともカラー眼底撮像データを含む入力データを受信することと、
カラー眼底撮像データに対して少なくとも1つの画像標準化手順を実行することと、
標準化画像データのセットを生成することと、
少なくとも標準化画像データを使用して、対象の眼のDR重症度についてのスコアが選択された範囲内に入る確率を示すメトリックを生成することと
を含む動作を実行させるように構成された1つまたは複数のプロセッサと
を備える、システム。
実施形態14.カラー眼底撮像データが複数の視野を含み、各視野がカラー眼底画像を含む、実施形態13に記載のシステム。
実施形態15.動作が、カラー眼底撮像データに関連付けられた視野数に基づいて、カラー眼底撮像データのグレーダビリティを決定することであって、グレーダビリティが、カラー眼底撮像データが所定数の視野を含むまたは含まないことを示す、カラー眼底撮像データのグレーダビリティを決定することをさらに含む、実施形態13または14に記載のシステム。
実施形態16.選択された範囲が、軽度から中程度のDR、軽度から中程度に重度のDR、軽度から重度のDR、中程度から中程度に重度のDR、中程度に重度から重度のDR、中程度から重度のDR、軽度を超えるDR、中程度を超えるDR、中程度に重度を超えるDR、または重度を超えるDRを表す、実施形態13から15のいずれか一項に記載のシステム。
実施形態17.選択された範囲が、35以上43以下、35以上47以下、35以上53以下、43以上47以下、47以上53以下、43以上53以下、少なくとも35、少なくとも43、少なくとも47、または少なくとも53の糖尿病性網膜症重症度尺度(DRSS)の部分を含む、実施形態13から16のいずれか一項に記載のシステム。
実施形態18.動作が、受信したカラー眼底撮像データを使用して眼のDR重症度についてのスコアを予測することをさらに含む、実施形態13から17のいずれか一項に記載のシステム。
実施形態19.メトリックが眼についての予測DR重症度スコアを含む、実施形態13から18のいずれか一項に記載のシステム。
実施形態20.少なくとも1つの画像標準化手順が、視野検出手順、中央トリミング手順、前景抽出手順、領域抽出手順、中央領域抽出手順、適応ヒストグラム等化(AHE)手順、およびコントラスト制限AHE(CLAHE)手順のうちの1つまたは複数を含む、実施形態13から19のいずれか一項に記載のシステム。
実施形態21.入力データが、対象に関連付けられたベースライン人口統計学的特性および対象に関連付けられたベースライン臨床特性のうちの1つまたは複数をさらに含み、メトリックを生成することが、ベースライン人口統計学的特性およびベースライン臨床特性のうちの1つまたは複数を使用してメトリックを生成することをさらに含む、実施形態13から20のいずれか一項に記載のシステム。
実施形態22.メトリックを生成することが、ニューラルネットワークシステムを使用してメトリックを生成することを含む、実施形態13から21のいずれか一項に記載のシステム。
実施形態23.動作が、複数の訓練対象に関連付けられた少なくとも格付けされたカラー眼底撮像データを含む訓練データセットを使用してニューラルネットワークシステムを訓練することをさらに含む、実施形態22に記載のシステム。
実施形態24.ニューラルネットワークシステムを訓練することが、複数の訓練対象に関連付けられたベースライン人口統計学的特性および複数の訓練対象に関連付けられたベースライン臨床特性のうちの1つまたは複数を使用してニューラルネットワークを訓練することをさらに含む、実施形態23に記載のシステム。
実施形態25.非一時的機械可読媒体であって、システムに、
対象の眼についての少なくともカラー眼底撮像データを含む入力データを受信することと、
カラー眼底撮像データに対して少なくとも1つの画像標準化手順を実行することと、
標準化画像データのセットを生成することと、
少なくとも標準化画像データを使用して、対象の眼のDR重症度についてのスコアが選択された範囲内に入る確率を示すメトリックを生成することと
を含む動作を実行させるように実行可能な機械可読命令が記憶された、非一時的機械可読媒体。
実施形態26.カラー眼底撮像データが複数の視野を含み、各視野がカラー眼底画像を含む、実施形態25に記載の非一時的機械可読媒体。
実施形態27.動作が、カラー眼底撮像データに関連付けられた視野数に基づいて、カラー眼底撮像データのグレーダビリティを決定することであって、グレーダビリティが、カラー眼底撮像データが所定数の視野を含むまたは含まないことを示す、カラー眼底撮像データのグレーダビリティを決定することをさらに含む、実施形態25または26に記載の非一時的機械可読媒体。
実施形態28.選択された範囲が、軽度から中程度のDR、軽度から中程度に重度のDR、軽度から重度のDR、中程度から中程度に重度のDR、中程度に重度から重度のDR、中程度から重度のDR、軽度を超えるDR、中程度を超えるDR、中程度に重度を超えるDR、または重度を超えるDRを表す、実施形態25から27のいずれか一項に記載の非一時的機械可読媒体。
実施形態29.選択された範囲が、35以上43以下、35以上47以下、35以上53以下、43以上47以下、47以上53以下、43以上53以下、少なくとも35、少なくとも43、少なくとも47、または少なくとも53の糖尿病性網膜症重症度尺度(DRSS)の部分を含む、実施形態25から28のいずれか一項に記載の非一時的機械可読媒体。
実施形態30.動作が、受信したカラー眼底撮像データを使用して眼のDR重症度についてのスコアを予測することをさらに含む、実施形態25から29のいずれか一項に記載の非一時的機械可読媒体。
実施形態31.メトリックが眼についての予測DR重症度スコアを含む、実施形態25から30のいずれか一項に記載の非一時的機械可読媒体。
実施形態32.少なくとも1つの画像標準化手順が、視野検出手順、中央トリミング手順、前景抽出手順、領域抽出手順、中央領域抽出手順、適応ヒストグラム等化(AHE)手順、およびコントラスト制限AHE(CLAHE)手順のうちの1つまたは複数を含む、実施形態25から31のいずれか一項に記載の非一時的機械可読媒体。
実施形態33.入力データが、対象に関連付けられたベースライン人口統計学的特性および対象に関連付けられたベースライン臨床特性のうちの1つまたは複数をさらに含み、メトリックを生成することが、ベースライン人口統計学的特性およびベースライン臨床特性のうちの1つまたは複数を使用してメトリックを生成することをさらに含む、実施形態25から32のいずれか一項に記載の非一時的機械可読媒体。
実施形態34.メトリックを生成することが、ニューラルネットワークシステムを使用してメトリックを生成することを含む、実施形態25から33のいずれか一項に記載の方法。
実施形態35.動作が、複数の訓練対象に関連付けられた少なくとも格付けされたカラー眼底撮像データを含む訓練データセットを使用してニューラルネットワークシステムを訓練することをさらに含む、実施形態34に記載の非一時的機械可読媒体。
実施形態36.ニューラルネットワークシステムを訓練することが、複数の訓練対象に関連付けられたベースライン人口統計学的特性および複数の訓練対象に関連付けられたベースライン臨床特性のうちの1つまたは複数を使用してニューラルネットワークを訓練することをさらに含む、実施形態35に記載の非一時的機械可読媒体。
実施形態37.糖尿病性網膜症(DR)重症度を評価するための方法であって、
1つまたは複数のDR重症度スコアを決定することであって、各スコアがDR重症度レベルに関連付けられる、1つまたは複数のDR重症度スコアを決定することと、
複数のDR重症度分類を決定することであって、各分類が、DR重症度閾値スコアの範囲またはセットによって示される、複数のDR重症度分類を決定することと、
対象の眼についての少なくともカラー眼底撮像データを含む入力データを受信することと、
受信した入力データから、対象の眼のDR重症度についてのスコアが選択された範囲内に入る確率を示すメトリックを決定することと、
メトリックに基づいて、受信した入力データの眼を複数のDR重症度分類のうちの1つのDR重症度分類に分類することと
を含む、方法。
実施形態38.DR閾値スコアの範囲またはセットを決定することであって、各DR閾値スコアが、複数のDR重症度分類のうちの1つのDR重症度分類に対応する最小スコアまたは最大スコアを示す、DR閾値スコアの範囲またはセットを決定することをさらに含む、実施形態37に記載の方法。
実施形態39.少なくとも1つのDR重症度分類が、中程度から中程度に重度のDR、中程度に重度から重度のDR、または中程度から重度のDRを表す、実施形態37または38に記載の方法。
実施形態40.DR重症度閾値スコアの少なくとも1つの範囲またはセットが、43以上47以下、47以上53以下、または43以上53以下の糖尿病性網膜症重症度尺度(DRSS)の部分を含む、実施形態37から39のいずれか一項に記載の方法。
実施形態41.受信したカラー眼底撮像データを使用して眼のDR重症度についてのスコアを予測することをさらに含む、実施形態37から40のいずれか一項に記載の方法。
実施形態42.メトリックが眼についての予測DR重症度スコアを含む、実施形態37から41のいずれか一項に記載の方法。
実施形態43.入力データが、対象に関連付けられたベースライン人口統計学的特性および対象に関連付けられたベースライン臨床特性のうちの1つまたは複数をさらに含み、メトリックを生成することが、ベースライン人口統計学的特性およびベースライン臨床特性のうちの1つまたは複数を使用してメトリックを生成することをさらに含む、実施形態37から42のいずれか一項に記載の方法。
実施形態44.メトリックを生成することが、ニューラルネットワークシステムを使用してメトリックを生成することを含む、実施形態37から43のいずれか一項に記載の方法。
実施形態45.複数の訓練対象に関連付けられた少なくとも格付けされたカラー眼底撮像データを含む訓練データセットを使用してニューラルネットワークシステムを訓練することをさらに含む、実施形態44に記載の方法。
実施形態46.ニューラルネットワークシステムを訓練することが、複数の訓練対象に関連付けられたベースライン人口統計学的特性および複数の訓練対象に関連付けられたベースライン臨床特性のうちの1つまたは複数を使用してニューラルネットワークを訓練することをさらに含む、実施形態45に記載の方法。
実施形態47.糖尿病性網膜症(DR)重症度を評価するためのシステムであって、
非一時的メモリと、
非一時的メモリに結合され、かつ非一時的メモリから命令を読み取って、システムに、
1つまたは複数のDR重症度スコアの決定を受信することであって、各スコアがDR重症度レベルに関連付けられる、1つまたは複数のDR重症度スコアの決定を受信することと、
複数のDR重症度分類の決定を受信することであって、各分類が、DR重症度閾値スコアの範囲またはセットによって示される、複数のDR重症度分類の決定を受信することと、
対象の眼についての少なくともカラー眼底撮像データを含む入力データを受信することと、
受信した入力データから、対象の眼のDR重症度についてのスコアが選択された範囲内に入る確率を示すメトリックを決定することと、
メトリックに基づいて、受信した入力データの眼を複数のDR重症度分類のうちの1つのDR重症度分類に分類することと
を含む動作を実行させるように構成された1つまたは複数のプロセッサと
を備える、システム。
実施形態48.動作が、DR閾値スコアの範囲またはセットの決定を受信することであって、各DR閾値スコアが、複数のDR重症度分類のうちの1つのDR重症度分類に対応する最小スコアまたは最大スコアを示す、DR閾値スコアの範囲またはセットの決定を受信することをさらに含む、実施形態47に記載のシステム。
実施形態49.少なくとも1つのDR重症度分類が、中程度から中程度に重度のDR、中程度に重度から重度のDR、または中程度から重度のDRを表す、実施形態47または48に記載のシステム。
実施形態50.DR重症度閾値スコアの少なくとも1つの範囲またはセットが、43以上47以下、47以上53以下、または43以上53以下の糖尿病性網膜症重症度尺度(DRSS)の部分を含む、実施形態47から49のいずれか一項に記載のシステム。
実施形態51.動作が、受信したカラー眼底撮像データを使用して眼のDR重症度についてのスコアを予測することをさらに含む、実施形態47から50のいずれか一項に記載のシステム。
実施形態52.メトリックが眼についての予測DR重症度スコアを含む、実施形態47から51のいずれか一項に記載のシステム。
実施形態53.入力データが、対象に関連付けられたベースライン人口統計学的特性および対象に関連付けられたベースライン臨床特性のうちの1つまたは複数をさらに含み、メトリックを生成することが、ベースライン人口統計学的特性およびベースライン臨床特性のうちの1つまたは複数を使用してメトリックを生成することをさらに含む、実施形態47から52のいずれか一項に記載のシステム。
実施形態54.メトリックを生成することが、ニューラルネットワークシステムを使用してメトリックを生成することを含む、実施形態47から53のいずれか一項に記載のシステム。
実施形態55.動作が、複数の訓練対象に関連付けられた少なくとも格付けされたカラー眼底撮像データを含む訓練データセットを使用してニューラルネットワークシステムを訓練することをさらに含む、実施形態54に記載のシステム。
実施形態56.ニューラルネットワークシステムを訓練することが、複数の訓練対象に関連付けられたベースライン人口統計学的特性および複数の訓練対象に関連付けられたベースライン臨床特性のうちの1つまたは複数を使用してニューラルネットワークを訓練することをさらに含む、実施形態55に記載のシステム。
実施形態57.非一時的機械可読媒体であって、システムに、
1つまたは複数のDR重症度スコアの決定を受信することであって、各スコアがDR重症度レベルに関連付けられる、1つまたは複数のDR重症度スコアの決定を受信することと、
複数のDR重症度分類の決定を受信することであって、各分類が、DR重症度閾値スコアの範囲またはセットによって示される、複数のDR重症度分類の決定を受信することと、
対象の眼についての少なくともカラー眼底撮像データを含む入力データを受信することと、
受信した入力データから、対象の眼のDR重症度についてのスコアが選択された範囲内に入る確率を示すメトリックを決定することと、
メトリックに基づいて、受信した入力データの眼を複数のDR重症度分類のうちの1つのDR重症度分類に分類することと
を含む動作を実行させるように実行可能な機械可読命令が記憶された、非一時的機械可読媒体。
実施形態58.動作が、DR閾値スコアの範囲またはセットの決定を受信することであって、各DR閾値スコアが、複数のDR重症度分類のうちの1つのDR重症度分類に対応する最小スコアまたは最大スコアを示す、DR閾値スコアの範囲またはセットの決定を受信することをさらに含む、実施形態57に記載の非一時的機械可読媒体。
実施形態59.少なくとも1つのDR重症度分類が、中程度から中程度に重度のDR、中程度に重度から重度のDR、または中程度から重度のDRを表す、実施形態57または58に記載の非一時的機械可読媒体。
実施形態60.DR重症度閾値スコアの少なくとも1つの範囲またはセットが、43以上47以下、47以上53以下、または43以上53以下の糖尿病性網膜症重症度尺度(DRSS)の部分を含む、実施形態57から59のいずれか一項に記載の非一時的機械可読媒体。
実施形態61.動作が、受信したカラー眼底撮像データを使用して眼のDR重症度についてのスコアを予測することをさらに含む、実施形態57から60のいずれか一項に記載の非一時的機械可読媒体。
実施形態62.メトリックが眼についての予測DR重症度スコアを含む、実施形態57から61のいずれか一項に記載の非一時的機械可読媒体。
実施形態63.入力データが、対象に関連付けられたベースライン人口統計学的特性および対象に関連付けられたベースライン臨床特性のうちの1つまたは複数をさらに含み、メトリックを生成することが、ベースライン人口統計学的特性およびベースライン臨床特性のうちの1つまたは複数を使用してメトリックを生成することをさらに含む、実施形態57から62のいずれか一項に記載の非一時的機械可読媒体。
実施形態64.メトリックを生成することが、ニューラルネットワークシステムを使用してメトリックを生成することを含む、実施形態57から63のいずれか一項に記載の非一時的機械可読媒体。
実施形態65.動作が、複数の訓練対象に関連付けられた少なくとも格付けされたカラー眼底撮像データを含む訓練データセットを使用してニューラルネットワークシステムを訓練することをさらに含む、実施形態64に記載の非一時的機械可読媒体。
実施形態66.ニューラルネットワークシステムを訓練することが、複数の訓練対象に関連付けられたベースライン人口統計学的特性および複数の訓練対象に関連付けられたベースライン臨床特性のうちの1つまたは複数を使用してニューラルネットワークを訓練することをさらに含む、実施形態65に記載の非一時的機械可読媒体。

Claims (20)

  1. 糖尿病性網膜症(DR)の重症度を評価するための方法であって、
    1つまたは複数のDR重症度スコアを決定することであって、各スコアがDR重症度レベルに関連付けられる、1つまたは複数のDR重症度スコアを決定することと、
    複数のDR重症度分類を決定することであって、各分類が、DR重症度閾値スコアの範囲またはセットによって示される、複数のDR重症度分類を決定することと、
    対象の眼についての少なくともカラー眼底撮像データを含む入力データを受信することと、
    受信した入力データから、対象の眼のDR重症度についてのスコアが選択された範囲内に入る確率を示すメトリックを決定することと、
    メトリックに基づいて、受信した入力データの眼を複数のDR重症度分類のうちのDR重症度分類に分類することと
    を含む、方法。
  2. DR閾値スコアの範囲またはセットを決定することであって、各DR閾値スコアが、複数のDR重症度分類のうちのDR重症度分類に対応する最小スコアまたは最大スコアを示す、DR閾値スコアの範囲またはセットを決定することをさらに含む、請求項1に記載の方法。
  3. 少なくとも1つのDR重症度分類が、中程度から中程度に重度のDR、中程度に重度から重度のDR、または中程度から重度のDRを表す、請求項1に記載の方法。
  4. DR重症度閾値スコアの少なくとも1つの範囲またはセットが、43以上47以下、47以上53以下、または43以上53以下の糖尿病性網膜症重症度尺度(DRSS)の部分を含む、請求項1に記載の方法。
  5. 入力データが、対象に関連付けられたベースライン人口統計学的特性および対象に関連付けられたベースライン臨床特性のうちの1つまたは複数をさらに含み、出力を生成することが、ベースライン人口統計学的特性およびベースライン臨床特性のうちの1つまたは複数を使用して出力を生成することをさらに含む、請求項1に記載の方法。
  6. メトリックを生成することが、ニューラルネットワークシステムを使用してメトリックを生成することを含む、請求項1に記載の方法。
  7. 複数の訓練対象に関連付けられた少なくとも格付けされたカラー眼底撮像データを含む訓練データセットを使用してニューラルネットワークシステムを訓練することをさらに含む、請求項6に記載の方法。
  8. ニューラルネットワークシステムを訓練することが、複数の訓練対象に関連付けられたベースライン人口統計学的特性および複数の訓練対象に関連付けられたベースライン臨床特性のうちの1つまたは複数を使用してニューラルネットワークを訓練することをさらに含む、請求項7に記載の方法。
  9. 糖尿病性網膜症(DR)の重症度を評価するためのシステムであって、
    非一時的メモリと、
    非一時的メモリに結合され、かつ非一時的メモリから命令を読み取って、システムに、
    1つまたは複数のDR重症度スコアの決定を受信することであって、各スコアがDR重症度レベルに関連付けられる、1つまたは複数のDR重症度スコアの決定を受信することと、
    複数のDR重症度分類の決定を受信することであって、各分類が、DR重症度閾値スコアの範囲またはセットによって示される、複数のDR重症度分類の決定を受信することと、
    対象の眼についての少なくともカラー眼底撮像データを含む入力データを受信することと、
    受信した入力データから、対象の眼のDR重症度についてのスコアが選択された範囲内に入る確率を示すメトリックを決定することと、
    メトリックに基づいて、受信した入力データの眼を複数のDR重症度分類のうちのDR重症度分類に分類することと
    を含む動作を実行させるように構成された1つまたは複数のプロセッサと
    を備える、システム。
  10. 動作が、DR閾値スコアの範囲またはセットの決定を受信することであって、各DR閾値スコアが、複数のDR重症度分類のうちのDR重症度分類に対応する最小スコアまたは最大スコアを示す、DR閾値スコアの範囲またはセットの決定を受信することをさらに含む、請求項9に記載のシステム。
  11. 少なくとも1つのDR重症度分類が、中程度から中程度に重度のDR、中程度に重度から重度のDR、または中程度から重度のDRを表す、請求項9に記載のシステム。
  12. DR重症度閾値スコアの少なくとも1つの範囲またはセットが、43以上47以下、47以上53以下、または43以上53以下の糖尿病性網膜症重症度尺度(DRSS)の部分を含む、請求項9に記載のシステム。
  13. 入力データが、対象に関連付けられたベースライン人口統計学的特性および対象に関連付けられたベースライン臨床特性のうちの1つまたは複数をさらに含み、出力を生成することが、ベースライン人口統計学的特性およびベースライン臨床特性のうちの1つまたは複数を使用して出力を生成することをさらに含む、請求項9に記載のシステム。
  14. メトリックを生成することが、ニューラルネットワークシステムを使用してメトリックを生成することを含む、請求項9に記載のシステム。
  15. 非一時的機械可読媒体であって、システムに、
    1つまたは複数のDR重症度スコアの決定を受信することであって、各スコアがDR重症度レベルに関連付けられる、1つまたは複数のDR重症度スコアの決定を受信することと、
    複数のDR重症度分類の決定を受信することであって、各分類が、DR重症度閾値スコアの範囲またはセットによって示される、複数のDR重症度分類の決定を受信することと、
    対象の眼についての少なくともカラー眼底撮像データを含む入力データを受信することと、
    受信した入力データから、対象の眼のDR重症度についてのスコアが選択された範囲内に入る確率を示すメトリックを決定することと、
    メトリックに基づいて、受信した入力データの眼を複数のDR重症度分類のうちのDR重症度分類に分類することと
    を含む動作を実行させるように実行可能な機械可読命令が記憶された、非一時的機械可読媒体。
  16. 動作が、DR閾値スコアの範囲またはセットの決定を受信することであって、各DR閾値スコアが、複数のDR重症度分類のうちのDR重症度分類に対応する最小スコアまたは最大スコアを示す、DR閾値スコアの範囲またはセットの決定を受信することをさらに含む、請求項15に記載の非一時的機械可読媒体。
  17. 少なくとも1つのDR重症度分類が、中程度から中程度に重度のDR、中程度に重度から重度のDR、または中程度から重度のDRを表す、請求項15に記載の非一時的機械可読媒体。
  18. DR重症度閾値スコアの少なくとも1つの範囲またはセットが、43以上47以下、47以上53以下、または43以上53以下の糖尿病性網膜症重症度尺度(DRSS)の部分を含む、請求項15に記載の非一時的機械可読媒体。
  19. 入力データが、対象に関連付けられたベースライン人口統計学的特性および対象に関連付けられたベースライン臨床特性のうちの1つまたは複数をさらに含み、出力を生成することが、ベースライン人口統計学的特性およびベースライン臨床特性のうちの1つまたは複数を使用して出力を生成することをさらに含む、請求項15に記載の非一時的機械可読媒体。
  20. メトリックを生成することが、ニューラルネットワークシステムを使用してメトリックを生成することを含む、請求項15に記載の非一時的機械可読媒体。
JP2023533637A 2020-12-04 2021-12-03 カラー眼底画像データを使用する糖尿病性網膜症重症度についての自動スクリーニング Pending JP2023551898A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063121711P 2020-12-04 2020-12-04
US63/121,711 2020-12-04
US202163169809P 2021-04-01 2021-04-01
US63/169,809 2021-04-01
PCT/US2021/061809 WO2022120168A1 (en) 2020-12-04 2021-12-03 Automated screening for diabetic retinopathy severity using color fundus image data

Publications (1)

Publication Number Publication Date
JP2023551898A true JP2023551898A (ja) 2023-12-13

Family

ID=79024816

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2023533639A Pending JP2023551899A (ja) 2020-12-04 2021-12-03 カラー眼底画像データを使用する糖尿病性網膜症の重症度の自動化スクリーニング
JP2023533637A Pending JP2023551898A (ja) 2020-12-04 2021-12-03 カラー眼底画像データを使用する糖尿病性網膜症重症度についての自動スクリーニング

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2023533639A Pending JP2023551899A (ja) 2020-12-04 2021-12-03 カラー眼底画像データを使用する糖尿病性網膜症の重症度の自動化スクリーニング

Country Status (4)

Country Link
US (2) US20230309919A1 (ja)
EP (2) EP4256529A1 (ja)
JP (2) JP2023551899A (ja)
WO (2) WO2022120163A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023115063A1 (en) 2021-12-17 2023-06-22 F. Hoffmann-La Roche Ag Detecting ocular comorbidities when screening for diabetic retinopathy (dr) using 7-field color fundus photos
GB2620761A (en) * 2022-07-20 2024-01-24 Univ Liverpool A computer-implemented method of determining if a fundus image requires referral for investigation for a disease
GB202210624D0 (en) * 2022-07-20 2022-08-31 Univ Liverpool A computer-implemented method of determining if a medical data sample requires referral for investigation for a disease
JP2024083838A (ja) * 2022-12-12 2024-06-24 DeepEyeVision株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP2023551899A (ja) 2023-12-13
WO2022120163A1 (en) 2022-06-09
US20230307135A1 (en) 2023-09-28
WO2022120168A1 (en) 2022-06-09
US20230309919A1 (en) 2023-10-05
EP4256529A1 (en) 2023-10-11
EP4256528A1 (en) 2023-10-11

Similar Documents

Publication Publication Date Title
Yan et al. Deep-learning-based prediction of late age-related macular degeneration progression
CN110120047B (zh) 图像分割模型训练方法、图像分割方法、装置、设备及介质
Yu et al. Exudate detection for diabetic retinopathy with convolutional neural networks
JP2023551898A (ja) カラー眼底画像データを使用する糖尿病性網膜症重症度についての自動スクリーニング
Benet et al. Artificial intelligence: the unstoppable revolution in ophthalmology
Mirzania et al. Applications of deep learning in detection of glaucoma: a systematic review
Rampat et al. Artificial intelligence in cornea, refractive surgery, and cataract: basic principles, clinical applications, and future directions
Arslan et al. Artificial intelligence algorithms for analysis of geographic atrophy: a review and evaluation
Da Rocha et al. Diabetic retinopathy classification using VGG16 neural network
Khanna et al. Deep learning based computer-aided automatic prediction and grading system for diabetic retinopathy
Randive et al. A review on computer-aided recent developments for automatic detection of diabetic retinopathy
Gong et al. Application of deep learning for diagnosing, classifying, and treating age-related macular degeneration
Bali et al. Analysis of deep learning techniques for prediction of eye diseases: A systematic review
Singh et al. A novel hybridized feature selection strategy for the effective prediction of glaucoma in retinal fundus images
Jibhakate et al. Early glaucoma detection using machine learning algorithms of VGG-16 and Resnet-50
US20230135258A1 (en) Prediction of geographic-atrophy progression using segmentation and feature evaluation
Sharma et al. Modified EfficientNetB3 Deep Learning Model to Classify Colour Fundus Images of Eye Diseases
CN116634917A (zh) 使用彩色眼底图像数据的针对糖尿病视网膜病变严重程度的自动筛查
Mohanalakshmi et al. Locust based genetic classifier for the diagnosis of diabetic retinopathy
Sheikh Diabetic reinopathy classification using deep learning
Biswas et al. Deep learning system for assessing diabetic retinopathy prevalence and risk level estimation
Gulati et al. Classification of Diabetic Retinopathy using pre-trained Deep Learning Model-DenseNet 121
Akshita et al. Diabetic retinopathy classification using deep convolutional neural network
Andersen et al. Using fully convolutional networks for semantic segmentation of diabetic retinopathy lesions in retinal images
Jain et al. Ensemble architecture for prediction of grading of diabetic retinopathy