JP2023551214A - 光干渉断層撮影血管造影のための品質マップ - Google Patents
光干渉断層撮影血管造影のための品質マップ Download PDFInfo
- Publication number
- JP2023551214A JP2023551214A JP2023530914A JP2023530914A JP2023551214A JP 2023551214 A JP2023551214 A JP 2023551214A JP 2023530914 A JP2023530914 A JP 2023530914A JP 2023530914 A JP2023530914 A JP 2023530914A JP 2023551214 A JP2023551214 A JP 2023551214A
- Authority
- JP
- Japan
- Prior art keywords
- quality
- oct
- data
- octa
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012014 optical coherence tomography Methods 0.000 title claims description 133
- 238000002583 angiography Methods 0.000 title claims description 12
- 238000000034 method Methods 0.000 claims abstract description 87
- 238000013442 quality metrics Methods 0.000 claims abstract description 6
- 238000009826 distribution Methods 0.000 claims abstract description 3
- FCKYPQBAHLOOJQ-UHFFFAOYSA-N Cyclohexane-1,2-diaminetetraacetic acid Chemical compound OC(=O)CN(CC(O)=O)C1CCCCC1N(CC(O)=O)CC(O)=O FCKYPQBAHLOOJQ-UHFFFAOYSA-N 0.000 claims abstract 6
- 238000012549 training Methods 0.000 claims description 114
- 230000002207 retinal effect Effects 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 23
- 210000001525 retina Anatomy 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 5
- 239000002131 composite material Substances 0.000 claims description 2
- 230000010344 pupil dilation Effects 0.000 claims description 2
- 238000013136 deep learning model Methods 0.000 claims 1
- 238000003062 neural network model Methods 0.000 claims 1
- 238000010801 machine learning Methods 0.000 abstract description 18
- 238000004422 calculation algorithm Methods 0.000 description 61
- 238000013528 artificial neural network Methods 0.000 description 39
- 238000012360 testing method Methods 0.000 description 38
- 238000001914 filtration Methods 0.000 description 30
- 230000006870 function Effects 0.000 description 25
- 239000013598 vector Substances 0.000 description 21
- 238000013527 convolutional neural network Methods 0.000 description 17
- 210000002569 neuron Anatomy 0.000 description 16
- 238000013459 approach Methods 0.000 description 15
- 238000003860 storage Methods 0.000 description 14
- 210000001519 tissue Anatomy 0.000 description 14
- 238000011176 pooling Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 238000012935 Averaging Methods 0.000 description 10
- 230000004913 activation Effects 0.000 description 9
- 230000006399 behavior Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 230000002829 reductive effect Effects 0.000 description 8
- 230000017531 blood circulation Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 210000004379 membrane Anatomy 0.000 description 6
- 239000012528 membrane Substances 0.000 description 6
- 239000007787 solid Substances 0.000 description 6
- 208000034699 Vitreous floaters Diseases 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000000302 ischemic effect Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000001303 quality assessment method Methods 0.000 description 3
- 238000011002 quantification Methods 0.000 description 3
- 230000002792 vascular Effects 0.000 description 3
- 210000005166 vasculature Anatomy 0.000 description 3
- 241001408627 Agriopis marginaria Species 0.000 description 2
- 208000003098 Ganglion Cysts Diseases 0.000 description 2
- 244000178870 Lavandula angustifolia Species 0.000 description 2
- 235000010663 Lavandula angustifolia Nutrition 0.000 description 2
- 208000005400 Synovial Cyst Diseases 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 210000001775 bruch membrane Anatomy 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 238000013534 fluorescein angiography Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000001102 lavandula vera Substances 0.000 description 2
- 235000018219 lavender Nutrition 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000004126 nerve fiber Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000003583 retinal pigment epithelium Anatomy 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000000547 structure data Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010002329 Aneurysm Diseases 0.000 description 1
- 208000002177 Cataract Diseases 0.000 description 1
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 208000009857 Microaneurysm Diseases 0.000 description 1
- 206010027646 Miosis Diseases 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 102100035593 POU domain, class 2, transcription factor 1 Human genes 0.000 description 1
- 101710084414 POU domain, class 2, transcription factor 1 Proteins 0.000 description 1
- 206010053648 Vascular occlusion Diseases 0.000 description 1
- 208000000208 Wet Macular Degeneration Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 208000011325 dry age related macular degeneration Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000008187 granular material Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000011503 in vivo imaging Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001210 retinal vessel Anatomy 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 208000021331 vascular occlusion disease Diseases 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
OCT構造データおよび/またはOCTA機能データの品質指標を決定するためのシステム、方法、および/またはデバイスは、OCT/OCTAデータの1つまたは複数のスラブビューから抽出された複数の特徴マップの生成に基づいて、OCT/OCTAデータに対する単一の総合的な品質指標または品質マップ分布を提供するように訓練された機械学習モデルを使用する。抽出された特徴マップは、異なるテクスチャタイプのマップであってもよく、機械モデルは、テクスチャマップに基づいて品質指標を決定するように訓練される。
Description
本発明は、概して、光干渉断層撮影(OCT:optical coherence tomography )システムに関する。より具体的には、本発明は、OCTスキャン及びOCT血管造影スキャンの品質指標を決定して、品質マップを生成する方法に関する。
光干渉断層撮影(OCT)は、光波を使用して組織を貫通して、組織内の異なる深さにおける画像情報を生成する非侵襲的撮像技術である。基本的に、OCTシステムは、サンプルから反射された光と参照ビームとの干渉を検出することによって、OCTビームに沿ったサンプルの散乱プロファイルを決定して、サンプルの三次元(3D)表現を生成する干渉撮像システムである。深さ方向(例えば、z軸または軸方向)における各散乱プロファイルは、軸方向スキャンまたはAスキャンに個々に再構成され得る。断面スライス画像(例えば、二次元(2D)二等分スキャン、即ちBスキャン)およびボリューム画像(例えば、三次元(3D)キューブスキャン、即ちCスキャン)は、OCTビームが試料上の一組の横方向(例えば、x軸およびy軸)位置をスキャン/移動する際に取得される複数のAスキャンから構築され得る。また、OCTシステムは、組織ボリューム(例えば、眼の網膜等の、ターゲット組織スラブビュー(slab view)(サブボリューム)またはターゲット組織層(単数または複数))の選択部分の平面正面ビュー(例えば、en face)画像の構築を可能にする。
眼科の分野では、OCTシステムは、網膜組織の断面画像などの構造データを提供するために最初に開発されたが、今日では、フロー(流れ)情報などの機能情報も提供することができる。OCT構造データは、網膜の特徴的な組織層を観察することを可能にするが、OCT血管造影法(OCTA:OCT angiography)は、OCTシステムの機能を拡張して、網膜組織内の血流の存在または欠如も識別する(例えば、画像フォーマットでレンダリングする)。例えば、OCTAは、同じ網膜領域の複数のOCTスキャンにおける経時的な差(例えば、コントラスト差)を識別し、所定の基準を満たす差を血流として指定することによって、血流を識別し得る。OCTシステムによって生成されるデータ(例えば、OCTデータ)は、OCTシステムの機能に応じて、OCT構造データおよびOCTフローデータの両方を含むことができるが、説明を容易にするために、別段の記載がない限り、または文脈から理解される場合を除き、本明細書では、OCT構造データを「OCTデータ」と呼び、OCT血管造影(またはOCTフロー)データを「OCTAデータ」と呼ぶ。従って、OCTは構造情報を提供すると言うことができるが、OCTAはフロー(例えば、機能)情報を提供する。しかしながら、OCTデータ及びOCTAデータの両方が同じ1つまたは複数のOCTスキャンから抽出され得るため、「OCTスキャン」という用語は、別段の記載がない限り、OCT構造スキャン(例えば、OCT取得(acquisition))及び/又はOCT機能スキャン(例えば、OCTA取得)を含むものと理解され得る。OCTおよびOCTAのより詳細な説明が以下に提供される。
OCTAは、構造的OCTでは発見されない貴重な診断情報を提供するが、OCTAスキャンは、それらの品質が準最適となり得る取得上の問題を抱え得る。OCTスキャン品質を定量化する従来の試みは、非特許文献1に記載されているように、OCT構造データに焦点を当て、一般に信号強度測定に依存する。OCT構造データを評価するための信号強度測定は有用性を見出しているが、そのような手法は、導出されたフロー情報の品質がそのような定量化に含まれない多くの他の要因に依存するため、OCTAデータにおける使用が限定される。
結果として、OCTAスキャン品質は、特定のOCTA取得(例えば、OCTAスキャン)が診断のために使用され得るか又は広範な研究に含まれ得るかを決定するために、観察者によって主観的に決定されることが多い。この手法の例は、非特許文献2、非特許文献3、および非特許文献4に記載されている。しかしながら、これらの手法は極めて主観的であり、かつ時間がかかる。加えて、主観的品質は、しばしば、患者が診療所を出たときに、事後スキャンレビュー中に患者試験の後に評価され、これは、低品質データを置き換えるためにより良好な品質の追加スキャンを試みて取得することを不可能にし、データの損失または不確かな診断を引き起こす。患者がまだ診療所で受診している間に、取得中にOCTAスキャンの品質を能動的に判断することができるオペレータがいても、再スキャンのための、または後続の取得の品質を向上させるための客観的な品質カットオフ指標を確立するのに役立つ定量的な品質スコアを有する現在利用可能なガイダンスはない。
ディー.エム.シュテイン(D.M.Stein)他著、「光干渉断層撮影に関する新たな品質評価パラメータ(A new quality assessment parameter for optical coherence tomography)」、ブリティッシュ・ジャーナル・オブ・オフィサーモロジー(Br J.Ophthalmol)、2006年、第90巻、第186-190頁
タング エフワイ(Tang FY )他著、「糖尿病患者における定量的光干渉断層撮影血管造影メトリックの決定因子(Determinants of Quantitative Optical Coherence Tomography Angiography Metrics in Patients with Diabetes)」、サイエンティフィック・レポート(Scientific Reports)、2018年、8、第7314頁
アング エム(Ang M)他著、「コンタクトレンズ関連角膜血管の掃引光干渉断層撮影血管造影法(Swept Source Optical Coherence Tomography Angiography for Contact Lens Related Corneal Vascularization)」、ジャーナル・オブ・オフサルモロジー,2016(Journal of Ophthalmology,2016)、2016年、第9685297頁
ラウアーマン(Lauermann)他著、「加齢黄斑変性において視線追跡技術がOCT血管造影の撮像品質に与える影響(Impact of eye-tracking technology on OCT-angiography imaging quality in age related macular degeneration)」、グレフェス・アーカイブ・フォー・クリニカル・アンド・エクスペリメンタル・オフタルモロジー(Graefes Arch Clin Exp Ophthalmol)、2017年、255、第1535頁
本発明の目的は、OCT/OCTAデータの客観的な品質指標を提供するシステム/装置/方法を提供することである。
本発明の別の目的は、OCT/OCTAスキャンが不十分な品質であり、かつ再撮影する必要があり得ることを迅速に判定することを提供することである。
本発明の別の目的は、OCT/OCTAスキャンが不十分な品質であり、かつ再撮影する必要があり得ることを迅速に判定することを提供することである。
本発明のさらなる目的は、AスキャンごとにOCTAデータの品質指標を提供することである。
本発明の更に別の目的は、例えば、本システム/方法/デバイスによって決定されるような、不良な品質であり得るOCTAスキャンの部分を視覚的に識別する、OCTAデータの(例えば、2Dまたは3D)品質マップを提供することである。
本発明の更に別の目的は、例えば、本システム/方法/デバイスによって決定されるような、不良な品質であり得るOCTAスキャンの部分を視覚的に識別する、OCTAデータの(例えば、2Dまたは3D)品質マップを提供することである。
上記の目的は、低品質OCTスキャン(またはOCTスキャン(例えば、OCT構造スキャンおよび/またはOCTA機能スキャン)内の低品質の部分)を特定し、低品質の可能性のある源を特定し、後続のOCTスキャンを改善するための補正動作を推奨(または実施)するための方法/システム/デバイスにおいて達成される。加えて、OCTスキャンの品質マップも提供され得る。
例えば、本システム/方法/デバイスは、例えば、各en face位置(例えば、ピクセルまたはピクセル領域/ウィンドウ位置)におけるOCT/OCTA取得の品質を記述する、1つまたは複数の、例えば、2Dおよび/または3Dの定量的品質マップを提供し得る。結果として得られる1つまたは複数の品質マップは、対応するen face位置において取得から生成されたスラブにおいて観察される主観的品質指標(例えば、人間の試験者によって提供される)と良好に相関する。任意選択的に、品質マップ内の値を平均して、取得に関する総合的な品質(overall quality)スコアを提供することができ、これも主観的品質等級と良好に相関することが分かった。これは、OCT構造コンポーネントにおいて記録された総合的な信号強度をノイズベースラインと比較して測定値を決定する従来の品質評価手法とは対照的である。そのような従来の手法は、OCTAフローコンポーネントに関する信頼性のある品質値または場所特定の品質値を提供しない。添付の特許請求の範囲は、本発明をより詳細に説明する。
システム/方法/デバイスはまた、低品質の取得に関する1つまたは複数の可能性のある源/理由、または低品質の領域を特定および出力し得る。例えば、システム/方法/デバイスは、不正確な焦点合わせ、混濁(例えば、白内障または不透明媒質の浮遊物)、所定の閾値未満の照明(小さな瞳孔によって引き起こされ得るような)、追跡問題(瞬きに起因するような)等の低品質の取得の源を識別し、焦点を補正/調整すること、混濁を回避するために代替撮像角度を提案すること、瞳孔拡大の必要性を特定すること、および視線追跡の喪失の可能性のある理由を特定すること等の1つまたは複数の補正動作を提案し得る。この情報は、データ取得中にシステムのオペレータ(又はOCTシステム内の自動/半自動サブシステム)に推奨を提供するために使用することができ、この推奨は、より良好な画質を達成するための繰り返しスキャンの取得のために使用することができる。例えば、OCTシステムは、この情報を使用して、自動的に(または、システムのオペレータからのOK入力信号に応答などして半自動的に)推奨される1つまたは複数の補正動作を行って、後続のスキャン取得を改善することができる。
本発明のその他の目的及び達成事項は、本発明のより十分な理解と共に、添付の図面と併せて解釈される以下の説明と特許請求の範囲を参照することにより明らかとなり、理解されるであろう。
本発明の理解を容易にするために、本明細書においていくつかの刊行物を引用または参照している。本明細書で引用または参照される全ての刊行物は、参照によりその全体が本明細書に組み込まれる。
本明細書で開示される実施形態は例にすぎず、本開示の範囲はそれらに限定されない。1つの請求カテゴリ、例えばシステム、デバイスまたは方法において記載される何れの実施形態の特徴も、他の請求カテゴリ、例えばシステム、デバイスまたは方法においても特許請求できる。付属の請求項中の従属性又は後方参照は、形式的な理由のためにのみ選択されている。しかしながら、それ以前の請求項への慎重な後方参照から得られる何れの主題もまた特許請求でき、それによって請求項及びその特徴のあらゆる組合せが開示され、付属の特許請求の範囲の中で選択された従属性に関係なく、特許請求できる。
優先権主張出願である米国特許出願第63/119377号および第63/233033号は、少なくとも1つのカラー図面を含み、かつ参照により本明細書に組み込まれる。
図面において、同様の参照記号/文字は同様の部分を指す。
網膜フロースラブからピクセル単位のスライディングウィンドウを用いて250ミクロンの円形の周辺(circular vicinity)において抽出された一組のハラリック(Haralick)特徴を示す図である。
本発明による例示的な訓練スキームのワークフローの表現を提供する図である。
本発明による例示的な適用(または試験)段階のワークフローの表現を提供する図である。
例えば計算速度を増加させるために重複率を低減することの効果、および本ガウスフィルタリングの適用を示す図である。
本発明による、非数(NaN)値を埋めるための外挿を適用して品質マップに対して標準フィルタリング(例えば、品質マップの境界線に沿ってNaN値を埋めること)が行われた例示的な結果を提供し、品質マップは、網膜血管造影スラブ(例えば、en face画像)から得られる、図である。
1~5のスケールを使用してフロー画像の品質を等級付けするための様々な例示的なガイドラインを示す図である。
1~5のスケールを使用してフロー画像の品質を等級付けするための様々な例示的なガイドラインを示す図である。
1~5のスケールを使用してフロー画像の品質を等級付けするための様々な例示的なガイドラインを示す図である。
1~5のスケールを使用してフロー画像の品質を等級付けするための様々な例示的なガイドラインを示す図である。
1~5のスケールを使用してフロー画像の品質を等級付けするための様々な例示的なガイドラインを示す図である。
総合的に良好な品質のスキャンからの結果の第1の例(上の行、Gd1)、および総合的に不良な品質のスキャンからの結果の第2の例(下の行、Pr1)を示す図である。
特徴抽出(それぞれ、max_flow、avg_struc、max_struc、およびmin_stuc)のために使用される4つのスラブ71~74の例を、考慮される近傍のマーキング(白丸)とともに提供し、かつ結果として得られるターゲット品質マップ75を提供する図である。
図8Aは、2次多項式の使用による調整(補正)を適用する前の訓練データにおける予測値の結果のグラフを提供する図であり、図8Bは、2次多項式の調整/補正を適用した後の結果を提供する図である。
グラウンドトゥルースとしてみなされた場合の平均等級付け者(average expert graders)マップのスムージングの効果を示す図である。
図10Aは、平均等級付け者スコア値対訓練セット内の全ての画像の全てのピクセルに対する予測値の分析を表示し、横軸は、熟練した等級付け者による平均の所与のスコアを示し、縦軸は、訓練されたモデルによる予測スコアを表す図であり、図10Bは、不成功(failure)とみなされるものの閾値が訓練セット内の画像に対して変動するときの不成功事例のパーセンテージを提供し、不成功は、グラウンドトゥルースから1品質ポイントよりも高い偏差を有する画像の所与の比率(例えば、パーセンテージまたは分数)として定義される、図である。
網膜スラブ111と、3人の熟練した等級付け者から収集されたグラウンドトゥルース品質スコア112と、本アルゴリズムの品質等級付け結果113と、0~5のグレースケールでスケーリングされたグラウンドトゥルースとアルゴリズム品質マップとの間の差114と、グラウンドトゥルースおよびアルゴリズム品質マップからの偏差が1.0品質スコアよりも大きい領域115とを比較する例示的な結果を示す図である。
図12Aは、平均等級付け者スコア値対試験セット内の全6,500,000個のデータポイントの予測値のグラフであり、図12Bは、訓練セット内の画像に対する不成功とみなされるものの閾値が変動したときに遭遇する不成功事例のパーセンテージを表示し、不成功は、グラウンドトゥルースから1品質ポイントよりも高い計算された品質指標偏差を有する画像の所与の比率(例えば、パーセンテージまたは分数)として定義される、図である。
合格のためのこの20%の偏差の制限を前提として、許容可能であるとみなされた3つの画像の例示的な結果を示す図である。
同じ20%の偏差制限を前提として、分析された26個の画像から準最適とみなされた3つの画像の例を示す図である。
異なる3×3mmのOCTA取得(対で編成される)に関して第1の患者の右眼(左側の4個の画像)及び左眼(右側の4個の画像)から(本発明を使用して)生成/取得された品質マップの第1の例を示す図である。
異なる3×3mmのOCTA取得(対で編成される)に関して第2の患者の右眼(左側の4個の画像)及び左眼(右側の4個の画像)から取得された品質マップの第2の例を示す図である。
異なる視野(FOV)のOCTA取得(3×3mm、6×6mm、9×9mm、および12×12mm)に関して患者の右眼から得られた品質マップの例を示し、OCTA取得(対に編成される)は、図14と同様の方法で表示される、図である。
各人間の等級付け者からの許容可能な結果のパーセンテージと、グラウンドトゥルース試験データとして3人の人間の等級付け者の平均を使用するアルゴリズムとを提供する図である。
各等級付け者の注釈(グラウンドトゥルース試験データを確立するために使用されるものから順番に、別々に除去される)およびアルゴリズムの結果を、グラウンドトゥルース試験データとしての他の2人の残りの等級付け者の平均結果と比較することによって得られる許容可能な結果のパーセンテージを提供する図である。
本発明で使用するのに適した眼の3D画像データを収集するために使用される一般型周波数領域光干渉断層撮影システムを示す図である。
ヒトの眼の正常な網膜の例示的なOCT Bスキャン画像を示し、例示的に、種々の正規の網膜層および境界を識別する図である。
例示的なen face脈管画像を示す図である。
例示的なBスキャン血管画像を示す図である。
多層パーセプトロン(MLP)ニューラルネットワークの例を示す図である。
入力層、隠れ層、および出力層からなる簡略化されたニューラルネットワークを示す図である。
例示的な畳み込みニューラルネットワークアーキテクチャを示す図である。
例示的なU-Netアーキテクチャを示す図である。
例示的なコンピュータシステム(またはコンピューティングデバイス又はコンピュータ)を示す図である。
図面において、同様の参照記号/文字は同様の部分を指す。
光干渉断層撮影(OCT)システムスキャンは、取得/スキャン品質に悪影響を及ぼし得る取得上の問題を抱え得る。そのような問題は、とりわけ、不正確な焦点合わせ、不透明媒質の浮遊物の存在、低照度(例えば、0~10のスケールで6未満の信号強度)、低光透過(例えば、ターゲット透過値の半分未満、または5μm未満)、追跡/運動アーチファクト、および/または高ノイズ(例えば、所定の閾値を上回る二乗平均平方根ノイズ値)の存在を含み得る。これらの問題は、Bスキャンまたはen faceビュー(例えば、スラブの形態で)で示されるようなOCTシステムデータの品質に悪影響を及ぼし得るとともに、セグメンテーション技法または血管密度定量化技法など、OCTシステムデータに適用されるデータ抽出(または画像処理)技法またはアルゴリズムの精度に悪影響を及ぼし得る。従って、低品質OCTシステムデータ、特にOCTAデータは、正確な診断を困難にする可能性がある。従って、スキャンの実現可能性または有用性を迅速に決定するために、取得されたOCT/OCTAスキャンの品質を定量的に評価する必要がある。
OCT構造データの品質は、典型的には、総合的な信号強度値に基づいて決定される。典型的には、総合的な信号強度値が所定の閾値未満である場合、OCT構造スキャン全体は不良である、例えばスキャンが不成功であったとみなされる。従って、信号強度に基づく品質指標は、ボリューム視野(FOV)全体に対して単一の品質値/指標を提供する(例えば、出力する)だけであり、この手法は、例えば、構造情報がスキャン位置ごとに異なるen face画像の品質を評価しようとする場合に適合するような信頼できる方法ではない。この手法はまた、構造的情報ではなく機能的なフロー情報を提供するOCTA取得の品質を評価するのに特に適していない。従って、出願人は、OCTAスキャンにおけるフロー情報の品質を、スキャンごとの一意の値として、または品質マップの形態で、自動的かつ定量的に評価する商業的に利用可能な方法が存在していないと理解している。
本明細書では、取得全体にわたって(例えば、所望のFOVにわたって)品質指標が変化し得るOCTシステムデータに対する品質マップを生成するためのシステム及び方法が提供される。本説明のいくつかの部分は、OCT構造データまたはOCTAフローデータの一方または他方に適用されるものとして本発明を説明する場合があるが、別段の記載がない限り、本発明の説明は、OCT構造データまたはOCTAフローデータの他方にも適用され得ることを理解されたい。
本発明は、OCTシステムデータ内の複数の画像品質場所/位置の各々における(例えば、各スキャン位置(例えば、各Aスキャン位置)または複数のAスキャン位置にわたる各品質測定ウィンドウ場所(またはピクセルの近傍(pixel neighborhood))における)OCTシステムデータの相対品質を定量的に測定するためのシステムおよび方法を提供する。本品質評価手法は、任意のOCTシステムデータビューイング/撮像技術(例えば、en face画像、Aスキャン画像、Bスキャン画像、および/またはCスキャン画像)に適用され得るが、説明を容易にするために、本手法は、本明細書では、(特に明記しない限り)主にen face画像に適用されるものとして説明されるが、同じ(または当業者によって理解されるような実質的に同様の)手法/技術が任意の他のOCTシステムデータビューイング/撮像技術(例えば、Aスキャン画像、Bスキャン画像、および/またはCスキャン画像)に適用され得ることは理解される。
本システム/方法は、各画質場所の周辺、例えば、各en face位置(例えば、ピクセルウィンドウまたは画質ウィンドウまたはピクセルの近傍)におけるOCT/OCTAデータの一組のテクスチャ特性を評価し、スキャン品質と相関する定量的品質スコアを場所(および/または周辺)に割り当て得る。en face画像の場合、結果は、画像品質を示すカラーコード(またはグレースケールコード)の使用などによって、各en face位置でのスキャンの品質を記述する二次元品質マップである。
この品質マップは、そのFOVにわたる個々のスキャンの品質を判断/決定/計算するために、各en face位置における同じ対象のいくつかの取得(例えば、OCTシステムスキャン取得)間の品質の差を定量化するために、および/または品質マップ値を平均化するなどによって各取得に対する総合的な品質メトリック(例えば、指標)を提供するために使用され得る。以下でより詳細に説明するように、OCTAフローデータは、同じ組織(例えば、網膜)領域の複数のOCTスキャン(又は取得)における経時的なコントラスト差を特定することによって決定され得る。本品質マップ技術は、OCTAフロー画像を定義するために使用される個々のOCTスキャンに対して決定されてもよく、個々のOCTスキャンの品質マップは、それらが定義するOCTAフロー画像に対する品質マップを定義するために平均化され得る。代替的に又は追加的に、本品質マップ技術は、(複数のOCTスキャンからのコントラスト情報又は他のフロー表示データに基づき得る)定義されたOCTAフローデータ又は画像に直接適用され得る。任意選択的に、この直接的に決定されたOCTA品質マップはまた、OCTAフローデータ/画像が定義される個々のOCTスキャンの品質マップと組み合わされ得る(例えば、加重平均、例えば、直接的に決定されたOCTA品質マップに対して等しく重み付けされるか又はより重く重み付けされる)。
いずれにしても、定義された品質マップ(又は取得の総合的な品質指標)は、取得が低品質であり、スキャン(例えば、OCTスキャン又はOCTAスキャン)を再撮影する必要がある時期を決定するための重要な情報をOCTシステムのオペレータに提供し得る。本システムはさらに、低品質の1つまたは複数の可能性のある原因を特定し、後続の取得においてより良好な品質のスキャンを得ることを目的とした提案を(例えば、システムのオペレータに、またはOCTシステムの自動化/準自動化サブシステムに)出力し得る。例えば、品質マップ(または総合的な指標)は、自動システムにおいて使用され得、自動システムは、品質マップが、取得内の少なくとも所定のターゲット網膜領域(例えば、所定の関心領域、ROI)が所定の品質指標閾値を下回ることを示す場合、または取得の総合的な指標が所定の総合的品質指標閾値を下回る場合、別の取得が必要であると判定する。次いで、自動化システムは、自動的に、またはシステムのオペレータからの承認入力信号に応答して、別の取得を開始し得る。本システムはさらに、取得品質を改善するための1つまたは複数の補正手段(動作)を特定し、別の取得を開始する前に、特定された補正手段のうちの1つまたは複数を自動的に行い得る。代替的に又は追加的に、同じ網膜領域の複数の取得の品質マップ(例えば、OCTA品質マップ)が互いに比較されてもよく、個々の品質マップ(例えば、ピクセル単位又はウィンドウ単位)から決定される複数の取得の最良品質(又はより高品質)部分/領域が合成されて、個々の取得(OCT取得及び/又はOCTA取得)の各々よりも高い総合的な品質の合成取得を定義し得る。
本発明の特定の実施形態は、en faceレベルでのOCTA取得に適用される。本実施形態は、各en face位置におけるOCTA取得(スキャン)の品質を記述する2D定量マップを生成する。この技術は、まず、OCTAボリュームから取得されたスラブ視覚化(例えば、en face画像)におけるピクセルの近傍から画像テクスチャ(image texture)及び他の特性に関連する一組の特徴を抽出する。特徴は、異なるピクセルの近傍に対して抽出され、スライディングウィンドウ手法で近傍に割り当てられる。例えば、ウィンドウは、任意の形状(例えば、矩形、円形等)であり得るとともに、所定数のピクセル(例えば、3×3ピクセルウィンドウ)を包含し得る。各ウィンドウ位置において、特徴は、ウィンドウ内の複数の(例えば、全ての)ピクセルからの情報を使用して、ウィンドウ内のターゲットピクセル(例えば、中心ピクセル)に対して決定され得る。ターゲット(例えば、中心)ピクセルに対する特徴が決定されると、ウィンドウは、1つ(または複数)のピクセル位置に移動されて、新たなウィンドウ位置内の別のピクセル(例えば、新たな中心ピクセル)に対する新たな特徴が決定され得る。結果は、各々が各en face位置における異なる画像特性を記述する一組の二次元特徴マップである。これらの特徴は、手作業で作成する(例えば、強度、エネルギー、エントロピー)か、または深層学習手法(または他の機械学習もしくは人工知能技法)を使用して訓練の結果として学習することができる。機械学習技法の例は、人工ニューラルネットワーク、決定木、サポートベクトルマシン、回帰分析、ベイジアンネットワークなどを含み得る。一般に、機械学習技法は、1つまたは複数の訓練段階と、それに続く1つまたは複数の試験または適用段階とを含む。本発明と共に使用され得るようなニューラルネットワークのより詳細な説明が以下に提供される。
本機械学習方法の1つまたは複数の訓練段階において、一組の訓練OCTA取得から得られた複数のセットの二次元特徴マップは、同じ一組の取得に対して(人間の)熟練した等級付け者によって手作業で以前に提供された品質スコアに対応する出力を有するモデルを生成するために、機械学習手法または深層学習手法において結合される。加えて、モデルはまた、不正確な焦点合わせ、低照明または低光透過、追跡/運動アーチファクト等のような、画像から推定され得る、以前に注釈を付けられた共通取得問題を示すように訓練することができる。
試験段階または適用段階では、訓練段階からの学習済みのモデルは、出力として1つまたは複数の2D品質マップを生成するために、未知データ(例えば、訓練段階で使用されていないデータ)から取得された一組の二次元特徴マップに適用される。個々の品質指標(または、個々のサブ領域内の個々の品質指標を平均化するなどによって、2D品質マップの1つまたは複数のサブ領域(例えば、小領域/部分)の合成された品質指標)は、所望の品質閾値を下回るスキャン内の領域を識別するために、予め定義された最小品質閾値と比較され得る。代替的にまたは追加的に、1つまたは複数の2D品質マップ内の値を1つまたは複数のマップにわたって平均して、総合的な品質スコアを生成することもできる。さらに、モデルが画像内の可能性のある取得問題を示すように訓練された場合、特徴マップを使用して、未知の試験画像内にそのような情報を提供することもできる。以下に、このプロセスの様々な構成要素のより詳細な説明を提供する。
特徴マップの抽出
OCTAキューブから単数のen face画像(又はスラブ)又はN個の複数のen face画像が生成される。これらのen face画像の各々は、一組のM個の特徴マップを生成するために分析される。これらの特徴マップは、各en face位置の所与の周辺(例えば、ウィンドウまたはピクセルの近傍)における既知の手作業による画像特性(例えば、勾配、エントロピー、またはテクスチャ)から設計することができ、または上述したように深層学習(または他の機械学習)手法における中間層の結果とすることができる。結果は、各OCTA取得に対する一組のN×Mの特徴マップである。
OCTAキューブから単数のen face画像(又はスラブ)又はN個の複数のen face画像が生成される。これらのen face画像の各々は、一組のM個の特徴マップを生成するために分析される。これらの特徴マップは、各en face位置の所与の周辺(例えば、ウィンドウまたはピクセルの近傍)における既知の手作業による画像特性(例えば、勾配、エントロピー、またはテクスチャ)から設計することができ、または上述したように深層学習(または他の機械学習)手法における中間層の結果とすることができる。結果は、各OCTA取得に対する一組のN×Mの特徴マップである。
各手作業の画像特性(または深層学習手法からの抽象特性)および生成されたスラブに関して、スラブと同じサイズを有する一組からの単一のマップが、スライディングウィンドウ手法を考慮して生成され、ここで、各ピクセルの周辺は、固有の特性値(例えば、1つまたは複数のハラリック特徴などのテクスチャ値)を生成するものとみなされる。このような特性値は、マップ内のピクセルの周辺(pixel vicinity)に割り当てられる。スライディングウィンドウが移動するにつれて、スラブ内の異なるピクセル位置を中心として、各周辺における結果値は、その周辺に対して算出された値を考慮して平均化される。周辺は、矩形の近傍または円形の近傍など、用途に応じて異なる様式で定義することができる。同様に、スライディングウィンドウ手法における近傍および重複の範囲は、用途に応じて定義することができる。例えば、図1は、矢印15によって示されるように、網膜フロースラブ13からピクセル単位のスライディングウィンドウ11を用いて250ミクロンの円形の周辺において抽出された一組の22個のハラリック特徴H1~H22を示す。ハラリック特徴またはハラリックテクスチャ特徴は、マトリクス領域または画像領域からテクスチャ特徴を抽出する周知の数学的方法である。ハラリック特徴のより詳細な説明は、ロバート エム. ハラリック(Robert M. Haralick)による「テクスチャに対する統計的・構造的アプローチ(Statistical and structural approaches to texture)」、IEEEの議事録(Proc. IEEE)、第67巻、第5号、第786-804頁、1979年に記載されており、参照によりその全体が本明細書に組み込まれる。
訓練段階
図2は、本発明による例示的な訓練スキームのワークフローの表現を提供する。本例は、K個の訓練OCTA取得(スキャン)サンプルA1~AKを示す。各取得に対して、N個のスラブ(例えば、en face画像)23が生成され得る。N個のスラブ23の各々に対して、M個の特徴マップ25(例えば、図1に示されるようなハラリック特徴)が定義され得る。本例は、OCTA取得に単一の総合的な(例えば、品質)スコア値を与えるオーバーオールスコア(overall-score)手法を使用して訓練することができ、かつ/又はOCTA取得を複数の領域(例えば、P個の異なる領域)に分割して、各領域に個々の(例えば、品質)スコアを与える領域ベースのスコア手法を使用して訓練することができる。訓練ベクトルがどのように定義されるかは、オーバーオールスコア手法が使用されるか、領域ベースのスコア手法が使用されるかに依存し得る。いずれにしても、説明の目的で、各OCTA取得に対する1つまたは複数の訓練ベクトルは、本明細書では「事例(case)」と呼ぶ。その結果、図2は、OCTA取得A1~AKに1つずつの、K個の事例(例えば、事例1~事例K)を示す。任意選択的に、矢印29によって示されるように、追加のラベリング27(例えば、総合的な品質、セクタ品質、画像もしくは生理学的特性または他の識別特性など)を特徴マップと組み合わせて、対応する事例を定義することができる。事例1~事例Kは、次いで、生成モデル33を出力するモデル訓練モジュール31に提供され得る。
図2は、本発明による例示的な訓練スキームのワークフローの表現を提供する。本例は、K個の訓練OCTA取得(スキャン)サンプルA1~AKを示す。各取得に対して、N個のスラブ(例えば、en face画像)23が生成され得る。N個のスラブ23の各々に対して、M個の特徴マップ25(例えば、図1に示されるようなハラリック特徴)が定義され得る。本例は、OCTA取得に単一の総合的な(例えば、品質)スコア値を与えるオーバーオールスコア(overall-score)手法を使用して訓練することができ、かつ/又はOCTA取得を複数の領域(例えば、P個の異なる領域)に分割して、各領域に個々の(例えば、品質)スコアを与える領域ベースのスコア手法を使用して訓練することができる。訓練ベクトルがどのように定義されるかは、オーバーオールスコア手法が使用されるか、領域ベースのスコア手法が使用されるかに依存し得る。いずれにしても、説明の目的で、各OCTA取得に対する1つまたは複数の訓練ベクトルは、本明細書では「事例(case)」と呼ぶ。その結果、図2は、OCTA取得A1~AKに1つずつの、K個の事例(例えば、事例1~事例K)を示す。任意選択的に、矢印29によって示されるように、追加のラベリング27(例えば、総合的な品質、セクタ品質、画像もしくは生理学的特性または他の識別特性など)を特徴マップと組み合わせて、対応する事例を定義することができる。事例1~事例Kは、次いで、生成モデル33を出力するモデル訓練モジュール31に提供され得る。
要約すると、訓練は、OCTAスキャンの全体に与えられる総合的な品質スコア及び/又は情報スコア、及び/又はOCTAスキャンの特定の領域に与えられる領域ベースのスコアを用いて行うことができる。例えば、総合的なスコアが提供される場合(例えば、OCTA取得毎に)、各特徴マップの平均値(または任意の他の集約関数)を個々の単一値を提供するために使用することができる。この場合、単一のOCTA取得(例えば、A1)から、訓練(例えば、訓練入力)で使用するための単一のN×M特徴ベクトルと、訓練結果値(例えば、訓練ターゲット出力)としての所定の総合的な値とを生成し得る。代替的に、領域ベースのスコアが各取得に対して提供される場合、(例えば、領域ごとの)各特徴マップの平均値(または任意の他の集約関数)を訓練のために使用して、複数の訓練インスタンスを生成することができる。
この場合、OCTA取得/スキャンがP個の異なる領域において等級付けされる場合、これは、訓練するためのP個のN×M特徴ベクトル[f1~fP]と、訓練結果値(例えば、訓練ターゲット出力)としてのP個の対応する値とを構成する。この手法は、訓練段階に関する異なるラベル付けに対して対応でき、各取得の全体に対する複数の総合的なスコアを用いて訓練する場合であっても対応することができる。これは、複数の画像を総合的なスコアで等級付けすることができるので、訓練データの収集が加速される。
より高次の多項式による予測スコアの調整
本発明に従って使用するためのアルゴリズムを訓練するために使用されるモデルおよびデータに応じて、生成品質スコアに追加の調整を適用することができる。例えば、(線形回帰のような)フィッティングされた重みを有する特徴の組合せに基づいて品質を記述するために線形モデルを使用することは、主観的方法スコアに適切に従わない場合があり、調整を必要とする場合がある。即ち、スコア1と2との間の量的な差が、スコア2と3との間の差と同じであるという保証はない。加えて、いくつかの特定のスコアが他のスコアよりも多く表される訓練データを使用することは、アンバランスなモデルをもたらし得、これは、所与のスコアに対して調整されたより良好な結果を生成する一方で、他のスコアに対してより大きい誤差を有し得る。この挙動を軽減する1つの方法は、モデルを訓練するために最初に考慮/使用された多項式よりもより高次の多項式を使用して、モデルによる予測スコアの追加の調整またはフィッティングを所与のターゲットスコアに対して追加することによるものである。例えば、アルゴリズムを訓練するために線形モデルを使用する場合、二次多項式を考慮して、ターゲットデータをより良く表すように予測スコアを調整することができる。(例えば、線形モデルに適用されるような)そのような調整の例が、以下に提供される。
本発明に従って使用するためのアルゴリズムを訓練するために使用されるモデルおよびデータに応じて、生成品質スコアに追加の調整を適用することができる。例えば、(線形回帰のような)フィッティングされた重みを有する特徴の組合せに基づいて品質を記述するために線形モデルを使用することは、主観的方法スコアに適切に従わない場合があり、調整を必要とする場合がある。即ち、スコア1と2との間の量的な差が、スコア2と3との間の差と同じであるという保証はない。加えて、いくつかの特定のスコアが他のスコアよりも多く表される訓練データを使用することは、アンバランスなモデルをもたらし得、これは、所与のスコアに対して調整されたより良好な結果を生成する一方で、他のスコアに対してより大きい誤差を有し得る。この挙動を軽減する1つの方法は、モデルを訓練するために最初に考慮/使用された多項式よりもより高次の多項式を使用して、モデルによる予測スコアの追加の調整またはフィッティングを所与のターゲットスコアに対して追加することによるものである。例えば、アルゴリズムを訓練するために線形モデルを使用する場合、二次多項式を考慮して、ターゲットデータをより良く表すように予測スコアを調整することができる。(例えば、線形モデルに適用されるような)そのような調整の例が、以下に提供される。
適用段階
図3は、本発明による例示的な適用(または試験)段階のワークフローの表現を提供する。図2の訓練段階と同様に、適用段階において、対応するスラブ41及び特徴マップ43は、訓練段階において以前に未知の/未使用のサンプルOCTA取得45から抽出される。ブロック47によって示されるように、訓練段階(図2に示される)から得られた生成モデル33は、スライディングウィンドウ手法で特徴マップ43の所与のピクセルの周辺に適用され、各ピクセルの周辺に対する結果値を生成し得る。スライディングウィンドウが移動するにつれて、特徴マップの異なるピクセル位置を中心として、各周辺における結果値は、周辺に対して算出された値を考慮して平均化される。結果は、OCTA取得45の各en face位置に関して、血管造影品質(又はモデルが特徴付けるように設計された任意の他の特性または情報)を示す品質マップ49などのマップである。結果マップ49内の値は(例えば、平均化することによって)集約されて、取得45に対する総合的な値(例えば、品質スコア値)を提供することができる。
図3は、本発明による例示的な適用(または試験)段階のワークフローの表現を提供する。図2の訓練段階と同様に、適用段階において、対応するスラブ41及び特徴マップ43は、訓練段階において以前に未知の/未使用のサンプルOCTA取得45から抽出される。ブロック47によって示されるように、訓練段階(図2に示される)から得られた生成モデル33は、スライディングウィンドウ手法で特徴マップ43の所与のピクセルの周辺に適用され、各ピクセルの周辺に対する結果値を生成し得る。スライディングウィンドウが移動するにつれて、特徴マップの異なるピクセル位置を中心として、各周辺における結果値は、周辺に対して算出された値を考慮して平均化される。結果は、OCTA取得45の各en face位置に関して、血管造影品質(又はモデルが特徴付けるように設計された任意の他の特性または情報)を示す品質マップ49などのマップである。結果マップ49内の値は(例えば、平均化することによって)集約されて、取得45に対する総合的な値(例えば、品質スコア値)を提供することができる。
後処理
テクスチャの周辺を使用して、W×H(幅×高さ)次元の結果として生じる品質マップ内の単一ピクセルの品質を予測する場合、完全なマップを生成するために、合計W×H個の周辺を評価する必要がある。このプロセスは、スライディングウィンドウ手法において適用され得るが、特徴抽出プロセスおよびモデル予測の計算コストが高いため、ウィンドウをピクセル単位でスライドさせるのに最適な時間/所望の時間よりも長い時間がかかり得る。このプロセスを加速するために、考慮される周辺において所与の重複を有し、かつ重複する周辺において平均値を有するように、スライディングウィンドウを定義し得る。より高速な計算のためには周辺間の重複がより小さいことが望ましいが、これは、重複が小さすぎる場合に、突然の遷移を有するぼやけた画像(pixelated images)が生じる可能性がある。これを補正するために、生成品質マップのガウスフィルタリングを使用/適用することができる。より低い重複率を有するより大きな周辺は、より積極的なフィルタリングを必要とし得るため、このガウスフィルタリングは、最小の画像破損を有する視覚的に満足のいく結果を生成し得るように、定義された周辺サイズおよび周辺間の重複率に適合され得る。例示的なフィルタリングパラメータは、以下のように定義することができる。
テクスチャの周辺を使用して、W×H(幅×高さ)次元の結果として生じる品質マップ内の単一ピクセルの品質を予測する場合、完全なマップを生成するために、合計W×H個の周辺を評価する必要がある。このプロセスは、スライディングウィンドウ手法において適用され得るが、特徴抽出プロセスおよびモデル予測の計算コストが高いため、ウィンドウをピクセル単位でスライドさせるのに最適な時間/所望の時間よりも長い時間がかかり得る。このプロセスを加速するために、考慮される周辺において所与の重複を有し、かつ重複する周辺において平均値を有するように、スライディングウィンドウを定義し得る。より高速な計算のためには周辺間の重複がより小さいことが望ましいが、これは、重複が小さすぎる場合に、突然の遷移を有するぼやけた画像(pixelated images)が生じる可能性がある。これを補正するために、生成品質マップのガウスフィルタリングを使用/適用することができる。より低い重複率を有するより大きな周辺は、より積極的なフィルタリングを必要とし得るため、このガウスフィルタリングは、最小の画像破損を有する視覚的に満足のいく結果を生成し得るように、定義された周辺サイズおよび周辺間の重複率に適合され得る。例示的なフィルタリングパラメータは、以下のように定義することができる。
図4は、例えば計算速度を増加させるために重複率を低減することの効果、および本ガウスフィルタリングの適用を示す。ボックスB1は、95%重複から50%重複までの重複率の例に関して、フィルタリング前の所与の入力画像についてのカラー品質マップおよび/またはグレースケール品質マップ結果の両方を提供する。ボックスB2は、ガウスフィルタリングを適用した後の同じ品質マップのカラーマップおよび/またはグレースケールマップを提供する。見て分かるように、重複率を減少させることは、フィルタリングの前に画像内の周辺間でよりぼやけた突然の挙動を生成するが、この影響は、適切なフィルタリングの適用によって低減され得る一方で、依然として、使用されるより高い重複率と実質的に同様の結果を生成する。例えば、フィルタリング後、50%の重複を有する品質マップと85%または95%の重複を有する品質マップとの間には、ほとんど差がない。
図4はさらに、スライディングウィンドウ手法の制限の1つが、円形の近傍を使用する場合に、全ての画像の境界位置が評価されないことを示す。この理由は、円形の近傍の全てが、所与の半径および重複率を有する近傍を割り振ることが可能ではないからである。この問題は、情報のない領域(例えば、「非数」または「NaN」)をフィルタリングプロセスに含めることができないため、ガウスフィルタリングを適用するときに、より明らかになり得る。この影響は、ガウスフィルタリングが適切な重み付けを有するNaNピクセルを無視するようにガウスフィルタリングを適用すること、および/またはそのようなNaNピクセルにおける値を生成するために外挿することによって除去され得る。これは、以下のステップによって達成することができる。
1)全てのピクセルの値が1である、品質マップと同じサイズのマップImg1を定義する。
2)フィルタリングされていない品質マップ内およびImg1内の全てのNaN位置を値0に置き換える。
2)フィルタリングされていない品質マップ内およびImg1内の全てのNaN位置を値0に置き換える。
3)ガウスフィルタリングをImg1に適用する。
4)フィルタリングされていない品質マップにガウスフィルタリングを適用する。
5)ステップ4の結果をステップ3の結果で除算する。
比較のために、図5は、NaN値の上記外挿を適用して網膜血管造影スラブ(en face画像)55から得られた品質マップに標準フィルタリング53(例えば、カラーまたはグレースケール)が行われた例示的な結果51(例えば、カラーまたはグレースケール)を提供する。この演算の結果は、NaN位置において正確に外挿された値を有するフィルタリングされたマップ51(例えば、カラーまたはグレースケール)である。
4)フィルタリングされていない品質マップにガウスフィルタリングを適用する。
5)ステップ4の結果をステップ3の結果で除算する。
比較のために、図5は、NaN値の上記外挿を適用して網膜血管造影スラブ(en face画像)55から得られた品質マップに標準フィルタリング53(例えば、カラーまたはグレースケール)が行われた例示的な結果51(例えば、カラーまたはグレースケール)を提供する。この演算の結果は、NaN位置において正確に外挿された値を有するフィルタリングされたマップ51(例えば、カラーまたはグレースケール)である。
訓練方式
網膜フローOCTAスラブにおける主観的血管造影品質を特徴付けるためにモデルを訓練及び試験するための例が本明細書で提供される。モデルは、複数の取得(例えば、各スキャンが6×6mmのOCTAスキャンである72個又は250個のOCTAスキャン)から収集された網膜フロースラブ上で訓練された。
網膜フローOCTAスラブにおける主観的血管造影品質を特徴付けるためにモデルを訓練及び試験するための例が本明細書で提供される。モデルは、複数の取得(例えば、各スキャンが6×6mmのOCTAスキャンである72個又は250個のOCTAスキャン)から収集された網膜フロースラブ上で訓練された。
収集された注釈
(例えば、人間の)等級付け者のグループが、例えば、数値等級付けスケールを使用して、en faceスラブ内の各ピクセル位置における各取得を独立して等級付けする。例えば、各等級付け者は、等級付けスケールを使用して各領域の個々の品質に従って各スラブ内の異なる領域を把握し得る。数値等級付けスケールは、1~5の範囲の品質値から構成されてもよく、1は最悪の品質(使用不可能なデータ)を示してもよく、5は最良の品質(最適)を示してもよい。図6A~図6Eは、1~5等級のスケールを使用してフロー画像の品質を等級付けするための様々な例示的なガイドライン(または等級付けの例)を示す。手作業の等級出力はまた、フロー品質アルゴリズムにおけるハラリック係数の1つまたは複数の重みを定義するために使用され得る。
(例えば、人間の)等級付け者のグループが、例えば、数値等級付けスケールを使用して、en faceスラブ内の各ピクセル位置における各取得を独立して等級付けする。例えば、各等級付け者は、等級付けスケールを使用して各領域の個々の品質に従って各スラブ内の異なる領域を把握し得る。数値等級付けスケールは、1~5の範囲の品質値から構成されてもよく、1は最悪の品質(使用不可能なデータ)を示してもよく、5は最良の品質(最適)を示してもよい。図6A~図6Eは、1~5等級のスケールを使用してフロー画像の品質を等級付けするための様々な例示的なガイドライン(または等級付けの例)を示す。手作業の等級出力はまた、フロー品質アルゴリズムにおけるハラリック係数の1つまたは複数の重みを定義するために使用され得る。
図6Aは、1~5の品質等級付けスケールを使用して、en faceフロー画像61の異なる領域に個々の品質等級を割り当てる一般的な品質等級付けの第1の例である。説明を容易にするために、各領域は、その等級値および対応する色分けされたまたはラインパターンまたは輝度強度境界線によって識別される。例えば、青色または黒色実線の境界線は等級1に対応し、赤色または灰色実線の境界線は等級2に対応し、緑色または長い破線の境界線は等級3に対応し、ラベンダー色または短い破線の境界線は等級4に対応し、黄色または点線の境界線は等級5に対応する。本例では、等級5(黄色/点線の境界線領域)は、(例えば、人間の)熟練した等級付け者によって決定されるように、優れた輝度およびコントラストを有する最高品質の画像領域を識別する。等級5の領域は、優れた輝度および/またはコントラストを示し、毛細血管は非常によく描出されており、等級付け者は毛細血管をたどることができる。等級付け者の評価では、等級5の領域は、達成可能な最良の画像品質の例とされる。等級4(ラベンダー色/短い破線領域)は、(等級5領域と比較して)低減された輝度および/またはコントラストの画像領域を特定するが、等級付け者は、依然として毛細血管を非常に良好にたどることができる。等級3(緑色/長い破線領域)は、等級4よりも低い品質であるが、等級付け者は、いくつかの不連続性を有する毛細血管の存在を依然として推定する(infer)(または推測する(guess))ことができる。従って、等級3の領域内では、等級付け者はいくつかの毛細血管を見落とす可能性がある。等級2の領域(赤色/灰色実線の領域)は、等級3よりも品質が低く、等級付け者が大血管間の何らかのシグナルを確認することができるが、毛細血管が解像されない領域を定義する。等級2の領域内では、毛細血管間のいくつかの領域が誤って虚血として見える可能性がある。等級1の領域(青色/黒色実線の領域)では、内容が消失しており、等級付け者は、これらの領域を使用不可であるとみなす。
図6Bは、図6Aの構成要素と同様の構成要素が同様の参照符号を有し、かつ上記で定義されている第2の例を提供する。図6Bは、浮遊物(飛蚊症(floaters))などによる画質に対するアーチファクトの影響を示す。本実施例では、浮遊物は、そのようなアーチファクトが同じ領域の他のスキャンに存在しないことに留意することによって識別される。
アルゴリズムを訓練するために使用され得るより正確な注釈を提供するために、網膜スラブの特定の領域は、特定の注釈指示を有する必要があり得る。例えば、中心窩領域は典型的に無血管であるため、毛細血管の可視性を判断することはより困難であり得る。以下は、en faceフロー画像を3つの関心領域に分割した例であり、3つの関心領域は、血管の特徴の違いを考慮した等級付け基準を定義するために別々に検討されたものである。図6Cは、等級付けのための中心窩無血管ゾーン(FAZ)の使用を示し、図6Dは、等級付けのための鼻腔セクタの使用を示し、図6Eは、等級付けのための画像の残りの部分の使用を示す。
図6Cにおいて、等級5は、ここでも、優れた輝度および/またはコントラストを有する最良の画像品質を示す。これらの領域内では、等級付け者は、困難も躊躇もなくFAZの輪郭をたどることができる。等級4の領域は、輝度および/またはコントラストが低下しているが、等級付け者は依然としてFAZを追跡することができる。等級3の領域では、毛細血管に焦点が合っており、等級付け者は、いくつかの明らかな不連続性を伴ってFAZの輪郭をたどることができる。この領域内では、毛細血管を見落とす可能性がある。等級2の領域では、弱いシグナルがFAZの一部を妨害し、いくつかの毛細血管は焦点が外れて見える。前述のように、等級1の領域は使用不能であり、FAZの内容の少なくとも一部が消失している。
図6Dの鼻腔セクタの等級付けの例では、等級5は、優れた輝度および/またはコントラストを有する最良の画像品質を示す。等級5の領域では、網膜神経線維層(RNFL)は非常に良好に輪郭が描かれており、等級付け者は困難なくRNFLをたどることができる。等級4の領域はコントラストが低下しているが、RNFLパターンは依然として認識することができる。等級3の領域では、等級付け者は、いくつかの不連続性はあるが、RNFLの存在を推定する(推測する)ことができる。この領域内では、等級付け者は、RNFL毛細血管が存在すると推定することができるが、個々の毛細血管を追跡することは困難であり得る。等級2は、等級付け者が大血管の間にいくらかのシグナルを観察することができるが、RNFLを解像することができない領域を示す。等級2の領域内では、一部の領域が誤って虚血に見える可能性がある。等級1の領域は使用不可であるとみなされる。等級1の領域内では、中型血管はぼやけて見える場合があり、内容は概して消失して見える。
図6Eにおいて、等級5は、優れた輝度および/またはコントラストを有する最良の品質の領域を示し、毛細血管は容易にたどることができる輪郭が非常に良好に描かれている。等級4は、毛細血管の存在を推測することができるが毛細血管をたどることができない領域である等級3と比較して、毛細血管を依然として追跡することができ、かつ毛細血管をより高い密度で確認することができるコントラストが低下した領域である。それにもかかわらず、等級3では、細い血管枝に焦点が合っている(小動脈枝および小静脈枝に焦点が合っている)が、毛細血管の細部は消失している。等級2は、大血管間のいくらかのシグナルが依然として見られ得るが、毛細血管が解像されない領域を特定する。等級2の領域内では、細い血管はわずかに焦点が合っていないように見える場合があり、毛細血管間のいくつかの領域が(例えば、浮遊物の存在により)誤って虚血しているように見える場合がある。等級1は、使用不可である領域を示し、典型的には大血管がぼやけて見えるとともに、内容が消失している。
上記の等級付けの例を使用して、等級付け者の注釈は、例えば、当技術分野で既知であるように、ImageJプラグインなどのフリーハンド描画ツールを使用して収集され得る。等級付け者は、スラブ視野全体を注釈付き領域でカバーすることを目標として、任意の形状を使用して領域の品質に従ってスラブの領域を描画し、かつラベル付けすることができる。品質マップモデルを訓練するときにターゲット結果値として使用され得る平均の手作業品質マップを生成するために、異なる等級付け者から収集された注釈が平均化され得る。
図6Fは、総合的に良好な品質のスキャンからの結果の第1の例(上の行、Gd1)、および総合的に不良な品質のスキャンからの結果の第2の例(下の行、Pr1)を示す。最も左の画像(例えば、列C1の画像)は、個々の6×6血管造影網膜スラブであり、中央の画像(例えば、列C2の画像)は、(グレースケールで)1~5にスケーリングされた品質マップ値であり、最も右の画像(例えば、列C3の画像)は、図示されるように、1~5に色分けされたスケールまたはグレースケール符号化された(grayscale-coded)スケールを有する網膜スラブ(例えば、C1)上の品質マップオーバーレイを示す。本例示的な方法は、各en face位置(例えば、ピクセル領域またはウィンドウ/領域)の周辺におけるOCTAデータの一組のテクスチャ特性を評価し、そのような位置におけるスキャン品質と相関する定量的スコアを割り当てる。結果は、各en face位置におけるスキャンの品質を記述する二次元品質マップである。このマップは、そのFOVにわたる個々のスキャンの品質を判断するため、各en face位置における同じ被検体のいくつかの取得間の品質の差を定量化するため、またはマップ値を平均化することによって各取得に対する総合的な品質メトリックを提供するために使用することができる。加えて、これらの品質マップはまた、OCT/OCTAのオペレータに、不良な品質のためにスキャンを再撮影する必要性に関する重要な情報、及び/又は後続の取得においてより良好な品質のスキャンを得ることを目的とした提案を提供することができる。このアルゴリズムの他の可能性のある用途は、OCTA(又はOCT)データに適用される他のアルゴリズムに対する信頼性の測定、異なるアルゴリズムによって行われる定量化からのOCTAスキャンの低品質領域の自動除外及びコラージュするための相対重みとしてのそれらの使用、並びにそれらの品質に従って重複するen face位置における複数の取得からのOCTAスラブ又はOCTAボリュームの平均化又はモンタージュを含む。
考慮される抽出された特徴
訓練のために考慮される各OCTAスキャンに関して、網膜スラブ定義を使用して、以下の4つの異なるスラブ画像、即ち各Aスキャン位置における5つの最高値ピクセルを平均化することによって生成されるen faceフロースラブ(max_flow)、各Aスキャン位置における値を平均化することによって生成されるen face構造スラブ(avg_struc)、各Aスキャン位置における5つの最高値ピクセルを平均化することによって生成されるen face構造スラブ(max_struc)、および各Aスキャン位置における5つの最低値ピクセルを平均化することによって生成されるen face構造スラブ(min_struc)を生成することができる。任意選択的に、これらのen face投影を生成する場合に、さらなる処理またはサイズ変更は考慮されない。4個のスラブ画像の各々に関して、テクスチャ特性を示す一組の22個のハラリック特徴が、ピクセル単位のオフセットまたは75%(即ち、0.75)重複などの所与のオフセットを有する半径250ミクロンの円形スライディングウィンドウの円形の近傍を考慮して抽出され得る。例えば、72個の画像が等級付けされる場合、これは、訓練プロセスにおいて使用される133,128個の異なる近傍から抽出される88個の特徴を構成することとなる。図7は、特徴抽出(それぞれ、max_flow、avg_struc、max_struc、およびmin_stuc)のために使用される4つのスラブ71、72、73、および74の例を、88個の特徴が抽出される(画像ごとに22個)考慮される近傍(白丸)のマーキングとともに提供する。結果として得られるターゲット品質マップ75(例えば、カラーまたはグレースケール)も示されている。
訓練のために考慮される各OCTAスキャンに関して、網膜スラブ定義を使用して、以下の4つの異なるスラブ画像、即ち各Aスキャン位置における5つの最高値ピクセルを平均化することによって生成されるen faceフロースラブ(max_flow)、各Aスキャン位置における値を平均化することによって生成されるen face構造スラブ(avg_struc)、各Aスキャン位置における5つの最高値ピクセルを平均化することによって生成されるen face構造スラブ(max_struc)、および各Aスキャン位置における5つの最低値ピクセルを平均化することによって生成されるen face構造スラブ(min_struc)を生成することができる。任意選択的に、これらのen face投影を生成する場合に、さらなる処理またはサイズ変更は考慮されない。4個のスラブ画像の各々に関して、テクスチャ特性を示す一組の22個のハラリック特徴が、ピクセル単位のオフセットまたは75%(即ち、0.75)重複などの所与のオフセットを有する半径250ミクロンの円形スライディングウィンドウの円形の近傍を考慮して抽出され得る。例えば、72個の画像が等級付けされる場合、これは、訓練プロセスにおいて使用される133,128個の異なる近傍から抽出される88個の特徴を構成することとなる。図7は、特徴抽出(それぞれ、max_flow、avg_struc、max_struc、およびmin_stuc)のために使用される4つのスラブ71、72、73、および74の例を、88個の特徴が抽出される(画像ごとに22個)考慮される近傍(白丸)のマーキングとともに提供する。結果として得られるターゲット品質マップ75(例えば、カラーまたはグレースケール)も示されている。
画像から抽出されたハラリック特徴は、ベースライン信号レベル、内部正規化(internal normalization)、または可能な内部データフィルタリングのような特定の器具およびソフトウェアバージョンの特殊性に大きく依存し得ることに留意されたい。例えば、本発明の概念実証の実施形態では、訓練に使用されるスキャンは、収集されたフローボリュームの3Dガウシアンフィルタリングの内部プロセスを経ている。このアルゴリズムを、この内部ガウスフィルタリングをサポートしていなかった後続のソフトウェアバージョンに適用するために、同じタイプのフィルタリングを事前に適用する必要があった。即ち、内部ガウスフィルタリングを含んでいない機器を使用して取得されたスキャンからのフローボリュームは、特徴抽出の前にアルゴリズムによって事前フィルタリングされた。
訓練モデル
一例では、ラッソ回帰(Lasso regression)(一般化線形回帰モデル)を使用して、計算された特徴マップの平均値を訓練して、取得の総合的な品質スコアを予測した。例えば、ラッソ回帰を使用して、133128個の近傍から抽出された一組の88個の特徴を訓練して、図7に示すように、ターゲット品質マップ内の対応する近傍の中心ピクセルに与えられる手作業品質等級付けを予測した。ラッソモデルは、予測において最小の平均二乗誤差を生成する正則化係数(例えば、ラムダ)を選択するように訓練された。ラッソ回帰のより詳細な説明は、ロバート・ティブシラニ(Robert Tibshirani)による「ラッソを介した縮小回帰および選択(Regression Shrinkage and Selection via the lasso)」、王立統計学会誌(Journal of the Royal Statistical Society)、シリーズB(方法論)、ワイリー(Wiley)、1996年、58(1)、267-88に記載されている。結果として生じるモデルは、血管造影品質マップを生成するために、(特徴抽出のために定義される)スライディングウィンドウ手法において異なる取得に適用され得る。
一例では、ラッソ回帰(Lasso regression)(一般化線形回帰モデル)を使用して、計算された特徴マップの平均値を訓練して、取得の総合的な品質スコアを予測した。例えば、ラッソ回帰を使用して、133128個の近傍から抽出された一組の88個の特徴を訓練して、図7に示すように、ターゲット品質マップ内の対応する近傍の中心ピクセルに与えられる手作業品質等級付けを予測した。ラッソモデルは、予測において最小の平均二乗誤差を生成する正則化係数(例えば、ラムダ)を選択するように訓練された。ラッソ回帰のより詳細な説明は、ロバート・ティブシラニ(Robert Tibshirani)による「ラッソを介した縮小回帰および選択(Regression Shrinkage and Selection via the lasso)」、王立統計学会誌(Journal of the Royal Statistical Society)、シリーズB(方法論)、ワイリー(Wiley)、1996年、58(1)、267-88に記載されている。結果として生じるモデルは、血管造影品質マップを生成するために、(特徴抽出のために定義される)スライディングウィンドウ手法において異なる取得に適用され得る。
「より高次の多項式による予測スコアの調整」のセクションで上述したように、本例では線形モデルが使用されており、1~5の全ての等級付けについて同じ量のデータが考慮されていないため、訓練の結果を調整するために追加の2次多項式を使用した。比較のために、図8Aは、この調整(補正)前の訓練データにおける予測値の結果のグラフを提供し、図8Bは、2次多項式を適用した後(調整/補正後)の結果を提供する。両方のグラフにおいて、横軸は、各訓練近傍に対するターゲット品質マップにおける所与のスコア(例えば、熟練者によって手作業で割り当てられたスコアから集計された)を示し、縦軸は、訓練されたモデルによる予測スコアを表す。また、両方のグラフにおいて、薄い灰色の網掛け領域は標準偏差を表し、濃い灰色の網掛け領域は、所与のターゲットスコアに対する予測スコアの95%の制限を表す。これらの2つのグラフから、所与のスコアごとの平均予測が、本調整を適用した後に所与のスコアに近いこと、および予測の信頼区間もまた、異なる所与のスコアにわたってより安定していることを観察することができる。
結果
アルゴリズムの精度を評価するために、自動化アルゴリズムから得られた品質マップを、グラウンドトゥルース品質マップと比較した。グラウンドトゥルース品質マップは、上記(セクション「収集された注釈」を参照)で説明されたように、異なる等級付け者にわたって平均化された手作業局所等級付けから構築された。平均等級付け者マップは、局所注釈プロセスに起因して鋭い遷移を提示することができ、自動品質マップは、異なる領域の移動ウィンドウ分析およびスムーズな後処理に起因してスムーズな挙動を提示するため、平均等級付け者マップは、公平な比較を提供するようにスムージングされた。このスムージングは、自動化アルゴリズムの移動ウィンドウ処理で使用される領域(この場合、半径250ミクロンの円形の近傍)の範囲に等しいカーネル(kernel)を有するスムージングフィルタを使用することで、自動化アルゴリズムの予想される挙動としてみなされた。
アルゴリズムの精度を評価するために、自動化アルゴリズムから得られた品質マップを、グラウンドトゥルース品質マップと比較した。グラウンドトゥルース品質マップは、上記(セクション「収集された注釈」を参照)で説明されたように、異なる等級付け者にわたって平均化された手作業局所等級付けから構築された。平均等級付け者マップは、局所注釈プロセスに起因して鋭い遷移を提示することができ、自動品質マップは、異なる領域の移動ウィンドウ分析およびスムーズな後処理に起因してスムーズな挙動を提示するため、平均等級付け者マップは、公平な比較を提供するようにスムージングされた。このスムージングは、自動化アルゴリズムの移動ウィンドウ処理で使用される領域(この場合、半径250ミクロンの円形の近傍)の範囲に等しいカーネル(kernel)を有するスムージングフィルタを使用することで、自動化アルゴリズムの予想される挙動としてみなされた。
図9は、グラウンドトゥルースとしてみなされた場合の平均等級付け者(average expert graders)マップのスムージングの効果を示す。説明の目的のために、OCTA網膜スラブ91のmax_flow画像、max_flow画像の手作業等級付け者スコア92の平均、スムージングされた平均等級付け者マップ93(グラウンドトゥルースとして扱われる)、および本アルゴリズム94の結果(例えば、カラーまたはグレースケール)が示されている。
評価は、2つのステップ、即ち、(1)最初に、最良の予想される挙動を理解するためにアルゴリズムを訓練するために使用される同じデータ上で挙動を分析するステップと、(2)次いで、別個の試験画像セットにおける挙動を分析するステップで行った。
予想される結果-訓練データからの分析
訓練のために使用されるのと同じデータにおけるパーディション(perdition)精度を分析することは、通常、独立した試験データにおいて予想される結果を示さないが、本例では、線形モデルが、非常に多数のインスタンスを、予測子としてのはるかに少数の抽出された特徴を用いて適合させるように採用されているため、過剰適合(overfitting)は極めて起こりにくく、結果は、独立した試験データにおいて予想されるものの良好な指標を与える。訓練データで得られた結果を分析して、アルゴリズムの最良の予想される挙動を理解し、良好な結果および最適でない結果とみなすことができるものの制限を設定した。
訓練のために使用されるのと同じデータにおけるパーディション(perdition)精度を分析することは、通常、独立した試験データにおいて予想される結果を示さないが、本例では、線形モデルが、非常に多数のインスタンスを、予測子としてのはるかに少数の抽出された特徴を用いて適合させるように採用されているため、過剰適合(overfitting)は極めて起こりにくく、結果は、独立した試験データにおいて予想されるものの良好な指標を与える。訓練データで得られた結果を分析して、アルゴリズムの最良の予想される挙動を理解し、良好な結果および最適でない結果とみなすことができるものの制限を設定した。
アルゴリズムを訓練するために使用される複数の事例のうちの1つにおいて取得される例示的な結果を示す図9に戻ると、アルゴリズムからの自動化された結果94が、スムージングされた平均等級付け者スコア93(グラウンドトルースとして使用される)において収集されるものにどのように、およびどの程度類似するかを観察することができる。訓練事例における結果を検討すると、全てが主観的な観点から「許容可能な」結果を提供した。
アルゴリズムからの結果が訓練データにおけるグラウンドトゥルースにどれだけ類似しているかを理解するために、訓練セットにおける全ての事例(合計14,948,928データポイント)からの全てのピクセルにおいてアルゴリズムによって予測された値をグラウンドトゥルースにおける値と比較した。図10Aは、平均等級付け者スコア値対訓練セット内の全ての画像の全てのピクセルに対する予測値の分析を表示し、横軸は、熟練した等級付け者による平均の所与のスコアを示し、縦軸は、訓練されたモデルによる予測スコアを表す。薄い灰色の陰影領域および濃い灰色の陰影領域は、それぞれ、所与のターゲットスコアに対する予測スコアの標準偏差および95%の制限を表す。予測スコアが平均等級付け者スコアに平均して類似していることを確認することができる。予測スコアに対する外れ値に起因する大きなテールが存在するが、差の標準偏差および95%の制限は、異なる品質レベルにわたって、ほとんどが割り当てられた品質の0.5ポイントおよび1.0ポイント以下に収まる。
訓練データに関する結果を使用して、アルゴリズム要件を確立する際に、最終的に合格および不合格の比率を決定するのに役立ち得る最適および準最適な結果を構成し得るものを確立した。そのようにするために、図10Bに示されるように、グラウンドトゥルースから1品質ポイントよりも高い偏差を有する画像の所与の比率(またはパーセンテージ)として定義される不成功を用いて、不成功とみなすものの閾値を変化させると、不成功事例のパーセンテージがどのようになるのかを確立することができる。即ち、図10Bは、不成功とみなされるものの閾値が訓練セット内の画像に対して変化するときの不成功事例のパーセンテージを提供し、不成功は、グラウンドトゥルースから1品質ポイントよりも高い偏差を有する画像の所与の比率(例えば、パーセンテージまたは分数)として定義される。1より大きい偏差を有する画像のより小さい部分(例えば、分数またはパーセンテージ)が不成功であるとみなすと、より制限的な要件となるため、不成功事例のより大きいパーセンテージを確認することが予想される。比率の閾値を0.2に設定した場合、本アルゴリズムは訓練データにおいて不成功を生じなかったことが観察された。即ち、許容可能な結果に対する要件を、20%よりも多くない画像がグラウンドトゥルースから1品質ポイントより大きい偏差を有することができるように設定することによって、全ての結果が訓練セット画像において許容可能になる。この分析を用いて、独立した試験データにおける結果をさらに評価した。
5.2 独立した試験データにおける結果
概念実証の実施形態の一部として、訓練セットで使用されたものとは異なる眼の26個の6×6mmのOCTAスキャンを独立した試験データとして分析した。「考慮される抽出された特徴」のセクションにおいて上記で示したように、内部ガウスフィルタリングを含まない機器バージョンを使用して取得されたスキャンからのフローボリュームは、特徴抽出の前にアルゴリズムによって事前フィルタリングされた。各スキャンに対する網膜OCTAフロースラブは、「収集された注釈」のセクションで上述したように、訓練データと同じ手法に従って、3人の異なる熟練した等級付け者によって、en faceスラブ内の各ピクセル位置において独立して手作業でラベル付けされた。
概念実証の実施形態の一部として、訓練セットで使用されたものとは異なる眼の26個の6×6mmのOCTAスキャンを独立した試験データとして分析した。「考慮される抽出された特徴」のセクションにおいて上記で示したように、内部ガウスフィルタリングを含まない機器バージョンを使用して取得されたスキャンからのフローボリュームは、特徴抽出の前にアルゴリズムによって事前フィルタリングされた。各スキャンに対する網膜OCTAフロースラブは、「収集された注釈」のセクションで上述したように、訓練データと同じ手法に従って、3人の異なる熟練した等級付け者によって、en faceスラブ内の各ピクセル位置において独立して手作業でラベル付けされた。
図11は、網膜スラブ(「網膜OCTA En Face」111)と、3人の熟練した等級付け者から収集されたグラウンドトゥルース品質スコア(「スムーズな平均熟練者マップ」112)と、本アルゴリズムの品質等級付け結果(「アルゴリズム品質マップ」113)と、0~5のグレースケールでスケーリングされたグラウンドトゥルースとアルゴリズム品質マップとの間の差(「熟練者とアルゴリズムとの差」114)と、グラウンドトゥルースおよびアルゴリズム品質マップからの偏差が1.0品質スコアよりも大きい領域(「差が1を超える領域」115)とを比較する例示的な結果を表示する。この特定の例では、アルゴリズムの結果は、平均して、熟練した等級付け者から収集されたものに類似しており、かつ画像の左側に明らかに低品質の領域を有する網膜スラブの品質にも類似していることが分かる。訓練データを分析することによって、この事例が、以前に設定されたアルゴリズム基準(例えば、アルゴリズムとグラウンドトゥルースとの間の1.0より大きい偏差の程度が画像の20%未満である)によってどのように許容可能であるとみなされるのかを観察することもできる。
同様に、試験セットにおける全ての事例(合計6,500,000データポイント)からの全てのピクセルにおいてアルゴリズムによって予測された値を、グラウンドトゥルースにおける値と比較した。図12Aは、平均等級付け者スコア値対試験セット内の全6,500,00個のデータポイントの予測値のグラフである。グラフは、平均して、予測スコアが平均等級付け者によって与えられたスコアに類似していることを示す。観察されたテールは、訓練セットよりも小さかったが、差の標準偏差(例えば、グラフ上の薄い灰色領域)および95%の制限(グラフの濃い灰色領域)は、訓練セットよりもわずかに大きいようである。これは、アルゴリズムを訓練するために使用されるデータがより良好な適合を提供していること、および試験セットのグラウンドトゥルースにおいて3人の等級付け者のみの使用であることに起因して、信頼性が低いことが原因である可能性がある。図12Bは、訓練セット内の画像に対する不成功とみなされるものの閾値が変動したときに遭遇する不成功事例のパーセンテージを表示し、不成功は、グラウンドトゥルースから1品質ポイントよりも高い計算された品質指標偏差を有する画像の所与の比率(例えば、パーセンテージまたは分数)として定義される。(訓練データによって確立されるように)1より大きいグラウンドトゥルースからの品質指標の偏差を有する画像が20%以下であるという許容可能な結果に対する要件を使用すると、26個の画像のうちの23個が許容可能であり、これは、許容可能な結果を有する画像の88%を構成する。
図13Aは、合格のためのこの20%の偏差の制限を前提として、許容可能であるとみなされた3つの画像の例示的な結果を(例えば、カラーまたはグレースケールで)示し、図13Bは、同じ20%の偏差の制限を前提として、分析された26個から準最適とみなされた3つの画像の例を(例えば、カラーまたはグレースケールで)示す。図13A及び図13Bの両方において、左から右に、画像の第1列は網膜スラブ例(「網膜OCTA En Face」131)であり、画像の第2列は対応するグラウンドトゥルースマップ(「スムーズな平均等級付け者マップ」132)であり、画像の第3列は本アルゴリズムの対応する結果(「アルゴリズム品質マップ」133)であり、第4列は対応するグラウンドトゥルースとアルゴリズムマップ結果との間の差の表現(0~5のグレースケールでスケーリングされた「熟練者とアルゴリズムとの差」134)であり、第5列は1より大きい偏差を有する領域の表現(「差が1を超える領域」135)である。図13Bを参照すると、不成功事例における1より大きい偏差の領域は、それらの画像の20%より大きいが、品質マップアルゴリズムは、依然として、それらの対応する網膜スラブ(例えば、列131の網膜OCTA en face画像)の品質にいくらか類似する結果(例えば、列133の品質マップ)を生成することを観察することができる。
図14は、異なる3×3mmのOCTA取得(対で編成される)に関して第1の患者の右眼(左側の4個の画像)及び左眼(右側の4個の画像)から(本発明を使用して)生成/取得された品質マップの第1の例を(例えば、カラー又はグレースケールで)示す。画像の各対は、右側に取得の網膜フロースラブを、上部に読み取り者(reader)によって与えられた割り当てられた視覚スコアと共に示し、左側にオーバーレイ血管造影品質マップを、上部に本モデルによって算出された総合的な平均スコアと共に示す(オーバーレイも網膜フロースラブを示す)。見て分かるように、算出された総合的なスコアは、所与の手作業スコアとよく相関している。さらに、各スラブにおけるより高品質の領域は、より低品質の領域と比較して、より高い局所スコアを有することが示されている。
図15は、異なる3×3mmのOCTA取得(対で編成される)に関して第2の患者の右眼(左側の4個の画像)及び左眼(右側の4個の画像)から取得された品質マップの第2の例を(例えば、カラー又はグレースケールで)示す。説明を容易にするために、図15の結果は、図14の結果と同様に表示される。図15の例では、より高い品質の取得がより高い総合的なスコアをもたらすこと、および各画像内のより高い品質の領域もより高いスコアを有することを明確に確認することができる。
図16は、異なるFOVのOCTA取得(3×3mm、6×6mm、9×9mm、および12×12mm)に関して患者の右眼から得られた品質マップの例を(例えば、カラーまたはグレースケールで)示す。OCTA取得(対に編成される)は、図14と同様の方法で表示される。図16の例は、本手法が異なるスキャンサイズに対して柔軟である(例えば、対応する)ことを示す。
読み取り者間変動性に対する比較
アルゴリズムの性能を(例えば、人間の専門家と比較して)より良く理解するために、画像の試験セットが、例示的な用途において本発明(例えば、アルゴリズム)に従ってモデルを訓練するために使用されるグランドトゥルース訓練セットを確立するために使用される同じ3人の等級付け者(読み取り者)に対する評価のために与えられた。3人の等級付け者によって提供された品質評価結果の平均を取ることによって、(例えば、画像の試験セット内の各試験画像に対して)グラウンドトゥルース試験データを定義した。各等級付け者の個々の結果および本アルゴリズムによって生成された結果は、グラウンドトゥルース試験データと比較され、それらの個々の性能は、上述したように、アルゴリズムに関する不成功を定義するために使用された同じ品質基準を使用して決定された。より具体的には、試験画像の提出された品質データの20%以上(例えば、20%より少なくない)が、グラウンドトゥルース試験データから1品質ポイントを超えて逸脱した場合、その試験画像結果は不成功とみなされた。まず、3人の等級付け者の各々によって作成された注釈が、同じ方法でグラウンドトゥルース試験データとして使用された平均品質マップと比較された。図17は、各人間の等級付け者からの許容可能な結果のパーセンテージと、グラウンドトゥルース試験データとして3人の人間の等級付け者の平均を使用するアルゴリズムとを提供する。この分析は、各等級付け者からの注釈が、グランドトゥルース試験データとして使用される平均注釈にも含まれるため、偏っているが、人間の等級付け者からの許容可能な結果のパーセンテージが、アルゴリズムのものと同様であることを観察することができる。実際に、1人の人間の等級付け者は、アルゴリズムよりも低い許容可能な結果の割合を実際に採点した。
アルゴリズムの性能を(例えば、人間の専門家と比較して)より良く理解するために、画像の試験セットが、例示的な用途において本発明(例えば、アルゴリズム)に従ってモデルを訓練するために使用されるグランドトゥルース訓練セットを確立するために使用される同じ3人の等級付け者(読み取り者)に対する評価のために与えられた。3人の等級付け者によって提供された品質評価結果の平均を取ることによって、(例えば、画像の試験セット内の各試験画像に対して)グラウンドトゥルース試験データを定義した。各等級付け者の個々の結果および本アルゴリズムによって生成された結果は、グラウンドトゥルース試験データと比較され、それらの個々の性能は、上述したように、アルゴリズムに関する不成功を定義するために使用された同じ品質基準を使用して決定された。より具体的には、試験画像の提出された品質データの20%以上(例えば、20%より少なくない)が、グラウンドトゥルース試験データから1品質ポイントを超えて逸脱した場合、その試験画像結果は不成功とみなされた。まず、3人の等級付け者の各々によって作成された注釈が、同じ方法でグラウンドトゥルース試験データとして使用された平均品質マップと比較された。図17は、各人間の等級付け者からの許容可能な結果のパーセンテージと、グラウンドトゥルース試験データとして3人の人間の等級付け者の平均を使用するアルゴリズムとを提供する。この分析は、各等級付け者からの注釈が、グランドトゥルース試験データとして使用される平均注釈にも含まれるため、偏っているが、人間の等級付け者からの許容可能な結果のパーセンテージが、アルゴリズムのものと同様であることを観察することができる。実際に、1人の人間の等級付け者は、アルゴリズムよりも低い許容可能な結果の割合を実際に採点した。
偏りを除去するために、グラウンドトゥルース試験データを確立するために使用されるデータから1人の等級付け者からの結果を除去し、その除去された等級付け者の結果を修正されたグラウンドトゥルース試験データと比較することによって、この実験を各人間の等級付け者に対して別々に繰り返した。図18は、各等級付け者の注釈(グラウンドトゥルース試験データを確立するために使用されるものから順番に、別々に除去される)およびアルゴリズムの結果を、グラウンドトゥルース試験データとしての他の2人の残りの等級付け者の平均結果と比較することによって得られる許容可能な結果のパーセンテージを提供する。図示されるように、この手法を使用することにより、グラウンドトゥルース試験データと比較して、アルゴリズムのものより低い個々の等級付け者の許容可能な結果のパーセンテージがもたらされた。図18は、本アルゴリズムの良好な性能と、画像内のスキャン品質を等級付けする作業の難しさ、および使用される厳密な検証基準を考慮して、平均的な熟練した等級付け者が生成するであろう品質注釈に類似する品質マップを生成する能力とを強調する。
処理速度
例示的な用途では、26回のスキャン(例えば、追加のガウシアンフィルタリングを必要としたスキャンと必要としなかったスキャンとの組み合わせ)の平均実行時間は、2.58秒(標準偏差0.79)であった。これら26回のスキャンのうち、11回のスキャンがガウスフィルタリング(アルゴリズム内の内部)を必要としたが、そのうちの15回のスキャンは必要としなかった。ガウスフィルタリングを必要としたものについては、平均処理時間は2.9秒(0.96 std)であったが、ガウスフィルタリングを必要としなかったものについては、平均処理時間は2.34秒(0.56 std)であった。
例示的な用途では、26回のスキャン(例えば、追加のガウシアンフィルタリングを必要としたスキャンと必要としなかったスキャンとの組み合わせ)の平均実行時間は、2.58秒(標準偏差0.79)であった。これら26回のスキャンのうち、11回のスキャンがガウスフィルタリング(アルゴリズム内の内部)を必要としたが、そのうちの15回のスキャンは必要としなかった。ガウスフィルタリングを必要としたものについては、平均処理時間は2.9秒(0.96 std)であったが、ガウスフィルタリングを必要としなかったものについては、平均処理時間は2.34秒(0.56 std)であった。
以下に、本発明に好適な各種ハードウェアおよびアーキテクチャについて説明する。
光干渉断層撮影システム
概して、光干渉断層撮影(OCT)は、低コヒーレンス光を使用して、生体組織の二次元(2D)および三次元(3D)内部ビューを生成する。OCTは、網膜構造の生体内撮像を可能にする。OCT血管造影(OCTA)は、網膜内からの血管の流れなどのフロー情報を生成する。OCTシステムの例は、米国特許第6741359号明細書及び同第9706915号明細書に提供されており、OCTAシステムの例には、米国特許第9700206号明細書及び米国特許第9759544号明細書があり、これらは全て、参照によりその全体が本明細書に組み込まれる。例示的なOCT/OCTAシステムが本明細書で提供される。
光干渉断層撮影システム
概して、光干渉断層撮影(OCT)は、低コヒーレンス光を使用して、生体組織の二次元(2D)および三次元(3D)内部ビューを生成する。OCTは、網膜構造の生体内撮像を可能にする。OCT血管造影(OCTA)は、網膜内からの血管の流れなどのフロー情報を生成する。OCTシステムの例は、米国特許第6741359号明細書及び同第9706915号明細書に提供されており、OCTAシステムの例には、米国特許第9700206号明細書及び米国特許第9759544号明細書があり、これらは全て、参照によりその全体が本明細書に組み込まれる。例示的なOCT/OCTAシステムが本明細書で提供される。
図19は、本発明との使用に適した眼の3D画像データ収集用の一般型周波数領域光干渉断層撮影(FD-OCT)システムを図解する。FD-OCTシステムOCT_1は、光源LtSrc1を含む。典型的な光源には、時間コヒーレンス長が短い広帯域光源、又は掃引レーザ源が含まれるがこれらに限定されない。光源LtScr1からの光のビームは、典型的に光ファイバFbr1によってサンプル、例えば眼Eを照明するように誘導され、典型的なサンプルは人間の眼内組織である。光源LrSrc1は、例えば、スペクトルドメインOCT(SD-OCT)の場合に時間コヒーレンス長が短い広帯域光源であり、掃引光源OCT(SS-OCT)の場合には波長可変レーザ光源であり得る。光は、典型的には、光ファイバFbr1の出力とサンプルEとの間のスキャナScnr1を用いてスキャンされ得、その結果、光のビーム(破線Bm)は、撮像されるべきサンプルの領域にわたって横方向にスキャンされる。スキャナScnr1からの光ビームは、走査レンズSLおよび眼科用レンズOLを通過し、撮像されるサンプルE上に合焦され得る。走査レンズSLは、複数の入射角でスキャナScnr1から光ビームを受け取り、実質的にコリメートされた光を生成することができ、眼科用レンズOLは、次いで、サンプル上に合焦させることができる。本例は、所望の視野(FOV)をスキャンするために2つの横方向(例えば、デカルト平面上のx方向及びy方向)にスキャンされる必要がある走査ビームを示す。この例は、サンプルを横切ってスキャンするためにポイントフィールドビームを使用するポイントフィールドOCTである。従って、スキャナScnr1は、2つのサブスキャナ、即ち、第1の方向(例えば、水平x方向)にサンプルにわたってポイントフィールドビームをスキャンするための第1のサブスキャナXscnと、交差する第2の方向(例えば、垂直y方向)にサンプル上でポイントフィールドビームをスキャンするための第2のサブスキャナYscnとを含むように例示的に示されている。走査ビームがラインフィールドビーム(例えば、ラインフィールドOCT)であり、一度にサンプルのライン部分全体をサンプリングし得る場合、所望のFOVに及ぶようにサンプルにわたってラインフィールドビームをスキャンするために、1つのスキャナのみが必要とされ得る。走査ビームがフルフィールドビーム(例えば、フルフィールドOCT)である場合、スキャナは必要とされなくてもよく、フルフィールド光ビームは、一度に所望のFOV全体にわたって照射されてもよい。
使用されるビームの種類に関係なく、サンプルから散乱された光(例えば、サンプル光)が収集される。本実施例では、サンプルから戻る散乱光は、照明のために光をルーティングするために使用される同じ光ファイバFbr1に収集される。同じ光源LtSrc1から派生する参照光は別の経路に沿って移動し、この場合、これには光ファイバFbr2及び調整可能な光学遅延を有する逆反射板RR1が含まれる。当業者であればわかるように、透過性参照経路も使用でき、調整可能遅延はサンプル又は干渉計の参照アームの中に設置できる。集光されたサンプル光は、例えばファイバカプラCplr1において参照光と結合され、OCT光検出器Dtctr1(例えば、光検出器アレイ、デジタルカメラ等)内の光干渉を形成する。1つのファイバポートが検出器Dtctr1に到達するように示されているが、当業者であればわかるように、干渉信号のバランス又はアンバランス検出のために様々な設計の干渉計を使用できる。検出器Dtctr1からの出力は、プロセッサ(例えば、内部または外部コンピューティングデバイス)Cmp1に供給され、それが観察された干渉をサンプルの深さ情報へと変換する。深さ情報は、プロセッサCmp1に関連付けられるメモリ内に保存され、及び/又はディスプレイ(例えば、コンピュータ/電子ディスプレイ/スクリーン)Scn1に表示されてよい。処理及び保存機能は、OCT機器内に局在化されてよく、又は機能は、収集されたデータが転送される外部プロセッサ(例えば、外部コンピュータシステム)にオフロードされてもよい(例えば、外部プロセッサ上で実行されてもよい)。図27に、コンピューティングデバイス(またはコンピュータシステム)の一例を示す。このユニットは、データ処理専用とすることも、又はごく一般的で、OCTデバイス装置に専用ではないその他のタスクを実行することもできる。プロセッサ(コンピューティングデバイス)Cmp1は例えば、1つまたは複数のホストプロセッサおよび/または1つまたは複数の外部コンピューティングデバイスとシリアル方式および/または並列化方式で処理ステップの一部または全体を実行し得るフィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、特定用途集積回路(ASIC)、グラフィクス処理ユニット(GPU)、システムオンチップ(SoC)、中央処理ユニット(CPU)、汎用グラフィクス処理ユニット(GPGPU)、又はそれらの組合せを含んでいてよい。
干渉計内のサンプルアームと参照アームは、バルク光学系、ファイバ光学系、又はハイブリッドバルク光学システムで構成でき、また、当業者の間で知られているように、マイケルソン、マッハ・ツェンダ、又は共通光路系設計等、異なるアーキテクチャを有することができる。光ビームとは、本明細書において使用されるかぎり、慎重に方向付けられるあらゆる光路と解釈されるべきである。ビームを機械的にスキャンする代わりに、光の場が網膜の一次元又は二次元エリアを照明して、OCTデータを生成できる(例えば、米国特許第9332902号明細書、ディー.ヒルマン(D.Hillmann)他著、「ホロスコピ-ホログラフィック光干渉断層撮影(Holoscopy-holographic optical coherence tomography)」オプティクスレターズ(Optics Letters)、第36巻(13)、p.2290、2011年、ワイ.ナカムラ(Y.Nakamura)他著、「ラインフィールドスペクトルドメイン光干渉断層撮影法による高速三次元ヒト網膜撮像(High-Speed three dimensional human retinal imaging by line field spectral domain optical coherence tomography)」、オプティクスエクスプレス(Optics Express)、第15巻(12)、p.7103、2007年、ブラスコヴィッチ(Blazkiewicz)他著、「フルフィールドフーリエドメイン光干渉断層撮影法の信号対ノイズ比の研究(Signal-to-noise ratio study of full-field Fourier-domain optical coherence tomography)」、アプライド・オプティクス(Applied Optics)、第44巻(36)、p.7722(2005年)参照)。時間領域システムでは、参照アームは干渉を生じさせるために調整可能な光学遅延を有する必要がある。バランス検出システムは典型的にTD-OCT及びSS-OCTシステムで使用され、分光計はSD-OCTシステムのための検出ポートで使用される。本明細書に記載の発明は、何れの種類のOCTシステムにも応用できる。本発明の様々な態様は、何れの種類のOCTシステムにも、又はその他の種類の眼科診断システム及び/又は、眼底撮像システム、視野試験装置、及び走査型レーザ偏光計を含むがこれらに限定されない複数の眼科診断システムにも適用できる。
フーリエドメイン光干渉断層撮影法(FD-OCT)において、各測定値は実数値スペクトル制御干渉図形(Sj(k))である。実数値スペクトルデータには典型的に、背景除去、分散補正等を含む幾つかの後処理ステップが行われる。処理された干渉図形のフーリエ変換によって、複素OCT信号出力Aj(z)=|Aj|eiφが得られる。この複素OCT信号の絶対値、|Aj|から、異なる経路長での散乱強度、したがってサンプル内の深さ(z-方向)に関する散乱のプロファイルが明らかとなる。同様に、位相φjもまた、複素OCT信号から抽出できる。深さに関する散乱のプロファイルは、軸方向スキャン(A-スキャン)と呼ばれる。サンプル内の隣接する位置において測定されたA-スキャンの集合により、サンプルの断面画像(断層画像又はB-スキャン)が生成される。サンプル上の横方向の異なる位置で収集されたBスキャンの集合が、データボリューム又はキューブを構成する。特定のデータボリュームについて、速い軸とは1つのB-スキャンに沿ったスキャン方向を指し、遅い軸とは、それに沿って複数のB-スキャンが収集される軸を指す。「クラスタスキャン」という用語は、血流を識別するために使用されてよいモーションコントラストを解析するために、同じ(又は実質的に同じ)位置(又は領域)での反復的取得により生成されるデータの1つのユニット又はブロックを指してよい。クラスタスキャンは、サンプル上のほぼ同じ位置において比較的短い時間間隔で収集された複数のA-スキャン又はB-スキャンで構成できる。クラスタスキャンのスキャンは同じ領域のものであるため、静止構造はクラスタスキャン中のスキャン間で比較的変化しないままであるのに対し、所定の基準を満たすスキャン間のモーションコントラストは血液流として識別されてよい。
B-スキャンを生成するための様々な方法が当業界で知られており、これには、水平又はx方向に沿ったもの、垂直又はy方向に沿ったもの、x及びyの対角線に沿ったもの、又は円形若しくは螺旋パターンのものが含まれるがこれらに限定されない。B-スキャンは、x-z次元内であってよいが、z次元を含む何れの断面画像であってもよい。ヒトの眼の正常な網膜の例示的なOCT Bスキャン画像が図20に示されている。網膜のOCT Bスキャンは、網膜組織の構造のビューを提供する。例示目的のために、図20は、種々の正規の網膜層および層の境界を識別する。識別された網膜境界層は、(上から下へ順に)内境界膜(ILM:inner limiting membrane)層1、網膜神経線維層(RNFL:retinal nerve fiber layerまたはNFL)層2、神経節細胞層(GCL:ganglion cell layer)層3、内網状層(IPL:inner plexiform layer)層4、内顆粒層(INL:inner nuclear layer)層5、外網状層(OPL:outer plexiform layer)層6、外顆粒層(ONL:outer nuclear layer)層7、視細胞の外節(OS:outer segments)と内節(IS:inner segments)との間の接合部(参照符号層8によって示される)、外限界膜又は外境界膜(ELM:external limiting membrane 又はOLM:outer limiting membrane)層9、網膜色素上皮(RPE:retinal pigment epithelium)層10、およびブルッフ膜(BM:Bruch’s membrane)層11を含む。
OCT血管造影法又は関数型OCTにおいて、解析アルゴリズムは、動き又は流れを解析するために、サンプル上の同じ、又はほぼ同じサンプル位置において異なる時間に収集された(例えば、クラスタスキャン)OCTデータに適用されてよい(例えば、米国特許出願公開第2005/0171438号明細書、同第2012/0307014号明細書、同第2010/0027857号明細書、同第2012/0277579号明細書、及び米国特許第6549801号明細書を参照されたく、これらの全ての全体を参照によって本願に援用する)。OCTシステムでは、血流を識別するために多くのOCT血管造影法処理アルゴリズム(例えば、モーションコントラストアルゴリズム)のうちの何れの1つを使用してもよい。例えば、モーションコントラストアルゴリズムは、画像データから導出される強度情報(強度に基づくアルゴリズム)、画像データからの位相情報(位相に基づくアルゴリズム)、又は複素画像データ(複素に基づくアルゴリズム)に適用できる。en face画像は3D OCTデータの2D投射である(例えば、個々のA-スキャンの各々の強度を平均することにより、これによって、各A-スキャンが2D投射内のピクセルを画定する)。同様に、en face脈管画像は、モーションコントラスト信号を表示する画像であり、その中で深さに対応するデータディメンション(例えば、A-スキャンに沿ったz方向)は、典型的にはデータの全部又は隔離部分を加算又は集積することによって、1つの代表値(例えば、2D投射画像内のピクセル)として表示される(例えば、米国特許第7301644号明細書を参照されたく、その全体を参照によって本願に援用する)。血管造影機能を提供するOCTシステムは、OCT血管造影(OCTA)システムと呼ばれてよい。
図21は、en face脈管構造画像の例を示す。データを処理し、当業界で知られるモーションコントラスト法の何れかを用いてモーションコントラストをハイライトした後に、網膜の内境界膜(ILM:internal limiting membrane)の表面からのある組織深さに対応するピクセル範囲を加算して、その脈管構造のen face(例えば、正面図)画像が生成されてよい。図22は、脈管構造(OCTA)画像の例示的なBスキャンを示す。図示されるように、血流が複数の網膜層を横断することで、図20に示されるような構造的OCT Bスキャンにおけるよりも複数の網膜層を不明確にし得るため、構造的情報は明確ではない場合がある。それにもかかわらず、OCTAは、網膜および脈絡膜の微小血管系を撮像するための非侵襲的技法を提供し、これは、様々な病変を診断および/またはモニタリングするために重要であり得る。例えば、OCTAは、微小動脈瘤、血管新生複合体を識別し、中心窩無血管ゾーンおよび非灌流領域を定量化することによって、糖尿病性網膜症を識別するために使用され得る。さらに、OCTAは、網膜における血管の流れを観察するために色素の注入を必要とする、より伝統的であるがより回避的な技術である蛍光血管造影(FA:fluorescein angiography)と良好に一致することが示されている。さらに、萎縮型加齢黄斑変性において、OCTAは、脈絡膜毛細血管板フローの全般的な減少をモニタリングするために使用されている。同様に、滲出型加齢黄斑変性において、OCTAは、脈絡膜新生血管膜の定性的および定量的分析を提供することができる。OCTAはまた、血管閉塞を研究するために、例えば、非灌流領域の評価ならびに浅神経叢および深層神経叢の完全性の評価のために使用されている。
ニューラルネットワーク
前述のように、本発明はニューラルネットワーク(NN)機械学習(ML)モデルを使用してよい。万全を期して、本明細書ではニューラルネットワークについて概説する。発明は、下記のニューラルネットワークアーキテクチャの何れも、単独でも組み合わせても使用してよい。ニューラルネットワーク、又はニューラルネットは、相互接続されたニューロンの(ノードを介した)ネットワークであり、各ニューロンはネットワーク内のノードを表す。ニューロンの集合は層状に配置されてよく、1つの層の出力は多層パーセプトロン(MLP)配置の中の次の層へと順方向に供給される。MLPは、入力データの集合を出力データの集合にマッピングするフィードフォワードニューラルネットワークと理解されてよい。
前述のように、本発明はニューラルネットワーク(NN)機械学習(ML)モデルを使用してよい。万全を期して、本明細書ではニューラルネットワークについて概説する。発明は、下記のニューラルネットワークアーキテクチャの何れも、単独でも組み合わせても使用してよい。ニューラルネットワーク、又はニューラルネットは、相互接続されたニューロンの(ノードを介した)ネットワークであり、各ニューロンはネットワーク内のノードを表す。ニューロンの集合は層状に配置されてよく、1つの層の出力は多層パーセプトロン(MLP)配置の中の次の層へと順方向に供給される。MLPは、入力データの集合を出力データの集合にマッピングするフィードフォワードニューラルネットワークと理解されてよい。
図23は、多層パーセプトロン(MLP)ニューラルネットワークの例を図解する。その構造は、複数の隠れ(例えば内側)層HL1~HLnを含んでいてよく、これは入力層InL(入力(又はベクトル入力)の集合in_1~in_3を受け取る)を出力層OutLにマッピングし、それが出力(又はベクトル出力)の集合、例えばout_1及びout_2を生成する。各層は、何れの数のノードを有していてもよく、これらはここでは説明のために各層内の円として示されている。この例では、第一の隠れ層HL1は2つのノードを有し、隠れ層HL2、HL3、及びHLnは各々3つのノードを有する。一般に、MLPが深いほど(例えば、MLP内の隠れ層の数が多いほど)、その学習容量は大きい。入力層InLは、ベクトル入力(説明のために、in_1、in_2、及びin_3からなる三次元ベクトルとして示されている)を受け取り、受け取ったベクトル入力を隠れ層のシーケンス内の第一の隠れ層HL1に供給してよい。出力層OutLは、多層モデル内の最後の隠れ層、例えばHLnからの出力を受け取り、ベクトル出力結果(説明のためにout_1及びout_2からなる二次元ベクトルとして示されている)を生成する。
典型的に、各ニューロン(すなわちノード)は1つの出力を生成し、それがその直後の層のニューロンへと順方向に供給される。しかし、隠れ層内の各ニューロンは、入力層から、又はその直前の隠れ層内のニューロンの出力から、複数の入力を受け取るかもしれない。一般に、各ノードはその入力に関数を適用して、そのノードのための出力を生成してよい。隠れ層(例えば、学習層)内のノードは、それぞれの入力に同じ関数を適用して、それぞれの出力を生成してよい。しかしながら、幾つかのノード、例えば入力層InL内のノードは1つの入力しか受け取らず、受動的であってよく、これは、それらが単純にその1つの入力の値をその出力へと中継することを意味し、例えばこれらはその入力のコピーをその出力に提供し、これは説明のために入力層InLのノード内の破線矢印によって示されている。
説明を目的として、図24は、入力層InL’、隠れ層HL1’、及び出力層OutL’からなる単純化されたニューラルネットワークを示す。入力層InL’は、2つの入力ノードi1及びi2を有するように示されており、これらはそれぞれ入力Input_1及びInput_2を受け取る(例えば、層InL’の入力ノードは、二次元の入力ベクトルを受け取る)。入力層InL’は、2つのノードh1及びh2を有する1つの隠れ層HL1’へと順方向に供給し、それが今度は、2つのノードo1及びo2の出力層OutL’に順方向に供給する。ニューロン間の相互接続、又はリンクは(説明のために実線の矢印で示されている)は重みw1~w8を有する。典型的に、入力層を除き、ノード(ニューロン)は入力としてその直前の層のノードの出力を受け取るかもしれない。各ノードは、その入力の各々に各入力の対応する相互接続重みを乗じ、その入力の積を加算し、その特定のノードに関連付けられるかもしれない他の重み又はバイアス(例えば、それぞれノードh1、h2、o1、及びo2に対応するノード重みw9、w10、w11、w12)により定義される定数を加算し(又は、それを乗じ)、その後、その結果に非線形関数又は対数関数を適用することによってその出力を計算してよい。非線形関数は、活性化関数又は伝達関数と呼ばれてよい。複数の活性化関数が当業界で知られており、特定の活性化関数の選択はこの説明には重要ではない。しかしながら、留意すべき点として、MLモデルの演算、ニューラルネットの挙動は重みの値に依存し、これはニューラルネットワークがある入力のための所望の出力を提供するように学習されてよい。
ニューラルネットは、訓練、又は学習段階中に、ある入力にとって望ましい出力を実現するための適当な重み値を学習する(例えば、それを特定するように訓練される)。ニューラルネットが訓練される前に、各重みは個々に初期の(例えば、ランダムな、任意選択によりゼロ以外の)値、例えば乱数シードに割り当てられてもよい。初期重みを割り当てる様々な方法が当業界で知られている。すると、重みは、ある訓練ベクトル入力について、ニューラルネットワークが所望の(所定の)訓練ベクトル出力に近い出力を生成するように訓練される(最適化される)。例えば、重みはバックプロパゲーションと呼ばれる方法によって、何千回もの繰返しサイクルで徐々に調整されてよい。バックプロパゲーションの各サイクルで、訓練入力(例えば、ベクトル入力又は訓練入力画像/サンプル)はニューラルネットワークを通じてフォワードパスが行われて、その実際の出力(例えば、ベクトル出力)が提供される。その後、各出力ニューロン、又は出力ノードのエラーが、実際のニューロンの出力及びそのニューロンのための教師値訓練出力(例えば、現在の訓練入力画像/サンプルに対応する訓練出力画像/サンプル)に基づいて計算される。すると、それはニューラルネットワークを通じて逆方向に(出力層から入力層へと逆方向に)伝搬し、各重みが全体的エラーに対してどの程度の影響を有するかに基づいて重みが更新され、それによってニューラルネットワークの出力は所望の訓練出力に近付く。このサイクルはその後、ニューラルネットワークの実際の出力がその訓練入力のための所望の訓練出力の容認可能なエラー範囲内になるまで繰り返される。理解されるように、各訓練入力は、所望のエラー範囲を実現するまでに多くのバックプロパゲーションイテレーションを必要とするかもしれない。典型的に、エポックは全ての訓練サンプルの1つのバックプロパゲーションイテレーション(例えば、1回のフォワードパスと1回のバックワードパス)を指し、ニューラルネットワークの訓練には多くのエポックが必要かもしれない。一般に、訓練セットが大きいほど、訓練されるMLモデルのパフォーマンスは向上するため、各種のデータ拡張方法が、訓練セットのサイズを大きくするために使用されてよい。例えば、訓練セットが対応する訓練入力画像と訓練出力画像のペアを含む場合、訓練画像は複数の対応する画像セグメント(又はパッチ)に分割されてよい。訓練入力画像及び訓練出力画像からの対応するパッチがペアにされて、1つの入力/出力画像ペアから複数の訓練パッチペアが画定されてよく、それによって訓練セットが拡張される。しかしながら、大きい訓練セットを訓練することによって、コンピュータリソース、例えばメモリ及びデータ処理リソースへの要求が高まる。演算要求は、大きい訓練セットを複数のミニバッチに分割することによって軽減されるかもしれず、このミニバッチのサイズは1回のフォワード/バックワードパスにおける訓練サンプルの数が決まる。この場合、そして1つのエポックは複数のミニバッチを含んでいてよい。他の問題は、NNが訓練セットを過剰適合して、特定の入力から異なる入力へと一般化するその能力が減少する可能性である。過剰適合の問題は、ニューラルネットワークのアンサンブルを作るか、又は訓練中にニューラルネットワーク内のノードをランダムにドロップアウトすることによって軽減されるかもしれず、これはドロップされたリードをニューラルネットワークから有効に除去する。インバースドロップアウト等、各種のドロップアウト調整方法が当業界で知られている。
留意すべき点として、訓練済みのNN機械モデルの演算は、演算/解析ステップの単純なアルゴリズムではない。実際に、訓練済みのNN機械モデルが入力を受け取ると、その入力は従来の意味では解析されない。むしろ、入力の主旨や性質(例えば、ライブ画像/スキャンを画定するベクトル、又は人口構造的説明又は活動の記録等のその他何れかのエンティティを画定するベクトル)に関係なく、入力は、訓練済みニューラルネットワークの同じアーキテクチャ構築(例えば、同じノード/層配置、訓練済み重み及びバイアス値、所定の畳み込み/逆畳み込み演算、活性化関数、プーリング演算等)の対象となり、訓練済みネットワークのアーキテクチャ構築がその出力をどのように生成するかは明らかでないかもしれない。さらに、訓練された重みとバイアスの値は、決定的ではなく、そのニューラルネットワークに付与される訓練のための時間の量(例えば、訓練におけるエポック数)、訓練開始前の重みのランダムな開始値、NNがそこで訓練されるマシンのコンピュータアーキテクチャ、訓練サンプルの選択、複数のミニバッチ間の訓練サンプルの分布、活性化関数の選択、重みを変更するエラー関数の選択、さらには訓練が1つのマシン(例えば、第一のコンピュータアーキテクチャを有する)で中断され、他のマシン(例えば、異なるコンピュータアーキテクチャを有する)で完了したか等、多くの要素に依存する。ポイントは、訓練済みのMLモデルが特定の出力になぜ到達したかの理由は明白でなく、MLモデルがその出力の基礎とする要素を特定しようとする多くの研究が現在行われている、ということである。したがって、ライブデータに対するニューラルネットワークの処理は、単純なステップのアルゴリズムまで減少させることはできない。むしろ、その演算は、その訓練アーキテクチャ、訓練サンプルセット、訓練シーケンス、及びMLモデルの訓練における様々な状況に依存する。
概略すると、NN機械学習モデルの構成は、学習(又は訓練)ステージと分類(又は演算)ステージを含んでいてよい。学習ステージでは、ニューラルネットワークは特定の目的のために訓練されてよく、また訓練例の集合が提供されてよく、これには訓練(サンプル)入力及び訓練(サンプル)出力が含まれ、任意選択により、訓練の進行状況を試験するためのバリデーションの例の集合が含まれる。この学習プロセス中、ニューラルネットワーク内のノード及びノード相互接続に関係付けられる各種の重みが徐々に調整されて、ニューラルネットワークの実際の出力と所望の訓練出力との間のエラーが縮小される。このようにして、多層フィードフォワードニューラルネットワーク(例えば前述のもの)は、何れの測定可能関数を何れの所望の精度までも概算できるかもしれない。学習ステージの結果として得られるのは、学習した(例えば、訓練済みの)(ニューラルネットワーク)機械学習(ML)である。演算ステージで、試験入力(又はライブ入力)の集合が学習済み(訓練済み)MLモデルに提供されてよく、それが学習したことを応用して、試験入力に基づいて出力予測を生成するかもしれない。
図23及び図24の通常のニューラルネットワークと同様に、畳み込みニューラルネットワーク(CNN)もまた、学習可能な重みとバイアスを有するニューロンで構成される。各ニューロンは入力を受け取り、演算(例えば、ドット積)を行い、任意選択によってそれに非線形変換が続く。しかしながら、CNNは、一方の端(例えば入力端)で生の画像ピクセルを受け取り、反対の端(例えば、出力端)で分類(又はクラス)のスコアを提供する。CNNは入力として画像を予想するため、これらはボリューム(例えば、画像のピククセル高さと幅及び、画像の深さ、例えば赤、緑、及び青の3色で定義されるRGB深さ等の色深さ)を扱うように最適化される。例えば、CNNの層は、三次元で配置されるニューロンのために最適化されてよい。CNN層内のニューロンは、完全に接続されたNNのニューロンの全部ではなく、その前の層の小さい領域に接続されてもよい。CNNの最終的な出力層は、フル画像を深さの次元に沿って配置される1つのベクトル(分類)に縮小するかもしれない。
図25は、例示的な畳み込みニューラルネットワークアーキテクチャを提供する。畳み込みニューラルネットワークは、2つ又はそれ以上の層(例えば、層1~層N)の連続として定義されてよく、層は(画像)畳み込みステップ、(結果の)加重和ステップ、及び非線形関数ステップを含んでいてよい。畳み込みはその入力データについて、例えばその入力データにわたる移動ウィンドウ上のフィルタ(又はカーネル)を適用して特徴マップを生成することによって行われてよい。各層及び層の構成要素は、異なる所定のフィルタ(フィルタバンクからのもの)、重み(又は重み付けパラメータ)、及び/又は関数パラメータを有していてよい。この例において、入力データは、あるピクセル高さと幅の画像であり、この画像の生のピクセル値であってもよい。この例において、入力画像は3つの色チャネルRGB(赤、緑、青)の深さを有するように描かれている。任意選択により、入力画像には様々な前処理が行われてよく、前処理の結果が生の画像データの代わりに、又はそれに加えて入力されてもよい。画像処理の幾つかの例には、網膜血管マップセグメンテーション、色空間変換、適応型ヒストグラム均一化、接続構成要素生成等が含まれていてよい。ある層内で、ドット積がある重みとそれらが入力ボリューム内で接続された小さい領域との間で計算されてよい。CNNを構成するための多くの方法が当業界で知られているが、例として、層はゼロにおけるmax(0,x)閾値等、要素ごと活性化関数を適用するために構成されてもよい。プーリング関数は、ボリュームをダウンサンプルするために(例えばx-y方向に沿って)行われてもよい。完全に接続された層は、分類出力を特定し、画像認識及び分類に有益であることが判明している一次元出力ベクトルを生成するために使用されてよい。しかしながら、画像セグメンテーションのためには、CNNは各ピクセルを分類する必要がある。各CNN層は入力画像の解像度を低下させる傾向があるため、画像をその当初の解像度へとアップサンプルするための別のステージが必要である。これは、転置畳み込み(又は逆畳み込み)ステージTCの適用によって実現されてよく、これは典型的に、何れの所定の補間方法も使用せず、その代わりに学習可能パラメータを有する。
畳み込みニューラルネットワークは、コンピュータビジョンの多くの問題にうまく適用されている。前述のように、CNNを訓練するには一般に、大きな訓練データセットが必要である。U-NetアーキテクチャはCNNに基づいており、一般に従来のCNNより小さい訓練データセットで訓練できる。
図26は、例示的なU-Netアーキテクチャを図解する。この例示的なU-Netは、入力モジュール(又は入力層若しくはステージ)を含み、これは何れかのサイズの入力U-in(例えば、入力画像又は画像パッチ)を受け取る。便宜上、任意のステージまたは層における画像サイズは、画像を表すボックス内に示され、例えば、入力モジュールでは、「128×128」の数字が囲まれており、入力画像U-inが128×128ピクセルで構成されていることを示している。入力画像は、眼底画像、OCT/OCTA en face、B-スキャン画像等であってよい。しかしながら、理解すべき点として、入力は何れの大きさまたは次元のものであってもよい。例えば、入力画像は、RGBカラー画像、モノクロ画像、ボリューム画像等であってよい。入力画像は一連の処理層を経て、その各々は例示的な大きさで図解されているが、これらの大きさは説明を目的としているにすぎず、例えば画像のサイズ、畳み込みフィルタ、及び/又はプーリングステージに依存するであろう。このアーキテクチャは、収束経路(本明細書では、例示的に4つの符号化モジュールを含む)とそれに続く拡張経路(本明細書では、例示的に4つの復号モジュールを含む)、及び対応するモジュール/ステージ間にあり、収束経路内の1つの符号化モジュールの出力をコピーして、それを拡張経路内の対応する復号モジュールのアップコンバートされた入力に結合する(例えば、後ろに追加する)コピー・アンド・クロップリンク(例えば、CC1~CC4)からなる。その結果、特徴的なU字型となり、そこからこのアーキテクチャが名付られている。任意選択的に、計算上の考慮等から、「ボトルネック」モジュール/ステージ(BN)を収束経路と拡張経路との間に配置することができる。ボトルネックBNは、2つの畳み込み層(バッチ正規化および任意選択的なドロップアウトを伴う)で構成されてもよい。
収束経路はエンコーダと同様であり、通常、特徴マップを使用してコンテキスト(または特徴)情報をキャプチャする。この例では、収束経路内の各符号化モジュールは、アスタリスク記号「*」で示される2つ以上の畳み込み層を含み、それに続いて最大プーリング層(例えば、ダウンサンプリング層)があってもよい。例えば、入力画像U-inは、2つの畳み込み層を経るように示されており、各々が32個の特徴マップを有する。各畳み込みカーネルは特徴マップを生成する(例えば、所与のカーネルを用いた畳み込み演算からの出力は、一般に「特徴マップ」と呼ばれる画像である)ことが理解され得る。例えば、入力U-inは、32個の畳み込みカーネル(図示せず)を適用する最初の畳み込みを経て、32個の個々の特徴マップからなる出力を生成する。しかしながら、当該技術分野で既知であるように、畳み込み演算によって生成される特徴マップの数は、(上方または下方に)調整することができる。例えば、特徴マップの数は、特徴マップのグループを平均化すること、いくつかの特徴マップを削除すること、または特徴マップを削減する他の既知の方法によって削減することができる。この例では、この最初の畳み込みの後に、出力が32個の特徴マップに制限される第2の畳み込みが続く。特徴マップを想定する別の方法は、畳み込み層の出力を、2D寸法/平面が記載されたXY平面ピクセル寸法(例えば、128×128ピクセル)によって与えられ、深さが特徴マップの数(例えば、32個の平面画像の深さ)によって与えられる3D画像として考えることである。この例示に従うと、第2の畳み込みの出力(例えば、収束経路の最初の符号化モジュールの出力)は、128×128×32の画像として記述され得る。次に、第2の畳み込みからの出力は、プーリング演算にかけられる。これにより、各特徴マップの2D次元が縮小される(例えば、X寸法およびY寸法がそれぞれ半分に縮小され得る)。プーリング演算は、下向き矢印で示されているように、ダウンサンプリング処理内で具体化され得る。最大プーリングなどのいくつかのプーリング方法は当該技術分野で既知であり、特定のプーリング方法は本発明にとって重要ではない。特徴マップの数は、最初の符号化モジュール(またはブロック)内の32個の特徴マップ、第2の符号化モジュール内の64個の特徴マップなど、各プーリングにおいて2倍になる。従って、収束経路は、複数の符号化モジュール(またはステージまたはブロック)で構成される畳み込みネットワークを形成する。畳み込みネットワークに典型的なように、各符号化モジュールは、少なくとも1つの畳み込みステージと、それに続く活性化関数(例えば、正規化線形ユニット(ReLU:rectified linear unit)またはシグモイド層)(図示せず)、および最大プーリング演算を提供し得る。一般に、活性化関数は、層に非線形性を導入し(例えば、過剰適合の問題を回避するため)、層の結果を受け取り、出力を「活性化」するかどうかを判断する(例えば、特定のノードに値が出力を次の層/ノードに転送する所定の基準を満たすかどうかを判断する)。要約すると、収束経路は一般に空間情報を削減し、特徴情報を増加させる。
拡張経路はデコーダと同様であり、とりわけ、収縮ステージで行われたダウンサンプリング及び何れの最大プーリングにもかかわらず、局所化、および収束経路の結果に対する空間情報を提供することである。拡張経路は、複数の復号モジュールを含み、各復号モジュールは、その現在のアップコンバートされた入力を対応する符号化モジュールの出力と結合する。このように、特徴及び空間情報は拡張経路においてアップコンボリューション(例えば、アップサンプリング又は転置畳み込み、すなわち逆畳み込み)と収束経路からの高解像度特徴との結合(例えば、CC1~CC4を介する)の連続を通じて組み合わされる。それゆえ、逆畳み込み層の出力は、収束経路からの対応する(任意選択によりクロップされた)特徴マップと、それに続いて2つの畳み込み層及び活性化関数(任意選択によるバッチ正規化)に結合される。
拡張経路内の最後の拡張モジュールからの出力は、分類器ブロック等、他の処理/訓練ブロック又は層に供給されてよく、これはU-Netアーキテクチャと共に訓練されてもよい。代替的に、または追加的に、最後のアップサンプリングブロック(拡張パスの最後にある)の出力は、その出力U-outを生成する前に、点線の矢印によって示されるように、別の畳み込み(例えば、出力畳み込み)演算にかけられ得る。出力畳み込みのカーネルサイズは、最後のアップサンプリングブロックの寸法を所望のサイズに低減するように選択され得る。例えば、ニューラルネットワークは、出力畳み込みに達する直前にピクセル単位で複数の特徴を有し得、これは、ピクセル単位のレベルで、これらの複数の特徴をピクセル単位の単一の出力値に組み合わせるための1×1畳み込み演算を提供し得る。
コンピューティングデバイス/システム
図27は、例示的なコンピュータシステム(又はコンピューティングデバイス又はコンピュータデバイス)を図解する。幾つかの実施形態において、1つ又は複数のコンピュータシステムは本明細書において記載又は図解された機能を提供し、及び/又は本明細書において記載又は図解された1つ又は複数の方法の1つ又は複数のステップを実行してよい。コンピュータシステムは、何れの適当な物理的形態をとってもよい。例えば、コンピュータシステムは、埋込みコンピュータシステム、システムオンチップ(SOC)、又はシングルボードコンピュータシステム(SBC)(例えば、コンピュータ・オン・モジュール(COM)又はシステム・オン・モジュール(SOM)等)、デスクトップコンピュータシステム、ラップトップ若しくはノートブックコンピュータシステム、コンピュータシステムのメッシュ、携帯電話、携帯型情報端末(PDA)、サーバ、タブレットコンピュータシステム、拡張/仮想現実装置、又はこれらのうちの2つ以上の組合せであってよい。適当であれば、コンピュータシステムはクラウド内にあってよく、これは1つ又は複数のクラウドコンポーネントを1つ又は複数のネットワーク内に含んでいてよい。
図27は、例示的なコンピュータシステム(又はコンピューティングデバイス又はコンピュータデバイス)を図解する。幾つかの実施形態において、1つ又は複数のコンピュータシステムは本明細書において記載又は図解された機能を提供し、及び/又は本明細書において記載又は図解された1つ又は複数の方法の1つ又は複数のステップを実行してよい。コンピュータシステムは、何れの適当な物理的形態をとってもよい。例えば、コンピュータシステムは、埋込みコンピュータシステム、システムオンチップ(SOC)、又はシングルボードコンピュータシステム(SBC)(例えば、コンピュータ・オン・モジュール(COM)又はシステム・オン・モジュール(SOM)等)、デスクトップコンピュータシステム、ラップトップ若しくはノートブックコンピュータシステム、コンピュータシステムのメッシュ、携帯電話、携帯型情報端末(PDA)、サーバ、タブレットコンピュータシステム、拡張/仮想現実装置、又はこれらのうちの2つ以上の組合せであってよい。適当であれば、コンピュータシステムはクラウド内にあってよく、これは1つ又は複数のクラウドコンポーネントを1つ又は複数のネットワーク内に含んでいてよい。
幾つかの実施形態において、コンピュータシステムはプロセッサCpnt1、メモリCpnt2、ストレージCpnt3、入力/出力(I/O)インタフェースCpnt4、通信インタフェースCpnt5、及びバスCpnt6を含んでいてよい。コンピュータシステムは、任意選択により、ディスプレイCpnt7、例えばコンピュータモニタ又はスクリーンも含んでいてよい。
プロセッサCpnt1は、コンピュータプログラムを構成するもの等、命令を実行するためのハードウェアを含む。例えば、プロセッサCpnt1は、中央処理ユニット(CPU)又は汎用コンピューティング・オン・グラフィクス処理ユニット(GPGPU)であってもよい。プロセッサCpnt1は、命令を内部レジスタ、内部キャッシュ、メモリCpnt2、又はストレージCpnt3から読み出し(又はフェッチし)、この命令を復号して実行し、1つ又は複数の結果を内部レジスタ、内部キャッシュ、メモリCpnt2、又はストレージCpnt3に書き込んでよい。特定の実施形態において、プロセッサCpnt1は、データ、命令、又はアドレスのための1つ又は複数の内部キャッシュを含んでいてよい。プロセッサCpnt1は、1つ又は複数の命令キャッシュ、1つ又は複数のデータキャッシュを、例えばデータテーブルを保持するために含んでいてよい。命令キャッシュ内の命令は、メモリCpnt2又はストレージCpnt3内の命令のコピーであってもよく、命令キャッシュはプロセッサCpnt1によるこれらの命令の読出しをスピードアップするかもしれない。プロセッサCpnt1は、何れの適当な数の内部レジスタを含んでいてもよく、1つ又は複数の算術論理演算ユニット(ALU:arithmetic logic units)を含んでいてよい。プロセッサCpnt1は、マルチコアプロセッサであるか、又は1つ若しくは複数のプロセッサCpnt1を含んでいてよい。本開示は特定のプロセッサを説明し、図解しているが、本開示は何れの適当なプロセッサも想定している。
メモリCpnt2は、処理を実行し、又は処理中に中間データを保持するプロセッサCpnt1のための命令を保存するメインメモリを含んでいてよい。例えば、コンピュータシステムは、命令又はデータ(例えば、データテーブル)をストレージCpnt3から、又は他のソース(例えば、他のコンピュータシステム)からメモリCpnt2にロードしてもよい。プロセッサCpnt1は、メモリCpnt2からの命令とデータを1つ又は複数の内部レジスタ又は内部キャッシュにロードしてもよい。命令を実行するために、プロセッサCpnt1は内部レジスタ又は内部キャッシュから命令を読み出して復号してもよい。命令の実行中又はその後に、プロセッサCpnt1は1つ又は複数の結果(これは、中間結果でも最終結果でもよい)を内部レジスタ、内部キャッシュ、メモリCpnt2、又はストレージCpnt3に書き込んでよい。バスCpnt6は、1つ又は複数のメモリバス(これは各々、アズレスバスとデータバスを含んでいてよい)を含んでいてよく、プロセッサCpnt1をメモリCpnt2及び/又はストレージCpnt3に連結してよい。任意選択により、1つ又は複数のメモリ管理ユニット(MMU)は、プロセッサCpnt1とメモリCpnt2との間のデータ伝送を容易にする。メモリCpnt2(これは、高速揮発性メモリであってもよい)には、ランダムアクセスメモリ(RAM)、例えばダイナミックRAM(DRAM)又はスタティックRAM(SRAM)が含まれていてよい。ストレージCpnt3には、データ又は命令のための長期又は大容量メストレージを含んでいてよい。ストレージCpnt3はコンピュータシステムに内蔵されても外付けでもよく、ディスクドライブ(例えば、ハードディスクドライブHDD、又はソリッドステートドライブSSD)、フラッシュメモリ、ROM、EPROM、光ディスク、磁気光ディスク、磁気テープ、ユニバーサルシリアルバス(USB)-アクセス可能ドライブ、又はその他の種類の不揮発性メモリのうちの1つ又は複数を含んでいてよい。
I/OインタフェースCpnt4は、ソフトウェア、ハードウェア、又はそれら両方の組合せであってよく、I/Oデバイスと通信するための1つ又は複数のインタフェース(例えば、シリアル又はパラレル通信ポート)を含んでいてよく、これはヒト(例えば、ユーザ)との通信を可能にしてもよい。例えば、I/Oデバイスとしては、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカ、スチールカメラ、スタイラス、テーブル、タッチスクリーン、トラックボール、ビデオカメラ、他の適当なI/Oデバイス、又はこれら2つ以上の組合せが含まれていてよい。
通信インタフェースCpnt5は、他のシステム又はネットワークと通信するためのネットワークインタフェースを提供してもよい。通信インタフェースCpnt5は、Bluetooth(登録商標)インタフェース又はその他の種類のパケットベース通信を含んでいてよい。例えば、通信インタフェースCpnt5は、ネットワークインタフェースコントローラ(NIC)及び/又は、無線ネットワークとの通信のための無線NIC若しくは無線アダプタを含んでいてよい。通信インタフェースCpnt5は、WI-FIネットワーク、アドホックネットワーク、パーソナルエリアネットワーク(PAN)、無線PAN(例えば、Bluetooth WPAN)、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、携帯電話ネットワーク(例えば、汎欧州デジタル移動電話方式(Global System for Mobile Communications)(GSM(登録商標))ネットワーク等)、インタネット、又はこれらの2つ以上の組合せとの通信を提供してよい。
バスCpnt6は、コンピューティングシステムの上述のコンポーネント間の通信リンクを提供してよい。例えば、バスCpnt6は、アクセラレーテッド・グラフィックス・ポート(Accelerated Graphics Port)(AGP)若しくはその他のグラフィクスバス、拡張業界標準(Enhanced Industry Standard)アーキテクチャ(EISA)バス、フロントサイドバス(FSB)、ハイパートランスポート(HyperTransport)(HT)インタコネクト、業界標準アーキテクチャ(ISA)バス、インフィニバンド(InfiniBand)バス、low-pin-count(LPC)バス、メモリバス、マイクロチャネルアーキテクチャ(MCA)バス、ペリフェラル・コンポーネント・インターコネクト(Peripheral Component Interconnect)(PCI)バス、PCI-Express(PCIe)バス、シリアル・アドバンスト・テクノロジ・アタッチメント(serial advanced technology attachment)(SATA)バス、ビデオ・エレクトロニクス・スタンダーズ・アソシエーション・ローカル(Video Electronics Standards Association local)(VLB)バス、若しくはその他の適当なバス、又はこれらの2つ以上の組合せを含んでいてよい。
本開示は、特定の数の特定のコンポーネントを特定の配置で有する特定のコンピュータシステムを説明し、図解しているが、本開示は何れの適当な数の何れの適当なコンポーネントを何れの適当な配置で有する何れの適当なコンピュータシステムも想定している。
本明細書において、コンピュータ可読非一時的記憶媒体は、1つ又は複数の半導体ベース又はその他の集積回路(IC)(例えば、フィールドプログラマブルゲートアレイ(FPGA)若しくは特定用途IC(ASIC))、ハードディスクドライブ(HDD)、ハイブリッドハードドライブ(HHD)、光ディスク、光ディスクドライブ(ODD)、磁気光ディスク、磁気光ドライブ、フロッピディスケット、フロッピディスクドライブ(FDD)、磁気テープ、ソリッドステートドライブ(SSD)、RAM-ドライブ、SECURE DIGITALカード若しくはドライブ、その他のあらゆる適当なコンピュータ可読非一時的記憶媒体、又は適当であればこれらの2つ以上あらゆる適当な組合せを含んでいてよい。コンピュータ可読非一時的記憶媒体は、揮発性、不揮発性、又は適当であれば揮発性と不揮発性の組合せであってよい。
本発明は幾つかの具体的な実施形態と共に説明されているが、当業者にとっては明白であるように、上記の説明を参照すれば多くのその他の代替案、改良、及び変形型が明らかである。それゆえ、本明細書に記載の発明は、付属の特許請求の範囲の主旨と範囲に含まれるかもしれないあらゆるこのような代替案、改良、応用、及び変形型の全てを包含することが意図されている。
Claims (19)
- 光干渉断層撮影(以下、OCTとする)データの品質指標を生成するための方法であって、
OCTデータのボリュームを取得するステップと、
ボリュームOCTデータから1つまたは複数のスラブビューを定義するステップと、
各スラブビューから複数の特徴マップを生成するステップと、
前記複数の特徴マップの画像特性に基づいて前記品質指標を決定するステップと、
前記品質指標を表示するか、またはさらなる処理のために前記品質指標を記憶するステップと、を含む方法。 - 複数の前記スラブビューが定義される、請求項1に記載の方法。
- 各スラブビューは、前記OCTデータのボリュームのサブボリュームの正面平面ビューである、請求項1又は2に記載の方法。
- 前記品質指標を決定するステップは、前記複数の特徴マップを、複数の事前に等級付けされたOCTデータボリュームサンプル、OCTデータボリュームサンプルごとに定義された1つまたは複数の訓練スラブビュー、および各訓練スラブビューから生成された複数の訓練特徴マップを使用して訓練された機械モデルに提示することを含む、請求項1、2、または3に記載の方法。
- 前記機械モデルは、深層学習モデルである、請求項4に記載の方法。
- 前記機械モデルは、ニューラルネットワークモデルである、請求項4に記載の方法。
- 前記複数の特徴マップの前記画像特性は、画像テクスチャ特徴を含む、請求項1乃至6のいずれか一項に記載の方法。
- 前記複数の特徴マップの前記画像特性は、ハラリック特徴を含む、請求項1乃至6のいずれか一項に記載の方法。
- 前記OCTデータは、OCT血管造影データである、請求項1乃至8のいずれか一項に記載の方法。
- 前記品質指標は、対応するスラブビューの異なる領域についての品質指標を特定する二次元(以下、2Dという)品質マップである、請求項1乃至9のいずれか一項に記載の方法。
- 前記OCTデータのボリュームを取得するステップは、
a)同じ網膜組織領域の複数の異なるOCTボリュームサンプルを収集すること、
b)複数のOCTボリュームサンプルの各々に、1つまたは複数のスラブビューを定義するステップと、前記複数の特徴マップを生成するステップと、前記複数の特徴マップに基づいて前記品質指標を決定するステップとを適用して、前記複数の異なるOCTボリュームサンプルに対応する複数の2D品質マップサンプルが定義されるようにすること、を含み、
前記方法は、
個々の2D品質マップサンプルに基づいて、前記複数の異なるOCTボリュームサンプルの高品質領域に基づいて合成OCTデータを定義するステップをさらに含む、請求項10に記載の方法。 - 前記品質指標を決定するステップは、前記複数の特徴マップに基づいて前記品質マップを決定するように訓練された機械モデルに前記複数の特徴マップを提示することを含み、
前記機械モデルは、所定の閾値よりも低い品質指標を有する前記品質マップ内の品質領域の1つまたは複数の原因を特定し、後続のOCT取得において前記低い品質指標を改善するための1つまたは複数の補正動作を特定するようにさらに訓練される、請求項10または11に記載の方法。 - 前記1つまたは複数の原因は、不正確な焦点合わせ、混濁、所定の閾値未満の照明、所定の閾値未満の光透過、追跡アーチファクトまたは運動アーチファクト、および所定の閾値を超えるノイズのうちの1つまたは複数を含む誤差源の所定のリストから選択される、請求項12に記載の方法。
- 前記1つまたは複数の補正動作は、焦点調節、瞳孔拡大の推奨、代替撮像角度の特定、または視線追跡の喪失の可能性のある原因の特定を含む、請求項12または13に記載の方法。
- 前記補正動作が電子ディスプレイに出力される、請求項12乃至14のいずれか一項に記載の方法。
- 前記補正動作は、後続の取得の前に前記補正動作を自動的に実施する自動化サブシステムに転送される、請求項12乃至15のいずれか一項に記載の方法。
- 前記品質マップの個々の品質指標分布の平均に少なくとも部分的に基づいて、取得に関する総合的な品質スコアを定義するステップをさらに含む、請求項10乃至16のいずれか一項に記載の方法。
- 前記取得は、網膜の同じ領域の複数のOCTスキャンから定義されたOCTA取得であり、前記方法は、前記OCTA取得が定義される前記複数のOCTスキャンの前記品質マップの個々の品質指標分布の平均に少なくとも部分的に基づいて、前記OCTA取得に対する総合的な品質スコアを定義するステップをさらに含む、請求項10乃至17のいずれか一項に記載の方法。
- 前記取得内のターゲット領域を識別するステップと、前記ターゲット領域に対応する前記品質マップ指標に基づいて、取得全体を良好または不良として指定するステップとをさらに含む、請求項10乃至18のいずれか一項に記載の方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063119377P | 2020-11-30 | 2020-11-30 | |
US63/119,377 | 2020-11-30 | ||
US202163233033P | 2021-08-13 | 2021-08-13 | |
US63/233,033 | 2021-08-13 | ||
PCT/EP2021/083302 WO2022112546A1 (en) | 2020-11-30 | 2021-11-29 | Quality maps for optical coherence tomography angiography |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023551214A true JP2023551214A (ja) | 2023-12-07 |
Family
ID=78820772
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023530914A Pending JP2023551214A (ja) | 2020-11-30 | 2021-11-29 | 光干渉断層撮影血管造影のための品質マップ |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230410293A1 (ja) |
EP (1) | EP4252179A1 (ja) |
JP (1) | JP2023551214A (ja) |
WO (1) | WO2022112546A1 (ja) |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6549801B1 (en) | 1998-06-11 | 2003-04-15 | The Regents Of The University Of California | Phase-resolved optical coherence tomography and optical doppler tomography for imaging fluid flow in tissue with fast scanning speed and high velocity sensitivity |
US6741359B2 (en) | 2002-05-22 | 2004-05-25 | Carl Zeiss Meditec, Inc. | Optical coherence tomography optical scanner |
US7359062B2 (en) | 2003-12-09 | 2008-04-15 | The Regents Of The University Of California | High speed spectral domain functional optical coherence tomography and optical doppler tomography for in vivo blood flow dynamics and tissue structure |
US7301644B2 (en) | 2004-12-02 | 2007-11-27 | University Of Miami | Enhanced optical coherence tomography for anatomical mapping |
US7365856B2 (en) | 2005-01-21 | 2008-04-29 | Carl Zeiss Meditec, Inc. | Method of motion correction in optical coherence tomography imaging |
US8180134B2 (en) | 2006-09-26 | 2012-05-15 | Oregon Health & Science University | In vivo structural and flow imaging |
TW201140226A (en) | 2010-02-08 | 2011-11-16 | Oregon Health & Amp Science University | Method and apparatus for ultrahigh sensitive optical microangiography |
US8433393B2 (en) | 2011-07-07 | 2013-04-30 | Carl Zeiss Meditec, Inc. | Inter-frame complex OCT data analysis techniques |
US9332902B2 (en) | 2012-01-20 | 2016-05-10 | Carl Zeiss Meditec, Inc. | Line-field holoscopy |
US9759544B2 (en) | 2014-08-08 | 2017-09-12 | Carl Zeiss Meditec, Inc. | Methods of reducing motion artifacts for optical coherence tomography angiography |
US9700206B2 (en) | 2015-02-05 | 2017-07-11 | Carl Zeiss Meditec, Inc. | Acquistion and analysis techniques for improved outcomes in optical coherence tomography angiography |
-
2021
- 2021-11-29 EP EP21819121.1A patent/EP4252179A1/en active Pending
- 2021-11-29 WO PCT/EP2021/083302 patent/WO2022112546A1/en active Application Filing
- 2021-11-29 US US18/035,492 patent/US20230410293A1/en active Pending
- 2021-11-29 JP JP2023530914A patent/JP2023551214A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230410293A1 (en) | 2023-12-21 |
EP4252179A1 (en) | 2023-10-04 |
WO2022112546A1 (en) | 2022-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220058803A1 (en) | System for oct image translation, ophthalmic image denoising, and neural network therefor | |
Bogunović et al. | RETOUCH: The retinal OCT fluid detection and segmentation benchmark and challenge | |
JP7193343B2 (ja) | 機械学習技法を用いたoctアンギオグラフィにおけるアーチファクトを減少させるための方法及び装置 | |
US11263747B2 (en) | Detecting avascular areas using neural networks | |
US20220084210A1 (en) | Segmentation and classification of geographic atrophy patterns in patients with age related macular degeneration in widefield autofluorescence images | |
Chen et al. | Automated segmentation of fluid regions in optical coherence tomography B-scan images of age-related macular degeneration | |
US10719932B2 (en) | Identifying suspicious areas in ophthalmic data | |
EP4128138B1 (en) | Correction of flow projection artifacts in octa volumes using neural networks | |
US20230196572A1 (en) | Method and system for an end-to-end deep learning based optical coherence tomography (oct) multi retinal layer segmentation | |
US20230140881A1 (en) | Oct en face pathology segmentation using channel-coded slabs | |
Elsawy et al. | Pathological-corneas layer segmentation and thickness measurement in OCT images | |
WO2018162690A1 (en) | Method for analyzing avascular regions in optical coherence tomography angiography images | |
US20240127446A1 (en) | Semi-supervised fundus image quality assessment method using ir tracking | |
Ibrahim et al. | Volumetric quantification of choroid and Haller's sublayer using OCT scans: An accurate and unified approach based on stratified smoothing | |
JP2023551214A (ja) | 光干渉断層撮影血管造影のための品質マップ | |
Meng et al. | Application of Improved U‐Net Convolutional Neural Network for Automatic Quantification of the Foveal Avascular Zone in Diabetic Macular Ischemia | |
CN116508060A (zh) | 光学相干断层扫描血管造影的质量图 | |
US20230190095A1 (en) | Method and system for choroid-scleral segmentation using deep learning with a choroid-scleral layer model | |
Sigut et al. | In-Depth Evaluation of Saliency Maps for Interpreting Convolutional Neural Network Decisions in the Diagnosis of Glaucoma Based on Fundus Imaging | |
US20240095876A1 (en) | Using multiple sub-volumes, thicknesses, and curvatures for oct/octa data registration and retinal landmark detection | |
Melinščak | Segmentation of retinal structures in optical coherent tomography images | |
Sampson et al. | AI-driven innovations in signal/image processing and data analysis for optical coherence tomography in clinical applications | |
Cheong | Deep Learning Approaches on Optical Coherence Tomography Images for Image Restoration, Segmentation, and Glaucoma Diagnosis | |
Elsawy | Deep Learning for the Segmentation and Classification of Optical Coherence Tomography Images of the Eye |