TWI742782B - 視網膜分層厚度檢測模型之建立方法、視網膜分層厚度檢測系統、眼部照護裝置、視網膜分層厚度檢測方法及失智症評估和預測方法 - Google Patents

視網膜分層厚度檢測模型之建立方法、視網膜分層厚度檢測系統、眼部照護裝置、視網膜分層厚度檢測方法及失智症評估和預測方法 Download PDF

Info

Publication number
TWI742782B
TWI742782B TW109125465A TW109125465A TWI742782B TW I742782 B TWI742782 B TW I742782B TW 109125465 A TW109125465 A TW 109125465A TW 109125465 A TW109125465 A TW 109125465A TW I742782 B TWI742782 B TW I742782B
Authority
TW
Taiwan
Prior art keywords
coherence tomography
image
optical coherence
layer thickness
retinal
Prior art date
Application number
TW109125465A
Other languages
English (en)
Other versions
TW202203844A (zh
Inventor
何岳璟
張菁萍
郭淑純
林高章
Original Assignee
國立勤益科技大學
奇美醫療財團法人奇美醫院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立勤益科技大學, 奇美醫療財團法人奇美醫院 filed Critical 國立勤益科技大學
Priority to TW109125465A priority Critical patent/TWI742782B/zh
Priority to US17/033,962 priority patent/US11288801B2/en
Application granted granted Critical
Publication of TWI742782B publication Critical patent/TWI742782B/zh
Publication of TW202203844A publication Critical patent/TW202203844A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本發明提供一種視網膜分層厚度檢測系統，其包含影像擷取單元和處理器。所述處理器儲存一程式。所述程式包含參照資料庫取得模組、參照影像前處理模組、參照特徵選取模組、訓練模組、確認模組、目標特徵選取模組、標線模組以及計算模組。藉此所述視網膜分層厚度檢測系統可用以檢測受試者的視網膜分層厚度。

Description

視網膜分層厚度檢測模型之建立方法、視網膜分層厚度檢測系統、眼部照護裝置、視網膜分層厚度檢測方法及失智症評估和預測方法
本發明是有關於一種醫療資訊分析模型、系統以及方法，特別是一種視網膜分層厚度檢測模型、視網膜分層厚度檢測系統、眼部照護裝置、視網膜分層厚度檢測方法以及失智症評估和預測方法。
視網膜為脊椎動物和一些頭足綱動物眼球後部的一層非常薄的細胞層，視網膜含有可以感受光的視桿細胞和視錐細胞，能感受到的光轉化為神經信號。所轉化的神經信號可再被視網膜上的其它神經細胞處理後，轉化為視網膜神經節細胞的動作電位。在形態形成的過程中，視網膜和視神經是從腦中延伸出來的。視網膜和中樞神經系統具有共同的起源，皆都來自發育中的神經外胚層，並通過視神經保持直接和永久的連接。作為中樞神經系統的延伸，視網膜與大腦共享許多組織學、生理學和胚胎學特徵。
人的視網膜分10個層，由最外到最內分別為視網膜色素上皮細胞、感光層、外界膜、外顆粒層、外叢層、內顆粒層、內叢層、神經節細胞層、神經纖維層和內界膜。許多眼科疾病都會因視網膜的水腫或萎縮而伴有視網膜厚度的病理改變，如糖尿病性視網膜病變、中心性漿液性脈絡膜視網膜病變、視網膜血管阻塞、葡萄膜炎以及白內障摘出術後均可導致黃斑水腫而引起視網膜厚度的增加。相反地，青光眼及一些變性疾病所導致的視網膜萎縮可引起視網膜厚度減少。客觀、準確、敏感地測定視網膜厚度對這些眼科疾病的診斷及指導治療都具有重要的臨床意義。此外，視網膜各層的分割有助於測量單一視網膜分層的最大厚度及細胞密度進行最細微的觀察，避免因為臨床經驗不足造成人為診斷疏失，從而有可能檢測出上述疾病的存在。
目前定量數據主要是通過手動分層才能獲得相關資訊。手動分割不僅需要專業的判定者，對於臨床使用或大規模的多中心試驗而言非常耗時。此外，由於是主觀認定，也容易造成結果的誤判而失去治療的良機。因此自動分層及量化系統是非常重要的主題，運用分層後的大數據資料庫建立，與患者的預後及治療反應同時進行評估，將極具臨床應用價值。
本發明之一態樣是在提供一種視網膜分層厚度檢測模型之建立方法，包含以下步驟：取得參照資料庫、進行影像前處理步驟、進行特徵選取步驟、進行訓練步驟和進行確認步驟。所述參照資料庫包含複數個參照光學同調斷層掃描影像。影像前處理步驟係複製各參照光學同調斷層掃描影像並繪製視網膜各層細胞分隔線，以得到複數個對照光學同調斷層掃描影像。特徵選取步驟係利用特徵選取模組分析各參照光學同調斷層掃描影像後，於各參照光學同調斷層掃描影像中得到至少一參照影像特徵值，以取得複數個參照影像特徵值。訓練步驟係將複數個參照影像特徵值透過卷積神經網路學習分類器進行訓練而達到收斂，以得到視網膜分層厚度檢測模型。確認步驟係以視網膜分層厚度檢測模型輸出複數個標線光學同調斷層掃描影像，並將標線光學同調斷層掃描影像分別與相應的各對照光學同調斷層掃描影像進行比對，以驗證視網膜分層厚度檢測模型的準確性。
本發明之另一態樣是在提供一種視網膜分層厚度檢測系統，其包含影像擷取單元和處理器。影像擷取單元用以擷取受試者之目標光學同調斷層掃描影像。處理器電性連接影像擷取單元，所述處理器其儲存一程式，當程式由處理器執行時，程式檢測受試者的視網膜分層厚度。所述程式包含參照資料庫取得模組、參照影像前處理模組、參照特徵選取模組、訓練模組、確認模組、目標特徵選取模組、標線模組和計算模組。參照資料庫取得模組用以取得參照資料庫，所述參照資料庫包含複數個參照光學同調斷層掃描影像。參照影像前處理模組用以複製各參照光學同調斷層掃描影像並繪製視網膜各層細胞分隔線，以得到複數個對照光學同調斷層掃描影像。參照特徵選取模組用以分析各參照光學同調斷層掃描影像後，於各參照光學同調斷層掃描影像中得到至少一參照影像特徵值，以取得複數個參照影像特徵值。訓練模組用以將複數個參照影像特徵值透過卷積神經網路學習分類器訓練達到收斂，以得到視網膜分層厚度檢測模型。確認模組用以透過視網膜分層厚度檢測模型輸出複數個標線光學同調斷層掃描影像，並將標線光學同調斷層掃描影像分別與相應的各對照光學同調斷層掃描影像進行比對，以確認視網膜分層厚度檢測模型的準確性。目標特徵選取模組用以分析目標光學同調斷層掃描影像後以得至少一目標影像特徵值。標線模組用以將目標影像特徵值以視網膜分層厚度檢測模型進行分析，以輸出一標線目標光學同調斷層掃描影像。計算模組用以計算標線目標光學同調斷層掃描影像中視網膜各層細胞厚度。
本發明之又一態樣是在提供一種眼部照護裝置，其包含前段所述視網膜分層厚度檢測系統以及電子裝置，電子裝置電訊連接前述之視網膜分層厚度檢測系統。
本發明之再一態樣是在提供一種視網膜分層厚度檢測方法，包含下述步驟。提供前段所述視網膜分層厚度檢測模型。提供受試者之目標光學同調斷層掃描影像。利用視網膜分層厚度檢測模型分析目標光學同調斷層掃描影像，以輸出標線目標光學同調斷層掃描影像。利用計算模組計算標線目標光學同調斷層掃描影像中視網膜各層細胞厚度。
本發明之更一態樣是在提供一種失智症評估和預測方法，包含下述步驟。提供前段所述視網膜分層厚度檢測模型。提供受試者之目標光學同調斷層掃描影像。利用視網膜分層厚度檢測模型分析目標光學同調斷層掃描影像，以輸出標線目標光學同調斷層掃描影像。利用計算模組計算標線目標光學同調斷層掃描影像中視網膜各層細胞厚度。提供受試者之醫學檢測資料。利用迴歸分析模型比對視網膜各層細胞厚度與醫學檢測資料，以計算受試者罹患失智症的評估分數。
於以下詳細敘述中，為了說明起見，闡述了許多特定的細節以完整地了解在此揭露之實施方式。然而，明顯地，仍有一或多個實施方式可在沒有這些特定細節下執行。
請參照第1圖，繪示本發明一實施方式之視網膜分層厚度檢測模型之建立方法100的步驟流程圖。視網膜分層厚度檢測模型之建立方法100包含步驟110、步驟120、步驟130、步驟140和步驟150。建立後的視網膜分層厚度檢測模型可用以輸出標線光學同調斷層掃描影像，以利後續計算視網膜各層細胞厚度。
步驟110是取得參照資料庫，所述參照資料庫包含複數個參照光學同調斷層掃描(Optical coherence tomography; OCT)影像。
步驟120是進行影像前處理步驟，影像前處理步驟係複製各參照光學同調斷層掃描影像並繪製視網膜各層細胞分隔線，以得到複數個對照光學同調斷層掃描影像。
步驟130是進行特徵選取步驟，特徵選取步驟係利用特徵選取模組分析各參照光學同調斷層掃描影像後，於各參照光學同調斷層掃描影像中得到至少一參照影像特徵值，以取得複數個參照影像特徵值。
步驟140是進行訓練步驟，訓練步驟係將複數個參照影像特徵值透過卷積神經網路學習分類器進行訓練而達到收斂，以得到視網膜分層厚度檢測模型。所述卷積神經網路學習分類器可包含一降採樣塔(Downsampling Tower)和一升採樣塔(Upsampling Tower)，且降採樣塔和升採樣塔利用一殘差連接(Skip Connection)互相連接。較佳地，降採樣塔包含複數個DenseNet模塊(DenseNet Block, DNB)，各DenseNet模塊之間以卷積(Convolution, Conv)方法逐步降低圖像尺寸。升採樣塔包含複數個DenseNet模塊(DenseNet Block, DNB)，各DenseNet模塊之間以反卷積(Transpose Convolution, TConv)方法逐步擴大圖像尺寸。
步驟150是進行確認步驟，確認步驟係以視網膜分層厚度檢測模型輸出複數個標線光學同調斷層掃描影像，並將標線光學同調斷層掃描影像分別與相應的各對照光學同調斷層掃描影像進行比對，以驗證視網膜分層厚度檢測模型的準確性。
請參照第2圖，繪示本發明另一實施方式之視網膜分層厚度檢測系統200的架構示意圖。視網膜分層厚度檢測系統200包含影像擷取單元210和處理器220。
影像擷取單元210可為視網膜光學斷層掃描儀，用以擷取受試者之目標光學同調斷層掃描影像。
處理器220電性連接影像擷取單元210，所述處理器220其儲存一程式，當程式由處理器220執行時，程式檢測受試者的視網膜分層厚度。所述程式包含參照資料庫取得模組221、參照影像前處理模組222、參照特徵選取模組223、訓練模組224、確認模組225、目標特徵選取模組226、標線模組227和計算模組228。
參照資料庫取得模組221用以取得參照資料庫，所述參照資料庫包含複數個參照光學同調斷層掃描影像。
參照影像前處理模組222用以複製各參照光學同調斷層掃描影像並繪製視網膜各層細胞分隔線，以得到複數個對照光學同調斷層掃描影像。
參照特徵選取模組223用以分析各參照光學同調斷層掃描影像後，於各參照光學同調斷層掃描影像中得到至少一參照影像特徵值，以取得複數個參照影像特徵值。
訓練模組224用以將複數個參照影像特徵值透過卷積神經網路學習分類器訓練達到收斂，以得到視網膜分層厚度檢測模型。
確認模組225用以透過視網膜分層厚度檢測模型輸出複數個標線光學同調斷層掃描影像，並將標線光學同調斷層掃描影像分別與相應的各對照光學同調斷層掃描影像進行比對，以確認視網膜分層厚度檢測模型的準確性。
目標特徵選取模組226用以分析目標光學同調斷層掃描影像後以得至少一目標影像特徵值。
標線模組227用以將目標影像特徵值以視網膜分層厚度檢測模型進行分析，以輸出一標線目標光學同調斷層掃描影像。
計算模組228用以計算標線目標光學同調斷層掃描影像中視網膜各層細胞厚度。
請參照第3圖，繪示本發明又一實施方式之視網膜分層厚度檢測方法300的步驟流程圖。視網膜分層厚度檢測方法300包含步驟310、步驟320、步驟330和步驟340。
步驟310是提供視網膜分層厚度檢測模型。所述視網膜分層厚度檢測模型係經由前述步驟110至步驟150所建立而成。
步驟320是提供受試者之目標光學同調斷層掃描影像。
步驟330為利用視網膜分層厚度檢測模型分析目標光學同調斷層掃描影像，以輸出標線目標光學同調斷層掃描影像。
步驟340為利用計算模組228計算標線目標光學同調斷層掃描影像中視網膜各層細胞厚度，以取得受試者的視網膜分層厚度。
請參照第4圖，繪示本發明再一實施方式之失智症評估和預測方法400的步驟流程圖。失智症評估和預測方法400包含步驟410、步驟420、步驟430、步驟440、步驟450和步驟460。
步驟410是提供視網膜分層厚度檢測模型。所述視網膜分層厚度檢測模型係經由前述步驟110至步驟150所建立而成。
步驟420是提供受試者之目標光學同調斷層掃描影像。
步驟430為利用視網膜分層厚度檢測模型分析目標光學同調斷層掃描影像，以輸出標線目標光學同調斷層掃描影像。
步驟440為利用計算模組228計算標線目標光學同調斷層掃描影像中視網膜各層細胞厚度，以取得受試者的視網膜分層厚度。
步驟450為提供受試者之醫學檢測資料，所述醫學檢測資料可包含電腦斷層掃描影像、核磁共振影像和血液檢查數值。
步驟460為利用一迴歸分析模型比對視網膜各層細胞厚度與醫學檢測資料，以計算受試者罹患失智症的評估分數。
請參照第5圖，係繪示本發明更一實施方式之眼部照護裝置10的架構示意圖。如第5圖所示，眼部照護裝置10包含一視網膜分層厚度檢測系統30以及一電子裝置20，電子裝置20電訊連接視網膜分層厚度檢測系統30。詳細而言，視網膜分層厚度檢測系統30包含影像擷取單元31與處理器32並與第2圖之視網膜分層厚度檢測系統200的架構相似，而電子裝置20則可進一步於其上顯示視網膜分層厚度檢測系統30之處理器32所輸出之視網膜各層細胞厚度，或進一步搭配迴歸分析模型(圖未繪示)所輸出之受試者罹患失智症的評估分數，並可進一步即時顯示受試者的眼部疾病或失智症的評估結果，以及後續建議之投藥、轉診等醫療方針。
另外，雖圖未繪示，在本發明之眼部照護裝置10中，影像擷取單元31可為視網膜光學斷層掃描儀，以利於擷取受試者之目標光學同調斷層掃描影像，電子裝置20則可為手機、平板等攜帶式電子裝置，而處理器32則可進一步整合於電子裝置中，使其不僅便於攜帶，更有利於後續進行大規模眼部和腦部功能篩檢的使用靈敏度與便利性，但本發明並不以此為限。
[試驗例]
一、參照資料庫
本發明所使用的參照資料庫包含三種眼科病患早期老年性黃斑部病變(玻璃疣)、脈絡膜血管新生及糖尿病黃斑部水腫蒐集病患再給予抗血管新生因子(anti-VEGF)治療前與治療後之光學同調斷層掃描影像與最佳矯正視力檢驗數據，與是否有在神經內科就診之患者的斷層掃描影像或核磁共振影像及各就診之血液檢查數值。收案條件為患者已成年(滿20歲)，且經醫師診斷為早期老年性黃斑部病變(玻璃疣)、脈絡叢血管新生、糖尿病黃斑部水腫之患者。每個疾病患者招募500人，共收案1500人。若患者曾經患有角膜相關疾病、未手術之白內障及青光眼之患者須排除納入。若參照光學同調斷層掃描影像取得自動物，先將試驗動物進行阿茲海默誘導，在誘導成功後麻醉試驗動物，並將麻醉之動物置於視網膜光學斷層掃描儀鏡頭前，視網膜光學斷層掃描儀連接電腦利用軟體自動對焦功能，找尋到動物視網膜位置按下拍照，將照片儲存後可做後續分析之使用。
二、影像前處理
在取得參照資料庫後，先進行影像前處理步驟，其係複製各參照光學同調斷層掃描影像並繪製視網膜各層細胞分隔線，以得到複數個對照光學同調斷層掃描影像，且將未標線的參照光學同調斷層掃描影像和標線後的對照光學同調斷層掃描影像定義為一組樣本組。試驗上共有9000個樣本組，並進一步切割為7500個訓練樣本組、1000個驗證樣本組與500個測試樣本組。
三、本發明之卷積神經網路學習分類器
請參照第6圖，係繪示本發明之卷積神經網路學習分類器500的架構示意圖。如第6圖所示，卷積神經網路學習分類器500主要由一降採樣塔和一升採樣塔所構成，降採樣塔和升採樣塔之間利用殘差連接(Skip Connection)互相連接(虛線箭頭表示)。在降採樣塔和升採樣塔之中分別包含了256個DenseNet模塊510。將參照光學同調斷層掃描影像501輸入後，以降採樣塔執行。在降採樣塔中，每兩個DenseNet模塊510之間，使用卷積(Convolution, Conv)方法降低圖像尺寸、擷取圖像特徵及提升神經元視野。在升採樣塔中，每兩個DenseNet模塊510之間，使用反卷積(Transpose Convolution, TConv)方法逐步擴大圖像尺寸。值得注意的是，本發明的卷積神經網路學習分類器500利用卷積層520和反卷積層530將降採樣塔中每一個DenseNet模塊510輸出連接至級聯層540，然後再將結果輸出到最後一個卷積層520進行圖像重建，並獲得標線光學同調斷層掃描影像502。所得到的標線光學同調斷層掃描影像502可與對照光學同調斷層掃描影像進行比對，以驗證視網膜分層厚度檢測模型的準確度。
請再參照第7圖，繪示第6圖中DenseNet模塊510的架構示意圖。DenseNet模塊510包含了4個DNB模組，分別為第一DNB模組511、第二DNB模組512、第三DNB模組513和第四DNB模組514，經4個DNB模組計算後，再輸出至輸出層515。其中每個DNB模組包含了卷積層520、線性整流單元訓練層550和批標準化層560。每個DNB模組輸出結果都將被傳送至下一層進行級聯(Concatenation)，並使用填充(Padding)方法，保持整個DenseNet模塊510的影像大小(Size)，亦即影像經過每一DNB模組運算後圖形大小不變，只有Channel數量的改變，所述DNB模組的輸出Channel數量為3×128+1=385。圖中N表示過濾器尺寸(filter size)，F表示過濾器數量(filter number)，D表示擴張率(dilation rate)，S表示步伐(stride)。
而本發明的卷積神經網路學習分類器500以線性整流單元訓練層550作為激活函數(Activation Function)，相較於傳統神經網路激活函數，線性整流單元訓練層550具有仿生物學原理、更加有效率的梯度下降以及反向傳播、避免梯度消失與簡化計算過程等優點。
本發明的卷積神經網路學習分類器500所使用的損失函數(Loss Function)如公式(1)所示，其主要功能在於提供深度學習網路評估訓練結果與目標結果之誤差程度。
Figure 02_image001
公式(1)。 接著針對損失函數利用梯度下降法的計算，進而達到網路自我調整與學習之目的。其中為
Figure 02_image003
網路參數， Y r 為訓練結果，
Figure 02_image005
為目標結果，Ω Reg為正規化項(regularization term)如公式(2)所示，λ為正規化因子(regularization factor)。
Figure 02_image007
公式(2)。
本發明的卷積神經網路學習分類器500的網路參數
Figure 02_image009
是藉由使用小批次梯度下降矩估算(Mini Batch Gradient Descent Moment Estimation)技術加以遞迴更新如公式(3)所示。
Figure 02_image011
公式(3)。 其中𝜂為學習率(Learning Rate)，𝜖是一個值很小的常數主要用於避免公式(3)中第二項出現分母為零的現象發生。在更新網路參數時本發明的卷積神經網路學習分類器500考慮了數量為B個小批次(Mini Batch)，因此在公式(4)與(5)中出現一次式梯度下降法(Gradient Descent)
Figure 02_image013
與二次式梯度下降法
Figure 02_image015
的平均數，其平均數量為小批次的數量B。此外，β 1與β 2為衰減率(decay rate)。每次卷積神經網路學習分類器500從測試樣本組中，隨機抽取數量為B個樣本組進行深度學習的方式稱為小批次。
Figure 02_image017
公式(4)；
Figure 02_image019
公式(5)。 公式(4)與(5)說明卷積神經網路學習分類器500每次調整時除了使用小批次技術外，還考慮先前每組小批次的梯度下降數值，亦即本次調整網路參數時會根據先前的調整經驗作為本次調整的參考依據，其具有依據先前經驗配合本次小批次產生動態調整網路參數的智能特性。
請再參照第8圖，繪示第7圖中批標準化層560的架構示意圖。本發明的卷積神經網路學習分類器500藉由批標準化層560減少訓練視網膜分層厚度檢測模型所需時間、防止梯度下降消失問題與降低參數初始化造成擬合過度(Overfitting)的現象。卷積神經網路學習分類器500在學習過程中會從測試樣本組中，隨機抽取數量為B個樣本組(小批次)進行學習，期間會計算每神經元輸出結果
Figure 02_image021
的平均值μ與標準差σ，再將所有輸出值以平均值μ與標準差σ進行正規化得到
Figure 02_image023
，但是我們希望小批次進入激活函數時平均值μ與標準差σ與另一個小批次是不同的，因此引進β與γ調整此現象並獲得
Figure 02_image025
。請參見公式(6)和公式(7)。
Figure 02_image027
公式(6)；
Figure 02_image029
公式(7)。
四、訓練步驟
將7500個訓練樣本組與1000個驗證樣本組，放入卷積神經網路學習分類器500中進行訓練。根據訓練結果，若Loss小於2%的目標無法被滿足時，將執行深度學習參數調整程序重新訓練，直到目標被滿足為止。進一步可調整相關參數包含:初始參數、學習率、正規化因子、衰退率、每層神經元個數、神經元階層數、小批次大小、訓練樣本組與驗證樣本組，並繼續監控與參數調整直至狀況被改善。
當訓練結果滿足Loss小於2%且無擬合過度發生達到收斂而得到視網膜分層厚度檢測模型後，視網膜分層厚度檢測模型輸出複數個標線光學同調斷層掃描影像，並將標線光學同調斷層掃描影像分別與相應的各對照光學同調斷層掃描影像進行比對，以驗證視網膜分層厚度檢測模型的準確性。
五、視網膜各層細胞厚度測量
進一步地，經由視網膜分層厚度檢測模型輸出的標線光學同調斷層掃描影像可利用計算模組計算標線目標光學同調斷層掃描影像中視網膜各層細胞厚度。例如計算模組從資料夾中，每次讀入一張視網膜分層厚度檢測模型所繪製的標線光學同調斷層掃描影像，並將細胞各層厚度計算結果存進Excel當中，全自動完成資料夾內所有標線光學同調斷層掃描影像的各層細胞厚度計算，藉此確實並有效改善仰賴人力介入所衍生之問題，進而提升整體檢出效率與精確度。
請參照第9圖、第10A圖和第10B圖，第9圖為大鼠光學同調斷層掃描影像，第10A圖為人眼視網膜各層細胞厚度量測位置的示意圖，第10B圖為大鼠視網膜各層細胞厚度量測位置的示意圖。在前述細胞厚度計算時，光學同調斷層掃描影像比例尺如第9圖所示，換算像素與長度之關係，亦即單位像素所代表之長度(μm/pixel)。在計算細胞厚度時，細胞厚度量測位置如第10A圖與第10B圖所示，以完成所有位置細胞厚度計算。
六、視網膜各層細胞厚度與失智症的關聯性
因視網膜和中樞神經系統具有共同的起源，本發明進一步利用深度學習迴歸分析模型，訓練機器找到光學同調斷層掃描影像電腦斷層掃描影像、核磁共振影像、血液檢查數值等醫學檢測資料與失智症的關聯性。以獲得事先藉由光學同調斷層掃描影像電腦斷層掃描影像、核磁共振影像、血液檢查數值等醫學檢測資料進行失智症的評估與預測之目的。
請參照第11圖，繪示迴歸分析模型600的架構示意圖，其係將光學同調斷層掃描影像電腦斷層掃描影像、核磁共振影像、血液檢查數值等醫學檢測資料作為輸入數據610，並藉由輸入層620、第一層630和輸出層640的計算，得到輸出數據650，其中輸出數據650為一受試者罹患失智症的評估分數。
動物實驗數據另可證明視網膜各層細胞厚度與失智症具有關聯性。試驗上將試驗動物進行阿茲海默誘導，在誘導成功後取得阿茲海默症鼠的光學同調斷層掃描影像，並以八臂迷宮測試阿茲海默症鼠的認知功能。結果請參照第12圖、第13圖、第14A圖、第14B圖和第14C圖。第12圖為試驗動物於八臂迷宮測試的認知功能分析結果圖，第13圖為試驗動物視網膜各層細胞厚度的分析結果圖，第14A圖、第14B圖和第14C圖為試驗動物於八臂迷宮測試搜尋食物時間和視網膜各層細胞厚度關聯性的分析結果圖。於第14A圖至第14C圖，關聯性係以迴歸線性分析進行。
第12圖的結果顯示，阿茲海默症鼠在搜尋食物的時間顯著高於陰性對照組，顯示其被誘導成功。而第13圖的結果顯示，將陰性對照組及阿茲海默症鼠眼球進行蘇木紫-伊紅染色鑑別細胞質與細胞核，分析視網膜各層細胞厚度及細胞數量，明顯可見兩組大鼠的視網膜各層細胞厚度不同，阿茲海默症鼠的視網膜厚度顯著地較厚。另由第14A圖至第14C圖的結果顯示，當搜尋食物時間越長，相對的視網膜整體厚度有越厚的趨勢(第14A圖)；神經節細胞(Ganglion cell)數量越少(第14B圖)；外叢層厚度增加(第14C圖)，其結果和第13圖一致，顯示視網膜各層細胞厚度與失智症具有關聯性，可利用迴歸分析模型600進行分析，是以本發明的視網膜分層厚度檢測系統除了可用以檢測眼部疾病，亦可進一步評估和預測受試者是否罹患失智症。
然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明的精神和範圍內，當可作各種的更動與潤飾，因此本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:視網膜分層厚度檢測模型之建立方法 110,120,130,140,150:步驟 30,200:視網膜分層厚度檢測系統 31,210:影像擷取單元 32,220:處理器 221:參照資料庫取得模組 222:參照影像前處理模組 223:參照特徵選取模組 224:訓練模組 225:確認模組 226:目標特徵選取模組 227:標線模組 228:計算模組 300:視網膜分層厚度檢測方法 310,320,330,340:步驟 400:失智症評估和預測方法 410,420,430,440,450,460:步驟 500:卷積神經網路學習分類器 501:參照光學同調斷層掃描影像 502:標線光學同調斷層掃描影像 510:DenseNet模塊 511:第一DNB模組 512:第二DNB模組 513:第三DNB模組 514:第四DNB模組 515:輸出層 520:卷積層 530:反卷積層 540:級聯層 550:線性整流單元訓練層 560:批標準化層 600:迴歸分析模型 610:輸入數據 620:輸入層 630:第一層 640:輸出層 650:輸出數據 10:眼部照護裝置 20:電子裝置
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下： 第1圖係繪示本發明一實施方式之視網膜分層厚度檢測模型之建立方法的步驟流程圖； 第2圖係繪示本發明另一實施方式之視網膜分層厚度檢測系統的架構示意圖； 第3圖係繪示本發明又一實施方式之視網膜分層厚度檢測方法的步驟流程圖； 第4圖係繪示本發明再一實施方式之失智症評估和預測方法的步驟流程圖； 第5圖係繪示本發明更一實施方式之眼部照護裝置的架構示意圖； 第6圖係繪示本發明之卷積神經網路學習分類器的架構示意圖； 第7圖係繪示第6圖中DenseNet模塊的架構示意圖； 第8圖係繪示第7圖中批標準化層的架構示意圖； 第9圖為大鼠光學同調斷層掃描影像； 第10A圖和第10B圖為視網膜各層細胞厚度測量位置的示意圖； 第11圖係繪示迴歸分析模型的架構示意圖； 第12圖為試驗動物於八臂迷宮測試的認知功能分析結果圖； 第13圖為試驗動物視網膜各層細胞厚度的分析結果圖：以及 第14A圖、第14B圖和第14C圖為試驗動物於八臂迷宮測試搜尋食物時間和視網膜各層細胞厚度關聯性的分析結果圖。
200:視網膜分層厚度檢測系統
210:影像擷取單元
220:處理器
221:參照資料庫取得模組
222:參照影像前處理模組
223:參照特徵選取模組
224:訓練模組
225:確認模組
226:目標特徵選取模組
227:標線模組
228:計算模組

Claims (8)

  1. 一種視網膜分層厚度檢測模型之建立方法，包含以下步驟：取得一參照資料庫，其中該參照資料庫包含複數個參照光學同調斷層掃描影像；進行一影像前處理步驟，其係複製各該參照光學同調斷層掃描影像並繪製視網膜各層細胞分隔線，以得到複數個對照光學同調斷層掃描影像；進行一特徵選取步驟，其係利用一特徵選取模組分析各該參照光學同調斷層掃描影像後，於各該參照光學同調斷層掃描影像中得到至少一參照影像特徵值，以取得複數個該參照影像特徵值；進行一訓練步驟，其係將該些參照影像特徵值透過一卷積神經網路學習分類器進行訓練而達到收斂，以得到該視網膜分層厚度檢測模型，其中該卷積神經網路學習分類器包含一降採樣塔(Downsampling Tower)和一升採樣塔(Upsampling Tower)，且該降採樣塔和該升採樣塔利用一殘差連接(Skip Connection)互相連接；以及進行一確認步驟，其係以該視網膜分層厚度檢測模型輸出複數個標線光學同調斷層掃描影像，並將該些標線光學同調斷層掃描影像分別與相應的各該對照光學同調斷層掃描影像進行比對，以驗證該視網膜分層厚度檢測模型的準確性。
  2. 如請求項1所述之視網膜分層厚度檢測模型之建立方法，其中該降採樣塔包含複數個DenseNet模塊(DenseNet Block,DNB)，各該DenseNet模塊之間以卷積(Convolution,Conv)方法逐步降低圖像尺寸。
  3. 如請求項1所述之視網膜分層厚度檢測模型之建立方法，其中該升採樣塔包含複數個DenseNet模塊(DenseNet Block,DNB)，各該DenseNet模塊之間以反卷積(Transpose Convolution,TConv)方法逐步擴大圖像尺寸。
  4. 一種視網膜分層厚度檢測系統，包含：一影像擷取單元，用以擷取一受試者之一目標光學同調斷層掃描影像；以及一處理器，電性連接該影像擷取單元，該處理器其儲存一程式，當該程式由該處理器執行時，該程式檢測該受試者的一視網膜分層厚度，該程式包含：一參照資料庫取得模組，其係用以取得一參照資料庫，該參照資料庫包含複數個參照光學同調斷層掃描影像；一參照影像前處理模組，其係用以複製各該參照光學同調斷層掃描影像並繪製視網膜各層細胞分隔線，以得到複數個對照光學同調斷層掃描影像；一參照特徵選取模組，其係用以分析各該參照光學同 調斷層掃描影像後，於各該參照光學同調斷層掃描影像中得到至少一參照影像特徵值，以取得複數個該參照影像特徵值；一訓練模組，其係用以將該些參照影像特徵值透過一卷積神經網路學習分類器訓練達到收斂，以得到一視網膜分層厚度檢測模型，其中該卷積神經網路學習分類器包含一降採樣塔(Downsampling Tower)和一升採樣塔(Upsampling Tower)，且該降採樣塔和該升採樣塔利用一殘差連接(Skip Connection)互相連接；一確認模組，其係用以透過該視網膜分層厚度檢測模型輸出複數個標線光學同調斷層掃描影像，並將該些標線光學同調斷層掃描影像分別與相應的各該對照光學同調斷層掃描影像進行比對，以確認該視網膜分層厚度檢測模型的準確性；一目標特徵選取模組，其係用以分析該目標光學同調斷層掃描影像後以得至少一目標影像特徵值；一標線模組，其係用以將該目標影像特徵值以該視網膜分層厚度檢測模型進行分析，以輸出一標線目標光學同調斷層掃描影像；及一計算模組，其係用以計算該標線目標光學同調斷層掃描影像中一視網膜各層細胞厚度。
  5. 一種眼部照護裝置，包含：如請求項4所述之視網膜分層厚度檢測系統；以及 一電子裝置，電訊連接該視網膜分層厚度檢測系統。
  6. 一種視網膜分層厚度檢測方法，包含下述步驟：提供一如請求項1之視網膜分層厚度檢測模型；提供一受試者之一目標光學同調斷層掃描影像；利用該視網膜分層厚度檢測模型分析該目標光學同調斷層掃描影像，以輸出一標線目標光學同調斷層掃描影像；以及利用一計算模組計算該標線目標光學同調斷層掃描影像中一視網膜各層細胞厚度。
  7. 一種失智症評估和預測方法，包含下述步驟：提供一如請求項1之視網膜分層厚度檢測模型；提供一受試者之一目標光學同調斷層掃描影像；利用該視網膜分層厚度檢測模型分析該目標光學同調斷層掃描影像，以輸出一標線目標光學同調斷層掃描影像；利用一計算模組計算該標線目標光學同調斷層掃描影像中一視網膜各層細胞厚度；提供該受試者之一醫學檢測資料；以及利用一迴歸分析模型比對該視網膜各層細胞厚度與該醫學檢測資料，以計算該受試者罹患失智症的評估分數。
  8. 如請求項7所述之失智症評估和預測方法， 其中該醫學檢測資料包含該受試者之一電腦斷層掃描影像、一核磁共振影像和一血液檢查數值。
TW109125465A 2020-07-28 2020-07-28 視網膜分層厚度檢測模型之建立方法、視網膜分層厚度檢測系統、眼部照護裝置、視網膜分層厚度檢測方法及失智症評估和預測方法 TWI742782B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109125465A TWI742782B (zh) 2020-07-28 2020-07-28 視網膜分層厚度檢測模型之建立方法、視網膜分層厚度檢測系統、眼部照護裝置、視網膜分層厚度檢測方法及失智症評估和預測方法
US17/033,962 US11288801B2 (en) 2020-07-28 2020-09-28 Eye care device and method for assessing and predicting dementia

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109125465A TWI742782B (zh) 2020-07-28 2020-07-28 視網膜分層厚度檢測模型之建立方法、視網膜分層厚度檢測系統、眼部照護裝置、視網膜分層厚度檢測方法及失智症評估和預測方法

Publications (2)

Publication Number Publication Date
TWI742782B true TWI742782B (zh) 2021-10-11
TW202203844A TW202203844A (zh) 2022-02-01

Family

ID=80003190

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109125465A TWI742782B (zh) 2020-07-28 2020-07-28 視網膜分層厚度檢測模型之建立方法、視網膜分層厚度檢測系統、眼部照護裝置、視網膜分層厚度檢測方法及失智症評估和預測方法

Country Status (2)

Country Link
US (1) US11288801B2 (zh)
TW (1) TWI742782B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7229881B2 (ja) * 2018-08-14 2023-02-28 キヤノン株式会社 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム
TWI821063B (zh) * 2022-12-06 2023-11-01 奇美醫療財團法人奇美醫院 視網膜自動分層模型之建立方法、視網膜分層量化系統、眼部照護裝置、視網膜分層厚度及視網膜分層面積的檢測方法及神經退化性疾病評估和預測方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110010219A (zh) * 2019-03-13 2019-07-12 杭州电子科技大学 光学相干层析图像视网膜病变智能检测系统及检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019165049A1 (en) * 2018-02-22 2019-08-29 Washington University Methods for detecting neurodegenerative disease
JP7229881B2 (ja) * 2018-08-14 2023-02-28 キヤノン株式会社 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム
WO2020252256A1 (en) * 2019-06-12 2020-12-17 Carnegie Mellon University Deep-learning models for image processing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110010219A (zh) * 2019-03-13 2019-07-12 杭州电子科技大学 光学相干层析图像视网膜病变智能检测系统及检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Alexander Y. Lau, Vincent Mok, Jack Lee, Yuhua Fan, Jinsheng Zeng, Bonnie Lam, Adrian Wong, Chloe Kwok, Maria Lai & Benny Zee, "Retinal image analytics detects white matter hyperintensities in healthy adults", Annals of Clinical and Translational Neurology, Volume6, Issue1,January 2019, Pages 98-105.
Baidaa Al-Bander, "Retinal Image Analysis Based on Deep Learning", the requirements of the University of Liverpool for the degree of Doctor in Philosophy, June 2018.
ZHE JIANG, ZHIYU HUANG, BIN QIU, XIANGXI MENG, YUNFEI YOU, XI LIU, GANGJUN LIU, CHUANGQING ZHOU, KUN YANG, ANDREAS MAIER, QIUSHI REN, AND YANYE LU, "Comparative study of deep learning models for optical coherence tomography angiography", Biomedical Optics Express Vol. 11,Issue 3,pp. 1580-1597(2020).

Also Published As

Publication number Publication date
US20220036552A1 (en) 2022-02-03
TW202203844A (zh) 2022-02-01
US11288801B2 (en) 2022-03-29

Similar Documents

Publication Publication Date Title
Gao et al. Automatic feature learning to grade nuclear cataracts based on deep learning
Rong et al. Surrogate-assisted retinal OCT image classification based on convolutional neural networks
EP4023143A1 (en) Information processing device, information processing method, information processing system, and program
JP2021507428A (ja) 眼科疾病及び障害の深層学習に基づく診断及び紹介
CN113962311A (zh) 知识数据和人工智能驱动的眼科多病种识别系统
TWI742782B (zh) 視網膜分層厚度檢測模型之建立方法、視網膜分層厚度檢測系統、眼部照護裝置、視網膜分層厚度檢測方法及失智症評估和預測方法
Zheng et al. Detection of referable horizontal strabismus in children's primary gaze photographs using deep learning
CN112837805A (zh) 基于深度学习的眼睑拓扑形态特征的提取方法
Gupta et al. An efficient model for detection and classification of internal eye diseases using deep learning
US20220400942A1 (en) Methods and Systems for Estimating Visual Field Sensitivities from Retinal Optical Texture Analysis (ROTA) Maps
Hassan et al. Multilayered deep structure tensor delaunay triangulation and morphing based automated diagnosis and 3D presentation of human macula
Giancardo Automated fundus images analysis techniques to screen retinal diseases in diabetic patients
Camara et al. A comprehensive review of methods and equipment for aiding automatic glaucoma tracking
Suedumrong et al. Application of deep convolutional neural networks vgg-16 and googlenet for level diabetic retinopathy detection
Lin et al. Deep learning to infer visual acuity from optical coherence tomography in diabetic macular edema
Suwandi et al. A Systematic Literature Review: Diabetic Retinopathy Detection Using Deep Learning
US20240020830A1 (en) System and methods of predicting parkinson's disease based on retinal images using machine learning
CN113558564B (zh) 一种基于单纯高度近视数据库构建的数据处理系统
Al-Oudat et al. A smart intraocular pressure risk assessment framework using frontal eye image analysis
Mani et al. An automated hybrid decoupled convolutional network for laceration segmentation and grading of retinal diseases using optical coherence tomography (OCT) images
TWI821063B (zh) 視網膜自動分層模型之建立方法、視網膜分層量化系統、眼部照護裝置、視網膜分層厚度及視網膜分層面積的檢測方法及神經退化性疾病評估和預測方法
Hussein et al. Automatic classification of AMD in retinal images
Otuna-Hernández et al. Diagnosis and degree of evolution in a Keratoconus-type corneal Ectasia from image processing
Doan et al. Implementation of complete glaucoma diagnostic system using machine learning and retinal fundus image processing
US11744457B2 (en) Method for measuring anomalies of refraction using a reflection image of pupil in visible light