TWI784688B - 眼睛狀態評估方法及電子裝置 - Google Patents

眼睛狀態評估方法及電子裝置 Download PDF

Info

Publication number
TWI784688B
TWI784688B TW110131705A TW110131705A TWI784688B TW I784688 B TWI784688 B TW I784688B TW 110131705 A TW110131705 A TW 110131705A TW 110131705 A TW110131705 A TW 110131705A TW I784688 B TWI784688 B TW I784688B
Authority
TW
Taiwan
Prior art keywords
optic nerve
eye
optic
fundus
cup
Prior art date
Application number
TW110131705A
Other languages
English (en)
Other versions
TW202309924A (zh
Inventor
黃宜瑾
利建宏
張緯浩
許鴻生
郭名旗
黃振宇
Original Assignee
宏碁股份有限公司
國立臺灣大學醫學院附設醫院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司, 國立臺灣大學醫學院附設醫院 filed Critical 宏碁股份有限公司
Priority to TW110131705A priority Critical patent/TWI784688B/zh
Priority to US17/506,703 priority patent/US20230066166A1/en
Priority to EP21208958.5A priority patent/EP4140391B1/en
Application granted granted Critical
Publication of TWI784688B publication Critical patent/TWI784688B/zh
Publication of TW202309924A publication Critical patent/TW202309924A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Eye Examination Apparatus (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本發明提供一種眼睛狀態評估方法及電子裝置。所述方法包括：從第一眼底圖中取得視神經盤影像區域，並由多個第一模型基於視神經盤影像區域產生多個視神經杯盤比值評估結果；基於上述視神經杯盤比值評估結果取得眼睛的第一評估結果；對第一眼底圖進行多種資料擴增操作，以產生多個第二眼底圖；由多個第二模型基於上述第二眼底圖產生多個視神經纖維層缺損評估結果；基於上述視神經纖維層缺損評估結果取得眼睛的第二評估結果；以及基於第一評估結果及第二評估結果取得眼睛的視神經評估結果。

Description

眼睛狀態評估方法及電子裝置
本發明是有關於一種人體狀態評估方法及電子裝置，且特別是有關於一種眼睛狀態評估方法及電子裝置。
經統計，青光眼為造成台灣、美國民眾失明的第二大主因。一般而言，青光眼的診斷方式為使用眼科光學同調斷層掃描（Optical Coherence Tomography，OCT）計算視網膜神經纖維層厚度（retinal nerve fiber layer，RNFL），然而一般人不會刻意去拍攝OCT影像。
相較於OCT的高成本與不易取得，彩色眼底圖影像（Color Fundus Photography）相對容易獲取。從眼底圖影像中可以觀察到許多眼睛疾病的病徵，其中視神經盤(Optic disc)與視神經杯(Optic cup)的杯盤比值(Cup-to-disc Ratio，CDR)與視網膜神經纖維層缺損（RNFL defect）均可從眼底圖影像取得，從而判斷青光眼程度。
然而，由於不同醫師基於眼底圖影像所判斷的青光眼程度可能有所差異，因此，對於本領域技術人員而言，如何設計一種能夠輔助醫師進行判斷的機制實為一項重要議題。
有鑑於此，本發明提供一種眼睛狀態評估方法及電子裝置，其可用於解決上述技術問題。
本發明提供一種眼睛狀態評估方法，適於一電子裝置，包括：取得一眼睛的一第一眼底圖，其中第一眼底圖包括一視神經盤影像區域；從第一眼底圖中取得視神經盤影像區域，並由多個第一模型基於視神經盤影像區域產生多個視神經杯盤比值評估結果；基於所述多個視神經杯盤比值評估結果取得眼睛的一第一評估結果；對第一眼底圖進行多種資料擴增操作，以產生分別對應於所述多個資料擴增操作的多個第二眼底圖；由多個第二模型基於所述多個第二眼底圖產生多個視神經纖維層缺損評估結果；基於所述多個視神經纖維層缺損評估結果取得眼睛的一第二評估結果；以及基於第一評估結果及第二評估結果取得眼睛的一視神經評估結果。
本發明提供一種電子裝置，包括儲存電路及處理器。儲存電路儲存一程式碼。處理器耦接儲存電路，並存取程式碼以執行：取得一眼睛的一第一眼底圖，其中第一眼底圖包括一視神經盤影像區域；從第一眼底圖中取得視神經盤影像區域，並由多個第一模型基於視神經盤影像區域產生多個視神經杯盤比值評估結果；基於所述多個視神經杯盤比值評估結果取得眼睛的一第一評估結果；對第一眼底圖進行多種資料擴增操作，以產生分別對應於所述多個資料擴增操作的多個第二眼底圖；由多個第二模型基於所述多個第二眼底圖產生多個視神經纖維層缺損評估結果；基於所述多個視神經纖維層缺損評估結果取得眼睛的一第二評估結果；以及基於第一評估結果及第二評估結果取得眼睛的一視神經評估結果。
請參照圖1，其是依據本發明之一實施例繪示的電子裝置示意圖。在不同的實施例中，電子裝置100例如是各式電腦裝置及/或智慧型裝置，但可不限於此。
如圖1所示，電子裝置100可包括儲存電路102及處理器104。儲存電路102例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或其他類似裝置或這些裝置的組合，而可用以記錄多個程式碼或模組。
處理器104耦接於儲存電路102，並可為一般用途處理器、特殊用途處理器、傳統的處理器、數位訊號處理器、多個微處理器（microprocessor）、一個或多個結合數位訊號處理器核心的微處理器、控制器、微控制器、特殊應用積體電路（Application Specific Integrated Circuit，ASIC）、現場可程式閘陣列電路（Field Programmable Gate Array，FPGA）、任何其他種類的積體電路、狀態機、基於進階精簡指令集機器（Advanced RISC Machine，ARM）的處理器以及類似品。
在本發明的實施例中，處理器104可存取儲存電路102中記錄的模組、程式碼來實現本發明提出的眼睛狀態評估方法，其細節詳述如下。
請參照圖2，其是依據本發明之一實施例繪示的眼睛狀態評估方法流程圖。本實施例的方法可由圖1的電子裝置100執行，以下即搭配圖1所示的元件說明圖2各步驟的細節。
首先，在步驟S210中，處理器104可取得眼睛A的第一眼底圖。在一實施例中，所述眼睛A例如是某患者的其中一眼，而所述第一眼底圖例如是經醫療人員藉由操作用於拍攝眼底圖的儀器對上述眼睛A拍攝而得的彩色眼底圖，但可不限於此。
在一實施例中，由於一般所拍攝的眼底圖可能包括黑邊，因此處理器104可在取得眼底圖之後，先對此眼底圖進行黑邊的裁切，以產生未具有黑邊的眼底圖作為上述第一眼底圖，但可不限於此。為使本發明的概念更易於理解，以下將輔以圖3作進一步說明。
請參照圖3，其是依據本發明之一實施例繪示的取得眼睛的第一評估結果的示意圖。在圖3中，假設處理器104在步驟S210取得如圖3所示的第一眼底圖310，其中第一眼底圖310可包括視神經盤影像區域311及視神經杯影像區域312，而其分別對應於上述眼睛A中的視神經盤及視神經杯。
在取得第一眼底圖310之後，在步驟S220中，處理器104可從第一眼底圖310中取得視神經盤影像區域311，並由多個第一模型基於視神經盤影像區域311產生多個CDR評估結果。
在一實施例中，處理器104可將第一眼底圖310輸入經預訓練的參考神經網路320，其中參考神經網路320可因應於第一眼底圖310而辨識並輸出視神經盤影像區域311。
在一實施例中，在將參考神經網路320用於找出第一眼底圖310中的視神經盤影像區域311之前，參考神經網路320可先基於標註有特定感興趣區域（region of interest，ROI）的訓練影像進行訓練，藉以透過訓練影像學習這些ROI所具有的特徵。因此，在本實施例中，為了令參考神經網路320具有辨識任一眼底圖影像中視神經盤影像區域的能力，參考神經網路320可先基於以標註有視神經盤影像區域的多個訓練影像（即，眼底圖影像）進行學習，以學習眼底圖影像中視神經盤影像區域的特徵，但可不限於此。
之後，處理器104可將參考神經網路320輸出的視神經盤影像區域311提供予所述多個第一模型，以產生對應的CDR評估結果。在本發明的實施例中，各第一模型的CDR評估結果可上述眼睛A中的視神經杯的軸長與視神經盤的軸長之間的比值（即，CDR）是正常或異常，但可不限於此。
在圖3情境中，假設所考慮的所述多個第一模型（其數量例如為N，且N為單數）包括所示的第一神經網路331、第二神經網路332及第三神經網路333，但可不限於此。
在一實施例中，第一神經網路331可因應於視神經盤影像區域311而輸出CDR評估結果R11（例如正常或異常）。
在一實施例中，為了令第一神經網路331具有因應於任一視神經盤影像區域而辨識其對應的CDR是否正常的能力，第一神經網路331可先基於CDR為正常的多個視神經盤影像區域進行學習，以學習具正常CDR的視神經盤影像區域的特徵。此外，第一神經網路331也可基於CDR為異常的多個視神經盤影像區域進行學習，以學習具異常CDR的視神經盤影像區域的特徵，但可不限於此。
在一實施例中，處理器104可將視神經盤影像區域311輸入第二神經網路332，而第二神經網路332可因應於視神經盤影像區域311而輸出上述眼睛A的第一CDR。
在一實施例中。為了令第二神經網路332具有因應於任一視神經盤影像區域而辨識其對應的CDR的能力，第二神經網路332可先基於標註有對應CDR的多個視神經盤影像區域進行學習，以學習各種CDR對應的視神經盤影像區域的特徵，但可不限於此。
在取得第一CDR之後，處理器104可判斷第一CDR是否高於一預設門限值（例如0.7）。在一實施例中，反應於判定第一CDR高於此預設門限值，處理器104可判定第二神經網路332的CDR評估結果R12為異常。另一方面，反應於判定第一CDR未高於此預設門限值，處理器104可判定第二神經網路332的CDR評估結果R12為正常，但可不限於此。
在一實施例中，處理器104可將視神經盤影像區域311輸入第三神經網路333，而第三神經網路333可因應於視神經盤影像區域311而輸出上述眼睛A的視神經杯軸長及視神經盤軸長。
在一實施例中，為了令第三神經網路333具有因應於任一視神經盤影像區域而辨識其對應的視神經杯軸長及視神經盤軸長的能力，第三神經網路333可先基於標註有對應視神經杯軸長及視神經盤軸長的多個視神經盤影像區域進行學習，以學習各種視神經杯軸長及視神經盤軸長對應的視神經盤影像區域的特徵，但可不限於此。
在取得視神經盤影像區域311對應的視神經杯軸長及視神經盤軸長之後，處理器104可據以取得上述眼睛A的第二CDR。舉例而言，處理器104可將上述視神經杯軸長除以視神經盤軸長以取得第二CDR，但可不限於此。
接著，處理器104可判斷第二CDR是否高於上述預設門限值（例如0.7）。在一實施例中，反應於判定第二CDR高於此預設門限值，處理器104可判定第三神經網路333的CDR評估結果R13為異常。另一方面，反應於判定第二CDR未高於此預設門限值，處理器104可判定第三神經網路333的CDR評估結果R13為正常，但可不限於此。
在取得CDR評估結果R11~R13之後，在步驟S230中，處理器104可基於所述多個CDR評估結果R11~R13取得眼睛A的第一評估結果RR1。
在一實施例中，處理器104在CDR評估結果R11~R13出指示正常的多個第一結果，並在CDR評估結果R11~R13找出指示異常的多個第二結果。之後，反應於判定上述第一結果多於上述第二結果，處理器104可判定第一評估結果RR1指示正常（即，眼睛A的CDR為正常）。另一方面，反應於判定上述第一結果少於上述第二結果，處理器104可判定第一評估結果RR1指示異常（即，眼睛A的CDR為異常）。
簡言之，處理器104可以CDR評估結果R11~R13進行多數決。若CDR評估結果R11~R13中指示正常的第一結果較多，則處理器104可判定第一評估結果RR1指示正常；若CDR評估結果R11~R13中指示異常的第二結果較多，則處理器104可判定第一評估結果RR1指示異常，但可不限於此。
此外，在步驟S240中，處理器104可對第一眼底圖310進行多種資料擴增操作，以產生分別對應於所述多個資料擴增操作的多個第二眼底圖。為使本發明的概念更易於理解，以下將輔以圖3作進一步說明。
請參照圖4，其是依據圖3繪示的取得眼睛的第二評估結果的示意圖。在圖4中，處理器104可對第一眼底圖310進行M種（M為正整數）資料擴增操作，以產生M個第二眼底圖411~41M，其中所述M種資料擴增操作可包括對第一眼底圖310進行旋轉、平移、翻轉、縮放、伸展等，但可不限於此。
之後，處理器104可將第二眼底圖411~41M分別輸入至第二模型421~42M，以由各第二模型421~42M輸出對應的預測信心值作為RNFL缺損評估結果R21~R2M。在一實施例中，各第二模型421~42M對應的預測信心值（即，RNFL缺損評估結果R21~R2M）可指示上述眼睛A的RNFL的異常程度。
在一實施例中，為了令各第二模型421~42M具有因應於經資料擴增的眼底圖而辨識其對應的RNFL的異常程度的能力，各第二模型421~42M可先基於標註有對應的RNFL的異常程度的多個（經資料擴增的）眼底圖進行學習，以學習各種RNFL的異常程度對應的眼底圖的特徵，但可不限於此。
在取得各第二模型421~42M的預測信心值（即，RNFL缺損評估結果R21~R2M）之後，在步驟S260中，處理器104可基於所述多個RNFL缺損評估結果R21~R2M取得眼睛A的第二評估結果RR2。
在一實施例中，處理器104可取得各第二模型421~42M對應的預測信心值與參考基準值（例如0.5）之間的一平方差，並據以在第二模型421~42M中找出一候選模型。在一實施例中，此候選模型對應的平方差在第二模型421~42M中可為最大。
之後，處理器104可判斷此候選模型對應的預測信心值是否高於上述參考基準值。若是，則處理器104可判定上述眼睛A的第二評估結果RR2指示異常，反之則可判定上述眼睛A的第二評估結果RR2指示正常。
在取得上述眼睛A的第一評估結果RR1（其可指示正常或異常）及第二評估結果RR2（其可指示正常或異常）之後，在步驟S270中，處理器104可基於第一評估結果RR1及第二評估結果RR1取得眼睛A的視神經評估結果。
在一實施例中，反應於判定第一評估結果RR1指示正常且第二評估結果RR2指示正常，判定眼睛A的視神經評估結果屬於一第一風險程度；反應於判定第一評估結果RR1指示異常且第二評估結果RR2指示正常，判定眼睛A的視神經評估結果屬於一第二風險程度，其中第二風險程度大於第一風險程度；反應於判定第一評估結果RR1指示正常且第二評估結果RR2指示異常，判定眼睛A的視神經評估結果屬於一第三風險程度其中第三風險程度大於第二風險程度；反應於判定第一評估結果RR1指示異常且第二評估結果RR2指示異常，判定眼睛A的視神經評估結果屬於一第四風險程度，其中第四風險程度大於第三風險程度。
在一實施例中，第一、第二、第三及第四風險程度可理解為眼睛A罹患青光眼的機率。例如，當眼睛A的視神經評估結果屬於第一風險程度時，此即代表眼睛A罹患青光眼的機率較低。另一方面，當眼睛A的視神經評估結果屬於第四風險程度時，此即代表眼睛A罹患青光眼的機率較高，但可不限於此。藉此，本發明即可將所取得的視神經評估結果呈現予醫師或其他相關人員，以作為對眼睛A進行診斷的輔助資訊，但可不限於此。
在一實施例中，第一、第二、第三及第四風險程度可概略地理解為正常、低風險、中風險及高風險，而其可經整理為下表1所示內容，但可不限於此。
第一評估結果RR1 第二評估結果RR2 視神經評估結果
正常 正常 正常
異常 正常 低風險
正常 異常 中風險
異常 異常 高風險
表1
綜上所述，本發明在取得視神經盤影像區域之後，可由具不同辨識機制的多個第一模型個別基於視神經盤影像區域產生對應的CDR評估結果，再據以進行多數決以決定第一評估結果係指示正常或異常。另外，本發明還可在對第一眼底圖執行多種不同資料擴增以得到多個第二眼底圖之後，由各第二模型基於這些第二眼底圖之一而產生對應的RNFL缺損結果，並據以得到指示眼睛的RNFL屬於正常或異常的第二評估結果。之後，本發明可再綜合考量第一、第二評估結果，以得到眼睛的視神經評估結果。藉此，本發明可提供醫師在評估患者眼睛狀態時的參考，進而有助於醫師對患者眼睛給出適當的評估結果。舉例而言，醫師可基於本發明實施例所提供的視神經評估結果而對患者是否罹患青光眼而作出適當的評估，進而改善診斷的品質。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:電子裝置 102:儲存電路 104:處理器 310:第一眼底圖 311:視神經盤影像區域 312:視神經杯影像區域 320:參考神經網路 331:第一神經網路 332:第二神經網路 333:第三神經網路 411~41M:第二眼底圖 421~42M:第二模型 R11, R12, R13:CDR評估結果 R21~R2M:RNFL缺損評估結果 RR1:第一評估結果 RR2:第二評估結果 S210~S270:步驟
圖1是依據本發明之一實施例繪示的電子裝置示意圖。 圖2是依據本發明之一實施例繪示的眼睛狀態評估方法流程圖。 圖3是依據本發明之一實施例繪示的取得眼睛的第一評估結果的示意圖。 圖4是依據圖3繪示的取得眼睛的第二評估結果的示意圖。
S210~S270:步驟

Claims (11)

  1. 一種眼睛狀態評估方法，適於一電子裝置，包括：取得一眼睛的一第一眼底圖，其中該第一眼底圖包括一視神經盤影像區域；從該第一眼底圖中取得該視神經盤影像區域，包括：將該第一眼底圖輸入一參考神經網路，其中該參考神經網路因應於該第一眼底圖而在該第一眼底圖中辨識該視神經盤影像區域，並輸出該視神經盤影像區域；由多個第一模型基於該視神經盤影像區域產生多個視神經杯盤比值評估結果；基於該些視神經杯盤比值評估結果取得該眼睛的一第一評估結果；對該第一眼底圖進行多種資料擴增操作，以產生分別對應於該些資料擴增操作的多個第二眼底圖；由多個第二模型基於該些第二眼底圖產生多個視神經纖維層缺損評估結果；基於該些視神經纖維層缺損評估結果取得該眼睛的一第二評估結果；以及基於該第一評估結果及該第二評估結果取得該眼睛的一視神經評估結果。
  2. 如請求項1所述的方法，其中該第一眼底圖包括該眼睛的一彩色眼底圖，且該彩色眼底圖未具有黑邊。
  3. 如請求項1所述的方法，其中該些第一模型包括N個神經網路，且各該視神經杯盤比值評估結果指示該眼睛的一視神經杯盤比為正常或異常，其中N為單數。
  4. 如請求項3所述的方法，其中基於該些視神經杯盤比值評估結果取得該眼睛的該第一評估結果的步驟包括：在該些視神經杯盤比值評估結果找出指示正常的多個第一結果，並在該些視神經杯盤比值評估結果找出指示異常的多個第二結果；反應於判定該些第一結果多於該些第二結果，判定該第一評估結果指示正常；以及反應於判定該些第一結果少於該些第二結果，判定該第一評估結果指示異常。
  5. 如請求項1所述的方法，其中該些第一模型包括一第一神經網路，且所述方法包括：將該視神經盤影像區域輸入該第一神經網路，其中該第一神經網路因應於該視神經盤影像區域而輸出該些視神經杯盤比值評估結果之一。
  6. 如請求項1所述的方法，其中該些第一模型包括一第二神經網路，且所述方法包括：將該視神經盤影像區域輸入該第二神經網路，其中該第二神經網路因應於該視神經盤影像區域而輸出該眼睛的一第一視神經杯盤比值； 反應於判定該第一視神經杯盤比值高於一預設門限值，判定該第二神經網路對應的該些視神經杯盤比值評估結果之一指示異常；以及反應於判定該第一視神經杯盤比值未高於該預設門限值，判定該第二神經網路對應的該些視神經杯盤比值評估結果之一指示正常。
  7. 如請求項1所述的方法，其中該視神經盤影像區域包括一視神經杯影像區域，該些第一模型包括一第三神經網路，且所述方法包括：將該視神經盤影像區域輸入該第三神經網路，其中該第三神經網路因應於該視神經杯影像區域而輸出該眼睛的一視神經杯軸長，並因應於該視神經盤影像區域而輸出該眼睛的一視神經盤軸長；基於該視神經杯軸長及該視神經盤軸長取得該眼睛的一第二視神經杯盤比值；反應於判定該第二視神經杯盤比值高於一預設門限值，判定該第三神經網路對應的該些視神經杯盤比值評估結果之一指示異常；以及反應於判定該第二視神經杯盤比值未高於該預設門限值，判定該第三神經網路對應的該些視神經杯盤比值評估結果之一指示正常。
  8. 如請求項1所述的方法，其中由該些第二模型基 於該些第二眼底圖產生該些視神經纖維層缺損評估結果的步驟包括：將該些第二眼底圖之一者輸入該些第二模型之一者，其中該些第二模型之該者因應於該些第二眼底圖之該者而輸出一預測信心值作為該些視神經纖維層缺損評估結果之一，其中該預測信心值指示該眼睛的一異常程度。
  9. 如請求項8所述的方法，其中基於該些視神經纖維層缺損評估結果取得該眼睛的該第二評估結果的步驟包括：取得各該第二模型對應的該預測信心值與一參考基準值之間的一平方差，並據以在該些第二模型中找出一候選模型，其中該候選模型對應的該平方差在該些第二模型中為最大；反應於判定該候選模型對應的該預測信心值高於該參考基準值，判定該眼睛的該第二評估結果指示異常；以及反應於判定該候選模型對應的該預測信心值不高於該參考基準值，判定該眼睛的該第二評估結果指示正常。
  10. 如請求項1所述的方法，其中該第一評估結果指示正常或異常，該第二評估結果指示正常或異常，且基於該第一評估結果及該第二評估結果取得該眼睛的一視神經評估結果的步驟包括：反應於判定該第一評估結果指示正常且該第二評估結果指示正常，判定該眼睛的該視神經評估結果屬於一第一風險程度；反應於判定該第一評估結果指示異常且該第二評估結果指示 正常，判定該眼睛的該視神經評估結果屬於一第二風險程度，其中該第二風險程度大於該第一風險程度；反應於判定該第一評估結果指示正常且該第二評估結果指示異常，判定該眼睛的該視神經評估結果屬於一第三風險程度，其中該第三風險程度大於該第二風險程度；反應於判定該第一評估結果指示異常且該第二評估結果指示異常，判定該眼睛的該視神經評估結果屬於一第四風險程度，其中該第四風險程度大於該第三風險程度。
  11. 一種電子裝置，包括：一儲存電路，其儲存一程式碼；一處理器，其耦接該儲存電路，並存取該程式碼以執行：取得一眼睛的一第一眼底圖，其中該第一眼底圖包括一視神經盤影像區域；從該第一眼底圖中取得該視神經盤影像區域，包括：將該第一眼底圖輸入一參考神經網路，其中該參考神經網路因應於該第一眼底圖而在該第一眼底圖中辨識該視神經盤影像區域，並輸出該視神經盤影像區域；由多個第一模型基於該視神經盤影像區域產生多個視神經杯盤比值評估結果；基於該些視神經杯盤比值評估結果取得該眼睛的一第一評估結果；對該第一眼底圖進行多種資料擴增操作，以產生分別對應於該 些資料擴增操作的多個第二眼底圖；由多個第二模型基於該些第二眼底圖產生多個視神經纖維層缺損評估結果；基於該些視神經纖維層缺損評估結果取得該眼睛的一第二評估結果；以及基於該第一評估結果及該第二評估結果取得該眼睛的一視神經評估結果。
TW110131705A 2021-08-26 2021-08-26 眼睛狀態評估方法及電子裝置 TWI784688B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW110131705A TWI784688B (zh) 2021-08-26 2021-08-26 眼睛狀態評估方法及電子裝置
US17/506,703 US20230066166A1 (en) 2021-08-26 2021-10-21 Eye state assessment method and electronic device
EP21208958.5A EP4140391B1 (en) 2021-08-26 2021-11-18 Eye state assessment method and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110131705A TWI784688B (zh) 2021-08-26 2021-08-26 眼睛狀態評估方法及電子裝置

Publications (2)

Publication Number Publication Date
TWI784688B true TWI784688B (zh) 2022-11-21
TW202309924A TW202309924A (zh) 2023-03-01

Family

ID=78695561

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110131705A TWI784688B (zh) 2021-08-26 2021-08-26 眼睛狀態評估方法及電子裝置

Country Status (3)

Country Link
US (1) US20230066166A1 (zh)
EP (1) EP4140391B1 (zh)
TW (1) TWI784688B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117084622B (zh) * 2023-10-16 2024-02-02 罗麦(北京)营养食品研究有限公司 一种基于眼部的健康分析方法、系统、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109411086A (zh) * 2018-12-26 2019-03-01 深圳硅基智能科技有限公司 眼底图像病变的筛查系统
US10325176B2 (en) * 2014-08-25 2019-06-18 Agency For Science, Technology And Research Methods and systems for assessing retinal images, and obtaining information from retinal images
CN110211087A (zh) * 2019-01-28 2019-09-06 南通大学 可分享的半自动糖尿病眼底病变标注方法
CN110555845A (zh) * 2019-09-27 2019-12-10 上海鹰瞳医疗科技有限公司 眼底oct图像识别方法及设备
TWI719587B (zh) * 2018-08-31 2021-02-21 大陸商福州依影健康科技有限公司 眼底圖像定量分析的前置處理方法及存放裝置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11839430B2 (en) * 2008-03-27 2023-12-12 Doheny Eye Institute Optical coherence tomography-based ophthalmic testing methods, devices and systems
US9107617B2 (en) * 2009-11-16 2015-08-18 Agency For Science, Technology And Research Obtaining data for automatic glaucoma screening, and screening and diagnostic techniques and systems using the data
US10210955B1 (en) * 2017-08-16 2019-02-19 Arsh Banerjee Methods for diagnosing zika virus
WO2019083129A1 (ko) * 2017-10-27 2019-05-02 주식회사 뷰노 피검체에 대한 안저 영상의 판독을 지원하는 방법 및 이를 이용한 장치
KR20210000021A (ko) * 2019-06-24 2021-01-04 삼성에스디에스 주식회사 녹내장 진단 장치
WO2021017006A1 (zh) * 2019-08-01 2021-02-04 京东方科技集团股份有限公司 图像处理方法及装置、神经网络及训练方法、存储介质
GB202000926D0 (en) * 2020-01-22 2020-03-04 Ucl Business Ltd Method of diagnosis
TWI746287B (zh) * 2020-11-26 2021-11-11 宏碁股份有限公司 影像處理系統及影像處理方法
US11610306B2 (en) * 2020-12-16 2023-03-21 Industrial Technology Research Institute Medical image analysis method and device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10325176B2 (en) * 2014-08-25 2019-06-18 Agency For Science, Technology And Research Methods and systems for assessing retinal images, and obtaining information from retinal images
TWI719587B (zh) * 2018-08-31 2021-02-21 大陸商福州依影健康科技有限公司 眼底圖像定量分析的前置處理方法及存放裝置
CN109411086A (zh) * 2018-12-26 2019-03-01 深圳硅基智能科技有限公司 眼底图像病变的筛查系统
CN110211087A (zh) * 2019-01-28 2019-09-06 南通大学 可分享的半自动糖尿病眼底病变标注方法
CN110555845A (zh) * 2019-09-27 2019-12-10 上海鹰瞳医疗科技有限公司 眼底oct图像识别方法及设备

Also Published As

Publication number Publication date
EP4140391B1 (en) 2024-02-28
EP4140391A1 (en) 2023-03-01
TW202309924A (zh) 2023-03-01
US20230066166A1 (en) 2023-03-02

Similar Documents

Publication Publication Date Title
Keel et al. Development and validation of a deep‐learning algorithm for the detection of neovascular age‐related macular degeneration from colour fundus photographs
Adam et al. Quality and diagnostic utility of mydriatic smartphone photography: the smartphone ophthalmoscopy reliability trial
Li et al. A deep learning system for identifying lattice degeneration and retinal breaks using ultra-widefield fundus images
Yip et al. Technical and imaging factors influencing performance of deep learning systems for diabetic retinopathy
Coan et al. Automatic detection of glaucoma via fundus imaging and artificial intelligence: A review
Patwari et al. Detection, categorization, and assessment of eye cataracts using digital image processing
TWI784688B (zh) 眼睛狀態評估方法及電子裝置
Shi et al. Assessment of image quality on color fundus retinal images using the automatic retinal image analysis
Yuen et al. Deep-learning–based pre-diagnosis assessment module for retinal photographs: A multicenter study
Lee et al. Macular ganglion cell-inner plexiform layer thickness prediction from red-free fundus photography using hybrid deep learning model
Wongwai et al. Diagnostic accuracy of a digital fundus photographic system for detection of retinopathy of prematurity requiring treatment (ROP-RT)
TWI702615B (zh) 視網膜病變評估模型建立方法及系統
US20230157811A1 (en) Systems and methods for vitreous disease severity measurement
Sampson et al. Evaluation of focus and deep learning methods for automated image grading and factors influencing image quality in adaptive optics ophthalmoscopy
Fu et al. A retrospective comparison of deep learning to manual annotations for optic disc and optic cup segmentation in fundus photos
Muchori et al. Diabetic macular edema detection based on non-mydriatic retinal image
Mohan et al. Using artificial intelligence in diabetic retinopathy
CN115778314A (zh) 眼睛状态评估方法及电子装置
Singh Artificial intelligence in ophthalmology
KR20200049195A (ko) 녹내장 의증 진단을 위한 안저영상 분석 방법
Mcneil Coming to terms with AI
Singh et al. Optical Coherence Tomography Image Classification Using Light-weight Hybrid Transformers
US11744457B2 (en) Method for measuring anomalies of refraction using a reflection image of pupil in visible light
Zou et al. Identification of ocular refraction based on deep learning algorithm as a novel retinoscopy method
Pavithra et al. Statistical Analysis of Deep Learning Models for Diabetic Macular Edema Classification using OCT Images