TW202338857A - 醫學影像分析方法 - Google Patents

醫學影像分析方法 Download PDF

Info

Publication number
TW202338857A
TW202338857A TW111111490A TW111111490A TW202338857A TW 202338857 A TW202338857 A TW 202338857A TW 111111490 A TW111111490 A TW 111111490A TW 111111490 A TW111111490 A TW 111111490A TW 202338857 A TW202338857 A TW 202338857A
Authority
TW
Taiwan
Prior art keywords
image
medical image
analysis method
analyzed
model
Prior art date
Application number
TW111111490A
Other languages
English (en)
Other versions
TWI814307B (zh
Inventor
張漢威
Original Assignee
英屬開曼群島商百蒂醫股份有限公司
張漢威
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英屬開曼群島商百蒂醫股份有限公司, 張漢威 filed Critical 英屬開曼群島商百蒂醫股份有限公司
Priority to TW111111490A priority Critical patent/TWI814307B/zh
Priority to US18/125,219 priority patent/US20230306591A1/en
Priority to JP2023047867A priority patent/JP7531648B2/ja
Application granted granted Critical
Publication of TWI814307B publication Critical patent/TWI814307B/zh
Publication of TW202338857A publication Critical patent/TW202338857A/zh

Links

Images

Landscapes

  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

一種醫學影像分析方法,經由一電腦執行,包括:接收醫學影像;選取醫學影像中的至少一檢測區域;對檢測區域中的目標影像執行影像標準化處理以獲得待分析影像;及輸入待分析影像至影像分類模型,以獲得疾病分析結果。

Description

醫學影像分析方法
本發明是有關於一種影像分析方法,特別是指一種利用神經網路模型進行醫學影像分析的方法。
雙能量X光吸光式測定儀(dual energy x-ray absorptiometry,DXA),俗稱骨密度儀,可產生兩種能量的X光。由於不同能量的X光被不同介質衰減的程度不同。介質的密度越高,對X光造成的衰減越大。從而,可檢測出身體各部位的骨質密度。然而,一般使用DXA所需量測時間需要15至20分鐘,其儀器成本也較一般X光機昂貴,並不利於推廣民眾檢測。
此外,醫學疾病檢測常需要分析組織切片影像,藉由抹片檢查所獲取的細胞樣本來分析罹患疾病類型與嚴重程度。然而,透過人工來檢視需要耗費大量時間與精力,也容易造成誤判。
本發明一實施例提出一種醫學影像分析方法。醫學影像分析方法,經由一電腦執行,包括:接收醫學影像;選取醫學影像中的至少一檢測區域;對檢測區域中的目標影像執行影像標準化處理以獲得待分析影像;及輸入待分析影像至影像分類模型,以獲得疾病分析結果。
依據本發明實施例之醫學影像分析方法,可根據醫學影像自動分析出可能罹患之疾病。依據一些實施例,還可進一步地分析出風險值。
參照圖1,係為本發明一實施例之醫學影像分析方法流程圖。首先,接收一醫學影像(步驟100)。視欲識別的疾病種類,可使用相應的醫學影像。例如,識別骨質疏鬆使用X光影像;識別子宮頸癌使用子宮頸抹片細胞影像;識別血癌使用骨髓抹片細胞影像。
在一些實施例中,用於識別骨質疏鬆之X光影像是脊椎X光影像、股骨X光影像、鎖骨X光影像或掌骨X光影像。透過分析所述脊椎X光影像、股骨X光影像、鎖骨X光影像或掌骨X光影像的特徵,來判斷對應部位是否發生骨質流失所造成細微紋理結構變化,據以推估是否發生骨質疏鬆的情形。所述X光影像是透過診斷型X光機、移動型X光機或X光機巡迴車來取得,其設備成本與量測時間均較傳統使用雙能量X光吸光式測定儀低。
在步驟200中,選取醫學影像中的至少一檢測區域。舉例來說,對於股骨X光影像,是以股骨頸部位作為檢測區域。
在一些實施例中,步驟200還提供一使用者介面來供使用者圈選出所述檢測區域。
在一些實施例中,步驟200是透過物件偵測模型來實現。所述物件偵測模型可例如為Mask R-CNN、YOLO等模型。所述物件偵測模型是需要預先訓練的,透過輸入多重樣本影像及相應的含有偵測目標(如股骨頸部位、細胞)的標註區域至物件偵測模型,來訓練物件偵測模型偵測出股骨X光影像中的股骨頸部位或抹片影像中的細胞個體。
在步驟300中,對於檢測區域中的目標影像,執行一影像標準化處理,以獲得一待分析影像。為了說明的流暢,影像標準化處理之細部流程將留待後述。透過影像標準化處理,可獲得合適尺寸且所需細節清晰的影像,適宜輸入至影像分類模型中。
在步驟400中,將經過處理的待分析影像輸入至影像分類模型中;接著,於步驟500中,根據影像分類模型之輸出,獲得疾病分析結果。影像分類模型為神經網路模型,於後將再具體說明實現方式。所述疾病分析結果可例如是,有無罹患特定疾病(如骨質疏鬆症、子宮頸癌、血癌等)或更進一步的推估罹患此特定疾病的期程。
在一些實施例中,檢測區域的尺寸是依據神經網路模型之輸入規格來決定。例如,若適合輸入至神經網路模型之影像尺寸為224像素見方,則檢測區域的尺寸則同樣為224像素見方。
參照圖2,係為本發明一實施例之影像標準化處理之細部流程圖。影像標準化處理步驟300包括影像清晰處理(步驟301)、最小邊裁切(步驟302)及縮放(步驟303)。
在步驟301中,可利用銳利化(Sharpen)處理或均衡化處理(如直方圖均衡化)來使影像細節更加清楚。在執行銳利化處理或均衡化處理之前,還包括灰階化處理,以將為彩色的目標影像轉換為灰階影像。若目標影像已為灰階影像,則無需執行灰階化處理。
在步驟302中,是對目標影像進行裁切處理。若目標影像尺寸不符合前述神經網路模型之需求尺寸,則將目標影像裁切至相應的尺寸。例如,目標影像為一長方形,則以短邊為基準對長邊進行裁切,以獲得一正方形影像。
在步驟303中,若經過步驟302處理後的影像尺寸不符合前述神經網路模型之尺寸,則對其進行縮放處理(等比例縮小或放大),以獲得前述神經網路模型之需求尺寸。經由前述步驟301至303,對目標影像進行預處理之後,可獲得待分析影像。
參照圖3,係為本發明另一實施例之影像標準化處理之細部流程圖。相較於圖2,本實施例之影像標準化處理還包括計算高紋理特徵區之步驟(步驟313)及範圍取樣之步驟(步驟314)。步驟311、312及315分別與步驟301、302及303相同,於此不再重複說明。
在步驟313中,採用邊緣檢測演算法來檢測影像中的紋理。邊緣檢測演算法可例如為Canny演算法、Sobel演算法等。特別是對於骨質疏鬆之識別,透過步驟313可以找出具有最多骨質紋理的區域。
在步驟314中,依據步驟313所找出的最多骨質紋理區域之中心,擴大一特定範圍,在該特定範圍中隨機取樣出複數個與檢測區域相同大小的區域影像,以供後續於步驟400將此些區域影像輸入至影像分類模型。在此,由於取樣出的區域影像是符合神經網路模型之需求尺寸,因此步驟315可省略。
參照圖4,係為本發明一實施例之影像分類處理之細部流程圖。在步驟401中,將前述待分析影像或區域影像輸入至影像分類模型。在此,影像分類模型為三元組損失(Triplet Loss)模型。三元組損失模型用於訓練差異性較小的資料集。輸入資料包括錨(Anchor)示例、正(Positive)示例和負(Negative)示例。透過優化模型,使得錨示例與正示例的距離小於錨示例與負示例的距離,實現樣本的相似性計算。其中錨示例是樣本集中隨機選取的一個樣本,正示例與錨示例屬於同一類的樣本,而負示例與錨示例屬於不同類的樣本。如此,可透過三元組損失模型對影像特徵進行分群。例如,區分為罹患骨質疏鬆症之群集與沒有罹患骨質疏鬆症之群集。對於如前述子宮頸癌與血癌之識別,則是對待分析影像或區域影像中的細胞個體予以分群,識別出不同種類的細胞。在此,每一待分析影像或每一區域影像中僅具有一個細胞個體影像。
在步驟402中,將三元組損失模型的輸出結果,透過主成分分析(Principal Component Analysis,PCA)降維。主成分分析可對於資料在特徵空間找到一個投影軸,投影後可以得到這組資料的最大變異量。藉此,可以有效的減少維度數,但整體變異量並沒有減少太多。如此,可利用主成分分析對分群結果進行降維,以取得各群的分佈座標資訊。經過步驟401、402,可將輸入三元組損失模型的待分析影像或區域影像轉換成一座標落點。
在步驟403中,根據訓練過程所獲得的各個群的分佈座標資訊,判斷此座標落點位於其中的哪一個群集範圍,來獲得此影像應屬於哪一群(或稱為分析類型)。
步驟404是統合所有分析類型。在此,是指對於對應於同一張醫學影像所擷取的每一待分析影像或每一區域影像所獲得的分析類型進行統合。舉例來說,若對於同一醫學影像擷取了三個區域影像,此三個區域影像在經過前述步驟401至403之後會分別得到一個分析類型;在步驟404則統合此三個分析類型,使得於步驟500中可根據統合結果來獲得疾病分析結果。具體來說,是依據分析類型中的多數者來做為疾病分析結果。例如,三個分析類型為二個罹患骨質疏鬆症類型及一個沒有罹患骨質疏鬆症類型,則依據多數決來認定屬於罹患骨質疏鬆症之疾病分析結果。又例如,在同一張醫學影像中擷取了共有N個細胞個體的待分析影像(或區域影像),經過前述步驟401至403之後,將N個細胞個體分群至K種細胞類型,在步驟404中即可統計各種細胞類型之細胞個體數量,以於步驟500中根據該些細胞類型對應的數量來識別疾病類型。
參照圖5,係為本發明另一實施例之影像分類處理之細部流程圖。於圖4之差異在於,本實施例是使用卷積神經網路(Convolutional Neural Networks,CNN)作為影像分類模型,例如深度殘差網路(Deep residual network,ResNet)、GoogleLeNet、DenseNet等。在訓練模型時,將作為訓練樣本的醫學影像依據前述方式取得待分析影像或區域影像並標註該醫學影像之分析類型,輸入至模型中。卷積神經網路的最末層為權重分類器(如XGBoost),以根據提取特徵預測可能的類別機率。因此,在進行預測判斷時,將待識別的醫學影像依據前述方式取得待分析影像或區域影像輸入至模型中(步驟411),而可獲得預測之分析類型(步驟412)。步驟413與前述步驟404相同,於此不重複說明。
參照圖6,係為本發明一實施例之風險值預測之細部流程圖。承接前述圖5之例,在一些實施例中,還可重複利用卷積神經網路提取的特徵。將該等提取特徵輸入至另一神經網路模型(於此稱風險值預測模型)中(步驟700)。在此,風險值預測模型可以為多層感知器(Multilayer perceptron,MLP)。於訓練時,將訓練樣本對應的提取特徵和對應的風險值輸入至風險值預測模型中,使得在進行預測判斷時,可以根據待識別樣本的提取特徵進行風險值之預測,而獲得預測之風險值(步驟800)。在骨質疏鬆識別應用中,風險值可以例如是T評分(T-scores)參數或骨折風險評估(Fracture Risk Assessment,FRAX)參數。在子宮頸癌識別應用中,風險值是細胞檢查分級數值或疾病期程(如子宮頸癌輕度癌前病變(Low-Grade Squamous Intraepithelial Lesion,LSIL);重度癌前病變(High-Grade Squamous Intraepithelial Lesion ,HSIL)),可表示出嚴重程度,如表1所示。
表1
分級 說明
1 正常
2 良性反應
3 荷爾蒙缺乏萎縮
4 意義不明的非典型鱗狀上皮細胞
5 非典型腺體上皮細胞
6 LSIL 輕度細胞變性併空洞細胞
7 輕度細胞變性無空洞細胞
8 HSIL 中度細胞變性
9 重度細胞變性
10 原位癌
11 鱗狀上皮癌
12 腺癌
13 其他惡性腫瘤
14 其他
15 非典型腺體上皮細胞,疑似腫瘤
16 非典型鱗狀上皮細胞,無法排除HSIL
17 細胞病變,無法排除HSIL
在一些實施例中,除了來自卷積神經網路所提取之特徵之外,還可一併輸入其他特徵至風險值預測模型中,例如個人資料(如性別、年齡)、身體數據(如身體質量指數(BMI)、身高、體重)、醫學資訊(疾病史(如有無罹患糖尿病、高血壓))等的特徵。該等特徵可經由使用者介面供使用者輸入,也可以是透過讀取病歷資料庫來取得。
參照圖7,係為本發明另一實施例之風險值預測之細部流程圖。與圖6之差異在於,在步驟700之前,還執行步驟600,係將提取特徵正規化為0到1之間的數值範圍。
參照圖8,係為本發明再一實施例之風險值預測之細部流程圖。與前述圖6類似,還可重複利用三元組損失模型提取的特徵,將該等提取特徵輸入至前述風險值預測模型中(步驟700)。步驟800如前所述,於此不重複贅述。
在一些實施例中,除了來自三元組損失模型所提取之特徵之外,還可一併輸入其他特徵至風險值預測模型中,例如個人資料(如性別、年齡)、身體數據(如身體質量指數(BMI)、身高、體重)、醫學資訊(如疾病史(如有無罹患糖尿病、高血壓))等的特徵。該等特徵可經由使用者介面供使用者輸入,也可以是透過讀取病歷資料庫來取得。
參照圖9,係為本發明又一實施例之風險值預測之細部流程圖。與前述圖7類似,在步驟700之前,還執行步驟600,係將提取特徵正規化為0到1之間的數值範圍。
前述醫學影像分析方法是經由電腦載入並執行電腦程式產品而實現。電腦程式產品係由多條程式指令組成,儲存於非暫態電腦可讀取媒體中。所述電腦可例如為個人電腦、伺服器等具有運算能力之計算裝置。電腦一般具有處理單元(如中央處理器、圖形處理器)、記憶體、儲存媒體(如硬碟)、輸入輸出介面、網路介面等硬體資源。
在一些實施例中,所述電腦可與醫療影像儲存系統(如Picture archiving and communication system,PACS)或醫用檢測儀器連結,以取得醫學影像。
綜上所述,依據本發明實施例之醫學影像分析方法,可根據醫學影像自動分析出可能罹患之疾病。依據一些實施例,還可進一步地分析出風險值。
100:接收醫學影像 200:選取檢測區域 300:影像標準化處理 301,311:影像清晰處理 302,312:最小邊裁切 303,315:縮放 313:計算高紋理特徵區 314:範圍取樣 400:輸入至影像分類模型 401:輸入至三元組損失模型 402:主成分分析 403:根據座標落點獲得分析類型 404,413:統合所有分析類型 411:輸入至卷積神經網路 412:獲得分析類型 500:獲得疾病分析結果 600:特徵正規化 700:輸入特徵至風險值預測模型 800:獲得風險值
[圖1]為本發明一實施例之醫學影像分析方法流程圖。 [圖2]為本發明一實施例之影像標準化處理之細部流程圖。 [圖3]為本發明另一實施例之影像標準化處理之細部流程圖。 [圖4]為本發明一實施例之影像分類處理之細部流程圖。 [圖5]為本發明另一實施例之影像分類處理之細部流程圖。 [圖6]為本發明一實施例之風險值預測之細部流程圖。 [圖7]為本發明另一實施例之風險值預測之細部流程圖。 [圖8]為本發明再一實施例之風險值預測之細部流程圖。 [圖9]為本發明又一實施例之風險值預測之細部流程圖。
100:接收醫學影像
200:選取檢測區域
300:影像標準化處理
400:輸入至影像分類模型
500:獲得疾病分析結果

Claims (10)

  1. 一種醫學影像分析方法,經由一電腦執行,該醫學影像分析方法包括: 接收一醫學影像; 選取該醫學影像中的至少一檢測區域; 對該檢測區域中的一目標影像執行一影像標準化處理以獲得一待分析影像;及 輸入該待分析影像至一影像分類模型,以獲得一疾病分析結果。
  2. 如請求項1所述之醫學影像分析方法,其中該影像分類模型為一三元組損失模型。
  3. 如請求項2所述之醫學影像分析方法,更包括: 將該三元組損失模型的輸出結果,透過主成分分析降維,以轉換得一座標落點;及 根據該座標落點所在的一群集範圍得到該待分析影像所屬之一分析類型。
  4. 如請求項3所述之醫學影像分析方法,更包括: 統合所有的該些待分析影像之該分析類型,以獲得該疾病分析結果。
  5. 如請求項1所述之醫學影像分析方法,其中該影像分類模型為一卷積神經網路或一三元組損失模型。
  6. 如請求項5所述之醫學影像分析方法,更包括: 輸入經由該卷積神經網路或該三元組損失模型提取的複數特徵至一風險值預測模型,以獲得一風險值。
  7. 如請求項6所述之醫學影像分析方法,其中在輸入該些特徵至該風險值預測模型之前,更包括:對該些特徵正規化。
  8. 如請求項6所述之醫學影像分析方法,其中該風險值預測模型為一多層感知器。
  9. 如請求項1所述之醫學影像分析方法,其中選取該檢測區域之步驟是透過一物件偵測模型來實現。
  10. 如請求項1所述之醫學影像分析方法,其中輸入該待分析影像至該影像分類模型之步驟,包括: 分別輸入各該待分析影像至該影像分類模型,以分別分類該待分析影像至一分析類型;及 以對應於該些待分析影像之該分析類型中的多數者,作為該疾病分析結果。
TW111111490A 2022-03-25 2022-03-25 醫學影像分析方法 TWI814307B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW111111490A TWI814307B (zh) 2022-03-25 2022-03-25 醫學影像分析方法
US18/125,219 US20230306591A1 (en) 2022-03-25 2023-03-23 Medical image analysis method
JP2023047867A JP7531648B2 (ja) 2022-03-25 2023-03-24 医療用画像解析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111111490A TWI814307B (zh) 2022-03-25 2022-03-25 醫學影像分析方法

Publications (2)

Publication Number Publication Date
TWI814307B TWI814307B (zh) 2023-09-01
TW202338857A true TW202338857A (zh) 2023-10-01

Family

ID=88965836

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111111490A TWI814307B (zh) 2022-03-25 2022-03-25 醫學影像分析方法

Country Status (1)

Country Link
TW (1) TWI814307B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10417788B2 (en) * 2016-09-21 2019-09-17 Realize, Inc. Anomaly detection in volumetric medical images using sequential convolutional and recurrent neural networks
CN110880366B (zh) * 2019-12-03 2022-10-25 上海联影智能医疗科技有限公司 一种医学影像处理系统
CN113284136A (zh) * 2021-06-22 2021-08-20 南京信息工程大学 一种双损失函数训练的残差网络和XGBoost的医学图像分类方法

Also Published As

Publication number Publication date
TWI814307B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN108464840B (zh) 一种乳腺肿块自动检测方法及系统
US9076197B2 (en) Probability density function estimation
Mohanty et al. RETRACTED ARTICLE: An improved data mining technique for classification and detection of breast cancer from mammograms
TW201940124A (zh) 乳房腫瘤輔助檢測模型及乳房腫瘤輔助檢測系統
KR102600401B1 (ko) 분류 및 분할을 이용한 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램
CN113261012B (zh) 处理图像的方法、装置及系统
US20230368381A1 (en) System and method for detecting and classifying abnormal cells
Khazendar et al. Automated classification of static ultrasound images of ovarian tumours based on decision level fusion
JP7531648B2 (ja) 医療用画像解析方法
Hassan et al. A hybrid approach for classification breast cancer histopathology images
Zhou et al. Improved breast lesion detection in mammogram images using a deep neural network
Konstandinou et al. Multifeature Quantification of Nuclear Properties from Images of H&E‐Stained Biopsy Material for Investigating Changes in Nuclear Structure with Advancing CIN Grade
Harrison et al. State-of-the-art of breast cancer diagnosis in medical images via convolutional neural networks (cnns)
Youneszade et al. A predictive model to detect cervical diseases using convolutional neural network algorithms and digital colposcopy images
TWI814307B (zh) 醫學影像分析方法
WO2018068004A1 (en) Classification of polyps using learned image analysis
CN116843984A (zh) GLTransNet:一种融合全局特征的钼靶图像分类检测方法
US20240312183A1 (en) Breast ultrasound diagnosis method and system using weakly supervised deep-learning artificial intelligence
TWI828096B (zh) X光影像分析方法
Kumar et al. Deep Learning-Based Computer-Aided Diagnosis Model for the Identification and Classification of Mammography Images
CN116862825A (zh) 医学影像分析方法
Sharma et al. Dual Thresholding based Breast cancer detection in Mammograms
AlShowarah Breast Cancer Detection System using Deep Learning Based on Fusion Features and Statistical Operations.
CN116862824A (zh) X光影像分析方法
Saptasagar et al. Diagnosis and Prediction of Lung Tumour Using Combined ML Techniques