TW202137233A - 影像識別方法及其系統 - Google Patents

影像識別方法及其系統 Download PDF

Info

Publication number
TW202137233A
TW202137233A TW109109527A TW109109527A TW202137233A TW 202137233 A TW202137233 A TW 202137233A TW 109109527 A TW109109527 A TW 109109527A TW 109109527 A TW109109527 A TW 109109527A TW 202137233 A TW202137233 A TW 202137233A
Authority
TW
Taiwan
Prior art keywords
feature map
abnormal object
feature
network
describes
Prior art date
Application number
TW109109527A
Other languages
English (en)
Other versions
TWI735187B (zh
Inventor
吳思為
劉家瑀
王彥翔
Original Assignee
萬里雲互聯網路有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 萬里雲互聯網路有限公司 filed Critical 萬里雲互聯網路有限公司
Priority to TW109109527A priority Critical patent/TWI735187B/zh
Application granted granted Critical
Publication of TWI735187B publication Critical patent/TWI735187B/zh
Publication of TW202137233A publication Critical patent/TW202137233A/zh

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本發明係關於一影像識別方法及其系統，在系統中藉由訓練卷積神經網路模型以偵測二維影像上的異常物件。其中，利用特徵金字塔網路中的金字塔狀特徵階層使得各階層特徵圖中具有更強的特徵語義訊息以描述異常物件。再者，本發明也採用三維卷積神經網路模型以考慮異常物件在切片間的軸向關係並提取其更細微、具辨別性的特徵，以作為判別三維影像是否異常的依據。

Description

影像識別方法及其系統
本發明是關於影像處理的技術領域，特別是一種應用於協助醫療影像識別的影像識別方法及其系統。
傳統中，某些死亡風險被認為是跟某些腫瘤有關。舉例而言，肺癌是惡性腫瘤所引起的，其起因是肺部組織細胞不受控制地生長。若不治療，腫瘤細胞會轉移至鄰近組織或身體的其他地方。以2018年為例，約有176萬人因肺癌而死亡。在一些研究中發明，在台灣不吸煙者罹患肺癌的機率是吸煙者罹患肺癌的兩倍。毫無疑問地，肺癌是最台灣常見癌症死亡。
在肺癌治療上，有許多技術及藥物不斷被研發改善，但影響肺癌治療效果最重的因素之一為疾病的進程，大多數肺癌病人確診時多為中晚期，因此大多預後都不佳，目前僅有10%無症狀患者，在早期階段被發現，才有能有治癒的機會。
肺癌常用的臨床檢測方式包含胸部X光片檢查、痰細胞學檢查以及血清腫瘤標記物檢測等，但這些篩檢方法會受到敏感度及特異性的限制，而一般常規用的CT斷層掃描，其存在高輻射劑量且價格偏高的缺失。
近期發展出低劑量電腦斷層掃描(low dose CT，LDCT)，目前也成為肺癌篩檢主流方式之一，LDCT掃描所使用的輻射劑量為傳統CT斷層掃描的1/6~1/10，略高於胸部X光約1.3~2.2倍。其中，低劑量電腦斷層掃描已被證明比放射照相能將死亡率降低20％，而保持較低的輻射暴露風險；然而，低劑量電腦斷層掃描篩選通常會產生大量切片影像，這使得整個肺部斷層掃描（CT）的解釋是耗時的。此外，醫生很容易忽略了鄰近的血管或鄰近的胸膜結節進而造成診斷錯誤。
有鑑於此，本發明提出一種影像識別方法及其系統，以解決習知技術的缺失。
本發明之第一目的提供一種影像識別方法，藉由效率高精度和靈敏度，以達到輔助醫生進行醫學圖像解讀的目的。
本發明之第二目的係根據前述影像識別方法，藉由結節候選檢測和假陽性減少，以達到避免識別錯誤影像的目的。
本發明之第三目的係根據前述影像識別方法，結合二維(2D)影像低成本運算的優點與三維(3D)影像避免誤判的優點以形成二階段精準影像識別。
本發明之第四目的提供一種影像識別系統，用以實現前述影像識別方法。
為達上述目的及其它目的，本發明係提供一種影像識別方法在一醫療影像標記一異常物件，且醫療影像由電腦斷層攝影的複數切片影像所組成。影像識別方法包含步驟(a)自該等切片影像選擇連續的複數切片圖，其中該等切片影像為二維影像；步驟(b)將該等切片圖輸入至第一網路，藉由第一內核映射(kernel map)演算每一該等切片圖以在每一該等切片中尋找該異常物件進而形成第一特徵圖，其中該第一特徵圖描述該異常物件的第一特徵；步驟(c)第二內核映射演算該第一特徵圖以在該第一特徵圖中尋找該異常物件進而形成第二特徵圖，其中該第二特徵圖描述該異常物件的第二特徵，且該第二特徵描述該異常物件的輪廓程度明顯於該第一特徵描述該異常物件的輪廓程度及該第一特徵描述該異常物件位於每一該等切片的位置明確於該第二特徵描述該異常物件位於每一該等切片的位置；步驟(d)將該第二特徵圖輸入至第二網路，藉由融合該第二特徵圖與該第一特徵圖以形成第三特徵圖，其中該第三特徵圖描述該異常物件的第三特徵，且該第三特徵描述該異常物件的輪廓程度明顯於該第一特徵描述該異常物件的輪廓程度及該第三特徵描述該異常物件位於每一該等切片的位置明確於該第二特徵描述該異常物件位於每一該等切片的位置；步驟(e)根據該第二特徵圖與該第三特徵圖之至少一者預測與偏移該異常物件位於每一該等切片的位置；(f)將該等切片相關於該異常物件的部分進行局部重建，以形成三維影像；以及步驟(g)該三維影像經第三網路演算，以決定該三維影像為陽性或陰性，其中該楊性界定為該異常物件與該陰性界定為非異常物件。
為達上述目的及其它目的，本發明係提供一種影像識別系統。影像識別系統包含一擷取單元、一儲存單元、一處理單元與顯示單元。擷取單元能夠產生輻射於目標體，以取得該目標體的醫療影像。其中該醫療影像由二維的複數切片影像所組成。儲存單元連接該擷取單元以儲存該等切片影像。處理單元連接該儲存單元。該處理單元自該儲存單元一次抓取連續的複數切片影像，並以第一網路演算每一該等切片影像以獲得第一特徵圖與第二特徵圖，就由第二網路演算該第一特徵圖與該第二特徵圖，以分別地預測與偏移異常物件位於每一該等切片的位置，又該處理單元將該等切片進行局部地重建，以將該等切片相關於該異常物件重建為三維影像，以進行陽性與陰性的判斷。顯示單元連接該處理單元。根據該陽性與該陰性的判斷，該顯示單元同時顯示二維的該等切片影像與該異常物件。
相較習知技術，本發明提供影像識別方法及其系統，其特點在於精準度和靈敏度高，可以協助醫生有效地解釋醫學圖像。
為充分瞭解本發明之目的、特徵及功效，茲藉由下述具體之實施例，並配合所附之圖式，對本發明做一詳細說明，說明如後：
於本發明中，係使用「一」或「一個」來描述本文所述的單元、元件和組件。此舉只是為了方便說明，並且對本發明之範疇提供一般性的意義。因此，除非很明顯地另指他意，否則此種描述應理解為包括一個、至少一個，且單數也同時包括複數。
於本發明中，用語「包含」、「包括」、「具有」、「含有」或其他任何類似用語意欲涵蓋非排他性的包括物。舉例而言，含有複數要件的一元件、結構、製品或裝置不僅限於本文所列出的此等要件而已，而是可以包括未明確列出但卻是該元件、結構、製品或裝置通常固有的其他要件。除此之外，除非有相反的明確說明，用語「或」是指涵括性的「或」，而不是指排他性的「或」。
一併參考圖1，係本發明第一實施例之影像識別方法的步驟流程圖。在圖1中，影像識別方法能夠在一醫療影像標記一異常物件。其中，醫療影像由電腦斷層攝影的複數切片影像所組成。
影像識別方法起始於步驟S11，係自該等切片影像選擇連續的複數切片圖。其中，該等切片影像為二維影像。
步驟S12，係將該等切片圖輸入至第一網路FNW，藉由第一內核映射演算每一該等切片圖以在每一該等切片中尋找該異常物件進而形成第一特徵圖。其中，第一特徵圖描述異常物件的第一特徵及第一內核映射為經演算複數醫療影像所產生的描述語言。於此，第一網路係以特徵金字塔網路(feature pyramid networks，FPN)為例說明。特徵金字塔網路是根據特徵金字塔概念設計的特徵提取器，其特徵金字塔網路可以提高精度和速度，且特徵金字塔網路取代例如Faster R-CNN的特徵提取器，並且生成更高質量的特徵圖金字塔，在確保資訊沒丟失的情況下，進一步擴大特徵圖(Feature map)的尺寸，然後，用大尺寸的特徵圖去檢測小目標(例如小目標的尺寸的範圍可以落在為十分之一毫米或數十毫米之間)，從而解決小目標難以檢測的問題。
步驟S13，係第二內核映射演算第一特徵圖以在第一特徵圖中尋找異常物件進而形成第二特徵圖。其中，第二特徵圖描述異常物件的第二特徵，且第二特徵描述異常物件的輪廓程度明顯於第一特徵描述異常物件的輪廓程度及第一特徵描述異常物件位於每一該等切片的位置明確於第二特徵描述異常物件位於每一該等切片的位置。又，第二內核映射同第一內核映射，其係經演算複數醫療影像所產生的描述語言。第二內核映射描述語言描述異常物件的具體程度係高於第一內核映射描述語言描述異常物件的具體程度。
一併參考圖2，係說明本發明圖1之影像識別方法的示意圖。在圖2中，第一網路FNW係以5層特徵圖為例說明，於其他實施例中，特徵圖(層數)的數量可不受限制，不過至少為2層。為便於說明，係將第一特徵圖進一步區分為特徵圖C2、特徵圖C3、特徵圖C4與頂層的特徵圖C5。舉例而言，特徵圖C2與特徵圖C3的尺寸係特徵圖C3小於特徵圖C2。其中，特徵圖C3之特徵描述異常物件的輪廓程度明顯於特徵圖C2之特徵描述異常物件的輪廓程度；但是，特徵圖C2之特徵描述異常物件位於每一該等切片的位置明確於特徵圖C3之特徵描述異常物件位於每一該等切片的位置。
在第一網路FNW移動至第二網路SNW之前，在第一網路FNW中，上一級的特徵圖相較於下一級的特徵圖更趨近於異常物件，亦即異常物件的清晰程度關係為特徵圖C2>特徵圖C3>特徵圖C4>特徵圖C5，特徵圖C5是最趨近異常物件。
步驟S14，係將第二特徵圖輸入至第二網路SNW，藉由融合第二特徵圖與第一特徵圖以形成第三特徵圖。其中，第三特徵圖描述異常物件的第三特徵，且第三特徵描述異常物件的輪廓程度明顯於第一特徵描述異常物件的輪廓程度及第三特徵描述異常物件位於每一該等切片的位置明確於第二特徵描述異常物件位於每一該等切片的位置。於此，第二網路係以特徵金字塔網路為例說明，同前所述，於此不贅述。
在一實施例中，第一特徵圖、第二特徵圖與第三特徵圖鄰近於異常物件的數值不小於非鄰近於異常物件的數值，從變異的數值中，可以判斷出第一特徵圖、第二特徵圖、第三特徵圖是否存在異常物件。
一併參考圖2，係在第二網路SNW，採樣頂層的特徵圖C5(即是第五特徵圖P5)與下一層特徵圖C4進行融合，而形成可供預測與判斷的特徵圖P4，而特徵圖P4又與第一網路FNW之特徵圖C3進行融合，以在第二網路SNW形成可供預測與判斷的特徵圖P3，依此類推，又分別地形成特徵圖P2。又，舉例而言，特徵圖P4之特徵描述異常物件的輪廓程度明顯於特徵圖C2之特徵描述異常物件的輪廓程度；但是，特徵圖P4之特徵描述異常物件位於每一該等切片的位置明確於特徵圖C4之特徵描述異常物件位於每一該等切片的位置。
又，在圖2中，第二網路SNW的特徵圖P2至P5可以另外再次執行第一網路SNW，以再次進行演算而獲得特徵圖Q2至Q5，藉由特徵圖Q2至Q5可以預測與判斷異常物件位於切片的位置。因此，在第一網路FNW之後，可以執行單階的第二網路SNW或多階的第二網路SNW。即是步驟S15，係根據第二特徵圖與第三特徵圖之至少一者預測與偏移異常物件位於每一該等切片的位置。
步驟S16，係將該等切片相關於異常物件的部分進行局部重建，以形成三維影像。
步驟S17，係三維影像經第三網路演算，以決定三維影像為陽性或陰性。其中，楊性係界定為異常物件和陰性係界定為非異常物件。第三網路演算三維影像，以排除疑似異常物件的正常物件而能夠避免誤判，於本實施例中，第三網路為卷積神經網路演算(Convolutional neural network)，卷積神經網路由一個或多個卷積層和頂端的全連通層組成，同時也包括關聯權重和池化層(pooling layer)，使用3D卷積神經網路演算(3D CNN)能更好的捕獲視頻中的時間和空間的特徵信息。
一併參考圖3，係本發明第二實施例之影像識別系統的方塊流程圖。在圖3中，影像識別系統10包含一擷取單元12、一儲存單元14、一處理單元16與顯示單元18。於本實施例中，影像識別系統10係用於檢測肺部2的影像，以從二維的切片圖找尋是否存在可能產生或是已經是肺部異常的細胞影像。
擷取單元12能夠產生輻射於目標體OB(例如人體的肺部或其他器官部位)，以取得目標體OB的醫療影像MI，例如擷取單元12可為電腦斷層掃描(Computed Tomography，CT)或X射線電腦斷層掃描(X-Ray Computed Tomography，X-CT)。其中，醫療影像MI由二維的複數切片影像SI所組成，於本實施例中，該等切片影像SI的數量不小於3張。
儲存單元14連接擷取單元以儲存該等切片影像，例如儲存單元14可以是本地端或是遠端的記憶體、硬式碟片、軟式碟片等。在遠端的實施例中，擷取單元12與儲存單元14之間可以透過例如符合網際網路通訊標準進行資料傳輸。
處理單元16連接儲存單元14，處理單元16自儲存單元14一次抓取連續的3張切片影像SI，並以第一網路FNW演算每一切片影像SI，以獲得第一特徵圖FFM與第二特徵圖SFM。一併參考圖2。
接著，第二網路SNW演算第一特徵圖FFM與第二特徵圖SFM，以分別地預測與偏移異常物件AO位於每一切片影像SI的位置，又處理單元16將每一切片影像SI進行局部地重建，以將每一切片影像SI相關於異常物件AO重建為三維影像，以進行陽性與陰性的判斷。
顯示單元18連接處理單元16，根據陽性與陰性的判斷，顯示單元18可同時顯示二維的該等切片影像SI與異常物件AO。
本發明在上文中已以較佳實施例揭露，然熟習本項技術者應理解的是，該實施例僅用於描繪本發明，而不應解讀為限制本發明之範圍。應注意的是，舉凡與該實施例等效之變化與置換，均應設為涵蓋於本發明之範疇內。因此，本發明之保護範圍當以申請專利範圍所界定者為準。
S11-S17:方法步驟 2:肺部 10:影像識別系統 12:擷取單元 14:儲存單元 16:處理單元 18:顯示單元 OB:目標體 MI:醫療影像 SI:切片影像 FNW:第一網路 FFM:第一特徵圖 SFM:第二特徵圖 SNW:第二網路 AO:異常物件
圖1係本發明第一實施例之影像識別方法的步驟流程圖。 圖2係說明本發明圖1之影像識別方法的示意圖。 圖3係本發明第二實施例之影像識別系統的方塊流程圖。
S11-S17:方法步驟

Claims (10)

  1. 一種影像識別方法，係在醫療影像標記異常物件，且該醫療影像由電腦斷層攝影的複數切片影像所組成，該影像識別方法包含： (a)  自該等切片影像選擇連續的複數切片圖，其中該等切片影像為二維影像； (b) 將該等切片圖輸入至第一網路，藉由第一內核映射(kernel map)演算每一該等切片圖以在每一該等切片中尋找該異常物件進而形成第一特徵圖，其中該第一特徵圖描述該異常物件的第一特徵； (c)  第二內核映射演算該第一特徵圖以在該第一特徵圖中尋找該異常物件進而形成第二特徵圖，其中該第二特徵圖描述該異常物件的第二特徵，且該第二特徵描述該異常物件的輪廓程度明顯於該第一特徵描述該異常物件的輪廓程度及該第一特徵描述該異常物件位於每一該等切片的位置明確於該第二特徵描述該異常物件位於每一該等切片的位置； (d) 將該第二特徵圖輸入至第二網路，藉由融合該第二特徵圖與該第一特徵圖以形成第三特徵圖，其中該第三特徵圖描述該異常物件的第三特徵，且該第三特徵描述該異常物件的輪廓程度明顯於該第一特徵描述該異常物件的輪廓程度及該第三特徵描述該異常物件位於每一該等切片的位置明確於該第二特徵描述該異常物件位於每一該等切片的位置； (e)  根據該第二特徵圖與該第三特徵圖之至少一者預測與偏移該異常物件位於每一該等切片的位置； (f)   將該等切片相關於該異常物件的部分進行局部重建，以形成三維影像；以及 (g) 該三維影像經第三網路演算，以決定該三維影像為陽性或陰性，其中該楊性界定為該異常物件與該陰性界定為非異常物件。
  2. 如申請專利範圍第1項所述之影像識別方法，其中該第一網路與該第二網路為特徵金字塔網路(feature pyramid networks)。
  3. 如申請專利範圍第2項所述之影像識別方法，其中該第一網路移動至該第二網路的過程中，該第二特徵圖相較於該第一特徵圖更趨近於該異常物件。
  4. 如申請專利範圍第1項所述之影像識別方法，其中在該第一特徵圖、該第二特徵圖與該第三特徵圖鄰近於該異常物件的數值不小於非鄰近於該異常物件的數值。
  5. 如申請專利範圍第1項所述之影像識別方法，其中該第一內核映射與該第二內核映射為經演算複數醫療影像所產生的不同描述語言。
  6. 如申請專利範圍第4項所述之影像識別方法，其中該描述語言描述該異常物件的具體程度由高至低為該第一內核映射低於該第二內核映射。
  7. 如申請專利範圍第1項所述之影像識別方法，其中該第三網路演算該三維影像，以排除疑似該異常物件的正常物件。
  8. 如申請專利範圍第1或6項所述之影像識別方法，其中該第三網路為卷積神經網路演算(Convolutional neural network)。
  9. 一種影像識別系統，係包含: 擷取單元，係供產生輻射於目標體，以取得該目標體的醫療影像，其中該醫療影像由二維的複數切片影像所組成； 儲存單元，係連接該擷取單元，以儲存該等切片影像； 處理單元，係連接該儲存單元，該處理單元自該儲存單元一次抓取連續的該等切片影像，並以第一網路演算每一該等切片影像以獲得第一特徵圖與第二特徵圖，就由第二網路演算該第一特徵圖與該第二特徵圖，以分別地預測與偏移異常物件位於每一該等切片的位置，又該處理單元將該等切片進行局部地重建，以將該等切片相關於該異常物件重建為三維影像，以進行陽性與陰性的判斷；以及 顯示單元，係連接該處理單元，根據該陽性與該陰性的判斷，該顯示單元同時顯示二維的該等切片影像與該異常物件。
  10. 如申請專利範圍第9項所述之影像識別系統，其中該等切片影像的數量不小於3張。
TW109109527A 2020-03-22 2020-03-22 影像識別方法及其系統 TWI735187B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW109109527A TWI735187B (zh) 2020-03-22 2020-03-22 影像識別方法及其系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109109527A TWI735187B (zh) 2020-03-22 2020-03-22 影像識別方法及其系統

Publications (2)

Publication Number Publication Date
TWI735187B TWI735187B (zh) 2021-08-01
TW202137233A true TW202137233A (zh) 2021-10-01

Family

ID=78283016

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109109527A TWI735187B (zh) 2020-03-22 2020-03-22 影像識別方法及其系統

Country Status (1)

Country Link
TW (1) TWI735187B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807362B (zh) * 2021-09-03 2024-02-27 西安电子科技大学 基于层间语义信息融合深度卷积网络的图像分类方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127783A (zh) * 2016-07-01 2016-11-16 武汉泰迪智慧科技有限公司 一种基于深度学习的医疗影像识别系统
CN110458883B (zh) * 2019-03-07 2021-07-13 腾讯科技（深圳）有限公司 一种医疗影像的处理系统、方法、装置和设备

Also Published As

Publication number Publication date
TWI735187B (zh) 2021-08-01

Similar Documents

Publication Publication Date Title
US10706545B2 (en) Systems and methods for analysis of anatomical images
KR101943011B1 (ko) 피검체의 의료 영상 판독을 지원하는 방법 및 이를 이용한 장치
EP3567525A1 (en) Systems and methods for analysis of anatomical images each captured at a unique orientation
CN110969622A (zh) 用于辅助肺炎诊断的图像处理方法和系统
JP2009502230A (ja) 医用画像における傷病部位の検知
CN111709950B (zh) 一种乳腺钼靶ai辅助筛查方法
JP2008259622A (ja) レポート作成支援装置およびそのプログラム
JP2004180932A (ja) コンピュータ支援診断装置
JP6719421B2 (ja) 学習データ生成支援装置および学習データ生成支援方法並びに学習データ生成支援プログラム
CN101103924A (zh) 基于乳腺x线摄片的乳腺癌计算机辅助诊断方法及其系统
Ma et al. Developing and verifying automatic detection of active pulmonary tuberculosis from multi-slice spiral CT images based on deep learning
CN114677378B (zh) 基于卵巢肿瘤良恶性预测模型的计算机辅助诊疗系统
CN114782307A (zh) 基于深度学习的增强ct影像直肠癌分期辅助诊断系统
Hong et al. Automatic lung nodule matching on sequential CT images
US20150065868A1 (en) System, method, and computer accessible medium for volumetric texture analysis for computer aided detection and diagnosis of polyps
Basu et al. RadFormer: Transformers with global–local attention for interpretable and accurate Gallbladder Cancer detection
CN111311626A (zh) 基于ct图像的颅骨骨折自动检测方法及电子介质
Wang et al. Computer auxiliary diagnosis technique of detecting cholangiocarcinoma based on medical imaging: A review
Zhang et al. A Lung Cancer Detection and Recognition Method Combining Convolutional Neural Network and Morphological Features
TWI735187B (zh) 影像識別方法及其系統
Likhitkar et al. Automated detection of cancerous lung nodule from the computed tomography images
Tu et al. Slice-Fusion: Reducing False Positives in Liver Tumor Detection for Mask R-CNN
Zhang et al. Multi-input dense convolutional network for classification of hepatocellular carcinoma and intrahepatic cholangiocarcinoma
Lu et al. AugMS-Net: Augmented multiscale network for small cervical tumor segmentation from MRI volumes
Hellmann et al. Deformable dilated faster R-CNN for universal lesion detection in CT images