TWI742408B - 一種圖像處理方法、電子設備及儲存介質 - Google Patents
一種圖像處理方法、電子設備及儲存介質 Download PDFInfo
- Publication number
- TWI742408B TWI742408B TW108126050A TW108126050A TWI742408B TW I742408 B TWI742408 B TW I742408B TW 108126050 A TW108126050 A TW 108126050A TW 108126050 A TW108126050 A TW 108126050A TW I742408 B TWI742408 B TW I742408B
- Authority
- TW
- Taiwan
- Prior art keywords
- target
- image
- frames
- prediction
- target image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012545 processing Methods 0.000 title claims abstract description 49
- 238000003672 processing method Methods 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims description 32
- 230000000747 cardiac effect Effects 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 18
- 238000002790 cross-validation Methods 0.000 claims description 12
- 230000003205 diastolic effect Effects 0.000 claims description 11
- 230000002107 myocardial effect Effects 0.000 claims description 9
- 210000004165 myocardium Anatomy 0.000 claims description 9
- 238000013184 cardiac magnetic resonance imaging Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 210000005242 cardiac chamber Anatomy 0.000 claims description 4
- 230000006870 function Effects 0.000 abstract description 25
- 230000002861 ventricular Effects 0.000 abstract description 14
- 230000004217 heart function Effects 0.000 abstract description 7
- 238000013139 quantization Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000011002 quantification Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008602 contraction Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 210000005240 left ventricle Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000010247 heart contraction Effects 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
- A61B5/0044—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
- A61B2576/023—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the heart
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- High Energy & Nuclear Physics (AREA)
- Cardiology (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本申請實施例公開了一種影像處理方法、電子設備及儲存介質,其中方法包括:將原始圖像轉換為符合目標參數的目標圖像;將所述目標圖像輸入指標預測模組,獲得目標數值指標;根據所述目標數值指標,對所述目標圖像進行時序預測處理,獲得時序狀態預測結果,可以實現左心室功能量化,提高影像處理效率,提升心臟功能指標的預測精度。
Description
本發明關於影像處理領域,具體關於一種影像處理方法、電子設備及儲存介質。
影像處理是用電腦對圖像進行分析,以達到所需結果的技術。影像處理一般指數位影像處理,數位圖像是指用工業相機、攝影機、掃描器等設備經過拍攝得到的一個大的二維陣列,該陣列的元素稱為圖元,其值稱為灰度值。影像處理在許多領域起著十分重要的作用,特別是醫學領域的影像處理。
目前,對於診斷心臟疾病而言,左心室功能量化是診斷步驟中最重要的一步。左心室功能量化依然是一個困難的任務,由於不同病人的心臟結構多樣性、心臟跳動的時序複雜性。左心室功能量化的具體目標是輸出左心室的各個組織的具體指標。在過去沒有電腦輔助時,完成上述指標計算的流程是:醫師在心臟的醫學圖像上手工圈出心腔、心肌層的輪廓,標定主軸方向,然後手工測量出具體指標,該過程費時費力,且醫師間判斷的差別顯著。
隨著醫學技術的發展與成熟,電腦輔助計算指標的方法也逐漸應用廣泛。
一般而言,使用原圖輸入輸出圖元分割後計算指標的方法,通常在圖像模糊的邊界部分分割不精準,需要醫師再介入進行邊界修正後才能得出精確的指標,能省去的僅有醫師判斷顯著是心肌、心腔區域的時間,在左心室功能量化的影像處理中,該類方法處理效率較低,獲得的指標精度不高。
本申請實施例提供了一種影像處理方法、電子設備及儲存介質,可以實現左心室功能量化,提高影像處理效率,提升心臟功能指標的預測精度。
本申請實施例第一方面提供一種影像處理方法,包括:將原始圖像轉換為符合目標參數的目標圖像;將所述目標圖像輸入指標預測模組,獲得目標數值指標;根據所述目標數值指標,對所述目標圖像進行時序預測處理,獲得時序狀態預測結果。
在一種可選的實施方式中,所述對所述目標圖像進行時序預測處理,獲得時序狀態預測結果包括:使用無參數序列預測策略對所述目標圖像進行時序預測處理,獲得時序狀態預測結果。
在一種可選的實施方式中,所述指標預測模組包括深度層級融合網路模型。
在一種可選的實施方式中,所述原始圖像為心臟磁共振成像,所述目標數值指標包括以下任意一種或幾種:心腔面積、心肌面積、心腔每隔60度的直徑、心肌層每隔60度的厚度。
在一種可選的實施方式中,所述獲得目標數值指標包括:分別獲得M幀目標圖像的M個預測心腔面積值;所述根據所述目標數值指標,使用無參數序列預測策略對所述目標圖像進行時序預測處理,獲得時序狀態預測結果包括:使用多項式曲線對所述M個預測心腔面積值進行擬合,獲得回歸曲線;獲取所述回歸曲線的最高幀與最低幀,獲得判斷心臟狀態為收縮狀態或者舒張狀態的判斷區間;根據所述判斷區間判斷所述心臟狀態,所述M為大於1的整數。
在一種可選的實施方式中,所述將原始圖像轉換為符合目標參數的目標圖像之前,所述方法還包括:在包含所述原始圖像的影像資料中,提取M幀原始圖像,所述M幀原始圖像涵蓋至少一個心臟跳動週期;所述將原始圖像轉換為符合目標參數的目標圖像,包括:
將M幀原始圖像轉換為符合所述目標參數的M幀目標圖像。
在一種可選的實施方式中,所述方法還包括:所述深度層級融合網路模型為N個,所述N個深度層級融合網路模型由訓練資料通過交叉驗證訓練獲得,所述N為大於1的整數。
在一種可選的實施方式中,所述M幀目標圖像包括第一目標圖像,所述將所述目標圖像輸入深度層級融合網路模型,獲得目標數值指標包括:將所述第一目標圖像輸入所述N個深度層級融合網路模型,獲得N個初步預測心腔面積值;所述分別獲得M幀目標圖像的M個預測心腔面積值包括:將所述N個初步預測心腔面積值取平均值,作為所述第一目標圖像對應的預測心腔面積值,對所述M幀目標圖像中的每幀圖像執行相同步驟,獲得所述M幀目標圖像對應的M個預測心腔面積值。
在一種可選的實施方式中,所述將原始圖像轉換為符合目標參數的目標圖像包括:對所述原始圖像進行長條圖均衡化處理,獲得灰度值滿足目標動態範圍的所述目標圖像。
本申請實施例第二方面提供一種電子設備,包括:圖像轉換模組、指標預測模組和狀態預測模組,其中:
所述圖像轉換模組,用於將原始圖像轉換為符合目標參數的目標圖像;所述指標預測模組,用於將所述目標圖像輸入深度層級融合網路模型,獲得目標數值指標;所述狀態預測模組,用於根據所述目標數值指標,對所述目標圖像進行時序預測處理,獲得時序狀態預測結果。
在一種可選的實施方式中,所述指標預測模組具體用於:使用無參數序列預測策略對所述目標圖像進行時序預測處理,獲得時序狀態預測結果。
在一種可選的實施方式中,所述指標預測模組包括深度層級融合網路模型。
在一種可選的實施方式中,所述原始圖像為心臟磁共振成像,所述目標數值指標包括以下任意一種或幾種:心腔面積、心肌面積、心腔每隔60度的直徑、心肌層每隔60度的厚度。
在一種可選的實施方式中,所述指標預測模組包括第一預測單元,所述第一預測單元用於:分別獲得M幀目標圖像的M個預測心腔面積值;所述狀態預測模組具體用於:使用多項式曲線對所述M個預測心腔面積值進行擬合,獲得回歸曲線;
獲取所述回歸曲線的最高幀與最低幀,獲得判斷心臟狀態為收縮狀態或者舒張狀態的判斷區間;根據所述判斷區間判斷所述心臟狀態,所述M為大於1的整數。
在一種可選的實施方式中,所述電子設備還包括圖像提取模組,用於在包含所述原始圖像的影像資料中,提取M幀原始圖像,所述M幀原始圖像涵蓋至少一個心臟跳動週期;所述圖像轉換模組具體用於:將M幀原始圖像轉換為符合所述目標參數的M幀目標圖像。
在一種可選的實施方式中,所述指標預測模組的所述深度層級融合網路模型為N個,所述N個深度層級融合網路模型由訓練資料通過交叉驗證訓練獲得,所述N為大於1的整數。
在一種可選的實施方式中,所述M幀目標圖像包括第一目標圖像,所述指標預測模組具體用於:將所述第一目標圖像輸入所述N個深度層級融合網路模型,獲得N個初步預測心腔面積值;所述第一預測單元具體用於:將所述N個初步預測心腔面積值取平均值,作為所述第一目標圖像對應的預測心腔面積值,對所述M幀目標圖像中的每幀圖像執行相同步驟,獲得所述M幀目標圖像對應的M個預測心腔面積值。
在一種可選的實施方式中,所述圖像轉換模組具體用於:對所述原始圖像進行長條圖均衡化處理,獲得灰度值滿足目標動態範圍的所述目標圖像。
本申請實施例協力廠商面提供另一種電子設備,包括處理器以及記憶體,所述記憶體用於儲存一個或多個程式,所述一個或多個程式被配置成由所述處理器執行,所述程式包括用於執行如本申請實施例第一方面任一方法中所描述的部分或全部步驟。
本申請實施例第四方面提供一種電腦可讀儲存介質,所述電腦可讀儲存介質用於儲存電子資料交換的電腦程式,其中,所述電腦程式使得電腦執行如本申請實施例第一方面任一方法中所描述的部分或全部步驟。
本申請實施例通過將原始圖像轉換為符合目標參數的目標圖像;將所述目標圖像輸入指標預測模組,獲得目標數值指標;根據所述目標數值指標,對所述目標圖像進行時序預測處理,獲得時序狀態預測結果,可以實現左心室功能量化,提高影像處理效率,減少一般處理過程中人工參與帶來的人力消耗和誤差,提升心臟功能指標的預測精度。
300:電子設備
310:圖像轉換模組
320:指標預測模組
321:第一預測單元
330:狀態預測模組
340:圖像提取模組
400:電子設備
401:處理器
402:記憶體
403:匯流排
404:輸入輸出設備
為了更清楚地說明本申請實施例或現有技術中的技術方案,下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹。
圖1是本申請實施例公開的一種影像處理方法的流程示意圖;圖2是本申請實施例公開的另一種影像處理方法的流程示意圖;圖3是本申請實施例公開的一種電子設備的結構示意;圖4是本申請實施例公開的另一種電子設備的結構示意圖。
為了使本技術領域的人員更好地理解本發明方案,下面將結合本申請實施例中的附圖,對本申請實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發明一部分實施例,而不是全部的實施例。基於本發明中的實施例,本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例,都屬於本發明保護的範圍。
本發明的說明書和申請專利範圍及上述附圖中的術語“第一”、“第二”等是用於區別不同物件,而不是用於描述特定順序。此外,術語“包括”和“具有”以及它們任何變形,意圖在於覆蓋不排他的包含。例如包含了一系列步驟或單元的過程、方法、系統、產品或設備沒有限定於已列
出的步驟或單元,而是可選地還包括沒有列出的步驟或單元,或可選地還包括對於這些過程、方法、產品或設備固有的其他步驟或單元。
在本文中提及“實施例”意味著,結合實施例描述的特定特徵、結構或特性可以包含在本發明的至少一個實施例中。在說明書中的各個位置出現該短語並不一定均是指相同的實施例,也不是與其它實施例互斥的獨立的或備選的實施例。本領域技術人員顯式地和隱式地理解的是,本文所描述的實施例可以與其它實施例相結合。
本申請實施例所涉及到的電子設備可以允許多個其他終端設備進行訪問。上述電子設備包括終端設備,具體實現中,上述終端設備包括但不限於諸如具有觸摸敏感表面(例如,觸控式螢幕顯示器和/或觸控板)的行動電話、膝上型電腦或平板電腦之類的其它可擕式設備。還應當理解的是,在某些實施例中,所述設備並非可擕式通信設備,而是具有觸摸敏感表面(例如,觸控式螢幕顯示器和/或觸控板)的臺式電腦。
本申請實施例中的深度學習的概念源於人工神經網路的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵,以發現資料的分散式特徵表示。
深度學習是機器學習中一種基於對資料進行表徵學習的方法。觀測值(例如一幅圖像)可以使用多種方式來表示,如每個圖元強度值的向量,或者更抽象地表示成一
系列邊、特定形狀的區域等。而使用某些特定的表示方法更容易從實例中學習任務(例如,人臉識別或面部表情識別)。深度學習的好處是用非監督式或半監督式的特徵學習和分層特徵提取高效演算法來替代手工獲取特徵。深度學習是機器學習研究中的一個新的領域,其動機在於建立、模擬人腦進行分析學習的神經網路,它模仿人腦的機制來解釋資料,例如圖像,聲音和文本。
下面對本申請實施例進行詳細介紹。
請參閱圖1,圖1是本申請實施例公開的一種影像處理的流程示意圖,如圖1所示,該影像處理方法可以由上述電子設備執行,包括如下步驟:
101、將原始圖像轉換為符合目標參數的目標圖像。
在通過深度學習模型執行影像處理之前,可以先對原始圖像進行圖像預處理,轉換為符合目標參數的目標圖像,再執行步驟102。圖像預處理的主要目的是消除圖像中無關的資訊,恢復有用的真實資訊,增強有關資訊的可檢測性和最大限度地簡化資料,從而改進特徵抽取、圖像分割、匹配和識別的可靠性。
本申請實施例中提到的原始圖像可以為通過各種醫學圖像設備獲得的心臟圖像,具有多樣性,在圖像中體現為對比度、亮度等宏觀特徵的多樣性,在本申請實施例中的原始圖像可以為一張或者一張以上,如果按照一般的技術沒有經
過預處理,新圖片若恰好處於以往沒有學習過的宏觀特徵上,模型可能會有大幅度錯誤。
上述目標參數可以理解為描述圖像特徵的參數,即用於使上述原始圖像呈統一風格的規定參數。例如,上述目標參數可以包括:用於描述圖像解析度、圖像灰度、圖像大小等特徵的參數,電子設備中可以儲存有上述目標圖像參數。本申請中較佳者為描述圖像灰度值範圍的參數。
具體的,上述獲得符合目標參數的目標圖像的方式可包括:對上述原始圖像進行長條圖均衡化處理,獲得灰度值滿足目標動態範圍的上述目標圖像。
如果一副圖像的圖元佔有很多的灰度級而且分佈均勻,那麼這樣的圖像往往有高對比和多變的灰度色調。本申請實施例中提到的長條圖均衡化就是一種能僅靠輸入圖像長條圖資訊自動達到這種效果的變換函數,它的基本思想是對圖像中圖元個數多的灰度級進行展寬,而對圖像中圖元個數少的灰度進行壓縮,從而擴展像元取值的動態範圍,提高了對比度和灰度色調的變化,使圖像更加清晰。
本申請實施例可以使用長條圖均衡化的方法對原始圖像進行預處理,降低圖像之間的多樣性。電子設備中可以預先儲存有針對灰度值的目標動態範圍,該可以是用戶提前設置的,在對原始圖像進行長條圖均衡化處理時,使圖像的灰度值滿足目標動態範圍(比如可以將所有原始圖片都拉伸至最大的灰度動態範圍),即得到上述目標圖像。
通過對原始圖像進行預處理,可以降低其多樣性,通過上述長條圖均衡化獲得較為統一、清晰的目標圖像之後,再執行後續影像處理步驟,深度學習模型能夠給出更穩定的判斷。
102、將上述目標圖像輸入指標預測模組,獲得目標數值指標。
上述指標預測模組可以用於獲得左心室功能量化的多個指標。具體的,本申請實施例中指標預測模組可以執行深度學習網路模型,來獲得上述指標,比如深度層級融合網路模型。
本申請實施例中所使用的深度學習網路名為深度層級融合網路(Deep Layer Aggregation,DLANet),也叫深層聚合結構,通過更深入的聚合來擴充標準體系結構,以更好地融合各層的資訊,深度層級融合以反覆運算和分層方式合併特徵層次結構,使網路具有更高的準確性和更少的參數。使用樹型構造取代以往架構的線性構造,實現了對於網路的梯度回傳長度的對數級別壓縮,而不是線性壓縮,使得學習到的特徵更具備描述能力,可以有效提高上述數值指標的預測精度。
通過上述深度層級融合網路模型,可以對上述目標圖像進行處理,獲得相應的目標數值指標。左心室功能量化的具體目標是輸出左心室的各個組織的具體指標,一般包括心腔面積、心肌面積、心腔每隔60度的直徑和心肌層每隔60度的厚度,其分別有1、1、3、6個數值輸出指標,共11個數
值輸出指標。具體的,上述原始圖像可以為心臟磁共振成像(Magnetic Resonance Imaging,MRI),對心血管疾病不但可以觀察各腔室、大血管及瓣膜的解剖變化,而且可作心室分析,進行定性及半定量的診斷,可作多個切面圖,空間解析度較高,顯示心臟及病變全貌,及其與周圍結構的關係。
上述目標數值指標可包括以下任意一種或幾種:心腔面積、心肌面積、心腔每隔60度的直徑、心肌層每隔60度的厚度。使用上述深度層級融合網路模型,可以在獲得病人的心臟MRI中值切片後,計算心臟在圖像中的上述心腔面積、心肌層面積、心腔直徑、心肌厚度這些物理指標,用於後續醫學治療分析。
此外,在該步驟具體實施過程中,可以通過大量的原始圖像訓練涉及的深度層級融合網路,在使用原始圖像的資料集進行網路模型的訓練時,依然可以先執行上述預處理步驟,即可以先通過長條圖均衡化的方法降低原始圖像之間的多樣性,提高模型的學習和判斷準確性。
103、根據上述目標數值指標,對上述目標圖像進行時序預測處理,獲得時序狀態預測結果。
在獲得上述目標數值指標之後,可以進行對心臟的收縮與舒張的時序狀態預測,一般而言,使用的是循環網路來預測狀態,主要通過心腔面積值進行判斷。本申請在做心臟的收縮與舒張的時序狀態預測時,可以採用無參數序列預測策
略來進行時序預測,無參數序列預測策略指的是不引入額外參數的預測策略。
具體的,對於一個病人的心臟跳動影像資料,可以獲取多幀圖像,首先深度層級融合網路預測每一幀圖像的心腔面積值,得到每一幀的心腔面積值的預測,作為預測點;其次可以使用多次方多項式曲線對預測點進行擬合,最後取回歸曲線的最高幀與最低幀,以判斷心臟的收縮與舒張。
具體的,在上述步驟102中獲得目標數值指標可包括:分別獲得M幀目標圖像的M個預測心腔面積值;步驟103可包括:(1)使用多項式曲線對上述M個預測心腔面積值進行擬合,獲得回歸曲線;(2)獲取上述回歸曲線的最高幀與最低幀,獲得判斷心臟狀態為收縮狀態或者舒張狀態的判斷區間;(3)根據上述判斷區間判斷上述心臟狀態,其中,M為大於1的整數。
資料擬合又稱曲線擬合,俗稱拉曲線,是一種把現有資料透過數學方法來代入一條數式的表示方式。科學和工程問題可以通過諸如採樣、實驗等方法獲得若干離散的資料,根據這些資料,往往希望得到一個連續的函數(也就是曲線)或者更加密集的離散方程與已知數據相吻合,這過程就叫做擬合(fitting)。
在機器學習演算法中,基於針對資料的非線性函數的線性模型是常見的,這種方法即可以像線性模型一樣高效的運算,同時使得模型可以適用於更為廣泛的資料上。
上述M幀目標圖像可以涵蓋至少一個心臟跳動週期,即針對一個心臟跳動週期內採集的多幀圖像進行預測,可以更準確地進行心臟狀態判斷。比如可以獲得病人的一個心臟跳動週期內的20幀目標圖像,首先通過步驟102中的深度層級融合網路對該20幀目標圖像每一幀圖像進行預測處理,獲得每一幀目標圖像對應的預測心腔面積值,得到20個預測點;再使用11次方多項式曲線對上述20個預測點進行擬合,最後取回歸曲線的最高幀與最低幀,來計算上述判斷區間,比如可以將(最高點,最低點]間的幀判斷為收縮狀態0,將(最低點,最高點]間的幀判斷為舒張狀態1,即可以獲得上述收縮與舒張的時序狀態預測,便於後續進行醫學分析,以及輔助醫生對病理情況進行針對性治療。
本申請實施例中的時序網路(Long Short Term Memory Networks,LSTM)指通過狀態與轉換兩種基本概念描述系統狀態及其轉換方式的一種特殊的概念模式。對於收縮與舒張狀態預測,使用無參數序列預測策略,比起一般使用時序網路,可以取得更高的判斷精度以及解決非連續預測問題。一般的方法中,通過時序網路來進行心臟的收縮與舒張的狀態預測,使用時序網路的方式,不可避免地會出現例如“0-1-0-1”(1表示收縮,0表示舒張)的判斷,這就造成了上述非連續預測問題,但實際上心臟在
一個週期內一定會是一整段收縮一整段舒張,不會出現頻繁的狀態變換。而使用上述無參數序列預測策略替代上述時序網路,從根本上解決了非連續預測的問題,對於未知數據的判斷顯得更為穩定,並且由於無額外參數,策略的魯棒性(Robust)更強,可以取得比有時序網路時更高的預測精度。所謂魯棒性,是指控制系統在一定(結構,大小)的參數攝動下,維持其它某些性能的特性,英文也就是健壯和強壯的意思,它是在異常和危險情況下系統生存的關鍵。比如說,電腦軟體在輸入錯誤、磁片故障、網路超載或有意攻擊情況下,能否不當機、不崩潰,就是該軟體的魯棒性。
本申請實施例通過將原始圖像轉換為符合目標參數的目標圖像,再將目標圖像輸入指標預測模組,可以獲得目標數值指標,以及根據目標數值指標,使用無參數序列預測策略對目標圖像進行時序預測處理,可以獲得時序狀態預測結果,可以實現左心室功能量化,提高影像處理效率,減少一般處理過程中人工參與帶來的人力消耗和誤差,提升心臟功能指標的預測精度。
請參閱圖2,圖2是本申請實施例公開的另一種影像處理方法的流程示意圖,圖2是在圖1的基礎上進一步優化得到的。執行本申請實施例步驟的主體可以為一種用於醫學影像處理的電子設備。如圖2所示,該影像處理方法包括如下步驟:
201、在包含上述原始圖像的影像資料中,提取M幀原始圖像,上述M幀原始圖像涵蓋至少一個心臟跳動週期。
上述M幀目標圖像可以涵蓋至少一個心臟跳動週期,即針對一個心臟跳動週期內採集的多幀圖像進行預測,在進行心臟狀態判斷時可以更加準確。
202、將上述M幀原始圖像轉換為符合上述目標參數的M幀目標圖像。
其中,上述M為大於1的整數,較佳者,M可以為20,即獲得病人的一個心臟跳動週期內的20幀目標圖像。上述步驟202的圖像預處理過程可以參考圖1所示實施例的步驟101中的具體描述,此處不再贅述。
203、上述M幀目標圖像包括第一目標圖像,將上述第一目標圖像輸入上述N個深度層級融合網路模型,獲得N個初步預測心腔面積值。
為了便於描述和理解,以M幀目標圖像中的一幀,即上述第一目標圖像為例進行具體描述。本申請實施例中的深度層級融合網路模型可以有N個,其中N為大於1的整數。可選的,N個深度層級融合網路模型由訓練資料通過交叉驗證訓練獲得。
本申請實施例提到的交叉驗證(Cross-validation),主要用於建模應用中,例如主成分分析(PCR)和偏最小二乘回歸(PLS)建模中。具體可以理解為,在給定的建模樣本中,拿出大部分樣本進行建模型,留小部分樣本用剛建立的
模型進行預報,並求這小部分樣本的預報誤差,記錄它們的平方加和。
本申請實施例中,可以使用交叉驗證訓練方法,較佳者,可以選擇五交叉驗證訓練,將已有的訓練資料進行五交叉驗證訓練,得到五個模型(深度層級融合網路模型),在驗證時能夠使用整個資料集來體現演算法結果。具體的,在劃分資料成五份時,首先可以提取每個原始圖像預處理後的灰度長條圖以及心臟功能指標(可以為前述的11個指標),連接起來作為上述目標圖像的描述子,然後使用K均值無監督的將上述訓練資料分成五類,再將五類訓練資料每一類五等分,每一份資料取每類資料中五等分的其中一份(可以四份做訓練、一份做驗證),通過上述操作可以在五交叉驗證時讓上述五個模型廣泛地學習到每種資料的特點,從而提高模型的魯棒性。
並且,相比於一般的影像處理中的隨機劃分,上述五交叉驗證訓練,得到的模型由於資料訓練不均衡而表現出極端偏差的可能性更小。
通過上述N個模型獲得第一目標圖像的N個初步預測心腔面積值後,可以執行步驟204。
204、將上述N個初步預測心腔面積值取平均值,作為上述第一目標圖像對應的預測心腔面積值。
205、對上述M幀目標圖像中的每幀圖像執行相同步驟,獲得上述M幀目標圖像對應的M個預測心腔面積值。
上述步驟203和步驟204是針對一幀目標圖像的處理,可以對上述M幀目標圖像均執行相同的步驟,以獲得每幀目標圖像對應的預測心腔面積值,對上述M幀目標圖像的處理可以是同步進行的,提高處理效率和準確度。
通過上述五交叉驗證訓練方法,在預測新的資料(新的原始圖像)時,通過上述五個模型可以得出五份心腔面積的預測結果,再取平均值,可以得到最終的回歸預測結果,可以使用該預測結果用於步驟206及其之後的時序判斷過程。通過多模型融合,提高了預測指標的準確性。
206、使用多項式曲線對上述M個預測心腔面積值進行擬合,獲得回歸曲線。
207、獲取上述回歸曲線的最高幀與最低幀,獲得判斷心臟狀態為收縮狀態或者舒張狀態的判斷區間。
208、根據上述判斷區間判斷上述心臟狀態。
其中,上述步驟206-步驟208可以參考圖1所示實施例的步驟103中(1)-(3)的具體描述,此處不再贅述。
本申請實施例適用於臨床的醫學輔助診斷中。醫生獲得了病人的心臟MRI圖像中值切片後,需要計算心臟在圖中的心腔面積、心肌層面積、心腔直徑、心肌厚度這些物理指標,可使用上述方法快速得出上述指標較為精確的判斷(可以在0.2秒內完成),而無需在圖上進行費時費力的手工測量計算,以方便醫生根據心臟的物理指標對於疾病的判斷。
本申請實施例通過在包含上述原始圖像的影像資料中,提取M幀原始圖像,上述M幀原始圖像涵蓋至少一個心臟跳動週期,再將M幀原始圖像轉換為符合上述目標參數的M幀目標圖像,其中,上述M幀目標圖像包括第一目標圖像,將上述第一目標圖像輸入上述N個深度層級融合網路模型,獲得N個初步預測心腔面積值,再將上述N個初步預測心腔面積值取平均值,作為上述第一目標圖像對應的預測心腔面積值,對上述M幀目標圖像中的每幀圖像都執行相同步驟,獲得上述M幀目標圖像對應的M個預測心腔面積值,然後使用多項式曲線對上述M個預測心腔面積值進行擬合,獲得回歸曲線,獲取上述回歸曲線的最高幀與最低幀,獲得判斷心臟狀態為收縮狀態或者舒張狀態的判斷區間,進而可以根據上述判斷區間判斷上述心臟狀態,實現了左心室功能量化,提高影像處理效率,減少一般處理過程中人工參與帶來的人力消耗和誤差,提升心臟功能指標的預測精度。
上述主要從方法側執行過程的角度對本申請實施例的方案進行了介紹。可以理解的是,電子設備為了實現上述功能,其包含了執行各個功能相應的硬體結構和/或軟體模組。本領域技術人員應該很容易意識到,結合本文中所公開的實施例描述的各示例的單元及演算法步驟,本發明能夠以硬體或硬體和電腦軟體的結合形式來實現。某個功能究竟以硬體還是電腦軟體驅動硬體的方式來執行,取決於技術方案的特定應用和設計約束條件。專業技術人員可以對特定
的應用使用不同方法來實現所描述的功能,但是這種實現不應認為超出本發明的範圍。
本申請實施例可以根據上述方法示例對電子設備進行功能模組的劃分,例如,可以對應各個功能劃分各個功能模組,也可以將兩個或兩個以上的功能集成在一個處理模組中。上述集成的模組既可以採用硬體的形式實現,也可以採用軟體功能模組的形式實現。需要說明的是,本申請實施例中對模組的劃分是示意性的,僅僅為一種邏輯功能劃分,實際實現時可以有另外的劃分方式。
請參閱圖3,圖3是本申請實施例公開的一種電子設備的結構示意圖。如圖3所示,該電子設備300包括:圖像轉換模組310、指標預測模組320和狀態預測模組330,其中:所述圖像轉換模組310,用於將原始圖像轉換為符合目標參數的目標圖像;所述指標預測模組320,用於根據輸入的所述目標圖像獲得目標數值指標;所述狀態預測模組330,用於根據所述目標數值指標,對所述目標圖像進行時序預測處理,獲得時序狀態預測結果。
可選的,所述指標預測模組320包括深度層級融合網路模型。
可選的,所述原始圖像為心臟磁共振成像;
所述目標數值指標包括以下任意一種或幾種:心腔面積、心肌面積、心腔每隔60度的直徑、心肌層每隔60度的厚度。
可選的,所述指標預測模組320包括第一預測單元321,所述第一預測單元321用於:分別獲得M幀目標圖像的M個預測心腔面積值;所述狀態預測模組330具體用於:使用多項式曲線對所述M個預測心腔面積值進行擬合,獲得回歸曲線;獲取所述回歸曲線的最高幀與最低幀,獲得判斷心臟狀態為收縮狀態或者舒張狀態的判斷區間;根據所述判斷區間判斷所述心臟狀態,所述M為大於1的整數。
可選的,所述電子設備300還包括圖像提取模組340,用於在包含所述原始圖像的影像資料中,提取M幀原始圖像,所述M幀原始圖像涵蓋至少一個心臟跳動週期;所述圖像轉換模組310具體用於:將M幀原始圖像轉換為符合所述目標參數的M幀目標圖像。
可選的,所述指標預測模組320的所述深度層級融合網路模型為N個,所述N個深度層級融合網路模型由訓練資料通過交叉驗證訓練獲得,所述N為大於1的整數。
可選的,所述M幀目標圖像包括第一目標圖像,所述指標預測模組320具體用於:
將所述第一目標圖像輸入所述N個深度層級融合網路模型,獲得N個初步預測心腔面積值;所述第一預測單元321具體用於:將所述N個初步預測心腔面積值取平均值,作為所述第一目標圖像對應的預測心腔面積值,對所述M幀目標圖像中的每幀圖像執行相同步驟,獲得所述M幀目標圖像對應的M個預測心腔面積值。
可選的,所述圖像轉換模組310具體用於:對所述原始圖像進行長條圖均衡化處理,獲得灰度值滿足目標動態範圍的所述目標圖像。
實施圖3所示的電子設備300,電子設備300可以將原始圖像轉換為符合目標參數的目標圖像,可以根據輸入的所述目標圖像獲得目標數值指標,以及根據目標數值指標,對目標圖像進行時序預測處理,可以獲得時序狀態預測結果,可以實現左心室功能量化,提高影像處理效率,減少一般處理過程中人工參與帶來的人力消耗和誤差,提升心臟功能指標的預測精度。
請參閱圖4,圖4是本申請實施例公開的另一種電子設備的結構示意圖。如圖4所示,該電子設備400包括處理器401和記憶體402,其中,電子設備400還可以包括匯流排403,處理器401和記憶體402可以通過匯流排403相互連接,匯流排403可以是外設部件互連標準(Peripheral Component Interconnect,簡稱PCI)匯流排或延伸工業標準架構(Extended Industry Standard
Architecture,簡稱EISA)匯流排等。匯流排403可以分為位址匯流排、資料匯流排、控制匯流排等。為便於表示,圖4中僅用一條粗線表示,但並不表示僅有一根匯流排或一種類型的匯流排。其中,電子設備400還可以包括輸入輸出設備404,輸入輸出設備404可以包括顯示幕,例如液晶顯示幕。記憶體402用於儲存包含指令的一個或多個程式;處理器401用於調用儲存在記憶體402中的指令執行上述圖1和圖2實施例中提到的部分或全部方法步驟。上述處理器401可以對應實現圖3中的電子設備300中的各模組的功能。
實施圖4所示的電子設備400,電子設備可以將原始圖像轉換為符合目標參數的目標圖像,可以根據輸入的所述目標圖像獲得目標數值指標,以及根據目標數值指標,對目標圖像進行時序預測處理,可以獲得時序狀態預測結果,可以實現左心室功能量化,提高影像處理效率,減少一般處理過程中人工參與帶來的人力消耗和誤差,提升心臟功能指標的預測精度。
本申請實施例還提供一種電腦儲存介質,其中,該電腦儲存介質儲存用於電子資料交換的電腦程式,該電腦程式使得電腦執行如上述方法實施例中記載的任何一種影像處理方法的部分或全部步驟。
需要說明的是,對於前述的各方法實施例,為了簡單描述,故將其都表述為一系列的動作組合,但是本領域技術人員應該知悉,本發明並不受所描述的動作順序的限制,因為依據本發明,某些步驟可以採用其他順序或者同時
進行。其次,本領域技術人員也應該知悉,說明書中所描述的實施例均屬於優選實施例,所涉即的動作和模組並不一定是本發明所必須的。
在上述實施例中,對各個實施例的描述都各有側重,某個實施例中沒有詳述的部分,可以參見其他實施例的相關描述。
在本申請所提供的幾個實施例中,應該理解到,所揭露的裝置,可通過其它的方式實現。例如,以上所描述的裝置實施例僅僅是示意性的,例如所述模組(或單元)的劃分,僅僅為一種邏輯功能劃分,實際實現時可以有另外的劃分方式,例如多個模組或元件可以結合或者可以集成到另一個系統,或一些特徵可以忽略,或不執行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些介面,裝置或模組的間接耦合或通信連接,可以是電性或其它的形式。
所述作為分離部件說明的模組可以是或者也可以不是物理上分開的,作為模組顯示的部件可以是或者也可以不是物理模組,即可以位於一個地方,或者也可以分佈到多個網路模組上。可以根據實際的需要選擇其中的部分或者全部模組來實現本實施例方案的目的。
另外,在本發明各個實施例中的各功能模組可以集成在一個處理模組中,也可以是各個模組單獨物理存在,也可以兩個或兩個以上模組集成在一個模組中。上述集
成的模組既可以採用硬體的形式實現,也可以採用軟體功能模組的形式實現。
所述集成的模組如果以軟體功能模組的形式實現並作為獨立的產品銷售或使用時,可以儲存在一個電腦可讀取記憶體中。基於這樣的理解,本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來,該電腦軟體產品儲存在一個記憶體中,包括若干指令用以使得一台電腦設備(可為個人電腦、伺服器或者網路設備等)執行本發明各個實施例所述方法的全部或部分步驟。而前述的記憶體包括:U盤、唯讀記憶體(Read-Only Memory,ROM)、隨機存取記憶體(Random Access Memory,RAM)、移動硬碟、磁碟或者光碟等各種可以儲存程式碼的介質。
本領域普通技術人員可以理解上述實施例的各種方法中的全部或部分步驟是可以通過程式來指令相關的硬體來完成,該程式可以儲存於一電腦可讀記憶體中,記憶體可以包括:快閃記憶體盤、唯讀記憶體、隨機存取器、磁片或光碟等。
以上對本申請實施例進行了詳細介紹,本文中應用了具體個例對本發明的原理及實施方式進行了闡述,以上實施例的說明只是用於幫助理解本發明的方法及其核心思想;同時,對於本領域的一般技術人員,依據本發明的思想,在具體實施方式及應用範圍上均會有改變之處,綜上所述,本說明書內容不應理解為對本發明的限制。
101‧‧‧將原始圖像轉換為符合目標參數的目標圖像
102‧‧‧將上述目標圖像輸入指標預測模組,獲得目標數值指標
103‧‧‧根據上述目標數值指標,對上述目標圖像進行時序預測處理,獲得時序狀態預測結果
Claims (8)
- 一種影像處理方法,所述方法包括:將原始圖像轉換為符合目標參數的目標圖像;將所述目標圖像輸入指標預測模組,獲得目標數值指標,所述指標預測模組包括深度層級融合網路模型;根據所述目標數值指標,對所述目標圖像進行時序預測處理,獲得時序狀態預測結果;所述獲得目標數值指標包括:分別獲得M幀目標圖像的M個預測心腔面積值;所述根據所述目標數值指標,使用無參數序列預測策略對所述目標圖像進行時序預測處理,獲得時序狀態預測結果包括:使用多項式曲線對所述M個預測心腔面積值進行擬合,獲得回歸曲線;獲取所述回歸曲線的最高幀與最低幀,獲得判斷心臟狀態為收縮狀態或者舒張狀態的判斷區間;根據所述判斷區間判斷所述心臟狀態,所述M為大於1的整數。
- 根據請求項1所述的影像處理方法,所述原始圖像為心臟磁共振成像,所述目標數值指標包括以下任意一種或幾種:心腔面積、心肌面積、心腔每隔60度的直徑、心肌層每隔60度的厚度。
- 根據請求項1所述的影像處理方法,所述將原始圖像轉換為符合目標參數的目標圖像之前,所述方法還包括:在包含所述原始圖像的影像資料中,提取M幀原始圖像,所述M幀原始圖像涵蓋至少一個心臟跳動週期;所述將原始圖像轉換為符合目標參數的目標圖像,包括:將M幀原始圖像轉換為符合所述目標參數的M幀目標圖像。
- 根據請求項1所述的影像處理方法,所述方法還包括:所述深度層級融合網路模型為N個,所述N個深度層級融合網路模型由訓練資料通過交叉驗證訓練獲得,所述N為大於1的整數。
- 根據請求項4述的影像處理方法,所述M幀目標圖像包括第一目標圖像,所述將所述目標圖像輸入深度層級融合網路模型,獲得目標數值指標包括:將所述第一目標圖像輸入所述N個深度層級融合網路模型,獲得N個初步預測心腔面積值;所述分別獲得M幀目標圖像的M個預測心腔面積值包括: 將所述N個初步預測心腔面積值取平均值,作為所述第一目標圖像對應的預測心腔面積值,對所述M幀目標圖像中的每幀圖像執行相同步驟,獲得所述M幀目標圖像對應的M個預測心腔面積值。
- 根據請求項1所述的影像處理方法,所述將原始圖像轉換為符合目標參數的目標圖像包括:對所述原始圖像進行長條圖均衡化處理,獲得灰度值滿足目標動態範圍的所述目標圖像。
- 一種電子設備,包括處理器以及記憶體,所述記憶體用於儲存一個或多個程式,所述一個或多個程式被配置成由所述處理器執行,所述程式包括用於執行如請求項1至6任一項所述的方法。
- 一種電腦可讀儲存介質,所述電腦可讀儲存介質用於儲存電子資料交換的電腦程式,其中,所述電腦程式使得電腦執行如請求項1至6任一項所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810814377.9A CN109003270B (zh) | 2018-07-23 | 2018-07-23 | 一种图像处理方法、电子设备及存储介质 |
CN201810814377.9 | 2018-07-23 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202008211A TW202008211A (zh) | 2020-02-16 |
TWI742408B true TWI742408B (zh) | 2021-10-11 |
Family
ID=64596925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108126050A TWI742408B (zh) | 2018-07-23 | 2019-07-23 | 一種圖像處理方法、電子設備及儲存介質 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20210082112A1 (zh) |
JP (1) | JP2021529061A (zh) |
KR (1) | KR20210005206A (zh) |
CN (1) | CN109003270B (zh) |
SG (1) | SG11202011952YA (zh) |
TW (1) | TWI742408B (zh) |
WO (1) | WO2020019614A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3834135A4 (en) | 2018-08-07 | 2022-05-04 | BlinkAI Technologies, Inc. | IMAGE ENHANCEMENT ARTIFICIAL INTELLIGENCE TECHNIQUES |
CN109903841A (zh) * | 2019-03-01 | 2019-06-18 | 中山大学肿瘤防治中心 | 一种上消化道内镜影像的异常病变提示方法及装置 |
CN111192255B (zh) * | 2019-12-30 | 2024-04-26 | 上海联影智能医疗科技有限公司 | 指标检测方法、计算机设备和存储介质 |
CN111182219B (zh) * | 2020-01-08 | 2023-04-07 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、服务器及存储介质 |
CN112200757A (zh) * | 2020-09-29 | 2021-01-08 | 北京灵汐科技有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
TWI790508B (zh) | 2020-11-30 | 2023-01-21 | 宏碁股份有限公司 | 血管偵測裝置及基於影像的血管偵測方法 |
CN113098971B (zh) * | 2021-04-12 | 2021-10-22 | 深圳市景新浩科技有限公司 | 一种基于互联网的电子血压计数据传输监管系统 |
CN113764076B (zh) * | 2021-07-26 | 2024-02-20 | 北京天智航医疗科技股份有限公司 | 检测医疗透视图像中标记点的方法、装置及电子设备 |
CN117274185B (zh) * | 2023-09-19 | 2024-05-07 | 阿里巴巴达摩院(杭州)科技有限公司 | 检测方法、检测模型产品、电子设备及计算机存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105868572A (zh) * | 2016-04-22 | 2016-08-17 | 浙江大学 | 一种基于自编码器的心肌缺血位置的预测方法 |
CN107978371A (zh) * | 2017-11-30 | 2018-05-01 | 博动医学影像科技(上海)有限公司 | 快速计算微循环阻力的方法及系统 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3668629B2 (ja) * | 1999-01-29 | 2005-07-06 | 株式会社東芝 | 画像診断装置及び画像処理方法 |
US9173638B2 (en) * | 2007-06-04 | 2015-11-03 | Biosense Webster, Inc. | Cardiac mechanical assessment using ultrasound |
JP5238201B2 (ja) * | 2007-08-10 | 2013-07-17 | 株式会社東芝 | 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム |
KR101456874B1 (ko) * | 2009-05-11 | 2014-10-31 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 이미지 디스플레이에 대한 광 검출, 컬러 표현 모델들, 및 동적 범위의 수정 |
EP2538839B1 (en) * | 2010-02-23 | 2015-07-08 | Loma Linda University | Method of analyzing a medical image |
US9207300B2 (en) * | 2012-10-26 | 2015-12-08 | Siemens Medical Solutions Usa, Inc. | Automatic system for timing in imaging |
US10271905B2 (en) * | 2015-04-20 | 2019-04-30 | The Johns Hopkins University | Patient-specific virtual intervention laboratory to prevent stroke |
CN106599549A (zh) * | 2016-11-25 | 2017-04-26 | 上海联影医疗科技有限公司 | 一种计算机辅助诊断系统、方法及其医疗系统 |
CN107295256A (zh) * | 2017-06-23 | 2017-10-24 | 华为技术有限公司 | 一种图像处理方法、装置与设备 |
CN108038859B (zh) * | 2017-11-09 | 2022-01-18 | 深圳大学 | 基于pso和综合评价准则的pcnn图分割方法及装置 |
-
2018
- 2018-07-23 CN CN201810814377.9A patent/CN109003270B/zh active Active
- 2018-11-28 KR KR1020207034398A patent/KR20210005206A/ko not_active Application Discontinuation
- 2018-11-28 WO PCT/CN2018/117862 patent/WO2020019614A1/zh active Application Filing
- 2018-11-28 JP JP2020573237A patent/JP2021529061A/ja active Pending
- 2018-11-28 SG SG11202011952YA patent/SG11202011952YA/en unknown
-
2019
- 2019-07-23 TW TW108126050A patent/TWI742408B/zh active
-
2020
- 2020-11-25 US US17/104,264 patent/US20210082112A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105868572A (zh) * | 2016-04-22 | 2016-08-17 | 浙江大学 | 一种基于自编码器的心肌缺血位置的预测方法 |
CN107978371A (zh) * | 2017-11-30 | 2018-05-01 | 博动医学影像科技(上海)有限公司 | 快速计算微循环阻力的方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
US20210082112A1 (en) | 2021-03-18 |
CN109003270B (zh) | 2020-11-27 |
TW202008211A (zh) | 2020-02-16 |
SG11202011952YA (en) | 2021-01-28 |
WO2020019614A1 (zh) | 2020-01-30 |
CN109003270A (zh) | 2018-12-14 |
JP2021529061A (ja) | 2021-10-28 |
KR20210005206A (ko) | 2021-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI742408B (zh) | 一種圖像處理方法、電子設備及儲存介質 | |
US10706333B2 (en) | Medical image analysis method, medical image analysis system and storage medium | |
JP6522161B2 (ja) | ディープラーニングに基づく医療データ分析方法及びそのインテリジェントアナライザー | |
Buoso et al. | Personalising left-ventricular biophysical models of the heart using parametric physics-informed neural networks | |
US8527251B2 (en) | Method and system for multi-component heart and aorta modeling for decision support in cardiac disease | |
TW202025137A (zh) | 圖像處理方法及其裝置、電子設備及電腦可讀儲存媒體 | |
TW202044198A (zh) | 一種圖像處理方法、裝置、電子設備及電腦可讀儲存媒介 | |
WO2021115084A1 (zh) | 一种基于结构磁共振影像的大脑年龄深度学习预测系统 | |
KR20200006447A (ko) | 동맥압 파형을 이용한 심박출량 획득 방법 및 그 프로그램 | |
EP4108164A1 (en) | Blood pressure prediction method and device | |
Wong et al. | GCW-UNet segmentation of cardiac magnetic resonance images for evaluation of left atrial enlargement | |
Heyde et al. | Anatomical image registration using volume conservation to assess cardiac deformation from 3D ultrasound recordings | |
JP7325411B2 (ja) | 心エコー図を分析する方法及び装置 | |
Sengan et al. | Echocardiographic image segmentation for diagnosing fetal cardiac rhabdomyoma during pregnancy using deep learning | |
Laumer et al. | Weakly supervised inference of personalized heart meshes based on echocardiography videos | |
CN116452579B (zh) | 一种基于胸片图像的肺动脉高压智能评估方法和系统 | |
Wen et al. | Analysis on SPECT myocardial perfusion imaging with a tool derived from dynamic programming to deep learning | |
CN113222985B (zh) | 一种图像处理方法、装置、计算机设备和介质 | |
CN110570425A (zh) | 一种基于深度强化学习算法的肺结节分析方法及装置 | |
EP3270308B1 (en) | Method for providing a secondary parameter, decision support system, computer-readable medium and computer program product | |
CN113592802B (zh) | 一种基于超声图像的二尖瓣环位移自动检测系统 | |
Li et al. | Semi-supervised learning improves the performance of cardiac event detection in echocardiography | |
Piskin et al. | A canonical correlation analysis of the relationship between clinical attributes and patient-specific hemodynamic indices in adult pulmonary hypertension | |
CN111448614B (zh) | 用于分析超声心动图的方法和装置 | |
CN113903456B (zh) | 一种基于核集成回归的抑郁症预测方法 |