TWI790023B - 醫學影像的移動偵測及校正的方法、系統及電腦可讀媒介 - Google Patents
醫學影像的移動偵測及校正的方法、系統及電腦可讀媒介 Download PDFInfo
- Publication number
- TWI790023B TWI790023B TW110145456A TW110145456A TWI790023B TW I790023 B TWI790023 B TW I790023B TW 110145456 A TW110145456 A TW 110145456A TW 110145456 A TW110145456 A TW 110145456A TW I790023 B TWI790023 B TW I790023B
- Authority
- TW
- Taiwan
- Prior art keywords
- images
- frame
- interest
- region
- image
- Prior art date
Links
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本揭露提供一種醫學影像的移動偵測及校正的方法、系統及電腦可讀媒介,包括將關於目標器官的醫學影像依照列表模式資料分割為複數個幀影像,以及解析該複數個幀影像中興趣區域的複數個質心,以計算得到該目標器官於掃描期間的運動曲線,並基於該運動曲線執行醫學影像的重建優化,故能在不需安裝額外監控設備下,考慮人體器官或病灶的移動,以對醫學影像進行移動偵測與校正。
Description
本揭露關於一種醫學造影技術,特別是關於醫學影像的移動偵測及校正的方法、系統及電腦可讀媒介。
在精準醫療領域中,核子醫學由於具有可提供功能性評估的特點,屬於不可或缺的項目。然而,核子醫學的檢查時間長,且病人的身體或器官在掃描過程中的移動,常容易造成影像模糊失準及醫師判斷錯誤的問題。
以核子醫學的心肌灌注掃描(myocardial perfusion imaging,MPI)為例,其為使用率最高,但最易受病人移動影響的檢查項目。如圖1所示,由於病人心臟本身的收縮跳動行為(如圖例101所示,其由左至右分別示意在一心動週期,心臟在其短軸、垂直長軸及水平長軸等面向的切面型態示意圖)以及人體呼吸的起伏情形(如圖例102所示,其由左到右分別揭示在一呼吸循環階段,心臟在其短軸、垂直長軸及水平長軸等面向的切面型態示意圖),在此二者的影響下,所得出心臟的MPI影像(如圖例103所示)常為模糊且不易診斷的。
在現行技術中,針對上述問題的解決方式為裝設額外的監控設備,以監控人體的心臟跳動與呼吸位移,進而根據監控設備所測得的訊號對醫學影像(如,MPI影像)進行校正。然而,此種校正的方式不僅耗費檢測資源,且可能發生監控設備設置不良、追蹤錯誤或無法與掃描設備整合(例如,市面上單光子攝影設備(single photon emission computerized tomography,SPECT)一般並無可選配的呼吸監測設備)等情況。
因此,如何在不需安裝額外監控設備下,考慮人體器官或病灶的移動,以對醫學影像進行移動偵測與校正,已成為本領域亟需解決的課題之一。
為解決上述問題,本揭露提供一種醫學影像的移動偵測及校正的系統,包括:管理平台,用於提供使用者介面,以對關於目標器官的醫學影像提交執行優化處理的指令,該醫學影像包括列表模式資料;以及優化設備,用於根據該指令執行該醫學影像的該優化處理,其中,該優化設備執行該優化處理包括:將該醫學影像所對應的該列表模式資料分割為具有固定時間維度的幀,以將各該幀成像為幀影像;於各該幀影像中標註興趣區域,其中,各該興趣區域包含該目標器官;根據各該幀影像的各該興趣區域計算該目標器官的運動曲線;根據該運動曲線將該醫學影像重建為優化醫學影像;以及顯示該優化醫學影像於該使用者介面。
於本揭露系統的至少一實施態樣中,該優化設備包括深度學習模組,且該優化設備執行於各該幀影像中標註該興趣區域包括:藉由該深度學習模組於各該幀影像中辨識包含該目標器官的二元分割區域;藉由該深度學習模組將各該二元分割區域模糊化以生成軟遮罩;藉由該深度學習模組將各該軟遮罩
套用至各該幀影像;藉由該深度學習模組基於各該軟遮罩以初始橢圓球面擬合各該幀影像中的該目標器官;以及藉由該深度學習模組將各該初始橢圓球面依其半徑向外擴張預設距離以生成代表各該興趣區域的橢圓球面。
於本揭露系統的至少一實施態樣中,該優化設備執行根據各該幀影像的各該興趣區域計算該目標器官的運動曲線包括:將各該興趣區域分割為第一子興趣區域及第二子興趣區域;分別提取各該第一子興趣區域的第一質心與各該第二子興趣區域的第二質心之三維坐標以作為各該幀影像的描述值;將各該幀影像的各該描述值以主成份分析法進行降維,並以降維後的各該描述值的最大特徵作為該目標器官的移動/旋轉訊號;以及根據各該移動/旋轉訊號對各該幀影像分組與過濾以計算該運動曲線。
於本揭露系統的至少一實施態樣中,該目標器官為心臟,且將各該興趣區域分割為該第一子興趣區域及該第二子興趣區域為沿著該心臟的長軸,以短軸方向進行。
於本揭露系統的至少一實施態樣中,該運動曲線相對於人體頭尾軸、左右軸及腹背軸中的任一者繪製,且該優化設備執行根據該運動曲線將該醫學影像重建為優化醫學影像包括:自各該幀影像中選定基準對象;以該運動曲線為參考進行各該幀影像的動作補償,其中,各該幀影像的該動作補償包括:相對於該基準對象,將各該幀影像中除該基準對象外的各者所包含的所有像素依其三維座標於該頭尾軸、該左右軸及該腹背軸的任一者中執行調整作業;及重複執行各該幀影像的該調整作業,直到經過該調整作業的各該幀影像的集成與該基準對象間的相關係數到達最大值為止;以及將經過該動作補償的各該幀影像集成以重建為該優化醫學影像。於本揭露的至少一具體實施例中,該調整作業包括但不限於旋轉、位移、縮放、形變或其中兩者以上的任意組合;於本揭露的一些具體實施例中,該調整作業為平移、旋轉或其組合。
於本揭露系統的至少一實施態樣中,在根據各該質心計算該目標器官的運動曲線之後,且各該幀影像的各該興趣區域未準確對應該運動曲線之下,該優化設備執行該優化處理另包括執行各該幀影像的門閥調控,其中,該門閥調控用於將各該幀影像中時間及/或位置關係相近者集成為預設數量的門閥組影像,且其中,該時間及/或位置關係以人體呼吸及/或心跳的循環階段所定義。
於本揭露系統的至少一實施態樣中,該運動曲線相對於人體頭尾軸、左右軸及腹背軸中的任一者繪製,且該優化設備根據該運動曲線將該醫學影像重建為優化醫學影像包括:自各該門閥組影像中選定基準對象;以該運動曲線為參考進行各該門閥組影像的動作補償,其中,各該門閥組影像的該動作補償包括:相對於該基準對象,將各該門閥組影像中除該基準對象外的各者所包含的所有像素依其三維座標於該頭尾軸、該左右軸及該腹背軸的任一者中執行調整作業;及重複執行各該門閥組影像的該調整作業,直到經過該調整作業的各該門閥組影像的集成與該基準對象間的相關係數到達最大值為止;以及將經過該動作補償的各該門閥組影像集成以重建為該優化醫學影像。
於本揭露系統的至少一實施態樣中,該固定時間維度以100毫秒至500毫秒為單位。
於本揭露系統的至少一實施態樣中,另包括:掃描設備,用於拍攝該目標器官以獲得該醫學影像,其中,該掃描設備為單光子攝影設備、正子斷層攝影設備、磁振造影設備、電腦斷層掃描設備中的任一者;醫學影像儲傳設備,用於儲存該醫學影像與該優化醫學影像;以及診間報告電腦,用於調閱或展示該醫學影像與該優化醫學影像。
本揭露另提供一種醫學影像的移動偵測及校正的方法,包括:取得關於目標器官的醫學影像,其中,該醫學影像包括列表模式資料;將該醫學影像所對應的該列表模式資料分割為具有固定時間維度的幀,以將各該幀成像為
幀影像;於各該幀影像中標註興趣區域,其中,各該興趣區域包含該目標器官;根據各該幀影像的各該興趣區域計算該目標器官的運動曲線;以及根據該運動曲線將該醫學影像重建為優化醫學影像。
於本揭露方法的至少一實施態樣中,於各該幀影像中標註該興趣區域包括:藉由深度學習模組於各該幀影像中辨識包含該目標器官的二元分割區域;藉由該深度學習模組將各該二元分割區域模糊化以生成軟遮罩;藉由該深度學習模組將各該軟遮罩套用至各該幀影像;藉由該深度學習模組基於各該軟遮罩以初始橢圓球面擬合各該幀影像中的該目標器官;以及藉由該深度學習模組將各該初始橢圓球面依其半徑向外擴張預設距離以生成代表各該興趣區域的橢圓球面。
於本揭露方法的至少一實施態樣中,根據各該幀影像的各該興趣區域計算該目標器官的運動曲線包括:將各該興趣區域分割為第一子興趣區域及第二子興趣區域;分別提取各該第一子興趣區域的第一質心與各該第二子興趣區域的第二質心的三維坐標以作為各該幀影像的描述值;將各該幀影像的各該描述值以主成份分析法進行降維,並以降維後的各該描述值的最大特徵作為該目標器官的移動/旋轉訊號;以及根據各該移動/旋轉訊號對各該幀影像分組與過濾以計算該運動曲線。
於本揭露方法的至少一實施態樣中,該目標器官為心臟,且將各該興趣區域分割為該第一子興趣區域及該第二子興趣區域為沿著該心臟的長軸,以短軸方向進行。
於本揭露方法的至少一實施態樣中,該運動曲線相對於人體頭尾軸、左右軸及腹背軸中的任一者繪製,且根據該運動曲線將該醫學影像重建為優化醫學影像包括:自各該幀影像中選定基準對象;以該運動曲線為參考進行各該幀影像的動作補償,其中,各該幀影像的該動作補償包括:相對於該基準對象,
將各該幀影像中除該基準對象外的各者所包含的所有像素依其三維座標於該頭尾軸、該左右軸及該腹背軸的任一者中執行調整作業;及重複執行各該幀影像的該調整作業,直到經過該調整作業的各該幀影像的集成與該基準對象間的相關係數到達最大值為止;以及將經過該動作補償的各該幀影像集成以重建為該優化醫學影像。
於本揭露方法的至少一實施態樣中,另包括在根據各該質心計算該目標器官的運動曲線之後,且各該幀影像的各該興趣區域未準確對應該運動曲線之下,執行各該幀影像的門閥調控,其中,該門閥調控用於將各該幀影像中時間及/或位置關係相近者集成為預設數量的門閥組影像,且其中該時間及/或位置關係以人體呼吸及/或心跳的循環階段所定義。
於本揭露方法的至少一實施態樣中,該運動曲線相對於人體頭尾軸、左右軸及腹背軸中的任一者繪製,且根據該運動曲線將該醫學影像重建為優化醫學影像包括:自各該門閥組影像中選定基準對象;以該運動曲線為參考進行各該門閥組影像的動作補償,其中,各該門閥組影像的該動作補償包括:相對於該基準對象,將各該門閥組影像中除該基準對象外的各者所包含的所有像素依其三維座標於該頭尾軸、該左右軸及該腹背軸的任一者中執行調整作業;及重複執行各該門閥組影像的該調整作業,直到經過該調整作業的各該門閥組影像的集成與該基準對象間的相關係數到達最大值為止;以及將經過該動作補償的各該門閥組影像集成以重建為該優化醫學影像。
於本揭露方法的至少一實施態樣中,該醫學影像為透過掃描設備拍攝該目標器官所得者,並且其中,該掃描設備為單光子攝影設備、正子斷層攝影設備、磁振造影設備及電腦斷層掃描設備中的任一者。
於本揭露方法的至少一實施態樣中,該固定時間維度以100毫秒至500毫秒為單位。
本揭露另提供一種電腦可讀儲存媒介,應用於電腦中,且儲存有指令,以執行上述至少一種醫學影像的移動偵測及校正的方法。
綜上所述,本揭露的醫學影像的移動偵測及校正的方法、系統及電腦可讀媒介可將關於目標器官的醫學影像依照列表模式資料分割為複數個幀影像,並解析該複數個幀影像中興趣區域的複數個質心,以計算得到目標器官於掃描期間的運動曲線,遂基於該運動曲線執行醫學影像的重建優化,故能在不需安裝額外監控設備下,考慮人體器官或病灶的移動,以對醫學影像進行移動偵測與校正。
101~103:圖例
201:管理平台
202:優化設備
203:掃描設備
204:醫學影像儲傳設備
205:診間報告電腦
300:病患
301:γ光子
302:醫學影像
303:時間維度分割
304:運動質心分析
305:形變模型校正
306:優化醫學影像
501:興趣區域
601:區域
602:心肌區域
603:二元分割區域
604:興趣區域
605、605’:質心
701、702:子興趣區域
703、703’:質心
704、704’:質心
801、802、803:情況
804、805:效果
901、902、903:曲線
1201、1202、1203、1204:圖例
1205:優化醫學影像
S10~S80:步驟
本案揭露的具體實施例將搭配下列圖式詳述,這些說明顯示在下列圖式中:
圖1揭示以現行技術執行心肌灌注掃描的實施態樣;
圖2揭示本揭露醫學影像的移動偵測及校正的系統架構示意圖;
圖3揭示本揭露醫學影像的移動偵測及校正的系統的實施例示意圖;
圖4揭示本揭露醫學影像的移動偵測及校正的方法的步驟流程圖;
圖5揭示本揭露醫學影像的移動偵測及校正的方法的部分實施態樣;
圖6A至圖6C揭示本揭露醫學影像的移動偵測及校正的方法的部分實施態樣,圖6C中的COM表示為質心;
圖7揭示本揭露醫學影像的移動偵測及校正的方法的部分實施態樣,COM1和COM2分別表示為質心1和質心2;
圖8揭示本揭露醫學影像的移動偵測及校正的方法的部分實施態樣;
圖9揭示本揭露醫學影像的移動偵測及校正的方法的部分實施態樣;
圖10揭示本揭露醫學影像的移動偵測及校正的方法的部分實施態樣;
圖11揭示本揭露醫學影像的移動偵測及校正的方法的部分實施態樣;以及
圖12揭示本揭露醫學影像的移動偵測及校正的方法的實施例示意圖。
以下藉由特定的實施例說明本揭露的實施方式,熟習此項技藝的人士可由本文所揭示的內容輕易地瞭解本案的其他優點及功效。本揭露所附圖式所繪示的結構、比例、大小等均僅用於配合說明書所揭示的內容,以供熟悉此技藝的人士瞭解與閱讀,非用於限定本揭露可實施的限定條件,故任何修飾、改變或調整,在不影響本揭露所能產生的功效及所能達成的目的下,均應仍落在本揭露所揭示的技術內容得能涵蓋的範圍內。
由圖2可觀察本揭露執行醫學影像的移動偵測及校正的系統架構示意圖。
至少一實施例中,本揭露的管理平台201用於整合對醫學影像的處理流程,包括:對醫療影像的接收及傳輸、提供使用者對醫療影像的檢閱、及根據使用者的需求執行醫療影像的優化處理等。於一些實施例中,管理平台201可藉由任意合適的網頁、應用程式頁面、人機介面等使用者介面呈現,在本文中並無特別限定。
於至少一實施例中,本揭露的優化設備202用於根據使用者在管理平台201處所提交的指令執行對應的醫療影像優化處理(包括,移動偵測及校正)的後台服務。於一些實施例中,本揭露的優化設備202可為任意合適的實體電腦系統、雲端系統等,且優化設備202亦可與管理平台201以整合的電腦系統實現,在本揭露中亦無特別限定。
於至少一實施例中,本揭露的掃描設備203可為任意可拍攝醫學影像的檢測設備,例如,包括但不限於:單光子攝影設備(single photon emission computerized tomography,SPECT)、正子斷層攝影設備(positron emission tomography,PET)、磁振造影設備(magnetic resonance imaging,MRI)、電腦斷層掃描設備(computer tomography,CT)等,用於對病患所欲檢測的部位(例如,包括但不限於:心臟、肺部、冠狀動脈、肝、胃等)進行醫學影像的取得。於一些實施例中,本揭露的掃描設備203所取得的醫學影像包括其對應的列表模式(list mode)資料,故有助於對所拍攝的醫學影像進行非即時地(例如,事後調閱)回朔分析校正。
於至少一實施例中,本揭露的醫學影像儲傳設備(picture archiving and communication system,PACS)204可為任何當前醫院所採用的存儲用系統,
用於儲存上述掃描設備203處所取得的醫學影像及/或經優化設備202優化處理的優化醫學影像。
於至少一實施例中,本揭露的診間報告電腦205可為醫師用於診間的任意終端裝置,用於提供醫師調閱或展示醫學影像儲傳設備204所儲存的醫學影像及/或優化醫學影像。
於本揭露的至少一實施例中,圖2所示管理平台201、優化設備202、掃描設備203、醫學影像儲傳設備204及診間報告電腦205係經配置以標準醫療數位影像傳輸協定(Digital Imaging and Communications in Medicine,DICOM)向彼此進行通訊傳輸,故能提供本揭露高度的擴充性。另外,本揭露並不僅限於上述的各元件;舉例而言,依據作業需求,可將上述各元件中的任意複數者整合在同一裝置中,或是設計使單一個管理平台201及/或優化設備202可支援複數台掃描設備203的醫學影像的優化等,本揭露對此皆不特別限制。
圖3係揭示本揭露中執行醫學影像的移動偵測及校正的具體實施例示意圖。
具體而言,於至少一實施例中,本揭露可以對使用單光子攝影設備(SPECT)拍攝心臟的醫學影像進行移動偵測及校正。舉例來說,本揭露的掃描設備203(如,單光子攝影設備)包括裝設有19個針孔式準直儀及19個CdZnTe(CZT)感測器(例如,包含32×32像素的CZT元件)的CZT伽馬相機,係用於從右斜前視角向左斜後視角掃描心臟並獲得相關之SPECT影像(即,醫學影像)。另,掃描設備203對SPECT影像的成像過程可以包括:設定分別以非對稱式(例如,-14%至23%)及對稱式(例如,-9%至9%)設置的二能窗(energy window)進行心臟的掃描;依據掃描結果儲存SPECT影像對應的列表模式(list mode)及
/或幀模式(frame mode)資料;以標準醫療數位影像傳輸協定(Digital Imaging and Communications in Medicine,DICOM)形式傳送列表模式及/或幀模式資料至掃描設備203內建的工作後台(workstation);以及將列表模式及/或幀模式資料沿著心臟的短軸、垂直長軸與水平長軸進行重新採樣以進行顯示等步驟。然而,本揭露中描述掃描設備203所適用的規格、裝備、或取得醫學影像的方式僅作為例示,並非旨在限定本揭露的內容。
於圖3所示流程示意圖中,在拍攝期間自(進行心肌灌注掃描的)病患300釋放的γ光子301經掃描設備203進行成像(如前述的成像過程)後所得的醫學影像如元件符號302所示。此時,醫學影像302可直接儲存至醫學影像儲傳設備204,以供診間報告電腦205調閱。然而,在醫學影像302可能因病患300於掃描期間移動而造成模糊的情況下,可透過管理平台203指定對接收自掃描設備203的醫學影像302即時透過優化設備202進行移動偵測與校正,包括時間維度分割303、運動質心分析304和形變模型校正305等處理程序,進而獲得優化醫學影像306。進一步地,當所取得醫學影像302包括列表模式(list mode)資料的情況下,亦可在事後發現醫學影像302有模糊情形時再透過管理平台201向醫學影像儲傳設備204存取此醫學影像302,並藉由優化設備202進行回朔分析校正。
圖4係揭示本揭露中執行醫學影像的移動偵測及校正(如優化設備202執行上述圖3中303至305的處理程序)的步驟流程圖,其各步驟的實施態樣可藉由圖5至圖12及以下說明逐步了解。
於本揭露的至少一實施例中,在步驟S10處,可藉由管理平台201提供的使用者介面選取所欲進行移動偵測及校正的醫學影像(例如,某病患在一次掃描下所獲得之關於心臟的一組壓力態(stress)影像及休息態(rest)影像)。
此時,所述醫學影像可在病患於掃描設備203執行掃描時即時透過管理平台201取得,抑或在需要時透過管理平台201向醫學影像儲傳設備204存取。
於本揭露的至少一實施例中,在步驟S20處,考量醫學影像所拍攝目標器官(例如,心臟)在拍攝期間於不同呼吸及/或心跳循環階段(或病患自身的移動)中的位移情形(即,事件),優化設備202係執行上述圖3所示的時間維度分割303,將醫學影像對應之列表模式(list mode)資料所包含的事件(例如,利用前述的二能窗所捕捉之事件)切割為具有固定時間維度(例如,以500毫秒為單位)的幀,並將所述幀經由反投影(back-projection)至物體平面(例如,前述掃描設備203的19個CZT感測器的表面,其係平行於對應的影像平面,且相交於多針孔系統的共同焦點)進行成像,如圖5各幀的成像結果(後續亦稱為幀影像稱)所示。在一些實施例中,各幀可以100毫秒至500毫秒中的任意值為單位進行固定時間維度的切割;惟,根據優化設備202的運算能力或作業需求,亦可將幀以其他合適的固定時間維度切割,本揭露對此並無特別限制。
於本揭露的至少一實施例中,在步驟S30處,如圖5所示,優化設備202於各幀影像中標註包含目標器官(例如,心臟)的興趣區域(volume of interest,VOI)501,藉此得知目標器官在各幀影像中的位置、旋轉角度及/或軸(例如,心臟的長軸與短軸)等位移資訊。在一些實施例中,包含目標器官的興趣區域501為球形;惟,根據目標器官的形狀或作業需求,亦可將興趣區域501以其他合適的形狀進行標註,本揭露對此並無特別限制。
於本揭露的一些實施例中,以在幀影像中心臟的心肌區域標註興趣區域為例,心肌區域的標註可由醫師透過特定應用程式(例如,優化設備202內建構的自動化軟體)進行,其實作步驟可包括:於幀影像(例如,前述步驟S20
處獲得者)中標註通過心肌中心的3D橢圓球面;自所述3D橢圓球面獲得包含球面中心的三維座標、於三軸(即,心臟的短軸、垂直長軸與水平長軸等軸向)的半徑、三軸旋轉角度、心臟基平面之長短比例與角度等12個球面參數的數值;以及根據上述球面參數,由所述特定應用程式透過3D主動輪廓模型自醫師標註的3D橢圓球面分別向內及向外擬合出平滑的內、外面,所完成3D橢圓球面的擬合的幀影像即為包含已定義心肌區域的興趣區域的幀影像。
於本揭露的一些實施例中,步驟S30對於興趣區域501的標註亦可以深度學習模組(例如,在優化設備202內建構深度學習模組)達成。在本實施例中,深度學習模組包括卷積層、反卷積層、洩露線性整流活化層、殘餘連接、跳動連接等主要結構,而上千組由醫師標註心肌區域的幀影像(例如,前述透過特定應用程式標註者)係用於作為深度學習模組的訓練資料。完成訓練且能在輸入未經標註之幀影像時從中準確預測心肌區域之深度學習模組即可用於步驟S30對於興趣區域501的標註。
圖6A至圖6C係將深度學習模組應用於標示興趣區域501的階段示意圖。於本揭露的至少一實施例中,訓練完成的深度學習模組首先可接收步驟S20處所產生的幀影像(如圖6A中所示心臟在其短軸、垂直長軸與水平長軸等面向的切面畫面)。於本揭露的一些實施例中,深度學習模組會在幀影像中確定心臟的所在區域601(如圖6A中所示以實線區域601圈選出距離心臟分割區域至少5公分的正橢圓(旋轉角度為零)的範圍),進而辨識出包含心肌區域的二元分割區域603(如圖6B中603所標示的區域)。接著,深度學習模組將此二元分割區域603進行模糊化以生成軟遮罩,並進一步將此軟遮罩套用至原始的幀影像,藉以排除此幀影像中心肌區域以外區域的影像活性。最後,基於軟遮罩,深度學習
模組以一橢圓球面擬合幀影像上的心肌區域602(如圖6B中602所標示實線對應的橢圓球面截線),並將橢圓球面半徑向外擴張2公分以生成代表興趣區域604的新橢圓球面(如圖6C中604所標示的實線對應區域)。
於本揭露的至少一實施例中,在步驟S40處,優化設備202針對步驟S30所標註的興趣區域內的目標器官執行上述圖3所示的運動質心分析304。於本揭露的一些實施例中,首先為準確觀察目標器官(例如,心臟)在各幀影像中的位移及旋轉情形,各幀影像中的興趣區域將被分割為二份。可參考圖6C及圖7之間的差異,以觀察分割興趣區域的實施方式。舉例而言,圖6C所標註各幀影像的興趣區域604在此步驟S40中沿著心臟長軸分割為二份,俾形成如圖7所示關於心臟的子興趣區域701、702,其中,由於圖7左側係心臟在其短軸面向的切面示圖,故觀察到的子興趣區域701、702以重合方式呈現。接著,藉由所得到目標器官的二個子興趣區域701、702,可計算其各自的質心(center of mass,COM)703、704,藉以輔助追蹤目標器官在每個幀影像的移動情形,進而獲得目標器官在拍攝期間的運動曲線。
相較於圖6C所示僅有一個質心605的興趣區域604,圖7所示將興趣區域604分割為二個子興趣區域701、702後再藉由所獲得的二個質心703、704進行運動質心分析的優點如圖8所示。其中,801至803分別代表當目標器官(例如,心臟)平移(801)、平移且旋轉(802)、旋轉(803)等情況(即,從實線圖案至虛線圖案的變化),而804、805則標示分別以單一質心605及二個質心703、704觀察上述情況801至803的效果。由此可知,雖然在目標器官僅發生平移801的情況無論使用單一質心605或二個質心703、704皆能清楚追蹤(例如,質心605移動至605’的變化及質心703、704移動至703’、704’的變化),但對於目標器
官發生平移且旋轉802或旋轉803等情況,僅使用單一質心605所觀察的追蹤效果明顯不如使用二個質心703、704所觀察的追蹤效果,尤其當目標器官僅發生旋轉803的情況時,質心605在旋轉前後的變化(與605’重合)並不明顯,造成無法追蹤目標器官旋轉的情形。
然而,本揭露對於運動質心分析的方式並不受限於除上述的說明;舉例而言,本領域中具有通常知識者當能理解自興趣區域604分割子興趣區域701、702的方式亦可沿著心臟短軸(依長軸方向)進行、抑或依照需求(例如,根據目標器官的形狀特徵),將興趣區域604分割為多於二個子興趣區域,並以多於二個質心的方式觀察目標器官的位移與旋轉情形。
接續於步驟S40,當興趣區域604被分割為子興趣區域701、702後,計算每個幀影像中質心703、704對應的三維座標(例如,以「(x1,y1,z1)、(x2,y2,z2)」表示),以做為各幀影像的描述值。於本揭露的一些實施例中,可使用主成分分析法(principle component analysis,PCA)對各幀影像的描述值進行降維,並從降維後的描述值中取得最大特徵,以作為目標器官於各幀影像中的移動/旋轉訊號。於本揭露的一些實施例中,還可根據目標器官的移動/旋轉訊號將各幀影像進行濾波,以將過於高頻的雜訊濾除,進而計算得目標器官在拍攝期間的運動曲線。
於本揭露的至少一實施例中,目標器官在拍攝期間的運動曲線如圖9所示,其揭示偵測目標器官(心臟)在拍攝期間相對於人體左右(X軸,圖9上層的示意圖)、腹背(Y軸,圖9中層的示意圖)、頭尾(Z軸,圖9下層的示意圖)的運動曲線,其中,圖9中901所示曲線(以點虛線表示)代表各幀影像中的質心703或704在上述X軸、Y軸與Z軸的相對位置變化,902所示曲線(以短線
條虛線表示)代表根據901曲線所計算質心703或704在上述X軸、Y軸與Z軸的旋轉訊號,而903所示曲線(以實線表示)代表將各幀影像分組累加後所得質心703或704更為精確的位置變化。
於本揭露的至少一實施例中,在步驟S50處,為確保後續步驟對醫學影像的校正的效益,優化設備202可先根據前述目標器官的運動曲線判斷目標器官的移動程度是否過大,在過大的情形(例如,目標器官的運動曲線的振幅大於50毫米時)下,放射師可要求病患重新進行一次掃描並重複進行步驟S10至S40,以取得目標器官新的運動曲線。若在不須重新掃描的情況下,則可接續後續的步驟,以進行醫學影像的形變模型校正。
以上步驟S10至S50用於完成對醫學影像的移動偵測的程序,而依據移動偵測的結果,優化設備202可接續對醫學影像執行上述圖3所示的形變模型校正305,如以下步驟S60至S80的說明。
鑒於前述運動曲線為所有幀影像中興趣區域的位置(以質心為準)的平均數據,優化設備202先於步驟S60處確認各幀影像中興趣區域的位置是否準確對應所述運動曲線,若各幀影像的興趣區域並未準確對應運動曲線時,則可進行步驟S70的門閥調控(gating)。反之,則可將各幀影像直接進行步驟S80的醫學影像之優化重建。於本揭露的一些實施例中,無論各幀影像的興趣區域有無準確對應運動曲線,直接將各幀影像接續進行步驟S70的門閥調控可幫助進一步掌握目標器官的移動情形,並降低步驟S80的醫學影像的優化重建所耗費的時間。
於本揭露的至少一實施例中,步驟S70所述的門閥調控係用於根據步驟S40所計算目標器官(如,心臟)的運動曲線,而將各幀影像中時間及/或位置關係相近者進行集成,以形成門閥組(gated set)影像。
圖10揭示本揭露中將關於心臟的醫學影像的各幀影像整理為八個門閥組的實施態樣,其中,上排的八個門閥組為以心臟的垂直長軸面向所觀察的門閥組影像,而下排的八個門閥組則為以心臟的短軸面向所觀察的門閥組影像。另外,考量所述運動曲線可能對應至人體呼吸及/或心跳的規律運動,在掃描期間未出現病患劇烈運動的情形下,還可將此八個門閥組影像對應至呼吸及/或心跳的各循環階段,如圖10所示從左到右為吸氣/呼氣的呼吸循環階段,每張門閥組影像相對於吸氣結束階段的門閥組影像(最左側的門閥組影像)於人體頭尾軸、左右軸、及/或腹背軸上觀察皆有迭代的位移關係,故此步驟S70亦稱為呼吸門閥調控或心跳門閥調控。
於本揭露的一些實施例中圖10示意性揭示自關於心臟的醫學影像的所有幀影像依據人體呼吸循環階段組合為八個門閥組的實施態樣(即,每個門閥組包括幀影像總數的12.5%);然而,根據醫學影像的校正優化效果的需求或操作需要,亦可將門閥組數量增加或減少,或是另外考量人體心動週期組成額外一組門閥組影像,抑或綜合考量呼吸與心跳循環階段組成一組門閥組影像,其在本文中並無特別限定。
於本揭露的至少一實施例中,在步驟S80處,用於根據已定位準確的各幀影像(即,未經過步驟S70處理的醫學影像的各幀影像)或經步驟S70的門閥調控的門閥組影像執行醫學影像的重建優化。醫學影像重建優化的執行主要以各幀影像或門閥組影像中的基準對象(例如,判斷處於吸氣結束階段、心動週
期的等容收縮期、或符合上述二者的一幀影像或門閥組影像)為標準進行其餘幀影像或門閥組影像的動作補償,而上述相對於人體頭尾軸、左右軸、及/或腹背軸的運動曲線用於在進行上述動作補償時調整(包括旋轉、位移、縮放、形變等調整作業)幀影像或門閥組影像的參考,且經重建的優化醫學影像與基準對象間的相關係數用於觀察此醫學影像的重建優化的完成程度。
舉例來說,當考慮人體呼吸循環階段進行關於心臟的醫學影像的重建優化時,優化設備202自所述醫學影像對應的幀影像或門閥組影像中選定處於吸氣結束階段的一幀影像或門閥組影像作為基準對象,並在參考運動曲線下,相對於所述基準對象,將其餘幀影像或門閥組影像所包含的所有像素,依其三維座標在人體頭尾軸、左右軸、及/或腹背軸中進行調整(即,前述的旋轉、位移、縮放等調整作業),進而將調整後的各幀影像或門閥組影像集成以重建為優化醫學影像,並迭代地執行所述醫學影像的重建優化,直到優化醫學影像與基準對象間達到最相似(例如,相關係數到達最大值或均方根誤差達到最小值)為止,即代表此醫學影像的動作補償已完全,遂能達到如圖11所示左側圖(未進行重建優化)到右側圖(完成重建優化)的動作補償效果。
於本揭露的一些實施例中,步驟S80所執行的動作補償為藉由將動作補償程序融入最大後驗期望最大(maximum a posteriori expectation maximization,MAPEM)演算法的方式進行,其可表達為以下數學式的形式:
圖12揭示優化設備202對醫學影像執行上述步驟S10至S80後的效果示意圖。舉例而言,於本揭露的至少一實施例中,優化設備202藉由將關於目標器官(例如,心臟)的醫學影像解析為幀影像的型式進行分析(例如,圖例1201所示對應某一呼吸循環階段的幀影像及/或圖例1202所示對應某一心跳循環階段的幀影像),接著考量目標器官的運動曲線,以將各幀影像(或進行門閥調控後的門閥組影像)相對於人體頭尾軸、左右軸、及/或腹背軸進行調整(例如,圖例1203所示對應某一呼吸循環階段調整的幀影像及/或圖例1204所示對應某一心跳循環階段調整的幀影像),進而得到重建的優化醫學影像1205。到此,優化設備202可直接將重建的優化醫學影像1205顯示於管理平台201的使用者介面,或是藉由管理平台201將重建的優化醫學影像1205儲存至醫學影像儲傳設備204,進而供醫師透過診間報告電腦205檢視。
本揭露另提供一種電腦可讀媒介,應用於具有處理器及/或記憶體的電腦或計算裝置中,其儲存有指令,使電腦或計算裝置可透過處理器(例如,
CPU、GPU等)及/或記憶體,透過指令執行如上所述醫學影像的移動偵測及校正的方法。
綜上所述,本揭露中醫學影像的移動偵測及校正的方法、系統及電腦可讀媒介可用於將關於目標器官的醫學影像依照列表模式資料分割為複數個幀影像,並解析所述複數個幀影像中興趣區域的複數個質心,以計算得到目標器官於掃描期間的運動曲線,遂基於所述運動曲線執行醫學影像的重建優化,故能在不需安裝額外監控設備下,考慮人體器官或病灶的移動,以對醫學影像進行移動偵測與校正。
上述實施例僅例示性說明本揭露的功效,而非用於限制本揭露的範圍,任何熟習此項技藝的人士均可在不違背本揭露的範圍下,對上述實施態樣進行修飾與改變。因此本揭露的權利保護範圍,應如後述的申請專利範圍所列。
S10~S80:步驟
Claims (19)
- 一種醫學影像的移動偵測及校正的系統,包括:管理平台,用於提供使用者介面,以對目標器官的醫學影像提交執行優化處理之指令,其中,該醫學影像對應於列表模式資料;以及優化設備,用於根據該指令執行該醫學影像的該優化處理,其中,該優化處理包括:將該醫學影像所對應的該列表模式資料分割為具有固定時間維度的複數個幀,並將各該幀成像為複數個幀影像;於各該幀影像中標註興趣區域以涵蓋該目標器官;根據各該幀影像的該興趣區域計算該目標器官的運動曲線;根據該運動曲線重建該醫學影像;及將經重建的該醫學影像顯示於該使用者介面。
- 如請求項1所述的系統,其中,該優化設備包括深度學習模組,且於各該幀影像中標註興趣區域包括:藉由該深度學習模組於各該幀影像中辨識包含該目標器官的二元分割區域;藉由該深度學習模組將各該二元分割區域模糊化以生成軟遮罩;藉由該深度學習模組將各該軟遮罩套用至各該幀影像;藉由該深度學習模組基於各該軟遮罩以初始橢圓球面擬合各該幀影像中的該目標器官;以及藉由該深度學習模組將各該初始橢圓球面依其半徑向外擴張預設距離以生成代表該興趣區域的橢圓球面。
- 如請求項1所述的系統,其中,根據各該幀影像的該興趣區域計算該目標器官的運動曲線包括:將該興趣區域分割為第一子興趣區域及第二子興趣區域;分別提取該第一子興趣區域的第一質心與該第二子興趣區域的第二質心的三維坐標,以作為該幀影像的描述值;將各該幀影像的該描述值以主成份分析法進行降維,並以降維後的各該描述值的最大特徵作為該目標器官的移動及/或旋轉訊號;以及根據各該移動及/或旋轉訊號對各該幀影像分組與過濾以計算該運動曲線。
- 如請求項3所述的系統,其中,該目標器官為心臟,且將各該興趣區域分割為該第一子興趣區域及該第二子興趣區域為沿著該心臟的長軸,以短軸方向進行。
- 如請求項1所述的系統,其中,該運動曲線相對於人體的頭尾軸、左右軸、及腹背軸中的任一者繪製,且根據該運動曲線重建該醫學影像包括:自各該幀影像中選定基準對象;以該運動曲線為參考進行各該幀影像的動作補償,其中,該動作補償包括:相對於該基準對象,將各該幀影像中除該基準對象外的各者所包含的所有像素依其三維座標於該頭尾軸、該左右軸及該腹背軸中的任一者中執行調整作業;及重複執行各該幀影像的該調整作業,直到經過該調整作業的各該幀影像的集成與該基準對象間的相關係數到達最大值為止;以及將經過該動作補償的各該幀影像集成以重建該醫學影像。
- 如請求項3所述的系統,進一步包括在根據各該質心計算該目標器官的運動曲線之後,且各該幀影像的各該興趣區域未準確對應該運動曲線之下,該優化設備執行該優化處理另包括執行各該幀影像的門閥調控,其中,該門閥調控用於將各該幀影像中時間及/或位置關係相近者集成為預設數量的門閥組影像,且該時間及/或位置關係為由人體呼吸及/或心跳的循環階段所定義。
- 如請求項6所述的系統,其中,該運動曲線為相對於人體的頭尾軸、左右軸及腹背軸中的任一者繪製,且根據該運動曲線重建該醫學影像包括:自各該門閥組影像中選定基準對象;以該運動曲線為參考進行各該門閥組影像的動作補償,其中,各該門閥組影像的該動作補償包括:相對於該基準對象,將各該門閥組影像中除該基準對象外的各者所包含的所有像素依其三維座標於該頭尾軸、該左右軸及該腹背軸的任一者中執行調整作業;及重複執行各該門閥組影像的該調整作業,直到經過該調整作業的各該門閥組影像的集成與該基準對象間的相關係數到達最大值為止;以及將經過該動作補償的各該門閥組影像集成以重建該醫學影像。
- 如請求項1所述的系統,其中,該固定時間維度以100毫秒至500毫秒為單位。
- 如請求項1所述的系統,另包括: 掃描設備,用於拍攝該目標器官以獲得該醫學影像,其中,該掃描設備選自由單光子攝影設備、正子斷層攝影設備、磁振造影設備及電腦斷層掃描設備所組成群組中的任一者或其組合;醫學影像儲傳設備,用於儲存該醫學影像與經重建的該醫學影像;以及診間報告電腦,用於調閱或展示該醫學影像與經重建的該醫學影像。
- 一種醫學影像的移動偵測及校正的方法,包括:取得目標器官的醫學影像,其中,該醫學影像對應於列表模式資料;將該醫學影像所對應的該列表模式資料分割為具有固定時間維度的複數個幀,並將各該幀成像為複數個幀影像;於各該幀影像中標註興趣區域以涵蓋該目標器官;根據各該幀影像的該興趣區域計算該目標器官的運動曲線;以及根據該運動曲線重建該醫學影像。
- 如請求項10所述的方法,其中,於各該幀影像中標註該興趣區域以涵蓋該目標器官包括:藉由深度學習模組於各該幀影像中辨識包含該目標器官的二元分割區域;藉由該深度學習模組將各該二元分割區域模糊化以生成軟遮罩;藉由該深度學習模組將各該軟遮罩套用至各該幀影像;藉由該深度學習模組基於各該軟遮罩以初始橢圓球面擬合各該幀影像中的該目標器官;以及藉由該深度學習模組將各該初始橢圓球面依其半徑向外擴張預設距離,以生成代表該興趣區域的橢圓球面。
- 如請求項10所述的方法,其中,根據各該幀影像的該興趣區域計算該目標器官的運動曲線包括:將該興趣區域分割為第一子興趣區域及第二子興趣區域;分別提取該第一子興趣區域的第一質心與該第二子興趣區域的第二質心的三維坐標以作為該幀影像的描述值;將各該幀影像的該描述值以主成份分析法進行降維,並以降維後的該描述值的最大特徵作為該目標器官的移動及/或旋轉訊號;以及根據各該移動及/或旋轉訊號對各該幀影像分組與過濾以計算該運動曲線。
- 如請求項12所述的方法,其中,該目標器官為心臟,且將該興趣區域分割為該第一子興趣區域及該第二子興趣區域為沿著該心臟的長軸,以短軸方向進行。
- 如請求項10所述的方法,其中,該運動曲線相對於人體的頭尾軸、左右軸及腹背軸中的任一者繪製,且根據該運動曲線重建該醫學影像包括:自各該幀影像中選定基準對象;以該運動曲線為參考進行各該幀影像的動作補償,其中,該動作補償包括:相對於該基準對象,將各該幀影像中除該基準對象外的各者所包含的所有像素依其三維座標於該頭尾軸、該左右軸及該腹背軸中的任一者中執行調整作業;及重複執行各該幀影像的該調整作業,直到經過該調整作業的各該幀影像的集成與該基準對象間的相關係數到達最大值為止;以及將經過該動作補償的各該幀影像集成以重建該醫學影像。
- 如請求項12所述的方法,另包括在該根據各該質心計算該目標器官的運動曲線之後,且各該幀影像的各該興趣區域未準確對應該運動曲線之下,執行各該幀影像的門閥調控,其中,該門閥調控用於將各該幀影像中時間及/或位置關係相近者集成為預設數量的門閥組影像,且該時間及/或位置關係由人體呼吸及/或心跳的循環階段所定義。
- 如請求項15所述的方法,其中,該運動曲線相對於人體的頭尾軸、左右軸及腹背軸中的任一者繪製,且根據該運動曲線重建該醫學影像包括:自各該門閥組影像中選定基準對象;以該運動曲線為參考進行各該門閥組影像的動作補償,其中,各該門閥組影像的該動作補償包括:相對於該基準對象,將各該門閥組影像中除該基準對象外的各者所包含的所有像素依其三維座標於該頭尾軸、該左右軸及該腹背軸中的任一者中執行調整作業;及重複執行各該門閥組影像的該調整作業,直到經過該調整作業的各該門閥組影像的集成與該基準對象間的相關係數到達最大值為止;以及將經過該動作補償的各該門閥組影像集成以重建該醫學影像。
- 如請求項10所述的方法,其中,該醫學影像由掃描設備拍攝該目標器官所得,且該掃描設備係選自由單光子攝影設備、正子斷層攝影設備、磁振造影設備及電腦斷層掃描設備所組成群組中的任一者或其組合。
- 如請求項10所述的方法,其中,該固定時間維度以100毫秒至500毫秒為單位。
- 一種電腦可讀儲存媒介,其應用於電腦中且具有指令,以執行如請求項10至18中任一項所述醫學影像的移動偵測及校正的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW110145456A TWI790023B (zh) | 2021-12-06 | 2021-12-06 | 醫學影像的移動偵測及校正的方法、系統及電腦可讀媒介 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW110145456A TWI790023B (zh) | 2021-12-06 | 2021-12-06 | 醫學影像的移動偵測及校正的方法、系統及電腦可讀媒介 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI790023B true TWI790023B (zh) | 2023-01-11 |
TW202322756A TW202322756A (zh) | 2023-06-16 |
Family
ID=86670184
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110145456A TWI790023B (zh) | 2021-12-06 | 2021-12-06 | 醫學影像的移動偵測及校正的方法、系統及電腦可讀媒介 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI790023B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106805989A (zh) * | 2017-03-13 | 2017-06-09 | 博动医学影像科技(上海)有限公司 | 用于动脉造影的图像处理系统及交感神经状态变化的快速测量系统 |
WO2020220208A1 (en) * | 2019-04-29 | 2020-11-05 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for object positioning and image-guided surgery |
-
2021
- 2021-12-06 TW TW110145456A patent/TWI790023B/zh active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106805989A (zh) * | 2017-03-13 | 2017-06-09 | 博动医学影像科技(上海)有限公司 | 用于动脉造影的图像处理系统及交感神经状态变化的快速测量系统 |
WO2020220208A1 (en) * | 2019-04-29 | 2020-11-05 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for object positioning and image-guided surgery |
Also Published As
Publication number | Publication date |
---|---|
TW202322756A (zh) | 2023-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12026832B2 (en) | System and method for gating radiation exposure | |
US11950940B2 (en) | System and method for determining radiation parameters | |
US8655040B2 (en) | Integrated image registration and motion estimation for medical imaging applications | |
CN110458779B (zh) | 对呼吸或心脏的pet图像进行衰减校正的校正信息获取方法 | |
TWI790023B (zh) | 醫學影像的移動偵測及校正的方法、系統及電腦可讀媒介 | |
WO2023103975A1 (zh) | 医学影像的移动检测和校正方法、系统和计算机可读介质 | |
Buliev et al. | Estimation of the heart respiratory motion with applications for cone beam computed tomography imaging: a simulation study | |
Chambon et al. | CT-PET landmark-based lung registration using a dynamic breathing model | |
JP7280464B2 (ja) | プラナー画像生成装置 | |
Barnett | Improving the Accuracy of CT-derived Attenuation Correction in Respiratory-Gated PET/CT Imaging | |
Cook et al. | Pulmonary Kinematics via Registration of Serial Lung Images | |
James | Visual Dissection and Motion Field Mosaics for Breathing Motion Correction in Nuclear Medicine Imaging |