TWI554910B - Medical image imaging interactive control method and system - Google Patents

Description

醫用影像顯像互動操控方法與系統

本發明係有關於一種醫用影像顯像互動操控方法與系統，尤指涉及一種醫用影像之操作，特別係指讓醫護人員在判讀或解釋時，能夠對於欲處理之醫學影像進行更精準之操作，且具體達成非接觸式之臨床設備操作者。

現今資訊科技進步迅速，許多電子儀器在醫學領域上被用來提升醫護人員工作效率；醫療影像儲傳系統也大幅地降低醫護人員處理與傳遞傳統醫療影像所需耗費之時間；除此之外，由於醫療影像擷取技術之進步，讓醫護人員在向病患及其家屬解釋其病因時，擁有更多不同之圖像模式來輔助說明，然而如何在不需要碰觸任何儀器之情況下，面對面直接以手勢操控醫學影像更是值得探討與研發之議題，除了能夠降低因碰觸所帶來之感染問題外，還能讓操作者對於圖像之掌控更加切近病情之輔助解說。隨著近年來體感技術及動作感測器快速發展下，觸動相關領域之研究發展，不過，困難處在於提升動作判讀之正確性及準確性，並且需提供因應不同應用場域所需之特定流程下之動作處理。

根據上述，分析現行相關之中華民國專利，發現相關發明主要集中在影像擷取與轉換。如中華民國專利證書號I281822之「數位視訊轉換器整合醫療影像及管理系統」，其係揭露一種將影像自資料庫中擷取並顯示之方法，另一中華民國專利公告號201104494之「立體影像互動系統」，此系統並未揭露其擷取與處理影像及操作者動作之方法，亦未有對操作者動作之識別判讀。前述兩案即使結合中華民國專利證書號I340347之「於一虛擬實境中的電腦控制化身之個人化行為」，其僅提到有判斷操作者行為，但並未有其判斷之演算法，且前述所提及之先前技術均為揭露其操作影像種類，並未有關於醫用影像之操作，即使結合習知「利用動作操作設備」之單一動作判別或利用影像訊框及其特徵點之連續影像識別之技術，亦未能有效讓操作者在使用時，能夠對於欲處理之醫學影像進行更精準且無延遲之操作。

因近年來影像擷取裝置之進步，目前對於操作者動作比對之方法多已進步至以關節點比對為主，大部分碩博士研究文獻亦以此為基礎進行不同之應用研究。如參考文獻1（鄭宇安. "人形機器人行為模仿與重現." 中山大學電機工程學系碩士論文(2012)。）、參考文獻2（周濬森. "以動態時間較準法探討全身控制之虛擬實境學習系統." 長榮大學資訊管理系碩士論文(2013)）、參考文獻3（黃秀珊. "多模態體感動作辨識系統之人機介面研究." 中央大學資訊工程研究所碩士論文(2013)）、及參考文獻4（穆罕德. "瑜珈姿態辨識-使用多重KINECT." 中央大學資訊工程研究所碩士論文(2013)）。然而，從上述各參考文獻可知，大多數之研究大多採複雜之統計識別模型來比對動作，並未探討特徵影像擷取及其顯像操控上之穩態化及識別簡化處理。

鑑於前述之缺失，故，ㄧ般習用者係無法符合使用者於實際使用時之所需。

本發明之主要目的係在於，克服習知技藝所遭遇之上述問題並提供一種讓醫護人員在判讀或解釋時，能夠對於欲處理之醫學影像進行更精準之操作，且具體達成非接觸式之臨床設備操作之醫用影像顯像互動操控方法與系統。

為達以上之目的，本發明係一種醫用影像顯像互動操控方法與系統，該系統主要包括一物件影像互動模組，係提供醫護人員 對醫學影像進行操控，其主要包含一預先收集與標記之身體物件影像資料庫、以及一預先錄製之使用者動作樣板軌跡資料庫，醫護人員在選取所需之特定物件影像並顯現於該物件影像互動模組之顯示裝置後，透過單手或雙手虛擬接觸該物件影像後，隨即連結相對應之使用者動作空間與物 件影像虛擬空間座標，便可對該物件影像進行位移、縮放與旋轉之操控，且藉由肢體動作感測 模組同時產生相對應之同步反應；一肢體動作感測模組，係與該物件影像互動模組連接，用以經由一體感動作感應器持續偵測醫護人員上肢肢段動作之三維座標，該體感動作感應器回傳之座標訊號先連續緩衝儲存至一暫存記憶體，並再將數值予以正規化，以 連續、即時操控程序；一動作軌跡穩態處理機制，係與該肢體動作感測模組連接，用以從該暫存記憶體一動態窗格取出一小段固定長度座標訊號序列，經差值運算來偵測該段座標訊號序列是否有極端值出現，若有則將該極端值以其左右相鄰點之平均值取代，其他則以每三點為一訊框取平均值為平滑化輸出且每訊框重疊一點，藉此進行穩態處理以抑制該動態窗格之極端值與背景光源干擾；以及一連續性動作比對模組，係與該動作軌跡穩態處理機制連接，用以判斷穩態平滑後之座標訊號差值序列中是否存在一近似不變區段，依此將連續動作座標訊號切割轉換成一連串之靜態及動態區段序列，而動態區段部分則進一步再與該使用者動作樣板軌跡資料庫進行樣板相似度比對，所得之最似動作則連結至該物件影像在該物件影像互動模組之顯示裝置上給予相對應所需之操控互動回應。

於本發明上述實施例中，該物件影像係由多張以虛擬或以實際斷層掃描影像序列所組成之立體影像，包含身體部分及器官。

於本發明上述實施例中，該體感動作感應器係包括物理性感測器、光學式感應器、或混合該物理性感測器及該光學式感應器操作之行動裝置或可攜式裝置。

於本發明上述實施例中，該物理性感測器係可為軌跡球、加速度計、陀螺儀、及三維掃描儀。

於本發明上述實施例中，該光學式感應器係可由一個及一個以上單色、彩色及紅外線影像攝影器所組成者。

於本發明上述實施例中，該座標訊號係為配置該體感動作感應器或經感應換算而得之肢段及關節點之三維空間座標值。

於本發明上述實施例中，該暫存記憶體係為環狀佇列之設計。

於本發明上述實施例中，該極端值係為相連三點之訊號經差值運算後出現正負變換且差值比例超過數倍之中間點。

於本發明上述實施例中，該樣板相似度係將實際動作軌跡與樣板軌跡在二維平面及三維空間之歐氏幾何距離及其原始值或為加權累計後量值。

於本發明上述實施例中，該顯示裝置可將實際動作影像漸層化並重疊於動作樣板軌跡上。

於本發明上述實施例中，該顯示裝置係可為電腦螢幕、液晶顯示裝置、電子白板及單槍投影裝置。

於本發明上述實施例中，該使用者動作樣板軌跡資料庫內之使用者動作樣板軌跡，係以該肢體動作感測模組經由該體感動作感應器偵測及記錄醫護人員在執行特定立體物件影像操作之上肢肢段動作之三維座標訊號與軌跡。

１‧‧‧物件影像互動模組

１１‧‧‧身體物件影像資料庫

１２‧‧‧使用者動作樣板軌跡資料庫

１３‧‧‧顯示裝置

２‧‧‧肢體動作感測模組

２１‧‧‧體感動作感應器

２２‧‧‧暫存記憶體

３‧‧‧動作軌跡穩態處理機制

４‧‧‧連續性動作比對模組

５‧‧‧眼球

S111～S114‧‧‧步驟

第１圖，係本發明之系統功能方塊圖。

第２圖，係本發明之系統處理流程示意圖。

第３圖，係本發明之虛擬立體物件影像操控示意圖。

第４圖，係本發明之動作軌跡穩態處理機制示意圖。

第５圖，係本發明之靜態及動態區段序列切割示意圖。

第６圖，係本發明之實際動作及樣板軌跡比對示意圖。

第７圖，係本發明之實際動作及樣板軌跡偏差之歐氏幾何距離計算示意圖。

第８圖，係本發明一實施例之操作動作樣板示意圖。

第９圖，係本發明之連續性動作比對示意圖。

請參閱『第１圖～第９圖』所示，係分別為本發明之系統功能方塊圖、本發明之系統處理流程示意圖、本發明之虛擬立體物件影像操控示意圖、本發明之動作軌跡穩態處理機制示意圖、本發明之靜態及動態區段序列切割示意圖、本發明之實際動作及樣板軌跡比對示意圖、本發明之實際動作及樣板軌跡偏差之歐氏幾何距離計算示意圖、本發明一實施例之操作動作樣板示意圖、及本發明之連續性動作比對示意圖。如圖所示：本發明係一種醫用影像顯像互動操控方法與系統，透過整合穿戴式或非接觸式人體動作感測及可即時體感回饋顯示裝置來達成輔助醫事專業人員進行醫學影像判讀與解說之目標。本系統整體架構如第１圖所示，主要包括一物件影像互動模組１、 一與該物件影像互動模組１連接之肢體動作感測 模組２、一與該肢體動作感測模組 ２連接之動作軌跡穩態處理機制３、以及一與該動作軌跡穩態處理機制３及該物件影像互動模組１連接之連續性動作比對模組４等關鍵模組與處理機制所構成。

上述系統整體處理流程如第２圖所示。步驟S111，於醫療場域中，醫護人員透過該物件影像互動模組１對判讀或解釋所需之醫學影像進行操控，該物件影像互動模組１主要包含一預先收集與標記之身體物件影像資料庫１１、以及一預先錄製之使用者動作樣板軌跡資料庫１２，其中，該物件影像係由多張以虛擬或以實際斷層掃描影像序列所組成之立體影像，包含身體部分及器官，立體物件影像在空間座標上會先標定並取得其相對位置與正規化成單位向量，以利後續之型態操控；而使用者動作樣板軌跡資料庫１２內之使用者動作樣板軌跡，係以該肢體動作感測模組２經由一體感動作感應器２１偵測及記錄醫護人員在執行特定立體物件影像操作之上肢肢段動作之三維座標訊號與軌跡；前述所提之體感動作感應器２１包含物理性感測器及光學式感應器；該物理性感測器可為軌跡球、加速度計、陀螺儀、及三維掃描儀；該光學式感應器可為一個及一個以上單色、彩色及紅外線影像攝影器所組成者，如Webcam、IP cam、微軟Kinect、華碩WAVI Xtion等；以及 混合該物理性感測器及該光學式感應器操作之行動裝置或可攜式裝置；該座標訊號係為配置前述之體感動作感應器或經感應換算而得之肢段及關節點之三維空間座標值。

醫護人員在選取所需之特定物件影像並顯現於該物件影像互動模組１之顯示裝置１３後，透過單手或雙手虛擬接觸該物件影像後，隨即連結相對應之使用者動作空間與物件影像虛擬空間座標，便可對該物件影像進行位移、縮放與旋轉等操控，且藉由該肢體動作感測模組２同時產生相對應之同步反應，如第３圖所示為虛擬眼球立體物件影像操控範例，當系統偵測到手部接觸到眼球５邊緣時，虛擬眼球５之操控權便與該物件影像互動模組連結，進行後續之球體放大、縮小及微轉動等處理。

在步驟S112中，此連續、即時操控程序乃係以該肢體動作感測模組２經由該體感動作感應器２１持續偵測醫護人員上肢肢段動作之三維座標，該體感動作感應器２１回傳之座標訊號先連續緩衝儲存至一環狀佇列之暫存記憶體２２，並再將數值予以正規化，接著在步驟S113中，透過該動作軌跡穩態處理機制３從該暫存記憶體２２一動態窗格取出一小段固定長度座標訊號序列，經差值運算來偵測該段座標訊號序列是否有極端值出現，此極端值 係為相連三點之訊號經差值運算後出現正負變換且差值比例超過數倍之中間點；若有則將該極端值以其左右相鄰點之平均值取代，其他則以每三點為一訊框取平均值為平滑化輸出且每訊框重疊一點，藉此進行穩態處理以抑制該動態窗格之極端值與背景光源干擾。如第４圖所示之動作軌跡穩態處理機制，可發現處理後之訊號序列明顯地更為穩定。

最後，在步驟S114中，透過該連續性動作比對模組４，判斷穩態平滑後之座標訊號差值序列中是否存在一近似不變區段，依此將連續動作座標訊號切割轉換成一連串之靜態及動態區段序列，如第５圖所示；而動態區段部分則進一步再與該使用者動作樣板軌跡資料庫１２進行樣板相似度比對計算，如第６圖所示，主要比較此兩者在二維平面或三維空間之歐氏幾何距離，當實際動作與樣板軌跡相符合時，則兩者比較在第６圖呈現對角直線，也就是距離差值為零，如第７圖中移動軌跡A→B，而軌跡路徑A→C→B及A→C→B則有動作偏差產生情形，可從中求得歐氏幾何距離偏差值，分別為dist(i-N,j)+dist(i,j)及dist(i,j-N)+dist(i,j)，另可針對動作方向給予不同之權重乘積，再將原始值或加權累計其差異距離總值，透過此量化計算，所得之最似動作則連結至該物件影像在該物件影像互動模組１之顯示裝置１３上給予相對應所需之操控互動回應，而該顯示裝置１３可將實際動作影像漸層化並重疊於動作樣板軌跡上；其顯示裝置１３可為電腦螢幕、液晶顯示裝置、電子白板及單槍投影裝置。如是，藉由上述揭露之方法與系統構成一全新之醫用影像顯像互動操控方法與系統。

基於上述之系統架構與方法，以如第３圖所示之眼球球體擴增實境系統來具體展現本發明之可行性。本系統影像擷取裝置主要採用華碩公司出品之光學式Xtion人體感應器，開發平台為微軟dot.Net Framework 4.5、程式語言為C#、以及開發工具為Visual Studio 2010，在本實施例中，Xtion裝置可直接擷取使用者身上20個關節之三維座標；所引用之裝置連結軟體函式庫為Kinect for Windows SDK 1.7及Coding4Fun Kinect Toolkit。在第３圖中可具體顯現本發明所提方法之可行性，本發明系統可根據使用者之操作，在液晶顯示裝置上即時回饋顯示球體５立體物件影像之位移、縮放及旋轉等功能。

第８圖為本實施例所設計之操作動作。本系統僅透過上肢對物件影像進行操作，其包含四類型之動作判別，分別為：(1)透過兩掌間之縮放動作以控制物件影像之大小、(2)透過兩掌間中心點之位移動作以控制物件影像模型之位移、(3)透過兩掌之固定動作以控制物件影像模型之鎖定與解除、及(4)透過揮動單臂動作以控制物件影像之旋轉。

透過如第４圖之動作軌跡穩態處理後，進行連續性動作比對，如第５圖將座標訊號序列進一步切割成靜態及動態區段序列，再取出動態區段部分分別進行如放大、縮小、旋轉、揮手左擺、右擺等動作之相似度判斷；為加速辨別速度，本實施例進一步將該動作（假設為左擺動作）細分標定出A、B、C、D、E等5個期標點，如第９圖所示，其中，+Y、-Y為樣板之擺幅大小範圍，兩條軌跡線分別為第一次（黃色/淺色）及第二次（黑色）錄製之曲線圖。先以曲線是否通過各期標為判斷標準，皆通過且無超出正負Y值誤差範圍者，則符合該動作樣板；反之，若超出範圍或並無通過任一期標即不符合動作樣板，需重新比對；比對結束後，若符合動作樣板則物件影像會於顯示裝置畫面上給予相對應之動作回饋，並將該次比對成功之序列動作儲存於使用者動作樣板軌跡資料庫，以自動擴增比對使用者動作樣板軌跡資料庫來提升準確度。

本方法與系統乃著重在基於醫學影像之虛擬/擴增實境顯像操控之應用發明。本發明之醫用影像顯像互動操控方法與系統，係透過感測訊號靜動態之分析及穩態濾波處理，在連續性動作比對模組技術特徵上，可將連續動作訊號轉換成一連串之近似穩態區段，再針對每一近穩態區段進行軌跡相似度比對，此特徵與習知利用動作操作設備之單一動作判別或利用影像訊框及其特徵點之連續影像識別皆有顯著差別。此外，為加速辨別速度，動態區段動作可再進一步細分若干動作期程，透過閥值設定快速比對是否符合動作完整度；再者，本發明另一主要技術特徵為動作軌跡穩態處理機制，可透過演算法分析拆解極端值偵測與干擾抑制，建立以視窗滑動為基礎並同步計算相鄰點間差值及平均值之快速演算法，經閥值比對來產生雜訊抑制後訊號序列，透過上述兩關鍵技術特徵之處理，可簡易且快速在低複雜度之硬體裝置上實現。在判讀操作者動作之前，本發明技術會先緩衝儲存感測器訊號並同時在短時間區間內判斷有無異常值或背景光源干擾出現，再予以進行濾波穩態化處理，除可提升系統對動作判讀之準確性，亦可降低系統大量連續比對計算時所造成之運算負擔，進而讓操作者在使用時，能夠對於欲處理之醫學影像進行更精準且無延遲之操作。因此，本發明將可有效改善動作判讀之準確度，所提之近區段化處理機制亦可簡化系統設計複雜並擴大其應用領域，同時能有效降低診間需以接觸式操作醫用影像之不便性。

綜上所述，本發明係一種醫用影像顯像互動操控方法與系統，可有效改善習用之種種缺點，讓醫護人員在判讀或解釋時，能夠對於欲處理之醫學影像進行更精準之操作，且具體達成非接觸式之臨床設備操作，進而使本發明之産生能更進步、更實用、更符合使用者之所須，確已符合發明專利申請之要件，爰依法提出專利申請。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍；故，凡依本發明申請專利範圍及發明說明書內容所作之簡單的等效變化與修飾，皆應仍屬本發明專利涵蓋之範圍內。

S111~S114‧‧‧步驟

Claims (12)

1. 【第１項】

   一種醫用影像顯像互動操控系統，係包括：
   一物件影像互動模組，係提供醫護人員 對醫學影像進行操控，其主要包含一預先收集與標記之身體物件影像資料庫、以及一預先錄製之使用者動作樣板軌跡資料庫，醫護人員在選取所需之特定物件影像並顯現於該物件影像互動模組之顯示裝置後，透過單手或雙手虛擬接觸該物件影像後，隨即連結相對應之使用者動作空間與物 件影像虛擬空間座標，便可對該物件影像進行位移、縮放與旋轉之操控，且藉由一肢體動作感測 模組同時產生相對應之同步反應；
   該肢體動作感測模組，係與該物件影像互動模組連接，用以經由一體感動作感應器持續偵測醫護人員上肢肢段動作之三維座標，該體感動作感應器回傳之座標訊號先連續緩衝儲存至一暫存記憶體，並再將數值予以正規化，以 連續、即時操控程序；
   一動作軌跡穩態處理機制，係與該肢體動作感測模組連接，用以從該暫存記憶體一動態窗格取出一小段固定長度座標訊號序列，經差值運算來偵測該段座標訊號序列是否有極端值出現，若有則將該極端值以其左右相鄰點之平均值取代，其他則以每三點為一訊框取平均值為平滑化輸出且每訊框重疊一點，藉此進行穩態處理以抑制該動態窗格之極端值與背景光源干擾；以及
   一連續性動作比對模組，係與該動作軌跡穩態處理機制及該物件影像互動模組連接，用以判斷穩態平滑後之座標訊號差值序列中是否存在一近似不變區段，依此將連續動作座標訊號切割轉換成一連串之靜態及動態區段序列，而動態區段部分則進一步再與該使用者動作樣板軌跡資料庫進行樣板相似度比對，所得之最似動作則連結至該物件影像在該物件影像互動模組之顯示裝置上給予相對應所需之操控互動回應。
2. 【第２項】

   依申請專利範圍第１項所述之醫用影像顯像互動操控系統，其中，該物件影像係由多張以虛擬或以實際斷層掃描影像序列所組成之立體影像，包含身體部分及器官。
3. 【第３項】

   依申請專利範圍第１項所述之醫用影像顯像互動操控系統，其中，該 體感動作感應器係包括物理性感測器、光學式感應器、或 混合該物理性感測器及該光學式感應器操作之行動裝置或可攜式裝置。
4. 【第４項】

   依申請專利範圍第３項所述之醫用影像顯像互動操控系統，其中，該物理性感測器係可為軌跡球、加速度計、陀螺儀、及三維掃描儀。
5. 【第５項】

   依申請專利範圍第３項所述之醫用影像顯像互動操控系統，其中，該光學式感應器係可由一個及一個以上單色、彩色及紅外線影像攝影器所組成者。
6. 【第６項】

   依申請專利範圍第１項所述之醫用影像顯像互動操控系統，其中，該座標訊號係為配置該體感動作感應器或經感應換算而得之肢段及關節點之三維空間座標值。
7. 【第７項】

   依申請專利範圍第１項所述之醫用影像顯像互動操控系統，其中，該暫存記憶體係為環狀佇列之設計。
8. 【第８項】

   依申請專利範圍第１項所述之醫用影像顯像互動操控系統，其中，該極端值 係為相連三點之訊號經差值運算後出現正負變換且差值比例超過數倍之中間點。
9. 【第９項】

   依申請專利範圍第１項所述之醫用影像顯像互動操控系統，其中，該樣板相似度係將實際動作軌跡與樣板軌跡在二維平面及三維空間之歐氏幾何距離及其原始值或為加權累計後量值。
10. 【第１０項】

    依申請專利範圍第１項所述之醫用影像顯像互動操控系統，其中，該顯示裝置可將實際動作影像漸層化並重疊於動作樣板軌跡上。
11. 【第１１項】

    依申請專利範圍第１項所述之醫用影像顯像互動操控系統，其中，該顯示裝置係可為電腦螢幕、液晶顯示裝置、電子白板及單槍投影裝置。
12. 【第１２項】

    依申請專利範圍第１項所述之醫用影像顯像互動操控系統，其中，該使用者動作樣板軌跡資料庫內之使用者動作樣板軌跡，係以該肢體動作感測模組經由該體感動作感應器偵測及記錄醫護人員在執行特定立體物件影像操作之上肢肢段動作之三維座標訊號與軌跡。