TW201619754A - 醫用影像物件化介面輔助解說控制系統及其方法 - Google Patents

醫用影像物件化介面輔助解說控制系統及其方法 Download PDF

Info

Publication number
TW201619754A
TW201619754A TW103140890A TW103140890A TW201619754A TW 201619754 A TW201619754 A TW 201619754A TW 103140890 A TW103140890 A TW 103140890A TW 103140890 A TW103140890 A TW 103140890A TW 201619754 A TW201619754 A TW 201619754A
Authority
TW
Taiwan
Prior art keywords
image
medical
control system
item
interface
Prior art date
Application number
TW103140890A
Other languages
English (en)
Other versions
TWI501111B (zh
Inventor
Yu-Xian Qiu
Yu-Hao Zhang
Yi-Han Jiang
Chong-Bo Zheng
Yao-Xiang Lai
Li-Wei Yao
sheng-lun Chen
Original Assignee
Univ Kaohsiung Medical
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Kaohsiung Medical filed Critical Univ Kaohsiung Medical
Priority to TW103140890A priority Critical patent/TW201619754A/zh
Application granted granted Critical
Publication of TWI501111B publication Critical patent/TWI501111B/zh
Publication of TW201619754A publication Critical patent/TW201619754A/zh

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

一種醫用影像物件化介面輔助解說控制系統及其方法,主要包括一影像物件產生模組、一多模影像顯示互動模組、以及一特徵影像定位與控制模組所構成。透過該影像物件產生模組從病患之醫學影像序列中選取與標定所需特定區域之物件影像,再經由該多模影像顯示互動模組即時呈現該物件影像之立體影像及特定區域之特徵資訊,進一步輔以該特徵影像定位與控制模組之互動操作,利用體感動作感應器偵測醫護人員之上肢動作,並連結相對應之使用者動作空間與物件影像虛擬空間座標,即可定位至該物件影像相屬位置並進行位移、縮放與旋轉等操作控制處理。透過本發明將可提供醫護人員適性、適地的解說輔助,以有效改善診間內醫病之間之溝通與互動。

Description

醫用影像物件化介面輔助解說控制系統及其方法
本發明係有關於一種醫用影像物件化介面輔助解說控制系統及其方法,尤指涉及一種透過直覺式醫學影像來呈現輔助診斷及透過面對面解說以提升醫病關係之技術,特別係指可減少醫療糾紛並增進醫病關係,具體提供醫療及健康照護等設備商或服務商一全新操作介面與系統。
現今醫療院所逐漸導入臨床決策系統以及電子化設備,其中醫療影像儲傳系統取代了傳統處理醫療影像之方式,如相片等,醫療影像儲傳系統大大提升醫護人員在臨床診斷、病歷傳遞與病患移診之效率。然而,現階段醫療影像儲傳系統其操作大多係以接觸式電腦介面,而對病患進行病情解說也僅能透過此平面影像,除可能有感染問題外,最重要的是透過此模式不易被病患所接受與理解。因此,若能提供:(1)非接觸式操作介面,讓醫護人員透過肢體感測控制醫學影像,解決接觸式操控所造成之風險;(2)影像實體化,若能將傳統二維平面影像轉換成多維立體影像呈現,較能清楚呈現出患者之病灶處;此外,提供醫師了解其病灶之解剖相對位置,更利於手術治療,且能在術前門診時,增進病患及其家屬之解說與溝通。
根據上述,分析現行相關之中華民國專利,發現相關發明大部分係著重在平面影像顯示處理及呈現為主,且此類發明系統並無闡述使用者操作物件影像之方式及其應用範圍;部分發明基於虛擬實境概念,模擬測試情境,再連結硬體裝置產生回饋作動,其中,主要係單以影像識別方式來記錄肢體動作之運動學參數。如中華民國專利公告號201104494,係揭露一種「立體影像互動系統」,包括有立體影像擷取模組、立體影像處理單元、系統主機與立體影像顯示模組所構成,該案主要強調立體影像之擷取以及透過動作特徵來對該影像產生相對反應,但該案並未闡述其應用領域及上肢動作之處理與操作演算法;中華民國專利證書號I385559,係揭露一種「擴增實境系統及其使用者介面方法」,主要強調透過肢體來選取與標記圖像之過程,但該案未揭露其肢體操作之動作及其處理演算法。據此,上述專利皆未詳述其係透過何種動作特徵、及搭配所屬處理演算法來對影像進行操作,即使彼此結合亦未能有效輔助醫護人員解說病情。
傳統之病情解說主要係以靜態「文字與圖片」為主。而目前對於操作者動作比對之方法多已進步至以關節點比對為主,大部分碩博士研究文獻亦以此為基礎進行不同之應用研究。如鄭宇安於2012年提出透過使用者介面建立一個以微軟Kinect為操控器之系統架構(參考文獻:鄭宇安. "人形機器人行為模仿與重現." 中山大學電機工程學系碩士論文(2012)。);周濬森於2013年提出透過Kinect來擷取骨架資訊並比較使用者與教練骨架資訊之差異,其中,主要係利用動態時間校準方法比對教練與學員之間之相似度(參考文獻:周濬森. "以動態時間較準法探討全身控制之虛擬實境學習系統." 長榮大學資訊管理系碩士論文(2013));同年,黃秀珊提出結合無線感測器來提升以Kinect辨識姿態之正確性並應用在Unity3D遊戲場景中(參考文獻:黃秀珊. "多模態體感動作辨識系統之人機介面研究." 中央大學資訊工程研究所碩士論文(2013));以及穆罕德亦於該年提出透過Kinect來追蹤人體動作並藉由估計深度圖像來追蹤瑜珈姿態(參考文獻:穆罕德. "瑜珈姿態辨識-使用多重KINECT." 中央大學資訊工程研究所碩士論文(2013))。然而,從上述可知,大部分之研究大多探討動作型態比對,並未著重在醫療領域特定特徵影像擷取、標定及其輔助顯像與便利操控之處理。
鑑於現階段醫護產業多以平面影像模式來對病患進行病情解說,但專業性之醫學知識與病灶解讀卻難以被病患及其家屬所理解。故,ㄧ般習用者係無法符合使用者於實際使用時之所需。
本發明之主要目的係在於,克服習知技藝所遭遇之上述問題並提供一種 經由專業醫護人員透過上肢醫學影像物件非接觸直接進行重要病徵標定與型態操控,將可提供輔助醫護人員適性、適地的解說輔助,以有效改善診間內醫病之間之溝通與互動,達到減少醫療糾紛並增進醫病關係之功效者。
為達以上之目的,本發明係一種醫用影像物件化介面輔助解說控制系統及其方法,該系統主要包括一影像物件產生模組,係提供醫事人員從病患之醫學影像序列中選取與標定所需特定區域之物件影像;一多模影像顯示互動模組,係與該影像物件產生模組連接,用以即時呈現該物件影像之立體影像及特定區域之特徵資訊;以及一特徵影像定位與控制模組,係與該多模影像顯示互動模組連接,利用該多模影像顯示互動模組偵測醫事人員之上肢動作,並連結相對應之使用者動作空間與物件影像虛擬空間座標,當在虛擬空間上接觸該物件影像之特徵標記後,即定位至該物件影像相屬位置並進行位移、縮放與旋轉之操作控制處理,且藉由該多模影像顯示互動模組產生相對應之同步反應。
於本發明上述實施例中,該物件係指包含一種以上之組織結合,並共同表現出某一特定功能、具有一定之型態特徵之人體之身體部位與器官。
於本發明上述實施例中,該物件影像係由複數張以虛擬或以實際斷層掃描影像序列所組成之立體影像。
於本發明上述實施例中,該多模影像顯示互動模組係包含一輸出裝置及一非接觸之體感動作感應器,並由該體感動作感應器偵測醫事人員之上肢動作。
於本發明上述實施例中,該輸出裝置係可為單槍、微投影器、液晶顯示裝置或揚聲器。
於本發明上述實施例中,該體感動作感應器係包括物理性感測器、光學式感應器、或混合該物理性感測器及該光學式感應器操作之行動裝置或可攜式裝置。
於本發明上述實施例中,該物理性感測器係可為電阻式及電容式觸控板、軌跡球、加速度計、陀螺儀、高度計及握力計。
於本發明上述實施例中,該光學式感應器係可為一個及一個以上單色、彩色及紅外線影像攝影器所組成之三維掃描儀。
於本發明上述實施例中,該影像物件產生模組係包括一前端影像物件資料庫,用以記錄與儲存人體之身體部位及器官之物件影像;以及一後端影像物件資料庫,用以儲存從該前端影像物件資料庫中選取並經分類及預先標記病灶處理後之物件影像。
於本發明上述實施例中,該特徵資訊係包含科別、疾病分類並連結診斷報告。
於本發明上述實施例中,該特徵標記係指該物件影像之病灶處經標定後而得之符號、區域框線及顏色之資訊。
於本發明上述實施例中,該符號係為一虛擬物體,可為靜態示意標記及動畫。
於本發明上述實施例中,該控制處理係根據該上肢動作與預先建立控制命令之動作樣板進行相似度比對處理。
於本發明上述實施例中,該上肢動作係包含可在二維平面及三維空間執行之規則型及不規則型動作,且該規則型動作可為線條、線條組合及圓弧形動作;而該不規則型動作可為前述混合之組合動作及任意之結合平移及旋轉之複合性動作。
1‧‧‧影像物件產生模組
11‧‧‧前端影像物件資料庫
12‧‧‧後端影像物件資料庫
2‧‧‧多模影像顯示互動模組
21‧‧‧輸出裝置
22‧‧‧體感動作感應器
3‧‧‧特徵影像定位與控制模組
S111~S113‧‧‧步驟
4‧‧‧液晶顯示器
5‧‧‧球體物件影像
6‧‧‧病灶
第1圖,係本發明之系統功能方塊圖。
第2圖,係本發明之系統處理流程示意圖。
第3圖,係本發明之預設動作樣板示意圖。
第4圖,係本發明之眼球球體擴增實境系統雛型介面示意圖。
第5圖,係本發明之特徵影像定位示意圖。
請參閱『第1圖~第5圖』所示,係分別為本發明之系統功能方塊圖、本發明之系統處理流程示意圖、本發明之預設動作樣板示意圖、本發明之眼球球體擴增實境系統雛型介面示意圖、及本發明之特徵影像定位示意圖。如圖所示:本發明係一種醫用影像物件化介面輔助解說控制系統及其方法,主要強調專業醫護人員透過上肢醫學影像物件非接觸直接進行重要病徵標定與型態操控,進而具有輔助醫護人員解說病情之功效。本系統整體架構如第1圖所示,主要包括一影像物件產生模組1、一與該影像物件產生模組1連接之多模影像顯示互動模組2、以及一與該多模影像顯示互動模組2連接之特徵影像定位與控制模組3等關鍵模組所構成。
上述系統整體處理流程如第2圖所示。在步驟S111中,醫護人員透過該影像物件產生模組1從病患之醫學影像序列中選取所需特定區域之物件影像,並標定特徵資訊。該影像物件產生模組1包含一前端影像物件資料庫11,用以記錄與儲存人體之身體部位及器官之物件影像;以及一後端影像物件資料庫12,用以儲存從該前端影像物件資料庫11中選取並經分類及預先標記病灶處理後之物件影像。其中,標定之特徵資訊包含科別、疾病分類並連結診斷報告;而所欲標定之物件,係根據各科臨床醫師之所需,挑選包含 一種以上之組織結合,並共同表現出某一特定功能、具有一定之型態特徵者,特別是臨床上常需對病患解釋病情之常見的人體身體部位及器官等,同時彙整關於病患之醫學影像檢查報告,經標定建立影像物件資料庫,該物件影像係由複數張以虛擬或以實際斷層掃描影像序列所組成之立體影像;而醫師所標定之特徵標記,係指包含該物件影像之病灶處經標定後而得之符號、區域框線及顏色等資訊,且該符號為一虛擬物體,可為靜態示意標記及動畫 。
完成上述標定後,在步驟S112中,再經由該多模影像顯示互動模組2即時呈現該物件之立體影像及特定區域之特徵資訊,為達成即時互動之目標,本發明整合包含一輸出裝置21及一體感動作感應器22之多模影像顯示互動模組2來建構操作環境,其中,該輸出裝置可為單槍、微投影器、液晶顯示裝置或揚聲器,以利於診間輔助解說或於臨床場域進行教育訓練使用;而介面操作所需之輸入裝置,主要是採非接觸之體感動作感應器22,包含物理性感測器及光學式感應器,該物理性感測器可為電阻式及電容式觸控板、軌跡球、加速度計、陀螺儀、高度計及握力計;該光學式感應器係可為一個及一個以上單色、彩色及紅外線影像攝影器所組成之三維掃描儀,如Webcam、IPcam、微軟Kinect、華碩WAVI Xtion等;或混合上述物理性感測器及光學式感應器操作之行動裝置或可攜式裝置。
接著,在步驟S113中,輔以該特徵影像定位與控制模組3之互動操作,利用該 體感動作感應器22偵測醫護人員之上肢動作,並連結相對應之使用者動作空間與物件影像虛擬空間座標,該上肢動作包含可在二維平面及三維空間執行之規則型及不規則型動作,如第3圖所示,其中該規則型動作可為線條、線條組合及圓弧形動作;而該不規則型動作可為前述混合之組合動作及任意之結合平移及旋轉之複合性動作。當在虛擬空間上接觸該物件影像之特徵標記後,便可定位至該物件影像相屬位置並進行位移、縮放與旋轉等操作控制處理,意即根據該上肢動作與預先建立控制命令之動作樣板進行相似度比對處理。本發明之操作控制主要透過單手固定物件影像中某一特徵標記後,另一手隨即操作某一想要之控制命令動作,經由判斷此單手動作在虛擬空間座標上之間隔距離為比值來判定動作範圍,例如以單手向左移十公分其影像將呈現五公分之平行左移;雙手將往外擴張八公分其影像便呈現四公分之放大;旋轉則透過偵測特徵標記之位置平移。最後,藉由該多模影像顯示互動模組2產生相對應之同步反應。如是,藉由上述揭露之系統與方法構成一全新之醫用影像物件化介面輔助解說控制系統及其方法。
基於上述之系統架構與方法,當運用時,本發明以眼球球體擴增實境系統來具體展現本發明之可行性,如第4圖所示。本系統之軟體開發平台為Microsoft Visual Studio .NET Environment;動作感測硬體裝置為華碩WAVI Xtion,程式語言為C#及C++;在本實施例中,Xtion裝置所引用之裝置連結軟體函式庫為Kinect for Windows SDK 1.7及Coding4Fun Kinect Toolkit,在感應範圍內最多可主動追蹤兩位使用者,每個使用者共可記錄20個關節點之三維座標,包含軀幹、四肢以及手指等皆為追蹤之範圍,可實現全身性之體感操作,其中亦包含本案所需之肩關節、肘關節與腕關節等上肢關節。本發明所提系統可根據使用者之操作,在液晶顯示器4上即時回饋顯示球體物件影像5之位移、縮放及旋轉等功能。
醫師可透過影像物件產生模組1選取虛擬眼球之球體物件影像5,除透過多模影像顯示互動模組2來呈現球體物件影像5外,可利用特徵影像定位與控制模組3來定位並標註病灶處之特徵資訊,如第5圖所示,以黑色框線及黑色圈來標定病灶6所在位置;接著透過本發明所提之簡易控制命令判讀程序來進行互動操作,如第5圖所展現之球體物件影像5旋轉功能。透過上述各模組之整合與實現,提供醫師在診間進行病情解說,進而具體提升醫病溝通成效。
本系統及其方法乃著重在基於醫學影像之虛擬/擴增實境顯像操控之應用發明。本發明可提供更有效率且更具溝通性之醫用病情解說操作介面,經由專業醫護人員建議並標記於影像病灶特徵而建立之影像物件資料庫,並系統化整合光學式動作感應裝置及單槍、微投影裝置或液晶顯示器來進行醫學影像之定位與控制,將可於診間提供醫護人員適性、適地的解說輔助,以有效改善診間內醫病之間之溝通與互動。藉此,在醫療院所端發展此醫學影像操作介面輔助解說方法,結合體感動作感應器偵測其肢體控制所需輔助於解說或判讀之醫學影像,必然成為值得發展之醫療策略。
因此,本發明將可具體提供雲端產業、醫療及健康照護等設備商或服務商、研究開發領域所需之照護輔助裝置、設備及服務提供系統。
綜上所述,本發明係一種醫用影像物件化介面輔助解說控制系統及其方法,可有效改善習用之種種缺點, 經由專業醫護人員透過上肢醫學影像物件非接觸直接進行重要病徵標定與型態操控,將可提供輔助醫護人員適性、適地的解說輔助,以有效改善診間內醫病之間之溝通與互動,達到減少醫療糾紛並增進醫病關係之功效,進而使本發明之産生能更進步、更實用、更符合使用者之所須,確已符合發明專利申請之要件,爰依法提出專利申請。
惟以上所述者,僅為本發明之較佳實施例而已,當不能以此限定本發明實施之範圍;故,凡依本發明申請專利範圍及發明說明書內容所作之簡單的等效變化與修飾,皆應仍屬本發明專利涵蓋之範圍內。
1‧‧‧影像物件產生模組
11‧‧‧前端影像物件資料庫
12‧‧‧後端影像物件資料庫
2‧‧‧多模影像顯示互動模組
21‧‧‧輸出裝置
22‧‧‧體感動作感應器
3‧‧‧特徵影像定位與控制模組
S111~S113‧‧‧步驟

Claims (14)

  1. 【第1項】
    一種醫用影像物件化介面輔助解說控制系統,係包括:
    一影像物件產生模組,係提供醫護人員從病患之醫學影像序列中選取與標定所需特定區域之物件影像;
    一多模影像顯示互動模組,係與該影像物件產生模組連接,用以即時呈現該物件影像之立體影像及特定區域之特徵資訊;以及
    一特徵影像定位與控制模組,係與該多模影像顯示互動模組連接,利用該多模影像顯示互動模組偵測醫護人員之上肢動作,並連結相對應之使用者動作空間與物件影像虛擬空間座標,當在虛擬空間上接觸該物件影像之特徵標記後,即定位至該物件影像相屬位置並進行位移、縮放與旋轉之操作控制處理,且藉由該多模影像顯示互動模組產生相對應之同步反應。
  2. 【第2項】
    依申請專利範圍第1項所述之醫用影像物件化介面輔助解說控制系統,其中,該 物件係指包含一種以上之組織結合,並共同表現出某一特定功能、具有一定之型態特徵之人體之身體部位與器官。
  3. 【第3項】
    依申請專利範圍第1項所述之醫用影像物件化介面輔助解說控制系統,其中,該 物件影像係由複數張以虛擬或以實際斷層掃描影像序列所組成之立體影像。
  4. 【第4項】
    依申請專利範圍第1項所述之醫用影像物件化介面輔助解說控制系統,其中,該多模影像顯 示互動模組係包含一輸出裝置及一非接觸之體感動作感應器,並由該體感動作感應器偵測醫護人員之上肢動作。
  5. 【第5項】
    依申請專利範圍第4項所述之醫用影像物件化介面輔助解說控制系統,其中,該輸出裝置係可為單槍、微投影器、液晶顯示裝置或揚聲器。
  6. 【第6項】
    依申請專利範圍第4項所述之醫用影像物件化介面輔助解說控制系統,其中,該體感動作感應器係包括物理性感測器、光學式感應器、或 混合該物理性感測器及該光學式感應器操作之行動裝置或可攜式裝置。
  7. 【第7項】
    依申請專利範圍第6項所述之醫用影像物件化介面輔助解說控制系統,其中,該物理性感測器係可為電阻式及電容式觸控板、軌跡球、加速度計、陀螺儀、高度計及握力計。
  8. 【第8項】
    依申請專利範圍第6項所述之醫用影像物件化介面輔助解說控制系統,其中,該光學式感應器係可為一個及一個以上單色、彩色及紅外線影像攝影器所組成之三維掃描
  9. 【第9項】
    依申請專利範圍第1項所述之醫用影像物件化介面輔助解說控制系統,其中,該影像物件產生模組係包括:
    一前端影像物件資料庫,用以記錄與儲存人體之身體部位及器官之物件影像;以及
    一後端影像物件資料庫,用以儲存從該前端影像物件資料庫中選取並經分類及預先標記病灶處理後之物件影像。
  10. 【第10項】
    依申請專利範圍第1項所述之醫用影像物件化介面輔助解說控制系統,其中,該特徵資訊係包含科別、疾病分類並連結診斷報告。
  11. 【第11項】
    依申請專利範圍第1項所述之醫用影像物件化介面輔助解說控制系統,其中,該特徵標記係指該物件影像之病灶處經標定後而得之符號、區域框線及顏色之資訊。
  12. 【第12項】
    依申請專利範圍第11項所述之醫用影像物件化介面輔助解說控制系統,其中,該符號係為一虛擬物體,可為靜態示意標記及動畫。
  13. 【第13項】
    依申請專利範圍第1項所述之醫用影像物件化介面輔助解說控制系統,其中,該控制處理係根據該上肢動作與預先建立控制命令之動作樣板進行相似度比對處理。
  14. 【第14項】
    依申請專利範圍第1項所述之醫用影像物件化介面輔助解說控制系統,其中,該上肢動作係包含可在二維平面及三維空間執行之規則型及不規則型動作,且該規則型動作可為線條、線條組合及圓弧形動作;而該不規則型動作可為前述混合之組合動作及任意之結合平移及旋轉之複合性動作。
TW103140890A 2014-11-25 2014-11-25 醫用影像物件化介面輔助解說控制系統及其方法 TW201619754A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW103140890A TW201619754A (zh) 2014-11-25 2014-11-25 醫用影像物件化介面輔助解說控制系統及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103140890A TW201619754A (zh) 2014-11-25 2014-11-25 醫用影像物件化介面輔助解說控制系統及其方法

Publications (2)

Publication Number Publication Date
TWI501111B TWI501111B (zh) 2015-09-21
TW201619754A true TW201619754A (zh) 2016-06-01

Family

ID=54608158

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103140890A TW201619754A (zh) 2014-11-25 2014-11-25 醫用影像物件化介面輔助解說控制系統及其方法

Country Status (1)

Country Link
TW (1) TW201619754A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI740361B (zh) * 2020-01-22 2021-09-21 國眾電腦股份有限公司 智慧操作輔助系統及智慧操作輔助方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI671762B (zh) * 2018-05-17 2019-09-11 高雄榮民總醫院 隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法、電腦可讀取記錄媒體、電腦程式產品、系統
US11564633B2 (en) 2018-12-21 2023-01-31 Industrial Technology Research Institute State assessment system, diagnosis and treatment system, and method for operating the diagnosis and treatment system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8775196B2 (en) * 2002-01-29 2014-07-08 Baxter International Inc. System and method for notification and escalation of medical data
TW201001268A (en) * 2008-06-26 2010-01-01 Ind Tech Res Inst Interactive multimedia system with human-centered interface and the displaying method thereof
TW201308118A (zh) * 2011-08-11 2013-02-16 Vector Technology Corp 醫用遠端監控系統
TWI444846B (zh) * 2011-10-12 2014-07-11 Univ Nat Yang Ming 互動式復健方法、程式、電腦可讀取儲存媒體及其應用之系統

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI740361B (zh) * 2020-01-22 2021-09-21 國眾電腦股份有限公司 智慧操作輔助系統及智慧操作輔助方法

Also Published As

Publication number Publication date
TWI501111B (zh) 2015-09-21

Similar Documents

Publication Publication Date Title
US10229753B2 (en) Systems and user interfaces for dynamic interaction with two-and three-dimensional medical image data using hand gestures
Ruppert et al. Touchless gesture user interface for interactive image visualization in urological surgery
Coles et al. Integrating haptics with augmented reality in a femoral palpation and needle insertion training simulation
Andersen et al. Virtual annotations of the surgical field through an augmented reality transparent display
US20140049465A1 (en) Gesture operated control for medical information systems
Lu et al. Immersive manipulation of virtual objects through glove-based hand gesture interaction
CN106293082A (zh) 一种基于虚拟现实的人体解剖交互系统
Ebert et al. Invisible touch—Control of a DICOM viewer with finger gestures using the Kinect depth camera
Lin et al. A first-person mentee second-person mentor AR interface for surgical telementoring
CN110931121A (zh) 一种基于Hololens的远程手术指导装置及操作方法
Smith et al. Mixed reality interaction and presentation techniques for medical visualisations
WO2017048929A1 (en) Ultrasound-guided medical tool insertion simulators
WO2017048931A1 (en) Ultrasound-guided medical tool insertion simulators
CN115315729A (zh) 用于促进远程呈现或交互的方法和系统
US20180225992A1 (en) Ultrasound-guided medical tool insertion simulators
Long et al. Integrating artificial intelligence and augmented reality in robotic surgery: An initial dvrk study using a surgical education scenario
Ribeiro et al. Techniques and devices used in palpation simulation with haptic feedback
Scherfgen et al. Estimating the pose of a medical manikin for haptic augmentation of a virtual patient in mixed reality training
Scheggi et al. Shape and weight rendering for haptic augmented reality
CN107945607A (zh) 超声演示系统及装置
LIU et al. A preliminary study of kinect-based real-time hand gesture interaction systems for touchless visualizations of hepatic structures in surgery
Hernoux et al. A seamless solution for 3D real-time interaction: design and evaluation
TW201619754A (zh) 醫用影像物件化介面輔助解說控制系統及其方法
Hochreiter et al. Optical touch sensing on nonparametric rear-projection surfaces for interactive physical-virtual experiences
Hochreiter et al. Touch sensing on non-parametric rear-projection surfaces: A physical-virtual head for hands-on healthcare training