TWI765369B

TWI765369B - 基於擴增實境的手術決策支援系統及其方法

Info

Publication number: TWI765369B
Application number: TW109135189A
Authority: TW
Inventors: 劉偉民; 陳菁徽; 李宇倢; 沈易達
Original assignee: 臺北醫學大學
Priority date: 2020-10-12
Filing date: 2020-10-12
Publication date: 2022-05-21
Also published as: TW202214190A

Abstract

一種基於擴增實境的手術決策支援系統及其方法，透過在手術進行前由外科醫師自行建立力所能及的最佳化手術操作，以便在手術中透過擴增實境進行演示，同時偵測當前手術操作以與最佳化手術操作相互比對，當比對差異超過容許範圍時，顯示差異訊息以提供手術決策支援，用以達到提高手術效率與成功率之技術功效。

Description

基於擴增實境的手術決策支援系統及其方法

本發明涉及一種手術決策系統及其方法，特別是基於擴增實境的手術決策支援系統及其方法。

近年來，隨著擴增實境的普及與蓬勃發展，各種基於擴增實境的應用便如雨後春筍般湧現，舉例來說，擴增實境常見應用於手術、導航及遊戲等等。

一般而言，傳統將擴增實境應用在手術的方式，其可透過攝像裝置及顯示器建構出虛實結合的情境，其中，將醫療數據、圖像及器官模型等等作為虛擬物件顯示在顯示器，同時一併顯示攝像裝置所拍攝到的實體影像，使外科醫師瀏覽顯示器時，能夠同時看到虛擬物件及實體影像，以便作為手術參考之用。然而，在實際的手術過程中，此方式屬於被動地提供資訊，無法主動根據外科醫師的手術操作來提供相應的手術決策支援。也就是說，倘若外科醫師的經驗不足，此方式雖然能夠即時提供大量相關數據及圖像，但是外科醫師不見得能夠從中獲得幫助，反而可能使外科醫師的注意力分散及壓力大增，甚至導致手術失誤的情況發生，故具有外科醫師容易因經驗不足或壓力而發生失誤的問題。

有鑑於此，便有廠商提出以擴增實境模擬器官，並且搭配手術示範操作來教導外科醫師的技術手段，其透過預先將器官進行建模以作為虛擬物件，並且播放手術示範操作以供外科醫師學習，進而間接加深外科醫師的經驗。然而，實際手術過程與學習過程兩者之間存在巨大落差，即使事先學習及練習多遍，在實際操刀時，經驗不足的外科醫師通常仍會感受到巨大的壓力，特別是在手術過程中，發生意料之外的情況時。因此，前述方式仍然無法有效解決外科醫師容易因經驗不足或壓力而發生失誤的問題。

綜上所述，可知先前技術中長期以來一直存在外科醫師容易因經驗不足或壓力而發生失誤的問題，因此實有必要提出改進的技術手段，來解決此一問題。

本發明揭露一種基於擴增實境的手術決策支援系統及其方法。

首先，本發明揭露一種基於擴增實境的手術決策支援系統，其包含：手術資料庫、訓練模組、感測模組及決策支援模組。其中，手術資料庫用以儲存手術方案，所述手術方案包含器官模型、操作流程、手術器具使用時點及生理數據，每一手術方案均允許以擴增實境進行呈現；訓練模組連接手術資料庫，用以在進行手術前，選擇載入與此手術相應的其中一個手術方案以供訓練，並且將選擇載入的手術方案以擴增實境進行呈現，以及在訓練中致能感測器持續感測手術器具的三度空間之自由運動以建立最佳化手術操作；感測模組用以在進行手術的過程中，致能感測器持續感測手術器具的三度空間之自由運動以作為當前手術操作；以及決策支援模組連接訓練模組及感測模組，用以比對最佳化手術操作及當前手術操作，當比對差異超過容許範圍時，輸出差異訊息以提供手術決策支援。

另外，本發明還揭露一種基於擴增實境的手術決策支援方法，其步驟包括：提供手術方案，所述手術方案包含器官模型、操作流程、手術器具使用時點及生理數據，每一手術方案均允許以擴增實境進行呈現；在進行手術前，選擇載入與手術相應的其中一個手術方案以供訓練，並且將選擇載入的手術方案以擴增實境進行呈現，以及在訓練中致能感測器持續感測手術器具的三度空間之自由運動以建立最佳化手術操作；在進行手術的過程中，致能感測器持續感測手術器具的三度空間之自由運動以作為當前手術操作；以及比對最佳化手術操作及當前手術操作，當比對差異超過容許範圍時，輸出差異訊息以提供手術決策支援。

本發明所揭露之系統與方法如上，與先前技術的差異在於本發明是透過在手術進行前由外科醫師自行建立力所能及的最佳化手術操作，以便在手術中透過擴增實境進行演示，同時偵測當前手術操作以與最佳化手術操作相互比對，當比對差異超過容許範圍時，顯示差異訊息以提供手術決策支援。

透過上述的技術手段，本發明可以達成提高手術效率與成功率之技術功效。

以下將配合圖式及實施例來詳細說明本發明之實施方式，藉此對本發明如何應用技術手段來解決技術問題並達成技術功效的實現過程能充分理解並據以實施。

首先，在說明本發明所揭露之基於擴增實境的手術決策支援系統及其方法之前，先對本發明所應用的環境作說明，本發明係應用在擴增實境中，所述擴增實境是指透過攝像裝置拍攝影像，並且根據影像的位置及角度進行精算，再搭配圖像分析技術，使顯示裝置上同時呈現虛擬物及現實世界場景，並且能夠進行互動的技術。在實際實施上，所述顯示裝置可包含頭戴式顯示器、抬頭顯示器、觸控螢幕等等。

以下配合圖式對本發明基於擴增實境的手術決策支援系統及其方法做進一步說明，請先參閱「第1圖」，「第1圖」為本發明基於擴增實境的手術決策支援系統的系統方塊圖，此系統包含：手術資料庫110、訓練模組120、感測模組130及決策支援模組140。其中，手術資料庫110用以儲存多個手術方案，所述手術方案包含器官模型、操作流程、手術器具使用時點及生理數據，每一手術方案均允許以擴增實境進行呈現。舉例來說，假設手術方案（或稱為術式）為「子宮肌瘤切除術」，其包含的器官模型為子宮及其周邊器官、操作流程為此術式的執行步驟、手術器具使用時點紀錄此術式需要使用的各種手術器具及其使用時點，以及生理數據紀錄進行此術式需要注意的各項生理數據。

訓練模組120連接手術資料庫110，用以在進行手術前，選擇載入與此手術相應的其中一個手術方案以供訓練，並且將選擇載入的手術方案以擴增實境進行呈現，以及在訓練中致能多個感測器持續感測手術器具的三度空間之自由運動以建立最佳化手術操作。換句話說，所述最佳化手術操作是由外科醫師自己本身在訓練過程中所建立並作為後續的比對基礎，而非傳統基於教科書範本或名師的操作，如此一來，因為建立的最佳化手術操作必定是外科醫師自己力所能及的操作，所以能夠避免經驗不足的外科醫師無法重現他人的手術操作的問題。另外，在實際實施上，還可將訓練中持續感測到的手術器具的三度空間之自由運動作為輸入機器學習模型（Machine Learning Model）的訓練資料，用以訓練對應此手術的機器學習模型。

感測模組130用以在進行手術的過程中，致能感測器持續感測手術器具的三度空間之自由運動以作為當前手術操作。在實際實施上，倘若訓練模組120完成機器學習模型的訓練，可允許將手術的過程中持續感測到的手術器具的三度空間之自由運動輸入此機器學習模型，以便辨識當前手術操作是否與最佳化手術操作相近。

決策支援模組140連接訓練模組120及感測模組130，用以比對最佳化手術操作及當前手術操作，當比對差異超過容許範圍時，輸出差異訊息以提供手術決策支援。舉例來說，最佳化手術操作可包含特定器官的資料及手術器具的移動路徑；當前手術操作則可包含特定器官的資料及當前手術器具的移動路徑，倘若特定器官的資料雷同，例如：子宮的肌瘤類型、位置及大小皆雷同，那麼，在當前手術器具的移動路徑偏離最佳化手術操作的手術器具的移動路徑且超過容許範圍時，會將偏移量作為差異訊息以進行輸出。另外，假設已完成機器學習模型的訓練，並且透過此機器學習模型辨識出當前手術操作與最佳化手術操作是否相近，以便根據此辨識結果動態調整容許範圍，舉例來說，當辨識結果為相近但比對差異卻是超過容許範圍時，可放大容許範圍，當辨識結果為不相近但比對結果在容許範圍內時，則縮小容許範圍，使根據機器學習的判斷結果與根據容許範圍的判斷結果相互一致。

特別要說明的是，在實際實施上，本發明所述的模組皆可利用各種方式來實現，包含軟體、硬體或其任意組合，例如，在某些實施方式中，各模組可利用軟體及硬體或其中之一來實現，除此之外，本發明亦可部分地或完全地基於硬體來實現，例如，系統中的一個或多個模組可以透過積體電路晶片、系統單晶片（System on Chip, SoC）、複雜可程式邏輯裝置（Complex Programmable Logic Device, CPLD）、現場可程式邏輯閘陣列（Field Programmable Gate Array, FPGA）等來實現。本發明可以是系統、方法及／或電腦程式。電腦程式可以包括電腦可讀儲存媒體，其上載有用於使處理器實現本發明的各個方面的電腦可讀程式指令，電腦可讀儲存媒體可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存媒體可以是但不限於電儲存設備、磁儲存設備、光儲存設備、電磁儲存設備、半導體儲存設備或上述的任意合適的組合。電腦可讀儲存媒體的更具體的例子（非窮舉的列表）包括：硬碟、隨機存取記憶體、唯讀記憶體、快閃記憶體、光碟、軟碟以及上述的任意合適的組合。此處所使用的電腦可讀儲存媒體不被解釋爲瞬時信號本身，諸如無線電波或者其它自由傳播的電磁波、通過波導或其它傳輸媒介傳播的電磁波（例如，通過光纖電纜的光信號）、或者通過電線傳輸的電信號。另外，此處所描述的電腦可讀程式指令可以從電腦可讀儲存媒體下載到各個計算／處理設備，或者通過網路，例如：網際網路、區域網路、廣域網路及／或無線網路下載到外部電腦設備或外部儲存設備。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換器、集線器及／或閘道器。每一個計算／處理設備中的網路卡或者網路介面從網路接收電腦可讀程式指令，並轉發此電腦可讀程式指令，以供儲存在各個計算／處理設備中的電腦可讀儲存媒體中。執行本發明操作的電腦程式指令可以是組合語言指令、指令集架構指令、機器指令、機器相關指令、微指令、韌體指令、或者以一種或多種程式語言的任意組合編寫的原始碼或目的碼（Object Code），所述程式語言包括物件導向的程式語言，如：Common Lisp、Python、C++、Objective-C、Smalltalk、Delphi、Java、Swift、C#、Perl、Ruby與PHP等，以及常規的程序式（Procedural）程式語言，如：C語言或類似的程式語言。所述電腦程式指令可以完全地在電腦上執行、部分地在電腦上執行、作爲一個獨立的軟體執行、部分在客戶端電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。

請參閱「第2A圖」至「第2C圖」，「第2A圖」至「第2C圖」為本發明基於擴增實境的手術決策支援方法的方法流程圖，其步驟包括：提供手術方案，所述手術方案包含器官模型、操作流程、手術器具使用時點及生理數據，每一手術方案均允許以擴增實境進行呈現（步驟210）；在進行手術前，選擇載入與手術相應的其中一個手術方案以供訓練，並且將選擇載入的手術方案以擴增實境進行呈現，以及在訓練中致能感測器持續感測手術器具的三度空間之自由運動以建立最佳化手術操作（步驟220）；在進行手術的過程中，致能感測器持續感測手術器具的三度空間之自由運動以作為當前手術操作（步驟230）；以及比對最佳化手術操作及當前手術操作，當比對差異超過容許範圍時，輸出差異訊息以提供手術決策支援（步驟240）。透過上述步驟，即可透過在手術進行前由外科醫師自行建立力所能及的最佳化手術操作，以便在手術過程中透過擴增實境進行演示，同時偵測當前手術操作以與最佳化手術操作相互比對，當比對差異超過容許範圍時，顯示差異訊息以提供手術決策支援。

另外，如「第2B圖」所示意，在步驟240之後，可以將訓練中持續感測到的手術器具的三度空間之自由運動作為輸入機器學習模型的訓練資料以訓練對應此手術的機器學習模型，並且在此機器學習模型訓練完成後，允許將此手術的過程中持續感測到的手術器具的三度空間之自由運動輸入機器學習模型以辨識當前手術操作，並且根據辨識結果動態調整容許範圍（步驟250）。除此之外，也可以如「第2C圖」所示意，在步驟240之後，持續偵測手術操作行為，當手術操作行為異常中止或遲滯時，同步顯示載入的手術方案的器官模型、操作流程、手術器具使用時點及生理數據以進行輔助支援及引導（步驟260）。特別要說明的是，假設是在手術時間經過6分鐘後，偵測到手術操作行為異常中止或遲滯，此時可以同步顯示載入的手術方案在這個時間點（即：6分鐘）之後的操作流程、手術器具使用時點及生理數據等等，不用從頭到尾顯示完整的手術方案，只需要顯示尚未進行的部分手術方案即可。

以下配合「第3A圖」至「第4圖」以實施例的方式進行如下說明，如「第3A圖」及「第3B圖」所示意，「第3A圖」及「第3B圖」為應用本發明在不同時期的手術操作及提供決策支援之示意圖。首先，在進行手術之前，外科醫師可如「第3A圖」所示意，先從手術資料庫中載入與此手術相對應的手術方案，並且將載入的手術方案顯示在顯示介面300的顯示區塊301，同時顯示介面也會顯示與此手術方案相應的器官、組織等影像，以便外科醫師根據此手術方案進行術前訓練。接著，在進行術前訓練時，將透過顯示介面300的圖像感測技術，或是設置在手術台的動作感測器320持續偵測手術器具（312a、312b）的三度空間之自由運動以記錄為手術操作。當外科醫師在擴增實境下經過多次術前訓練後，可以從中選擇最滿意的手術操作以作為最佳化手術操作，例如：可將手術器具312b沿著虛線331的移動視為最佳化手術操作。在實際實施上，手術方案還可包含在不同時點的各種突發狀況的應對方案，如：應急的手術操作。接著，如「第3B圖」所示意，在實際進行手術時，同樣可透過動作感測器320持續偵測手術器具（312a、312b）的三度空間之自由運動以記錄為當前手術操作，例如：將手術器具312b沿著虛線332的移動視為當前手術操作，接著再將其與最佳化手術操作進行比對，假設兩者的差異超過容許範圍時，可以代表自此時點起，手術過程開始不順利，於是可以在顯示區塊302中顯示在此時點不順利時的各種應對方案以供外科醫師決策，使外科醫師即使面對突發狀況也能夠從容應對。舉例來說，假設在手術中期時，偵測到手術器具312b在訓練時與實際進行手術時的移動路徑（如：虛線331與虛線332）之差異超過容許範圍，此時，可以將手術中期可能出現的狀況以及應對方案一併顯示在顯示區塊302，提供外科醫師選擇合適的應對方案，進而以擴增實境的顯示介面300顯示選擇的應對方案之手術操作。

請參閱「第4圖」，「第4圖」為應用本發明設定應對方案之示意圖。在實際實施上，所述應對方案可以透過遠端裝置進行設定，例如：由位於遠端且經驗豐富的外科醫師，在遠端裝置開啟設定視窗400來設定應對方案，舉例來說，以遠端裝置接收訓練時或當前呈現的擴增實境畫面，並且將其顯示在顯示區塊410，當經驗不足的外科醫師在訓練或手術時遭遇突發狀況時，遠端經驗豐富的外科醫師可以在輸入區塊420中鍵入文字，或以手寫筆直接在輸入區塊420書寫及畫圖，甚至還可點選暫停元件421及錄音元件422來控制錄音，以便將文字、圖像及語音作為相應的應對方案，接著，再點選確認元件430將此應對方案傳送至手術資料庫110儲存。如此一來，經驗不足的外科醫師便可在遭遇突發狀況時，搭配顯示器及揚聲器輸出相應此時點的應對方案，使經驗不足的外科醫師即使面對突發狀況也能夠從容應對。

綜上所述，可知本發明與先前技術之間的差異在於透過在手術進行前由外科醫師自行建立力所能及的最佳化手術操作，以便在手術過程中透過擴增實境進行演示，同時偵測當前手術操作以與最佳化手術操作相互比對，當比對差異超過容許範圍時，顯示差異訊息以提供手術決策支援，藉由此一技術手段可以解決先前技術所存在的問題，進而達成提高手術效率與成功率之技術功效。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明，任何熟習相像技藝者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。

110:手術資料庫 120:訓練模組 130:感測模組 140:決策支援模組 300:顯示介面 301,302:顯示區塊 312a,312b:手術器具 320:動作感測器 331,332:虛線 400:設定視窗 410:顯示區塊 420:輸入區塊 421:暫停元件 422:錄音元件 430:確認元件步驟210:提供多個手術方案，所述手術方案包含器官模型、操作流程、手術器具使用時點及生理數據，每一手術方案均允許以擴增實境進行呈現步驟220:在進行一手術前，選擇載入與該手術相應的所述手術方案其中之一以供訓練，並且將選擇載入的該手術方案以擴增實境進行呈現，以及在訓練中致能多個感測器持續感測一手術器具的三度空間之自由運動以建立一最佳化手術操作步驟230:在進行該手術的過程中，致能所述感測器持續感測該手術器具的三度空間之自由運動以作為一當前手術操作步驟240:比對該最佳化手術操作及該當前手術操作，當比對差異超過一容許範圍時，輸出一差異訊息以提供手術決策支援步驟250:將訓練中持續感測到的該手術器具的三度空間之自由運動作為輸入一機器學習模型的訓練資料以訓練對應該手術的該機器學習模型，並且在該機器學習模型訓練完成後，允許將該手術的過程中持續感測到的該手術器具的三度空間之自由運動輸入該機器學習模型以辨識該當前手術操作，並且根據辨識結果動態調整該容許範圍步驟260:持續偵測一手術操作行為，當該手術操作行為異常中止或遲滯時，同步顯示載入的所述手術方案的器官模型、操作流程、手術器具使用時點及生理數據以進行輔助支援及引導

第1圖為本發明基於擴增實境的手術決策支援系統的系統方塊圖。第2A圖至第2C圖為本發明基於擴增實境的手術決策支援方法的方法流程圖。第3A圖及第3B圖為應用本發明在不同時期的手術操作及提供決策支援之示意圖。第4圖為應用本發明設定應對方案之示意圖。

110:手術資料庫 120:訓練模組 130:感測模組 140:決策支援模組

Claims

一種基於擴增實境的手術決策支援系統，該系統包含：一手術資料庫，用以儲存多個手術方案，所述手術方案包含器官模型、操作流程、手術器具使用時點及生理數據，每一手術方案均允許以擴增實境進行呈現；一訓練模組，連接該手術資料庫，用以在進行一手術前，選擇載入與該手術相應的所述手術方案其中之一以供訓練，並且將選擇載入的該手術方案以擴增實境進行呈現，以及在訓練中致能多個感測器持續感測一手術器具的三度空間之自由運動以建立一最佳化手術操作；一感測模組，用以在進行該手術的過程中，致能所述感測器持續感測該手術器具的三度空間之自由運動以作為一當前手術操作；以及一決策支援模組，連接該訓練模組及該感測模組，用以比對該最佳化手術操作及該當前手術操作，當比對差異超過一容許範圍時，輸出一差異訊息以提供手術決策支援。
如請求項1之基於擴增實境的手術決策支援系統，其中該最佳化手術操作及該當前手術操作皆包含該手術器具在不同時點中的一操作步驟順序及一移動路徑範圍，當該決策支援模組偵測到該最佳化手術操作及該當前手術操作在相同時點中，該操作步驟順序及該移動路徑範圍至少其中之一的差異超過該容許範圍時，將差異以顯著方式標記並嵌入該差異訊息。
如請求項1之基於擴增實境的手術決策支援系統，其中所述手術方案更包含在不同時點的至少一應對方案，當該決策支援模組輸出該差異訊息時，同時自該手術資料庫載入相應時點的所述應對方案以進行輸出，所述應對方案允許由一遠端裝置建立，並且包含文字、語音及圖像，用以搭配顯示器及揚聲器進行輸出。
如請求項1之基於擴增實境的手術決策支援系統，其中該決策支援模組更包含持續偵測一手術操作行為，當該手術操作行為異常中止或遲滯時，同步顯示載入的所述手術方案的器官模型、操作流程、手術器具使用時點及生理數據以進行輔助支援及引導。
一種基於擴增實境的手術決策支援方法，其步驟包括：提供多個手術方案，所述手術方案包含器官模型、操作流程、手術器具使用時點及生理數據，每一手術方案均允許以擴增實境進行呈現；在進行一手術前，選擇載入與該手術相應的所述手術方案其中之一以供訓練，並且將選擇載入的該手術方案以擴增實境進行呈現，以及在訓練中致能多個感測器持續感測一手術器具的三度空間之自由運動以建立一最佳化手術操作；在進行該手術的過程中，致能所述感測器持續感測該手術器具的三度空間之自由運動以作為一當前手術操作；以及比對該最佳化手術操作及該當前手術操作，當比對差異超過一容許範圍時，輸出一差異訊息以提供手術決策支援。
如請求項5之基於擴增實境的手術決策支援方法，其中該最佳化手術操作及該當前手術操作皆包含該手術器具在不同時點中的一操作步驟順序及一移動路徑範圍，當偵測到該最佳化手術操作及該當前手術操作在相同時點中，該操作步驟順序及該移動路徑範圍至少其中之一的差異超過該容許範圍時，將以顯著方式標記差異並嵌入該差異訊息。
如請求項5之基於擴增實境的手術決策支援方法，其中所述手術方案更包含在不同時點的至少一應對方案，當輸出該差異訊息時，同時載入相應時點的所述應對方案以進行輸出，所述應對方案允許由一遠端裝置建立，並且包含文字、語音及圖像，用以搭配顯示器及揚聲器進行輸出。
如請求項5之基於擴增實境的手術決策支援方法，其中該方法更包含持續偵測一手術操作行為，當該手術操作行為異常中止或遲滯時，同步顯示載入的所述手術方案的器官模型、操作流程、手術器具使用時點及生理數據以進行輔助支援及引導的步驟。