TWI636768B - Surgical assist system - Google Patents

Abstract

一種外科手術輔助系統，供醫師對患部進行手術時使用。一手術導航裝置連續產生一相關於一探針及該患部的模擬三維影像訊號且傳送至該主機。一電子裝置產生一第一指示訊息且顯示於一觸控顯示面板，且接受該電子裝置被操作而產生的一對應於該第一指示訊息的第一回饋訊號，將該第一回饋訊號傳送至該主機。該主機根據該模擬三維影像訊號及該第一回饋訊號產生一第一輸出訊息。一頭戴式顯示裝置持續接該第一輸出訊息，且控制一鏡片顯示該第一輸出訊息。

Description

外科手術輔助系統

本發明是有關於一種手術輔助系統，特別是指一種用於清醒開顱手術的外科手術輔助系統。

現行對病人進行的一種清醒開顱手術的過程中，復健科醫師以口頭或紙本指示的方式要求清醒的病人去執行一些認知、語言、計數、運動等任務，神經外科醫師同時於腫瘤附近貼覆電極陣列以量測得到大腦皮質電位時序(ECoG)的訊號圖，或利用電極探針去刺激病人腦部腫瘤周邊的區域，以確認鄰近區域的主要功能。譬如當探針所刺激的大腦皮質區域其功能為運動區時，則病人的運動任務會受到干擾，神經外科醫師即藉此判斷探針所刺激的大腦皮質區域是否為目標區域。

此外，習知的定位手術導航系統係結合磁振造影技術之虛擬實境(Virtual Reality)成像，即可針對大腦腫瘤與周遭組織進行三維定位。但手術過程中，神經外科醫師還須不斷抬頭檢視導航系統的顯示介面，有礙手術之進行。

因此，本發明之其中一目的，即在提供一種外科手術輔助系統，能解決前述之問題。

於是，本發明一種外科手術輔助系統，用以供一醫師對一病患之患部進行手術時使用，該外科手術輔助系統包含一腦波儀、一手術導航裝置、一主機、一電子裝置及一頭戴式顯示裝置。該手術導航裝置包括一探針，該手術導航裝置連續產生一相關於該探針及該患部的模擬三維影像訊號。該電子裝置具有一觸控顯示面板及一處理器，該處理器產生一第一指示訊息並使該第一指示訊息顯示於該觸控顯示面板，且接受該電子裝置被操作而產生的一對應於該第一指示訊息的第一回饋訊號。該主機電耦接於該手術導航裝置及該電子裝置以持續接收該模擬三維影像訊號及該第一回饋訊號，且根據該模擬三維影像訊號及該第一回饋訊號產生一第一輸出訊息。該頭戴式顯示裝置與該主機電耦接以持續接收來自該主機的該第一輸出訊息，並包括一鏡片及一電連接該鏡片且控制該鏡片顯示該第一輸出訊息的處理模組。

在一些實施態樣中，該外科手術輔助系統還包括一電耦接於該主機的腦波儀，該腦波儀連續產生一相關於該患部附近的電位的電位訊號，並將該電位訊號傳送至該主機；該主機還根據該電位訊號產生該第一輸出訊息。

在一些實施態樣中，當該主機根據該電位訊號確認該 患部位置時產生一啟動訊號並傳送至該電子裝置；該電子裝置的處理器接收該啟動訊號後產生該第一指示訊息。

在一些實施態樣中，該主機還包括一輸入單元，供操作以產生一第二指示訊號，且將該第二指示訊號傳送至該電子裝置；該電子裝置還接收該第二指示訊號，且該處理器根據該第二指示訊號產生一第二指示訊息並顯示於該觸控顯示面板，且接受該電子裝置被操作而產生的一對應於該第二指示訊息的第二回饋訊號，且將該第二回饋訊號傳送至該主機；該主機還根據該第二回饋訊號產生一第二輸出訊息，且將該第二輸出訊息傳送至該頭戴式顯示裝置；該頭戴式顯示裝置接收來自該主機的該第二輸出訊息，且該處理模組控制該鏡片顯示該第二輸出訊息。

在一些實施態樣中，該外科手術輔助系統還包括一影像擷取裝置，其連續擷取該病患表情的影像且產生一相關於該病患表情的影像的第三回饋訊號，且將該第三回饋訊號傳送至該主機；該主機還根據該第三回饋訊號產生一第三輸出訊息且將該訊息傳送至該頭戴式顯示裝置；該頭戴式顯示裝置還接收該第三輸出訊息且該處理模組控制該鏡片顯示該第三輸出訊息。

在一些實施態樣中，該頭戴式顯示裝置還包括一與該處理模組電連接的影像擷取單元，該處理模組控制該影像擷取單元連續擷取包含該患部周圍及其鄰近區域之影像而產生一影像訊 號，且該頭戴式顯示裝置將該影像訊號傳送至該主機，以儲存於該主機的一儲存單元中。

在一些實施態樣中，該電子裝置還包括一收音單元以接收病患發出的聲音，該電子裝置並產生一相關於病患發出的聲音的第四回饋訊號且將該第四回饋訊號傳送至該主機，以儲存於該主機的該儲存單元。

在一些實施態樣中，該頭戴式顯示裝置還包括一與該處理器電連接的錄音單元，該處理器控制該錄音單元連續記錄手術現場之聲音而產生一聲音訊號，且該頭戴式顯示裝置並將該聲音訊號傳送至該主機，以儲存於的該主機的該儲存單元中。

在一些實施態樣中，該主機的該儲存單元還用以儲存該模擬三維影像訊號、該電位訊號、該第一指示訊息、該第二指示訊息、該第一回饋訊號、該第二回饋訊號、該第三回饋訊號、該第一輸出訊息、該第二輸出訊息及該第三輸出訊息。

在一些實施態樣中，該主機係利用無線通訊技術與該頭戴式顯示裝置進行通訊。

本發明至少具有以下功效：利用該鏡片顯示該第一輸出訊息，該醫師即可透過眼前的鏡片看見病患的相關資訊，包括相關於該探針及該患部的模擬三維影像訊號的資訊，及相關於該患部的電位的資訊等等。藉此，醫師在手術過程中不需再抬頭觀看其他 顯示介面，俾使手術過程更為流暢。此外，該病患根據該第一指示訊息即可操作該電子裝置的該顯示面板，不需要復健科醫師從旁給予指示，而能節省手術過程之人力配置。

100‧‧‧外科手術輔助系統

1‧‧‧手術導航裝置

11‧‧‧探針

12‧‧‧通訊單元

13‧‧‧控制單元

2‧‧‧主機

21‧‧‧網路單元

22‧‧‧儲存單元

23‧‧‧使用者輸入單元

24‧‧‧處理單元

3‧‧‧電子裝置

31‧‧‧觸控顯示面板

32‧‧‧通訊器

33‧‧‧收音單元

34‧‧‧控制器

4‧‧‧影像擷取裝置

5‧‧‧頭戴式顯示裝置

51‧‧‧通訊模組

52‧‧‧鏡片

53‧‧‧影像擷取單元

54‧‧‧錄音單元

55‧‧‧處理模組

61‧‧‧第一通訊網路

62‧‧‧第二通訊網路

101‧‧‧模擬三維影像

102‧‧‧訊號圖

103‧‧‧資訊

201‧‧‧資訊

301‧‧‧影像

本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是一方塊圖，說明本發明外科手術輔助系統的一實施例；及圖2是一示意圖，說明該實施例的頭戴式顯示裝置的一鏡片。

參閱圖1，是本發明外科手術輔助系統100之一實施例，其用以供一醫師對一病患之患部進行手術時使用，該外科手術輔助系統100包含一手術導航裝置1、一主機2、一電子裝置3、一影像擷取裝置4、一頭戴式顯示裝置5及一腦波儀6。在本實施例中，外科手術輔助系統100是例如應用於腦神經外科手術，該醫師例如為一神經外科醫師，該病患之患部是例如腦上的腫瘤。

該手術導航裝置1包括一探針11、一通訊單元12及一控制單元13。該手術導航裝置1與該主機2電耦接以進行資料傳輸，例如利用該通訊單元12透過第一通訊網路61與該主機2進行無線通訊，或是電連接該主機2。該控制單元14連續產生一相關於該探針11及該患部的模擬三維影像訊號。該控制單元14並且控制該通 訊單元12將該模擬三維影像訊號傳送至該主機2。在本實施例中，手術導航裝置1的探針11(圖未示)是例如具有反光球，可配合手術導航裝置1的紅外線攝影機(圖未示)進行三維定位，其細節屬習知技術，在此不再細述。在本實施例中，該模擬三維影像包含可識別該探針11之角度及其與該患部之間的相對位置的立體影像資料例如虛擬實境(Virtual Reality)影像或擴增實境(Augmented Reality)影像，但不以此為限。

在本實施例中，當醫師利用探針11用以去刺激患部周圍的區域，同時利用該腦波儀6例如量測該患部周圍而產生一相關於該患部附近的電位的電位訊號，並將該電位訊號傳送至該主機2。在本實施例中，是例如利用在患部附近貼覆電極陣列以量測得到大腦於患部周圍(譬如腫瘤的外側)的皮質電位，而該電位訊號為腦皮質電位時序(ECoG)的訊號，但不以此為限。

在本實施例中，該手術導航裝置1係利用例如TCP/IP通訊協定將該模擬三維影像訊號、該電位訊號及該啟動訊號傳送至該主機2，但不以此為限。

在本實施例中，該主機2包括一網路單元21、一儲存單元22、一使用者輸入單元23及一電連接該網路單元21、該儲存單元22、該使用者輸入單元23的處理單元24。該主機2透過該網路單元21經由第一通訊網路61與該手術導航裝置1電耦接，以持續接收 該模擬三維影像訊號及該電位訊號。

該電子裝置3具有一觸控顯示面板31、一通訊器32、一收音單元33及一電連接該觸控顯示面板31、該通訊器32及該收音單元33的處理器34。在本實施例中，該電子裝置3例如為一平板電腦(圖未示)，但不以此為限。該電子裝置3與該主機2電耦接，例如利用該通訊器32經由第一通訊網路61與該主機2進行無線通訊，或與該主機電連接，以接收該啟動訊號，該處理器34根據該啟動訊號產生一第一指示訊息並使該第一指示訊息顯示於該觸控顯示面板31，且接受該電子裝置3被操作(譬如病患觸碰該觸控顯示面板31或是對該收音單元33說出數字或特定名稱等操作)而產生的該對應於該第一指示訊息的第一回饋訊號，接著，該處理器34控制該通訊器32將該第一回饋訊號傳送至該主機2。

因此，該主機2的網路單元21接收來自該電子裝置3的該第一回饋訊號，然後，該主機2的處理單元24根據該模擬三維影像訊號、該電位訊號及該第一回饋訊號產生一第一輸出訊息，且控制該網路單元21將該第一輸出訊息經由第二通訊網路62傳送至該頭戴式顯示裝置5。

在本實施例中，該第一指示訊息包含指引病患觸控該觸控面板的訊息，譬如指引病患觸碰該觸控顯示面板31的特定位置如右上角，或連續點擊等任務，但不以此為限。在本實施例中，該 第一指示訊息可以是例如一投影片，但不以此為限。在本實施例中，當該主機2根據該電位訊號確認該患部位置時產生一啟動訊號並傳送至該電子裝置3，該電子裝置3的處理器34接收到該啟動訊號後產生該第一指示訊息。藉此，就能使該第一指示訊息於確認該患部位置後產生，以使病患在特定時間(譬如大腦開顱手術進行至喚醒病患後)開始操作該電子裝置3的觸控顯示面板31，但不以此為限。在其他的實施態樣中，第一指示訊息可以在任何時刻產生，換句話說，病患可以在任何時刻操控該電子裝置3，進行所述任務。

在本實施例中，該使用者輸入單元23供例如一復健科醫師操作以產生一第二指示訊號。接著，該主機2的處理單元24控制該網路單元21將該第二指示訊號傳送至該電子裝置3。因此，該電子裝置3的通訊器32還接收該第二指示訊號，且該處理器34根據該第二指示訊號產生一第二指示訊息並顯示於該觸控顯示面板31，且接受該電子裝置3被病患操作(操作譬如觸碰該觸控顯示面板31或是對該收音單元33說出數字或特定名稱等動作)而產生的一對應於該第二指示訊息的第二回饋訊號，且將該第二回饋訊號傳送至該主機2。然後，該主機2收到來自該電子裝置3的第二回饋訊號後，該主機2的網路單元23還根據該第二回饋訊號產生一第二輸出訊息，且將該第二輸出訊息傳送至該頭戴式顯示裝置5。

在本實施例中，該主機2的使用者輸入單元23為一供復 健科醫師輸入指令用的鍵盤(圖未示)，但不以此為限。且該第二指示訊號之內容相應於該復健科醫師對病患下的指令，譬如要求該病患重複按壓該觸控顯示面板31的一特定區域，但不以此為限。在本實施例中，該第二指示訊息可以是例如一投影片，但不以此為限。病患根據該觸控顯示面板31所顯示的該第二指示訊息而觸控該觸控顯示面板31。該第二回饋訊號相應於該病患根據該第二指示訊息觸碰該觸控顯示面板31而產生的資訊，但不以此為限。

在本實施例中，該影像擷取裝置4與該主機2電耦接，且連續擷取該病患表情的影像且產生該相關於該病患表情及四肢動作的影像的一第三回饋訊號，且將該第三回饋訊號傳送至該主機2。在本實施例中，該影像擷取裝置4為一攝影機，但不以此為限。因此，該主機2的網路單元21還持續接收來自該影像擷取裝置4的第三回饋訊號，該主機2的處理單元24還根據該第三回饋訊號產生一第三輸出訊息，且控制該網路單元21將該第三輸出訊息傳送至該頭戴式顯示裝置5。

在本實施例中，該主機2的網路單元21是利用例如TCP/IP通訊協定技術將該第一輸出訊息、該第二輸出訊息及該第三輸出訊息傳送至該頭戴式顯示裝置5，但不以此為限。且該主機2的該儲存單元22還儲存該模擬三維影像訊號、該電位訊號、該第一指示訊息、該第二指示訊息、該第一回饋訊號、該第二回饋訊號、 該第三回饋訊號、該第一輸出訊息、該第二輸出訊息及該第三輸出訊息，但不以此為限。

在本實施例中，該電子裝置3的收音單元33用以接收病患發出的聲音，該電子裝置3的處理器34並產生該相關於病患發出的聲音的第四回饋訊號且將該第四回饋訊號傳送至該主機2，以儲存於該主機2的一儲存單元22，以供譬如術後教學使用。

在本實施例中，該頭戴式顯示裝置5供該腦神經外科醫師穿戴，在本實施例中，該頭戴式顯示裝置5為一智慧型眼鏡(圖未示)，但不以此為限。該頭戴式顯示裝置5包括一通訊模組51、一鏡片52、一影像擷取單元53、一錄音單元54及一電連接該通訊模組51、該鏡片52、該影像擷取單元53及該錄音單元54的處理模組55。該頭戴式顯示裝置5利用該通訊模組51經由第二通訊網路62與該主機2電耦接，以持續接收來自該主機2的該第一輸出訊息、該第二輸出訊息及該第三輸出訊息。接著，該頭戴式顯示裝置5的處理模組55控制該鏡片52顯示該第一輸出訊息、該第二輸出訊息及該第三輸出訊息以供該腦神經外科醫師觀看，藉此得知有關病患的資訊，而不須抬頭觀看其他顯示介面，以使手術流程更為順暢。

在本實施中，該主機2係利用例如無線通訊技術與該頭戴式顯示裝置5進行通訊，但不以此為限。

請參閱圖2，在本實施例中，鏡片52顯示的畫面中，該 第一輸出訊息包含該患部及其周圍的模擬三維影像101、大腦皮質電位時序(ECoG)的訊號圖102及該病患回應該第一指示訊息而觸控該電子裝置3的觸控顯示面板31因而產生的資訊103，但不以此為限。該第二輸出訊息包括該病患回應該第二指示訊息而觸控該觸控顯示面板31因而產生的資訊201。該第三輸出訊息包括一顯示病患的表情的影像301。在該鏡片中52所呈現的該第一輸出訊息、該第二輸出訊息及該第三輸出訊息的大小及位置關係是如圖2配置，但不以此為限。在其他的實施態樣中，該鏡片52顯示的影像可以是該患部及其周圍的模擬三維影像101、大腦皮質電位時序(ECoG)的訊號圖102及該病患回應該第一指示訊息而觸控該電子裝置3的觸控顯示面板31因而產生的資訊103及中一者，並由醫師切換，舉例而言，醫師可以透過操作該主機2而切換影像，或利用手勢或聲音控制切換影像。在其他的實施態樣中，也可以由手術室內的其他人員譬如護士或復健科醫師來協助切換。

在本實施例中，該主機2的處理單元24可以根據第一回饋訊號或第二回饋訊號計算出病患操作該電子裝置3的觸控顯示面板31的反應時間，且判斷病患實際的操作是否與第一指示訊息或第二指示訊息之內容相同，並計算出正確率，且判斷是否有正確率過低。再者，該處理單元24能根據該第三回饋訊號取得由影像擷取裝置4連續擷取的病患之連續表情及病患之四肢的連續動作，並利用 以影像辨識方法來判斷病患臉部表情或四肢動作是否異常。此外，該處理單元24也能根據該第四回饋訊號取得收音單元33所錄製的病患聲音判斷出其頻率是否改變或回應是否延遲等異常現象。處理單元24判斷所述正確率過低及病患的臉部表情、四肢動作或聲音其中一者有異常時，該處理單元24判斷大腦皮質電位時序(ECoG)是否有異常，若結果為是，則可迅速由主機2傳輸一第五訊息至頭戴式顯示裝置5，且該處理模組5控制該鏡片52顯示該第五訊息，藉此，神經外科醫師能得知其電極刺激位置或手術動作位置與病患之反應的關係。在本實施例中，第五訊息可以為提示目前醫師利用電極刺激或正在切除的所在區域為語言皮質區或運動皮質區，但不以此為限。

在本實施例中，該頭戴式顯示裝置5的處理模組55能在手術過程中控制該影像擷取單元53連續擷取包含該患部周圍及其鄰近區域之影像而產生一影像訊號，譬如，該探針11及該患部及周圍組織的影像。且該處理模組55控制該通訊模組51將該影像訊號傳送至該主機2，以儲存於該主機2的儲存單元22中，以供譬如術後教學使用。

在本實施例中，該頭戴式顯示裝置5的處理模組55還能在手術過程中控制該錄音單元54連續記錄手術現場之聲音而產生一聲音訊號，且該處理模組55控制該通訊模組51將該聲音訊號傳 送至該主機2，以儲存於的該主機2的該儲存單元22中，以供譬如術後教學使用。

綜上所述，本發明外科手術輔助系統，利用頭戴式顯示裝置5的該鏡片52顯示該第一輸出訊息，該醫師即可透過眼前的鏡片看見病患的相關資訊，包括該患部及其周圍的模擬三維影像101、大腦皮質電位時序(ECoG)的訊號圖102、該病患回應該第一指示訊息而觸控該觸控顯示面板31而產生的資訊103、該病患回應該第二指示訊息而觸控該觸控顯示面板31而產生的資訊201及病患的表情的影像301，藉此，醫師在手術過程中不需再抬頭觀看其他顯示介面，俾使手術過程更為流暢。此外，該病患根據該第一指示訊息即可操作該電子裝置3的該觸控顯示面板31，復健科醫師不需要在手術全程從旁給予指示，只要在必要時出現且操作該主機2的使用者輸入單元23以產生該第二指示訊息，而能節省手術過程之人力配置。故確實能達成本發明之目的。

惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

Claims (10)

1. 一種外科手術輔助系統，用以供一醫師對一病患之患部進行手術時使用，該外科手術輔助系統包含：一手術導航裝置，包括一探針，該手術導航裝置連續產生一相關於該探針及該患部的模擬三維影像訊號；一電子裝置，供該病患操作，並具有一觸控顯示面板及一處理器，且該電子裝置電耦接於該主機，該處理器產生一相關於指引該病患觸控該觸控面板的第一指示訊息並使該第一指示訊息顯示於該觸控顯示面板，且接受該電子裝置被該病患操作而產生的一對應於該第一指示訊息的第一回饋訊號；一主機，電耦接於該手術導航裝置及該電子裝置以持續接收該模擬三維影像訊號及該第一回饋訊號，且根據該模擬三維影像訊號及該第一回饋訊號產生一第一輸出訊息；及一頭戴式顯示裝置，供該醫師配戴，且與該主機電耦接以持續接收來自該主機的該第一輸出訊息，並包括一鏡片及一電連接該鏡片且控制該鏡片顯示該第一輸出訊息的處理模組。
2. 如請求項1所述的外科手術輔助系統，還包括一電耦接於該主機的腦波儀，該腦波儀連續產生一相關於該患部附近的電位的電位訊號，並將該電位訊號傳送至該主機；該主機還根據該電位訊號產生該第一輸出訊息。
3. 如請求項2所述的外科手術輔助系統，其中，當該主機根 據該電位訊號確認該患部位置時產生一啟動訊號並傳送至該電子裝置；該電子裝置的處理器接收該啟動訊號後產生該第一指示訊息。
4. 如請求項3所述的外科手術輔助系統，其中，該主機還包括一輸入單元，供操作以產生一第二指示訊號，且將該第二指示訊號傳送至該電子裝置；該電子裝置還接收該第二指示訊號，且該處理器根據該第二指示訊號產生一第二指示訊息並顯示於該觸控顯示面板，且接受該電子裝置被操作而產生的一對應於該第二指示訊息的第二回饋訊號，且將該第二回饋訊號傳送至該主機；該主機還根據該第二回饋訊號產生一第二輸出訊息，且將該第二輸出訊息傳送至該頭戴式顯示裝置；該頭戴式顯示裝置接收來自該主機的該第二輸出訊息，且該處理模組控制該鏡片顯示該第二輸出訊息。
5. 如請求項4所述的外科手術輔助系統，還包括一影像擷取裝置，其連續擷取該病患表情的影像且產生一相關於該病患表情的影像的第三回饋訊號，且將該第三回饋訊號傳送至該主機；該主機還根據該第三回饋訊號產生一第三輸出訊息且將該訊息傳送至該頭戴式顯示裝置；該頭戴式顯示裝置還接收該第三輸出訊息且該處理模組控制該鏡片顯示該第三輸出訊息。
6. 如請求項1至5任一項所述的外科手術輔助系統，其中，該頭戴式顯示裝置還包括一與該處理模組電連接的影像擷取單元，該處理模組控制該影像擷取單元連續擷取包含該 患部周圍及其鄰近區域之影像而產生一影像訊號，且該頭戴式顯示裝置將該影像訊號傳送至該主機，以儲存於該主機的一儲存單元中。
7. 如請求項6所述的外科手術輔助系統，其中，該頭戴式顯示裝置還包括一與該處理模組電連接的錄音單元，該處理模組控制該錄音單元連續記錄手術現場之聲音而產生一聲音訊號，且該頭戴式顯示裝置並將該聲音訊號傳送至該主機，以儲存於的該主機的該儲存單元中。
8. 如請求項7所述的外科手術輔助系統，其中，該電子裝置還包括一收音單元以接收病患發出的聲音，該電子裝置並產生一相關於病患發出的聲音的第四回饋訊號且將該第四回饋訊號傳送至該主機，以儲存於該主機的該儲存單元。
9. 如請求項8所述的外科手術輔助系統，其中，該主機的該儲存單元還用以儲存該模擬三維影像訊號、該電位訊號、該第一指示訊息、該第二指示訊息、該第一回饋訊號、該第二回饋訊號、該第三回饋訊號、該第一輸出訊息、該第二輸出訊息及該第三輸出訊息。
10. 如請求項9所述的外科手術輔助系統，其中，該主機係利用無線通訊技術與該頭戴式顯示裝置進行通訊。