TWI679960B

TWI679960B - 手術器械引導系統

Info

Publication number: TWI679960B
Application number: TW107103692A
Authority: TW
Inventors: 王民良
Original assignee: 台灣骨王生技股份有限公司
Priority date: 2018-02-01
Filing date: 2018-02-01
Publication date: 2019-12-21
Also published as: TW201934073A

Abstract

本發明手術器械引導系統，醫師通過一智能眼鏡可以即時的得到患者手術部位的真實視野、與患者手術部位配準重合的三維醫學圖像、以及手術器械與患者手術部位的實時位置關係；該引導系統提供入口指引介面、角度指引介面、以及深度指引介面，輔助執刀醫師可以具體的知悉手術器械與患者手術部位的位置關係是否符合術前規劃，具體的增加手術器械對患者手術部位的位置、角度和深度的準確性。

Description

手術器械引導系統

本發明屬於醫療技術領域，更詳而言之，是在手術中使用的一套手術器械引導系統，用以解決前述手術器械與患者手術部位的位置關係的問題。

在醫療手術過程中，醫師為了確認手術部位及下刀位置，必需藉由X光、電腦斷層或磁振造影等影像的協助，而這些影像呈現在手術室的抬頭顯示屏幕上，因此外科醫師進行手術時需要低頭觀看手術部位又要頻頻抬頭或轉頭觀看顯示屏幕，以至於難以快速又精準的確定手術部位及下刀位置。

以探針穿過人體皮膚和肌肉進入人體中對病灶做組織採樣時，由於病灶沒有曝露出來，且病灶並非位於可實施內視鏡手術的部位，醫師難以確定探針穿刺位置是否對準病灶，且若同一病灶需進行不同位置或深度的採樣時，探針位置更難以被精準確立。

傳統骨科手術，骨科醫師通常憑藉骨骼解剖學、患者術前的醫學影像資料和術中患者的X線透視圖像進行手術器械或植入物...的定位，然而即便骨科醫師的手術經驗非常豐富，仍然會發生定位精準度大偏差的問題。

本發明的目的是提供一種在手術中使用的一套手術器械引導系統，用以解決前述手術器械與患者手術部位的位置關係的問題。

本發明一種手術器械引導系統，包括：術前計劃系統，導入一患者手術部位的三維醫學圖像，通過該三維醫學圖像定義手術器械的入口點、終點、以及通過該入口點及該終點的手術器械基準角度；攝像系統，建置於一智能眼鏡，用以拍攝患者手術部位及手術器械運動軌跡的實時動態影像；影像重合系統，導入該術前計劃系統的三維醫學圖像，將該三維醫學圖像顯示於該智能眼鏡的顯示屏幕，且該三維醫學圖像與醫師觀看該患者手術部位的真實視野配準重合；手術器械即時追蹤系統，通過該攝像系統所獲取的手術器械運動軌跡影像，即時計算該手術器械的尾端與該術前計劃系統的該入口點的位置差，該位置差通過一入口指引介面顯示，當該手術器械的尾端與該入口點對準重合時，該入口指引介面顯示一入口瞄準信息；當該手術器械的尾端偏離該入口點時，該入口指引介面顯示一入口偏離信息；該手術器械即時追蹤系統亦即時計算該手術器械的尾端至頂端的角度與該術前計劃系統的基準角度的角度差，該角度差通過一角度指引介面顯示，當該手術器械的角度與該基準角度對準重合時，該角度指引介面顯示一角度對準信息；當該手術器械的角度偏離與該基準角度時，該角度指引介面顯示一角度偏離信息；該手術器械即時追蹤系統亦即時計算該手術器械的尾端與該術前計劃系統的該終點的距離差，該距離差通過一深度指引介面顯示，當該手術器械的尾端觸及該終點時，該深度指引介面顯示一觸及信息；該手術器械的尾端相對該終點有距離差時，該深度指引介面顯示一未觸及信息；所述入口指引介面、角度指引介面、以及深度指引介面顯示於該智能眼鏡的顯示屏幕。或者，通過混合實境(Mixed Reality，簡稱MR)技術，該入口指引介面、角度指引介面、以及深度指引介面被實時呈現於通過該智能眼鏡所觀看的一現實場景中。

本發明之功效：醫師通過該智能眼鏡可以即時的得到患者手術部位的真實視野、與患者手術部位配準重合的三維醫學圖像、以及手術器械與患者手術部位的實時位置關係，在該入口指引介面、角度指引介面、以及深度指引介面的輔助之下，醫師可以具體且即時的知悉手術器械與患者手術部位的位置關係是否符合術前規劃，具體的增加手術器械對患者手術部位的準確性。

1‧‧‧手術器械

10‧‧‧二維醫學圖像

20‧‧‧入口指引介面

30‧‧‧角度指引介面

40‧‧‧深度指引介面

P1‧‧‧手術器械的頂端

P2‧‧‧手術器械的尾端

θ 1‧‧‧手術器械的角度

K1‧‧‧入口點

K3‧‧‧終點

θ‧‧‧基準角度

第一圖為本發明以二維醫學圖像定義手術器械的入口點、終點、和基準角度的示意圖。

第二圖為本發明入口指引介面之示意圖。

第三圖為本發明角度指引介面之示意圖。

第四圖為本發明深度指引介面之示意圖。

為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，並不用於限定本發明。

本發明手術器械的引導系統，包括：術前計劃系統、攝像系統、智能眼鏡、影像重合系統、手術器械即時追蹤系統。

術前計劃系統，供醫師建置術前計劃資料，所述術前計劃資料包括患者手術部位的二維醫學圖像及三維醫學圖像。如第一圖，通過該二維醫學圖像10及/或該三維醫學圖像定義手術器械1的入口點K1、終點K3、和通過入口點K1及終點K3的手術器械基準角度θ。

攝像系統，用以拍攝患者手術部位及手術器械運動軌跡的實時動態影像。該攝像系統建置在由醫師所配戴的智能眼鏡上。所述攝像系統採用一個或多個相同或不同功能的相機，相機包含但不限於IR camera，Color camera，Depth camera，CCD camera。例如採用兩個相機，其中一個是CCD camera，另一個是IR Camera。

影像重合系統，導入該術前計劃系統的三維醫學圖像，將該三維醫學圖像顯示於該智能眼鏡的顯示屏幕。該影像重合系統按照醫師的眼睛的焦距和視角調整該顯示屏幕上的三維醫學圖像的角度，並使該三維醫學圖像與醫師觀看該患者手術部位的真實視野配準重合。在本發明實施例中，採用一種增強影像真實度的方法(中華民國發明專利申請案號第105134457號)，獲得醫師的眼睛對該患者手術部位的標記點的正確位置，以調整該三維醫學圖像的與該標記點的誤差。

手術器械即時追蹤系統，通過該攝像系統所獲取的手術器械運動軌跡影像，即時計算該手術器械的尾端P2(如第一圖)與該術前計劃系統的該入口點K1的位置差，該位置差通過一入口指引介面20(如第二圖)顯示，當P2與K1對準重合時，該入口指引介面20顯示一入口瞄準信息(例如該入口指引介面20呈現綠色)。當P2偏離K1時，該入口指引介面20顯示一入口偏離信息(例如該入口指引介面20呈現紅色)。顏色的改變是表現瞄準或偏離信息的手段之一，但不限於此，在本發明實施例中，K1為實線空心圓圈，P2為虛線空心圓圈，代表P2的圓圈因手術器械的移動而實時位移(位移標)，代表K1的圓圈則固定不動(固定標)，偏離信息為P2及K1的圓圈(位移標與固定標)不重合，瞄準信息為P2及K1的圓圈(位移標與固定標)重合且表現實心填滿。

該手術器械即時追蹤系統亦即時計算該手術器械的尾端P2至頂端P1(如第一圖)的角度θ1與該術前計劃系統的基準角度θ的角度差，該角度差通過一角度指引介面30(如第三圖)顯示，當θ1與θ對準重合時，該角度指引介面30顯示一角度對準信息(例如該角度指引介面30呈現綠色)。當θ1偏離θ時，該角度指引介面30顯示一角度偏離信息(例如該角度指引介面30呈現紅色)。顏色的改變是表現瞄準或偏離信息的手段之一，但不限於此，在本發明實施例中，θ為實線空心圓圈，θ1為虛線空心圓圈，代表θ1的圓圈因手術器械的移動而實時位移(位移標)，代表θ的圓圈則固定不動(固定標)，偏離信息為θ1及θ的圓圈(位移標與固定標)不重合，對準信息為θ1及θ的圓圈(位移標與固定標)重合且表現實心填滿。

該手術器械即時追蹤系統亦即時計算該手術器械的尾端P2與該術前計劃系統的終點K3的距離差，該距離差通過一深度指引介面40(如第四圖)顯示，當P2與K3對準重合時，該深度指引介面40顯示一觸及信息(例如該深度指引介面40呈現綠色)；當P2與K3有距離差時，該深度指引介面40顯示一未觸及信息(例如該深度指引介面40呈現紅色)。顏色的改變是表現觸及或未觸及信息的手段之一，但不限於此，在本發明實施例中，K3為實線空心圓圈，P2為虛線空心圓圈，代表P2的圓圈因手術器械的移動而實時位移(位移標)，代表K3的圓圈則固定不動(固定標)，未觸及信息為P2及K3的圓圈(位移標與固定標)不重合，觸及信息為P2及K3的圓圈(位移標與固定標)重合且表現實心填滿。

所述入口指引介面20、角度指引介面30、以及深度指引介面40顯示於該智能眼鏡的顯示屏幕，該等介面與同顯示於該顯示屏幕的三維醫學圖像不重合。該手術器械即時追蹤系統於手術過程中持續的監控該手術器械的位置、角度和深度。入口、角度和深度指引是要依序被滿足的，首先，當入口瞄準信息出現並持續被保持時，角度指引介面30才開始起動，當入口瞄準信息和角度對準信息都出現並持續被保持時，該深度指引介面40才開始起動，直到觸及信息出現，表示手術器械按照術前計劃系統所規劃的入口點和角度進入患者手術部位並且觸及預定的該終點。

醫師通過該智能眼鏡可以即時的得到患者手術部位的真實視野、與患者手術部位配準重合的三維醫學圖像、以及手術器械與患者手術部位的實時位置關係，在該入口指引介面20、角度指引介面30、以及深度指引介面40的輔助之下，醫師可以具體且即時的知悉手術器械與患者手術部位的位置關係是否符合術前規劃，具體的增加手術器械對患者手術部位的準確性。

此外，通過混合實境(Mixed Reality，簡稱MR)技術，該入口指引介面、角度指引介面、以及深度指引介面被實時呈現於通過該智能眼鏡所觀看的一現實場景中。

Claims

一種手術器械引導系統，包括：術前計劃系統，導入一患者手術部位的二維醫學圖像及三維醫學圖像，通過該二維醫學圖像及/或該三維醫學圖像定義手術器械的入口點、終點、以及通過該入口點及該終點的手術器械基準角度；攝像系統，建置於一智能眼鏡，用以拍攝患者手術部位及手術器械運動軌跡的實時動態影像；影像重合系統，導入該術前計劃系統的三維醫學圖像，將該三維醫學圖像顯示於該智能眼鏡的顯示屏幕，且該三維醫學圖像與醫師觀看該患者手術部位的真實視野配準重合；手術器械即時追蹤系統，通過該攝像系統所獲取的手術器械運動軌跡影像，即時計算該手術器械的尾端與該術前計劃系統的該入口點的位置差，該位置差通過一入口指引介面顯示，當該手術器械的尾端與該入口點對準重合時，該入口指引介面顯示一入口瞄準信息；當該手術器械的尾端偏離該入口點時，該入口指引介面顯示一入口偏離信息；該手術器械即時追蹤系統亦即時計算該手術器械的尾端至頂端的角度與該術前計劃系統的基準角度的角度差，該角度差通過一角度指引介面顯示，當該手術器械的角度與該基準角度對準重合時，該角度指引介面顯示一角度對準信息；當該手術器械的角度偏離與該基準角度時，該角度指引介面顯示一角度偏離信息；該手術器械即時追蹤系統亦即時計算該手術器械的尾端與該術前計劃系統的該終點的距離差，該距離差通過一深度指引介面顯示，當該手術器械的尾端觸及該終點時，該深度指引介面顯示一觸及信息；該手術器械的尾端相對該終點有距離差時，該深度指引介面顯示一未觸及信息；所述入口指引介面、角度指引介面、以及深度指引介面呈現於該智能眼鏡的顯示屏幕，或呈現於通過該智能眼鏡所觀看的一現實場景中；當該入口瞄準信息出現並保持，該手術器械即時追蹤系統進行該手術器械的角度追蹤，當該入口瞄準信息及該角度對準信息均出現並保持，該手術器械即時追蹤系統進行該手術器械的尾端至該終點的追蹤，當該入口瞄準信息、該角度對準信息、及該觸及信息均出現並保持，表示該手術器械按照術前計劃系統的入口點和角度進入該患者手術部位並且觸及預定的該終點。
如請求項1所述手術器械引導系統，其中，所述入口指引介面、角度指引介面、以及深度指引介面顯示於該智能眼鏡的顯示屏幕時，與同顯示於該顯示屏幕的該三維醫學圖像不重合。
一種手術器械即時追蹤的方法，包括：通過一術前計劃系統導入一患者手術部位的二維醫學圖像及三維醫學圖像；通過該二維醫學圖像及/或該三維醫學圖像定義手術器械的入口點、終點、以及通過該入口點及該終點的手術器械基準角度；該入口點、該終點、以及該基準角度被保存於該術前計劃系統中；通過設置在醫師所配戴的智能眼鏡上的攝像系統獲取該患者手術部位及手術器械的運動軌跡影像；通過影像重合系統將該三維醫學圖像顯示於該智能眼鏡的顯示屏幕，並按照醫師的眼睛的焦距和視角調整該顯示屏幕上的三維醫學圖像的角度，並使該三維醫學圖像與醫師觀看該患者手術部位的真實視野配準重合；通過一手術器械即時追蹤系統使用該手術器械運動軌跡影像，即時計算該手術器械的尾端與該術前計劃系統的該入口點的位置差；該位置差通過呈現於該智能眼鏡的顯示屏幕中或呈現於通過該智能眼鏡所觀看的一現實場景中的一入口指引介面顯示，當該手術器械的尾端與該入口點對準重合時，該入口指引介面顯示一入口瞄準信息；當該手術器械的尾端偏離該入口點時，該入口指引介面顯示一入口偏離信息；當該入口瞄準信息出現並持續被保持，該手術器械即時追蹤系統通過該攝像系統所獲取的手術器械運動軌跡影像，即時計算該手術器械的尾端至頂端的角度與該術前計劃系統的基準角度的角度差，該角度差通過呈現於該智能眼鏡的顯示屏幕中或呈現於通過該智能眼鏡所觀看的一現實場景中的一角度指引介面顯示，當該手術器械的角度與該基準角度對準重合時，該角度指引介面顯示一角度對準信息；當該手術器械的角度偏離該基準角度時，該角度指引介面顯示一角度偏離信息；當該入口瞄準信息及該角度對準信息均出現並均持續被保持時，該手術器械即時追蹤系統通過該攝像系統所獲取的手術器械運動軌跡影像，即時計算該手術器械的尾端與該術前計劃系統的該終點的距離差，該距離差通過呈現於該智能眼鏡的顯示屏幕中或呈現於通過該智能眼鏡所觀看的一現實場景中的一深度指引介面顯示，當該手術器械的尾端與該終點對準重合時，該深度指引介面顯示一觸及信息；該手術器械的尾端與該終點有距離差時，該深度指引介面顯示一未觸及信息；以及當該入口瞄準信息、該角度對準信息、及該觸及信息均出現並保持，表示該手術器械按照術前計劃系統的入口點和角度進入該患者手術部位並且觸及預定的該終點。
如請求項3所述手術器械即時追蹤的方法，其中，該入口指引介面以第一顏色表示該入口瞄準信息，以第二顏色表示該入口偏離信息；該角度指引介面以該第一顏色表示該角度對準信息，以該第二顏色表示該角度偏離信息；該深度指引介面以該第一顏色表示該觸及信息，以該第二顏色表示該距離差信息。
如請求項3所述手術器械即時追蹤的方法，其中，該入口指引介面、該角度指引介面、以及該深度指引介面分別以一固定標分別表示該入口點、該基準角度及該終點；該入口指引介面、該角度指引介面、以及該深度指引介面分別以一實時隨著該手術器械運動軌跡而移動的位移標分別表示該手術器械位置、角度和深度，該位移標與該固定標重合時，該入口瞄準信息、或該角度對準信息、或該觸及信息出現。