TWI749922B

TWI749922B - 手術影像註冊系統與方法

Info

Publication number: TWI749922B
Application number: TW109142094A
Authority: TW
Inventors: 黃炳峰; 薛進原; 周享享; 林志隆
Original assignee: 財團法人金屬工業研究發展中心
Priority date: 2020-11-30
Filing date: 2020-11-30
Publication date: 2021-12-11
Also published as: TW202222268A

Abstract

本揭露提出一種手術影像註冊系統，包括X光成像機、可見光攝影機、校正器與電腦系統。X光成像機用以拍攝校正器以產生第一X光影像，同時可見光攝影機拍攝校正器以產生第一可見光影像。電腦系統用以辨識第一X光影像與第一可見光影像中的校正器，藉此計算X光成像機的座標系統與可見光攝影機的座標系統之間的轉換模型。X光成像機還用以對患者拍攝第二X光影像，患者身上設置定位標記，可見光攝影機對定位標記拍攝第二可見光影像。電腦系統根據轉換模型結合第二X光影像與第二可見光影像以提供導航介面。

Description

手術影像註冊系統與方法

本揭露是有關於手術影像註冊系統與方法，可計算出X光成像機與可見光攝影機之間的轉換模型。

隨這老化人口比例增加，再加上現代人生活特性影響，如肥胖、久坐等，其脊椎產生病變比例逐年增長；在保守性治療失效後，往往需要依靠植入物來協助脊椎減輕疼痛感並維持基本功能。脊椎承擔保護中樞神經基本功能，但是可施打植入物部位相當狹窄，如椎弓根骨釘，稍有不慎將損及中樞神經。市場上雖然已經有骨科微創手術，但由於脊椎的位置會隨著人的姿態一起改變，因此如何在手術中準確地追蹤脊椎的位置，為此領域技術人員所關心的議題。

本揭露的實施例提出一種手術影像註冊系統，包括X光成像機、可見光攝影機、校正器與電腦系統。可見光攝影機設置於X光成像機上。X光成像機用以拍攝校正器以產生第一X光影像，同時可見光攝影機拍攝校正器以產生第一可見光影像。電腦系統用以辨識第一X光影像與第一可見光影像中的校正器，藉此計算X光成像機的第一座標系統與可見光攝影機的第二座標系統之間的轉換模型。X光成像機還用以對一患者拍攝第二X光影像，患者身上設置一定位標記，可見光攝影機對定位標記拍攝第二可見光影像。電腦系統根據轉換模型結合第二X光影像與第二可見光影像以提供導航介面。

在一些實施例中，校正器在第一座標系統中的座標為向量X，校正器在第二座標系統中的座標為向量Y。電腦系統根據以下數學式1計算轉換模型，其表示為矩陣

。 [數學式1]

在一些實施例中，校正器包括多個金屬球。

在一些實施例中，上述的X光成像機為C型臂X光機，C型臂X光機包括發射端與接收端，可見光攝影機設置於接收端。

在一些實施例中，手術影像註冊系統更包括手術器具與器具攝影機，器具攝影機固定在手術器具之上。以另一個角度來說，本揭露的實施例提出一種手術影像註冊方法，適用於電腦系統，此手術影像註冊方法包括：透過X光成像機拍攝校正器以產生第一X光影像，同時透過可見光攝影機拍攝校正器以產生第一可見光影像，其中可見光攝影機設置於X光成像機上；辨識第一X光影像與第一可見光影像中的校正器，藉此計算X光成像機的第一座標系統與可見光攝影機的第二座標系統之間的轉換模型；透過X光成像機對患者拍攝第二X光影像，其中患者身上設置定位標記；透過可見光攝影機對定位標記拍攝第二可見光影像；以及根據轉換模型結合第二X光影像與第二可見光影像以提供一導航介面。

在一些實施例中，校正器在第一座標系統中的座標為向量X，校正器在第二座標系統中的座標為向量Y。上述的手術影像註冊方法更包括根據以上的數學式1計算轉換模型。

在上述的系統與方法中，透過在X光成像機上設置可見光攝影機可以簡化系統的設置，並且透過校正器的使用可以計算出X光成像機與可見光攝影機之間的轉換模型，藉此可以結合X光影像與可見光影像來提供導航介面。

圖1是根據一實施例繪示手術影像註冊系統的示意圖。請參照圖1，手術影像註冊系統100包括了X光成像機110、可見光攝影機120、校正器130與電腦系統140。

在此實施例中，X光成像機110為C型臂X光機，此C型臂X光機包括發射端112與接收端111，可見光攝影機120設置於接收端111。

可見光攝影機120可包括感光耦合元件(Charge-coupled Device，CCD)感測器、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor，CMOS)感測器或其他合適的感光元件。在一些實施例中，可見光攝影機120還可包括紅外線發射器、紅外線感測器、雙攝影機、結構光感測裝置或任意可以感測場景深度的裝置。

電腦系統140可通訊連接至X光成像機110與可見光攝影機120，這可透過任意的有線或無線的通訊手段來達成。校正器130可成像在X光影像中。例如，校正器130包括了多個金屬球131。在此是要結合X光影像與可見光影像來提供手術用的導航介面，因此必須配對X光成像機110的座標系統與可見光攝影機120的座標系統。

首先，X光成像機110用以拍攝校正器130以產生第一X光影像，同時可見光攝影機120拍攝校正器130以產生第一可見光影像。電腦系統140可以透過任意的影像處理或電腦視覺方法來辨識第一X光影像與第一可見光影像中的校正器130，舉例來說，校正器130的形狀為已知，因此電腦系統140可以根據一預設圖案來尋找第一X光影像與第一可見光影像中的校正器130。在辨識出校正器130以後，可以計算X光成像機110的座標系統(亦稱第一座標系統)與可見光攝影機120的座標系統(亦稱第二座標系統)之間的轉換模型。具體來說，請參照圖2，校正器130上每個金屬球131在第一座標系統210中的座標表示為向量 X。另一方面，校正器上每個金屬球131在第二座標系統220中的座標為向量 Y。在配對向量 X與向量 Y以後，可根據以下數學式1計算出轉換模型，表示為矩陣 T _XM。 [數學式1]

接下來請參照圖3，X光成像機110還用以對患者310拍攝第二X光影像，此患者310身上設置定位標記330，此定位標記330上具有特殊的圖案以供辨識。舉例來說，在此是要對患者310的脊椎進行手術，因此定位標記330是設置在患者310的脊椎骨320上，當患者310的姿態改變時，定位標記330也會隨著改變。在其他實施例中定位標記330也可以設置在患者310的其他身體部位，本揭露並不在此限。

另一方面，可見光攝影機120對定位標記330拍攝第二可見光影像。值得一提的是，由於X光會傷害人體，因此並不能太頻繁的拍攝，在此是用攝影機120來拍攝定位標記330，透過辨識定位標記330的位置便可以得知脊椎骨320的位置。

接下來，電腦系統140可以根據上述的轉換模型(矩陣 T _XM)結合第二X光影像與第二可見光影像以提供一個導航介面。在此實施例中，導航介面可以顯示在電腦系統的螢幕上，但在一些實施例中也可以顯示在任意的頭戴式裝置、平板電腦、或透明顯示器上，本揭露並不在此限。在此可以採用任意的虛擬實境、擴增實境、替代實境或混和實境等技術來形成上述的導航介面，本揭露並不在此限。舉例來說，可以利用影像處理的技術分割第二X光影像中的脊椎骨以產生對應的虛擬物件。電腦系統140可辨識第二可見光影像中的定位標記330以計算出定位標記330的位置，據此在導航介面中合適的位置顯示對應的虛擬物件。如此一來醫生看著這樣的導航介面可以知道目前脊椎骨的位置。或者，電腦系統可以根據矩陣 T _XM將定位標記330在第二可見光影像中的座標轉換為在第二X光影像中的座標，據此對第二X光影像做合適的形變、縮放、位移等。

在一些實施例中，手術影像註冊系統還包括手術器具340與器具攝影機350，此器具攝影機350固定在手術器具340之上。此手術器具340例如是鑽頭、銼刀、刮刀、鋸子、螺絲刀或其他通常用於外科手術中，通過鑽孔、打磨、切除或刮除等方式來修復或移除解剖部位的部分組織的工具。器具攝影機350可包括CCD感測器、CMOS感測器或其他合適的感光元件，在一些實施例中也可包括任意可以感測場景深度的裝置。器具攝影機350會拍攝定位標記330，經過事先的校正可以計算出器具攝影機350的第三座標系統與上述第一座標系統與第二座標系統之間的轉換模型，如此一來可以將關於手術器具340的虛擬物件341顯示在導航介面中，醫生透過此導航介面可以得知手術器具340與脊椎骨之間的相對位置。

圖4是根據一實施例繪示手術影像註冊方法的流程圖。請參照圖4，在步驟401，透過X光成像機拍攝校正器以產生第一X光影像，同時透過可見光攝影機拍攝校正器以產生第一可見光影像。在步驟402，辨識第一X光影像與第一可見光影像中的校正器，藉此計算X光成像機的第一座標系統與可見光攝影機的第二座標系統之間的轉換模型。在步驟403，透過X光成像機對患者拍攝第二X光影像，其中患者身上設置定位標記。在步驟404，透過可見光攝影機對定位標記拍攝第二可見光影像。在步驟405，根據轉換模型結合第二X光影像與第二可見光影像以提供一導航介面。然而，圖4中各步驟已詳細說明如上，在此便不再贅述。值得注意的是，圖4中各步驟可以實作為多個程式碼或是電路，本發明並不在此限。此外，圖4的方法可以搭配以上實施例使用，也可以單獨使用。換言之，圖4的各步驟之間也可以加入其他的步驟。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:手術影像註冊系統 110:X光成像機 111:接收端 112:發射端 120:可見光攝影機 130:校正器 131:金屬球 140:電腦系統 210:第一座標系統 220:第二座標系統 310:患者 320:脊椎骨 330:定位標記 340:手術器具 341:虛擬物件 350:器具攝影機 401~405:步驟

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。圖1是根據一實施例繪示手術影像註冊系統的示意圖。圖2是根據一實施例繪示不同座標系統的示意圖。圖3是根據一實施例繪示手術影像註冊系統的示意圖。圖4是根據一實施例繪示手術影像註冊方法的流程圖。

100:手術影像註冊系統

110:X光成像機

111:接收端

112:發射端

120:可見光攝影機

130:校正器

131:金屬球

140:電腦系統

Claims

一種手術影像註冊系統，包括：一X光成像機；一可見光攝影機，設置於該X光成像機上；一校正器，其中該校正器包括多個金屬球，該X光成像機用以拍攝該校正器以產生一第一X光影像，同時該可見光攝影機拍攝該校正器以產生一第一可見光影像，該校正器不是設置在一患者身上，該第一X光影像中並沒有該患者；以及一電腦系統，用以辨識該第一X光影像與該第一可見光影像中的該校正器，藉此計算該X光成像機的第一座標系統與該可見光攝影機的第二座標系統之間的轉換模型，其中該X光成像機還用以對該患者拍攝一第二X光影像，該患者身上設置一定位標記，該可見光攝影機對該定位標記拍攝一第二可見光影像，其中該電腦系統根據該轉換模型結合該第二X光影像與該第二可見光影像以提供一導航介面。
如請求項1所述之手術影像註冊系統，其中該校正器在該第一座標系統中的座標為向量X，該校正器在該第二座標系統中的座標為向量Y，該電腦系統根據以下數學式1計算該轉換模型，[數學式1]X=T _XM Y 其中該轉換模型為一矩陣T _XM。
如請求項1所述之手術影像註冊系統，其中該X光成像機為一C型臂X光機，該C型臂X光機包括一發射端與一接收端，該可見光攝影機設置於該接收端。
如請求項1所述之手術影像註冊系統，更包括一手術器具與一器具攝影機，該器具攝影機固定在該手術器具之上。
一種手術影像註冊方法，適用於一電腦系統，該手術影像註冊方法包括：透過一X光成像機拍攝一校正器以產生一第一X光影像，同時透過一可見光攝影機拍攝該校正器以產生一第一可見光影像，其中該可見光攝影機設置於該X光成像機上，該校正器包括多個金屬球，該校正器不是設置在一患者身上，該第一X光影像中並沒有該患者；辨識該第一X光影像與該第一可見光影像中的該校正器，藉此計算該X光成像機的第一座標系統與該可見光攝影機的第二座標系統之間的轉換模型；透過該X光成像機對該患者拍攝一第二X光影像，其中該患者身上設置一定位標記；透過該可見光攝影機對該定位標記拍攝一第二可見光影像；以及根據該轉換模型結合該第二X光影像與該第二可見光影像以提供一導航介面。
如請求項5所述之手術影像註冊方法，其中該校正器在該第一座標系統中的座標為向量X，該校正器在該第二座標系統中的座標為向量Y，該手術影像註冊方法更包括：根據以下數學式1計算該轉換模型，[數學式1]X=T _XM Y其中該轉換模型為一矩陣T _XM。
如請求項5所述之手術影像註冊方法，其中該X光成像機為一C型臂X光機，該C型臂X光機包括一發射端與一接收端，該可見光攝影機設置於該接收端。