TWI758857B

TWI758857B - 定位系統以及定位方法

Info

Publication number: TWI758857B
Application number: TW109131157A
Authority: TW
Inventors: 胡博期; 蔡元勛; 陳彥廷; 陳杰華; 安乃駿
Original assignee: 財團法人金屬工業研究發展中心
Priority date: 2020-09-10
Filing date: 2020-09-10
Publication date: 2022-03-21
Also published as: TW202210870A

Abstract

本發明提出一種定位系統以及定位方法。定位系統包括處理器、可移動設備以及定位物件。可移動設備包括攝影機以及光源。定位物件具有多個定位圖案。定位物件為多面體結構，並且多個定位圖案分別位於定位物件的不同的多個表面。當定位物件固定設置於目標物件上，且可移動設備相應於目標物件的位置而固定位置後，光源照射定位物件，並且攝影機拍攝定位物件，以取得包括有定位物件的至少二個表面上的至少二個定位圖案的影像。處理器依據包括有所述至少二個定位圖案的影像來計算目標物件的目標物件座標，以定位目標物件。

Description

定位系統以及定位方法

本發明是有關於一種定位技術，且特別是有關於一種手術定位系統以及手術定位方法。

手術導航系統是外科手術治療精準化和微創化的重要發展方向，其中光學手術導航技術是應用最廣泛的一種手術導航技術。在目前的光學手術導航技術中，施術者須透過在手術目標上進行粘貼標記點的方式來進行定位。對此，雖然粘貼標記點有著比採用機械固定裝置的方式而有可產生較小創傷及操作簡單的優點，並且比解剖標記的精度高而被廣泛採用。

由於光學手術導航技術是通過跟蹤患者身上及手術工具上的標記點進行跟蹤定位，因此在手術過程前，導航系統需通過三維醫學圖像來確定標記點和病灶位置，並且在手術過程中，導航系統的定位系統可利用跟蹤患者身上的標記點，來即時獲取患者位姿。導航系統可將前述資訊與術前取得的三維醫學圖像一併註冊，並將其轉換到圖像坐標系中來顯示於導航介面。

然而，現有的手術導航技術具有缺點，例如在手術導航過程中，容易發生標記點掉落，導致需要重新進行標記粘貼及註冊的操作。並且，用於照明標記點的照明光線容易被遮擋而發生定位失敗的情況。另外，某些手術部位有不方便粘貼標記點的問題。有鑑於此，以下將提出幾個實施例的解決方案。

本發明提供一種定位系統以及定位方法，可提供用於手術過程中的手術部位定位功能。

本發明的定位系統包括處理器、可移動設備以及定位物件。可移動設備包括耦接處理器的攝影機以及光源。定位物件具有多個定位圖案。定位物件為多面體結構。所述多個定位圖案分別位於定位物件的不同的多個表面。當定位物件固定設置於目標物件上，且可移動設備相應於目標物件的位置而固定位置後，光源照射定位物件，並且攝影機拍攝定位物件，以取得包括有定位物件的至少二個表面上的至少二個定位圖案的影像。處理器依據包括有所述至少二個定位圖案的影像來計算目標物件的目標物件座標，以定位目標物件。

本發明的定位方法包括以下步驟：當定位物件固定設置於目標物件上，且可移動設備相應於目標物件的位置而固定位置後，透過可移動設備的光源照射定位物件，並且透過可移動設備的攝影機拍攝定位物件，以取得包括有定位物件的至少二個表面上的至少二個定位圖案的影像；以及依據包括有所述至少二個定位圖案的影像來計算目標物件的目標物件座標，以定位目標物件。定位物件為多面體結構。所述多個定位圖案分別位於定位物件的不同的多個表面。

基於上述，本發明的定位系統以及定位方法可在固定位置拍攝固設於目標物件上的定位物件的至少二個定位圖案，並且通過影像處理及運算來取得定位物件的位置，而可有效地推算目標物件的目標物件座標。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100、400、500:定位系統

110、510:處理器

120、520:記憶體

130、430、530:攝影機

140、440、540:光源

150、421、422、423、550:定位物件

150C:物件中心軸線

151P:多面體結構

152:內部組件

153:安裝座

151_1~151_9:定位圖案

400B:可移動設備

401:脊椎

411~416:目標物件

450:顯示設備

551:射頻天線

560:射頻模組

S310~S330、S610~S670:步驟

圖1是本發明的一實施例的定位系統的示意圖。

圖2A是本發明的一實施例的定位物件的結構示意圖。

圖2B是本發明的一實施例的定位物件的多個定位圖案的示意圖。

圖3是本發明的一實施例的定位方法的流程圖。

圖4A是本發明的一實施例的定位物件與目標物件的示意圖。

圖4B是本發明的一實施例的定位系統的操作示意圖。

圖5是本發明的另一實施例的定位系統的示意圖。

圖6是本發明的另一實施例的定位方法的流程圖。

為了使本揭露之內容可以被更容易明瞭，以下特舉實施例做為本揭露確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。

圖1是本發明的一實施例的定位系統的示意圖。參考圖1，定位系統100包括處理器110、記憶體120、攝影機130、光源140以及定位物件150。處理器110耦接記憶體120、攝影機130以及光源140。在本實施例中，攝影機130以及光源140可整合在可移動設備中，以讓使用者可依據不同手術情境來調整攝影機150的拍攝位置、方向及角度。處理器110以及記憶體120也可整合在可移動設備中，但本發明並不限於此。在一實施例中，處理器110以及記憶體120也可整合在電腦主機中，並且所述電腦主機電性連接於可移動設備。另外，定位系統100還可額外包括顯示設備，並且所述顯示設備耦接處理器110，以使處理器110可將定位資訊顯示於所述顯示設備所提供的手術導航功能的顯示畫面中。在本實施例中，攝影機130可例如是紅外線攝影機或可見光攝影機，並且光源140可相應地例如是紅外線光源或可見光光源。

在本實施例中，定位物件150可為多面體結構，例如十二面體結構，並且多個定位圖案分別位於定位物件150的不同的多個表面。在本實施例中，當定位物件150固定設置於目標物件上，且所述可移動設備相應於目標物件的位置而固定位置後，光源140可照射定位物件150，並且攝影機130拍攝定位物件150，以取得包括有定位物件的至少二個表面上的至少二個定位圖案的影像。在本實施例中，處理器110可依據包括有所述至少二個定位圖案的影像來計算定位物件的座標，並且可接著進一步計算目標物件的目標物件座標，以定位目標物件。在本實施例中，目標物件可為手術器械，並且定位物件150可經由安裝座來固定設置於目標物件上。

在本實施例中，處理器110可例如是可程式設計的一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式設計控制器、專用積體電路(Application Specific Integrated Circuit，ASIC)、圖形處理器(Graphics Processing Unit，GPU)或其他類似元件或上述元件的組合。在本實施例中，記憶體120可用於儲存攝影機130所取得的影像，以及本發明各實施例所提到的資料、運算結果以及運算程式等，以供處理器110存取。值得注意的是，處理器110可例如執行開源計算機資源庫(Open Source Computer Vision Library，OpenCV)中的相機校準以及三維重建的演算法來實現各實施所述的定位運算以及座標取得。

圖2A是本發明的一實施例的定位物件的結構示意圖。參考圖2A，沿著物件中心軸線150C，定位物件150可拆解為包括外殼151、內部組件152以及安裝座153。外殼151為多面體結構151P，並且具有多個表面。外殼151可栓鎖於內部組件152。內部組件152可包括設置有其他功能模組，例如射頻天線、定位標籤等。內部組件152可栓鎖於安裝座153。安裝座153可固定設置於目標物件上，其中目標物件可例如是一種手術器械，例如針狀體，並且所述針狀體可例如固定在手術部位上。在本實施例中，定位物件150可例如是以機械加工方式透過五軸加工製程來製成外殼151的多面體結構151P，並且定位物件150可利用光纖雷射加工製程在多面體結構151P的多個表面加工出定位圖案。

圖2B是本發明的一實施例的定位物件的多個定位圖案的示意圖。參考圖2A以及圖2B，本實施例的多面體結構151P為十二面體結構，並且多面體結構151P的多個表面經展開後，可呈現如圖2B所示的多個定位圖案151_1~151_9。需說明的是，如圖2A所示，由於本實施例的多面體結構151P的一部分表面將用於形成栓鎖結構，因此本實施例的多面體結構151P的九個表面可具有定位圖案151_1~151_9。在本實施例中，定位圖案151_1~151_9可為不同的多個快速響應矩陣圖碼(Quick Response Code，QR code)，但本發明並不限於此。在本實施例中，定位圖案151_1~151_9可分別提供空間座標資訊，以作為計算六自由度(Degree of Freedom,DOF)姿態數據之用。具體而言，處理器110可依據具有多面體結構151P的至少二個表面的至少二個快速響應矩陣圖碼的影像來進行運算，其中處理器110可利用轉置矩陣進行影像座標與世界座標系統(World Coordinate System，WCS)之間的轉換，來計算出定位物件150的六自由度且具有方向性的姿態空間座標。

圖3是本發明的一實施例的定位方法的流程圖。參考圖1至圖3，圖3的定位方法的流程可適用於圖1的定位系統100。在步驟S310，當設置有攝影機130以及光源140的可移動設備相應於目標物件的位置而固定位置後，處理器110對可移動設備進行位置校正，以取得攝影機130的位置資訊。在步驟S320，可移動設備的光源140照射定位物件150，並且可移動設備的攝影機130拍攝定位物件150，以取得包括有定位物件150的至少二個表面上的至少二個定位圖案的影像。在本實施例中，所述至少二個定位圖案可分別提供空間座標資訊，以作為處理器110計算六自由度姿態數據之用。攝影機130可為六自由度攝影機。

在步驟S330，處理器110可依據包括有至少二個定位圖案的影像來計算目標物件的目標物件座標，以定位目標物件。對此，本實施例的處理器110可例如分析攝影機130所取得的影像中的所述至少二個定位圖案的各別的四個角落的位置資訊以及位置關係，例如取得四個角的位置坐標，來推算所述至少二個定位圖案的各別的中心圖案座標(三維座標)以及圖案角度。換言之，攝影機130所取得的影像只要至少可讓處理器110辨識出所述至少二個定位圖案，則處理器110可經由計算所述至少二個定位圖案的各別的中心圖案座標(三維座標)以及圖案角度的結果來推算出定位物件150的三維座標，並更進一步取得目標物件的定位資訊。

舉例而言，攝影機130拍攝的圖片可例如包括如圖2B所示的定位圖案151_1~151_4。處理器110可依據定位圖案151_1~151_4來取得各定位圖案151_1~151_4分別與攝影機130的距離，並且計算定位圖案151_1~151_4個別的圖案角度，因此可推算定位物件150的三維座標。接著，處理器110可基於定位物件150以及已知物件尺寸(或規格)的目標物件的相關參數來進一步推算目標物件座標。值得注意的是，本實施例的定位圖案151_1~151_4分別與攝影機130之間的距離可由預先對定位物件150以及攝影機130(可移動設備)進行位置校正來取得。

圖4A是本發明的一實施例的定位物件與目標物件的示意圖。圖4B是本發明的一實施例的定位系統的操作示意圖。參考圖4A，在本實施例中，以骨科手術為例，目標物件411~416可例如為脊突釘，並且用於分別固定於脊椎401的多個脊椎骨上。在本實施例中，目標物件411~416的一部分，例如目標物件411、413、416，可進一步裝設有定位物件421~423。

參考圖4B，定位系統400可具有如上述圖1的定位系統100的各功能元件。在本實施例中，可移動設備400B可包括設置有攝影機430以及光源440。以針對定位物件423進行定位為例，如上述圖3的步驟S310，當可移動設備400B相應於目標物件416的位置而固定位置後，本實施例的定位系統400的處理器可對可移動設備400B進行位置校正，以取得可移動設備400B的攝影機 430的位置資訊、目標物件411~416以及可移動設備400B與目標物件416之間的距離。

接著，如上述圖3的步驟S320，可移動設備400B的光源440照射定位物件423，並且可移動設備400B的攝影機430拍攝定位物件423，以取得包括有定位物件423的至少二個表面上的至少二個定位圖案的影像。接著，如上述圖3的步驟S330，本實施例的定位系統400的處理器可依據包括有至少二個定位圖案的影像來計算定位物件423的物件座標，並且可通過定位物件423的物件座標來推算目標物件416的目標物件座標，以定位目標物件416。

在本實施例中，攝影機430可依序拍攝定位物件421、422，以進行如上述說明的定位物件423的定位手段，而可取得整體詳盡定位資訊，其中定位資訊可包括目標物件411、413、416分別在脊椎401上的多個座標，例如對應於脊椎401的某三節脊椎骨的三個三維座標資訊。另外，本實施例的定位系統400還可包括顯示設備450，並且顯示設備450可將目標物件411、413、416的定位資訊顯示於顯示設備450的顯示畫面，而供施術者可依據其顯示介面中包括有目標物件411、413、416的定位結果的相關手術導航資訊來進行手術。

圖5是本發明的另一實施例的定位系統的示意圖。參考圖5，定位系統500包括處理器510、記憶體520、攝影機530、光源540、定位物件550以及射頻模組560。定位物件550包括定位標籤及射頻天線551。在本實施例中，處理器510耦接記憶體520、攝影機530、光源540以及射頻模組560。射頻模組560例如包括無線信號收發器。

在本實施例中，定位系統500可透過攝影機530、光源540來進行如上述圖1至圖4實施例的影像定位手段，因此在此不再贅述。然而，相較於圖1實施例，本實施例的定位系統500可先由定位物件550中的射頻天線551提供目標物件的初始目標物件座標至射頻模組560，並且處理器510可接著依據透過攝影機530所取得的目標物件座標來校正初始目標物件座標。換言之，本實施例的定位系統500可結合兩種定位手段來取得準確的定位資訊。定位系統500可先利用定位系統500可取得初步定位資訊，再接著利用攝影機530取得精密定位資訊。

圖6是本發明的另一實施例的定位方法的流程圖。參考圖5以及圖6，本實施例的定位方法可適用於圖5的定位系統500，並且也可搭配如圖4B的手術情境來理解。在步驟S610，當定位系統500的可移動設備(具有攝影機530以及光源540)相應於目標物件的位置而固定位置後，對可移動設備進行位置校正。例如，處理器510可取得攝影機530相對於目標物件的位置資訊或攝影機530的三維座標。在步驟S620，當定位物件550固定設置於目標物件上，處理器510透過設置在定位物件550的射頻天線551取得目標物件的初始目標物件座標。在步驟S630，處理器510可通過攝影機530的拍攝結果來判斷定位物件550是否被遮擋，而導致攝影機530無法有效拍攝定位物件550的影像。若是，則在步驟S640，處理器510將依據初始目標物件座標來定位目標物件，並且處理器510可輸出警示信息，例如警示聲音或影像來提醒施術者。

若定位物件550未被遮擋，則在步驟S650，處理器510透過可移動設備的光源540照射定位物件550，並且透過可移動設備的攝影機530拍攝定位物件550，以取得包括有定位物件550的至少二個表面上的至少二個定位圖案的影像。在步驟S660，處理器510依據包括有所述至少二個定位圖案的影像來計算目標物件的目標物件座標。在步驟S670，處理器510可依據透過攝影機530所取得的目標物件座標來校正透過射頻模組560所取得初始目標物件座標，以定位目標物件。

綜上所述，本發明的定位系統以及定位方法可提供一種可應用於手術過程中的具有高定位準確性的手術定位功能。並且，在本發明的一些實施情境中，定位系統以及定位方法可先利用射頻定位的方式來取得目標物件的初始的定位資訊，並且搭配光學影像定位的定位結果來校正初始的定位資訊，而提供準確且具有高可靠性的定位效果。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:定位系統 110:處理器 120:記憶體 130:攝影機 140:光源 150:定位物件

Claims

一種定位系統，包括：一處理器；一可移動設備，包括耦接該處理器的一攝影機以及一光源；以及一定位物件，具有多個定位圖案，其中該定位物件為一多面體結構，並且該些定位圖案分別位於該定位物件的不同的多個表面，其中當該定位物件固定設置於一目標物件上，且該可移動設備相應於該目標物件的位置而固定位置後，該光源照射該定位物件，並且該攝影機拍攝該定位物件，以取得包括有該定位物件的至少二個表面上的至少二個定位圖案的影像，其中該處理器依據包括有該至少二個定位圖案的影像來計算該目標物件的一目標物件座標，以定位該目標物件。
如請求項1所述的定位系統，其中該處理器分別計算該至少二個定位圖案的至少二個中心圖案座標，並且該處理器依據該至少二個中心圖案座標來計算該定位物件的一定位物件座標，其中該處理器依據該定位物件的該定位物來計算目標物件的該目標物件座標，並且該目標物件座標為一三維座標。
如請求項2所述的定位系統，其中該處理器計算該至少二個定位圖案分別的每一個的多個圖案位置的多個圖案座標，並且該處理器分別依據該至少二個定位圖案的每一個的該些圖案座標來計算該至少二個定位圖案的該至少二個中心圖案座標。
如請求項1所述的定位系統，其中當該可移動設備相應於該目標物件的位置而固定位置後，該處理器對該可移動設備進行位置校正，以取得該可移動設備的位置資訊、該目標物件以及該可移動設備與該目標物件之間的一距離。
如請求項1所述的定位系統，其中該定位物件為一十二面體結構。
如請求項1所述的定位系統，其中該些定位圖案為多個快速響應矩陣圖碼。
如請求項1所述的定位系統，其中該可移動設備更包括一射頻模組，該處理器耦接該射頻模組，並且該定位物件包括一射頻天線，其中該射頻天線提供該目標物件的一初始目標物件座標至該射頻模組，並且該處理器依據透過該攝影機所取得的該目標物件座標來校正該初始目標物件座標。
如請求項7所述的定位系統，其中當該定位物件被遮擋時，該處理器依據該初始目標物件座標來定位該目標物件。
如請求項1所述的定位系統，其中該目標物件為一手術器械，並且該定位物件經由一安裝座來固定設置於該目標物件上。
一種定位方法，包括：當一定位物件固定設置於一目標物件上，且一可移動設備相應於該目標物件的位置而固定位置後，透過該可移動設備的一光源照射該定位物件，並且透過該可移動設備的一攝影機拍攝該定位物件，以取得包括有該定位物件的至少二個表面上的至少二個定位圖案的影像；以及依據包括有該至少二個定位圖案的影像來計算該目標物件的一目標物件座標，以定位該目標物件，其中該定位物件為一多面體結構，並且該些定位圖案分別位於該定位物件的不同的多個表面。