TWI539926B - 器械定位系統及器械定位方法 - Google Patents

器械定位系統及器械定位方法 Download PDF

Info

Publication number
TWI539926B
TWI539926B TW103113778A TW103113778A TWI539926B TW I539926 B TWI539926 B TW I539926B TW 103113778 A TW103113778 A TW 103113778A TW 103113778 A TW103113778 A TW 103113778A TW I539926 B TWI539926 B TW I539926B
Authority
TW
Taiwan
Prior art keywords
image
mark
virtual image
rotation amount
dimensional coordinates
Prior art date
Application number
TW103113778A
Other languages
English (en)
Other versions
TW201540250A (zh
Inventor
林淵翔
楊仕凡
黃柄源
盧毅鴻
陳偉豪
陳栩茹
Original Assignee
國立臺灣科技大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺灣科技大學 filed Critical 國立臺灣科技大學
Priority to TW103113778A priority Critical patent/TWI539926B/zh
Publication of TW201540250A publication Critical patent/TW201540250A/zh
Application granted granted Critical
Publication of TWI539926B publication Critical patent/TWI539926B/zh

Links

Landscapes

  • Image Processing (AREA)

Description

器械定位系統及器械定位方法
本發明是有關於一種定位技術,且特別是有關於一種器械定位之系統及其方法。
近幾年來,微創手術已經是相當普遍的醫療技術,傷口小又美觀且恢復快,但手術時間較長。和傳統手術比較起來,微創手術在執行時比較困難,因為醫師需要透過電腦螢幕去操作器械,藉由所看到的二維影像在三維空間中操作,所以手術操作者必須在缺乏深度的資訊下進行手術,需要具備優秀良好的手眼協調與空間定位的能力。傳統的腹腔手術是Halstedian提出的看、做、教原則教學方法,學生可以在老師旁邊觀察老師的操作並學習,實際上,並無法同時看到螢幕與老師的手,所以此種方法需要大量時間的反覆觀察。
在微創手術的訓練系統中,器械的追蹤定位是很重要的一個部分,除了可以分析醫師操作器械時的正確性外,虛擬實境訓練機的器械3D定位還可以提供模擬器械的 控制參數。有論文已提出的器械定位方法無法同時感測器械的七個自由度,使得使用範圍受到限制。
而商用的產品中,有業者提出以光學和磁感測等測量元件結合模擬器械,以達到虛擬訓練的功能,但缺點是價錢昂貴、量測儀器複雜,且學習的器械也和醫師實際開刀時所用的不相同,所以並不普及。
因此,如何能更加精準定位器械並降低成本,實屬當前重要研發課題之一,亦成為當前相關領域極需改進的目標。
本發明之一態樣是在提供一種器械定位系統及其方法,以解決先前技術的問題。
於一實施例中,本發明所提供的器械定位系統包含訓練箱、器械、影像擷取裝置及虛擬影像成像裝置。器械包含夾具、把手、彎曲電阻、感測模組及無線傳輸模組。夾具具有標記;把手用以控制夾具之開闔程度;彎曲電阻連接於把手,具有相應夾具開闔程度之可變電阻值;感測模組用以感測器械之角動量以計算三軸轉動量,並感測可變電阻值以計算開闔角度;無線傳輸模組電性連接感測模組,用以傳輸三軸轉動量及開闔角度。影像擷取裝置用以擷取訓練箱內部之影像以產生影像資料。當夾具伸入至訓練箱內部時,虛擬影像成像裝置辨識影像資料以計算出標記的三維座標,並基於三維座標、三軸轉動量及開闔角度 以計算並轉換出相應於夾具伸入至訓練箱內部時的虛擬影像。
於一實施例中,虛擬影像成像裝置包含影像辨識單元、收發器及主機。影像辨識單元電性連接影像擷取裝置,用以辨識影像資料以計算出三維座標;收發器電性連接影像辨識單元,用以傳輸三維座標;主機連接收發器,用以基於三維座標、三軸轉動量及開闔角度以計算並轉換出相應於夾具伸入至訓練箱內部時的虛擬影像。
於一實施例中,影像辨識單元係將進行白平衡處理後的影像資料之複數顏色值做空間轉換,偵測標記之顏色,濾除標記之影像雜訊,將偵測到之標記轉換為兩組二維座標,再將兩組二維座標轉換為一組三維座標。
於一實施例中,感測模組包含陀螺儀、加速度計、磁力計及單晶片。陀螺儀用以感測角動量;加速度計及磁力計用以校正陀螺儀所感測之角動量;單晶片用以將角動量轉換成三軸轉動量並傳送到無線傳輸模組。
於一實施例中,器械定位系統更包含虛擬影像顯示裝置,用以顯示虛擬影像。
於一實施例中,本發明所提供的器械定位方法包含:(a)擷取訓練箱內部之影像以產生影像資料;(b)當器械之夾具伸入至訓練箱內部時,辨識影像資料以計算出夾具上之標記的三維座標;(c)感測器械之角動量以計算三軸轉動量;(d)感測夾具的開闔程度以計算開闔角度;(e)傳輸三軸轉動量及開闔角度;(f)基於三維座標、三軸轉 動量及開闔角度以計算並轉換出相應於夾具伸入至訓練箱內部時的虛擬影像。
於一實施例中,步驟(b)更包含藉由收發器傳輸三維座標。
於一實施例中,步驟(b)更包含將進行白平衡處理後的影像資料之複數顏色值做色彩空間轉換,偵測標記之顏色,濾除標記之影像雜訊,將偵測到之標記轉換為兩組二維座標,再將兩組二維座標轉換為一組三維座標。
於一實施例中,步驟(c)更包含感測該角動量,校正所感測到之該角動量,以及將該角動量轉換成該三軸轉動量並傳送。
於一實施例中,步驟(f)更包含:顯示虛擬影像。
綜上所述,本發明之技術方案與現有技術相比具有明顯的優點和有益效果。藉由上述技術方案,可達到相當的技術進步,並具有產業上的廣泛利用價值,其優點係能同時擷取器械轉動量、器械移動量及器械夾具之開闔程度並轉換成虛擬影像,使得器械動作模擬更加真實。
110‧‧‧訓練箱
120‧‧‧器械
121‧‧‧夾具
122‧‧‧標記
123‧‧‧把手
124‧‧‧彎曲電阻
125‧‧‧感測模組
126‧‧‧無線傳輸模組
127‧‧‧光源
131、132、430‧‧‧影像擷取裝置
140‧‧‧虛擬影像成像裝置
141‧‧‧影像辨識單元
142‧‧‧收發器
143‧‧‧主機
150‧‧‧虛擬影像顯示裝置
431‧‧‧影像白平衡處理
441‧‧‧控制單元
442‧‧‧影像白平衡偵測
443‧‧‧串流通訊匯流排
444‧‧‧色彩空間轉換
445‧‧‧標記顏色偵測
446‧‧‧膨脹與侵蝕
447‧‧‧計算重心與座標
470‧‧‧顯示器
510~570‧‧‧步驟
600‧‧‧模擬訓練視窗
620‧‧‧虛擬器械
621‧‧‧虛擬夾具
630‧‧‧凹槽
641~646‧‧‧圓珠
Ax、Ay、Az‧‧‧角動量
Ac‧‧‧可變電阻值
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂,所附圖式之說明如下:第1圖是依照本發明一實施例之一種器械的立體圖;第2圖是依照本發明一實施例之一種器械定位系統的方塊圖; 第3圖是依照本發明一實施例之一種器械定位系統之虛擬影像成像裝置的示意圖;第4圖是依照本發明一實施例之一種器械定位系統之影像辨識單元的示意圖;第5圖是依照本發明一實施例之一種器械定位方法的流程圖;以及第6圖是依照本發明一實施例之一種模擬訓練視窗的示意圖。
為了使本發明之敘述更加詳盡與完備,以下將以圖式及詳細說明清楚說明本發明之精神,任何所屬技術領域中具有通常知識者在瞭解本發明之較佳實施例後,當可由本發明所教示之技術,加以改變及修飾,其並不脫離本發明之精神與範圍。另一方面,眾所週知的元件與步驟並未描述於實施例中,以避免對本發明造成不必要的限制。
由於此器械定位系統可運用於微創手術訓練,為了使訓練時操作的手感更接近實際手術,將實際手術時所使用的手術器械加以修改,以實現本發明所揭露之一種器械定位系統中被採用的器械。第1圖是依照本發明一實施例之一種器械的立體圖。如第1圖所示,器械包含夾具121、標記122、把手123、彎曲電阻124、感測模組125及無線傳輸模組126。實際手術時所使用的器械原本就具有把手123及連接著把手123的夾具121,夾具121又包含一長條 結構及一夾子,夾子位於夾具121之最前端,用以夾取物品,而長條結構係用以連接夾子與把手123。標記122(如:有色貼紙、發光二極體)設置於夾具121上,更明確地說,標記122可設置於夾具121的長條結構上或夾子上,並且不限於一個。把手123係用來控制夾具121的開闔程度,故於把手123處連接彎曲電阻124,彎曲電阻124之可變電阻值Ac係相應於夾具121的開闔程度,彎曲電阻124藉由電線連接至感測模組125,而無線傳輸模組126電性連接感測模組125。
舉例而言,感測模組125可整合自陀螺儀、加速度計、磁力計和單晶片。陀螺儀是一種用來感測與維持方向的裝置,基於角動量守恆的理論設計出來的。加速度計是測量加速度的裝置,磁力計是量測磁場的裝置,此兩者共同的特性係僅具有單一方向性。其中陀螺儀用來量測器械120之X、Y和Z方向的角動量,而加速度計和磁力計用來校正陀螺儀所感測到的角動量Ax、Ay、Az。感測模組125中的單晶片除了可根據角動量Ax、Ay、Az以計算器械的三軸轉動量,還可根據彎曲電阻124之可變電阻值Ac以計算夾具121的開闔角度,並將器械的三軸轉動量傳送到無線傳輸模組126。其中,三軸轉動量及開闔角度已包含了與器械120相關的四個自由度。
感測模組125所感測並計算出的三軸轉動量及開闔角度會傳輸至虛擬影像成像裝置進行分析計算,倘若感測模組125透過纜線或排線將數據傳輸至虛擬影像成像裝 置,將會使得使用者在操作器械時活動受限,故透過無線傳輸模組126將三軸轉動量及開闔角度的數據以無線傳輸的方式傳輸至虛擬影像成像裝置。於一實施例中,無線傳輸模組126可為藍牙模組,藍牙模組具有相容性高的效用。實作上,藍牙模組係一種可以應用在各種電子裝置(如:筆記型電腦、行動電話、數位相機和其它相類似電子產品等)之無線傳輸模組。將藍牙模組使用在器械定位系統中作為無線傳輸模組126,透過感測模組125感測並計算出三軸轉動量及開闔角度,傳輸至能夠接收藍牙模組所發射之訊號的虛擬影像成像裝置。或者,於另一實施例中,無線傳輸模組126亦可為Wi-Fi模組、Zigbee或其他短距離無線收發模組。
第2圖是依照本發明一實施例之一種器械定位系統的方塊圖。如第2圖所示,於一實施例中,本發明所提供的器械定位系統包含訓練箱110、器械120、影像擷取裝置131、132及虛擬影像成像裝置140。訓練箱110係用以模擬欲進行手術部位的病患腔體。訓練箱110旁側有開孔,提供影像擷取裝置131、132得以擷取訓練箱內部之影像以產生影像資料。訓練箱110內設置有光源127(如:燈泡、發光二極體或可輕易思及具有相同功能之發光源),當器械120之夾具121伸入訓練箱110內時,夾具121受到光源127的照明,影像擷取裝置131、132可立即捕捉到夾具121的影像,特別是為了擷取夾具121上設置的標記122。影像擷取裝置131、132可為兩組相機,兩組相機分別可擷取到 標記122的影像,並產生影像資料。影像擷取裝置131、132所產生的影像資料會傳輸至虛擬影像成像裝置140中。當夾具121伸入至訓練箱110內部時,虛擬影像成像裝置140會辨識影像資料以計算出標記122的三維座標。
當虛擬影像成像裝置140已接收到標記122的三維座標、器械120的三軸轉動量及夾具121的開闔角度後,基於三維座標、三軸轉動量及開闔角度據以計算並轉換出相應於夾具121伸入至訓練箱110內部時的虛擬影像。舉例而言,虛擬影像成像裝置140中的主機可整合入建構三維影像的程式,例如C#及Quest3D或Unity3D。藉由C#程式及Quest3D或Unity3D程式處理虛擬影像成像裝置140接收到的三維座標、三軸轉動量及開闔角度可建構出三維的虛擬影像。
於一實施例中,器械定位系統更包含虛擬影像顯示裝置150,用以顯示虛擬影像成像裝置140所轉換出之虛擬影像。當夾具121放置入訓練箱110內部時,虛擬影像顯示裝置150會顯示相應於夾具121伸入至訓練箱110內部時之虛擬影像。實作上,虛擬影像顯示裝置150可為獨立之顯示螢幕。
第3圖是依照本發明一實施例之一種器械定位系統之虛擬影像成像裝置140的示意圖。如第3圖所示,於一實施例中,虛擬影像成像裝置140包含影像辨識單元141、收發器142及主機143。影像辨識單元141電性連接影像擷取裝置131、132(繪示於第2圖),收發器142電性 連接影像辨識單元141,主機143電性連接或無線連接收發器142。影像辨識單元141用以辨識影像擷取裝置131、132所產生之影像資料以計算出三維座標。收發器142將三維座標傳輸至主機143。主機143(如:電腦、平板)用以基於三維座標、三軸轉動量及開闔角度以計算並轉換出相應於夾具伸入至訓練箱內部時的虛擬影像。
舉例來說,於虛擬影像成像裝置140中,在影像辨識單元141可為可程式化閘陣列(Field Programmable Gate Array,FPGA)電路板,而主機143可為電腦主機,彼此之間透過收發器142進行通訊。其中,無線通訊之短距離通訊模組,例如藍牙模組、Wi-fi模組或符合Zigbee協定之無線通訊模組,或是收發器142可為有線之通訊模組,例如通用非同步收發器(Universal Asynchronous Receiver Transmitter,UART)。或者,虛擬影像成像裝置140可為單一台桌上型電腦、筆記型電腦或平板電腦,影像辨識單元141亦可為140平台上的軟體程式及硬體,而經由虛擬影像成像裝置140成像後的虛擬影像,需透過顯示器以顯示虛擬影像。例如當虛擬影像成像裝置140為單一台桌上型電腦時,則藉由外接顯示器以顯示虛擬影像;當虛擬影像成像裝置140為筆記型電腦或平板電腦時,則藉由筆記型電腦或平板電腦上之顯示器以顯示虛擬影像,本領域具有通常知識者應視當時需要彈性選擇虛擬影像成像裝置140之具體實施方式。
第4圖是依照本發明一實施例之一種器械定位系 統之影像辨識單元141的示意圖。如第4圖所示,影像擷取裝置430擷取影像後,會針對影像進行影像白平衡處理431,形成影像資料,然後再將所產生的影像資料傳送至影像辨識單元141中。此處的影像擷取裝置430涵蓋了第2圖所繪示之影像擷取裝置131、132(如:相機),並且影像擷取裝置131、132擷取影像後,會針對影像進行影像白平衡處理431,以改善色偏現象,透過補色或是調整色溫來進行補償。其中,在對影像擷取裝置參數進行校正時,會先於箱內放置一白色的校正用物體,影像擷取裝置430擷取該校正用物體後會對該校正用物體之影像進行影像白平衡處理431,以產生影像資料,當影像辨識單元141接收影像資料後,影像白平衡偵測442會先偵測影像資料,並由控制單元441透過串流通訊匯流排443將校正後的影像擷取裝置參數傳輸至影像擷取裝置430,以調整影像白平衡處理431之參數,減少顏色偵測的誤差。
由於影像經過影像白平衡處理431處理後,影像資料會接近於日光下擷取到的色彩。自影像擷取裝置430所輸出的原始影像資料係RGB三原色值的格式。三原色是紅色、綠色及藍色,三原色值係以數值表達三原色以不同比例相加後產生的色光。例如以每像素24位元編碼的三原色值,使用三個8位元無符號整數0~255表示紅、綠及藍的強度比例,黑色的三原色值為(0,0,0),白色的三原色值為(255,255,255),紅色的三原色值為(255,0,0),綠色的三原色值為(0,255,0),藍色的三原色值為(0,0,255),橄欖 色的三原色值為(128,128,0),銀色的三原色值為(192,192,192)...等。
在影像擷取裝置131、132擷取影像並經過影像白平衡處理431處理後,影像資料會輸入影像辨識單元141並進行色彩空間轉換444,藉由偵測標記的座標可得知夾具的位置。使用彩色模型(Hue Saturation Value Model)來偵測色彩是較適當的方式。彩色模型是一種將三原色值放在圓柱座標系中的表示法,以HSV(Hue Saturation Value)值表達出色相(即顏色的基本屬性,如紅色、黃色等)、飽和度(0~100%)及明亮度(0~100%)。透過彩色模型,將影像資料的多個RGB三原色值轉換為多個HSV值,進行標記顏色偵測445。藉由膨脹(Dilation)與侵蝕(Erosion)446的處理可濾除標記之影像雜訊。彩色模型上的標記影像會呈現邊緣崎嶇不平或是有凹洞的現象,故先進行侵蝕處理使標記影像收縮,再將標記影像進行膨脹處理以填滿縫隙,如此便可濾除標記之影像雜訊。
最後從經過膨脹與侵蝕446處理的影像中,針對標記影像計算重心與座標447。標記的重心可藉由彩色模型計算出來,但由於影像擷取裝置430所擷取的影像資料會因為兩個相機的設置位置不同而相異,將兩個相機偵測到之標記轉換為兩組二維座標後,利用立體成像技術將兩組二維座標轉換為一組三維座標,再將三維座標透過收發器142輸出至主機143。
控制單元441可為影像辨識單元141當中之微處理 器。而當器械定位系統在初始設定時,也必須先針對影像辨識單元141輸入校正參數,以更準確地計算出標記的三維座標。
除此之外,影像辨識單元141可外接顯示器470,顯示器470用以顯示影像擷取裝置430之影像或是影像辨識單元141之辨識結果,使用者在針對影像辨識單元141進行初始設定時,可藉由顯示器470來進行影像辨識單元141輸入校正參數的調整,以使得標記能夠更清晰。實作上,當影像辨識單元141為可程式化閘陣列積體電路板時,顯示器470可整合於影像辨識單元141中,或者顯示器470可為獨立之顯示螢幕。
第5圖是依照本發明一實施例之一種器械定位方法的流程圖。如第5圖所示,器械定位方法包含步驟510~570(應瞭解到,在本實施例中所提及的步驟,除特別敘明其順序者外,均可依實際需要調整其前後順序,甚至可同時或部分同時執行)。至於實施該些步驟的硬體裝置,由於以上實施例已具體揭露,因此不再重複贅述之。
於步驟510中,擷取訓練箱內部之影像以產生影像資料。當器械之夾具伸入至訓練箱內部時,影像資料便包含了夾具及標記。於步驟520中,當器械之夾具伸入至訓練箱內部時,辨識影像資料以計算出夾具上之標記的三維座標。於一實施例中,將影像資料進行白平衡處理,將影像資料之三原色值轉換至彩色模型上,偵測標記之顏色,藉由膨脹與侵蝕以濾除標記之影像雜訊,將偵測到之標記 轉換為兩組二維座標,再將兩組二維座標轉換為一組三維座標,並利用收發器傳輸三維座標。如上所述辨識影像資料以計算出夾具上之標記的三維座標之步驟,實施該些步驟的硬體裝置,由於以上實施例已具體揭露,因此不再重複贅述之。
於步驟530中,感測器械之角動量以計算器械之三軸轉動量。於一實施例中,步驟530更包含感測該器械之X、Y和Z方向的角動量,並且針對所感測到之角動量進行校正。於步驟540中,感測夾具的開闔程度以計算夾具之開闔角度。夾具上之標記的三維座標、器械之三軸轉動量,以及夾具之開闔角度共包含了七個自由度的數值。於步驟550中,傳輸三軸轉動量及開闔角度。於一實施例中,三軸轉動量及開闔角度係藉由藍牙模組、Wi-Fi模組、Zigbee或其他短距離無線收發模組傳輸,而三維座標係藉由收發器(如:藍牙模組、Wi-fi模組、符合Zigbee協定之無線通訊模組,或是通用非同步收發器)傳輸。於步驟560中,基於三維座標、三軸轉動量及開闔角度據以計算並轉換出相應於夾具伸入至訓練箱內部時的虛擬影像。於步驟570中,顯示相應於夾具伸入至訓練箱內部時的虛擬影像。
器械定位系統及其方法可應用於微創手術訓練,透過虛擬影像成像裝置將三維座標、三軸轉動量及開闔角度等七個自由度之數值經過計算後轉換出夾具在訓練箱內部時的虛擬影像,可以提供老師與學生之間進行微創手術訓練時的操作指導,學生不再只是透過從旁觀察老師的手進 行學習。
本發明所揭示之器械定位系統及其方法亦可應用於以虛擬實境或電腦動畫展現之模擬訓練,透過模擬訓練來訓練使用者操作器械的準確度、穩定度及手眼的協調度。第6圖是依照本發明一實施例之一種模擬訓練視窗600的示意圖。如第2、6圖所示,虛擬影像成像裝置140執行電腦動畫之模擬訓練,於虛擬影像顯示裝置150上顯示模擬訓練視窗600。當使用者將夾具121放置入訓練箱110內部時,模擬訓練視窗600中的虛擬器械620便會反應出夾具121在訓練箱110內部的位置,當使用者操作把手123以控制夾具121之開闔時,模擬訓練視窗600中的虛擬器械620上的虛擬夾具621亦會反應出夾具121的開闔程度。使用者手持器械120,並看著模擬訓練視窗600透過操作器械120模擬夾取模擬訓練視窗600中的圓珠641~646,並模擬將圓珠641~646夾取後移動到模擬訓練視窗600中的凹槽630處上方,並將圓珠641~646投入凹槽630內,即可完成模擬訓練。
更進一步來說,當使用者透過如第6圖所示之模擬訓練時,本發明所揭示之器械定位系統記錄夾具的移動路徑,也就是當使用者進行模擬訓練時,器械定位系統會記錄在模擬訓練視窗600中虛擬夾具621的移動路徑,透過移動路徑的紀錄可進一步數據化使用者操作器械的準確度、穩定度及手眼的協調度,便於分析模擬訓練的結果。實作上,模擬訓練視窗600中虛擬夾具621的移動路徑可 記錄於虛擬影像成像裝置的主機中。
雖然本發明已以實施方式揭露如上,然其並非用以限定本發明,任何熟習此技藝者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
110‧‧‧訓練箱
120‧‧‧器械
121‧‧‧夾具
122‧‧‧標記
123‧‧‧把手
124‧‧‧彎曲電阻
125‧‧‧感測模組
126‧‧‧無線傳輸模組
127‧‧‧光源
131、132‧‧‧影像擷取裝置
140‧‧‧虛擬影像成像裝置
150‧‧‧虛擬影像顯示裝置

Claims (8)

  1. 一種器械定位系統,包含:一訓練箱;一器械,包含:一夾具,具有至少一標記;一把手,用以控制該夾具之開闔程度;一彎曲電阻,連接於該把手,具有相應該夾具開闔程度之一可變電阻值;一感測模組,用以感測該器械之一角動量以計算三軸轉動量,並感測該可變電阻值以計算一開闔角度;以及一無線傳輸模組,電性連接該感測模組,用以傳輸該三軸轉動量及該開闔角度;二影像擷取裝置,用以擷取該訓練箱內部之複數個影像以產生複數影像資料;以及一虛擬影像成像裝置,用以當該夾具伸入至該訓練箱內部時,辨識該些影像資料以計算出該標記的三維座標,並基於該三維座標、該三軸轉動量及該開闔角度以計算並轉換出相應於該夾具伸入至該訓練箱內部時的一虛擬影像,其中該虛擬影像成像裝置包含:一影像辨識單元,電性連接該些影像擷取裝置,用以辨識該些影像資料以計算出該三維座標; 一收發器,電性連接該影像辨識單元,用以傳輸該三維座標;以及一主機,連接該收發器,用以基於該三維座標、該三軸轉動量及該開闔角度以計算並轉換出相應於該夾具伸入至該訓練箱內部時的該虛擬影像。
  2. 如請求項1之器械定位系統,其中該影像辨識單元係將進行白平衡處理後的該些影像資料之複數顏色值做色彩空間轉換,偵測該標記之顏色,濾除該標記之影像雜訊,將偵測到之該標記轉換為複數二維座標,再將該些二維座標轉換為該三維座標。
  3. 如請求項1之器械定位系統,其中該感測模組包含:一陀螺儀,用以感測該角動量;一加速度計及一磁力計,用以校正該陀螺儀所感測之該角動量;以及一單晶片,用以將該角動量轉換成該三軸轉動量並傳送到該無線傳輸模組。
  4. 如請求項1之器械定位系統,更包含:一虛擬影像顯示裝置,用以顯示該虛擬影像。
  5. 一種器械定位方法,包含:(a)擷取一訓練箱內部之複數個影像以產生複數影像 資料;(b)當一器械之一夾具伸入至該訓練箱內部時,辨識該些影像資料以計算出該夾具上之至少一標記的一三維座標;(c)感測該器械之角動量以計算一三軸轉動量;(d)感測該夾具的開闔程度以計算一開闔角度;(e)傳輸該三軸轉動量及該開闔角度;以及(f)基於該三維座標、該三軸轉動量及該開闔角度以計算並轉換出相應於該夾具伸入至該訓練箱內部時的一虛擬影像,其中步驟(b)更包含:將進行白平衡處理後之該些影像資料之複數顏色值做色彩空間轉換;偵測該標記之顏色;濾除該標記之影像雜訊;將偵測到之該標記轉換為複數二維座標;以及再將該些二維座標轉換為該三維座標。
  6. 如請求項5之器械定位方法,其中步驟(b)更包含:藉由一收發器傳輸該三維座標。
  7. 如請求項5之器械定位方法,其中步驟(c)更包含:感測該角動量;校正所感測到之該角動量;以及將該角動量轉換成該三軸轉動量並傳送。
  8. 如請求項5之器械定位方法,其中步驟(f)更包含:顯示該虛擬影像。
TW103113778A 2014-04-16 2014-04-16 器械定位系統及器械定位方法 TWI539926B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW103113778A TWI539926B (zh) 2014-04-16 2014-04-16 器械定位系統及器械定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103113778A TWI539926B (zh) 2014-04-16 2014-04-16 器械定位系統及器械定位方法

Publications (2)

Publication Number Publication Date
TW201540250A TW201540250A (zh) 2015-11-01
TWI539926B true TWI539926B (zh) 2016-07-01

Family

ID=55220229

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103113778A TWI539926B (zh) 2014-04-16 2014-04-16 器械定位系統及器械定位方法

Country Status (1)

Country Link
TW (1) TWI539926B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI562099B (en) * 2015-12-23 2016-12-11 Univ Nat Yunlin Sci & Tech Markers Based 3D Position Estimation for Rod Shaped Object Using 2D Image and Its Application In Endoscopic MIS Instrument Tracking Positioning and Tracking

Also Published As

Publication number Publication date
TW201540250A (zh) 2015-11-01

Similar Documents

Publication Publication Date Title
US10488659B2 (en) Apparatus, systems and methods for providing motion tracking using a personal viewing device
US10071306B2 (en) System and method for determining orientation using tracking cameras and inertial measurements
Daponte et al. State of the art and future developments of measurement applications on smartphones
CN104781849B (zh) 单眼视觉同时定位与建图(slam)的快速初始化
TWI505709B (zh) 擴增實境場景中決定個體化深度資訊的系統和方法
US9463359B2 (en) Rehabilitation assistance system
CN102945637A (zh) 一种基于增强现实的嵌入式教学模型及其方法
CN106774868B (zh) 一种无线演示装置
US20140085198A1 (en) Correlating Pupil Position to Gaze Location Within a Scene
CN106247951A (zh) 一种基于深度图像的物体测量方法
CN109615601A (zh) 一种融合彩色与灰阶深度图像的方法
CN103747196B (zh) 一种基于Kinect传感器的投影方法
US20180028861A1 (en) Information processing device and information processing method
CN108257177A (zh) 基于空间标识的定位系统与方法
CN108151738A (zh) 带姿态解算的可编码主动光标识球
JP2017532080A (ja) 運動姿勢分析装置及び運動姿勢分析情報生成方法
KR20140077029A (ko) 복강경 수술용 시뮬레이션 장치 및 방법
TWI539926B (zh) 器械定位系統及器械定位方法
CN108280423A (zh) 基于人体姿态识别的矫姿系统
CN107945607A (zh) 超声演示系统及装置
CN105912117A (zh) 运动状态捕捉方法和系统
CN207408313U (zh) 基于增强现实技术的产品合格检测装置
KR102391628B1 (ko) 증강현실과 연계 동작 가능한 스마트 코딩블록 시스템
CN113536552A (zh) 一种人体姿态可视化跟踪系统
KR20160015674A (ko) 관성센서를 이용한 인체 동작 분석 시스템

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees