TWI615126B - 影像增強真實度之方法與應用該方法在可穿戴式眼鏡之手術導引 - Google Patents

影像增強真實度之方法與應用該方法在可穿戴式眼鏡之手術導引 Download PDF

Info

Publication number
TWI615126B
TWI615126B TW105134457A TW105134457A TWI615126B TW I615126 B TWI615126 B TW I615126B TW 105134457 A TW105134457 A TW 105134457A TW 105134457 A TW105134457 A TW 105134457A TW I615126 B TWI615126 B TW I615126B
Authority
TW
Taiwan
Prior art keywords
marked point
conversion matrix
image
camera
eye
Prior art date
Application number
TW105134457A
Other languages
English (en)
Other versions
TW201801682A (zh
Inventor
王民良
李佩淵
胡名賢
Original Assignee
王民良
李佩淵
胡名賢
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 王民良, 李佩淵, 胡名賢 filed Critical 王民良
Publication of TW201801682A publication Critical patent/TW201801682A/zh
Application granted granted Critical
Publication of TWI615126B publication Critical patent/TWI615126B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

本發明揭示一種影像增強真實度之方法，其包含下列步驟：獲得一相機與一標記點的一第一轉換矩陣；獲得該眼睛與該相機的一第二轉換矩陣；連結該第一轉換矩陣與該第二轉換矩陣以獲得該眼睛對該標記點的一正確位置對應矩陣；連結該正確位置對應矩陣與該標記點的位置特徵，以獲得該眼睛對該標記點的該正確位置。本發明更提出一種可穿戴式眼鏡之手術導引方法，可用於獲得手術操作者眼睛對該標記點的正確位置。

Description

影像增強真實度之方法與應用該方法在可穿戴式眼鏡之手術導引
本發明係有關於一種影像增強真實度之方法，特別係應用該方法在可穿戴式眼鏡之手術導引。
近年來，在新型醫療服務技術之發展中，電腦輔助手術(Computer-assisted surgery)之利用比率大幅提昇。由於手術器械以及影像技術的進步，醫師進行手術的精準度提升，同時也可將病患身上的傷口降到最小。一般而言，電腦輔助手術通常包含四個部分：從病人身上獲取影像、影像分析與處理、診斷與手術前規劃模擬、以及最後對病人進行手術時之手術導引。目前以電腦導航進行外科手術方面共分有下列幾種類型：利用斷層掃描影像，包括電腦斷層(CT)、磁共振影像(MRI)、X光、核醫影像，重建出3D模型(非即時影像)，再利用開刀房用移動式X光機(C-ARM)或超音波影像作為導引之輔助(即時影像)、以及非影像式導引系統。
外科手術影像導引系統臨床的應用，包括脊髓手術導引(例如，椎弓根螺釘固定、切除損傷部位、切除硬塊、於固定的深度及安置癲癇患者治療用電極)；頭顱病變手術(例如，腦膜瘤的治療，顱咽管瘤，軟骨肉瘤，和其他在顱部病變)；組織切片和腫瘤切除術；帕金森氏病之治療；精 神疾病腦迴部立體定位治療；功能性內試鏡鼻竇手術，神經血管修補手術及心室繞道手術和心室分流置換手術。本系統也可用於髖關節和膝關節手術，例如全膝關節置換術，全髖關節置換術，和前十字韌帶重建。
手術導引必須結合影像、電子、機械等各類技術，將手術器械方位投影至影像上，輔助醫師掌握器械與病人間之相對方位，達到導航之目的。在手術前先在病人手術位置貼上標記點，再讓病患接受電腦斷層或磁振造影顯影之檢查；之後將電腦斷層或/及磁共振影像的影像在電腦內重組出手術位置附近的三維影像，並標明異常與正常功能區的位置。手術時病人手術位置及手術器械上均安裝標記，紅外線攝影機(或超音波等)可依據這些標記球反射出來的紅外線訊號，同步定位出手術器械和手術位置的相對位置，以建立手術時之空間關係。此外，外科醫師也可透過抬頭顯示器或頭上所帶的目鏡，見到重組的影像。
擴增實境(Augmented Reality，AR)一般用以在病患之真實影像上顯示虛擬資訊。特別是在內視鏡結構中，過去經常在微創手術以擴增實境進行影像之疊加，此方式並無法直接透過攝影機進行觀察，但是卻可在手術前影像中見到。擴增實境技術協助外科醫生可看透病患之身體部位，使得醫生在探視手術位置前，即可有效定位其重要之結構，而不需要事前透過觸覺而進行位置之確認。擴增實境技術似乎是目前最有發展潛力之研究，其引導並幫助外科醫生監督機器人手術之過程。
在手術位置貼上標記點上，傳統上係透過追蹤探針進行物理空間之定位，而其手術位置標記點係採用最小平方法來對準。最常見之三維至二維手術位置標記點，主要係根據特殊表面特徵之功能。而手術位置 之表面將由手術前影像與手術中影像所擷取之輪廓進行分割，並根據成本函數使距離最小化之方式來進行紀錄。而該輪廓之選擇相當繁瑣且耗費時間，因此，需要使用如金屬針或網格進行基準標記，用以對準手術位置貼上標記點以進行影像引導治療。目前發展出許多方法用以解決手術前影像裝置之姿態評估問題，其中，影像射線假定相交於一共用點上。過去已經針對影像基礎問題進行研究。閉合形式解(Closed-form solutions)已經被制定用以確認是否採用三或四組三維/二維對應處。
鑑於上述問題，有必要提出一種更精確的手術導引方式。在本專利中，其主要提出一種影像增強真實度之方法，特別係應用該方法在整形外科用增強真實性之電腦輔助眼鏡(Augmented Reality Computer Assisted Glasses for Orthopaedic，ARCAGO)。
本發明之主要目的在於提出一種增強影像真實度之方法，用於獲得一眼睛對一標記點的一正確位置，其包括下列步驟：獲得一相機與一標記點的一第一轉換矩陣；獲得該眼睛與該相機的一第二轉換矩陣；連結該第一轉換矩陣與該第二轉換矩陣以獲得該眼睛對該標記點的一正確位置對應矩陣；連結該正確位置對應矩陣與該標記點的位置特徵，以獲得該眼睛對該標記點的該正確位置。
根據本發明之一特徵，獲得該第一轉換矩陣係使用一函式庫偵測該標記點之位置特徵並經一第一數學運算獲得。
根據本發明之一特徵，獲得該眼睛與該相機的一第二轉換矩陣更包含下列步驟：戴上一眼鏡，點選該標記點的複數個角點以獲得該眼鏡的螢幕上之一2維座標；利用該函式庫獲得相對應該相機一三維座標，經一第二數學運算獲得該2維座標與該相機的該第二轉換矩陣；利用解聯立方程式獲得該第二轉換矩陣。
根據本發明之一特徵，該標記點的複數個角點係為該標記點的12個角點。
本發明之另一目的在於提出一種可穿戴式眼鏡之手術導引方法，其包括下列步驟：手術前，於患部一個以上的標記點先製作一斷層影像；將該斷層影像製作成一三維立體模擬影像；藉由一增強影像真實度之方法，用於獲得一手術操作者眼睛對該患部的標記點的一正確位置，以調整該三維立體模擬影像與該標記點的誤差；其中增強影像真實度之方法包括下列步驟：獲得一相機與該標記點的一第一轉換矩陣；獲得該手術操作者眼睛與該相機的一第二轉換矩陣；連結該第一轉換矩陣與該第二轉換矩陣以獲得該眼睛對該標記點的一正確位置對應矩陣；連結該正確位置對應矩陣與該標記點的位置特徵，以獲得該眼睛對該標記點的該正確位置。
根據本發明之一特徵，獲得該第一轉換矩陣係使用一函式庫偵測該標記點之位置特徵並經一第一數學運算獲得。
根據本發明之一特徵，獲得該眼睛與該相機的一第二轉換矩陣更包含下列步驟：戴上一眼鏡，點選該標記點的 複數個角點以獲得該眼鏡的螢幕上之一2維座標；利用該函式庫獲得相對應該相機一三維座標，經一第二數學運算獲得該2維座標與該相機的該第二轉換矩陣；利用解聯立方程式獲得該第二轉換矩陣。
根據本發明之一特徵，該標記點的複數個角點係為該標記點的12個角點。
10‧‧‧相機
20‧‧‧標記點
30‧‧‧手術操作者眼睛
40‧‧‧螢幕
第1圖所示為本發明一種增強影像真實度之方法與使用該方法的可穿戴式眼鏡之手術導引方法的系統架構。
第2圖所示為本發明第1圖系統架構的座標關係圖。
雖然本發明可表現為不同形式之實施例，但附圖所示者及於下文中說明者係為本發明可之較佳實施例，並請瞭解本文所揭示者係考量為本發明之一範例，且並非意圖用以將本發明限制於圖示及/或所描述之特定實施例中。
本發明所提出一種影像增強真實度之方法，可應用在整形外科用增強真實性之電腦輔助眼鏡(Augmented Reality Computer Assisted Glasses for Orthopaedic，ARCAGO)。本發明主要是解決有關於三維模型應用於手術中之紀錄方法，且其使用由CT術前影像所擷取之三維模型。我們將考量在手術使用增強真實性技術以及採用三維-三維姿態紀錄之基礎影像方法。一旦紀錄該姿態，則該增強真實性將可視為一虛擬以及真實環境空間之混合，其同步重現患者之資訊。
由於人的眼睛從眼鏡看出去的視覺焦距與實際物體相對眼睛的距離有誤差值，因此本發明在於解決這個問題。第一個部分是一相機抓一標記點位置，第二個部分是校正一手術操作者眼睛30對於該標記點的位置誤差值。
現請參考第1圖，其顯示為本發明一種增強影像真實度之方法與使用該方法的可穿戴式眼鏡之手術導引方法的系統架構。第2圖所示為本發明第1圖系統架構的座標關係圖。其中，一相機10係位於一標記點20的附近，一手術操作者眼睛30係位於該相機10附近，且位於該標記點20的上方。由於該手術操作者配戴一可穿戴式眼鏡，所以在眼睛30與該標記點20之間係存在著該可穿戴式眼鏡的螢幕40。
該強影像真實度之方法，可獲得一眼睛對一標記點的一正確位置，其包括下列步驟：步驟1：獲得一相機與一標記點的一第一轉換矩陣Mmc；步驟2：獲得該眼睛與該相機的一第二轉換矩陣Mce；步驟3：連結該第一轉換矩陣與該第二轉換矩陣以獲得該眼睛對該標記點的一正確位置對應矩陣Mme；步驟4：連結該正確位置對應矩陣與該標記點的位置特徵，以獲得該眼睛對該標記點的該正確位置。
需注意的是，其中相機與標記點的該第一轉換矩陣Mmc中其值是變動的，但可以由相機獲得；眼睛與相機的該第二轉換矩陣Mce其值是固定的，但是其值未知，需經由該標記點的 複數個角點來做校正以獲得該該第二轉換矩陣Mce之值。而該正確位置對應矩陣Mme其值是變動且未知的，便可藉由將該第一轉換矩陣與乘上該第二轉換矩陣來獲得。
現請同時參考第2圖。在步驟1中，獲得該第一轉換矩陣Mmc係使用一第一函式庫偵測該標記點之位置特徵並經一第一數學運算獲得。其中X c ,Y c ,Z c 為該相機的座標，如矩陣式(1)中所示；且X m ,Y m ,Z m 為該標記點的位置特徵，亦即該標記點的座標。
Figure TWI615126BD00001
現請同時參考第2圖。在步驟2中，獲得該眼睛與該相機的一第二轉換矩陣更包含下列步驟：步驟21，戴上一眼鏡，點選該標記點的複數個角點以獲得該眼鏡的螢幕上之一2維座標；步驟22，利用一第二函式庫獲得相對應該相機一三維座標，經一第二數學運算獲得該2維座標與該相機的該第二轉換矩陣Mce，如矩陣式(2)中所示；其中(u i ,v i ,w i )為該螢幕上之2維座標，其係根據該標記點的複數個角點而有 不同的對應座標值；且(
Figure TWI615126BD00002
,
Figure TWI615126BD00003
,
Figure TWI615126BD00004
)為該相機的三維座標，其係根據該標記點的複數個角點而有不同的對應座標值。
Figure TWI615126BD00005
步驟22，利用解聯立方程式獲得該第二轉換矩陣。
其中，該標記點的複數個角點係至少為8個以上的角點，較佳是12個角點。且該第一函式庫與該第二函式庫係為C/C++語言編寫的ArToolKit函式庫或是Aurocco或ooopds等等之函式庫。
該可穿戴式眼鏡之手術導引方法，其包括下列步驟：步驟100，手術前，於患部一個以上的標記點先製作一斷層影像；步驟200，將該斷層影像製作成一三維立體模擬影像；步驟300，藉由一增強影像真實度之方法，用於獲得一手術操作者眼睛對該患部的標記點的一正確位置，以調整該三維立體模擬影像與該標記點的誤差；其中步驟300，增強影像真實度之方法包括下列步驟：步驟310，獲得一相機與該標記點的一第一轉換矩陣；步驟320，獲得該眼睛與該相機的一第二轉換矩陣；步驟330，連結該第一轉換矩陣與該第二轉換矩陣以獲得該眼睛對該標記點的一正確位置對應矩陣； 步驟340，連結該正確位置對應矩陣與該標記點的位置特徵，以獲得該眼睛對該標記點的該正確位置。
其中該斷層影像可以包括電腦斷層(CT)、磁共振影像(MRI)、X光、核醫影像等影像，以重建出的3D非即時影像模型。
由於人的眼睛從眼鏡看出去的視覺焦距與實際物體相對眼睛的距離有誤差值，因此本發明在於解決這個問題。在手術前，手術操作者，亦即執刀醫生，戴上眼鏡(亦即是電腦輔助眼鏡)後，先以複數個，通常是8個以上，較佳是12個偵測點，以測試手術操作者眼睛30取決自眼鏡的焦距。經過計算後，將該視覺焦距的誤差值回饋至電腦系統運算，所得的調整焦距數值將會據以調節步驟100與步驟200所得的三維立體模擬影像，並投影於該電腦輔助眼鏡的螢幕40前，如此即可獲得對位於患部的視覺的精準的3D模擬影像。
在步驟310中，獲得該第一轉換矩陣係使用一第一函式庫偵測該標記點之位置特徵並經一第一數學運算獲得，如矩陣式(1)中所示。
在步驟320中，獲得該眼睛與該相機的一第二轉換矩陣更包含下列步驟：步驟321，戴上一眼鏡，點選該標記點的複數個角點以獲得該眼鏡的螢幕上之一2維座標；步驟322，利用一第二函式庫獲得相對應該相機一三維座標，經一第二數學運算獲得該2維座標與該相機的該第二 轉換矩陣，如矩陣式(2)中所示；步驟322，利用解聯立方程式獲得該第二轉換矩陣。
其中，該標記點的複數個角點係至少為8個以上的角點，較佳是12個角點。且該第一函式庫與該第二函式庫係為C/C++語言編寫的ArToolKit函式庫，或是Aurocco或ooopds等等之函式庫。
本發明透過所提出之一增強影像真實度之方法，克服建立基礎影像方法之問題。在臨床實驗中，使用一病患之三維模型，該ARCAGO用以說明所提出之基礎影像紀錄方法，並用以尋找整型外科手術之切入點。實驗結果顯示，有兩名外科醫生層使用所提出之增強影像真實度系統於四次脊柱手術中，而比起使用C-arm引導針頭至目標切入點之時間將可縮短70%。主要原因是影像將直接顯適於眼鏡上，而外科醫生僅需要注視病患而不需要注意C-arm之螢幕。這些試驗顯示該系統可完美地在手術房運作並提供相當有用之資訊，特別是尋找切入點之脊柱外科手術。為了精確地進行評估，使用於20組切入點於模擬的假人上，並使用ARCAGO系統模擬腰椎穿刺流程於四次實驗之中。在動態操作之情況下，其平均誤差距離為2.2±0.25毫米。
本發明透過所提出之一種可穿戴式眼鏡之手術導引方法。在臨床實驗中，雙眼立體校准精確度≦1.5mm；臨床使用校準時間≦3分鐘。標記點定位點精確度≦1mm；且定位的執行速度達30fps。三維立體模擬影像模型偏移穩定性≦1.5mm，且執行速度達30fps。
根據本發明之揭示，本發明具有下列減少手術時間、降低X光使用量輻射線少、輔助手術定位等優點。
雖然本發明已以前述較佳實施例揭示，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與修改。如上述的解釋，都可以作各型式的修正與變化，而不會破壞此發明的精神。因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10‧‧‧相機
20‧‧‧標記點
30‧‧‧手術操作者眼睛
40‧‧‧螢幕

Claims (10)

  1. 一種增強影像真實度之方法，用於獲得一眼睛對一標記點的一正確位置，其包括下列步驟：獲得一相機與一標記點的一第一轉換矩陣；獲得該眼睛與該相機的一第二轉換矩陣；連結該第一轉換矩陣與該第二轉換矩陣以獲得該眼睛對該標記點的一正確位置對應矩陣；連結該正確位置對應矩陣與該標記點的位置特徵，以獲得該眼睛對該標記點的該正確位置；其中獲得該眼睛與該相機的一第二轉換矩陣更包含下列步驟：戴上一眼鏡，點選該標記點的複數個角點以獲得該眼鏡的螢幕上之一2維座標；利用一第二函式庫獲得相對應該相機一三維座標，經一第二數學運算獲得該2維座標與該相機的該第二轉換矩陣；利用解聯立方程式獲得該第二轉換矩陣。
  2. 如申請專利範圍第1項所述之增強影像真實度之方法，其中獲得該第一轉換矩陣係使用一第一函式庫偵測該標記點之位置特徵並經一第一數學運算獲得。
  3. 如申請專利範圍第1項所述之增強影像真實度之方法，其中該正確位置對應矩陣其值是變動且未知的，係藉由將該第一轉換矩陣與乘上該第二轉換矩陣來獲得。
  4. 如申請專利範圍第1項所述之增強影像真實度之方法，其中該標記點的複數個角點係至少為8個個角點。
  5. 如申請專利範圍第1項所述之增強影像真實度之方法，其中該標記點的複數個角點係為12個角點。
  6. 一種可穿戴式眼鏡之手術導引方法，其包括下列步驟：手術前，於患部一個以上的標記點先製作一斷層影像；將該斷層影像製作成一三維立體模擬影像；藉由一增強影像真實度之方法，用於獲得一手術操作者眼睛對該患部的標記點的一正確位置，以調整該三維立體模擬影像與該標記點的誤差；其中增強影像真實度之方法包括下列步驟：獲得一相機與該標記點的一第一轉換矩陣；獲得該手術操作者眼睛與該相機的一第二轉換矩陣；連結該第一轉換矩陣與該第二轉換矩陣以獲得該眼睛對該標記點的一正確位置對應矩陣；連結該正確位置對應矩陣與該標記點的位置特徵，以獲得該眼睛對該標記點的該正確位置；其中獲得該眼睛與該相機的一第二轉換矩陣更包含下列步驟：戴上一眼鏡，點選該標記點的複數個角點以獲得該眼鏡的螢幕上之一2維座標；利用一第二函式庫獲得相對應該相機一三維座標，經一第二數學運算獲得該2維座標與該相機的該第二轉換矩陣；利用解聯立方程式獲得該第二轉換矩陣。
  7. 如申請專利範圍第6項所述之可穿戴式眼鏡之手術導引方法，其中獲得該第一轉換矩陣係使用一第一函式庫偵測該標記 點之位置特徵並經一第一數學運算獲得。
  8. 如申請專利範圍第6項所述之可穿戴式眼鏡之手術導引方法，其中該正確位置對應矩陣其值是變動且未知的，係藉由將該第一轉換矩陣與乘上該第二轉換矩陣來獲得。
  9. 如申請專利範圍第6項所述之可穿戴式眼鏡之手術導引方法，其中該標記點的複數個角點係至少為8個角點。
  10. 如申請專利範圍第6項所述之可穿戴式眼鏡之手術導引方法，其中該標記點的複數個角點係為12個角點。
TW105134457A 2016-07-11 2016-10-25 影像增強真實度之方法與應用該方法在可穿戴式眼鏡之手術導引 TWI615126B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/CN2016/000374 WO2018010040A1 (zh) 2016-07-11 2016-07-11 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引
??PCT/CN2016/000374 2016-07-11

Publications (2)

Publication Number Publication Date
TW201801682A TW201801682A (zh) 2018-01-16
TWI615126B true TWI615126B (zh) 2018-02-21

Family

ID=60952235

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105134457A TWI615126B (zh) 2016-07-11 2016-10-25 影像增強真實度之方法與應用該方法在可穿戴式眼鏡之手術導引

Country Status (5)

Country Link
US (1) US10603133B2 (zh)
EP (1) EP3525173A4 (zh)
CN (1) CN109416841B (zh)
TW (1) TWI615126B (zh)
WO (1) WO2018010040A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI741536B (zh) * 2020-03-20 2021-10-01 台灣骨王生技股份有限公司 基於混合實境的手術導航影像成像方法
TWI778922B (zh) * 2022-02-21 2022-09-21 國立勤益科技大學 鼻腔量測系統

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US10383692B1 (en) 2018-04-13 2019-08-20 Taiwan Main Orthopaedic Biotechnology Co., Ltd. Surgical instrument guidance system
EP3787543A4 (en) 2018-05-02 2022-01-19 Augmedics Ltd. REGISTRATION OF A REFERENCE MARK FOR AN AUGMENTED REALITY SYSTEM
TWI678679B (zh) * 2018-07-09 2019-12-01 財團法人資訊工業策進會 空間座標轉換伺服器以及方法
CN109223121A (zh) * 2018-07-31 2019-01-18 广州狄卡视觉科技有限公司 基于医学影像模型重建、定位的脑出血穿刺手术导航系统
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
CN109767645A (zh) * 2019-02-01 2019-05-17 谷东科技有限公司 一种基于ar眼镜的停车规划辅助方法及系统
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
TWI727725B (zh) * 2020-03-27 2021-05-11 台灣骨王生技股份有限公司 手術導航系統及其成像方法
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
CN113349928B (zh) * 2021-05-20 2023-01-24 清华大学 用于柔性器械的增强现实手术导航装置
TWI786666B (zh) * 2021-06-07 2022-12-11 國立臺灣大學 穿刺引導系統及方法
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
CN117124334B (zh) * 2023-10-23 2024-01-23 湖南视比特机器人有限公司 机器人漂移校正方法、机器人、存储介质和终端设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020113756A1 (en) * 2000-09-25 2002-08-22 Mihran Tuceryan System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
CN101797182A (zh) * 2010-05-20 2010-08-11 北京理工大学 一种基于增强现实技术的鼻内镜微创手术导航系统
US20120050493A1 (en) * 2010-08-24 2012-03-01 Siemens Corporation Geometric calibration of head-worn multi-camera eye tracking system
US20130156264A1 (en) * 2011-12-15 2013-06-20 Linus Mårtensson Minimizing drift using depth camera images

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7190331B2 (en) * 2002-06-06 2007-03-13 Siemens Corporate Research, Inc. System and method for measuring the registration accuracy of an augmented reality system
EP1723605A1 (en) * 2004-03-12 2006-11-22 Bracco Imaging, S.P.A. Accuracy evaluation of video-based augmented reality enhanced surgical navigation systems
US8648897B2 (en) * 2006-10-10 2014-02-11 Exelis, Inc. System and method for dynamically enhancing depth perception in head borne video systems
US8130261B2 (en) 2006-10-10 2012-03-06 Exelis, Inc. System and method for dynamically correcting parallax in head borne video systems
JP6008397B2 (ja) * 2013-03-04 2016-10-19 Kddi株式会社 光学式シースルー型ｈｍｄを用いたａｒシステム
US9846307B2 (en) * 2013-03-25 2017-12-19 Intel Corporation Method and apparatus for head worn display with multiple exit pupils
US9264702B2 (en) * 2013-08-19 2016-02-16 Qualcomm Incorporated Automatic calibration of scene camera for optical see-through head mounted display
CN106029000A (zh) * 2014-02-21 2016-10-12 阿克伦大学 用于引导医疗干预的成像和显示系统
JP6368142B2 (ja) * 2014-05-14 2018-08-01 キヤノン株式会社 情報処理装置、情報処理方法
US10198865B2 (en) * 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US10070120B2 (en) * 2014-09-17 2018-09-04 Qualcomm Incorporated Optical see-through display calibration
CN105395252A (zh) * 2015-12-10 2016-03-16 哈尔滨工业大学 具有人机交互的可穿戴式血管介入手术三维立体图像导航装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020113756A1 (en) * 2000-09-25 2002-08-22 Mihran Tuceryan System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
US6753828B2 (en) * 2000-09-25 2004-06-22 Siemens Corporated Research, Inc. System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
CN101797182A (zh) * 2010-05-20 2010-08-11 北京理工大学 一种基于增强现实技术的鼻内镜微创手术导航系统
US20120050493A1 (en) * 2010-08-24 2012-03-01 Siemens Corporation Geometric calibration of head-worn multi-camera eye tracking system
US20130156264A1 (en) * 2011-12-15 2013-06-20 Linus Mårtensson Minimizing drift using depth camera images

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI741536B (zh) * 2020-03-20 2021-10-01 台灣骨王生技股份有限公司 基於混合實境的手術導航影像成像方法
TWI778922B (zh) * 2022-02-21 2022-09-21 國立勤益科技大學 鼻腔量測系統

Also Published As

Publication number Publication date
EP3525173A1 (en) 2019-08-14
WO2018010040A1 (zh) 2018-01-18
US10603133B2 (en) 2020-03-31
CN109416841B (zh) 2023-03-31
TW201801682A (zh) 2018-01-16
EP3525173A4 (en) 2020-07-08
US20190216572A1 (en) 2019-07-18
CN109416841A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
TWI615126B (zh) 影像增強真實度之方法與應用該方法在可穿戴式眼鏡之手術導引
Ma et al. Augmented reality surgical navigation with ultrasound-assisted registration for pedicle screw placement: a pilot study
Eggers et al. Image-to-patient registration techniques in head surgery
Marmulla et al. Laser-scan-based navigation in cranio-maxillofacial surgery
JP5328137B2 (ja) 用具又は埋植物の表現を表示するユーザ・インタフェイス・システム
JP5121401B2 (ja) 埋植物距離測定のシステム
Fichtinger et al. Image overlay guidance for needle insertion in CT scanner
TWI741359B (zh) 與手術導航系統整合之混合實境系統
JP5662638B2 (ja) 副鼻洞形成術ナビゲーションのためのフルオロスコープと計算機式断層写真法との位置揃えのシステム及び利用方法
US10166078B2 (en) System and method for mapping navigation space to patient space in a medical procedure
US20140031668A1 (en) Surgical and Medical Instrument Tracking Using a Depth-Sensing Device
Widmann Image-guided surgery and medical robotics in the cranial area
KR102105974B1 (ko) 의료 영상 시스템
JP2008126075A (ja) Ｃｔレジストレーション及びフィードバックの視覚的検証のためのシステム及び方法
Kwartowitz et al. Toward image-guided robotic surgery: determining intrinsic accuracy of the da Vinci robot
US20210196404A1 (en) Implementation method for operating a surgical instrument using smart surgical glasses
Daly et al. Fusion of intraoperative cone-beam CT and endoscopic video for image-guided procedures
WO2012033739A2 (en) Surgical and medical instrument tracking using a depth-sensing device
Tebo et al. An optical 3D digitizer for frameless stereotactic surgery
Yaniv et al. Applications of augmented reality in the operating room
US11406346B2 (en) Surgical position calibration method
Uddin et al. Three-dimensional computer-aided endoscopic sinus surgery
Linte et al. Image-guided procedures: tools, techniques, and clinical applications
Demianczuk et al. Application of a three-dimensional intraoperative navigational system in craniofacial surgery
Vijayalakshmi Image-guided surgery through internet of things