TWI741359B - 與手術導航系統整合之混合實境系統 - Google Patents

與手術導航系統整合之混合實境系統 Download PDF

Info

Publication number
TWI741359B
TWI741359B TW108131367A TW108131367A TWI741359B TW I741359 B TWI741359 B TW I741359B TW 108131367 A TW108131367 A TW 108131367A TW 108131367 A TW108131367 A TW 108131367A TW I741359 B TWI741359 B TW I741359B
Authority
TW
Taiwan
Prior art keywords
mixed reality
image
digital
affected part
model
Prior art date
Application number
TW108131367A
Other languages
English (en)
Other versions
TW202108085A (zh
Inventor
曾清秀
馮德諼
Original Assignee
國立中央大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立中央大學 filed Critical 國立中央大學
Priority to TW108131367A priority Critical patent/TWI741359B/zh
Priority to US16/690,319 priority patent/US11574446B2/en
Priority to US16/690,299 priority patent/US11080934B2/en
Publication of TW202108085A publication Critical patent/TW202108085A/zh
Application granted granted Critical
Publication of TWI741359B publication Critical patent/TWI741359B/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/3945—Active visible markers, e.g. light emitting diodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3954—Markers, e.g. radio-opaque or breast lesions markers magnetic, e.g. NMR or MRI
    • A61B2090/3958—Markers, e.g. radio-opaque or breast lesions markers magnetic, e.g. NMR or MRI emitting a signal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A61B90/96—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text using barcodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本發明主要關於一種混合實境系統，其係供應用於手術與手術教學，並包含：位置標記，其係供設置於器械上；位置偵測器，其感應該位置標記以標記器械位置；定位標記，其係供設置於接近患部之處以標記患部位置；複數混合實境感知器，其偵測該定位標記以及複數實境參數；運算單元模組，其接收該器械位置、該患部位置、該等實境參數以及該患部之數位患部模型，並使該數位患部模型與該患部對應，且依據該器械位置在該數位患部模型中加入對應的數位器械模型；以及混合實境顯示器，其係供使用者穿戴，在接收該數位患部模型以及該數位器械模型後向該使用者顯示。

Description

與手術導航系統整合之混合實境系統
本發明係有關於一種混合實境系統，尤其是指一種可與手術導航系統整合之混合實境系統。
現今的外科手術(surgery)仍有許多高危險的手術，例如：微創腦瘤手術、動脈瘤栓篩手術、微創脊椎手術、或胸/腹部內視鏡手術等，這些手術都同樣面臨到定位困難、操作難度高、高技術性、與高複雜度等問題，而這些問題主要起因於手術過程中，醫師在視覺上無法直接看到患部，只能看到一小部分的患部或其外層組織，所導致的極高手術風險。
第1圖係揭示習用技術中一系列在軸平面(axial plane)上腦部電腦斷層(CT)二維切片影像；第2圖係揭示習用技術中應用數位減影血管造影(DSA)技術所顯示之腦部血管二維影像；第3圖係揭示習用技術中應用電腦斷層血管造影(CTA)技術所顯示在矢狀面(sagittal plane)上之腦部血管二維影像；以及第4圖係揭示習用技術中應用最大密度投影(MIP)技術所顯示之腦部血管二維立體影像。
習用治療腦動脈瘤的開顱手術的過程大致如下述，先切開病人頭皮，在腦動脈瘤患部上方頭骨鑽數個小洞，再將頭蓋骨鋸開並取走切開的頭蓋骨，然後在導航系統的導引下，利用手術器械層層撥開腦組織找 出動脈瘤，並不時會以X光確認器械與腦組織關係，確認動脈瘤位置後再以手術器械夾閉動脈瘤血管，治療完成後闔上頭蓋骨並縫合，但這種傳統開顱手術面臨以下數個問題。
(1)在手術之前、以及手術過程中，醫師都是參考第1圖所示的一系列腦部(CT)平面影像、或第3圖所示的CTA平面影像、或第4圖所示的MIP投影影像等；(2)因此開顱過程中醫師無法直接看到患部，只能參考導航系統所顯示的相關影像，再仰賴專業知識及多年臨床經驗，推測與想像腦動脈位置所在，並進行手術路徑的規畫，希望在手術過程中避免傷害腦動脈；(3)即使現今科技已經可以將腦血管分布立體呈現，但醫師仍須就腦動脈複雜分支、彎曲情況，在手術中持續的觀看導航系統的電腦螢幕，以確認器械與血管的相對位置；(4)為百分百確定動脈瘤位置，醫師須不停地來回觀看導航系統螢幕或顯微鏡影像；(5)為了避免手術意外，手術過程醫師會以警慎緩慢方式操作手術器械，將腦層層剝開接近患部，不時會須要觀看上述影像以確認手術器械與其周遭腦組織的位置關係。
另習用治療腦動脈瘤的動脈瘤栓篩手術的過程大致如下述，先從鼠蹊部處的動脈一路穿刺至腦動脈，過程中透過如第2圖所示的即時DSA平面影像來確認穿刺導線的方向與位置，到達腦部動脈瘤患部後，將彈簧圈、支架、球囊、液體膠等植入目標位置，完成後回收穿刺線，這樣的動脈瘤栓篩手術面臨以下問題：過程中X光影像僅提供二維資訊，於血管分岔處，為確認複雜血管幾何形狀和導線相對方位關係，需要拍攝大量X光影像，不僅耗費時間，且產生高輻射劑量。
又現今為盡量減少對人體的創傷並避免大傷口，微創手術 (minimally invasive surgery)成為主要的手術趨勢，主因在於微創手術具有傷口小、失血少、組織傷害較小、病人術後復原較快等優點，由於手術切口較小，因此微創手術已經大量應用來處理不適合大切口手術、或可以用微創手術取代大切口手術的人體部位；但微創手術也同樣面臨，因手術過程中，醫師在視覺上無法直接看到整體患部，只能看到一小部分的患部外層組織，所引起的手術風險；在微創手術過程中，由於手術切口較小，因此醫師通常只能看到一部分的手術區組織，醫師只能憑藉著上述的平面影像，加上醫師本身的臨床經驗，來剖析患部的血管、神經、與組織結構等，並規劃合適的手術路徑，若過程中傷害了大動脈，輕則造成出血，重則造成病人嚴重的後遺症甚至死亡。
因此這些傳統手術都面臨相同的困境，醫師無法眼見為真，醫師在視覺上不能真的看到患部、或只能局部看到患部，都直接形成了手術執行的風險，增加手術複雜度與整體操作難度，也對執行手術的醫師帶來高度心理壓力；職是之故，申請人經過悉心試驗與研究，並一本鍥而不捨之精神，終構思出本案「與手術導航系統整合之混合實境系統」，能夠克服上述缺點，以下為本發明之簡要說明。
鑑於傳統手術中存在的諸多困難點，本發明透過混合實境(Mixed Reality、MR)技術，讓醫師得以觀看投影在病患體內，並與患部對位且以立體動態方式顯示的3D人體組織(如脊椎/動脈血管)與手術器械方位，可增加醫師的信心與手術的安全性。
據此本發明提出一種與手術導航系統整合之混合實境系 統，並包含：一位置標記，其係供設置於一器械上；一位置偵測器，其感應該位置標記以標記一器械位置；一定位標記，其係供標記一患部位置；一混合實境感知器，其偵測該定位標記以及一實境參數；一運算單元模組，其接收該器械位置、該患部位置、該實境參數以及該患部之一數位患部模型與一數位器械模型，並使該數位患部模型與該患部對應，且依據該器械位置在該數位患部模型中加入對應的一數位器械模型；以及一混合實境顯示器，其係供一使用者穿戴，在接收該數位患部模型以及該數位器械模型後向該使用者顯示。
較佳的，所述之混合實境系統，還包含以下其中之一：一C型臂透視機，其可供拍攝之一X光影像、一電腦斷層影像、一電腦斷層血管造影影像、一數位減影血管造影影像、一最大密度投影影像、擴散張量造影影像、一核磁共振血管影像、或者一核磁共振影像；一電腦，其可以選擇性的包含該運算單元模組；一患部影像重建模組，其包含一智慧演算法並可以選擇性的透過該運算單元模組執行，經執行後可產生該數位患部模型；一機器人手術輔助設備，其經設定後可協助該使用者執行該手術；以及一平面顯示器，其接收並顯示來自該電腦提供的數位內容。
較佳的，該數位患部模型係預先建構，其係以一X光影像、一電腦斷層影像、一電腦斷層血管造影影像、一數位減影血管造影影像、一最大密度投影影像、一核磁共振影像以及其組合其中之一為基礎，經由執行一智慧演算法後所建構之數位模型，該智慧演算法包含一去雜訊處理、一特徵辨識處理、一特徵強化處理、一對準處理、一拼貼處理、一內插處理、一外插處理以及其組合其中之一。
較佳的，該數位患部模型係為一二維數位患部影像、一三維數位患部影像以及其組合其中之一。
較佳的，該混合實境感知器以及該混合實境顯示器係共同設置於同一裝置上，或者該混合實境感知器以及每一該混合實境顯示器係各自分離設置。
較佳的，該運算單元模組、該混合實境顯示器以及該混合實境感知器係設置於同一裝置上，該運算單元模組以及該混合實境感知器係設置於同一裝置上，該運算單元模組以及該混合實境顯示器係設置於同一裝置上，該運算單元模組、該混合實境顯示器以及該混合實境感知器係各自分離設置，該運算單元模組以及該混合實境感知器係各自分離設置，或者該運算單元模組以及該混合實境顯示器係各自分離設置。
較佳的，該混合實境感知器係選自一環境相機、一深度相機、一光線感測器、一三原色相機、一紅外光感測器、一慣性測量單元、一多軸加速規、一測距儀以及其組合其中之一。
較佳的，該位置偵測器係為一紅外線光學追蹤器、以及一電磁追蹤器其中之一，該位置標記係為一紅外線反射標記、以及一電磁感應線圈標記其中之一並可供設置於該器械上，該定位標記包含一二維編碼圖案。
據此本發明進一步提出一種混合實境系統，還包含以下其中之一：一立架，其設置在該患部旁，並具有一第一面以及相對於該第一面的一第二面，該第一面係供該定位標記設置以及該第二面係供該位置標記設置；以及一立台，其設置在該患部旁，並具有複數表面，每一個表面係 供該定位標記設置，該等複數表面其中一面係供該另一部分之該等移動標記設置，當該第二註冊裝置在該患部旁設置後，該患部、該定位標記、以及該另一部分之該等移動標記彼此間之相對位置也因此確定。
100:本發明混合實境系統
106:定位標記
108:位置偵測器
110:位置標記
112:手術器械
112D:數位手術器械
114:電腦
116:運算單元模組
118:平面顯示器
120:C型臂X光機
122:機器人手術輔助設備
200:MR裝置
202:MR顯示器
204:MR感知器
400:立架
HX:三維腦血管分布影像
SX:三維脊椎影像
UR:使用者
UH:使用者頭部
PH:患者頭部
PW:患者後腰部
AW:箭頭
第1圖係揭示習用技術中一系列在軸平面上腦部電腦斷層二維切片影像；第2圖係揭示習用技術中應用數位減影血管造影技術所顯示之腦部血管二維影像；第3圖係揭示習用技術中應用電腦斷層血管造影技術所顯示在矢狀面上之腦部血管二維影像；第4圖係揭示習用技術中應用最大密度投影技術所顯示之腦部血管二維立體影像；第5圖係揭示本發明混合實境系統第一實施例之系統架構示意圖；第6圖係揭示本發明系統所包含之MR裝置示意圖；第7圖係揭示本發明系統所包含之定位標記示意圖；第8圖係揭示本發明系統使用之位置追蹤器示意圖；第9圖係揭示本發明系統使用之位置標記示意圖；第10圖係揭示本發明安裝有位置標記之手術器械之示意圖；第11圖係揭示本發明所使用之立架之正面示意圖；第12圖係揭示本發明所使用之立架之背面示意圖；第13圖係揭示本發明系統依據病患CTA影像產生可供與病患患部對位 並透過混合實境顯示之三維腦血管結構之數位立體模型影像之示意圖；第14圖係揭示本發明系統產生可供與病患患部對位並透過混合實境顯示之三維脊椎構造之數位立體模型影像之示意圖；第15圖與第16圖係揭示使用者在本發明系統MR裝置上觀看到的整體混合實境影像之示意圖；第17圖係揭示本發明手術導航系統在實際使用下之情境示意圖；第18圖係揭示第17圖中使用者透過所穿戴之MR裝置看到的情境之示意圖；第19圖係揭示本發明將3D腦部模型透過MR裝置顯示在對應的頭顱上之情境示意圖；第20圖係揭示本發明混合實境系統第二實施例之系統架構示意圖；以及第21圖係揭示本系統所產生之數位立體模型影像資訊應用做為電腦輔助手術規劃系統之示意圖。
本發明將可由以下的實施例說明而得到充分瞭解，使得熟習本技藝之人士可以據以完成之，然本發明之實施並非可由下列實施案例而被限制其實施型態；本發明之圖式並不包含對大小、尺寸與比例尺的限定，本發明實際實施時其大小、尺寸與比例尺並非可經由本發明之圖式而被限制。
本文中用語“較佳”是非排他性的，應理解成“較佳為但不限 於”，任何說明書或請求項中所描述或者記載的任何步驟可按任何順序執行，而不限於請求項中所述的順序，本發明的範圍應僅由所附請求項及其均等方案確定，不應由實施方式示例的實施例確定；本文中用語“包含”及其變化出現在說明書和請求項中時，是一個開放式的用語，不具有限制性含義，並不排除其它特徵或步驟。
在本發明混合實境(Mixed Reality、MR)是指透過攝影機影像的位置及角度精算並加上圖像分析技術，讓螢幕上的虛擬數位內容能夠與真實環境場景進行結合與互動的技術，較佳可利用各式感知器感測環境參數，並即時(real time)運算出虛擬影像於真實空間中位置與方向，藉由顯示器將虛擬影像投射或疊加於真實模型上；另當以真實環境和虛擬環境分別作為連續系統的兩端時，較靠近真實環境的呈現又稱為擴增實境(Augmented Reality、AR)，較靠近虛擬環境的呈現又稱為虛境實境(Virtual Reality、VR)，MR也可視為AR與VR的合成品。
第5圖係揭示本發明混合實境系統第一實施例之系統架構示意圖；第6圖係揭示本發明系統所包含之MR裝置示意圖；第7圖係揭示本發明系統所包含之定位標記示意圖；本發明混合實境系統100包含：MR裝置200、MR顯示器202、多顆MR感知器(混合實境感知器)204、定位標記106、位置偵測器108、位置標記110、手術器械112、電腦114、運算單元模組116、平面顯示器118等元件，在本實施例MR裝置200係採用但不限於Microsoft HoloLens裝置可供使用者UR穿戴在頭部，MR裝置200還可選自例如：ODG R-7智慧眼鏡、Epson Moverio BT-300智慧眼鏡、Acer混合實境眼鏡、其他微軟Windows相容混合實境眼鏡、或者其它合適的MR設備，在本實施例MR 顯示器202與MR感知器204較佳係配置在同一裝置即MR裝置200上，但MR顯示器202與MR感知器204亦可分離配置，在本實施例運算單元模組116較佳是設置在MR裝置200上，但亦可與MR裝置200分離設置例如設置在電腦114上、或者設置在另外的網路運算伺服器上。
MR顯示器202較佳是一片透明、半透明(semi-transparent type)、或者透視型(see-through type)的近眼顯示裝置(near to eye device)，其可以是平面顯示器、或者曲面顯示器，MR顯示器202較佳但不限於透過全息圖像處理(holographic processing)、數位光源處理(digital light processing)、矽基液晶(liquid crystal on silicon)等技術來成像，當MR顯示器202在顯示虛擬數位內容時，使用者同時也能清楚的看到視線前方的真實世界即實境(reality)，就像背景一樣出現在虛擬數位內容的後方，MR顯示器202上顯示的虛擬數位內容，在使用者看起來就像疊加在實境上，當MR顯示器202顯示的數位內容與實境有關時，看起來就像是實境的虛擬擴增，舉例來說，當利用MR感知器204感知到各項實境資訊後，經由運算單元模組116之處理後，可使MR顯示器202顯示的虛擬數位內容與實境產生各式各樣的對應，包含空間或時間上的對應等，或者與實境產生即時互動，或者將虛擬數位內容中虛擬模型與實境產生結合或連結，而實現各種混合實境的功能與效果。
MR裝置200之整體較佳是設計與製作為頭戴式顯示器(Head-Mounted Display、HMD)、或者抬頭顯示器(Head Up Display、HUD)的形式，但較佳仍是製作為類眼鏡的智慧眼鏡形式，多顆MR感知器204是安裝在MR裝置200的本體、或殼體上，較佳是安排配置在本體上方或對應 於額頭的位置，避免阻擋使用者視線，多顆MR感知器204較佳但不限於是環境相機、深度相機、光線感測器、三原色相機(RGB相機)、紅外光感測器、慣性測量單元(IMU)、多軸加速規(accelerometer)、或者測距儀等，係用於感知實境之各項實境資訊如：實境中各種實體模型的方向、位置、大小、距離、環境亮度等等，並傳輸給運算單元模組116。
舉例而言，環境相機是內建用於拍攝MR裝置200周圍實境之影像，深度相機主要用於感應使用者之控制手勢，RGB相機用於感測定位標記106，當定位標記106超出RGB相機之感測範圍時，可由IMU與加速規共同偵測與計算出RGB相機相對定位標記106之三軸變化，而確定MR裝置200在三維空間中的位置，MR裝置200會持續掃描定位標記106，當使用者視線有所移動時，本發明藉由使用MR感知器204掃描定位標記106，使得MR裝置200可以隨時確定與正確計算出使用者相對患部的精確位置、深度、方位，以即時地與動態地對應調整虛擬數位內容所呈現的角度、深度、大小、方位等，使得所呈現的虛擬數位內容可以隨時因應並對應使用者的視線變動。定位標記106是一個包含二維編碼的圖案標記，如第7圖所揭示。
第8圖係揭示本發明系統使用之位置追蹤器示意圖；第9圖係揭示本發明系統使用之位置標記示意圖；第10圖係揭示本發明安裝有位置標記之手術器械之示意圖；位置偵測器108、與位置標記110係彼此搭配以即時追蹤各種手術器械112的現在位置，在本實施例，位置偵測器108較佳但不限於是一台紅外線主動光學追蹤器，包含一組紅外光發射器與對應的紅外光偵測器，位置標記110較佳是對應的紅外線被動反射標記，經設計與製作為直徑大約1公分左右的球體，可供嵌入在手術器械112上，當位置偵 測器108的紅外線掃瞄啟動後，可以精確追蹤每一個位置標記110所反射的紅外光並藉此追蹤每一個位置標記110的現在空間位置，以計算出由多個位置標記110所形成的每一組標記組的空間位置，並持續向系統回報，使系統可隨時更新手術器械的即時空間位置。
或者在另一實施例，位置偵測器108較佳但不限於是一台電磁式光學追蹤器，包含一組電磁波產生器與對應的電磁場偵測器，位置標記110較佳是對應的被動式電磁線圈標記，當位置偵測器108的電磁場掃瞄啟動後，可以精確追蹤每一個位置標記110所感應的電磁場大小，藉此追蹤每一個位置標記110的現在空間位置。
第11圖係揭示本發明所使用之立架之正面示意圖；第12圖係揭示本發明所使用之立架之背面示意圖；為了使定位標記與位置標記兩者間能夠有一個確定的對應關係，因此本發明將放在患部旁邊之位置標記與定位標記，將兩者合併固定配置在一個立架的正面與背面，使得定位標記與位置標記兩者間產生一個確定不變的位置對應關係、與一個錨定的連結關係；如第15圖所揭示，立架400的正面黏貼有包含特徵圖案的定位標記106，如第16圖所揭示，立架400的背面裝設有位置標記110，位置標記110較佳是對應的紅外線被動反射標記，經設計與製作為直徑大約1公分左右的球體。
因此定位標記106與數顆位置標記110組成一組，且圖案標記與位置標記各自定義不同座標系，且定位標記106與數顆位置標記110之間的相對空間關係是已知(也可視為系統設定值)，並分別提供給MR裝置200與位置偵測器108偵測，定位標記106與數顆位置標記110組成一組的主要功 用是，將位置偵測器108所偵測到的患部(病灶)座標，經過數顆位置標記110轉換到定位標記106，再由MR裝置200偵測定位標記106，藉此患部相對於位置偵測器108的位置，經過一連串的座標轉換後就可以轉換到MR裝置200，經過運算單元模組116的計算得知應在何處投影腦組織模型，使該模型能跟患部對位好。
第13圖係揭示本發明系統依據病患CTA影像產生可供與病患患部對位並透過混合實境顯示之三維腦血管分布之數位立體模型影像之示意圖；第14圖係揭示本發明系統產生可供與病患患部對位並透過混合實境顯示之三維脊椎構造之數位立體模型影像之示意圖；本發明系統所使用之患部三維MR影像資料，可以獨立以資料前處理的方式預先透過患部影像重建程式模組製作，患部影像重建程式模組包含特殊的智慧演算法，可將各種透視切片影像，例如：X光影像、電腦斷層(CT)影像、電腦斷層血管造影(CTA)影像、數位減影血管造影(DSA)影像、最大密度投影(MIP)影像、核磁共振影像(MRI)、或者核磁共振血管影像(MRA)等基礎影像，經過實施智慧演算法所包含一系列去雜訊、影像前處理、解剖學特徵辨識、解剖學特徵強化、對準、拼貼、內插、或者外插等方式處理後建構成一個數位立體模型，當患部之數位立體模型前處理完成後，提供給MR裝置200與實境對位後顯示在患者患部上。
本發明智慧演算法首先必須將基礎影像中所包含的血管影像從影像中分離或分割出來，本發明之影像血管分割步驟提供包含血管強化(vessel enhancement)、可變形模型(deformable models)與種子點追蹤(seed point tracking)等三種主要分割方法，血管強化法較適用於低雜訊之基礎影 像，可變形模型法為根據限定血管初始區域或邊界，於不同張數影像區域或邊界變形來追蹤血管，需要執行較多的複雜數學演算，種子點追蹤法係根據上一張主要是透過初始位置種子點位置去做其它張數血管判定，方法較其它演算法簡單，不需執行太多的數學運算，本發明智慧演算法先採用不同2D基礎影像做數次的血管影像分割之後，分離出患部資訊，建構出患部的三維數位模型提供醫師做精準規劃。
如第13圖所揭示係本發明所建構的三維腦血管分布之數位立體模型影像，第14圖所揭示係本發明所建構的三維脊椎構造之數位立體模型影像；本發明所使用的智慧演算法對於解剖學特徵重要部分，包含威利氏環(circle of Willis)、大腦動脈(cerebral artery)、大腦靜脈(cerebral vein)以及患部如血管瘤，皆可處理並清晰顯示與表現出來m。
第15圖與第16圖係揭示使用者在本發明系統MR裝置上觀看到的整體混合實境影像之示意圖；第15圖主要揭示本發明系統產生之三維腦血管影像經與患部對位後透過MR裝置所顯示出之混合實境影像，在本實施例患部為頭部，因此當使用者穿戴MR裝置後，視覺上所觀看到的成像包含患者頭部PH、以及經過與患部對位後顯示在眼鏡上的三維腦血管分布影像HX，因為三維腦血管分布影像HX經過系統演算與處理已經與患部即患者頭部PH準確對位，因此使用者在透視顯示器上直接可以看到三維腦血管分布影像HX重疊在患部上的混合實境的狀況，有如在(尚未開顱之情況下)透視患者頭部PH內之血管、神經、組織的分布情況、與目前病變或損傷的現況，透過MR或AR的顯示可說一覽無遺。
本發明透過MR技術將3D腦血管模型與手術器械呈現在眼 前的病患頭部上，可以使醫師即時直覺地知道手術器械所在的周遭血管位置、降低可能的傷害風險，透過MR技術將3D腦血管模型直接投影在病患的頭顱，可以提供醫師直覺地得知複雜血管於手術所在處的分布資訊，若進一步與X光影像對應顯示，並使用在動脈瘤栓篩手術，將使穿刺線更容易與更安全的抵達患部；本發明主要使用3D影像資料進行手術導引，但也可以使用2D影像資料進行手術導引。
第16圖主要揭示本發明系統產生之三維脊椎影像經與患部對位後透過MR裝置所顯示出之混合實境影像，在本實施例患部為後腰部，因此使用者穿戴MR裝置後，視覺上所觀看到的成像包含患者後腰部PW、以及經過與患部對位後顯示在眼鏡上的三維脊椎影像SX，因為三維脊椎影像SX經過系統演算與處理已經與患者後腰部PW準確對位，因此使用者在透視顯示器上直接可以看到三維脊椎分布影像SX重疊在患部上的混合實境的狀況，且在本實施例，系統以箭頭AW明確標示出患者後腰部PW中的脊椎手術位置或傷處，使用者在尚未開刀之情況下，就已經預先透視患者後腰部PW內脊椎結構與手術位置或受傷之現況，並確實掌握患者的手術治療方式或受傷情況。
第17圖係揭示本發明手術導航系統在實際使用下之情境示意圖；第18圖係揭示第17圖中使用者透過所穿戴之MR裝置看到的情境之示意圖；第19圖係揭示本發明將3D腦部模型透過MR裝置顯示在對應的頭顱上之情境示意圖；第17圖揭示當本發明系統實際使用時，使用者UR可將MR裝置200穿戴在使用者頭部UH上，使用者右手握持一個手術器械112，眼睛注視患者頭部PH，患者頭部PH旁邊擺放有一個立架400，立架400的前後兩 面分別安裝有定位標記106與位置標記110，分別提供給MR裝置200與位置偵測器108讀取，使用者透過MR裝置200可以看到自己右手上的手術器械112以及患者頭部PH，但同時MR裝置200也將一個與患者頭部PH對應的數位立體模型影像HX，在本實施例是包含腦組織與數位手術器械112D，顯示在與患者頭部PH上，使用者從MR裝置200中可以看到的混合實境影像如第15圖，尤其透過第18圖可以看得出數位手術器械112D與患者頭部PH內手術器械112的重疊的情況。
第20圖係揭示本發明混合實境系統第二實施例之系統架構示意圖；當本發明系統實際使用在手術過程中時，還可以進一步加入C型臂X光機、機器人手術輔助設備，共同輔助手術之進行，在本實施例本發明的混合實境系統100，是在第一實施例的基礎上，再進一步包含C型臂X光機120、以及機器人手術輔助設備122等元件；C型臂X光機120較佳可以因應手術進度與需要，隨時拍攝患部的最新透視影像，並即時更新MR裝置所顯示的數位立體模型影像，經聯合C型臂X光機120後，本發明系統可以在手術過程中，向使用者提供患部之即時動態數位立體模型影像；機器人手術輔助設備122尤其是機器人手臂，經聯合本發明產生之即時動態數位立體模型影像後，可以幫助使用者大幅提高手術穩定度、與精準度，尤其適用各種微創手術。
第21圖係揭示本系統所產生之數位立體模型影像資訊應用做為電腦輔助手術規劃系統之示意圖；本發明系統所產生之數位立體模型影像，例如三維腦血管分布、三維脊椎構造等等的模型資訊，也可直接應用來做為電腦輔助手術規劃系統(CASP)，或者將這些模型資訊提供給習用 (prior art)的電腦輔助手術規劃及導引系統、習用術前規劃軟體、或者習用術前規劃系統使用，如第21圖所揭示。
近年來，隨著影像輔助手術導航系統的發展，例如腦部、關節與脊椎等種類的手術皆導入影像輔助手術導航系統，以腦部手術導航系統為例，雖然可以提供醫師即時的手術器械、腦部CT影像與患部的相對位置，但醫師仍然欠缺直覺化的導航資訊與患部的關係，透過這些系統，手術過程中醫師只能直接看到手術位置的組織表層，觀看螢幕上導航系統比對器械、患者與患部關係，而無法直覺預知組織表層之下須避開的重要血管、神經或者其他組織，如果是穿刺取樣、引流或電燒手術，也需要規畫器械插入腦部的安全路徑。
再者，傳統的腦部手術，醫師只能憑藉著術前影像包含CT、MRI、CTA、與臨床經驗剖析腦部組織結構，並規劃合適的手術路徑，但若過程中傷害了腦動脈，輕則造成顱內出血，重則造成患者嚴重的後遺症甚至死亡，本發明結合影像輔助手術導航系統、血管/神經分割與重建系統與混合實境MR系統，藉由MR/AR眼鏡以即時3D視覺化方式將手術器械/血管/神經/患部等3D模型影像投影在病患上，提供患部與手術器械相對空間位置資訊，輔助醫師做更直觀規劃安全的手術路徑、進行3D手術導航，以降低腦部手術的風險。
但本發明可以降低例如腦部手術之風險、減少輻射、減少手術時間與使醫師執行手術時更加直覺，透過術前掃描得到CT或CTA或MRI或MRA或DTI之影像，據此建構腦組織與患部立體數位模型，並結合電腦科技、影像處理技術與定位系統後，最終透過MR/AR眼鏡，將手術器械、 病灶與腦組織例如腦血管、腦神經、腦溝(sulcus)的影像對位並顯示到病患病患身上，於術前醫師可以依據看到腦組織與病灶的空間位置關係更直覺地規劃手術路徑，而手術過程中醫師可以得到即時手術器械、病灶與患者相對位置關係資訊做出良好判斷，最後安全、快速完成手術，術後使患者可以因為傷口更小、腦部受損較少縮短康復時間。
本發明所提出的整套手術導航系統，包含C-arm X光機、CT等醫學影像分割與重建運算、光學追蹤器(Optic Tracker)、多組定位標記模組、可追蹤的手術器械、導航電腦、機器人手術輔助設備(robot)、多組MR/AR穿戴設備(Microsoft Hololens)，其它還包含3D列印設備、平面顯示器、多組固定器等輔助設備。
本發明的手術導航系統可以使用兩張AP/LA C-arm影像或3D C-arm影像或CT影像進行路徑規劃與器械導引定位，如同汽車用導航系統對駕駛人的功用與協助，本發明手術用導航系統可協助骨科/神經外科醫師精準的執行：高危險性的微創脊椎手術，包含(1)骨刺=>內視鏡減壓手術、(2)骨質疏鬆=>骨水泥灌注、(3)脊椎損傷=>椎莖螺釘及椎籠植入等等；骨折重建手術，包含(1)骨髓內釘遠端固定=>鑽孔導引、(2)股骨頸骨折重建=>鑽孔導引等等。
本發明之導航系統可配合醫院現有的2D/3D C-arm X光設備及手術器械，以自行開發的導航軟體整合MR/AR、Robot、光學追蹤器、電腦等，協助醫師達成精確手術定位導引，本導航系統具有以下功效：(1)大量減低術中拍攝X光影像數量、(2)縮短微創手術與麻醉的時間、(3)提升手術精準度與成功率、(4)讓微創脊椎手術更容易、(4)手術前規劃與模擬、(5) 病患能參與術前手術說明，促進醫病溝通。
實施例1：一種與手術導航系統整合之混合實境系統，並包含：一位置標記，其係供設置於一器械上；一位置偵測器，其感應該位置標記以標記一器械位置；一定位標記，其係供標記一患部位置；一混合實境感知器，其偵測該定位標記以及一實境參數；一運算單元模組，其接收該器械位置、該患部位置、該實境參數以及該患部之一數位患部模型與一數位器械模型，並使該數位患部模型與該患部對應，且依據該器械位置在該數位患部模型中加入對應的一數位器械模型；以及一混合實境顯示器，其係供一使用者穿戴，在接收該數位患部模型以及該數位器械模型後向該使用者顯示。
實施例2：如實施例1所述之混合實境系統，還包含以下其中之一：一C型臂透視機，其可供拍攝之一X光影像、一電腦斷層影像、一電腦斷層血管造影影像、一數位減影血管造影影像、一最大密度投影影像、擴散張量造影影像、一核磁共振血管影像、或者一核磁共振影像；一電腦，其可以選擇性的包含該運算單元模組；一患部影像重建模組，其包含一智慧演算法並可以選擇性的透過該運算單元模組執行，經執行後可產生該數位患部模型；一機器人手術輔助設備，其經設定後可協助該使用者執行該手術；以及一平面顯示器，其接收並顯示來自該電腦提供的數位內容。
實施例3：如實施例1所述之混合實境系統，其中該數位患部模型係預先建構，其係以一X光影像、一電腦斷層影像、一電腦斷層血管造影影像、一數位減影血管造影影像、一最大密度投影影像、一核磁共振影像以及其組合其中之一為基礎，經由執行一智慧演算法後所建構之數位模 型，該智慧演算法包含一去雜訊處理、一特徵辨識處理、一特徵強化處理、一對準處理、一拼貼處理、一內插處理、一外插處理以及其組合其中之一。
實施例4：如實施例1所述之混合實境系統，其中該數位患部模型係為一二維數位患部影像、一三維數位患部影像以及其組合其中之一。
實施例5：如實施例1所述之混合實境系統，其中該混合實境感知器以及該混合實境顯示器係共同設置於同一裝置上，或者該混合實境感知器以及每一該混合實境顯示器係各自分離設置。
實施例6：如實施例1所述之混合實境系統，其中該運算單元模組、該混合實境顯示器以及該混合實境感知器係設置於同一裝置上，該運算單元模組以及該混合實境感知器係設置於同一裝置上，該運算單元模組以及該混合實境顯示器係設置於同一裝置上，該運算單元模組、該混合實境顯示器以及該混合實境感知器係各自分離設置，該運算單元模組以及該混合實境感知器係各自分離設置，或者該運算單元模組以及該混合實境顯示器係各自分離設置。
實施例7：如實施例1所述之混合實境系統，其中該混合實境感知器係選自一環境相機、一深度相機、一光線感測器、一三原色相機、一紅外光感測器、一慣性測量單元、一多軸加速規、一測距儀以及其組合其中之一。
實施例8：如實施例1所述之混合實境系統，其中該位置偵測器係為一紅外線光學追蹤器、以及一電磁追蹤器其中之一，該位置標記係為一紅外線反射標記、以及一電磁感應線圈標記其中之一並可供設置於該器械上，該定位標記包含一二維編碼圖案。
實施例9：如實施例1所述之混合實境系統，其中該混合實境感知器以及該混合實境顯示器係共同設置於同一混合實境裝置上，該混合實境裝置係為一Microsoft Hololens智慧裝置、一ODG R-7智慧眼鏡、一Epson Moverio BT-300智慧眼鏡或者一Acer混合實境眼鏡。
實施例10：如實施例1所述之混合實境系統，還包含以下其中之一：一立架，其設置在該患部旁，並具有一第一面以及相對於該第一面的一第二面，該第一面係供該定位標記設置以及該第二面係供該位置標記設置；以及一立台，其設置在該患部旁，並具有複數表面，每一個表面係供該定位標記設置，該等複數表面其中一面係供該另一部分之該等移動標記設置，當該第二註冊裝置在該患部旁設置後，該患部、該定位標記、以及該另一部分之該等移動標記彼此間之相對位置也因此確定。
本發明各實施例彼此之間可以任意組合或者替換，從而衍生更多之實施態樣，但皆不脫本發明所欲保護之範圍，本發明保護範圍之界定，悉以本發明申請專利範圍所記載者為準。
100‧‧‧本發明混合實境系統
106‧‧‧定位標記
108‧‧‧位置偵測器
110‧‧‧位置標記
112‧‧‧手術器械
114‧‧‧電腦
116‧‧‧運算單元模組
118‧‧‧平面顯示器
200‧‧‧MR裝置

Claims (10)

  1. 一種與手術導航系統整合之混合實境系統，並包含：複數位置標記，其係供設置於一器械上與一患部之附近；一位置偵測器，其感應該等位置標記以標記一器械位置；一定位標記，其係與一部分之該等位置標記設置於該患部之附近以供標記一患部位置；一混合實境感知器，其偵測該定位標記以及一實境參數；一運算單元模組，其接收該器械位置、該患部位置以及該實境參數，並依據該器械位置在一數位患部模型中加入對應的一數位器械模型；以及一混合實境顯示器，其係供一使用者穿戴，以及接收該數位患部模型以及該數位器械模型，並跟隨該使用者之一視線變動，透過該定位標記標定該患部位置以及經由該運算單元模組之運算，動態的使該數位患部模型以及該數位器械模型，按照該視線變動持續對準該患部並投影在該患部上，且向該使用者顯示。
  2. 如請求項第1項所述之混合實境系統，還包含以下其中之一：一C型臂透視機，其可供拍攝之一X光影像、一電腦斷層影像、一電腦斷層血管造影影像、一數位減影血管造影影像、一最大密度投影影像、擴散張量造影影像、一核磁共振血管影像、或者一核磁共振影像；一電腦，其可以選擇性的包含該運算單元模組；一患部影像重建模組，其包含一智慧演算法並可以選擇性的透過該運算單元模組執行，經執行後可產生該數位患部模型；一機器人手術輔助設備，其經設定後可協助該使用者執行該手術；以 及一平面顯示器，其接收並顯示來自該電腦提供的數位內容。
  3. 如請求項第1項所述之混合實境系統，其中該數位患部模型係預先建構，其係以一X光影像、一電腦斷層影像、一電腦斷層血管造影影像、一數位減影血管造影影像、一最大密度投影影像、一核磁共振影像以及其組合其中之一為基礎，經由執行一智慧演算法後所建構之數位模型，該智慧演算法包含一去雜訊處理、一特徵辨識處理、一特徵強化處理、一對準處理、一拼貼處理、一內插處理、一外插處理以及其組合其中之一。
  4. 如請求項第1項所述之混合實境系統，其中該數位患部模型係為一二維數位患部影像、一三維數位患部影像以及其組合其中之一。
  5. 如請求項第1項所述之混合實境系統，其中該混合實境感知器以及該混合實境顯示器係共同設置於同一裝置上，或者該混合實境感知器以及每一該混合實境顯示器係各自分離設置。
  6. 如請求項第1項所述之混合實境系統，其中該運算單元模組、該混合實境顯示器以及該混合實境感知器係設置於同一裝置上，該運算單元模組以及該混合實境感知器係設置於同一裝置上，該運算單元模組以及該混合實境顯示器係設置於同一裝置上，該運算單元模組、該混合實境顯示器以及該混合實境感知器係各自分離設置，該運算單元模組以及該混合實境感知器係各自分離設置，或者該運算單元模組以及該混合實境顯示器係各自分離設置。
  7. 如請求項第1項所述之混合實境系統，其中該混合實境感知器係選自一環境相機、一深度相機、一光線感測器、一三原色相機、一紅外光感測器、一慣性測量單元、一多軸加速規、一測距儀以及其組合其中之一。
  8. 如請求項第1項所述之混合實境系統，其中該位置偵測器係為一紅外線光學追蹤器、以及一電磁追蹤器其中之一，該位置標記係為一紅外線反射標記、以及一電磁感應線圈標記其中之一並可供設置於該器械上，該定位標記包含一二維編碼圖案。
  9. 如請求項第1項所述之混合實境系統，其中該混合實境感知器以及該混合實境顯示器係共同設置於同一混合實境裝置上，該混合實境裝置係為一Microsoft Hololens智慧裝置、一ODG R-7智慧眼鏡、一Epson Moverio BT-300智慧眼鏡或者一Acer混合實境眼鏡。
  10. 如請求項第1項所述之混合實境系統，還包含以下其中之一：一立架，其設置在該患部旁，並具有一第一面以及相對於該第一面的一第二面，該第一面係供該定位標記設置以及該第二面係供該位置標記設置；以及一立台，其設置在該患部旁，並具有複數表面，每一個表面係供該定位標記設置，該等複數表面其中一面係供該另一部分之該等位置標記設置，當該立台在該患部旁設置後，該患部、該定位標記、以及該另一部分之該等位置標記彼此間之相對位置也因此確定。
TW108131367A 2019-08-30 2019-08-30 與手術導航系統整合之混合實境系統 TWI741359B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW108131367A TWI741359B (zh) 2019-08-30 2019-08-30 與手術導航系統整合之混合實境系統
US16/690,319 US11574446B2 (en) 2019-08-30 2019-11-21 Digital image reality aligning kit and method applied to mixed reality system for surgical navigation
US16/690,299 US11080934B2 (en) 2019-08-30 2019-11-21 Mixed reality system integrated with surgical navigation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108131367A TWI741359B (zh) 2019-08-30 2019-08-30 與手術導航系統整合之混合實境系統

Publications (2)

Publication Number Publication Date
TW202108085A TW202108085A (zh) 2021-03-01
TWI741359B true TWI741359B (zh) 2021-10-01

Family

ID=74679998

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108131367A TWI741359B (zh) 2019-08-30 2019-08-30 與手術導航系統整合之混合實境系統

Country Status (2)

Country Link
US (1) US11080934B2 (zh)
TW (1) TWI741359B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2955481B1 (fr) 2010-01-27 2013-06-14 Tornier Sa Dispositif et procede de caracterisation glenoidienne d'une omoplate a protheser ou a resurfacer
EP3057524B1 (en) 2013-10-10 2019-11-20 Imascap Method for designing and producing a shoulder surgery guide
JP7271579B2 (ja) 2018-06-19 2023-05-11 ホウメディカ・オステオニクス・コーポレイション 整形外科手術における複合現実支援を用いた手術支援
EP4157128A1 (en) * 2020-05-29 2023-04-05 Covidien LP System and method for integrated control of 3d visualization through a surgical robotic system
CN113509266A (zh) * 2021-04-01 2021-10-19 上海复拓知达医疗科技有限公司 增强现实信息显示装置、方法、可读存储介质及设备
CN113133814A (zh) * 2021-04-01 2021-07-20 上海复拓知达医疗科技有限公司 基于增强现实的穿刺手术导航装置及计算机可读存储介质
CN113648061B (zh) * 2021-07-15 2022-08-09 上海交通大学医学院附属第九人民医院 一种基于混合现实的头戴式导航系统及导航配准方法
CN113648056B (zh) * 2021-08-18 2022-08-23 上海电气集团股份有限公司 混合现实显示设备及手术导航系统
CN113842227B (zh) * 2021-09-03 2024-04-05 上海涞秋医疗科技有限责任公司 医疗辅助三维模型定位匹配方法、系统、设备及介质
AU2021479170A1 (en) * 2021-12-17 2024-06-06 Metamorphosis Gmbh Systems and methods for autonomous self-calibrating surgical robot
CN114587657B (zh) * 2022-02-06 2024-05-31 上海诠视传感技术有限公司 一种基于混合现实技术的口腔种植辅助导航方法及系统
TWI839269B (zh) * 2022-07-14 2024-04-11 國立成功大學 混合實境(mr)結合內臟假體之手術練習方法、電腦程式及電腦可讀取媒體
CN117481755A (zh) * 2022-07-26 2024-02-02 湖南卓世创思科技有限公司 针对脑部病灶的穿刺路径确定系统、方法、装置及介质
CN118615018A (zh) * 2023-03-08 2024-09-10 苏州速迈医学科技股份有限公司 一种手术显微镜的图像导航方法及系统
WO2024200293A1 (fr) * 2023-03-30 2024-10-03 Pixee Medical Dispositif de marqueur de repérage, utilisé dans le domaine de la chirurgie orthopédique pour la localisation spatiale des instruments chirurgicaux
TWI824964B (zh) * 2023-04-14 2023-12-01 倍利科技股份有限公司 手術定位系統及定位方法
CN116807609B (zh) * 2023-04-24 2024-09-06 首都医科大学附属北京儿童医院 一种基于解剖毗邻关系三维模型的无创颅脑影像导航方法和系统
CN117323002A (zh) * 2023-11-30 2024-01-02 北京万特福医疗器械有限公司 一种基于混合现实技术的神经内镜手术可视化系统
CN118177973A (zh) * 2024-03-28 2024-06-14 天津大学 基于增强现实的经颅多普勒颅内血管导航定位方法及系统
CN118217012B (zh) * 2024-05-24 2024-08-20 华中科技大学同济医学院附属协和医院 基于机器人导丝的磁控介入控制方法、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180071032A1 (en) * 2015-03-26 2018-03-15 Universidade De Coimbra Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
TW201817398A (zh) * 2016-11-14 2018-05-16 鐿鈦科技股份有限公司 免觸控式手術導引方法及其系統
US20180182150A1 (en) * 2015-03-24 2018-06-28 Augmedics Ltd. Combining video-based and optic-based augmented reality in a near eye display

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017160651A1 (en) * 2016-03-12 2017-09-21 Lang Philipp K Devices and methods for surgery
US20190254753A1 (en) * 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180182150A1 (en) * 2015-03-24 2018-06-28 Augmedics Ltd. Combining video-based and optic-based augmented reality in a near eye display
US20180071032A1 (en) * 2015-03-26 2018-03-15 Universidade De Coimbra Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
TW201817398A (zh) * 2016-11-14 2018-05-16 鐿鈦科技股份有限公司 免觸控式手術導引方法及其系統

Also Published As

Publication number Publication date
US11080934B2 (en) 2021-08-03
US20210065451A1 (en) 2021-03-04
TW202108085A (zh) 2021-03-01

Similar Documents

Publication Publication Date Title
TWI741359B (zh) 與手術導航系統整合之混合實境系統
US20230073041A1 (en) Using Augmented Reality In Surgical Navigation
TWI615126B (zh) 影像增強真實度之方法與應用該方法在可穿戴式眼鏡之手術導引
EP3720334B1 (en) System and method for assisting visualization during a procedure
US9554117B2 (en) System and method for non-invasive patient-image registration
Lin et al. Mandibular angle split osteotomy based on a novel augmented reality navigation using specialized robot-assisted arms—A feasibility study
Andrews et al. Registration techniques for clinical applications of three-dimensional augmented reality devices
US20190311542A1 (en) Smart operating room equipped with smart surgical devices
JP2019534734A (ja) 誘導される処置システム
US20210196404A1 (en) Implementation method for operating a surgical instrument using smart surgical glasses
Zhu et al. A neuroendoscopic navigation system based on dual-mode augmented reality for minimally invasive surgical treatment of hypertensive intracerebral hemorrhage
Gsaxner et al. Augmented reality in oral and maxillofacial surgery
CN115105204A (zh) 一种腹腔镜增强现实融合显示方法
Yaniv et al. Applications of augmented reality in the operating room
US20230248441A1 (en) Extended-reality visualization of endovascular navigation
Kim et al. Application of augmented reality using automatic markerless registration for facial plastic and reconstructive surgery
Zhang et al. 3D augmented reality based orthopaedic interventions
KR20190004591A (ko) 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법
Chen et al. Image guided and robot assisted precision surgery
CN111631814B (zh) 术中血管立体定位导航系统及方法
Zhang et al. From AR to AI: augmentation technology for intelligent surgery and medical treatments
EP3917430B1 (en) Virtual trajectory planning
Jing et al. Navigating system for endoscopic sinus surgery based on augmented reality
KR20240064970A (ko) 혼합현실 기반 수술 지원 장치 및 방법
Williamson et al. Image-guided microsurgery