TW202207242A - 用於增強現實脊柱手術之系統及方法 - Google Patents

用於增強現實脊柱手術之系統及方法 Download PDF

Info

Publication number
TW202207242A
TW202207242A TW110129166A TW110129166A TW202207242A TW 202207242 A TW202207242 A TW 202207242A TW 110129166 A TW110129166 A TW 110129166A TW 110129166 A TW110129166 A TW 110129166A TW 202207242 A TW202207242 A TW 202207242A
Authority
TW
Taiwan
Prior art keywords
model
physical
virtual
user
probe
Prior art date
Application number
TW110129166A
Other languages
English (en)
Inventor
摩爾德凱 艾維薩
阿隆 Ｙ 蓋里
羅伯特 路易斯
Original Assignee
美商外科劇院股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商外科劇院股份有限公司 filed Critical 美商外科劇院股份有限公司
Publication of TW202207242A publication Critical patent/TW202207242A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一種用於提供包括一影像產生器及一MD6DM模型之一成像系統以創建一受試者之一同步增強現實視圖的系統及方法。特定而言，該成像系統使得能夠增強該MD6DM模型且將該MD6DM模型覆蓋在一對應實體模型之頂部上。此外，該成像系統將該MD6DM模型錨固至該實體模型且使該兩者同步，使得諸如使用一實體探針，根據該模型周圍之移動創建一新影像並將該新影像覆蓋在該實體模型之頂部上。此係藉由將影像產生器直接串流傳輸至一HMD、追蹤HMD之一位置及定位以及基於追蹤之移動調整影像產生器來實現。因此，在該虛擬模型與該實體模型之間創建一相依性。可向該使用者提供引導以使該使用者能夠模擬及練習將諸如一可植入螺釘之一模型的一虛擬附件放置至該實體模型中之一期望位置。

Description

用於增強現實脊柱手術之系統及方法
相關申請案之交叉參考
本申請案主張於2020年8月7日提交之美國臨時申請案序列號63/062,921、於2020年8月20 提交之美國臨時申請序列號63/068,079及於2020年11月20日提交之美國臨時申請序列號63/116,457之權利，該等申請案全部以引用方式併入本文。
本案係有關於用於增強現實脊柱手術之系統及方法。
外科手術通常可能很複雜並對時間敏感，且範疇因患者不同而有所不同。例如，在脊柱手術之情況下，修復點可能會根據確切位置、大小等而在條件或手術要求方面有所不同。因此，手術之效率非常關鍵，且基於患者特定局部幾何形狀及接受手術之區域的實體性質進行詳細規劃至關重要。為了達到一新的術前準備水平，愈來愈多地使用3D CT及MRI影像。然而，彼等影像僅對手術預演提供微不足道之好處。此外，用於在手術之前或期間研究一患者之特定解剖結構的既有技術可能對患者係侵入性的。
提供複數個例示性實施例，包含但不限於一種用於使用一電腦系統來呈現表示一解剖特徵之一實體模型及一可植入外科手術附件之虛擬附件模型的一互動式增強視圖之方法，該方法包括以下步驟： 將表示可植入外科手術附件之資料儲存在一資料庫中； 提供經組態以供一使用者使用以與實體模型互動之一實體探針； 電腦系統經組態用於利用表示可植入外科手術附件之資料來產生可植入外科手術附件之虛擬附件模型； 電腦系統經組態用於判定使用者之一觀察方向； 電腦系統經組態用於追蹤實體模型周圍之實體探針之一位置； 電腦系統經組態用於基於使用者之經判定觀察方向產生實體模型之一影像； 電腦系統經組態用於基於實體探針之追蹤位置產生外科手術探針之一影像；及 電腦系統經組態用於產生一增強現實視圖並向使用者顯示該增強現實視圖，該增強現實視圖展示虛擬附件模型與實體探針之經產生影像及實體模型之經產生影像的現實互動，使得使用者可基於使用者與實體模型周圍之實體探針的互動，而現實地操縱虛擬附件模型。
亦提供一種用於使用一電腦系統來呈現表示一解剖特徵之一實體模型及一可商購獲得之可植入外科手術附件之虛擬附件模型的一互動式增強視圖之方法，該方法包括以下步驟： 將表示可植入外科手術附件之資料儲存在一資料庫中； 提供經組態以供一使用者使用以與實體模型互動之一實體探針； 電腦系統經組態用於利用表示可植入外科手術附件之資料來產生可植入外科手術附件之虛擬附件模型； 電腦系統經組態用於判定使用者之一觀察方向； 電腦系統經組態用於追蹤實體模型周圍之實體探針之一位置； 電腦系統經組態用於基於使用者之經判定觀察方向產生實體模型之一影像； 電腦系統經組態用於基於實體探針之追蹤位置產生外科手術探針之一影像； 電腦系統經組態用於產生一增強現實視圖並向使用者顯示該增強現實視圖，該增強現實視圖展示虛擬附件模型與實體探針之經產生影像及實體模型之經產生影像的現實互動，使得使用者可基於使用者與實體模型周圍之實體探針的互動，而現實地操縱虛擬附件模型；及 電腦系統經組態用於在增強現實視圖中在實體模型之影像上顯示一或多個引導標記，以引導使用者將實體探針操縱至虛擬附件模型相對於實體模型之一期望放置。
進一步提供上述方法，該方法進一步包括以下步驟： 對實體探針執行一近接度測試以偵測實體探針與虛擬附件之一期望位置的一預定臨限值位準之間的一距離；及 利用該一或多個引導標記來基於該近接度測試對引導使用者以將虛擬附件定位至期望位置進行進一步改善。
進一步提供一種用於使用一電腦系統來呈現表示一解剖特徵之一實體模型及一可商購獲得之可植入外科手術附件之虛擬附件模型的一互動式增強視圖之方法，該方法包括以下步驟： 將表示可植入外科手術附件之資料儲存在一資料庫中； 提供經組態以供一使用者使用以與實體模型互動之一實體探針； 電腦系統經組態用於利用表示可植入外科手術附件之資料來產生可植入外科手術附件之虛擬附件模型； 電腦系統經組態用於判定使用者之一觀察方向； 電腦系統經組態用於追蹤實體模型周圍之實體探針之一位置； 電腦系統經組態用於基於使用者之經判定觀察方向及儲存在資料庫中之實體模型的虛擬模型之期望特徵來產生實體模型之一虛擬模型； 電腦系統經組態用於基於實體探針之追蹤位置及儲存在資料庫中之實體探針的虛擬模型之期望特徵來產生外科手術探針之一虛擬模型； 電腦系統經組態用於產生一增強現實視圖並向使用者顯示該增強現實視圖，該增強現實視圖展示虛擬附件模型與實體探針之虛擬模型及實體模型之虛擬模型的現實互動，使得使用者可基於使用者與實體模型周圍之實體探針的互動，而現實地操縱虛擬附件模型； 電腦系統經組態用於在增強現實視圖中在實體模型之虛擬模型上顯示一或多個引導標記，以引導使用者將實體探針操縱至虛擬附件模型相對於實體模型之虛擬模型的一期望放置； 對實體探針執行一近接度測試以偵測實體探針之虛擬模型與虛擬附件之一期望位置的一預定臨限值位準之間的一距離；及 利用該一或多個引導標記來基於該近接度測試對引導使用者以將虛擬附件定位至實體模型之虛擬模型上的期望位置進行進一步改善。
仍進一步提供一種用於使用一電腦系統來呈現包含一骨骼之至少部分之一實體模型及一可商購獲得之可植入螺釘之一虛擬螺釘模型的一互動式增強視圖之方法，該方法包括以下步驟： 將表示可植入螺釘之資料儲存在一資料庫中； 提供經組態以供一使用者使用以與實體模型互動之一實體探針； 電腦系統經組態用於利用表示可植入螺釘之資料來產生可植入螺釘之虛擬螺釘模型； 電腦系統經組態用於判定使用者之一觀察方向； 電腦系統經組態用於追蹤實體模型周圍之實體探針之一位置； 電腦系統經組態用於基於使用者之經判定觀察方向產生實體模型之一影像； 電腦系統經組態用於基於實體探針之追蹤位置產生外科手術探針之一影像； 電腦系統經組態用於產生一增強現實視圖並向使用者顯示該增強現實視圖，該增強現實視圖展示螺釘模型與實體探針之經產生影像及實體模型之經產生影像的現實互動，使得使用者可基於使用者與實體模型周圍之實體探針的互動，來現實地操縱螺釘模型以與骨骼之部分互動；及 電腦系統經組態用於在增強現實視圖中在實體模型之影像上顯示一或多個引導標記，以引導使用者將實體探針操縱至螺釘模型相對於骨骼之部分的一期望放置。
仍進一步提供一種系統，該系統包含用於執行任何上述方法或其子集或增強之一電腦系統。
亦提供額外之例示性實施例，下文更詳細地描述該等實施例中之一些但並非全部。
以下縮寫詞及定義將幫助理解實施方式：AR -增強現實-一實體真實世界環境之一即時視圖，其要素已藉由電腦產生之感官要素(諸如聲音、視訊或圖形)得到增強。VR -虛擬現實-一個三維電腦產生之環境，人們可不同程度地對該环境進行探索並與其互動。HMD -頭戴式顯示器，其係指可在AR或VR環境中使用之一頭戴式設備。其可為有線或無線的。其亦可包含一或多個額外組件，諸如頭戴式耳機、麥克風、HD相機、紅外相機、手追蹤器、位置追蹤器等。控制器 -包含按鈕及一方向控制器之一裝置。其可為有線或無線的。此裝置之實例為Xbox遊戲台、PlayStation遊戲台、Oculus touch等。SNAP 模型 -一SNAP壳，其係指使用呈DICOM檔案格式之一或多個患者掃描(CT、MR、fMR、DTI等)創建之一3D紋理或3D對象。其亦包含用於對特定範圍進行過濾且以3D紋理為其他範疇著色之不同分段预設。其亦可包含放置在場景中之3D對象，包含用於標記感興趣之特定點或解剖結構之3D形狀、3D標籤、3D量測標記、用於引導之3D箭頭及3D外科手術工具。外科手術工具及裝置已被模型化用於教學及患者特定之預演，特定而言用於適當地設定動脈瘤夾之大小。化身 -一化身表示虛擬環境內之一使用者。MD6DM -多維全球面虛擬現實、6自由度模型。其提供一圖形化模擬環境，該圖形化模擬環境使得醫師能夠在全球面虛擬現實環境中體驗、規劃、執行及導航干预。
先前在以引用方式併入本申請案中之美國專利申請案第8,311,791號中描述之一手術預演及準備工具已被開發來基於一預構建SNAP模型將靜態CT及MRI醫學影像轉換成動態及互動式多維全球面虛擬現實六(6)自由度模型(「MD6DM」)，該預構建SNAP模型可由醫師使用來實時模擬醫療手術。MD6DM提供一圖形模擬環境，該圖形模擬環境使得醫師能夠在全球面虛擬現實環境中體驗、規劃、執行及導航干预。特定而言，MD6DM給予外科醫生使用根據傳統二維患者醫學掃描構建之一唯一多維模型進行導航之能力，該唯一多維模型在整個體積球面虛擬現實模型中給予球面虛擬現實6自由度(即，線性；x、y、z及角度、橫擺、俯仰、滾轉)。
MD6DM係藉由一影像產生器使用根據患者之自身的醫學影像(包含CT、MRI、DTI等)資料集構建之一SNAP模型進行及時呈現，且係患者特定的， 諸如先前在以引用方式併入本文的美國專利第8,311,791號中描述之一SNAP電腦。若外科醫生期望，則可將一代表性腦模型(諸如Atlas資料)整合以創建一部分患者特定之模型。該模型自MD6DM上之任何點給予一360°球面視圖。使用MD6DM，觀察者虛擬地定位在解剖結構內部且可查看及觀察解剖結構及病理結構兩者，好像他站在患者體內一樣。觀察者可向上看、向下看、環顧四周等，且將看到彼此相關之原生結構，完全如他们在患者體內发现的那樣。內部結構之間的空間關係得以保留且可使用MD6DM來了解。
由影像產生器呈現之MD6DM之演算法獲取醫學影像資訊且將其構建到一球面模型中，该球面模型为在「飛入」解剖結構內時可自任何角度觀察之完全連續即時模型。特定而言，在CT、MRI等拍摄到一真實有機體且將其解構成由數千個點構建之數百個薄片之後，MD6DM藉由表示此等點中之每一者之360°視圖自內部及外部兩者將其還原至一3D模型。
本文描述一種成像系統，其利用一影像產生器及一MD6DM模型來用於創建一受試者之一同步增強現實視圖。特定而言，成像系統能夠增強MD6DM模型且將MD6DM模型覆蓋在一對應實體模型之頂部上。此外，成像系統將MD6DM模型錨固至實體模型且使兩者同步，使得根據模型周圍之移動創建一新影像並將該新影像覆蓋在實體模型之頂部上。此係藉由將影像產生器直接串流傳輸至一HMD、追蹤HMD之一位置及定位及基於追蹤移動調整影像產生器來實現。因此，在虛擬模型與實體模型之間創建一相依性。
藉由創建此種相依性並將一虛擬模型綁定或錨固至一實體模型，及然後基於相對於實體模型之移動調整覆蓋在實體模型之頂部上之影像，無論一HDM之一使用者相對於實體模型定位在何處，該HMD皆能夠接收實體模型之一同步增強現實視圖，從而為使用者提供實體模型之一改良視角。由於將虛擬模型錨固至實體模型，視覺模型不與實體模型分離。換言之，若HMD之一使用者轉過頭且視線自實體模型上移開，則使用者亦將看不到虛擬模型。只有當使用者將焦點返回至實體模型時，使用者才會再次看到視情況覆蓋及同步之虛擬模型。因此，可向使用者呈現一主要實體對象之增強視圖，同時仍為使用者提供自由及靈活性來操主要實體對象附近內之次要實體對象並與其互動而不干擾使用者對次要對象之觀察或與其之互動。
應了解，雖然參考將一虛擬模型錨固或綁定至一實體模型，但虛擬模型可錨固至一實體位置，而非一實體對象，且應理解，實體對象之位置在實體對象之增強現實觀察期間不移動。
應了解，雖然本文中描述之實例大體上可指醫學應用且具體而言可指為了執行脊柱手術之目的而增強並與一對應患者之實體身體同步之一患者解剖結構的虛擬模型或影像，但成像系統可類似地用於將任何虛擬對象之一虛擬模型或影像與一對應實體對象同步並將其增強。
圖1圖解說明用於增強一虛擬模型102並使其與一實體模型104同步之一系統100。特定而言，系統100使一使用者106(諸如一醫師)能夠自實體模型104之任何角度觀察實體模型104之一增強現實視圖108。換言之，使用者106可在實體模型104周圍走動並自任何側面、角度或視角觀察實體模型104，且將虛擬模型102之同步對應視圖覆蓋在實體模型104之頂部上，以便形成增強現實視圖108。且，若使用者106轉離實體模型104使得實體模型104不再在當前視圖或視線內，則虛擬模型102類似地亦自當前視圖或視線中消除。
虛擬模型102可提供額外之生物特徵以添加至實體模型104，舉例而言，諸如藉由向一骨骼之一實體模型提供內部器官及/或肌肉組織之虛擬模型。虛擬模型102及實體模型104中之任一者或兩者可為通用模型或基於由各種成像掃描技術判定之一實際患者的實體生物特性之模型。虛擬模型102可替代地或另外包含各種工具、植入物或其他實體性實體之模型。
系統100包含一增強現實頭戴式顯示器(「HMD」) 110以用於結合另外整合之內容(諸如視覺模型102)向使用者106提供增強現實視圖108，該增強現實視圖包含實體模型104之一即時真實生活視覺效果。例如，系統100包含一AR同步電腦112以用於自一虛擬模型資料庫114取得一虛擬模型102(諸如一SNAP模型)、用於自虛擬模型102呈現一虛擬影像116，以及用於提供虛擬影像116至HMD 110。在一個實例中，AR同步電腦112包含一影像產生器(未示出)以用於自虛擬模型102呈現虛擬影像116。在另一實例中，影像產生器專用於一虛擬模型102且與自虛擬模型資料庫114取得之虛擬模型102包含在一起。
應了解，雖然AR同步電腦112被描繪為在HMD 110外部，但在一個實例中，AR同步電腦112可併入HMD 110中。此提供一種用於接收及處理一虛擬模型102之單個經整合解決方案，使得HMD 110可向使用者提供如所述之增強現實視圖108。在此一實例中，虛擬模型102或虛擬模型102之影像產生器被直接串流傳輸至HMD 110。
AR同步電腦112(其與HMD 110結合)經組態以將虛擬模型102綁定或錨固至實體模型104且使虛擬模型102與實體模型104之即時真實生活視覺效果同步並覆蓋在其上，以便經由HMD 110創建實體模型104之增強現實視圖108。為了促進錨固及同步，AR同步電腦112經組態以與一導航系統118通信。特定而言，AR同步電腦112經組態以自導航系統118接收同步及導航資料120並使用接收到之同步及導航資料120將HMD 110與導航系統118配準。換言之，來自導航系統118之同步及導航資料120用作AR同步電腦112之一實體參考系。此使得AR同步電腦112能夠藉由使用同步及導航資料120或導航系統參考系作為虛擬模型102之錨來將虛擬模型102綁定至實體模型104。一旦錨固，AR同步電腦112便能夠根據HMD 110經由導航系統118之追蹤移動產生適當之虛擬影像116。
圖2更詳細地圖解說明AR同步電腦112如何與導航系統118互動以便如圖1中所描述使虛擬模型102與實體模型104同步及覆蓋該實體模型。更具體而言，標記202之一參考陣列定位在一實體模型204附近以便用作用於配準實體模型204之一參考點。藉由進一步配準一探針或外科手術工具206之參考點，導航系統使得能夠相對於實體模型204追蹤探針206。
標記器208之一頭戴式設備參考陣列定位在一HMD 210上以進一步實現HMD 210相對於實體模型204之配準及追蹤。追蹤定位在HMD 210前面之獨角獸型指針212能夠更準確地判定HMD 210之觀察方向及角度。因此，相對於定位在一實體模型204附近之標記202的參考陣列追蹤探針206與追蹤HMD 210兩者之組合創建一獨特環境，在該獨特環境內可經由HMD向使用者顯示一虛擬模型(未示出)且可使該虛擬模型與實體模型204同步，諸如以便能夠同時與虛擬模型及實體模型204互動。
為了使一虛擬模型能夠覆蓋在實體模型204上且與該實體模型適當同步，使得一使用者可在增強現實中有效地與虛擬模型互動，虛擬模型首先與實體模型204對準。為了促進對準，虛擬模型包含標記208之參考陣列之一虛擬表示，且虛擬地定位在虛擬模型附近，與標記208之參考陣列相對於實體模型204之位置相同。然後藉由將參考陣列208之標記與虛擬模型中之對應虛擬參考陣列標記在視覺上對齊來執行初始對準。例如，此可在與模型接合或與模型互動之前使用系統之一管理或設定模式來執行。在一個實例中，初始對準或設定可由AR同步電腦112自動執行。
一旦適當對齊，一使用者便可經由HMD 210觀察實體模型204，同時即時觀察一個經整合增強視圖300中覆蓋在實體模型204之頂部上之一同步虛擬模型，如圖3所示。在一個實例中，經整合增強視圖300亦可包含與一實體探針同步並重疊之一虛擬探針302。這使得一使用者能夠以對於單獨使用一實體探針原本不可能之方式進一步與經整合增強視圖300互動。
在一個實例中，如圖4所示，一虛擬螺釘404可定位在虛擬探針302之端部處，以便允許一使用者模擬或練習將虛擬螺釘404插入虛擬模型內作為一模擬或一實際醫療手術之部分。基於一實體螺釘將一虛擬螺釘404模型化。例如，可自一資料庫(諸如此類螺釘之一第三方提供商)取得諸如2D或3D模型及螺釘呈現之資料，使得虛擬螺釘表示用於醫療手術之一實際外科手術螺釘，且經轉換為一虛擬現實或增強現實360度模型以在系統100內進行互動及模擬。在一個實例中，代表一螺釘之資料以一STEP檔案格式接收並轉換為一OBJ檔案格式。在一個實例中，將螺釘轉換為一VR/AR模型包含自動重新設定模型螺釘之大小及縮放其比例，使得虛擬螺釘404具有與虛擬模型類似之性質及尺寸。
應了解，雖然在本文中具體參考一螺釘，但可對用於外科手術放置或用途之一實際機械或實體附件的任何類似類型進行模型化並將其與虛擬探針302相關聯以用於外科手術模擬、訓練及準備，使得提供表示實際機械或實體附件之一虛擬附件模型以供在模擬或實際手術中使用。
在一個實例中，如圖5所示，諸如一DICOM影像502之額外內容可被注入並顯示在一經整合增強視圖500中以供使用者進一步互動。例如，在觀察經整合增強視圖500並與之互動時，一使用者可向上看或向一側看以顯露額外內容502，例如，此可幫助使用者進行例如互動或一外科手術。DICOM影像502亦與追蹤資料同步，使得探針及HMD之移動導致DICOM影像根據需要被適當地更新、旋轉及重新定位。
在一個實例中，如圖8所示，定位在一虛擬探針804之尖端處之一虛擬螺釘802的一模擬覆蓋在註入並顯示在一經整合增強視圖中之DICOM影像806之頂部上。當一使用者相對於一實體模型移動一實體探針時，或者當使用者調整一視圖使得一HMD相對於實體模型之視角或位置發生變化時，使虛擬螺釘802以及虛擬探針804之移動同步並相應地進行更新。換言之，當一使用者在諸如一患者解剖結構之一實體模型附近移動一實體探針時，使用者經由解剖結構之一增強視圖體驗覆蓋在實體模型上之虛擬模型、與實體探針同步將一模型虛擬螺釘固持在虛擬模型中或附近之虛擬探針、在虛擬模型周圍(或附近)顯示之相同解剖結構之一DICOM，及固持顯示在DICOM之頂部上的螺釘之探針的一表示，其中所有三者之移動同步，此意指虛擬探針及螺釘在虛擬模型及DICOM兩者上之位置皆被自動同步及更新以對應於實體探針之移動。
為了使DICOM(其是一2D影像)上之虛擬螺釘適當同步，產生DICOM之一軌跡視圖。特定而言，DICOM顯示在垂直於探針之一平面中，使得可自探針之視角看到DICOM。
在一個實例中，一使用者經由一HMD體驗之互動及視圖(包含實體視圖及虛擬視圖以及任何額外註入之內容)可即時串流傳輸至一外部顯示器以供額外使用者觀察相同之體驗。
如可了解，本文描述之系統為一使用者或一醫師提供許多好處。例如，將增強現實系統用於脊柱手術或用於任何其他外科手術，使外科醫生可更好地準備手術並以一更安全之方式進行手術。此變得可行，因為呈現給外科醫生之獨特且新穎之視圖使外科醫生可觀察骨及解剖結構之一組合，包括軟組織、神經、脊柱、血管、肺等，且即使一解剖結構被其他組織遮擋，亦可觀察該解剖結構。
在一個實例中，如圖9所示，為了幫助引導一醫師放置一螺釘，一醫師(或任何使用者)可在由一虛擬模型904表示之解剖結構內放置一虛擬引導標記902。虛擬引導標記902使醫師能夠例如藉由放置引導標記902(其指示一位置及一方向)以指示在手術期間將放置一螺釘之一位置來規劃一脊柱外科手術。除了規劃外科手術之外，然後亦可在外科手術期間使用引導標記902來引導螺釘之放置。當定位引導標記902時，醫師能夠調整螺釘待插入之位置以及角度或方向兩者。一虛擬探針906用於模擬具有一螺釘(未示出)之一實際探針之接近、定位及放置。
在一個實例中，如圖10所示，隨著虛擬探針906更靠近並接近引導標記902，量測虛擬探針906與引導標記902之間的一距離。一旦測得之距離低於一預定臨限值位準，便意味著通過已一近接度測試，可使用額外引導標記來進一步改善虛擬附件之放置。對於圖10中提供之實例，出現一引導線1002以便進一步引導外科醫生定位虛擬探針906，諸如藉由使用實體探針與實體模型，從而更好地將虛擬螺釘定位在期望位置。特定而言，引導線1002將用作用於引導虛擬探針906應定位之角度之一角度參考。在一個實例中，當參考引導線1002調整虛擬探針906之角度時，引導線1002及引導標記902中之至少一者或兩者之顏色可改變顏色以向醫師提供關於角度對準精度之回饋及資訊。例如，當虛擬探針906相對於引導線1002明顯未對準時，顏色可為紅色。隨著虛擬探針906移動得更近而與引導線1002對準且虛擬探針906與引導線1002之間的角度下降至低於一預定臨限值時，顏色可變為黃色。當虛擬探針906與引導線1002之間的角度下降至低於一第二預定臨限值時，指示兩者緊密對準，顏色可變為綠色。
在一個實例中，如圖11所示，類似於用於將一飛機引導至一跑道之一儀表著陸系統(「ILS系統」)1102之一引導系統用於在虛擬探針906接近一目標1104時進一步引導醫師將虛擬探針906適當定位在正確位置及角度。ILS系統包含一水平導向器1106及一豎直導向器1108，該兩者在一中心點1110處二等分。使用ILS系統1102之視覺引導，醫師能夠藉由在豎直或水平方向上移動及傾斜並對角度及位置進行校正直至中心點1110與目標1104對準來調整虛擬探針906。在一個實例中，ILS系統1102結合所描述之顏色回饋起作用以便進一步引導醫師。
在一個實例中，如圖12所示，對應於虛擬模型904之一DICOM表示1202可與虛擬模型904同步並被追蹤，並與虛擬模型904之視圖一起顯示，以便進一步幫助醫師看見及定位一虛擬探針906。特定而言，作為一醫師，諸如藉由使用實體探針將固持一螺釘1204之虛擬探針904帶到虛擬模型904附近內以模擬螺釘904之放置，虛擬探針904及螺釘1204之位置及方向亦同時在DICOM表示1202中被描繪，從而為醫師提供一額外之視角及引導。
應了解，雖然已參考一虛擬探針906之引導及定位以用於模擬及準備手術，但本文描述之系統及方法可類似地在一實際外科手術期間使用以用於引導一實際實體探針及任何期望的可植入附件並將其定位在(諸如一特定患者之)一實際解剖結構內。
應進一步了解，虛擬引導標記及用於引導一虛擬或實際工具連同一虛擬或實際螺釘之定位的系統及方法可使用任何合適之顯示裝置(諸如一監視器或一HMD)傳達並呈現給一醫師。在一個實例中，如圖13所示，且HDM用於呈現一增強現實視圖1302，該強現實視圖包含：定位於一解剖結構之一虛擬模型906上的一引導標記904，該引導標記及該虛擬模型兩者皆在AR中覆蓋在一對應實體解剖結構之頂部上；以及定位或浮動在解剖結構視圖附近之對應DICOM 1202，其亦在AR中，展示相同解剖結構及標記之另一視圖。
圖6圖解說明用於使一虛擬模型與一實體模型同步及增強該虛擬模型之一例示性方法。在602處，AR同步電腦112自導航系統118接收同步及導航資料120並將HMD 110與導航系統118配準。在604處，AR同步電腦112自虛擬模型資料庫114接收代表一虛擬模型102之資料。在606處，AR同步電腦112將虛擬模型102錨固至導航系統118參考點。在608處，AR同步電腦112接收指示HMD 110之移動的追蹤資料。在一個實例中，自導航系統118接收追蹤資料。在另一實例中，自HMD 110接收追蹤資料。在610處，AR同步電腦112基於接收到之追蹤資料呈現來自虛擬模型102之虛擬影像116。在612處，AR同步電腦112將虛擬影像116串流傳輸至HMD 110以便產生實體模型104之增強現實視圖108。
圖7係用於實施圖1之AR同步電腦112之一例示性電腦之一示意圖。例示性電腦700旨在表示各種形式之數位電腦，包含膝上型電腦、桌上型電腦、手持式電腦、平板電腦、智慧型電話、伺服器及其他類似類型之計算裝置。電腦700包含藉由一介面710經由一匯流排712可操作地連接之一處理器702、記憶體704、一儲存裝置706及一通信埠708。
處理器702经由記憶體704處理指令以用於在電腦600內執行。在一例示性實施例中，可使用多個處理器連同多個記憶體。
記憶體704可為揮發性記憶體或非揮發性記憶體。記憶體704可為一電腦可讀媒體，諸如一磁碟或光碟。儲存裝置706可為一電腦可讀媒體，諸如軟碟裝置、一硬碟裝置、光碟裝置、一磁帶裝置、一快閃記憶體、相變記憶體或其他類似之固態記憶體裝置或一裝置陣列(包括位於其他組態之一儲存區域網路中之裝置)。一電腦程式產品可有形地體現在一電腦可讀媒體(諸如記憶體704或儲存裝置706)中。
電腦700可耦合至一或多個輸入及輸出裝置，諸如一顯示器714、一印表機716、一掃描儀718、一滑鼠720及一HMD 724。
如熟習此項技術者將了解，例示性實施例可被實現為一種方法、系統、電腦程式產品或前述各者之一組合，或者可通常利用该方法、系統、電腦程式產品或前述各者之一組合。因此，任何實施例可採取包含儲存在儲存裝置中以供在電腦硬體上執行之可執行指令之專用軟體之形式，其中該軟體可儲存在具有在媒體中體現之電腦可用程式碼之電腦可用儲存媒體上。
資料庫可使用可在所揭示之伺服器或另外之電腦伺服器上運行之可商购获得之電腦應用程序(諸如開源解決方案(諸如MySQL)或封閉式解決方案(諸如Microsoft SQL))來實施。資料庫可利用關係或面向對象之範例來儲存用於以上所揭示之示範性實施例之資料、模型及模型參數。此類資料庫可使用已知之資料庫程式設計技術來客製化以實施本文所揭示之專門適用性。
任何合適之電腦可用(電腦可讀)媒體都可用於儲存包含可執行指令之軟體。電腦可用或電腦可讀媒體可為例如但不限於電子、磁性、光學、電磁、紅外或半導體系統、設備、裝置或傳播媒體。電腦可讀媒體之更特定之實例(非詳盡列表)將包括以下項：具有一或多根電線之電連接；有形媒體，諸如便攜式電腦軟磁盤、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可抹除可程式化唯讀記憶體(EPROM或快閃記憶體)、光碟唯讀記憶體(CDROM)或其他有形光學或磁性儲存裝置；或傳輸媒體，諸如支持網際網路或內部網路之彼等媒體。
在本文檔之上下文中，電腦可用或電腦可讀媒體可為可含有、儲存、傳達、傳播或傳送程式指令以供可包含任何合適之電腦(或電腦系統)之指令執行系統、平台、設備或裝置使用或與其結合使用之任何媒體，該任何合適之電腦(或電腦系統)包括一或多個可程式化或專用處理器/控制器。電腦可用媒體可包含其中体现有電腦可用程式碼(在基带中或作为载波之一部分)之傳播資料信號。電腦可用程式碼可使用任何適當之媒體來傳輸，该任何適當之媒體包括但不限於網際網路、有線、光纖電纜、本地通信匯流排、射頻(RF)或其他方式。
具有用於實行例示性實施例之操作之可執行指令之電腦程式碼可藉由使用任何電腦語言之常規方式編寫，該電腦語言包括但不限於一解譯或事件驅動語言(諸如BASIC、Lisp、VBA或VBScript)，或一GUI實施例(諸如visual basic)、一編譯程式設計語言(諸如FORTRAN、COBOL或Pascal)、一物件導向程式設計語言、腳本化或非腳本化程式設計語言(諸如Java、JavaScript、Perl、Smalltalk、C++、C#、Object Pascal等)、人工智慧語言(諸如Prolog)、一即時嵌入式語言(諸如Ada)，或者甚至使用梯形邏輯之更直接或簡化程式設計、一匯編語言，或使用一適當機器語言進行直接程式設計。
在某种程度上就本說明書或申請專利範圍中所用之術語「包含(includes)」或「包含(including)」而言，其意圖以與術語「包括」在申請專利範圍中用作過渡詞时被解釋之類似的方式具有包含性。此外，在某种程度上就採用術語「或」(例如，A或B)而言，其意圖意指「A或B或兩者」。當本申請者意圖指示「僅A或B而非兩者」時，則將採用術語「僅A或B而非兩者」。因此，本文中之術語「或」之使用係包括性的，而非排他性之使用。參見Bryan A. Garner發表之《現代法律用法詞典624》(1995年第2版，)。同樣，在某种程度上就本說明書或申請專利範圍中所使用術語「在……中(in)」或「在……中(into)」而言，其意圖另外意指「在……上(on)」或「在……上(onto)」。此外，就在說明書或申請專利範圍中使用術語「連接」而言，其旨在不僅表示「直接連接至」，而且表示「間接連接至」，諸如透過另一或多個部件連接。
雖然本申請已藉由對其實施例之描述進行了圖示說明且雖然已經相當詳細地描述了該等實施例，但申請人之意圖並非將所附申請專利範圍之範疇約束或以任何方式限制為此細節。額外之優點及修改对熟習此項技術者將是显而易见的。因此，本申請案在其較廣泛態樣不限於特定細節、代表性設備及所展示且描述之方法及說明性實例。因此，在不脫離本申請者之大體發明概念之精神及範疇的情況下，可對此類細節做出變更。
100:系統 102:虛擬模型 104:實體模型 106:使用者 108:增強現實視圖 110:增強現實頭戴式顯示器、HMD 112:AR同步電腦 114:虛擬模型資料庫 116:虛擬影像 118:導航系統 120:同步及導航資料 202:標記之參考陣列 204:實體模型 206:探針 208:標記之參考陣列 210:HMD 212:獨角獸型指針 300:經整合增強視圖 302:虛擬探針 404:虛擬螺釘 500:經整合增強視圖 502:額外之內容 600:電腦 602:步驟 604:步驟 606:步驟 608:步驟 610:步驟 612:步驟 700:電腦 702:處理器 704:記憶體 706:儲存裝置 708:通信埠 710:介面 714:顯示器 716:印表機 718:掃描儀 720:滑鼠 724:HMD 800:步驟 802:虛擬視圖 804:虛擬探針 806:DICOM影像 902:虛擬引導標記 904:虛擬模型 906:虛擬探針 1102:儀器著陸系統 1106:水平導向器 1108:豎直導向器 1110:中心點 1202:DICOM表示 1204:螺釘 1302:增強現實視圖
在附圖中，圖解說明各結構，其與下面提供之詳細描述一起描述本發明之例示性實施例。相同元件用相同元件符號識別。應理解，展示為一單個組件之元件可用多個組件替換，且展示為多個組件之元件可用一單個組件替換。圖式並未按比例繪製，且出於說明目的，某些元件之比例可能被放大。
圖1圖解說明用於增強現實脊柱手術之一例示性系統。
圖2圖解說明用於增強現實脊柱手術之一例示性系統。
圖3圖解說明用於增強現實脊柱手術之一例示性系統。
圖4圖解說明用於增強現實脊柱手術之一例示性系統。
圖5圖解說明用於增強現實脊柱手術之一例示性系統。
圖6圖解說明用於增強一虛擬模型及使該虛擬模型與一實體模型同步之一例示性方法。
圖7圖解說明實施圖1之例示性增強現實同步電腦之一例示性電腦。
圖8圖解說明用於增強現實脊柱手術之一例示性系統。
圖9圖解說明用於增強現實脊柱手術之一例示性系統。
圖10圖解說明用於增強現實脊柱手術之一例示性系統。
圖11圖解說明用於增強現實脊柱手術之一例示性系統。
圖12圖解說明用於增強現實脊柱手術之一例示性系統。
圖13圖解說明用於增強現實脊柱手術之一例示性系統。
202:標記之參考陣列
204:實體模型
206:探針
208:標記之參考陣列
210:HMD
212:獨角獸型指針

Claims (40)

  1. 一種用於使用一電腦系統來呈現表示一解剖特徵之一實體模型及一可植入外科手術附件之虛擬附件模型的一互動式增強視圖之方法，該方法包括以下步驟： 將表示該可植入外科手術附件之資料儲存在一資料庫中； 提供經組態以供一使用者使用以與該實體模型互動之一實體探針； 該電腦系統經組態用於利用表示該可植入外科手術附件之該資料來產生該可植入外科手術附件之該虛擬附件模型； 該電腦系統經組態用於判定該使用者之一觀察方向； 該電腦系統經組態用於追蹤該實體模型周圍之該實體探針之一位置； 該電腦系統經組態用於基於該使用者之該經判定觀察方向產生該實體模型之一影像； 該電腦系統經組態用於基於該實體探針之該追蹤位置產生該外科手術探針之一影像；及 該電腦系統經組態用於產生一增強現實視圖並向該使用者顯示該增強現實視圖，該增強現實視圖展示該虛擬附件模型與該實體探針之該經產生影像及該實體模型之該經產生影像的現實互動，使得該使用者可基於使用者與該實體模型周圍之該實體探針的互動，來現實地操縱該虛擬附件模型。
  2. 如請求項1之方法，其中該可植入外科手術附件係可植入螺釘。
  3. 如請求項2之方法，其中該實體模型包含一骨骼之一或多個部分。
  4. 如請求項2之方法，其中該可植入螺釘係可商購獲得之用於醫療手術之一實際外科手術螺釘。
  5. 如請求項1之方法，其進一步包括以下步驟：該電腦系統使用該電腦系統之一使用者介面來提供該使用者可選擇之複數個額外虛擬模型，其中該增強現實視圖包含與該等額外虛擬模型中之一選定虛擬模型的互動。
  6. 如請求項5之方法，其中該等虛擬模型中之該選定虛擬模型提供覆蓋在該實體模型之該影像上之一或多個額外解剖特徵。
  7. 如請求項6之方法，其中覆蓋在該實體模型之該影像上之該一或多個額外解剖特徵係基於一實際患者之實際解剖特徵。
  8. 如請求項5之方法，其進一步包括以下步驟：該電腦系統經組態以在該增強現實視圖中在該實體模型之該影像或該額外虛擬模型中之選定虛擬模型之該影像上顯示一或多個引導標記，以引導該使用者將該實體探針操縱至該虛擬附件模型相對於該實體模型或該等額外虛擬模型中之該選定虛擬模型的該各自模型的一期望放置。
  9. 如請求項1之方法，其中該實體模型係基於一實際患者之實際解剖特徵。
  10. 如請求項1之方法，其進一步包括以下步驟：該電腦系統經組態以在該增強現實視圖中在該實體模型之該影像上顯示一或多個引導標記，以引導該使用者將該實體探針操縱至該虛擬附件模型相對於該實體模型之一期望放置。
  11. 如請求項10之方法，其進一步包括以下步驟： 對該實體探針執行一近接度測試以偵測該實體探針與該虛擬附件之一期望位置的一預定臨限值位準之間的一距離；及 利用該一或多個引導標記來基於該近接度測試對引導該使用者以將該虛擬附件定位至該期望位置進行進一步改善。
  12. 如請求項11之方法，其中該一或多個引導標記用作一角度參考及/或色碼，以用於引導該實體探針應定位之該角度。
  13. 一種用於使用一電腦系統來呈現表示一解剖特徵之一實體模型及一可商購獲得之可植入外科手術附件之虛擬附件模型的一互動式增強型視圖之方法，該方法包括以下步驟： 將表示該可植入外科手術附件之資料儲存在一資料庫中； 提供經組態以供一使用者使用以與該實體模型互動之一實體探針； 該電腦系統經組態用於利用表示該可植入外科手術附件之該資料來產生該可植入外科手術附件之該虛擬附件模型； 該電腦系統經組態用於判定該使用者之一觀察方向； 該電腦系統經組態用於追蹤該實體模型周圍之該實體探針之一位置； 該電腦系統經組態用於基於該使用者之該經判定觀察方向產生該實體模型之一影像； 該電腦系統經組態用於基於該實體探針之該追蹤位置產生該外科手術探針之一影像； 該電腦系統經組態用於產生一增強現實視圖並向該使用者顯示該增強現實視圖，該增強現實視圖展示該虛擬附件模型與該實體探針之該經產生影像及該實體模型之該經產生影像的現實互動，使得該使用者可基於使用者與該實體模型周圍之該實體探針的互動，來現實地操縱該虛擬附件模型； 該電腦系統經組態用於在該增強現實視圖中在該實體模型之該影像上顯示一或多個引導標記，以引導該使用者將該實體探針操縱至該虛擬附件模型相對於該實體模型之一期望放置； 對該實體探針執行一近接度測試以偵測該實體探針與該虛擬附件之一期望位置的一預定臨限值位準之間的一距離；及 利用該一或多個引導標記來基於該近接度測試對引導該使用者以將該虛擬附件定位至該期望位置進行進一步改善。
  14. 如請求項13之方法，其中該可植入外科手術附件係一可植入螺釘。
  15. 如請求項14之方法，其中該實體模型包含一骨骼之一或多個部分。
  16. 如請求項14之方法，其中該可植入螺釘係可商購獲得之用於醫療手術之一實際外科手術螺釘。
  17. 如請求項13之方法，其進一步包括以下步驟：該電腦系統經組態用於使用該電腦系統之一使用者介面來提供該使用者可選擇之複數個額外虛擬模型，其中該增強現實視圖包含與該等額外虛擬模型中之一選定虛擬模型的互動。
  18. 如請求項17之方法，其中該等虛擬模型中之該選定虛擬模型提供覆蓋在該實體模型之該影像上之一或多個額外解剖特徵。
  19. 如請求項18之方法，其中覆蓋在該實體模型之該影像上之該一或多個額外解剖特徵係基於一實際患者之實際解剖特徵。
  20. 如請求項13之方法，其中該實體模型係基於一實際患者之實際解剖特徵。
  21. 如請求項13之方法，其進一步包括以下步驟： 對該實體探針執行一近接度測試以偵測該實體探針與該虛擬附件之一期望位置的一預定臨限值位準之間的一距離；及 提供一或多個額外之引導標記，以對引導該使用者將該虛擬附件定位至該期望位置進行進一步改善。
  22. 如請求項21之方法，其中該一或多個額外引導標記用作一角度參考以用於引導該實體探針應定位之該角度。
  23. 如請求項13之方法，其中該一或多個引導標記用作一角度參考以用於引導該實體探針應定位之該角度。
  24. 如請求項13之方法，其中該一或多個引導標記利用顏色來引導該實體探針之該定位。
  25. 一種用於使用一電腦系統來呈現包含一骨骼之至少部分之一實體模型及一可商購獲得之可植入螺釘之一虛擬螺釘模型的一互動式增強視圖之方法，該方法包括以下步驟： 將表示該可植入螺釘之資料儲存在一資料庫中； 提供經組態以供一使用者使用以與該實體模型互動之一實體探針； 該電腦系統經組態用於利用表示該可植入螺釘之該資料來產生該可植入螺釘之該虛擬螺釘模型； 該電腦系統經組態用於判定該使用者之一觀察方向； 該電腦系統經組態用於追蹤該實體模型周圍之該實體探針之一位置； 該電腦系統經組態用於基於該使用者之該經判定觀察方向產生該實體模型之一影像； 該電腦系統經組態用於基於該實體探針之該追蹤位置產生該外科手術探針之一影像； 該電腦系統經組態用於產生一增強現實視圖並向該使用者顯示該增強現實視圖，該增強現實視圖展示該螺釘模型與該實體探針之該經產生影像及該實體模型之該經產生影像的現實互動，使得該使用者可基於使用者與該實體模型周圍之該實體探針的互動，來現實地操縱該螺釘模型以與該骨骼之該部分互動； 該電腦系統經組態用於在該增強現實視圖中在該實體模型之該影像上顯示一或多個引導標記，以引導該使用者將該實體探針操縱至該螺釘模型相對於該骨骼之該部分的一期望放置； 對該實體探針執行一近接度測試以偵測該實體探針與該虛擬附件之一期望位置的一預定臨限值位準之間的一距離；及 利用該一或多個引導標記來基於該近接度測試對引導該使用者以將該虛擬附件定位至該期望位置進行進一步改善。
  26. 如請求項25之方法，其進一步包括以下步驟：該電腦系統經組態用於使用該電腦系統之一使用者介面來提供該使用者可選擇之複數個額外虛擬模型，其中該增強現實視圖包含與該等額外虛擬模型中之一選定虛擬模型的互動。
  27. 如請求項26之方法，其中該等虛擬模型中之該選定虛擬模型提供覆蓋在該實體模型之該影像上之一或多個額外解剖特徵。
  28. 如請求項25之方法，其中覆蓋在該實體模型之該影像上之該一或多個額外解剖特徵係基於一實際患者之實際解剖特徵。
  29. 如請求項25之方法，其中該一或多個引導標記用作一角度參考以用於引導該實體探針應定位之該角度。
  30. 如請求項25之方法，其中該一或多個引導標記利用顏色來引導該實體探針之該定位。
  31. 一種用於使用一電腦系統來呈現表示一解剖特徵之一實體模型及一可商購獲得之可植入外科手術附件之虛擬附件模型的一互動式增強型視圖之方法，該方法包括以下步驟： 將表示該可植入外科手術附件之資料儲存在一資料庫中； 提供經組態以供一使用者使用以與該實體模型互動之一實體探針； 該電腦系統經組態用於利用表示該可植入外科手術附件之該資料來產生該可植入外科手術附件之該虛擬附件模型； 該電腦系統經組態用於判定該使用者之一觀察方向； 該電腦系統經組態用於追蹤該實體模型周圍之該實體探針之一位置； 該電腦系統經組態用於基於該使用者之該經判定觀察方向及儲存在該資料庫中之該實體模型的該虛擬模型之期望特徵來產生該實體模型之一虛擬模型； 該電腦系統經組態用於基於該實體探針之該追蹤位置及儲存在該資料庫中之該實體探針的該虛擬模型之期望特徵來產生該外科手術探針之一虛擬模型； 該電腦系統經組態用於產生一增強現實視圖並向該使用者顯示該增強現實視圖，該增強現實視圖展示該虛擬附件模型與該實體探針之該虛擬模型及該實體模型之該虛擬模型的現實互動，使得該使用者可基於使用者與該實體模型周圍之該實體探針的互動，來現實地操縱該虛擬附件模型； 該電腦系統經組態用於在該增強現實視圖中在該實體模型之該虛擬模型上顯示一或多個引導標記，以引導該使用者將該實體探針操縱至該虛擬附件模型相對於該實體模型之該虛擬模型的一期望放置； 對該實體探針執行一近接度測試以偵測該實體探針之該虛擬模型與該虛擬附件之一期望位置的一預定臨限值位準之間的一距離；及 利用該一或多個引導標記來基於該近接度測試對引導該使用者以將該虛擬附件定位至該實體模型之該虛擬模型上的該期望位置進行進一步改善。
  32. 如請求項31之方法，其進一步包括以下步驟：該電腦系統經組態用於使用該電腦系統之一使用者介面來提供該使用者可選擇之複數個額外虛擬模型，其中該增強現實視圖包含與該等額外虛擬模型中之一選定虛擬模型的互動。
  33. 如請求項32之方法，其中該等虛擬模型中之該選定虛擬模型提供覆蓋在該實體模型之該影像上之一或多個額外解剖特徵。
  34. 如請求項33之方法，其中覆蓋在該實體模型之該影像上之該一或多個額外解剖特徵係基於一實際患者之實際解剖特徵。
  35. 如請求項32之方法，其中該一或多個引導標記用作一角度參考以用於引導該實體探針應定位之該角度。
  36. 如請求項32之方法，其中該一或多個引導標記利用顏色來引導該實體探針之該虛擬模型之該定位。
  37. 一種用於呈現包含一骨骼之至少部分之一實體模型及一可商購獲得之可植入螺釘之一虛擬螺釘模型的一互動式增強視圖之系統，該系統包括： 一資料庫，其經組態用於儲存表示該可植入螺釘之資料； 一實體探針，其經組態以供一使用者使用以與該實體模型互動；及 一電腦系統，其經組態具有用於執行以下步驟之軟體： 利用表示該可植入螺釘之該資料來產生該可植入螺釘之該虛擬螺釘模型； 判定該使用者之一觀察方向； 追蹤該實體模型周圍之該實體探針之一位置； 基於該使用者之該經判定觀察方向產生該實體模型之一影像； 基於對該實體探針之該追蹤位置產生該外科手術探針之一影像； 產生一增強現實視圖並向該使用者顯示該增強現實視圖，該增強現實視圖展示該螺釘模型與該實體探針之該經產生影像及該實體模型之該經產生影像的現實互動，使得該使用者可基於使用者與該實體模型周圍之該實體探針的互動，來現實地操縱該螺釘模型以與該骨骼之該部分互動；及 在該增強現實視圖中在該實體模型之該影像上顯示一或多個引導標記，以引導該使用者將該實體探針操縱至該螺釘模型相對於該骨骼之該部分的一期望放置。
  38. 如請求項37之系統，該電腦系統經進一步組態有用於執行以下額外步驟之軟體： 對該實體探針執行一近接度測試以偵測該實體探針與該虛擬螺釘之一期望位置的一預定臨限值位準之間的一距離；及 利用該一或多個引導標記來基於該近接度測試對引導該使用者將該虛擬螺釘定位至該期望位置進行進一步改善。
  39. 如請求項38之方法，其中該一或多個引導標記用作一角度參考以用於引導該實體探針應定位之該角度。
  40. 如請求項38之系統，其中該一或多個引導標記利用顏色來引導該實體探針之該定位。
TW110129166A 2020-08-07 2021-08-06 用於增強現實脊柱手術之系統及方法 TW202207242A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202063062921P 2020-08-07 2020-08-07
US63/062,921 2020-08-07
US202063068079P 2020-08-20 2020-08-20
US63/068,079 2020-08-20
US202063116457P 2020-11-20 2020-11-20
US63/116,457 2020-11-20

Publications (1)

Publication Number Publication Date
TW202207242A true TW202207242A (zh) 2022-02-16

Family

ID=80114569

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110129166A TW202207242A (zh) 2020-08-07 2021-08-06 用於增強現實脊柱手術之系統及方法

Country Status (3)

Country Link
US (1) US20220039881A1 (zh)
TW (1) TW202207242A (zh)
WO (1) WO2022031564A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109688963B (zh) 2016-07-15 2021-08-06 马科外科公司 用于机器人辅助修正程序的系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1722705A2 (en) * 2004-03-10 2006-11-22 Depuy International Limited Orthopaedic operating systems, methods, implants and instruments
CA3016604A1 (en) * 2016-03-12 2017-09-21 Philipp K. Lang Devices and methods for surgery
US11751944B2 (en) * 2017-01-16 2023-09-12 Philipp K. Lang Optical guidance for surgical, medical, and dental procedures
US20220079675A1 (en) * 2018-11-16 2022-03-17 Philipp K. Lang Augmented Reality Guidance for Surgical Procedures with Adjustment of Scale, Convergence and Focal Plane or Focal Point of Virtual Data

Also Published As

Publication number Publication date
WO2022031564A1 (en) 2022-02-10
US20220039881A1 (en) 2022-02-10

Similar Documents

Publication Publication Date Title
US11730545B2 (en) System and method for multi-client deployment of augmented reality instrument tracking
US11532135B2 (en) Dual mode augmented reality surgical system and method
US10258427B2 (en) Mixed reality imaging apparatus and surgical suite
US11197722B2 (en) Surgical navigation inside a body
US11547499B2 (en) Dynamic and interactive navigation in a surgical environment
Gsaxner et al. The HoloLens in medicine: A systematic review and taxonomy
US20210015583A1 (en) Augmented reality system and method for tele-proctoring a surgical procedure
EP2637593B1 (en) Visualization of anatomical data by augmented reality
US11983824B2 (en) System and method for augmenting and synchronizing a virtual model with a physical model
EP3789965A1 (en) Method for controlling a display, computer program and mixed reality display device
US20220265357A1 (en) Positioning a camera for perspective sharing of a surgical site
Si et al. Augmented reality-based personalized virtual operative anatomy for neurosurgical guidance and training
TW202207242A (zh) 用於增強現實脊柱手術之系統及方法
Müller-Wittig Virtual reality in medicine
KR20200056855A (ko) 기복모델 생성방법, 장치 및 프로그램
US11393111B2 (en) System and method for optical tracking
Sutherland et al. Towards an augmented ultrasound guided spinal needle insertion system
US20220249170A1 (en) System and method for processing black bone mri data
Adler et al. Overlay of patient-specific anatomical data for advanced navigation in surgery simulation
TW202131875A (zh) 用於擴增實體模型及使虛擬模型與實體模型同步之系統及方法
Rasool et al. Image-driven haptic simulation of arthroscopic surgery
Inácio et al. Augmented Reality in Surgery: A New Approach to Enhance the Surgeon's Experience
Kalavakonda Isosurface Visualization Using Augmented Reality for Improving Tumor Resection Outcomes
Yu et al. Novel Visualization Tool for Percutaneous Renal Puncture Training Using Augmented Reality Technology
Nowinski Computer-aided brain surgery: present and future