TW202131875A - 用於擴增實體模型及使虛擬模型與實體模型同步之系統及方法 - Google Patents

Abstract

一種方法，包括：自一導航系統接收同步及導航資料；基於該同步及導航資料生成相對於一配準實體模型的一實體參考坐標系；使用該同步及導航資料使一擴增實境頭戴式顯示器與該導航系統配準；接收代表一虛擬模型的資料；將該虛擬模型錨定至該實體參考坐標系；接收指示該擴增實境頭戴式顯示器相對於該實體參考坐標系的位置及視角的跟蹤資料；及回應於確定該實體模型在該擴增實境頭戴式顯示器之一視場內：基於該接收到的跟蹤資料實時地自該虛擬模型渲染一虛擬影像；且將該虛擬影像串流傳輸至該擴增實境頭戴式顯示器，從而生成一同步及擴增實境視圖。

Description

用於擴增實體模型及使虛擬模型與實體模型同步之系統及方法

相關申請案之交互參照

本申請主張2020年1月31日提交的美國臨時專利申請案第62/968340序列號及2020年8月7日提交的美國臨時專利申請案第63/062921序列號之優先權，該兩者申請案以引用方式整體併入本文中。

本揭露係關於手術程序領域，且更特定而言，係關於擴增實境手術程序領域。

手術程序通常可為複雜且時間敏感的，且範圍自一位患者到另一位患者變化。例如，在動脈瘤修復的情況下，修復點可在程序要求方面變化，這取決於確切方位、大小等。因此，程序之效率高度關鍵，且基於患者特定的局部幾何結構及正在其上進行手術的區域之物理性質進行詳細規劃係基礎。為達成新手術前準備水平，越來越多地利用基於CT和MRI影像的3維渲染。然而，彼等渲染單獨地僅為手術預演提供微小益處。此外，用於在手術之前或期間研究患者的特定解剖結構的現有技術可能對患者具有侵入性，且亦可使外科醫師分神或要求外科醫師暫時地將其註意力自正在進行手術程序的區域移開。

一種用於使一虛擬模型與一實體模型同步及擴增該實體模型之示範性方法包括以下步驟：一AR同步電腦自一導航系統接收同步及導航資料，且基於該同步及導航資料生成相對於一配準實體模型的一實體參考坐標系； 該AR同步電腦使用該同步及導航資料使一擴增實境頭戴式顯示器與該導航系統配準，從而使得能夠跟蹤該擴增實境頭戴式顯示器相對於該實體模型的運動；該AR同步電腦自一虛擬模型資料庫接收代表一虛擬模型的資料；該AR同步電腦將該虛擬模型錨定至該實體參考坐標系；該AR同步電腦接收指示該擴增實境頭戴式顯示器相對於該實體參考坐標系的位置及視角的跟蹤資料；及回應於該AR同步電腦確定該實體模型在該擴增實境頭戴式顯示器之一視場內：該AR同步電腦基於該接收到的跟蹤資料實時地自該虛擬模型渲染一虛擬影像；且該AR同步電腦將該虛擬影像串流傳輸至該擴增實境頭戴式顯示器，從而生成該實體模型之一同步及擴增實境視圖。

一種示範性AR同步電腦包括：第一模組，該第一模組用於自一導航系統接收同步及導航資料，用於自一虛擬模型資料庫接收代表一虛擬模型的資料，及用於接收指示一擴增實境頭戴式顯示器相對於一實體參考坐標系的位置及視角的跟蹤資料；一第二模組，該第二模組用於配準一實體模型，用於基於該同步及導航資料生成相對於該配準實體模型的一實體參考坐標系，及用於使用該同步及導航資料使該擴增實境頭戴式顯示器與該導航系統配準，從而使得能夠跟蹤該擴增實境頭戴式顯示器相對於該實體模型的運動；一第三模組，該第三模組用於將該虛擬模型錨定至該實體參考坐標系；一第四模組，該第四模組用於回應於確定該實體模型在該擴增實境頭戴式顯示器之一視場內，基於該接收到的跟蹤資料實時地自該虛擬模型渲染一虛擬影像；及一第五模組，該第五模組用於將該虛擬影像串流傳輸至該擴增實境頭戴式顯示器，從而生成一實體模型之一同步及擴增實境視圖。

一種用於使一虛擬模型與一實體模型同步及擴增該實體模型之示範性系統包括：一擴增實境頭戴式顯示器；一虛擬模型資料庫，該虛擬模型資料庫包含代表一患者解剖結構的一虛擬三維模型；一導航系統，該導航系統經組配來生成同步及導航資料；及一擴增實境同步電腦，該擴增實境同步電腦包含一或多個處理器、一或多個電腦可讀有形儲存裝置及儲存在該一或多個儲存裝置中的至少一個上以用於由該一或多個處理器中的至少一個執行的程式指令。該等程式指令經組配來：自一導航系統接收同步及導航資料且基於該同步及導航資料生成相對於一配準實體模型的一實體參考坐標系；使用該同步及導航資料使一擴增實境頭戴式顯示器與該導航系統配準，從而使得能夠跟蹤該擴增實境頭戴式顯示器相對於該實體模型的運動；自一虛擬模型資料庫接收代表一虛擬模型的資料；將該虛擬模型錨定至該實體參考坐標系；接收指示該擴增實境頭戴式顯示器相對於該實體參考坐標系的位置及視角的跟蹤資料；回應於確定該實體模型在該擴增實境頭戴式顯示器之一視場內，基於該接收到的跟蹤資料實時地自該虛擬模型渲染一虛擬影像；且將該虛擬影像串流傳輸至該擴增實境頭戴式顯示器，從而生成一實體模型之一同步及擴增實境視圖。

以下縮寫詞及定義將幫助理解實施方式：

AR -擴增實境-實體真實世界環境之實時視圖，其元素已藉由電腦生成的感官元素(諸如聲音、視訊或圖形)得到擴增。

VR -虛擬實境-3維電腦生成的環境，人們可不同程度地對該環境進行探索及與其交互。

HMD -頭戴式顯示器係指可在AR或VR環境中使用的頭戴式組件。它可為有線的或無線的。它亦可包括一或多個附加組件，諸如頭戴式耳機、傳聲器、HD攝影機、紅外攝影機、手跟蹤器、位置跟蹤器等。

控制器 -包括按鈕及方向控制器的裝置。它可為有線的或無線的。此裝置之實例為Xbox遊戲台、PlayStation遊戲台、Oculus touch等。

SNAP 模型 -SNAP殼係指使用呈DICOM文件格式的一或多個患者掃描(CT、MR、fMR、DTI等)創建的3D紋理或3D對象。它亦包括用於過濾特定範疇且以3D紋理為其他範疇著色的不同分段預置。它亦可包括放置在場景中的3D對象，包括用於標記感興趣之特定點或解剖結構的3D形狀、3D標籤、3D測量標記、用於引導的3D箭頭及3D手術工具。手術工具及裝置已被建模用於教學及患者特定的預演，特定而言用於適當地設定動脈瘤夾之大小。

化身 -化身代表虛擬環境內部的使用者。

MD6DM- 多維全球面虛擬實境6自由度模型。它提供圖形化模擬環境，該圖形化模擬環境使得醫師能夠在全球面虛擬實境環境中體驗、規劃、執行及導航干預。

先前在以引用方式併入本申請案中的美國專利申請案第8,311,791號中描述的手術預演及準備工具已被開發來基於預建SNAP模型將靜態CT及MRI醫學影像轉換成動態及交互式多維全球面虛擬實境六(6)自由度模型(「MD6DM」)，該預構建SNAP模型可由醫師使用來實時模擬手術程序。MD6DM提供圖形化模擬環境，該圖形化模擬環境使得醫師能夠在全球面虛擬實境環境中體驗、規劃、執行及導航干預。特別地，MD6DM給予外科醫師使用根據傳統的二維患者醫學掃描構建的唯一多維模型進行導航的能力，該唯一多維模型在整個體積球面虛擬實境模型中給予球面虛擬實境6自由度(即，線性；x、y、z及角度、偏航、俯仰、滾轉)。

MD6DM藉由影像產生器使用根據患者自己的醫學影像(包括CT、MRI、DTI等)的資料集構建且係患者特定的SNAP模型實時渲染。可集成代表性腦模型(諸如Atlas資料)以創建部分患者特定的模型，如果外科醫師期望如此的話。該模型自MD6DM上的任何點給予360^° 球面視圖。使用MD6DM，觀看者虛擬地定位在解剖結構內部且可查看及觀察解剖結構及病理結構兩者，好像他站在患者體內部一樣。觀看者可向上看、向下看、環顧四周等，且將看到關於彼此的天然結構，完全如他們在患者體內發現的那樣。內側結構之間的空間關係得以保留且可使用MD6DM來瞭解。

藉由影像產生器渲染的MD6DM之算法獲取醫學影像資訊且將其構建到球面模型中，該球面模型為在「飛入」解剖結構內部時可自任何角度觀看的全連續實時模型。特別地，在CT、MRI等拍攝到真實有機體且將其解構成由數千個點構建的數百個薄片之後，MD6DM藉由代表此等點中的每一個之360^° 視圖自內部及外部兩者將該等數百個薄片還原到3D模型。

本文描述的是利用影像產生器及MD6DM模型來創建對象的同步擴增實境視圖的成像系統。特別地，成像系統使得能夠擴增MD6DM模型且將MD6DM模型疊加在對應實體模型之頂部之上。如本文所用，實體模型係指代表生物系統的無生命實體對象，諸如器官、骨骼、身體部位(例如，胸、腦、神經系統等)。例如，實體模型可提供實際活著的人或動物或其部分(諸如器官或解剖結構的其他部分)的表示，且可由對人或動物拍攝的實際醫學影像構成。作為另一個實例，實體模型可為有生命對象或解剖結構的無生命實體表示，諸如頭骨或心臟之3d打印模型。儘管可在本文對構成身體或身體各部分的實體模型進行特定參考，但是實體模型亦可為任何實體對象，諸如消費者電子裝置、機械裝置等。總而言之，實體模型可代表可期望由其擴增對應虛擬模型以用於服務(engaging)患者、進行教學、幫助執行手術程序或用於其他非醫學目的(諸如娛樂)、指導執行任務(諸如修復)等的任何實體表示。此外，在本文關於實體模型所討論的技術亦可藉由用有生命對象(諸如人或動物)替代實體模型且應用針對實體模型描述的相同方法來應用於該有生命對象。

此外，成像系統將MD6DM模型錨定至實體模型且使兩者同步，使得根據模型周圍的運動創建新影像且將該新影像疊加在實體模型頂部之上。這係藉由將影像產生器直接串流傳輸至HMD，跟蹤HMD的位置和方位及基於跟蹤的運動調整影像產生器來實現的。因此，相依性在虛擬模型與實體模型之間得以創建。

藉由創建此種相依性且將虛擬模型綁定或錨定至實體模型，且然後基於相對於實體模型的運動調整疊加在實體模型頂部之上的影像，HMD能夠接收實體模型之同步擴增實境視圖，而不管HDM的使用者相對於實體模型的定位如何，因此從而向使用者提供實體模型之改進視角。作為將虛擬模型錨定至實體模型之結果，視覺模型不與實體模型分離。換句話說，如果HMD的使用者轉過頭且不看實體模型，則該使用者將不再看到虛擬模型。僅當使用者返回聚焦於實體模型時，使用者才將再次看到適當地進行疊加和同步的虛擬模型。因此，可向使用者呈現主要實體對象之擴增視圖，同時仍向使用者提供在主要實體對象附近操縱次要實體對象且與該次要實體對象交互的自由和靈活性，而不會干擾使用者觀察次要對象或與之交互。

應當理解，儘管參考將虛擬模型錨定或綁定至實體模型，但是虛擬模型可錨定至實體方位，而不是實體對象，且應理解，實體對象的位置在擴增實境觀察實體對象期間不會運動。

應當理解，儘管本文描述的實例一般可係指醫學應用，且特定而言係指出於執行脊柱手術之目的而擴增對應患者的實體身體及使患者解剖結構之虛擬模型或影像與對應患者的實體身體同步，但是成像系統可類似地用於使任何虛擬對象之虛擬模型或影像與對應實體對象同步及擴增該對應實體對象。

圖1例示用於擴增實體模型104及使虛擬模型102與實體模型104同步之系統100。特別地，系統100使得使用者106 (諸如醫師)能夠自實體模型104之任何視角觀察實體模型104之擴增實境視圖108。換句話說，使用者106可在實體模型104周圍走動且自任何側面、角度或視角觀察實體模型104，且使虛擬模型102之同步對應視圖疊加在實體模型104之頂部上以便形成擴增實境視圖108。而且，如果使用者106轉身離開實體模型104使得實體模型104不再處於當前視場或視線內，則虛擬模型102類似地亦自當前視場或視線中消除。

系統100包括擴增實境頭戴式顯示器(「HMD」) 110，該擴增實境HMD 110用於向使用者106提供擴增實境視圖108，該擴增實境視圖108包括實體模型104之實況真實生活視覺影像組合另外集成的內容(諸如虛擬模型102)。例如，系統100包括AR同步電腦112，該AR同步電腦112用於自虛擬模型資料庫114檢索虛擬模型102 (諸如SNAP模型)，用於自虛擬模型102渲染虛擬影像116及用於將虛擬影像116提供給HMD 110。在一個實例中，AR同步電腦112包括用於自虛擬模型102渲染虛擬影像116的影像產生器(未示出)。在另一個實例中，影像產生器特定於虛擬模型102，且包括有自虛擬模型資料庫114檢索的虛擬模型102。

應當理解，儘管AR同步電腦112被描繪為位於HMD 110的外部，但是在一個實例中，AR同步電腦112可併入至HMD 110中。此提供了用於接收並處理虛擬模型102，使得HMD 110可向使用者提供如所描述的擴增實境視圖108的單一集成解決方案。在此種實例中，將虛擬模型102或虛擬模型102之影像產生器直接串流傳輸至HMD 110。

AR同步電腦112與HMD 110組合經組配來將虛擬模型102綁定或錨定至實體模型104，且使虛擬模型102與實體模型104之實況真實生活視覺影像同步且疊加在其頂部上，以便經由HMD 110創建實體模型104之擴增實境視圖108。為了有利於錨定及同步，AR同步電腦112經組配來與導航系統118通信。特別地，AR同步電腦112經組配來自導航系統118接收同步及導航資料120，且使用該接收到的同步及導航資料120使HMD 110與導航系統118配準。換句話說，來自導航系統118的同步及導航資料120用作用於形成AR同步電腦112之實體參考坐標系的基礎。這使得AR同步電腦112能夠藉由使用同步及導航資料120或導航系統參考坐標系作為虛擬模型102的錨定部來將虛擬模型102綁定至實體模型104。一旦錨定，AR同步電腦112就能夠經由導航系統118根據HMD 110的跟蹤運動來生成適當的虛擬影像116。

圖2更詳細地例示AR同步電腦112與導航系統118交互，以便如圖1所述使虛擬模型102與實體模型104同步並將虛擬模型102與實體模型104疊加。更特定而言，將實體模型標記202的參考陣列定位在實體模型204附近以便充當用於配準實體模型204的參考點。藉由進一步配準探針或手術工具206的參考點，導航系統使得能夠相對於實體模型204跟蹤探針206。

頭戴式組件(即，標記208的參考陣列)定位在HMD 210上，以進一步使得能夠相對於實體模型204配準並跟蹤HMD 210。跟蹤定位在HMD 210的前面上的獨角型指向器212使得能夠更準確地確定HMD 210之方向及視角。因此，相對於定位在實體模型204附近的標記202的參考陣列跟蹤探針206及HMD 210兩者的組合創建獨特環境，在該獨特環境內可將虛擬模型(未示出)經由HMD顯示給使用者且與實體模型204同步，以便諸如使得能夠同時與虛擬模型和實體模型204兩者交互。

為了使得虛擬模型能夠進行疊加且與實體模型204恰當地同步使得使用者可在擴增實境中與虛擬模型有效地交互，首先將虛擬模型與實體模型204對準。為了有利於對準，虛擬模型包括標記208的參考陣列的虛擬表示，且虛擬地定位成處於虛擬模型旁邊、與標記208的參考陣列相對於實體模型204的位置相同。然後藉由視覺上將參考陣列的標記208與虛擬模型中對應的虛擬參考陣列標記對齊來執行初始對準。這可在服務模型或與模型交互之前，例如使用系統的管理或設置模式來執行。在一個實例中，可藉由AR同步電腦112自動地執行初始對準或設置。

一旦恰當地對準，使用者就可經由HMD 210觀察實體模型204，同時並實時觀察在一個集成擴增視圖300中疊加在實體模型204頂部上的同步虛擬模型，如圖3所示。在一個實例中，集成擴增視圖300亦可包括與實體探針同步並疊加的虛擬探針302。這使得使用者能夠以否則單獨利用虛擬探針不可能實現的方式與集成擴增視圖300進一步交互。例如，當使用者使實體探針運動時，對應的虛擬探針302可模擬實體探針之運動，就好像它正直接與虛擬模型交互一樣。

在一個示例中，如圖4所示，可將另外的內容(諸如DICOM影像402)注入並顯示在集成擴增視圖400中，以供使用者與之進一步交互。例如，在觀察集成擴增視圖400並與之交互時，使用者可抬頭看或看向一側以便揭示可例如幫助使用者交互或進行手術程序的另外的內容402。

在一個實例中，經由HMD體驗的使用者的交互及視圖(包括實體視圖及虛擬視圖兩者以及任何另外的內容)可實況串流傳輸至外部顯示器以供另外的使用者觀察該相同體驗。

如可理解，本文所述的系統向使用者或醫師提供許多益處。例如，將擴增實境係統用於脊柱手術或用於任何其他手術程序允許外科醫師更好地準備手術並以更安全的方式執行手術。這由於以下而成為可能：向外科醫師呈現獨特而新穎的視圖，該獨特而新穎的視圖允許外科醫師觀察骨和解剖結構之組合，包括軟組織、神經、脊柱、血管、肺等，且即使解剖結構被其他組織遮擋也可觀察它。

圖5更詳細地例示示範性AR同步電腦500，諸如圖1的AR同步電腦112。AR同步電腦500包括用於從導航系統接收同步及導航資料的資料輸入模組502。資料輸入模組502進一步自虛擬模型資料庫接收表示虛擬模型的資料。資料輸入模組502進一步接收指示擴增實境頭戴式顯示器相對於實體參考坐標系的位置及視角的跟蹤資料。AR同步電腦500進一步包括用於配準實體模型且用於基於同步及導航資料生成相對於配準實體模型的實體參考坐標系的配準模組504。配準模組504進一步使用同步及導航資料使擴增實境頭戴式顯示器與導航系統配準，從而使得能夠跟蹤擴增實境頭戴式顯示器相對於實體模型的運動。AR同步電腦500進一步包括用於將虛擬模型錨定至實體參考坐標系的錨定模組506。AR同步電腦500進一步包括用於基於接收到的跟蹤資料實時地自虛擬模型渲染虛擬影像的影像渲染模組508。AR同步電腦500進一步包括用於將虛擬影像串流傳輸至擴增實境頭戴式顯示器，從而生成實體模型之同步及擴增實境視圖的串流傳輸模組510。

圖6例示用於擴增實體模型及使虛擬模型與實體模型同步的示範性方法。在602處，AR同步電腦112自導航系統118接收同步及導航資料120且使HMD 110與導航系統118配準。在604處，AR同步電腦112自虛擬模型資料庫114接收代表虛擬模型102的資料。在606處，AR同步電腦112將虛擬模型102錨定至導航系統118參考。在608處，AR同步電腦112接收指示HMD 110之運動的跟蹤資料。在一實例中，自導航系統118接收跟蹤資料。在另一個實例中，自HMD 110接收跟蹤資料。在610處，AR同步電腦112基於接收的跟蹤資料自虛擬模型102渲染虛擬影像116。在612處，AR同步電腦112將虛擬影像116串流傳輸至HMD 110以便生成實體模型104之擴增實境視圖108。

圖7係用於實施圖1之AR同步電腦112的示範性電腦的示意圖。示範性電腦700意圖代表各種形式之數位電腦，包括膝上型電腦、臺式電腦、手持式電腦、平板電腦、智能手機、伺服器及其他類似類型之計算裝置。電腦700包括藉由介面710經由匯流排712可操作地連接的處理器702、記憶體704、儲存裝置706及通訊埠708。

處理器702經由記憶體704處理指令以供在電腦600內執行。在一個示範性實施例中，可使用多個處理器以及多個記憶體。

記憶體704可為依電性記憶體或非依電性記憶體。記憶體704可為電腦可讀媒體，諸如磁碟或光碟。儲存裝置706可為電腦可讀媒體，諸如軟碟裝置、硬碟裝置、光碟裝置、磁帶裝置、快閃記憶體、相變記憶體或其他類似的固態記憶體裝置或裝置(包括位於其他組態之儲存區域網路中的裝置)陣列。電腦程式產品可有形地體現在電腦可讀媒體(諸如記憶體704或儲存裝置706)中。

電腦700可耦接至一或多個輸入及輸出裝置，諸如顯示器714、列印機716、掃描儀718、滑鼠720及HMD 724。

如熟習此項技術者將瞭解的，示範性實施例可實現為方法、系統、電腦程式產品或前述之組合或者可通常利用該方法、系統、電腦程式產品或前述之組合。因此，任何實施例可採取包含儲存在儲存裝置中以供在電腦硬體上執行的可執行指令的專用軟體的形式，其中該軟體可儲存在具有在媒體中體現的電腦可用程式代碼的電腦可用儲存媒體上。

資料庫可使用可在所揭示之伺服器或另外的電腦伺服器上運行的可商購獲得的電腦應用程序(諸如開源解決方案(諸如MySQL)或封閉式解決方案(諸如Microsoft SQL)來實現。資料庫可利用關係或面向對象的範例來儲存用於以上所揭示之示範性實施例的資料、模型及模型參數。此類資料庫可使用已知的資料庫程式設計技術來自定義以實現本文所揭示之專門適用性。

任何合適的電腦可用(電腦可讀)媒體都可用於儲存包含可執行指令的軟體。電腦可用或電腦可讀媒體可為例如但不限於電子、磁性、光學、電磁、紅外或半導體系統、設備、裝置或傳播媒體。電腦可讀媒體之更特定的實例(非詳盡列表)將包括以下項：具有一或多根電線的電連接；有形媒體，諸如便攜式電腦軟磁盤、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可抹除可程式化唯讀記憶體(EPROM或快閃記憶體)、光碟唯讀記憶體(CDROM)或其他有形光學或磁性儲存裝置；或傳輸媒體，諸如支持網際網路或內部網路的彼等媒體。

在本文檔之上下文中，電腦可用或電腦可讀媒體可為可含有、儲存、傳達、傳播或傳送程式指令以供可包括任何合適的電腦(或電腦系統)的指令執行系統、平台、設備或裝置使用或與其結合使用的任何媒體，該任何合適的電腦(或電腦系統)包括一或多個可程式化或專用處理器/控制器。電腦可用媒體可包括其中體現有電腦可用程序代碼(在基帶中或作為載波之一部分)的傳播資料訊號。電腦可用程序代碼可使用任何適當的媒體來傳輸，該任何適當的媒體包括但不限於網際網路、有線、光纖電纜、本地通訊匯流排、射頻(RF)或其他方式。

具有用於執行示範性實施例之操作的可執行指令的電腦程式代碼可藉由常規方式使用包括任何電腦語言寫入，該等電腦語言包括但不限於：解釋性或事件驅動語言(諸如BASIC、Lisp、VBA或VBScript)，或GUI實施例(諸如visual basic)，編譯程式語言(諸如FORTRAN、COBOL或Pascal)，面向對象的腳本或非腳本程式語言(諸如Java、JavaScript、Perl、Smalltalk、C++、C#、Object Pascal或類似者)，人工智慧語言(諸如Prolog)，實時嵌式語言(諸如Ada)，或使用梯形邏輯的甚至更加直接或簡化的程式，組合程式語言或使用適當機器語言的直接程式。

在某種程度上就本說明書或申請專利範圍中所用之術語「包括(includes)」或「包括(including)」而言，其意圖以與此術語在申請專利範圍中用作過渡詞時被解釋的類似的方式具有包括性。此外，在某種程度上就採用術語「或」 (例如，A或B)而言，其意圖意指「A或B或兩者」。當本申請者意圖指示「僅A或B而非兩者」時，則將採用術語「僅A或B而非兩者」。因此，本文中術語「或」的使用為包括性的，而非排他性的使用。參見Bryan A. Garner的《現代法律用法詞典624》(第2版，1995年)。同樣，在某種程度上就本說明書或申請專利範圍中所使用術語「在……中(in)」或「在……中(into)」而言，其意圖另外意指「在……上(on)」或「在……上(onto)」。此外，在某種程度上就本說明書或申請專利範圍中所使用的術語「連接」而言，其意圖不僅意指「直接連接至」，而且意指「間接連接至」，諸如由另一個部件或多個部件連接。

雖然本申請案已藉由描述其實施例來例示，且雖然實施例已相當詳細地進行了描述，但是本申請者並不意圖將隨附申請專利範圍之範疇約束或以任何方式限於此類細節。另外的優點及修改對熟習此項技術者將是顯而易見的。因此，本申請案在其較廣泛態樣不限於特定細節、代表性設備及所示出且描述之方法及例示性實例。因此，在不脫離本申請者之一般發明概念之精神及範疇的情況下，可對此類細節做出變更。

100:系統 102:虛擬模型 104:實體模型 106:使用者 108:擴增實境視圖 110、210:頭戴式顯示器(「HMD」) 112:AR同步電腦 114:虛擬模型資料庫 116:虛擬影像 118:導航系統 120:同步及導航資料 202: 實體模型標記 204:實體模型 206:探針 208:標記 212:獨角型指向器 300、400:集成擴增視圖 302:虛擬探針 402:DICOM影像 500:AR同步電腦 502:資料輸入模組 504:配準模組 506:錨定模組 508:影像渲染模組 510:串流傳輸模組 600、700:電腦 602、604、606、608、610、612:步驟 702:處理器 704:記憶體 706:儲存裝置 708:通訊埠 710:介面 712:匯流排 714:顯示器 716:列印機 718:掃描儀 720:滑鼠 724:HMD

在附圖中，例示了與下面提供的詳細描述一起描述所主張保護之發明之示範性實施例的結構。相同的元件用相同的元件符號標識。應理解，示出為單個部件的元件可用多個部件替換，且示出為多個部件的元件可用單個部件替換。附圖並未按比例繪製，且出於說明的目的，某些元件的比例可能被放大。

圖1例示用於擴增實體模型及使虛擬模型與實體模型同步之示範性系統。

圖2例示用於擴增實體模型及使虛擬模型與實體模型同步之示範性系統。

圖3例示用於擴增實體模型及使虛擬模型與實體模型同步之示範性系統的示範性顯示。

圖4例示用於擴增實體模型及使虛擬模型與實體模型同步之示範性系統的示範性顯示。

圖5例示示範性AR同步電腦。

圖6例示用於擴增實體模型及使虛擬模型與實體模型同步之示範性方法。

圖7例示實施圖1之示範性擴增實境同步電腦的示範性電腦。

100:系統

102:虛擬模型

104:實體模型

106:使用者

108:擴增實境視圖

110:頭戴式顯示器(「HMD」)

112:AR同步電腦

114:虛擬模型資料庫

116:虛擬影像

118:導航系統

120:同步及導航資料

Claims (20)

1. 一種用於使一虛擬模型與一實體模型同步及擴增該實體模型之方法，其包含以下步驟： 一AR同步電腦自一導航系統接收同步及導航資料，且基於該同步及導航資料生成相對於一配準實體模型的一實體參考坐標系； 該AR同步電腦使用該同步及導航資料使一擴增實境頭戴式顯示器與該導航系統配準，從而使得能夠跟蹤該擴增實境頭戴式顯示器相對於該實體模型的運動； 該AR同步電腦自一虛擬模型資料庫接收代表一虛擬模型的資料； 該AR同步電腦將該虛擬模型錨定至該實體參考坐標系； 該AR同步電腦接收指示該擴增實境頭戴式顯示器相對於該實體參考坐標系的位置及視角的跟蹤資料；及 回應於該AR同步電腦確定該實體模型在該擴增實境頭戴式顯示器之一視場內： 該AR同步電腦基於該接收到的跟蹤資料實時地自該虛擬模型渲染一虛擬影像；且 該AR同步電腦將該虛擬影像串流傳輸至該擴增實境頭戴式顯示器，從而生成該實體模型之一同步及擴增實境視圖。
2. 如請求項1之方法，其中該AR同步電腦自該虛擬模型渲染一虛擬影像且將該虛擬影像串流傳輸至該擴增實境頭戴式顯示器之該步驟包含：該AR同步電腦向該擴增實境頭戴式顯示器串流傳輸經組配來自該虛擬模型渲染一虛擬影像的一影像產生器。
3. 如請求項1之方法，其中該AR同步電腦使用接近於該實體模型設置的複數個實體模型標記來配準該實體模型，且其中該AR同步電腦使用設置在該擴增實境頭戴式顯示器上的複數個頭戴式顯示器標記來配準該擴增實境頭戴式顯示器。
4. 如請求項3之方法，其進一步包含以下步驟：使該虛擬模型與該實體模型對準，其中該虛擬模型包含該等實體模型標記之複數個虛擬表示，且其中該使該虛擬模型與該實體模型對準包含使該等實體模型標記之該等虛擬表示與該等實體模型標記對準。
5. 如請求項1之方法，其進一步包含： 該AR同步電腦使用該同步及導航資料使具有複數個標記的一實體手術工具與該導航系統配準，從而使得能夠跟蹤該實體手術工具相對於該實體模型的運動； 該AR同步電腦生成代表該實體手術工具且包含該等手術工具標記之複數個虛擬表示的一虛擬手術工具；及 該AR同步電腦藉由使該等實體工具標記之該等虛擬表示與該等實體工具標記對準來使該虛擬手術工具與該實體手術工具對準； 其中該AR同步電腦將該虛擬影像串流傳輸至該擴增實境頭戴式顯示器進一步包含：將該虛擬手術工具串流傳輸至該擴增實境頭戴式顯示器。
6. 如請求項1之方法，其中該AR同步電腦將該虛擬影像串流傳輸至該擴增實境頭戴式顯示器進一步包含：串流傳輸一DICOM影像且將該DICOM影像注入到一實體模型之該同步及擴增實境視圖中。
7. 如請求項6之方法，其進一步包含：該AR同步電腦將經由該頭戴式顯示器體驗的使用者的交互及視圖實況串流傳輸至一外部顯示器，該等使用者的交互及視圖包括該實體模型、該虛擬模型及該DICOM影像。
8. 一種AR同步電腦，其包含： 一第一模組，該第一模組用於自一導航系統接收同步及導航資料，用於自一虛擬模型資料庫接收代表一虛擬模型的資料，及用於接收指示一擴增實境頭戴式顯示器相對於一實體參考坐標系的位置及視角的跟蹤資料； 一第二模組，該第二模組用於配準一實體模型，用於基於該同步及導航資料生成相對於該配準實體模型的一實體參考坐標系，及用於使用該同步及導航資料使該擴增實境頭戴式顯示器與該導航系統配準，從而使得能夠跟蹤該擴增實境頭戴式顯示器相對於該實體模型的運動； 一第三模組，該第三模組用於將該虛擬模型錨定至該實體參考坐標系； 一第四模組，該第四模組用於回應於確定該實體模型在該擴增實境頭戴式顯示器之一視場內而基於該接收到的跟蹤資料實時地自該虛擬模型渲染一虛擬影像；及 一第五模組，該第五模組用於將該虛擬影像串流傳輸至該擴增實境頭戴式顯示器，從而生成該實體模型之一同步及擴增實境視圖。
9. 如請求項8之AR同步電腦，其中該第四模組包含用於渲染虛擬影像的一影像產生器，且其中該第五模組經組配來將該影像產生器串流傳輸至該擴增實境頭戴式顯示器。
10. 如請求項8之AR同步電腦，其中該第二模組經組配來使用接近於該實體模型設置的複數個實體模型標記來配準該實體模型，且經組配來使用設置在該擴增實境頭戴式顯示器上的複數個頭戴式顯示器標記來配準該擴增實境頭戴式顯示器。
11. 如請求項10之AR同步電腦，其中該虛擬模型包含該等實體模型標記之複數個虛擬表示，且其中該第三模組經組配來藉由使該等實體模型標記之該等虛擬表示與該等實體模型標記對準來使該虛擬模型與該實體模型對準。
12. 如請求項8之AR同步電腦，其進一步包含一第六模組，該第六模組用於生成代表實體手術工具且包含手術工具標記之複數個虛擬表示的一虛擬手術工具，其中： 該第二模組經組配來使用該同步及導航資料使具有複數個標記的一實體手術工具與該導航系統配準，從而使得能夠跟蹤該實體手術工具相對於該實體模型的運動，且藉由使該等實體工具標記之該等虛擬表示與該等實體工具標記對準來使該虛擬手術工具與該實體手術工具對準；且 該第五模組進一步經組配來將該虛擬手術工具串流傳輸至該擴增實境頭戴式顯示器。
13. 如請求項8之AR同步電腦，其中該第五模組進一步經組配來串流傳輸一DICOM影像且將該DICOM影像注入到一實體模型之該同步及擴增實境視圖中。
14. 如請求項13之AR同步電腦，其中該第五模組進一步經組配來將經由該頭戴式顯示器體驗的使用者的交互及視圖實況串流傳輸至一外部顯示器，該等使用者的交互及視圖包括該實體模型、該虛擬模型及該DICOM影像。
15. 一種用於使一虛擬模型與一實體模型同步及擴增該實體模型之系統，該系統包含： 一擴增實境頭戴式顯示器； 一虛擬模型資料庫，該虛擬模型資料庫包含代表一患者解剖結構的一虛擬三維模型； 一導航系統，該導航系統經組配來生成同步及導航資料；及 一擴增實境同步電腦，該擴增實境同步電腦包含一或多個處理器、一或多個電腦可讀有形儲存裝置及儲存在該一或多個儲存裝置中的至少一個上以用於由該一或多個處理器中的至少一個執行的程式指令，該等程式指令經組配來： 自一導航系統接收同步及導航資料且基於該同步及導航資料生成相對於一配準實體模型的一實體參考坐標系； 使用該同步及導航資料使一擴增實境頭戴式顯示器與該導航系統配準，從而使得能夠跟蹤該擴增實境頭戴式顯示器相對於該實體模型的運動； 自一虛擬模型資料庫接收代表一虛擬模型的資料； 將該虛擬模型錨定至該實體參考坐標系； 接收指示該擴增實境頭戴式顯示器相對於該實體參考坐標系的位置及視角的跟蹤資料； 回應於確定該實體模型在該擴增實境頭戴式顯示器之一視場內，基於該接收到的跟蹤資料實時地自該虛擬模型渲染一虛擬影像；且 將該虛擬影像串流傳輸至該擴增實境頭戴式顯示器，從而生成該實體模型之一同步及擴增實境視圖。
16. 如請求項15之系統，其中該等程式指令進一步經組配來向該擴增實境頭戴式顯示器串流傳輸經組配來自該虛擬模型渲染一虛擬影像的一影像產生器。
17. 如請求項15之系統，其中該等程式指令進一步經組配來：使用接近於該實體模型設置的複數個實體模型標記來配準該實體模型，且使用設置在該擴增實境頭戴式顯示器上的複數個頭戴式顯示器標記來配準該擴增實境頭戴式顯示器。
18. 如請求項17之系統，其中該虛擬模型包含該等實體模型標記之複數個虛擬表示，且其中該等程式指令進一步經組配來藉由使該等實體模型標記之該等虛擬表示與該等實體模型標記對準來使該虛擬模型與該實體模型對準。
19. 如請求項15之系統，其中該等程式指令進一步經組配來： 使用該同步及導航資料使具有複數個標記的一實體手術工具與該導航系統配準，從而使得能夠跟蹤該實體手術工具相對於該實體模型的運動； 生成代表該實體手術工具且包含該等手術工具標記之複數個虛擬表示的一虛擬手術工具； 藉由使該等實體工具標記之該等虛擬表示與該等實體工具標記對準來將使虛擬手術工具與該實體手術工具對準；且 將該虛擬手術工具串流傳輸至該擴增實境頭戴式顯示器。
20. 如請求項15之系統，其中該等程式指令進一步經組配來：串流傳輸一DICOM影像且將該DICOM影像注入到該實體模型之該同步及擴增實境視圖中。

Images