TW202038255A - 360 vr 體積媒體編輯器 - Google Patents

360 vr 體積媒體編輯器 Download PDF

Info

Publication number
TW202038255A
TW202038255A TW108134436A TW108134436A TW202038255A TW 202038255 A TW202038255 A TW 202038255A TW 108134436 A TW108134436 A TW 108134436A TW 108134436 A TW108134436 A TW 108134436A TW 202038255 A TW202038255 A TW 202038255A
Authority
TW
Taiwan
Prior art keywords
patient
video
path
internal anatomy
virtual reality
Prior art date
Application number
TW108134436A
Other languages
English (en)
Inventor
阿隆 Ｙ 蓋里
摩爾德凱 艾維薩
Original Assignee
美商外科劇院有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商外科劇院有限責任公司 filed Critical 美商外科劇院有限責任公司
Publication of TW202038255A publication Critical patent/TW202038255A/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

一種方法包括：獲得具體患者之內部解剖結構之醫學影像；準備該患者之三維虛擬模型；使用該患者之該虛擬模型產生虛擬實境環境以提供該患者之實際組織之現實三維影像；提供介面以接收限定穿過該虛擬實境環境內的該患者之該內部解剖結構的路徑的使用者輸入，以捕獲該患者之實際組織之該內部解剖結構之該等現實三維影像之各種視角；以及產生患者視訊，該患者視訊捕獲穿過該虛擬實境環境內的該患者之該內部解剖結構的該限定的路徑，該患者視訊展示該患者之實際組織之該內部解剖結構之該等現實三維影像之各種視角之視圖，該患者視訊經組配來在通用計算裝置上播放。

Description

360　VR體積媒體編輯器
相關申請案之交互參照
本申請案主張於2018年9月24日提交的美國臨時專利申請案第62/735616號的優先權，其全部內容以引用方式併入本文。
本揭示案係關於外科程序領域，且更具體而言係關於外科程序準備及教育領域。
當面臨複雜的外科程序時，患者在外科手術之前的數天及數週可能常常會經歷恐懼及焦慮。此可能係由於患者未清楚地理解程序且因此不知道將發生什麼。在外科程序之前使患者參與且教育患者可幫助緩和此恐懼及焦慮。治療醫生與患者之間關於患者之病理情況及所提議解決方案的更清楚的溝通對於克服患者可能感受之不確定性且對於在一方面患者與另一方面醫生及保健提供者之間建立信任而言係重要的。由於保健提供者如今運營所在的競爭性環境及患者在選擇醫生及提供者中面臨的許多選項，此亦係重要的。另外，藉由使患者參與且關於程序教育患者，患者可更可能採取適當的護理及步驟以確保適當恢復而不會有併發症且無需返回醫院進行後續護理。然而，用於使患者參與及教育患者的現有技術，諸如向患者展示解剖結構之影像或3D模型，可能並非有效的，尤其當外科手術涉及抽象的或在獨立影像或甚至3D模型之情境下難以理解的解剖結構之一部分時。
在一個實例中，一種為醫療程序作準備之方法包括以下步驟：獲得具體患者之內部解剖結構之醫學影像。該方法進一步包括利用該等醫學影像準備與該患者之該內部解剖結構相關聯的該患者之三維虛擬模型。該方法進一步包括使用電腦裝置，使用該患者之該虛擬模型來產生虛擬實境環境，以提供該患者之實際組織之現實三維影像。該方法進一步包括在該電腦裝置之輸入裝置上提供介面，以接收限定穿過該虛擬實境環境內的該患者之該內部解剖結構的路徑的使用者輸入，以捕獲該患者之實際組織之該內部解剖結構之該等現實三維影像之各種視角。該方法進一步包括產生患者視訊，該患者視訊捕獲穿過該虛擬實境環境內的該患者之該內部解剖結構的該限定的路徑，該患者視訊展示該患者之實際組織之該內部解剖結構之該等現實三維影像之各種視角之視圖，該患者視訊經組配來在通用計算裝置上播放。該方法進一步包括將該患者視訊傳輸至該通用計算裝置以在該通用計算裝置上播放。
在另一實例中，一種為醫療程序作準備之方法包括以下步驟：獲得具體患者之內部解剖結構之醫學影像。該方法進一步包括利用該等醫學影像準備與該患者之該內部解剖結構相關聯的該患者之三維虛擬模型。該方法進一步包括使用電腦裝置，使用該患者之該虛擬模型來產生虛擬實境環境，以提供該患者之實際組織之現實三維影像。該方法進一步包括在該電腦裝置之輸入裝置上提供介面，以接收限定穿過該虛擬實境環境內的該患者之該內部解剖結構的路徑的使用者輸入，以捕獲該患者之實際組織之該內部解剖結構之該等現實三維影像之各種視角。該方法進一步包括產生患者視訊，該患者視訊捕獲穿過該虛擬實境環境內的該患者之該內部解剖結構的該限定的路徑，該患者視訊展示該患者之實際組織之該內部解剖結構之該等現實三維影像之各種視角之視圖，該患者視訊經組配來在通用計算裝置上播放。該方法進一步包括將該患者視訊傳輸至該通用計算裝置以在該通用計算裝置上播放，以用於供該患者觀察。該方法進一步包括該患者在該通用計算裝置上觀察該視訊以為該醫療程序作準備。
在另一實例中，一種為醫療程序作準備之方法包括以下步驟：獲得具體患者之內部解剖結構之醫學影像。該方法進一步包括利用該等醫學影像準備與該患者之該內部解剖結構相關聯的該患者之三維虛擬模型。該方法進一步包括使用電腦裝置，使用該患者之該虛擬模型來產生虛擬實境環境，以提供該患者之實際組織之現實三維影像。該方法進一步包括在該電腦裝置之輸入裝置上提供介面，以接收使用者輸入，包括限定穿過該虛擬實境環境內的該患者之該內部解剖結構的路徑，以提供該患者之實際組織之該內部解剖結構之現實三維影像，及接受來自該輸入裝置之輸入以沿著該路徑用標誌標記各種位置，其中該等標誌中每一個可與該患者之實際組織之該內部解剖結構之該等現實三維影像之具體視角視圖相關聯。該方法進一步包括產生患者視訊，該患者視訊捕獲穿過該虛擬實境環境內的該患者之該內部解剖結構的該限定的路徑，該患者視訊展示該患者之實際組織之該內部解剖結構之該等現實三維影像之各種視角之視圖。該視訊係使用平滑操作產生，以展示在該視訊自一個標誌之該具體視角視圖橫動至鄰近標誌之該具體視角視圖時逐漸轉變視角變化的視圖。該患者視訊經組配來在通用計算裝置上播放。該方法進一步包括將該患者視訊傳輸至該通用計算裝置以在該通用計算裝置上播放，以用於供該患者觀察。該方法進一步包括該患者在該通用計算裝置上觀察該視訊以為該醫療程序作準備。
以下縮略詞及定義將有助於理解詳細描述：
VR -虛擬實境-電腦產生之三維環境，其可被人不同程度地探索及交互。
HMD -頭戴式顯示器係指可在VR環境中使用之頭戴式裝置。它可為有線或無線的。它亦可包括一或多個附加物，例如耳機、麥克風、HD攝影機、紅外攝影機、手持追蹤器、位置追蹤器等。
SNAP 模型 -SNAP病例係指使用一或多次患者掃描(CT、MR、fMR、DTI等)以DICOM檔案格式建置之3D紋理或3D物件。它亦包括不同的分割預設，用於過濾3D紋理中的特定範圍並且對其他範圍著色。它亦可包括放置在場景中之3D物件，包括用於標記所關注之特定點或解剖結構的3D形狀、3D標籤、3D量測標記、用於引導之3D箭頭，及3D外科工具。外科工具及裝置已經被模型化用於教育及患者特定演練，尤其用於將動脈瘤夾具適當地設定尺寸。
MD6DM -多維完整球形虛擬實境，6自由度模型。它提供了圖形模擬環境，使醫生能夠在完整球形虛擬實境環境中體驗、計劃、執行及導航介入。
漫遊 -亦稱為巡迴，此描述了在沿著限定的路徑穿過虛擬實境環境時的虛擬實境環境的視角視圖。
已經開發了先前以引用方式併入本申請案之美國專利申請案第8,311,791號中描述的手術演練及準備工具，以將靜態CT及MRI醫學影像轉換為動態及交互式多維完整球形虛擬實境，六(6)自由度模型(「MD6DM」)，其可由醫生用於即時模擬醫療程序。MD6DM提供了圖形模擬環境，使醫生能夠在完整球形虛擬實境環境中體驗、計劃、執行並導航介入。具體而言，MD6DM給予外科醫生使用從傳統2維患者醫療掃描來建立之獨特多維模型來進行導航的能力，該模型給出全體積球形虛擬實境模型中之球形虛擬實境6個自由度(即線性；x、y、z及角度、橫擺、俯仰、滾動)。
MD6DM由患者自己的醫學影像資料集構成，包括CT、MRI、DTI等，並且係患者特定的。若外科醫生需要，可以整合代表性大腦模型，例如Atlas資料，以建置部分患者特定模型。該模型給出了從MD6DM上之任何點的360°球形視圖。使用MD6DM，觀察者虛擬地位於解剖結構內部，並且可以查看並觀察解剖結構及病理結構，如同他站在患者體內一般。觀察者可以向上、向下、越過肩膀等來查看，並且將在彼此相關之關係中來觀察原始結構，恰好如同在患者體內所發現者。內部結構之間之空間關係被保存，並且可以使用MD6DM來理解。
MD6DM之演算法獲取醫學影像資訊並將其構建成球形模型，該球形模型係可以在解剖結構內「飛行」時從任何角度檢視之完整、連續即時模型。具體而言，在CT、MRI等獲取真實生物體並將其解構為從數千個點構建之數百個切片之後，MD6DM藉由從內部及外部來表示彼等點中之每個點的360°視圖而將該生物體還原為3D模型。
本文所描述的媒體編輯器利用MD6DM模型，並使使用者能夠根據所要的預選路徑產生並共享解剖結構之一部分之定製360 VR視訊「漫遊」。例如，醫生可以使用媒體編輯器來產生定製「巡迴」，該定製「巡迴」將沿著身體內的一部分內側之預定路徑引導患者。醫生可以在辦公室設定內或甚至在辦公室設定外向患者呈現視訊，而不依賴昂貴的外科手術演練及準備工具。醫生可以與患者共享視訊，例如，以便使患者參與並教育患者，用於為外科程序作準備。視訊亦可以與其他醫生共享，例如，用於教育和協作目的。應瞭解，儘管本文所描述的實例具體參考產生解剖結構部分之360 VR視訊以用於患者與醫療專業人員之間的教育及協作目的，但可類似地產生並共享各種應用中的其他環境之360 VR視訊。
應瞭解，儘管特定地參考醫生，但本文所描述的媒體編輯器可由任何合適的使用者用來產生並共享解剖結構之一部分之定製360 VR視訊「漫遊」。
圖1示出了用於產生和共享定製360 VR視訊「漫遊」的示例性系統100。系統100包括媒體編輯器電腦102，該媒體編輯器電腦經組配來接收輸入104，諸如MD6DM模型或對應於虛擬實境環境的其他合適的模型或影像。媒體編輯器電腦102進一步經組配來使醫生106或其他合適的使用者能夠藉由使用者介面(未示出)與輸入104交互，並產生包括虛擬實境環境之漫遊的定製360 VR視訊(「視訊」) 108輸出。
在一個實例中，媒體編輯器電腦102進一步經組配來將視訊108通訊至顯示器110，因而在視訊108顯示在顯示器110上時，使醫生106能夠使患者112或任何其他合適的第二使用者參與並與所述患者或任何其他合適的第二使用者交互。在一個實例中，媒體編輯器電腦102進一步經組配來使醫生106能夠藉由網路114與患者112遠端共享視訊108。例如，媒體編輯器電腦102可使患者112能夠在患者的家120中藉由行動智慧型電話116或藉由個人電腦118觀看視訊。
圖2更詳細地示出了圖1之示例性媒體編輯器電腦102。媒體編輯器電腦102包括資料輸入模組202，該資料輸入模組經組配來與資料源(未示出)通訊且接收圖1之輸入104，該等輸入包括表示虛擬實境環境的模型。在一個實例中，資料輸入模組202經組配來接收MD6DM模型作為輸入。在另一實例中，資料輸入模組202經組配來接收任何合適類型的影像資料之MRI掃描、來自視訊攝影機之影像。表示虛擬實境環境的模型將充當媒體編輯器電腦102經組配來產生視訊108的基礎。
媒體編輯器電腦102進一步包括路徑模組204，該路徑模組經組配來將由資料輸入模組202接收的模型載入到使用者介面中，且使醫生106能夠基於輸入104建置用於漫遊之路徑。漫遊，亦稱為巡迴，描述了在沿著限定的路徑穿過虛擬實境環境時的虛擬實境環境的視角視圖。
圖3示出了藉由路徑模組204提供的示例性媒體編輯器使用者介面300。路徑模組204經組配來藉由媒體編輯器使用者介面300顯示表示虛擬實境環境的影像302。應瞭解，儘管所示的影像302表示腦，但影像320可包括表示任何合適的虛擬實境環境諸如心臟、肺等等的任何合適的影像。應進一步瞭解，影像302可為二維影像或影像302可為3D虛擬實境環境。
路徑模組204進一步經組配來藉由媒體編輯器使用者介面300使醫生106能夠識別用於漫遊之路徑304。具體而言，路徑模組204經組配來藉由媒體編輯器使用者介面300使醫生106能夠將若干圖符306定位在影像302上以限定路徑304。特定而言，路徑模組204經組配來接收表示第一圖符306a及第二圖符306b的輸入且識別第一圖符306a與第二圖符306b之間的第一子路徑308a。路徑模組204進一步經組配來接收表示第三圖符306c的輸入且識別第二圖符306b與第三圖符306c之間的第二子路徑308b。應瞭解，路徑模組204經組配來接收任何合適數目的圖符306且產生對應數目的子路徑308，儘管示出了七個圖符306及六個子路徑308。路徑模組204進一步經組配來組合第一子路徑308a、第二子路徑308b，及任何額外的合適子路徑308，以形成路徑304。
在一個實例中，路徑模組204經組配來經由拖放機構，藉由媒體編輯器使用者介面300接收圖符306。例如，媒體編輯器使用者介面300可使醫生能夠自菜單(未示出)選擇圖符306且將圖符306拖曳至影像302上。應瞭解，其他合適的使用介面機構可使用於將圖符306放置在影像302上。
在一個實例中，醫生106可具備用於與使用者介面300交互的HMD (未示出)。例如，路徑模組204可使醫生106能夠使用HDM虛擬地進入藉由媒體編輯器使用者介面300呈現的場景或虛擬環境，且在醫生106虛擬地穿過解剖結構時，藉由沿著路徑304放置圖符306來識別路徑304。此實例提供可使醫生106能夠更準確地限定路徑304的沉浸式體驗，因為醫生106可具有觀察點取向，使得否則當藉由二維介面限定路徑304時可能不可利用。
圖4示出了用於使醫生能夠使用HMD虛擬地進入場景並識別路徑的示例性使用者介面400。例如，使用HMD，醫生可藉由虛擬開口404進入由顱骨402組成的場景並且放置第一圖符406。在從實體上處於顱骨402內側的視角導航穿過顱骨402時，醫生然後可使用HMD進入「飛行」或虛擬地穿過顱骨402以放置額外的圖符，以便建置如先前所描述的路徑。在一個實例中，如圖5中所示，在醫生虛擬地穿過顱骨402時的醫生之視野的視角可藉由化身502描繪。化身502表示醫生在顱骨402內之虛擬位置以及醫生之方向及觀察角度。應瞭解，在醫生藉由HMD與使用者介面400交互時，化身502可為在使用者介面400上對於醫生不可見的。實情為，化身502可顯示在除HMD以外的顯示裝置上。因而，在第一醫生虛擬地導航穿過顱骨402時，第二醫生可以跟隨並且潛在地輔助。
參考回圖2，媒體編輯器電腦102進一步包括資料儲存器206，該資料儲存器經組配來儲存與所建置路徑304相關聯的資料。具體而言，在資訊正藉由路徑模組204接收且產生時，資料儲存器206經組配來儲存關於圖符306及子路徑308的資訊。因而，在一個實例中，媒體編輯器電腦102使醫生106能夠在視訊108完成之前保存進展且在稍後時間點處重新開始視訊108之建置。在一個實例中，路徑模組204進一步經組配來使醫生能夠編輯或刪除儲存在資料儲存器206中的關於路徑的資訊。
媒體編輯器電腦102進一步包括設定模組210，該設定模組經組配來使醫生106能夠定製用於整個路徑304之漫遊。例如，設定模組210可藉由使用者介面接收路徑設定，該使用者介面可藉由右按鍵、菜單選擇等引發。
在一個實例中，所接收的路徑設定可包括漫遊應在視訊108中發生的速度。在一個實例中，所接收的路徑設定可進一步包括視訊108應以交互式360度模式或以被動二維模式產生之指示。例如，在被動模式中，在患者112正沿著二維視訊中之虛擬環境之路徑304被引導時，虛擬實境環境之視角為固定的。在一個實例中，儘管視角在被動模式中為固定的，但視訊可經產生為三維立體視訊。然而，在交互式模式中，在患者112正沿著360度視訊中之虛擬環境之路徑304被引導時，患者112能夠挑選視野之視角。換言之，儘管患者112仍然沿著限定的路徑304被引導，但在正為患者112播放36度視訊時，患者112可查看患者112希望的任何地方。
設定模組210進一步經組配來使醫生106能夠藉由各種圖符設定單獨地定製每個圖符306處的漫遊。例如，醫生106可在單獨圖符306上右按鍵，以便限定用於特定圖符306之一或多個圖符設定。圖6示出了在建置或編輯路徑時可針對圖符啟動的示例性使用者介面菜單602。在一個實例中，圖符設定可包括速度設定。儘管路徑速度可在接收的路徑設定中加以限定，但醫生可挑選以指定選擇圖符之後的視訊之一定部分來以備選速度播放且因而據此在圖符設定中指定。
在一個實例中，圖符設定可包括取向設定。例如，設定模組210可經組配來使醫生能夠在沿著路徑304定位於具體圖符306處時限定視角視圖的方向。因而，在患者112沿著不同圖符306之間的路徑304飛行時，取向可改變。使取向能夠沿著不同圖符306處的路徑304改變提供了酌情導向焦點之能力。在一個實例中，圖符設定亦可包括觀察角度設定。
在一個實例中，圖符設定可包括層設定。更具體而言，虛擬實境環境可包括環境內的多個視圖層。例如，表示腦解剖結構的虛擬實境環境可包括骨骼層、血管層等等。層設定使醫生106能夠關閉或打開每個圖符306處的單獨層，因而使醫生106能夠導向患者122能夠在每個圖符306處觀察到什麼。換言之，可能希望觀察第一圖符306a處的腦解剖結構之所有層且僅觀察第二圖符306b處的層之子集。在一個實例中，可能希望打開或關閉用於整個路徑304之層。因此，路徑設定亦可包括層設定。
設定模組210進一步經組配來將路徑設定及圖符設定儲存在資料儲存器206中。在一個實例中，設定模組210經組配來使醫生106能夠編輯或刪除儲存在資料儲存器206中的設定。
媒體編輯器電腦102進一步包括視訊產生模組208，該視訊產生模組經組配來沿著限定的路徑304並基於藉由設定模組210接收的設定來產生視訊108，該視訊包括藉由輸入104表示的虛擬實境環境之漫遊。具體而言，視訊產生模組208藉由模擬沿著限定的路徑304穿過虛擬實境環境之移動來產生提供虛擬環境之視角視圖的視訊108。在一個實例中，視訊產生模組208進一步經組配來將所產生視訊108儲存在資料儲存器206中。應瞭解，視訊108可以任何合適的視訊檔案格式諸如AVI、WMV等等建置。
在一個實例中，圖符設定可包括叉路設定。更具體而言，設定模組210可使醫生106能夠在圖符306處限定叉路。亦即，患者112可被給予選項以從二或更多個路徑選擇以在給定圖符306處前進。在此實例中，多個視訊可經產生且儲存在資料儲存器206中。因此，多個視訊可鏈接在一起且基於在各別圖符306處所做的選擇順序地向患者呈現。
在一個實例中，當沿著路徑304產生視訊108時，視訊產生模組208進一步經組配來進行平滑操作。更特定而言，視訊產生模組208經組配來外推圖符306之間的資訊，以便建置圖符306之間的更無縫且平滑的移動。例如，第一圖符306a可以第一取向組配且第二圖符306b可以第二取向組配。因而，當沿著第一子路徑308a在第一圖符306a與第二圖符306b之間移動時，視訊產生模組208經組配來在第一子路徑308之過程內逐漸自第一取向移位至第二取向，而非在一個圖符306處在第一取向與第二取向之間急劇轉變。更特定而言，視訊產生模組208經組配來決定第一圖符306a與第二圖符308b之間的距離或時間。視訊產生模組208進一步經組配來藉由在決定的距離或時間內外推第一取向及第二取向來估計第一圖符306a與第二圖符308b中間的某一中間點處的第三取向。因而，藉由在轉變至第二取向之前自第一取向轉彎至第三取向，轉彎對於患者112而言被感知為較平滑的。
應瞭解，儘管平滑操作已被描述為在所決定距離或時間內外推第一圖符306a處的第一取向及第二圖符306b處的第二取向，以決定第一圖符306a與第二圖符306b中間的單個中間點處之一個額外第三取向，但可藉由平滑過程在圖符306中之任何圖符中間決定且使用任何合適數目的中間點。更特定而言，使用額外中間點可導致轉變對於患者112而言被感知為較平滑的。應進一步瞭解，儘管已關於取向描述了平滑過程，但平滑可類似地應用於其他變數或設定。例如，視訊產生模組208可進一步經組配來關於圖符306之相對位置之位置進行平滑操作。例如，圖3中所示的路徑304可通常被感知為圓形的。然而，子路徑308係線性的。因而，儘管視訊之意圖可向患者112提供圓形路徑304之知覺，但患者112可感知沿著單獨子路徑的線性、非圓形運動。因此，視訊產生模組208可進一步經組配來外推圖符306之相對位置，以便決定沿著圖符306中間的中間點之定位，以便調整子路徑308以變得更為圓形且為患者112提供較平滑的感知轉變。
媒體編輯器電腦102進一步包括模擬器模組212，該模擬器模組經組配來使醫生106能夠在編輯路徑304時切換至預覽模式或座艙(cockpit)模式，以便預覽來自圖符306中之任一個之視角的虛擬實境視圖。藉由能夠在編輯過程期間即時預覽虛擬實境視圖，醫生106能夠微調每個圖符306之位置及取向，以便達成意欲用於患者112的精確所要視圖。換言之，醫生106能夠在編輯模式與預覽或座艙模式之間雙態觸變。在一個實例中，模擬器模組212進一步經組配來使醫生106能夠藉由在圖符306中之全部之間飛行來預覽整個路徑304。因而，在產生視訊之前，模擬器模組212使醫生能夠預覽巡迴。
應瞭解，醫生106可藉由顯示器110或HMD (未示出)預覽如所描述的來自圖符306中之任何一個之視角的虛擬實境視圖。在一個實例中，除預覽虛擬實境視圖之外，醫生106亦可在預覽且漫遊穿過路徑304時編輯路徑304。例如，醫生106可添加圖符306，移除圖符306，或重新定位圖符306，以便微調路徑304。
媒體編輯器電腦102進一步包括註解模組214，該註解模組經組配來使醫生106能夠在沿著路徑304的各種點處將註解及其他標示或額外資料添加至視訊。例如，醫生106可添加描述與特定圖符306相關聯的虛擬實境環境中之特定場景的註解，使得患者112可在觀察視訊時審查註解。註解可為例如撰寫文字、口述，或圖形。在一個實例中，註解模組214經組配來將註解儲存在資料儲存器206中。應瞭解，在視訊藉由視訊產生模組308產生之前，註解模組214使醫生106能夠在使用路徑模組204建置路徑時或此後的任何時間沿著路徑304添加註解。
在一個實例中，註解模組214可使醫生能夠使問題或測試與路徑304或與單獨圖符306相關聯，以便使患者112或學生參與且教育該等患者或學生。在一個實例中，註解可經產生來用於行銷目的。在其他實例中，註解模組214可使醫生106能夠使額外內容諸如視訊或模擬外科工具與路徑304或與單獨圖符306相關聯。
媒體編輯器電腦102進一步包括通訊模組216，該通訊模組經組配來將產生視訊108通訊至患者112。在一個實例中，通訊模組216將視訊108通訊至顯示器110，用於直接個人參與及醫生106與患者112之間的交互，例如在醫生106的辦公室。在另一實例中，通訊模組216經組配來經由網路114將視訊108遠端地通訊至患者112。例如，通訊模組216可經組配來藉由電子郵件經由網路114將視訊108傳送至患者112。在另一實例中，通訊模組216可經組配來通訊至儲存在資料儲存器206中的視訊108之鏈路。通訊模組216可例如藉由電子郵件或藉由文字訊息通訊鏈路。
一旦視訊108經產生且共享，它可以若干有用方式加以使用。例如，患者可在家與家人一起審查視訊，以便為外科手術作準備且向家人解釋將在即將來臨的程序期間採取什麼步驟。患者可在視訊108期間暫停且指出所關注之某些區域或回答特定問題。患者可例如在智慧型電話上、在PC上，或藉由HMD觀察視訊。視訊108亦可用來教育其他醫生或用來與他人協作。例如，醫生可使用視訊108來「陪伴」另一醫生穿過解剖結構且描述特定特徵並做出關於外科程序的各種點。在一個實例中，視訊108之建置者可將交互式特徵添加至視訊108且為患者或其他醫生提供定製視訊漫遊體驗之能力。例如，可為患者提供選項以在漫遊期間從沿著視訊的不同路徑選擇或打開並關閉解剖結構之某些層。在一個實例中，患者可在視訊漫遊期間回答問題且將答案提交給醫生，以便確認對外科程序之理解。
圖7示出了用於產生定製360 VR視訊漫遊的示例性方法。在方塊702處，媒體編輯器電腦102接收包括3D虛擬實境環境之模型的輸入資料。在方塊704處，媒體編輯器電腦102提供用於限定虛擬實境環境內之路徑的使用者介面。在方塊706處，媒體編輯器電腦102接收指示路徑及相關聯設定之限定的輸入。限定路徑包括限定沿著路徑的步驟或圖符，而限定設定包括限定在沿著路徑的每個步驟處的視訊之性質。在方塊708處，媒體編輯器電腦102產生虛擬實境環境之視訊漫遊且與患者或其他使用者共享視訊。
圖8係用於實現圖1之示例性媒體編輯器電腦102之示例性電腦800的示意圖。示例性電腦800意欲表示各種形式之數位電腦，包括膝上型電腦、桌上型電腦、手持式電腦、平板電腦、智慧型電話、伺服器及其他類似類型之計算裝置。電腦800包括經由匯流排812藉由介面810可操作地連接之處理器802、記憶體804、儲存裝置806及通訊埠808。
處理器802經由記憶體804處理用於在電腦800內執行之指令。在示例性實施例中，可以使用多個處理器以及多個記憶體。
記憶體804可為依電性記憶體或非依電性記憶體。記憶體804可為電腦可讀媒體，諸如磁碟或光碟。儲存裝置806可為電腦可讀媒體，諸如軟磁碟裝置、硬碟裝置、光碟裝置、磁帶裝置、快閃記憶體、相變記憶體或其他類似固態記憶體裝置或者裝置之陣列，包括其他配置之儲存區域網路中的裝置。電腦程式產品可以有形地體現在諸如記憶體804或儲存裝置806之電腦可讀媒體中。
電腦800可以耦合到一或多個輸入及輸出裝置，諸如顯示器814、印表機816、掃描器818、滑鼠820，及HMD 822。
如熟習此項技術者將理解的，示例性實施例可實現為或可一般地利用方法、系統、電腦程式產品或前述組合。因此，任何實施例可以採取專用軟體的形式，包括儲存在儲存裝置中以供在電腦硬體上執行的可執行指令，其中軟體可以儲存在電腦可用儲存媒體上，該電腦可用儲存媒體具有體現在媒體中的電腦可用程式代碼。
資料庫可以使用商用電腦應用程式，諸如開源解決方案諸如MySQL，或可以在所揭示的伺服器或額外電腦伺服器上操作的封閉解決方案如Microsoft SQL來實現。資料庫可以利用關係或物件導向的範例來儲存用於上面揭示的示例性實施例的資料、模型和模型參數。此等資料庫可以針對如本文所揭示的專門適用性使用已知的資料庫程式設計技術來定製。
任何合適的電腦可用(電腦可讀)媒體都可以用於儲存包含可執行指令的軟體。電腦可用或電腦可讀媒體可為，例如但不限於，電子、磁性、光學、電磁、紅外或半導體系統、設備、裝置，或傳播媒體。電腦可讀媒體之更特定實例(非詳盡清單)將包括以下各者：具有一或多個電線的電氣連接；有形媒體諸如可攜式電腦磁片、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可抹除可程式化唯讀記憶體(EPROM或快閃記憶體)、光碟唯讀記憶體(CDROM)、或其他有形光學或磁性儲存裝置；或傳輸媒體諸如支援網際網路或內部網路之彼等。
在本文件之上下文中，電腦可用或電腦可讀媒體可為可包含、儲存、傳送、傳播或傳輸程序指令以供指令執行系統、平台、設備或裝置使用或與其相關來使用的任何媒體，其可包括包含一或多個可程式化或專用處理器/控制器的任何合適電腦(或電腦系統)。電腦可用媒體可以包括在基帶中或作為載波之一部分的具有在其中體現之電腦可用程式代碼的傳播資料信號。電腦可用程式代碼可以使用任何適當媒體傳輸，包括但不限於網際網路、有線、光纖電纜、區域通訊匯流排、射頻(RF)或其他手段。
具有用於執行示例性實施例之操作的可執行指令的電腦程式代碼可以藉由使用任何電腦語言之習知手段來撰寫，電腦語言包括但不限於諸如BASIC、Lisp、VBA或VBScript之解譯或事件驅動語言，或GUI實施例諸如visual basic，諸如FORTRAN、COBOL或Pascal的編譯程式設計語言，諸如Java、JavaScript、Perl、Smalltalk、C++、Object Pascal等的物件導向、腳本或非腳本程式設計語言，諸如Prolog之人工智慧型語言，諸如Ada之即時嵌入式語言，或者甚至使用梯形邏輯之更直接或簡化程式設計，匯編語言或使用適當機器語言直接程式設計。
在術語「包括(include)」或「包括(including)」用於本說明書或申請專利範圍中之情況下，意欲以類似於術語「包含」之方式如在用作申請專利範圍中之過渡詞時理解該術語一樣係包括性的。此外，在採用術語「或」之情況下(例如，A或B)，意欲意指「A或B或兩者」。當申請人意欲指示「僅有A或B而非兩者」時，那麼將採用「僅有A或B而非兩者」。因此，本文中的術語「或」之使用係包括性的使用，而非排他性使用。參見Bryan A. Garner, A Dictionary of Modern Legal Usage 624 (第二版1995)。此外，在術語「在...中(in)」或「至...中(into)」用於本說明書或申請專利範圍中之情況下，意欲另外意指「在...上(on)」或「至...上(onto)」。此外，在說明書或申請專利範圍中使用術語「連接」的情況下，其意欲不僅表示「直接連接到」，而且表示「間接連接到」，例如藉由另一個部件或多個部件連接。
如上所述，雖然本申請案已經藉由描述其實施例來進行說明，且雖然已經相當詳細地描述實施例，但是申請人之意圖不係將所附申請專利範圍之範圍局限或以任何方式限制至此類細節。對於熟習此項技術者而言，其他優點和修改將是顯而易知的。因此，本申請案在其更廣泛的態樣中不限於所示出和描述的特定細節、代表性設備和方法以及說明性實例。因此，在不脫離申請人的總體發明構思的精神或範疇的情況下，可以做出從此等細節的偏離。
100:系統 102:媒體編輯器電腦 104:輸入 106:醫生 108:定製360 VR視訊/視訊 110:顯示器 112:患者 114:網路 116:行動智慧電話 118:個人電腦 120:患者的家 202:資料輸入模組 204:路徑模組 206:資料儲存器 208:視訊產生模組 210:設定模組 212:模擬器模組 214:註解模組 216:通訊模組 300:媒體編輯器使用者介面 302:影像 304:路徑 306:圖符 306a:第一圖符 306b:第二圖符 306c:第三圖符 308:路徑/子路徑 308a:第一子路徑 308b:第二子路徑 400:使用者介面 402:顱骨 404:虛擬開口 502:化身 602:使用者介面菜單 700:流程圖 702～708:方塊 800:電腦 802:處理器 804:記憶體 806:儲存裝置 808:通訊埠 810:介面 812:匯流排 814:顯示器 816:印表機 818:掃描器 820:滑鼠 822:HMD
在附圖中，示出與下面提供之實施方式一起描述所要求保護之發明之示例性實施例的結構。相同元件用相同元件符號表示。應當理解，示出為單個部件之元件可以用多個部件替換，並且示出為多個部件之元件可以用單個部件替換。附圖不是按比例的，並且為了說明之目的，某些元件之比例可能被誇大。
圖 1 示出了用於產生虛擬實境環境之定製360 VR視訊漫遊(fly-through)的示例性系統；
圖 2 係圖 1 之示例性媒體編輯器電腦的方塊圖；
圖 3 示出了藉由圖 1 之示例性媒體編輯器電腦提供的示例性圖形使用者介面；
圖 4 示出了用於使醫生能夠使用HMD虛擬地進入場景並識別路徑的示例性使用者介面；
圖 5 示出了在醫生虛擬地穿過患者的身體的一部分時的描繪為化身(avator)的醫生之視野的視角；
圖 6 示出了在建置或編輯路徑時可針對圖符啟動的示例性使用者介面菜單
圖 7 係用於產生虛擬實境環境之定製360 VR視訊漫遊之示例性方法的流程圖；以及
圖 8 係用於實現圖 1 之示例性媒體編輯器電腦之示例性電腦的方塊圖；
700:流程圖
702~708:方塊

Claims (20)

  1. 一種為一醫療程序作準備之方法，該方法包含以下步驟： 獲得一具體患者之內部解剖結構之醫學影像； 利用該等醫學影像準備與該患者之該內部解剖結構相關聯的該患者之一三維虛擬模型； 使用一電腦裝置，使用該患者之該虛擬模型來產生一虛擬實境環境，以提供該患者之實際組織之現實三維影像； 在該電腦裝置之一輸入裝置上提供一介面，以接收限定穿過該虛擬實境環境內的該患者之該內部解剖結構的一路徑的使用者輸入，以捕獲該患者之實際組織之該內部解剖結構之該等現實三維影像之各種視角； 產生一患者視訊，該患者視訊捕獲穿過該虛擬實境環境內的該患者之該內部解剖結構的該限定的路徑，該患者視訊展示該患者之實際組織之該內部解剖結構之該等現實三維影像之各種視角之視圖，該患者視訊經組配來在一通用計算裝置上播放；以及 將該患者視訊傳輸至該通用計算裝置以在該通用計算裝置上播放。
  2. 如請求項1之方法，其中限定穿過該虛擬實境環境內的該患者之該內部解剖結構的一路徑之該步驟包括以下步驟：接受來自該輸入裝置之輸入以沿著該路徑用一標誌標記各種位置。
  3. 如請求項2之方法，其中每個標誌與該患者之實際組織之該內部解剖結構之該等現實三維影像之一具體視角視圖相關聯。
  4. 如請求項3之方法，其中該視訊係使用一平滑操作產生，以展示在該視訊自一個標誌之該具體視角視圖橫動至一鄰近標誌之該具體視角視圖時逐漸轉變一視角變化的一視圖。
  5. 如請求項3之方法，其中該具體視角視圖包括該虛擬模型內的一觀察角度及取向。
  6. 如請求項2之方法，其中限定穿過該虛擬實境環境內的該患者之該內部解剖結構的一路徑之該步驟亦包括以下步驟：接受來自該輸入裝置之輸入，以使每個標誌與該虛擬模型之一或多個具體解剖結構層相關聯，使得該患者視訊中的該等層之視圖可沿著該路徑打開及關閉。
  7. 如請求項2之方法，其中限定穿過該虛擬實境環境內的該患者之該內部解剖結構之一路徑之該步驟亦包含以下步驟：接受來自該輸入裝置之輸入，以使該等標誌中之一或多個與沿著該患者視訊中的該路徑之一部分的一行進速度相關聯。
  8. 如請求項2之方法，其中該使用者輸入裝置之該介面經組配來為該使用者提供一拖放介面以沿著該路徑放置該等標誌。
  9. 如請求項2之方法，其進一步包含以下步驟：提供一頭戴式顯示器，以用於供該使用者用來觀察該路徑以沿著該路徑放置該等標誌。
  10. 如請求項2之方法，其中一標誌與該路徑中之一叉路相關聯，該叉路將該路徑分裂成兩個不同路徑，從而向該患者視訊之觀察者提供一選擇權以選擇該兩個不同路徑中之一個。
  11. 如請求項2之方法，其中一標誌與由該使用者使用該介面提供的一或多個註解或添加資料相關聯。
  12. 如請求項11之方法，其中該等註解包括一問題或一提問。
  13. 如請求項2之方法，其中一標誌與一可選擇控制件相關聯，以提供允許一觀察者與一部分視訊交互的一主動視訊，或提供不允許該觀察者與該視訊之該部分交互的一被動視訊。
  14. 如請求項1之方法，其中一鏈路經傳輸至該一般計算裝置以將該患者視訊下載至該一般計算裝置以播放該視訊。
  15. 如請求項1之方法，其中該通用計算裝置為一智慧型電話。
  16. 如請求項1之方法，其中限定穿過該虛擬實境環境內該患者之該內部解剖結構的一路徑之該步驟包括以下步驟：接受來自該輸入裝置之輸入，以沿著該路徑用一標誌標記各種位置，其中每個標誌與該患者之實際組織之該內部解剖結構之該等現實三維影像之一具體視角視圖相關聯。
  17. 一種為一醫療程序作準備之方法，該方法包含以下步驟： 獲得一具體患者之內部解剖結構之醫學影像； 利用該等醫學影像準備與該患者之該內部解剖結構相關聯的該患者之一三維虛擬模型； 使用一電腦裝置，使用該患者之該虛擬模型來產生一虛擬實境環境，以提供該患者之實際組織之現實三維影像； 在該電腦裝置之一輸入裝置上提供一介面，以接收限定穿過該虛擬實境環境內的該患者之該內部解剖結構的一路徑的使用者輸入，以捕獲該患者之實際組織之該內部解剖結構之該等現實三維影像之各種視角； 產生一患者視訊，該患者視訊捕獲穿過該虛擬實境環境內的該患者之該內部解剖結構的該限定的路徑，該患者視訊展示該患者之實際組織之該內部解剖結構之該等現實三維影像之各種視角之視圖，該患者視訊經組配來在一通用計算裝置上播放； 將該患者視訊傳輸至該通用計算裝置以在該通用計算裝置上播放，以用於供該患者觀察；以及 該患者在該通用計算裝置上觀察該視訊以為該醫療程序作準備。
  18. 一種為一醫療程序作準備之方法，該方法包含以下步驟： 獲得一具體患者之內部解剖結構之醫學影像； 利用該等醫學影像準備與該患者之該內部解剖結構相關聯的該患者之一三維虛擬模型； 使用一電腦裝置，使用該患者之該虛擬模型來產生一虛擬實境環境，以提供該患者之實際組織之現實三維影像； 在該電腦裝置之一輸入裝置上提供一介面以接收使用者輸入，其包括以下步驟： 限定穿過該虛擬實境環境內的該患者之該內部解剖結構的一路徑，以提供該患者之實際組織之該內部解剖結構之現實三維影像，以及 接受來自該輸入裝置之輸入，以沿著該路徑用一標誌標記各種位置，其中該等標誌中之每一個可與該患者之實際組織之該內部解剖結構之該等現實三維影像之一具體視角視圖相關聯； 產生一患者視訊，該患者視訊捕獲穿過該虛擬實境環境內的該患者之該內部解剖結構的該限定的路徑，該患者視訊展示該患者之實際組織之該內部解剖結構之該等現實三維影像之各種視角之視圖，其中 該視訊係使用一平滑操作產生，以展示在該視訊自一個標誌之該具體視角視圖橫動至一鄰近標誌之該具體視角視圖時逐漸轉變一視角變化的一視圖，且其中 該患者視訊經組配來在一通用計算裝置上播放； 將該患者視訊傳輸至該通用計算裝置以在該通用計算裝置上播放，以用於供該患者觀察；以及 該患者在該通用計算裝置上觀察該視訊以為該醫療程序作準備。
  19. 如請求項18之方法，其中該使用者介面經組配來接受使該等標誌中之一或多個與以下中之一或多個相關聯：沿著該患者視訊中之該路徑之一部分的一行進速度，用以沿著該患者視訊中之該路徑之一部分展示的解剖結構之一或多個層，或該路徑中之叉路，該叉路將該路徑分裂成兩個不同路徑，從而向患者提供一選擇權以在觀察該視訊時選擇該兩個不同路徑中之一個。
  20. 如請求項18之方法，該使用者介面經組配來接受使該等標誌中之一或多個與一可選擇控制件相關聯，以提供允許該患者與一部分視訊交互的一主動視訊，或提供不允許該患者與該視訊之該部分交動的一被動視訊。
TW108134436A 2018-09-24 2019-09-24 360 vr 體積媒體編輯器 TW202038255A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862735616P 2018-09-24 2018-09-24
US62/735,616 2018-09-24

Publications (1)

Publication Number Publication Date
TW202038255A true TW202038255A (zh) 2020-10-16

Family

ID=69952765

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108134436A TW202038255A (zh) 2018-09-24 2019-09-24 360 vr 體積媒體編輯器

Country Status (7)

Country Link
US (1) US20210358218A1 (zh)
EP (1) EP3844773A4 (zh)
JP (1) JP2022502797A (zh)
CN (1) CN113196413A (zh)
IL (1) IL281789A (zh)
TW (1) TW202038255A (zh)
WO (1) WO2020068681A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114201098A (zh) * 2021-12-06 2022-03-18 北京泽桥医疗科技股份有限公司 一种基于三维建模的医学教学课件生成方法、装置及设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7658611B2 (en) * 2004-03-18 2010-02-09 Reality Engineering, Inc. Interactive patient education system
US7978925B1 (en) * 2005-04-16 2011-07-12 Apple Inc. Smoothing and/or locking operations in video editing
US8717360B2 (en) * 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
US9563266B2 (en) * 2012-09-27 2017-02-07 Immersivetouch, Inc. Haptic augmented and virtual reality system for simulation of surgical procedures
US10408613B2 (en) * 2013-07-12 2019-09-10 Magic Leap, Inc. Method and system for rendering virtual content
EP3361979A4 (en) * 2015-10-14 2019-06-26 Surgical Theater LLC SURGICAL NAVIGATION WITH EXTENDED REALITY
DE102015222782A1 (de) * 2015-11-18 2017-05-18 Sirona Dental Systems Gmbh Verfahren zur Visualisierung einer Zahnsituation
US10695150B2 (en) * 2016-12-16 2020-06-30 Align Technology, Inc. Augmented reality enhancements for intraoral scanning
CA3049148A1 (en) * 2017-01-24 2018-08-02 Tietronix Software, Inc. System and method for three-dimensional augmented reality guidance for use of medical equipment
US10932860B2 (en) * 2017-04-28 2021-03-02 The Brigham And Women's Hospital, Inc. Systems, methods, and media for presenting medical imaging data in an interactive virtual reality environment
US11229496B2 (en) * 2017-06-22 2022-01-25 Navlab Holdings Ii, Llc Systems and methods of providing assistance to a surgeon for minimizing errors during a surgical procedure

Also Published As

Publication number Publication date
IL281789A (en) 2021-05-31
EP3844773A1 (en) 2021-07-07
WO2020068681A1 (en) 2020-04-02
CN113196413A (zh) 2021-07-30
US20210358218A1 (en) 2021-11-18
JP2022502797A (ja) 2022-01-11
EP3844773A4 (en) 2022-07-06

Similar Documents

Publication Publication Date Title
US11730545B2 (en) System and method for multi-client deployment of augmented reality instrument tracking
US20210090344A1 (en) Dual Mode Augmented Reality Surgical System And Method
Silva et al. Emerging applications of virtual reality in cardiovascular medicine
US20210015583A1 (en) Augmented reality system and method for tele-proctoring a surgical procedure
US20200038119A1 (en) System and method for training and collaborating in a virtual environment
JP2022017422A (ja) 拡張現実感手術ナビゲーション
TW201935490A (zh) 用於患者參與之系統及方法
CN104271066A (zh) 具有不用手的控制的混合图像/场景再现器
EA027016B1 (ru) Система и способ компьютерного моделирования медицинской процедуры
TW202038255A (zh) 360 vr 體積媒體編輯器
Sereno et al. Point specification in collaborative visualization for 3D scalar fields using augmented reality
CN117826976A (zh) 一种基于xr的多人协同方法及系统
Mathi Augment HoloLens’ Body Recognition and Tracking Capabilities Using Kinect
Gåsbakk et al. Medical procedural training in virtual reality
James A New Perspective on Minimally Invasive Procedures: Exploring the Utility of a Novel Virtual Reality Endovascular Navigation System
Taweel Remote Surgery Guidance Using Virtual Reality and 360º Video
Subburaj et al. Smart VR/AR/MR Systems for Professionals
Venn Immersive Visualization in Biomedical Computational Fluid Dynamics and Didactic Teaching and Learning
Mukit Intraoperative Virtual Surgical Planning Through Medical Mixed Reality
Weiß A Mobile Augmented Reality Application to Improve Patient Education in Urology
Ghandorh Augmented Reality Simulation Modules for EVD Placement Training and Planning Aids
Lin Interaction with medical volume data on the responsive workbench