TW202103646A - 用於遠距監督手術程序之擴增實境系統及方法 - Google Patents

用於遠距監督手術程序之擴增實境系統及方法 Download PDF

Info

Publication number
TW202103646A
TW202103646A TW109123942A TW109123942A TW202103646A TW 202103646 A TW202103646 A TW 202103646A TW 109123942 A TW109123942 A TW 109123942A TW 109123942 A TW109123942 A TW 109123942A TW 202103646 A TW202103646 A TW 202103646A
Authority
TW
Taiwan
Prior art keywords
experienced
real
augmented reality
physician
remote
Prior art date
Application number
TW109123942A
Other languages
English (en)
Inventor
亞海夫 多古
阿隆Ｙ 蓋里
摩爾德凱 艾維薩
伊利亞胡 台克曼
阿隆 祖客曼
吉登 納羅特斯基
奈特 瑞吉夫
Original Assignee
美商外科劇院股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商外科劇院股份有限公司 filed Critical 美商外科劇院股份有限公司
Publication of TW202103646A publication Critical patent/TW202103646A/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/0806—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division the signals being two or more video signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/025—LAN communication management
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一種用於遠距監督一手術程序之系統包括一擴增實境頭戴式顯示器及一電腦。該電腦經組配來：經由該擴增實境頭戴式顯示器接收自一現場醫師之眼睛體驗到的一視覺圖像；經由該擴增實境頭戴式顯示器接收由該現場醫師體驗到的另外的內容；將自一現場醫師之眼睛體驗到的該視覺圖像及該另外的內容集成到由該現場醫師體驗到的一單個集成視圖中；將所集成之視圖傳送到一遠程電腦以用於在一遠程顯示器上顯示；經由該遠程電腦自一遠程醫師接收與所集成之視圖的一交互；且經由該擴增實境頭戴式顯示器將該交互呈現給該現場醫師。

Description

用於遠距監督手術程序之擴增實境系統及方法
相關申請案之交互參照
本申請案主張2019年7月15日提交的美國臨時專利申請案第62/874,315序列號之優先權，該申請案以引用方式整體併入本文中。
本揭露係關於手術程序領域，且更特定而言，係關於遠距監督手術程序領域。
手術程序可能係複雜的，其成功對於患者之健康可能至關重要。因此，為了執行手術程序，醫師通常需要經歷全面的培訓，包括在高級且更有經驗的醫師之指導及督導下執行或參加手術程序。並且甚至超出最初的培訓及指導，也可能需要高級醫師監督由較不高級的醫師執行的手術程序並且確認由較不高級的醫師選擇或執行的某些操縱、決策或技術。例如，涉及顱骨切開術的手術程序在開始實際程序之前可能需要高級醫師批准較不高級的醫師做出的標記，該標記指示要執行的程序的位置。
隨著各種通訊技術之進步及可用性的增加，遠距監督或遠距輔助正成為個體或團隊自遠程位置向其他個體或團隊遠程提供培訓、指導及支持的愈來愈受歡迎的選項。此外，擴增實境技術正愈來愈多地用於藉由使得遠程個體能夠將指令重疊在本地使用者之真實世界視圖之頂部上來促進兩個個體之間的遠程交互。例如，擴增實境技術(諸如Microsoft之Dynamic 365 Remote Assist)可實現此種遠程交互。然而，由於手術室內存在特定環境條件，因此特定而言將此種擴增實境技術用於遠距監督手術程序可能係不可能或不實用的。
一種用於遠距監督一手術程序之系統包括一擴增實境頭戴式顯示器；及一電腦，該電腦包括一或多個處理器、一或多個電腦可讀有形儲存裝置及儲存在該一或多個儲存裝置中的至少一個上以用於由該一或多個處理器中的至少一個執行的程式指令。該等程式指令經組配來：經由該擴增實境頭戴式顯示器接收自一現場醫師之眼睛體驗到的一視覺圖像；經由該擴增實境頭戴式顯示器接收由該現場醫師體驗到的另外的內容；將自一現場醫師之眼睛體驗到的該視覺圖像及該另外的內容集成到由該現場醫師體驗到的一單個集成視圖中；將所集成之視圖傳送到一遠程電腦以用於在一遠程顯示器上顯示；經由該遠程電腦自一遠程醫師接收與所集成之視圖的一交互；且經由該擴增實境頭戴式顯示器將該交互呈現給該現場醫師。
一種用於遠距監督一手術程序之方法包括以下步驟：經由一擴增實境頭戴式顯示器接收自一現場醫師之眼睛體驗到的一視覺圖像；經由該擴增實境頭戴式顯示器接收由該現場醫師體驗到的另外的內容；將自一現場醫師之眼睛體驗到的該視覺圖像及該另外的內容集成到由該現場醫師體驗到的一單個集成視圖中；將所集成之視圖傳送到一遠程電腦以用於在一遠程顯示器上顯示；經由該遠程電腦自一遠程醫師接收與所集成之視圖的一交互；及經由該擴增實境頭戴式顯示器將該交互呈現給該現場醫師。
以下縮寫詞及定義將幫助理解實施方式：
AR-擴增實境-物理真實世界環境之實時視圖，其元素已通過電腦生成的感官元素(諸如聲音、視訊或圖形)得到增強。
VR-虛擬實境-3維電腦生成的環境，人們可不同程度地對所述環境進行探索及與其交互。
HMD-頭戴式顯示器係指可在AR或VR環境中使用的頭戴式組件。它可為有線的或無線的。它亦可包括一或多個附加組件，諸如頭戴式耳機、傳聲器、HD攝影機、紅外攝影機、手跟蹤器、位置跟蹤器等。
控制器-包括按鈕及方向控制器的裝置。它可為有線的或無線的。此裝置之實例為Xbox遊戲台、PlayStation遊戲台、Oculus touch等。
SNAP模型-SNAP殼係指使用呈DICOM文件格式的一或多個患者掃描(CT、MR、fMR、DTI等)創建的3D紋理或3D對象。它亦包括用於過濾特定範疇且以3D紋理為其他範疇著色的不同分段預置。它亦可包括放置在場景中的3D對象，包括用於標記感興趣之特定點或解剖結構的3D形狀、3D標籤、3D測量標記、用於引導的3D箭頭及3D手術工具。手術工具及裝置已被建模用於教學及患者特定的預演，特定而言用於適當地設定動脈瘤夾之大小。
化身-化身代表虛擬環境內部的使用者。
MD6DM-多維全球面虛擬實境6自由度模型。它提供圖形化模擬環境，該圖形化模擬環境使得醫師能夠在全球面虛擬實境環境中體驗、規劃、執行及導航干預。
先前在以引用方式併入本申請案中的美國專利申請案第8,311,791號中描述的手術預演及準備工具已被開發來基於預建SNAP模型將靜態CT及MRI醫學影像轉換成動態及交互式多維全球面虛擬實境六(6)自由度模型(「MD6DM」)，該預構建SNAP模型可由醫師使用來實時模擬手術程序。MD6DM提供圖形化模擬環境，該圖形化模擬環境使得醫師能夠在全球面虛擬實境環境中體驗、規劃、執行及導航干預。特別地，MD6DM給予外科醫師使用根據傳統的二維患者醫學掃描構建的唯一多維模型進行導航的能力，該唯一多維模型在整個體積球面虛擬實境模型中給予球面虛擬實境6自由度(即，線性；x、y、z及角度、偏航、俯仰、滾轉)。
MD6DM使用根據患者自己的醫學影像(包括CT、MRI、DTI等)的資料集構建並且係患者特定的SNAP模型實時渲染。可集成代表性腦模型(諸如Atlas資料)以創建部分患者特定的模型，如果外科醫師期望如此的話。該模型自MD6DM上的任何點給予360°球形視圖。使用MD6DM，觀看者虛擬地定位在解剖結構內部且可查看及觀察解剖結構及病理結構兩者，好像他站在患者體內部一樣。觀看者可向上看、向下看、環顧四周等，且將看到關於彼此的天然結構，完全如他們在患者體內發現的那樣。內側結構之間的空間關係得以保留並且可使用MD6DM來瞭解。
MD6DM之算法獲取醫學影像資訊且將其構建到球面模型中，該球面模型為在「飛入」解剖結構內部時可自任何角度觀看的全連續實時模型。特別地，在CT、MRI等拍攝到真實有機體且將其解構成由數千個點構建的數百個薄片之後，MD6DM藉由代表此等點中的每一個之360°視圖自內部及外部兩者將該等數百個薄片還原到3D模型。
本文描述一種利用MD6DM模型，用於遠距監督手術程序的擴增實境(「AR」)系統。特別地，AR系統通過如下方式使得位於遠程的醫師能夠與現場醫師交互且監督由該現場醫師正在對患者執行的手術程序：經由擴增實境頭戴式組件向遠程醫師提供與現場醫師正在體驗的相同視圖，該視圖包括自現場醫師之眼睛體驗到的視覺圖像以及另外集成的內容(諸如預構建MD6DM模型)；及向遠程醫師提供用於與視圖交互的構件使得現場醫師體驗交互。因此，向患者提供了由於現場位置處健康護理專業人員之位置及可用性而原本可能無法獲得的護理及專家意見。
如本文將更詳細地描述的將另外的內容及特徵集成到示範性AR系統中允許增加外科醫師之舒適度以及增加採用率，因為AR HMD可在整個手術程序期間穿戴而無需為了觀看顯微鏡、安上其他放大鏡等而將其拿掉。本文所描述之系統亦使得醫師能夠更好地進行多重任務。最後，它使得遠程主治醫師能夠更多地參與到手術程序中，並且從而增加程序之安全性且降低程序期間的錯誤風險。
應瞭解，本文所描述之示範性系統可用於進行術前規劃，在手術室中進行準備及在實際手術程序期間使用。應進一步瞭解，儘管本文可描述用於在顱骨切開術期間使用的示範性應用，但是該等示範性系統可用於任何合適的手術程序。
圖1例示AR遠距監督系統100，該AR遠距監督系統100用於使得位於醫院104 (或任何類似的合適位置)中且對患者106執行手術程序的現場醫師102能夠與位於遠程位置110中的遠程醫師108通訊且與之交互。特別地，AR系統100使得遠程醫師108能夠自遠程位置110監督且協助手術程序。監督手術程序可意指例如在手術程序期間回答問題，關於如何執行程序作出建議或提供指示及確認由現場醫師102正在採取的動作是準確且正確的。應瞭解，儘管AR系統100被描述為在手術程序期間使用，但是AR系統100亦可用於術前規劃及準備。
AR系統100包括AR頭戴式顯示器(「HMD」) 112，該AR HMD 112用於來向現場醫師102提供AR視圖，該AR視圖包括患者106之實時真實生活視覺圖像組合另外集成的內容。例如，AR系統100包括MD6DM電腦114，該MD6DM電腦114用於自SNAP資料庫116檢索SNAP模型，用於渲染MD6DM模型118，且用於將MD6DM模型118提供給AR HMD 112。MD6DM電腦114與AR HMD 112組合經組配來使MD6DM模型與患者106之實時真實生活視覺圖像同步且將其重疊在該實時真實生活視覺圖像之頂部上，以便經由AR HMD 112創建患者106之AR視圖(未示出)。
AR系統100進一步包括遠距電腦120，該遠距電腦120經組配來將由現場醫師102體驗到的AR視圖傳送到遠程電腦122。特別地，遠距電腦120經組配來自AR HMD 112上的攝影機接收實時視訊饋送，該實時視訊饋送捕獲且表示現場醫師102所觀看到的患者106之實時真實生活視覺圖像。遠距電腦120進一步經組配來接收另外集成的內容且使該另外集成的內容與來自AR HMD 112的實時視訊饋送同步。例如，遠距電腦120經組配來自MD6DM電腦114接收所渲染之MD6DM模型118且使MD6DM模型118與實時視訊饋送同步。
遠程電腦122經組配來將患者之包括實時視訊饋送124的AR視圖及與實時視訊饋送124同步的遠程MD6DM模型128傳送到遠程顯示器126。應瞭解，遠程顯示器126可為任何合適類型的顯示器，包括頭戴式顯示器(未示出)。因此，遠程醫師108能夠經由遠程顯示器126實時體驗與由現場醫師102正在體驗的包括患者106之實時真實生活視覺圖像及另外集成的內容的相同視圖。
在一個實例中，遠程位置110包括用於自遠程資料庫(未示出)檢索另外集成的內容(諸如SNAP模型)的遠程集成內容電腦(諸如MD6DM電腦(未示出))。因此，遠距電腦122不需要使任何另外的內容與自AR HMD 112接收的實時視訊饋送同步或集成。而是，遠距電腦122將實時視訊饋送傳送到遠程電腦122而沒有另外的內容，從而節省通訊帶寬。在此種實例中，遠程電腦122自遠程集成內容電腦檢索另外的內容且在遠程位置110處與實時視訊饋送執行集成及同步。例如，遠程電腦122經組配來自遠程SNAP資料庫(未示出)檢索SNAP模型且渲染遠程MD6DM模型128。遠程電腦122進一步經組配來使遠程MD6DM模型128與實時視訊饋送124同步且將兩者集成到遠程顯示器126上以形成表示現場醫師102正在體驗的相同視圖的視圖。
遠程電腦122進一步經組配來經由顯示器126或經由另外的外圍輸入裝置(未示出)接收來自遠程醫師108的與該視圖的交互。例如，遠程電腦122可自遠程醫師108接收與患者之實時視訊饋送124及另外的集成且同步內容(諸如遠程MD6DM模型128)兩者的標示、註釋及其他合適的輸入交互。此等交互可包括例如遠程醫師108操縱遠程MD6DM模型128或在遠程MD6DM模型128上放置標記以指示進行切口的位置。遠程電腦122進一步能夠區分與實時視訊饋送124的交互及與另外集成的內容(諸如遠程MD6DM模型128)的交互。
遠程電腦122進一步經組配來將遠程醫師108之遠程交互傳送到遠距電腦120，該遠距電腦120進而經組配來將所接收之遠程交互結合對應的內容傳送到AR HMD 112且對該所接收之遠程交互進行適當地渲染。遠程遠距電腦120經組配來基於識別的交互之間的區別來用各別內容渲染所接收之遠程交互。例如，遠距電腦120可經組配來使MD6DM模型118與同遠程MD6DM模型128的所接收之遠程交互同步且集成，使得現場醫師102能夠體驗由遠程醫師108提供的MD6DM模型118中的所標記之視圖。在另一個實例中，MD6DM電腦114可經組配來自遠距電腦120接收交互且使遠程交互與MD6DM模型118同步且集成。應瞭解，儘管MD6DM電腦114和遠距電腦120被描述為兩個不同的電腦，但是MD6DM電腦114和遠距電腦120可組合成單個電腦(未例示)。
藉由將來自遠程醫師108的標記及其他合適的交互傳送到現場醫師102，AR系統100能夠促進例如對顱骨切開術的監督，該顱骨切開術需要醫師標記應開始程序的進入點。僅基於真實生活實時視圖提供此種標記並不總是可行或實用的，且這通常需要另外集成的內容(諸如重疊在頭骨之頂部上的MD6DM模型)的幫助。由於現場醫師102及遠程醫師108能夠彼此交互且提供關於真實生活實時視圖以及另外集成的內容兩者的實時反饋，因此提供包括另外集成的內容的遠程視圖使得監督能力及協同能夠得以改善。
在一個示範性AR系統200中，如圖2所例示，與患者106之實時真實生活視覺圖像集成且包括在由現場醫師體驗到的視圖中的另外的內容包括由內視鏡202生成的視訊。例如，現場醫師102可使用內視鏡來獲得患者106之特寫內部視圖。將來自內視鏡202的特寫視圖併入由現場醫師102經由AR HMD 112體驗到的視圖中。例如，來自內視鏡的特寫視圖可在AR HMD 112之透鏡之一部分中呈現給現場醫師102，使得現場醫師102可容易地在均位於相同AR HMD 112內的患者之真實生活實時視圖或來自內視鏡的特寫視圖之間來回查看。
因此，為了使遠程醫師108能夠體驗與現場醫師102相同的視圖，遠距電腦120進一步經組配來將除由AR HMD 112上的攝影機捕獲的實時視訊饋送之外由內視鏡202生成的相同視訊傳送到遠程電腦122。在一個實例中，遠程電腦122經組配來將另外的內容(例如，由內視鏡202生成的視訊)與來自AR HMD 112上的攝影機的實時視訊饋送集成，以在顯示器126上向遠程醫師108產生與由現場醫師102體驗到的相同的集成視圖。特定而言，遠程電腦122可同時在螢幕126上在顯示器126之第一部分中呈現自HMD 112上的攝影機接收的實時生活視圖以及在顯示器126之第二部分中呈現自內視鏡202接收的特寫視圖。
在另一個實例中，遠程電腦122可經組配來顯示自HMD 112上的攝影機接收的實時生活視圖或自內視鏡202接收的特寫視圖中的一者，這取決於遠程醫師108經由遠程電腦122所提供的介面進行的選擇。例如，遠程醫師可選擇性地在觀看自HMD 112上的攝影機接收的實時生活視圖或自內視鏡202接收的特寫視圖之間切換且選擇性地隨時與任一者交互。在另一個實例中，遠程電腦122可經組配來取決於由現場醫師102採取的動作而在自HMD 112上的攝影機接收的實時生活視圖或自內視鏡202接收的特寫視圖之間自動地切換顯示。例如，AR HMD 112可經組配來跟蹤現場醫師102之眼睛移動。特別地，AR HMD 112可經組配來確定現場醫師102之眼睛何時聚焦在AR視圖中所呈現的特寫視圖上以及現場醫師102之眼睛何時聚焦在AR視圖內的其他任何地方。因此，基於現場醫師102之眼睛聚焦，遠程電腦122可經組配來自動地向顯示器126呈現相同的對應視圖。
在一個實例中，MD6DM電腦114可經組配來自內視鏡202接收特寫視訊饋送，且使MD6DM模型118之特寫視圖與特寫視訊饋送同步且重疊在該特寫視訊饋送之上，之後將組合的集成特寫視訊饋送傳送到AR HMD 112。在此種實例中，遠距電腦122可經組配來向遠程醫師108提供由現場醫師102體驗到的相同視圖，包括自內視鏡202生成的具有MD6DM重疊的集成且同步的特寫視圖以及自AR HMD 112上的攝影機接收的真實生活實時視圖。
如先前所描述，遠程電腦114經組配來接收且區分來自遠程醫師108的與視圖的不同類型的交互，且將所區分之交互傳送到遠距電腦120，該遠距電腦120進而對交互結合對應的內容進行適當地渲染。
在一個示範性AR系統300中，如圖3所例示，與患者106之實時真實生活視覺圖像集成且包括在由現場醫師體驗到的視圖中的另外的內容包括由顯微鏡302生成的視訊。由顯微鏡302生成的視訊可以或可以不與MD6DM模型同步，如先前實例中所描述。同樣如在先前實例中，由顯微鏡302生成的視訊在具有或不具有MD6DM集成的情況下可經由AR HMD 112以增強視圖呈現給現場醫師102且由其體驗。類似地如針對內視鏡視訊之先前實例所描述的，來自顯微鏡302的視訊之另外的內容可作為所體驗之視圖之一部分呈現給遠程醫師108。
在一個實例中，不是經由AR HMD 112將來自顯微鏡302的視訊饋送提供到AR視圖中，而是現場醫師可選擇直接與顯微鏡交互來消耗顯微鏡視圖。例如，現場醫師102可通過顯微鏡302上的觀察器查看以便觀看患者106之特寫視圖。然而，現場醫師102可能仍然穿戴著AR HMD 112且意圖使遠程醫師108體驗相同的視圖。因此，在此種實例中，來自顯微鏡302的視訊饋送可仍然由遠距電腦120提供到遠程電腦122，以便使得遠程電腦122能夠為遠程醫師108生成與現場醫師102體驗到的相同視圖。
如先前實例中所描述，遠程電腦122可經組配來顯示自HMD 112上的攝影機接收的實時生活視圖或自顯微鏡302接收的特寫視圖中的一者，這取決於遠程醫師108經由遠程電腦122所提供的介面進行的選擇。
在另一個實例中，遠程電腦122可經組配來取決於由現場醫師102採取的動作而在自HMD 112上的攝影機接收的實時生活視圖或自顯微鏡302接收的特寫視圖之間自動地切換顯示。例如，遠距電腦120可經組配來基於AR HMD 112上的運動感測器或其他合適類型的感測器且基於自AR HMD 112接收的視訊來確定現場醫師102之頭部方位/位置。特別地，當確定現場醫師102之頭部在顯微鏡302之觀察器頂部上方傾斜或以其他方式定位在該觀察器處或其附近時，遠程電腦122可經組配來自動地向顯示器126呈現自顯微鏡饋送的視圖，且當現場醫師102之頭部以其他方式定位時呈現自AR HMD 112饋送的真實生活視訊。
在一個實例中，MD6DM電腦114可經組配來自顯微鏡302接收特寫視訊饋送，且使MD6DM模型118之特寫視圖與特寫視訊饋送同步且重疊在該特寫視訊饋送之上，之後將組合的集成特寫視訊饋送傳送到AR HMD 112。在另一個實例中，MD6DM電腦114可經組配來將MD6DM模型118之特寫視圖直接注入、同步且重疊到藉由窺視顯微鏡302之取景器體驗到的視圖中。在此種實例中，遠距電腦122可經組配來向遠程醫師108提供由現場醫師102體驗到的相同視圖，包括自顯微鏡302生成的具有MD6DM重疊的集成且同步的特寫視圖以及自AR HMD 112上的攝影機接收的真實生活實時視圖。
如先前所描述，遠程電腦114經組配來接收且區分來自遠程醫師108的與視圖的不同類型的交互，且將所區分之交互傳送到遠距電腦120，該遠距電腦120進而對交互結合對應的內容進行適當地渲染。
在一個實例中，如圖4所例示，AR HMD 402可具有集成式(或可移除/可拆卸的)放大鏡404用於使得現場醫師102能夠得到患者106之特寫視圖。例如，現場醫師102可直接透過AR HMD 402查看以便體驗患者106之真實生活實時視圖。現場醫師102亦可選擇隨時透過放大鏡404查看以便得到特寫視圖。因此，為了向遠程醫師108提供與現場醫師觀察到的相同的體驗，自AR HMD 402接收且提供到遠程電腦122的實時視訊之縮放水平根據由AR HMD 402確定相對於放大鏡404的現場醫師102之眼睛方位來調整。特別地，若AR HMD 402確定現場醫師之眼睛正在透過放大鏡404查看，則基於放大鏡404之放大強度將由AR HMD 402上的攝影機接收且提供到遠程電腦122的實時視訊放大成特寫視圖。在一個實例中，AR HMD 402上的攝影機經組配來基於所確定之眼睛方位而自動地放大。在另一個實例中，遠距電腦120經組配來基於所確定之眼睛方位來調整自AR HMD 402之攝影機接收的實時視訊。
在一個實例中，可由同步化MD6DM模型來增強經由AR HMD 402體驗到的真實生活實時視圖。在此種實例中，根據現場醫師102之眼睛方位，可適當地調整及放大MD6DM模型。類似地，自AR HMD 402上的攝影機接收且提供到遠程電腦122的真實生活實時視訊可與在遠程站點110處或在醫院104處的MD6DM模型同步，然後被傳送到遠程站點110。此外，亦可縮放與用於在遠程站點110處呈現的真實生活實時視訊同步的MD6DM模型，這取決於現場醫師102之眼睛方位。
如先前所描述，遠程電腦114經組配來接收且區分來自遠程醫師108的與視圖的不同類型的交互，且將所區分之交互傳送到遠距電腦120，該遠距電腦120進而對交互結合對應的內容進行適當地渲染。
圖5例示用於遠距監督手術程序的示範性方法。在502處，經由AR頭戴式組件接收自手術程序之現場醫師之眼睛體驗到的視覺圖像。在504處，經由AR頭戴式組件接收由現場醫師體驗到的另外的內容。在506處，將自現場醫師之眼睛體驗到的視覺圖像及另外的內容集成到由現場醫師體驗到的單個視圖中。在508處，將視圖提供給遠程醫師。在510處，接收來自遠程醫師的交互。在512處，經由AR頭戴式組件將交互呈現給現場醫師。
圖6係用於實施圖1之遠距電腦114、MD6DM電腦116及遠程電腦122的示範性電腦之示意圖。示範性電腦600意圖表示各種形式的數位電腦，包括膝上型電腦、桌上型電腦、手持式電腦、平板電腦、智慧手機、伺服器及其他類似類型的計算裝置。電腦600包括藉由介面610經由匯流排612可操作地連接的處理器602、記憶體604、儲存裝置606及通訊埠608。
處理器602經由記憶體604處理指令以供在電腦600內執行。在一個示範性實施例中，可使用多個處理器以及多個記憶體。
記憶體604可為依電性記憶體或非依電性記憶體。記憶體604可為電腦可讀媒體，諸如磁碟或光碟。儲存裝置606可為電腦可讀媒體，諸如軟碟裝置、硬碟裝置、光碟裝置、磁帶裝置、快閃記憶體、相變記憶體或其他類似的固態記憶體裝置或裝置(包括位於其他組態之儲存區域網路中的裝置)陣列。電腦程式產品可有形地體現在電腦可讀媒體(諸如記憶體604或儲存裝置606)中。
電腦600可耦接到一或多個輸入及輸出裝置，諸如顯示器614、列印機616、掃描儀618、滑鼠620及HMD 624。
如熟習此項技術者將瞭解的，示範性實施例可實現為方法、系統、電腦程式產品或前述之組合或者可通常利用該方法、系統、電腦程式產品或前述之組合。因此，任何實施例可採取包含儲存在儲存裝置中以供在電腦硬體上執行的可執行指令的專用軟體的形式，其中該軟體可儲存在具有在媒體中體現的電腦可用程式代碼的電腦可用儲存媒體上。
資料庫可使用可在所揭示之伺服器或另外的電腦伺服器上運行的可商購獲得的電腦應用程序(諸如開源解決方案(諸如MySQL)或封閉式解決方案(諸如Microsoft SQL)來實現。資料庫可利用關係或面向對象的範例來儲存用於以上所揭示之示範性實施例的資料、模型及模型參數。此類資料庫可使用已知的資料庫程式設計技術來自定義以實現本文所揭示之專門適用性。
任何合適的電腦可用(電腦可讀)媒體都可用於儲存包含可執行指令的軟體。電腦可用或電腦可讀媒體可為例如但不限於電子、磁性、光學、電磁、紅外或半導體系統、設備、裝置或傳播媒體。電腦可讀媒體之更特定的實例(非詳盡列表)將包括以下項：具有一或多根電線的電連接；有形媒體，諸如便攜式電腦軟磁盤、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可抹除可程式化唯讀記憶體(EPROM或快閃記憶體)、光碟唯讀記憶體(CDROM)或其他有形光學或磁性儲存裝置；或傳輸媒體，諸如支持網際網路或內部網路的彼等媒體。
在本文檔之上下文中，電腦可用或電腦可讀媒體可為可含有、儲存、傳達、傳播或傳送程式指令以供可包括任何合適的電腦(或電腦系統)的指令執行系統、平台、設備或裝置使用或與其結合使用的任何媒體，該任何合適的電腦(或電腦系統)包括一或多個可程式化或專用處理器/控制器。電腦可用媒體可包括其中體現有電腦可用程序代碼(在基帶中或作為載波之一部分)的傳播資料訊號。電腦可用程序代碼可使用任何適當的媒體來傳輸，該任何適當的媒體包括但不限於網際網路、有線、光纖電纜、本地通訊匯流排、射頻(RF)或其他方式。
具有用於執行示範性實施例之操作的可執行指令的電腦程式代碼可通過常規方式使用包括任何電腦語言寫入，該等電腦語言包括但不限於：解釋性或事件驅動語言(諸如BASIC、Lisp、VBA或VBScript)，或GUI實施例(諸如visual basic)，編譯程式語言(諸如FORTRAN、COBOL或Pascal)，面向對象的腳本或非腳本程式語言(諸如Java、JavaScript、Perl、Smalltalk、C++、C#、Object Pascal或類似者)，人工智慧語言(諸如Prolog)，實時嵌式語言(諸如Ada)，或使用梯形邏輯的甚至更加直接或簡化的程式，組合程式語言或使用適當機器語言的直接程式。
在某種程度上就本說明書或申請專利範圍中所用之術語「包括(includes)」或「包括(including)」而言，其意圖以與此術語在申請專利範圍中用作過渡詞時被解釋的類似的方式具有包括性。此外，在某種程度上就採用術語「或」 (例如，A或B)而言，其意圖意指「A或B或兩者」。當本申請者意圖指示「僅A或B而非兩者」時，則將採用術語「僅A或B而非兩者」。因此，本文中術語「或」的使用為包括性的，而非排他性的使用。參見Bryan A. Garner的《現代法律用法詞典624》(第2版，1995年)。同樣，在某種程度上就本說明書或申請專利範圍中所使用術語「在……中(in)」或「在……中(into)」而言，其意圖另外意指「在……上(on)」或「在……上(onto)」。此外，在某種程度上就本說明書或申請專利範圍中所使用的術語「連接」而言，其意圖不僅意指「直接連接到」，而且意指「間接連接到」，諸如通過另一個部件或多個部件連接。
雖然本申請案已通過描述其實施例來例示，且雖然實施例已相當詳細地進行了描述，但是本申請者並不意圖將隨附申請專利範圍之範疇約束或以任何方式限於此類細節。另外的優點及修改對熟習此項技術者將是顯而易見的。因此，本申請案在其較廣泛態樣不限於特定細節、代表性設備及所示出且描述之方法及例示性實例。因此，在不脫離本申請者之一般發明概念之精神及範疇的情況下，可對此類細節做出變更。
100:AR遠距監督系統/AR系統 102:現場醫師 104:醫院 106:患者 108:遠程醫師 110:遠程位置 112:AR頭戴式顯示器/AR HMD/HMD 114:MD6DM電腦 116:SNAP資料庫 118:MD6DM模型 120:遠距電腦 122:遠程電腦 124:實時視訊饋送 126:遠程顯示器 128: 遠程MD6DM模型 200:AR系統 202:內視鏡 300:AR系統 302:顯微鏡 402:AR HMD 404:集成式放大鏡/放大鏡 502,504,506,508,510,512:步驟 600:電腦 602:處理器 604:記憶體 606:儲存裝置 608:通訊埠 610:介面 614:顯示器 616:列印機 618:掃描儀 620:滑鼠 624:HMD
在附圖中，例示了與下面提供的詳細描述一起描述所主張保護之發明之示範性實施例的結構。相同的元件用相同的元件符號標識。應理解，示出為單個部件的元件可用多個部件替換，且示出為多個部件的元件可用單個部件替換。附圖並未按比例繪製，且出於說明的目的，某些元件的比例可能被放大。
圖1例示示範性擴增實境遠距監督系統。
圖2例示示範性擴增實境遠距監督系統。
圖3例示示範性擴增實境遠距監督系統。
圖4例示示範性擴增實境遠距監督系統。
圖5例示用於遠距監督手術程序的示範性方法。
圖6例示實施圖1至圖4之示範性擴增實境遠距監督系統的示範性電腦。
502,504,506,508,510,512:步驟

Claims (19)

  1. 一種用於遠距監督一手術程序之系統，其包含： 一擴增實境頭戴式顯示器；及 一電腦，該電腦包含一或多個處理器、一或多個電腦可讀有形儲存裝置及儲存在該一或多個儲存裝置中的至少一個上以用於由該一或多個處理器中的至少一個執行的程式指令，該等程式指令經組配來： 經由該擴增實境頭戴式顯示器接收自一現場醫師之眼睛體驗到的一視覺圖像； 經由該擴增實境頭戴式顯示器接收由該現場醫師體驗到的另外的內容； 將自一現場醫師之眼睛體驗到的該視覺圖像及該另外的內容集成到由該現場醫師體驗到的一單個集成視圖中； 將所集成之視圖傳送到一遠程電腦以用於在一遠程顯示器上顯示； 經由該遠程電腦自一遠程醫師接收與所集成之視圖的一交互；且 經由該擴增實境頭戴式顯示器將該交互呈現給該現場醫師。
  2. 如請求項1之系統，其中該另外的內容包含一動態且交互式多維解剖模型，且其中該電腦經組配來藉由使該解剖模型與一患者之一解剖結構之經由該擴增實境頭戴式顯示器體驗到的一真實視覺圖像同步且重疊來集成所體驗之該視覺圖像及該另外的內容。
  3. 如請求項1之系統，其中該擴增實境頭戴式顯示器包含一攝影機，該攝影機經組配來捕獲表示如該現場醫師體驗到的一患者解剖結構之一實時真實生活視覺圖像的一實時視訊饋送，且其中該電腦經組配來將該實時視訊饋送及該另外的內容傳送到該遠程電腦。
  4. 如請求項1之系統，其中該交互包含一標示及一註釋中的至少一者，該交互指示用於執行一手術程序的一指令。
  5. 如請求項1之系統，其中該電腦經組配來區分與自一現場醫師之眼睛體驗到的該視覺圖像的一交互及與該另外的內容的一交互以用於識別一區別。
  6. 如請求項5之系統，其中該電腦經組配來基於所識別之區別來渲染所接收之交互。
  7. 如請求項3之系統，其中該另外的內容包含由一內視鏡生成的特寫視訊，且其中該電腦經組配來將該實時視訊饋送及該特寫視訊傳送到該遠程電腦。
  8. 如請求項3之系統，其中該擴增實境頭戴式顯示器包含用於經由該擴增實境頭戴式顯示器實現一特寫視圖的放大鏡，其中該擴增實境頭戴式顯示器經組配來確定相對於該放大鏡的該現場醫師之眼睛方位，且其中該電腦經組配來基於所確定之眼睛方位來調整傳送到該遠程電腦的該實時視訊饋送之縮放水平。
  9. 一種用於遠距監督一手術程序之方法，其包含： 經由一擴增實境頭戴式顯示器接收自一現場醫師之眼睛體驗到的一視覺圖像； 經由該擴增實境頭戴式顯示器接收由該現場醫師體驗到的另外的內容； 將自一現場醫師之眼睛體驗到的該視覺圖像及該另外的內容集成到由該現場醫師體驗到的一單個集成視圖中； 將所集成之視圖傳送到一遠程電腦以用於在一遠程顯示器上顯示； 經由該遠程電腦自一遠程醫師接收與所集成之視圖的一交互；及 經由該擴增實境頭戴式顯示器將該交互呈現給該現場醫師。
  10. 如請求項9之方法，其中該另外的內容包含一動態且交互式多維解剖模型，且其中集成所體驗之該視覺圖像與該另外的內容之步驟包含使該解剖模型與一患者之一解剖結構之經由該擴增實境頭戴式顯示器體驗到的一真實視覺圖像同步且重疊的步驟。
  11. 如請求項9之方法，其中傳送所集成之視圖包含傳送與由該擴增實境頭戴式顯示器上的一攝影機捕獲的表示如由該現場醫師體驗到的一患者解剖結構之一實時真實生活視覺圖像的一實時視訊饋送集成的另外的內容。
  12. 如請求項9之方法，其中該交互包含一標示及一註釋中的至少一者，該交互指示用於執行一手術程序的一指令。
  13. 如請求項9之方法，其進一步包含以下步驟：區分與自一現場醫師之眼睛體驗到的該視覺圖像的一交互及與該另外的內容的一交互以用於識別一區別。
  14. 如請求項13之方法，其中呈現該交互之步驟包括基於所識別之區別來渲染所接收之交互的步驟。
  15. 如請求項11之方法，其中該另外的內容包含由一內視鏡生成的特寫視訊，且其中傳送所集成之視圖之步驟包括將該實時視訊饋送及該特寫視訊傳送到該遠程電腦的步驟。
  16. 如請求項11之方法，其進一步包含確定相對於設置在該擴增實境頭戴式顯示器上的放大鏡的該現場醫師之眼睛方位，且其中傳送所集成之視圖包含基於所確定之眼睛方位來調整傳送到該遠程電腦的該實時視訊饋送之縮放水平。
  17. 一種用於遠距監督一手術程序之方法，其包含： 經由一擴增實境頭戴式顯示器接收自一現場醫師之眼睛體驗到的一視覺圖像； 經由該擴增實境頭戴式顯示器接收由該現場醫師體驗到的包括一動態且交互式多維解剖模型的另外的內容； 將自一現場醫師之眼睛體驗到的該視覺圖像及該另外的內容集成到由該現場醫師體驗到的一單個集成視圖中，該集成包括使該解剖模型與經由該擴增實境頭戴式顯示器體驗到的一患者之一解剖結構之一真實視覺圖像同步且重疊； 確定相對於設置在該擴增實境頭戴式顯示器上的放大鏡的該現場醫師之眼睛方位； 通過傳送與由該擴增實境頭戴式顯示器上的一攝影機捕獲的表示如該現場醫師體驗到的一患者解剖結構之一實時真實生活視覺圖像的一實時視訊饋送集成的另外的內容，且通過基於所確定之眼睛方位來調整傳送到該遠程電腦的該實時視訊饋送之縮放水平來將所集成之視圖傳送到一遠程電腦以用於在一遠程顯示器上顯示； 區分與自一現場醫師之眼睛體驗到的該視覺圖像的一交互及與該另外的內容的一交互以用於識別一區別； 經由該遠程電腦自一遠程醫師接收與所集成之視圖的一交互；及 藉由基於所識別之區別渲染所接收之交互來經由該擴增實境頭戴式顯示器將該交互呈現給該現場醫師。
  18. 如請求項17之方法，其中該另外的內容進一步包含由一內視鏡生成的特寫視訊，且其中傳送所集成之視圖之步驟包括將該實時視訊饋送及該特寫視訊傳送到該遠程電腦的步驟。
  19. 如請求項17之方法，其中該交互包含一標示及一註釋中的至少一者，該交互指示用於執行一手術程序的一指令。
TW109123942A 2019-07-15 2020-07-15 用於遠距監督手術程序之擴增實境系統及方法 TW202103646A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962874315P 2019-07-15 2019-07-15
US62/874,315 2019-07-15

Publications (1)

Publication Number Publication Date
TW202103646A true TW202103646A (zh) 2021-02-01

Family

ID=74211336

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109123942A TW202103646A (zh) 2019-07-15 2020-07-15 用於遠距監督手術程序之擴增實境系統及方法

Country Status (7)

Country Link
US (1) US20210015583A1 (zh)
EP (1) EP3986314A1 (zh)
JP (1) JP2022540898A (zh)
CN (1) CN114173693A (zh)
IL (1) IL289855A (zh)
TW (1) TW202103646A (zh)
WO (1) WO2021011668A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI821721B (zh) * 2021-02-05 2023-11-11 中強光電股份有限公司 醫療用影像輔助系統及醫療用影像輔助方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
EP3787543A4 (en) 2018-05-02 2022-01-19 Augmedics Ltd. REGISTRATION OF A REFERENCE MARK FOR AN AUGMENTED REALITY SYSTEM
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US20210389821A1 (en) * 2020-06-12 2021-12-16 Stephen Eisenmann Visual aid device
WO2022154847A1 (en) 2021-01-12 2022-07-21 Emed Labs, Llc Health testing and diagnostics platform
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
US11610682B2 (en) 2021-06-22 2023-03-21 Emed Labs, Llc Systems, methods, and devices for non-human readable diagnostic tests
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
CN117562678B (zh) * 2024-01-08 2024-04-12 华中科技大学同济医学院附属协和医院 一种用于神经外科手术显微镜的辅助系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016018488A2 (en) * 2014-05-09 2016-02-04 Eyefluence, Inc. Systems and methods for discerning eye signals and continuous biometric identification
CA2997965C (en) * 2015-10-14 2021-04-27 Surgical Theater LLC Augmented reality surgical navigation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI821721B (zh) * 2021-02-05 2023-11-11 中強光電股份有限公司 醫療用影像輔助系統及醫療用影像輔助方法

Also Published As

Publication number Publication date
JP2022540898A (ja) 2022-09-20
US20210015583A1 (en) 2021-01-21
CN114173693A (zh) 2022-03-11
WO2021011668A1 (en) 2021-01-21
IL289855A (en) 2022-03-01
EP3986314A1 (en) 2022-04-27

Similar Documents

Publication Publication Date Title
TW202103646A (zh) 用於遠距監督手術程序之擴增實境系統及方法
US20210022812A1 (en) Surgical Navigation Inside A Body
US11730543B2 (en) Sensory enhanced environments for injection aid and social training
CN109464195B (zh) 双模式增强现实外科手术系统和方法
Silva et al. Emerging applications of virtual reality in cardiovascular medicine
US11730545B2 (en) System and method for multi-client deployment of augmented reality instrument tracking
US10601950B2 (en) Reality-augmented morphological procedure
Gsaxner et al. The HoloLens in medicine: A systematic review and taxonomy
TW201835878A (zh) 用於在虛擬環境中進行訓練和協作的系統和方法
US20190236840A1 (en) System and method for patient engagement
TW202105406A (zh) 用於推薦手術程序之參數的系統及方法
US11925418B2 (en) Methods for multi-modal bioimaging data integration and visualization
TW202038255A (zh) 360 vr 體積媒體編輯器
TW202131875A (zh) 用於擴增實體模型及使虛擬模型與實體模型同步之系統及方法
Demidova et al. Technologies of Virtual and Augmented Reality in Biomedical Engineering
EP4346674A1 (en) Systems, methods, and media for presenting biophysical simulations in an interactive mixed reality environment
JP2022506708A (ja) 光学追跡のためのシステムおよび方法