TW202128074A - 用於醫學成像之擴增實境頭戴套件 - Google Patents

用於醫學成像之擴增實境頭戴套件 Download PDF

Info

Publication number
TW202128074A
TW202128074A TW109137560A TW109137560A TW202128074A TW 202128074 A TW202128074 A TW 202128074A TW 109137560 A TW109137560 A TW 109137560A TW 109137560 A TW109137560 A TW 109137560A TW 202128074 A TW202128074 A TW 202128074A
Authority
TW
Taiwan
Prior art keywords
target
wearer
headset
image
camera
Prior art date
Application number
TW109137560A
Other languages
English (en)
Inventor
塞德里克 斯帕阿斯
里卡多 波拉
Original Assignee
盧森堡商阿斯貝克特拉公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 盧森堡商阿斯貝克特拉公司 filed Critical 盧森堡商阿斯貝克特拉公司
Publication of TW202128074A publication Critical patent/TW202128074A/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/061—Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/3941—Photoluminescent markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/395—Visible markers with marking agent for marking skin or other tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0257—Proximity sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A61M2205/507—Head Mounted Displays [HMD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Robotics (AREA)
  • Architecture (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本發明揭示一種用於一醫療程序中之擴增實境AR系統(100)。該AR系統(100)包括一AR頭戴套件(2)及一處理器(12)。該AR頭戴套件(2)包括一相機(6a、6b)、一近眼顯示器(4a、4b)及一距離感測器(10a、10b)。該處理器(12)經組態以在該整個醫療程序中基於由該距離感測器(10a、10b)量測之距離之改變來調整由該相機(6a、6b)獲得之影像在該顯示器(4a、4b)上之位置。

Description

用於醫學成像之擴增實境頭戴套件
本發明係關於一種用於醫療程序中之擴增實境系統。
基於螢光之術中手術導引正在成為一廣泛使用之程序。此增長尤其集中於使用在近紅外線光譜(NIR)中偵測到之靛青綠(ICG)作為螢光標記之臨床方法。
若干醫療成像裝置已經商業化以容許在手術中進行基於ICG之導引。該方法係用於血流評估、血管通暢、灌流評估(尤其在重建及繞道手術中)、淋巴管成像及手術程序，如前哨淋巴結識別及映射。進一步研究工作之目標係對分子示蹤劑成像之潛能，該等分子示蹤劑報告組織之新血管、結構、代謝、免疫或遺傳特徵。ICG在醫療程序中之應用率及範圍迅速增長。
該程序涉及緊跟在外科程序之前注射螢光團。接著，將近紅外線光照射至目標區域上，從而激發分子配位基，該等分子配位基作為回應發射具有一特定波長之光。接著，使用對此光譜範圍敏感之一相機來偵測光以形成清晰地指示目標組織之一影像。
此方法容許顯著改良各種癌症類型之原發性腫瘤結節以及前哨淋巴結中之殘留轉移瘤之偵測及移除(例如，在肺癌手術中)。其他用途包含在乳腺癌手術中用於乳房腫瘤切除術或乳房切除術及計劃性輔助前哨淋巴結生檢程序。
當前系統係基於一行動相機單元，其藉由在手術台旁邊之一外部螢幕上視覺化所偵測影像而獲取發射光。在該程序期間，外科醫師必須將其等之注意力從其等正在進行手術之患者之區域移開且主觀地比較從一不同視點取得之顯示資料與其等對患者之實際身體之真實世界視野。此連續比較動作使螢光成像變得累贅且尤其限制其準確地映射所顯示螢光標記組織與外科醫師可看見之內容之能力。在此後一主觀步驟中，儘管有極佳專業訓練，但仍損失大量精確性、完整性、集中性及時間效率。
期望具有一種可更容易且準確地將透過螢光成像偵測到之目標組織之視野與外科醫師對患者之實際真實世界視野相互關聯之方式。此可導致使程序更快且較不易出現人為錯誤之前景。
根據一態樣，提供一種用於一醫療程序中之擴增實境(AR)系統。AR系統包括一AR頭戴套件及一處理器。AR頭戴套件包括：一相機，其經組態以偵測來自一目標之光；一近眼顯示器，其定位於一佩戴者之眼睛與目標之間，該顯示器經組態以基於由相機偵測到之光來顯示目標之一影像，使得影像覆疊一佩戴者對目標之視野；及一距離感測器，其經組態以在一整個醫療程序中判定頭戴套件與目標之間的一距離。處理器經組態以：基於由距離感測器量測之距離之值及佩戴者之眼睛之一位置來判定從相機獲得之目標之影像與佩戴者對目標之視野之間的一失配；調整影像在顯示器上之位置，使得其基於所判定失配進行校正，使得影像匹配佩戴者對目標之視野；及在整個醫療程序中重複失配之判定及影像之位置之調整以在整個醫療程序中考量由距離感測器量測之距離之改變。
藉由在一擴增實境裝置之一顯示器中顯示目標之影像，其為執行醫療程序之佩戴者在其等之直接視線中提供由來自目標之光產生之影像之視野。此無需其等調整其等之凝視以在觀看一外部顯示器上之影像與其等對患者之真實世界視野之間切換。
佩戴者之眼睛之位置與至目標之距離之間的差異使能夠調整視野之間的偏差。此係因為相機將不具有與佩戴者對目標之視野相同之視野。此校正在整個程序中透過距離感測器量測頭戴套件與目標之間的距離來執行。此容許顯示器上之擴增影像之位置之一動態更新，使得所顯示影像處在正確位置，使得其重疊佩戴者對目標之真實世界視野。此確保顯示器中之擴增影像匹配在佩戴者視野中發射其之目標上之確切位置。
此可為佩戴頭戴套件之醫療專業人員提供擴增產生影像與實際患者之間的一準確映射。此可在對患者進行一手術程序時實現一大得多的精確性。
較佳地，處理器經進一步組態以藉由經組態以執行以下項而判定從相機獲得之目標之影像與佩戴者對目標之視野之間的失配：在空間中指派一位置以用作一固定參考點；基於由相機偵測到之光來產生目標之一3D模型；基於由距離感測器量測之距離來判定目標相對於固定參考點之位置及定向；判定佩戴者之眼睛相對於固定參考點之位置；判定頭戴套件相對於固定參考點之位置及定向。
藉由相對於一固定參考點判定頭戴套件及目標之位置及定向及佩戴者之眼睛之位置，將其等之位置及定向轉換為相對於彼此之一固定參考座標系。此容許透過連續更新至目標之距離之量測透過佩戴者之眼睛與頭戴套件之間相對於目標之幾何關係來調整目標在顯示器上之影像之相對定位。除佩戴者之眼睛之位置以外，亦可判定佩戴者之眼睛之定向。
固定參考點可在頭戴套件上。例如，其可定位於佩戴者之眼睛將定位之位置之間的一點處。替代地，其可設定為相機、距離感測器或顯示器在頭戴套件上所定位之點。固定參考點無需在頭戴套件上且可代替地係頭戴套件外部之一點。固定參考點可為以3D座標表示之3D空間中之一位置。可將佩戴者之眼睛、目標及頭戴套件之位置及定向轉換為3D座標。
頭戴套件相對於固定參考點之位置及定向可為顯示器、距離感測器及相機之至少一者之位置及定向。顯示器、相機及/或距離感測器相對於彼此之定位可為已知的。此容許在調整影像之位置時考量此等之各者之間的位移。由於其等相對於彼此之位置可為靜態的，所以其等可為已知的。處理器可接收此等位置值。例如，其等可儲存於記憶體中。當固定參考點係頭戴套件上之一位置時，可從知道頭戴套件之幾何形狀而得知顯示器、距離感測器及相機之間相對於固定參考點之距離。
替代地，若尚不知道，則可透過一或多個感測器量測此等位置及定向之值。
較佳地，處理器經進一步組態以藉由經組態以執行以下項而調整影像在顯示器上之位置，使得其基於所判定失配進行校正：設定目標之3D模型相對於固定參考點之位置；呈現目標之3D模型以基於目標及頭戴套件之所判定位置及定向及佩戴者之眼睛之位置來形成經調整影像；及在顯示器上顯示經調整影像。
以此方式，目標之所產生3D模型在與頭戴套件及佩戴者之眼睛相同之參考系內。此使能夠呈現目標之3D模型，使得顯示在顯示器上之影像考量頭戴套件、目標及佩戴者之眼睛之位置。
較佳地，處理器經進一步組態以判定佩戴者之眼睛之視差。視差或雙眼視差係影像在佩戴者之兩個眼睛中之投射點之間的差異。可基於至目標之所判定距離來判定視差。其亦可基於佩戴者之眼睛之位置來判定。此可係基於瞳孔間距離(IPD)及/或頭戴套件與佩戴者之眼睛之間的距離。較佳地，處理器經進一步組態以藉由經組態以執行以下項而判定從相機獲得之目標之影像與佩戴者對目標之視野之間的失配：從所判定距離及佩戴者之眼睛之位置判定佩戴者之眼睛之視差。
至目標之距離與視差成反比。藉由知道至目標之距離及佩戴者之眼睛之位置，可判定眼睛之各者之視差。此使能夠更新顯示器中之所產生影像之對準，使得其針對佩戴者之眼睛之各者匹配佩戴者對目標之視野。顯示器中之影像之調整可針對佩戴者之眼睛之各者而不同。
在一些態樣中，AR頭戴套件可進一步包括一眼睛追蹤感測器，該眼睛追蹤感測器經組態以在整個醫療程序中連續判定佩戴者之眼睛之位置，使得在整個醫療程序中失配之判定及影像之位置之調整之重複在整個醫療程序中考量佩戴者之眼睛之位置之改變。
以此方式，在整個醫療程序中佩戴者之眼睛之位置可經追蹤且用於更新所產生影像在顯示器中之位置。在整個醫療程序中，佩戴者之眼睛之位置將不固定，其等之視野及凝視在整個程序中變化。可藉由連續判定佩戴者之眼睛之位置及其等相對於目標及頭戴套件之位置而改良所產生影像在佩戴者之視野上之定位之準確度。眼睛追蹤感測器可經組態以在整個醫療程序中亦判定佩戴者之眼睛之定向。
眼睛追蹤感測器亦可判定佩戴者之眼睛之焦點，即，其等在任何特定時間所聚焦之位置。以此方式，可顯示所產生影像，使得其始終顯示在佩戴者對目標之視野之焦點上。
眼睛追蹤感測器可為複數個眼睛追蹤感測器。例如，可存在追蹤各眼睛之一單一感測器。替代地，一單一追蹤感測器可追蹤兩個眼睛之位置。
眼睛追蹤感測器可為掃描各眼睛之位置以判定其位置之一IR光源。此可係呈一LED或雷射之形式。替代地或另外，眼睛追蹤感測器可為一電位眼睛追蹤感測器。電位眼睛追蹤感測器使用放置於眼睛周圍之電極來量測眼睛之移動。
處理器可接收佩戴者之眼睛之位置。較佳地，處理器經進一步組態以透過獲得佩戴者之眼睛之瞳孔間距離而獲得佩戴者之眼睛之位置。
瞳孔間距離係佩戴者之眼睛之各者之瞳孔之間的距離。各使用者將具有其等所特有之一瞳孔間距離。藉由知道瞳孔間距離，其可用於判定佩戴者之眼睛相對於頭戴套件及/或固定參考點之相對位置。其亦可用於判定佩戴者之眼睛之視差。此可有助於針對佩戴者之眼睛之各者將所產生影像定位於顯示器上之正確位置處，從而覆疊各眼睛對目標之視野。
可由處理器自動地獲得瞳孔間距離。此可係透過使用眼睛追蹤感測器。替代地，佩戴者可人工地將瞳孔間距離提供至處理器。例如，佩戴者或其他人可已人工地量測瞳孔間距離。
替代地，可藉由除使用瞳孔間距離以外的一方法判定佩戴者之眼睛之位置。
如上文概述，可使用眼睛追蹤感測器判定佩戴者之眼睛之位置。此可為佩戴者之眼睛相對於一固定參考點(諸如頭戴套件上之一點)之位置。替代地，可透過一校準程序判定佩戴者之眼睛相對於固定參考點之位置。此可在醫療程序之前執行，或在醫療程序期間判定需要一進一步校準的情況下執行。此校準可涉及佩戴者觀看一外部標記。接著，可進行調整直至標記之影像之位置匹配至佩戴者對標記之視野。此可涉及佩戴者人工地調整影像產生之參數，使得移動標記之影像以覆疊其等對標記之視野。標記可為任何類型之標記，包含一點或線或具有一已知形狀之一參考花紋圖案(motif)。此校準使處理器能夠判定佩戴者之眼睛相對於固定參考點之位置及/或定向。
較佳地，相機可包括距離感測器。替代地，相機及距離感測器可為單獨感測器。
距離感測器可為一飛行時間距離感測器及/或感測器可為一深度感測器。替代地，距離感測器可為一同時定位及映射(SLAM)感測器、一vSLAM感測器、一點標記圖案感測器或使用與一Kinect裝置相同之原理之一感測器。距離感測器可為僅具有判定距離之目的之一感測器。替代地，距離感測器可為經組態以執行一距離感測器之作用之一相機。例如，相機及距離感測器可為相同的。以此方式，相機用作相機及距離感測器兩者。替代地，可存在用作距離感測器之複數個相機。
較佳地，AR系統進一步包括一光源，該光源經組態以發射光，使得其入射於目標上且隨後在相機處被偵測。
光源可經組態以將光傳輸朝向目標，使得當隨後由相機偵測到時，其形成表示目標或其之一部分之一影像。光源可為螢光光源。替代地，光源可使得透過從目標反射光而形成影像。
AR頭戴套件可包括光源。在頭戴套件上具有光源可使相機及光源能夠聚焦於目標之相同區域上。此確保佩戴者控制目標上之光照明。替代地，光源可為不定位於頭戴套件上之一外部光源。
較佳地，光係近紅外線光。醫療程序可為一基於螢光之導引程序。近紅外線光可用於基於螢光之導引程序。光源可經組態以在此等頻帶內發射。NIR光之波長可為約780 nm。此係ICG之激發範圍。然而，取決於所使用之分子標記，可使用NIR之其他波長。
替代地，光可為可見光或紅外線光。
相機可經組態以偵測NIR光。相機可經組態以在所使用之分子標記在其內傳輸之波長範圍內進行偵測。在ICG之情況中，此可為810 nm至860 nm之一波長，此取決於組織之類型。相機可經組態以偵測與光源相同波長頻帶之光。
相機可在整個醫療程序中連續偵測光。在其他配置中，相機可經配置以依在整個醫療程序中間隔之時間週期獲取光。以此方式，可透過該程序更新AR顯示器中之所產生影像。
在其他實施例中，在醫療程序期間，由相機偵測到之影像可被擷取一次。接著，可不在整個程序中更新此影像，而僅更新其在近眼顯示器上之位置以考量頭戴套件之位置之改變。此可為不期望由相機獲取之目標之影像將改變之情況。
處理器可經進一步組態以將由相機偵測到之光轉換為使用者可見之一影像。當從目標發射之光在IR或NIR頻帶中時，佩戴者之眼睛傳統地將無法觀看到光。此可為透過來自目標之螢光而激發光時之情況。藉由轉換光且在近眼顯示器上顯示影像，其可經顯示，使得佩戴者可視覺化從目標反射之光。此影像增強佩戴者之視野，從而提供其等先前無法在其等視線中看見之資訊。
AR頭戴套件可包括處理器。此免除了一外部處理器與頭戴套件之間所需之引線或實體連接之需求。
替代地，處理器可不位於頭戴套件上。此可降低頭戴套件之重量。例如，處理器可位於頭戴套件外部之一伺服器或運算系統上。處理器可透過一有線連接連接至頭戴套件。替代地，處理器可透過一無線連接連接至頭戴套件，諸如WiFi、藍芽連接或其他類型之RF連接。
在一些態樣中，頭戴套件可包括經組態以偵測經激發光之複數個相機。擁有複數個相機來偵測經激發光可實現從兩個不同視點偵測影像。此能夠改良目標之模型之產生。另外，其可提供頭戴套件相對於目標之位置之更準確估計。
近眼顯示器可為一單一顯示器。替代地，近眼顯示器可為兩個顯示器，每個顯示器用於為各眼睛顯示一影像。近眼顯示器可為一波導。替代地，顯示器可為一光束分裂器顯示器或一雷射反射顯示器。顯示器可利用鏡面將影像投射至佩戴者之視野中。顯示器可由玻璃及/或塑膠製成。以此方式，其係透明的。替代地，近眼顯示器可為一透鏡。或近眼顯示器可為一光束，其將影像投射至佩戴者之眼睛中，使得在視網膜上顯示影像。以此方式，近眼顯示器可為一虛擬視網膜顯示器。
顯示器及/或相機可包括一或多個濾光器。濾光器可經組態以改良對來自目標之特定波長光之偵測，同時移除非所要波長之其他信號。替代地或另外，濾光器可定位於光源之前面。
根據一進一步態樣，提供一種在用於一醫療程序中之一擴增實境(AR)系統中調整一影像之位置之方法，AR系統包括一AR頭戴套件及一處理器，該方法包括：偵測從一目標激發之光；在一整個醫療程序中判定頭戴套件與目標之間的一距離；透過以下步驟基於所偵測光在定位於一佩戴者之眼睛與目標之間的一近眼顯示器上顯示目標之一影像，使得影像覆疊頭戴套件之一佩戴者對目標之視野：基於所判定距離之值及佩戴者之眼睛之一位置來判定從相機獲得之目標之影像與佩戴者對目標之視野之間的一失配；及調整影像在顯示器上之位置，使得其基於所判定失配進行校正。
根據一進一步態樣，提供一種非暫時性電腦可讀媒體，其當在一處理器上執行時經組態以執行上文方法。
圖1展示根據本發明之一實施例之一擴增實境(AR)系統100。AR系統100包含一AR頭戴套件2及一處理器12。
擴增實境頭戴套件2具有兩個顯示器：一第一顯示器4a及一第二顯示器4b，第一顯示器4a用於將一影像顯示給頭戴套件之佩戴者之右眼且第二顯示器4b用於將一影像顯示給頭戴套件2之佩戴者之左眼。顯示器4a及4b附接至頭戴套件2之一外殼16。
兩個相機6a、6b定位於頭戴套件之外殼16上。相機6a定位於第一顯示器4a上方，且相機6b定位於第二顯示器4b上方。相機6a、6b能夠偵測近紅外線(NIR)光。
一光源8亦定位於外殼16上。光源8係經組態以發射NIR光之NIR光源。光源8定位於相機6a及6b之間，但其可定位於AR頭戴套件2上之任何位置處。替代地，光源8可定位於AR頭戴套件2外部。
兩個距離感測器10a及10b定位於頭戴套件2之外殼16上。距離感測器係經組態以判定從頭戴套件2至一目標之一距離之飛行時間感測器。
頭戴套件2進一步包含一眼睛追蹤感測器18。眼睛追蹤感測器定位於面向佩戴者頭部之頭戴套件之側上。眼睛追蹤感測器經組態以判定頭戴套件2之佩戴者之眼睛之位置。
處理器12定位於AR頭戴套件2外部。處理器可為一電腦或其他資料處理裝置之一處理器。AR頭戴套件2透過電纜14連接至處理器12。電纜14係用於在頭戴套件與處理器12之間發送信號。例如，從相機6a、6b、眼睛追蹤感測器18及距離感測器10a、10b獲得之資料可透過電纜14發送至處理器12。電纜14亦係用於在處理器12與頭戴套件2之間發送通信信號以控制相機6a、6b、距離感測器10a、10b、光源8及眼睛追蹤感測器18以執行其等之功能。
圖2、圖3、圖5及圖7展示根據本發明之AR頭戴套件2之自上而下示意圖，各圖展示具有彼此不同之一感測器配置之一頭戴套件2。頭戴套件2經展示為用於一基於螢光之導引程序中。
圖2、圖3、圖5及圖7中繪示之AR頭戴套件2之特徵使用與圖1中繪示之特徵相同之參考數字來繪示。亦已知從其偵測螢光影像之目標20 (在此情況中，患者)之部分。
圖2展示具有兩個相機6a及6b之一AR頭戴套件。圖2中展示之頭戴套件不具有一單獨距離感測器。除偵測來自目標20之光以形成影像以外，兩個相機6a及6b亦執行距離感測器之作用。
在圖2上展示空間關係，其等經判定且用於調整在顯示器4a、4b中產生之影像之位置，使得其匹配佩戴者對目標20之視野。
藉由相機6a、6b量測目標20與相機6a、6b之各者之間的距離22。
由於此AR頭戴套件2不具有眼睛追蹤感測器，所以藉由一校準程序判定佩戴者之眼睛之各者與顯示器4a、4b之各者之間的距離26。校準程序亦涉及判定相機6a及6b之各者與佩戴者之眼睛30a、30b之各者之間的距離28。亦判定瞳孔間距離(IPD) 24，此亦可係透過校準程序。替代地，IPD可為已知的且由佩戴者輸入至AR系統中。
從頭戴套件2之幾何形狀知道兩個顯示器4a及4b之間的距離32及兩個相機6a、6b之間的距離34。此容許判定目標20與顯示器之間的距離40及目標與佩戴者之眼睛30a、30b之間的距離38。
此等距離之各者之判定容許其等與頭戴套件2上之固定參考點36進行比較。此使處理器12能夠調整影像在顯示器上之位置，使得針對眼睛之各者，影像在顯示器上之位置匹配至佩戴者對目標之視野。
在整個程序中，佩戴者可使其等之頭部相對於患者20移動。藉由在整個程序中連續量測距離22，可連續進行上文計算以在整個程序中調整影像在顯示器上之位置，使得其匹配佩戴者對目標之實際真實世界視野。
圖3展示具有兩個相機6a及6b以及兩個距離感測器10a及10b之一AR頭戴套件。在此情況中，相機6a、6b執行擷取從目標20發射之光以在顯示器4a、4b中形成影像之作用。距離感測器10a、10b具有判定患者20與頭戴套件2之間的距離之作用。由距離感測器10a、10b獲取之距離在圖3中展示為42。可從所判定距離值42及已知空間關係計算目標20與相機6a、6b之間的距離22。以相同於關於圖2描述之方式判定在圖3中使用與圖2中展示之空間關係相同之參考數字展示之其他空間關係。
在圖4中展示由圖2及圖3之AR系統100執行之顯示目標之影像之步驟。
在步驟101，透過一校準程序獲得佩戴者之眼睛之IPD。在步驟103，計算及保存佩戴者之眼睛相對於頭戴套件或虛擬3D空間中之任何其他點之位置及定向。
在步驟105，使用頭戴套件之已知幾何形狀判定頭戴套件及(若干)相機、(若干)距離感測器、眼睛追蹤感測器及AR/MR顯示器相對於彼此之位置及定向。此係基於如圖2及圖3中展示之已知幾何形狀。此使能夠在步驟107判定頭戴套件及全部其組件及感測器相對於彼此或虛擬3D空間中之任何其他點之位置及定向。
在開始醫療程序時，一旦佩戴者將AR頭戴套件放置於其等之頭部上，便實行步驟101至107。吾人認為此等所判定值及空間關係在整個醫療程序中不改變，使得不進一步需要在整個程序中計算此等值。
步驟109涉及透過由距離感測器(如在圖3中)及/或相機感測器(如在圖2中)獲得之量測而獲得頭戴套件相對於目標之位置及定向。距離感測器可使用飛行時間或用於判定距離之任何已知類型之量測。相機6a、6b可使用vSLAM或任何已知方法以透過影像感測器來判定距離。在步驟111，計算及保存目標相對於頭戴套件之原點或虛擬3D空間中之任何其他點之位置及定向。
步驟113涉及透過相機獲得來自目標之光以記錄手術傷口之一影像以透過螢光偵測不同波長之生物標記。在步驟115，可基於由相機接收之光相對於局部座標建立及保存目標區域之3D模型幾何形狀。局部座標可為頭戴套件上之同一點或虛擬空間中從其判定其他位置及定向之點。
從由相機獲得之影像產生3D模型可使用攝影測量法實行。此涉及使用電腦視覺及運算幾何演算法對來自2D擷取之一物件進行3D重建。
在步驟117，判定虛擬3D空間之原點。如圖2及圖3中展示，此係定位於兩個顯示器4a及4b之間的頭戴套件上之點36。此虛擬3D空間可為在步驟103、107、111、115中判定頭戴套件、佩戴者之眼睛及3D模型之位置及定向之同一點。此導致步驟119，其中相對於虛擬3D空間之原點將佩戴者之眼睛及目標之位置及定向變換至虛擬3D空間中。
接著，在步驟121，在虛擬3D空間中呈現目標之3D模型。
接著，在步驟123，在AR頭戴套件2之顯示器4a、4b中顯示所呈現3D模型。此使能夠自動地以佩戴者之各眼睛之各自視野顯示目標之3D模型。
在整個醫療程序中執行步驟109、111。此可在時間上連續或處於固定時間點。此係因為佩戴者之頭部及因此AR頭戴套件2可在整個程序中移動。此將導致在步驟109中判定之值在整個程序中改變。
亦可在整個醫療程序中執行步驟113及115。此可在時間上連續或處於固定時間點。此係歸因於隨著醫療程序進展，由相機偵測到之光可在整個程序中改變之事實。步驟109、111及113及115可在整個醫療程序中並行運行。
因此，亦可在整個醫療程序中實行步驟119、121及123以考量從步驟109至115獲得之經更新資料。
圖5展示與圖3相同之一AR頭戴套件2，但亦具有兩個眼睛追蹤感測器18a及18b。在圖5中展示相同於圖3中展示之空間關係。然而，使用眼睛追蹤感測器18a、18b量測眼睛追蹤感測器18a、18b與佩戴者之眼睛30a、30b之間的距離44。此使能夠在整個醫療程序中判定佩戴者之眼睛之一準確位置及定向。亦判定眼睛追蹤感測器與顯示器之間的距離46。此可使用眼睛追蹤感測器18a、18b來判定或可為基於頭戴套件之幾何形狀之一已知空間關係。
距離44之判定及佩戴者之眼睛之追蹤可在整個醫療程序中執行。此使能夠更新目標在顯示器中之影像以考量佩戴者之眼睛之移動。此可提供佩戴者對目標之視野與顯示在AR顯示器上之影像之一更準確匹配，此係因為在整個程序中佩戴者之眼睛之位置可為已知的。眼睛追蹤感測器可在整個醫療程序中連續判定或以固定時間間隔判定佩戴者之眼睛之位置。眼睛追蹤感測器可在量測至目標之距離的同時判定佩戴者之眼睛之位置。此可為每隔0.5 s。替代地，其可比每隔0.5 s更頻繁。替代地，其可為每隔1 s。眼睛追蹤感測器之使用可提供比不具有眼睛追蹤感測器之情況更高之一精確程度，此可容許達成亞厘米精確性，此係因為其考量佩戴者之眼睛移動之改變。將此與圖2及圖3中之頭戴套件(其中可獲得厘米級精確性)比較。另外，若頭戴套件之位置在佩戴者之頭部上移動，則眼睛追蹤感測器可校正此移動，從而執行一重新校準。以此方式，具有眼睛追蹤感測器無需在程序開始時諸如透過使用一校準參考來執行一初始校準。
眼睛追蹤感測器可使用近紅外線技術連同一相機(或其他類型之光學感測器)來追蹤佩戴者之眼睛之凝視方向。此可涉及使用瞳孔中心角膜反射(PCCR)。替代地，眼睛追蹤感測器可利用眼電圖技術。此涉及乾式電極量測眼睛周圍之皮膚之電位。微型化電子器件解譯電信號以計算眼睛移動。取樣率可為每秒約256個樣本，但此將取決於相機類型。替代地，可使用已知的任何類型之眼睛追蹤技術。
在圖6中展示由圖5之AR系統100執行之顯示目標之影像之步驟。與圖4中之步驟相同之圖6中之步驟之各者由相同參考數字指示。
圖6中之步驟201及203不同於圖4中之步驟101及103。步驟201涉及從由眼睛追蹤感測器進行之量測獲得佩戴者之眼睛之IPD及佩戴者之眼睛之位置及定向。接著，步驟203涉及計算及保存佩戴者之眼睛相對於頭戴套件或虛擬3D空間中之任何其他點之焦點、位置及定向。此係基於由眼睛追蹤感測器18a、18b進行之量測。
在整個醫療程序中實行步驟201及203，如上文概述。接著，將此饋送至步驟119中以在步驟121及123中呈現及顯示經校正影像。
圖7展示不具有一距離感測器或眼睛追蹤感測器之一AR頭戴套件2。圖7之AR頭戴套件2係僅具有一單一相機6之一AR頭戴套件2。此AR頭戴套件之使用需要首先執行額外運算以獲得目標之3D表示及位置。此需要佩戴者在醫療程序開始時從多個視角相對於目標移動，使得相機可獲得目標之多個影像以重建目標之一3D模型。由於單一相機6係唯一感測器，所以此無法在整個醫療程序中即時完成。
如從圖7可見，與圖2中不同，透過校準來判定從目標至顯示器之距離40及從目標至使用者之眼睛之距離38以及相機與固定參考點36之間的距離34。此係除IPD 24、相機與佩戴者之眼睛之間的距離28及佩戴者之眼睛與顯示器之間的距離26 (如在圖2中)以外的補充。從頭戴套件之幾何形狀知道顯示器與固定參考點36之間的距離32。
在圖8中展示由圖7之AR系統100執行之顯示目標之影像之步驟。與圖4中之步驟相同之圖8中之步驟之各者由相同參考數字指示。
如在圖4中，在步驟107中，相對於頭戴套件或3D空間中之一位置判定頭戴套件及頭戴套件之組件之位置及定向。在步驟103中，亦判定佩戴者之眼睛之位置及定向。
在步驟315，產生基於由相機6接收之光之目標區域之一3D模型。由於僅存在一個相機，所以依多個不同角度獲取影像以透過光度測定演算法形成3D模型。因此，在使用圖7之具有一單一相機之AR頭戴套件的情況下，無法即時產生3D模型，其必須透過使用光度測定演算法掃描目標且產生3D模型之一初始程序來完成。透過人工校準相對於頭戴套件設定3D模型之位置及定向309。佩戴者觀看目標，從而掃描表面。此實現相對於頭戴套件或其虛擬3D空間中之任何其他點設定目標之3D產生模型之位置及定向311。接著，在顯示器中變換119、呈現121及顯示123該3D模型之影像，如關於圖4描述。
如上文描述，當AR頭戴套件2未具有一眼睛追蹤感測器來判定佩戴者之眼睛之位置時(諸如圖2、圖3及圖7中展示之頭戴套件)，需要實行一校準程序。此可涉及佩戴者觀看一外部校準參考46，如圖9中展示。圖9中之校準參考係一參考花紋圖案48。在圖9中展示參考花紋圖案48之實際位置。參考花紋圖案之未校正影像亦經展示為由50指示。接著，進行調整直至參考花紋圖案之影像50之位置匹配至佩戴者對參考花紋圖案48之視野。此可涉及佩戴者人工地調整影像產生之參數，使得移動參考花紋圖案之影像50以覆疊其等對參考花紋圖案48之視野。此校準使處理器能夠判定佩戴者之眼睛相對於固定參考點(諸如頭戴套件上之一點)之位置。
現將描述有關如何校正顯示器上之影像之對準之進一步細節。此係可如何達成此之一個此實例且代替地可應用替代演算法及方法。
為基於佩戴者之視角校正顯示器上之影像，判定相機之參數，包含位置及定向及其光學性質。亦判定目標之3D資訊及針對各眼睛顯示之影像之間的視差以校正影像。基於步驟109及111來判定相機之位置及定向。基於步驟113及115來判定目標之3D資訊。基於步驟101、103、201、203、105、107、109及111詳述針對各眼睛顯示之影像之間的視差。
基於表示相機之光學性質之內在參數及表示相機之位置及定向之外部參數來判定相機之參數。
內在參數表示光學性質且可使用針孔相機模型來估計。此等包含相機之焦距、相機之視野所投射之平面(即，顯示器)之縱橫比、光學軸攔截影像平面所處之影像中心(其主點)之位置。
針孔相機模型之內在性質定義從3D空間至顯示器之2D座標空間之投射變換：
Figure 02_image001
其中f係自相機之中心且垂直於顯示器之焦距，且cu,v 係顯示平面之中心之座標。
相機之位置及定向藉由計算其姿勢來判定。此可使用相機上之感測器(例如，距離感測器)來計算。姿勢藉由以下項表示：
Figure 02_image003
其中R係表示相機之定向之一3x3旋轉矩陣，且T係表示相機之平移之一平移向量。
基於針孔相機模型之內在及外部參數，可將3D點映射至2D影像座標中。此藉由下文矩陣變換
Figure 02_image005
展示：
Figure 02_image007
此係相機姿勢(即，外部參數)與投射矩陣(即，內在參數)之一乘法。
在實體實施方案中，針孔相機模型並非始終精確，此係因為在運行時使用者之眼睛相對於顯示器之位置可能係不同的。因此，需要以下初始校準。假定吾人知道眼睛相對於顯示器之位置之平移向量teye =[x,y,z]t ，則吾人可針對各眼睛將內在矩陣定義為如下：
Figure 02_image009
向量teye 係取決於使用者之眼睛相對於顯示器之當前位置，因此當頭戴套件重新定位於使用者之頭部上時或當另一使用者佩戴頭戴套件且需要重新校準時，內在矩陣之參數將改變。若情況如此，則可將基於一舊眼睛位置t0 =[x0 ,y0 ,z0 ]t 之舊矩陣K0 更新為新內在參數矩陣K1 。
Figure 02_image011
在校準運行時，應針對一特定頭戴套件及使用者組態估計初始內在參數及外部參數矩陣。存在不同校準程序，其等使用人工互動以藉由人工地將一世界參考點對準至顯示在螢幕上之2D點而收集3D及2D對應性。例如，Tuceryan及Navada[a]介紹SPAAM (單點主動對準法)。其等提出每次收集一個個別2D-3D點對應性且接著同時求解全部投射參數。為此，使用者必須對準一2D符號(圓形或十字形)與一3D物件。在空間上追蹤頭戴套件及3D物件。一旦吾人具有至少6個對應性，便可使用其等產生及求解一線性方程組作為矩陣K之參數之一初始估計。在追蹤眼睛位置的情況下，可代替地在運行時自動地運算此等值。
吾人現將描述可如何計算佩戴者之眼睛之各者之視差。接著，此用於調整影像在顯示器中之位置。在圖10中可見視差之計算，圖10中之以下項定義為： Ol =左眼之位置 Ol =左眼之位置 P=目標之位置 f=眼睛與顯示器之間的距離 pl 及pr =左眼及右眼之主點 cl 及cr =針對左眼及右眼之顯示器的中心 T=IPD xl 及xr =針對各眼睛之p與c之位置之間的差異 Z=至目標之距離
從圖10可見視差d=xl -xr ：
Figure 02_image013
因此，視差與至目標之距離成反比。藉由在整個醫療程序中知道至目標之距離及佩戴者之眼睛之位置，可更新目標(影像)之所產生3D模型之對準，使得其針對佩戴者之兩個眼睛正確地對準。此係進一步基於如上文描述之經估計相機參數。
圖11展示針對圖2、圖3或圖5之頭戴套件調整影像在顯示器中之位置之方法之一進一步流程圖。
在步驟501，判定3D虛擬空間中之原點。此被設定為從其判定空間關係之一位置。
在步驟503，判定佩戴者之IPD。此可人工輸入，諸如由佩戴者鍵入。替代地，在頭戴套件具有眼睛追蹤感測器的情況下，此可透過眼睛追蹤感測器來判定。
在步驟505，判定頭戴套件相對於目標之位置及定向。此可係透過藉由相機接收來自目標之光且分析此光，如上文說明。
在步驟507，基於IPD及頭戴套件之位置來判定佩戴者之眼睛之位置。此可在醫療程序之前使用一校準程序來判定。替代地，其可係透過使用眼睛追蹤感測器來判定佩戴者之眼睛與頭戴套件之間的距離。
在步驟509，基於至目標之距離及IPD來判定兩個眼睛之間的視差。透過距離感測器及/或相機判定至目標之距離。
在步驟511，基於在相機處接收之光建立目標之一3D模型幾何形狀。在執行步驟503至509時，可並行實行步驟511。
步驟513涉及呈現目標之3D模型。此係基於在步驟511中建立之3D模型且其基於步驟509中之經計算視差及如步驟505中之頭戴套件相對於目標區域之位置而呈現。
在步驟515，判定頭戴套件之位置是否已改變。若其已改變，則重複步驟503至513。若其未改變，則基於先前計算值呈現相同3D模型。
在步驟517，判定目標是否已改變。若其已改變，則執行步驟519以使用步驟513中呈現之經更新3D模型來更新目標之3D模型。
在已詳細描述本發明之態樣之後，將明白，在不脫離如隨附發明申請專利範圍中定義之本發明之態樣之範疇的情況下，修改及變化係可行的。因為可在不脫離本發明之態樣之範疇的情況下在上文構造、產品及方法上做出各種改變，所以包含於上文描述中且展示於隨附圖式中之全部標的物應旨在被解釋為闡釋性而非一限制性含義。
儘管圖2、圖3、圖5及圖7展示所判定、計算或知道之空間關係，然可根據本發明判定任何其他類型之空間關係。需要做的係可判定頭戴套件、佩戴者及目標之間的關係，使得可基於佩戴者之眼睛之各者之視野來校正影像在顯示器中之位置。
上文描述從由相機獲得之影像產生3D模型可使用攝影測量法實行。替代地，可使用三角測量法。此可包含雷射三角測量。此涉及將一雷射束投射至目標之表面上。雷射線之變形之量度提供目標之幾何形狀之細節。替代地，其可涉及使用一雷射束之飛行時間。將雷射束投射至目標之表面上且接著由一感測器收集。雷射在其發射與接收之間的行進時間給出表面之幾何資訊。此等方法可涉及具有可用於執行此等技術之一或多個雷射源之頭戴套件。圖中展示之AR頭戴套件之任一者可具有此一雷射源。
儘管展示眼睛追蹤感測器與距離感測器及相機結合使用，然可將眼睛追蹤感測器應用於所描述之AR頭戴套件之任一者。例如，可將眼睛追蹤感測器應用於僅具有一單一相機且不具有距離感測器之一AR頭戴套件。替代地，可將眼睛追蹤感測器應用於具有複數個相機且不具有距離感測器之一AR頭戴套件。
影像之偵測及相關聯動作被描述為由一相機執行。然而，可使用任何類型之影像感測器/影像感測裝置。相機可經組態以偵測靜態影像或視訊。
AR頭戴套件在圖中展示為具有附接至具有兩個臂(鏡腳)之一外殼之兩個顯示器。然而，將理解，本發明之AR頭戴套件不限於此一配置，且可設想將一頭戴式顯示器(HMD)附接至一佩戴者之任何習知方法。此可包含使用繞過及/或越過頭部以將頭戴套件固持在適當位置中之皮帶。替代地，可使用將裝置附接在整個頭頂上方之一附接構件，諸如一帽子。
論述關於在一基於螢光之導引醫療程序期間使用之裝置。然而，其可用於任何類型之醫療程序中，其目的係偵測來自一患者之身體或組織之輻射以產生一影像。其亦可在醫療程序以外使用。例如，其可用於需要校正一AR影像在一顯示器上之位置，使得其匹配佩戴者之視野之其他行業中。此一行業可為建築業或營建業。
處理器可為用於在一資料處理裝置中執行指令之一處理器。例如，指令可儲存於一記憶體中。處理器可包含用於執行指令之一或多個處理單元(例如，呈一多核心組態)。指令可在資料處理裝置上之各種不同作業系統內執行，諸如UNIX、LINUX、Microsoft Windows®等。更特定言之，指令可導致對儲存於記憶體中之資料進行各種資料操縱(例如，產生、讀取、更新及刪除程序)。亦應瞭解，在起始一電腦實施方法之後，可在初始化期間執行各種指令。可需要一些操作，以便執行本文中描述之一或多個方法，而其他操作可為更通用及/或特定於一特定程式設計語言(例如，C、C#、C++、Java或其他適合程式設計語言等)。
2:擴增實境(AR)頭戴套件 4a:近眼顯示器 4b:近眼顯示器 6:單一相機 6a:相機 6b:相機 8:光源 10a:距離感測器 10b:距離感測器 12:處理器 14:電纜 16:外殼 18:眼睛追蹤感測器 18a:眼睛追蹤感測器 18b:眼睛追蹤感測器 20:目標/患者 22:距離 24:瞳孔間距離(IPD) 26:距離 28:距離 30a:佩戴者之眼睛 30b:佩戴者之眼睛 32:距離 34:距離 36:固定參考點 38:距離 40:距離 42:距離 44:距離 46:距離/外部校準參考 48:參考花紋圖案 50:參考花紋圖案之未校正影像 100:擴增實境(AR)系統 101:步驟 103:步驟 105:步驟 107:步驟 109:步驟 111:步驟 113:步驟 115:步驟 117:步驟 119:步驟/變換 121:步驟/呈現 123:步驟/顯示 201:步驟 203:步驟 309:步驟 311:步驟 315:步驟 501:步驟 503:步驟 505:步驟 507:步驟 509:步驟 511:步驟 513:步驟 515:步驟 517:步驟 519:步驟
圖1展示根據本發明之一例示性擴增實境(AR)系統； 圖2展示根據本發明之一例示性AR系統之一自上而下示意圖； 圖3展示根據本發明之一進一步例示性AR系統之一自上而下示意圖； 圖4展示在使用如圖2或圖3中展示之一例示性AR頭戴套件顯示一目標之一3D影像時執行之步驟之一流程圖； 圖5展示根據本發明之一進一步例示性AR系統之一自上而下示意圖； 圖6展示在使用如圖5中展示之一例示性AR頭戴套件顯示一目標之一3D影像時執行之步驟之一流程圖； 圖7展示根據本發明之一進一步例示性AR系統之一自上而下示意圖； 圖8展示在使用如圖7中展示之一例示性AR頭戴套件顯示一目標之一3D影像時執行之步驟之一流程圖； 圖9展示在使用一例示性AR頭戴套件顯示一目標之一3D影像時使用之一校準程序之一參考； 圖10展示根據本發明之一頭戴套件與用於計算視差之目標之間的一幾何關係；及 圖11展示在使用如圖2、圖3或圖5中展示之一例示性AR頭戴套件顯示一目標之一3D影像時執行之步驟之一進一步流程圖。
2:擴增實境(AR)頭戴套件
4a:近眼顯示器
4b:近眼顯示器
6a:相機
6b:相機
8:光源
10a:距離感測器
10b:距離感測器
12:處理器
14:電纜
16:外殼
18:眼睛追蹤感測器
100:擴增實境(AR)系統

Claims (15)

  1. 一種用於一醫療程序中之擴增實境AR系統，其包括： 一AR頭戴套件，該AR頭戴套件包括： 一相機，其經組態以偵測來自一目標之光； 一近眼顯示器，其定位於一佩戴者之眼睛與該目標之間，該顯示器經組態以基於由該相機偵測到之該光來顯示該目標之一影像，使得該影像覆疊一佩戴者對該目標之視野；及 一距離感測器，其經組態以在一整個醫療程序中判定該頭戴套件與該目標之間的一距離；及 一處理器，其經組態以： 基於由該距離感測器量測之該距離之值及該佩戴者之眼睛之一位置來判定從該相機獲得之該目標之該影像與該佩戴者對該目標之視野之間的一失配； 調整該影像在該顯示器上之位置，使得其基於該所判定失配進行校正，使得該影像匹配該佩戴者對該目標之視野；及 在該整個醫療程序中重複該失配之該判定及該影像之該位置之該調整以在該整個醫療程序中考量由該距離感測器量測之該距離之改變。
  2. 如請求項1之AR系統，其中該處理器經進一步組態以藉由經組態以執行以下項而判定從該相機獲得之該目標之該影像與該佩戴者對該目標之視野之間的該失配： 在空間中指派一位置以用作一固定參考點； 基於由該相機偵測到之該光來產生該目標之一3D模型； 基於由該距離感測器量測之該距離來判定該目標相對於該固定參考點之位置及定向； 判定該佩戴者之眼睛相對於該固定參考點之位置； 判定該頭戴套件相對於該固定參考點之位置及定向。
  3. 如請求項2之AR系統，其中該頭戴套件相對於該固定參考點之該位置及定向係該顯示器、該距離感測器及該相機之至少一者之位置及定向。
  4. 如請求項2或3之AR系統，其中該處理器經進一步組態以藉由經組態以執行以下項而調整該影像在該顯示器上之該位置，使得其基於該所判定失配進行校正： 設定該目標之該3D模型相對於該固定參考點之位置； 呈現該目標之該3D模型以基於該目標及該頭戴套件之該等所判定位置及定向及該佩戴者之眼睛之該位置來形成經調整影像；及 在該顯示器上顯示該經調整影像。
  5. 如請求項1至3中任一項之AR系統，其中該AR頭戴套件進一步包括一眼睛追蹤感測器，該眼睛追蹤感測器經組態以在該整個醫療程序中連續判定該佩戴者之眼睛之該位置，使得在該整個醫療程序中該失配之該判定及該影像之該位置之該調整之該重複在該整個醫療程序中考量該佩戴者之眼睛之該位置之改變。
  6. 如請求項1至3中任一項之AR系統，其中該處理器經進一步組態以藉由經組態以執行以下項而判定從該相機獲得之該目標之該影像與該佩戴者對該目標之視野之間的該失配： 從該所判定距離及該佩戴者之眼睛之該位置判定該佩戴者之眼睛之視差。
  7. 如請求項1至3中任一項之AR系統，其中該距離感測器係一飛行時間距離感測器或一同時定位及映射(SLAM)感測器或一視覺SLAM (vSLAM)感測器。
  8. 如請求項1至3中任一項之AR系統，其進一步包括一光源，該光源經組態以發射光，使得其入射於該目標上且隨後在該相機處被偵測。
  9. 如請求項8之AR系統，其中該AR頭戴套件包括該光源。
  10. 如請求項1至3中任一項之AR系統，其中該光係近紅外線光。
  11. 如請求項1至3中任一項之AR系統，其中該AR頭戴套件包括該處理器。
  12. 如請求項1至3中任一項之AR系統，其中該頭戴套件包括經組態以偵測經激發光之複數個相機。
  13. 如請求項1至3中任一項之AR系統，其中該相機包括該距離感測器。
  14. 一種在用於一醫療程序中之一擴增實境AR系統中調整一影像之位置之方法，該AR系統包括一AR頭戴套件及一處理器，該方法包括： 偵測從一目標激發之光； 在一整個醫療程序中判定該頭戴套件與該目標之間的一距離； 透過以下步驟基於該所偵測光在定位於一佩戴者之眼睛與該目標之間的一近眼顯示器上顯示該目標之一影像，使得該影像覆疊該頭戴套件之一佩戴者對該目標之視野： 基於該所判定距離之值及該佩戴者之眼睛之一位置來判定從該相機獲得之該目標之該影像與該佩戴者對該目標之視野之間的一失配；及 調整該影像在該顯示器上之位置，使得其基於該所判定失配進行校正。
  15. 一種非暫時性電腦可讀媒體，其當在一處理器上執行時經組態以執行如請求項14之方法。 [a] Tuceryan, Mihran & Navab, Nassir之(2000)，Single point active alignment method (SPAAM) for optical see-through HMD calibration for AR，第149 至 158頁， 10.1109/ISAR.2000.880938.
TW109137560A 2019-11-05 2020-10-29 用於醫學成像之擴增實境頭戴套件 TW202128074A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1916068.8 2019-11-05
GB1916068.8A GB2588774B (en) 2019-11-05 2019-11-05 Augmented reality headset for medical imaging

Publications (1)

Publication Number Publication Date
TW202128074A true TW202128074A (zh) 2021-08-01

Family

ID=69058973

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109137560A TW202128074A (zh) 2019-11-05 2020-10-29 用於醫學成像之擴增實境頭戴套件

Country Status (11)

Country Link
US (1) US20220354582A1 (zh)
EP (1) EP3942521A1 (zh)
JP (1) JP2023500376A (zh)
CN (1) CN114846518A (zh)
BR (1) BR112022008620A2 (zh)
GB (1) GB2588774B (zh)
IL (1) IL292797A (zh)
LU (1) LU500127B1 (zh)
MX (1) MX2022005334A (zh)
TW (1) TW202128074A (zh)
WO (1) WO2021089440A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI777791B (zh) * 2021-09-29 2022-09-11 財團法人車輛研究測試中心 人機介面之動態虛像顯示距離驗證方法及其系統
TWI796222B (zh) * 2022-05-12 2023-03-11 國立臺灣大學 以沉浸式虛擬實境設備評估具視覺空間特異性之反應時間評估系統與方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2588774B (en) * 2019-11-05 2024-05-15 Arspectra Sarl Augmented reality headset for medical imaging
WO2022234156A1 (en) * 2021-05-05 2022-11-10 Arspectra Sàrl Enhanced augmented reality headset for medical imaging
CN114189668B (zh) * 2021-11-26 2024-03-15 长沙海润生物技术有限公司 一种穿戴式创面成像设备及成像方法
LU503212B1 (en) 2022-12-19 2024-06-19 Arspectra S A R L Head mounted display device and system
WO2024170641A1 (en) 2023-02-14 2024-08-22 Arspectra Sarl Head mounted display device and system for realtime guidance
LU504130B1 (en) 2023-02-14 2024-08-19 Arspectra Sarl Head mounted display device and system for realtime guidance

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6753828B2 (en) * 2000-09-25 2004-06-22 Siemens Corporated Research, Inc. System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
WO2011084528A1 (en) * 2009-12-15 2011-07-14 Emory University Office Of Technology Transfer System and method for providing real-time anatomical guidance in a diagnostic or therapeutic procedure
WO2013156333A1 (en) * 2012-04-19 2013-10-24 Thomson Licensing Method and device for correcting distortion errors due to accommodation effect in stereoscopic display
WO2014156033A1 (en) * 2013-03-26 2014-10-02 Seiko Epson Corporation Head-mounted display device, control method of head-mounted display device, and display system
US9335545B2 (en) * 2014-01-14 2016-05-10 Caterpillar Inc. Head mountable display system
JP2017524281A (ja) * 2014-05-20 2017-08-24 ユニヴァーシティ オブ ワシントン 媒介現実の外科用視覚化のためのシステム及び方法
CN106456084B (zh) * 2014-06-18 2021-01-22 皇家飞利浦有限公司 超声成像装置
US20160086380A1 (en) * 2014-09-22 2016-03-24 Invuity, Inc Hyperspectral imager
WO2016090336A1 (en) * 2014-12-05 2016-06-09 Camplex, Inc. Surgical visualization systems and displays
US11956414B2 (en) * 2015-03-17 2024-04-09 Raytrx, Llc Wearable image manipulation and control system with correction for vision defects and augmentation of vision and sensing
WO2017179350A1 (ja) * 2016-04-11 2017-10-19 富士フイルム株式会社 画像表示制御装置および方法並びにプログラム
CN110192390A (zh) * 2016-11-24 2019-08-30 华盛顿大学 头戴式显示器的光场捕获和渲染
CA3060309A1 (en) * 2017-04-25 2018-11-01 Raytrx, Llc Wearable image manipulation and control system with correction for vision defects and augmentation of vision and sensing
KR102009558B1 (ko) * 2017-06-14 2019-08-09 고려대학교 산학협력단 영상유도 수술용 고글 시스템
CN108259883B (zh) * 2018-04-04 2020-11-20 联想(北京)有限公司 图像处理方法、头戴式显示器以及可读存储介质
WO2020023672A1 (en) * 2018-07-24 2020-01-30 Magic Leap, Inc. Display systems and methods for determining vertical alignment between left and right displays and a user's eyes
TWI683136B (zh) * 2019-01-03 2020-01-21 宏碁股份有限公司 視訊穿透式頭戴顯示器及其控制方法
US20220138998A1 (en) * 2019-02-04 2022-05-05 Vasoptic Medical Inc. System and method for augmented reality visualization of biomedical imaging data
GB2588774B (en) * 2019-11-05 2024-05-15 Arspectra Sarl Augmented reality headset for medical imaging

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI777791B (zh) * 2021-09-29 2022-09-11 財團法人車輛研究測試中心 人機介面之動態虛像顯示距離驗證方法及其系統
TWI796222B (zh) * 2022-05-12 2023-03-11 國立臺灣大學 以沉浸式虛擬實境設備評估具視覺空間特異性之反應時間評估系統與方法

Also Published As

Publication number Publication date
US20220354582A1 (en) 2022-11-10
GB2588774A (en) 2021-05-12
CN114846518A (zh) 2022-08-02
MX2022005334A (es) 2022-08-22
EP3942521A1 (en) 2022-01-26
WO2021089440A1 (en) 2021-05-14
GB2588774B (en) 2024-05-15
GB201916068D0 (en) 2019-12-18
LU500127B1 (en) 2022-02-03
BR112022008620A2 (pt) 2022-07-19
JP2023500376A (ja) 2023-01-05
US20220387130A1 (en) 2022-12-08
IL292797A (en) 2022-07-01
LU500127A1 (en) 2021-11-05

Similar Documents

Publication Publication Date Title
TW202128074A (zh) 用於醫學成像之擴增實境頭戴套件
JP7222133B2 (ja) 物体の三次元モデルを形成するための１つ又は複数の光度エッジの生成
US20230334800A1 (en) Surgeon head-mounted display apparatuses
KR102097390B1 (ko) 시선 검출 기반의 스마트 안경 표시 장치
US20160247322A1 (en) Electronic apparatus, method and storage medium
KR101667152B1 (ko) 수술 지원 영상을 제공하는 스마트 글라스 시스템 및 스마트 글라스를 이용한 수술 지원 영상 제공 방법
KR102009558B1 (ko) 영상유도 수술용 고글 시스템
EP4387552A1 (en) Augmented-reality surgical system using depth sensing
US12099200B2 (en) Head wearable virtual image module for superimposing virtual image on real-time image
JP5590487B2 (ja) 視線計測方法及び視線計測装置
CN113138664A (zh) 基于光场感知的眼球追踪系统、方法
WO2022234156A1 (en) Enhanced augmented reality headset for medical imaging
US12136176B2 (en) Augmented reality headset for medical imaging
CN113164022B (zh) 用于图像引导外科手术的照射校正的近红外(nir)成像
JP6795744B2 (ja) 医療支援方法および医療支援装置
KR20210042784A (ko) 시선 검출 기반의 스마트 안경 표시 장치
US20240225776A1 (en) Augmented reality headset and probe for medical imaging