TWI825891B - 用於真實空間導航的擴增實境系統以及使用該系統的手術系統 - Google Patents

用於真實空間導航的擴增實境系統以及使用該系統的手術系統 Download PDF

Info

Publication number
TWI825891B
TWI825891B TW111128980A TW111128980A TWI825891B TW I825891 B TWI825891 B TW I825891B TW 111128980 A TW111128980 A TW 111128980A TW 111128980 A TW111128980 A TW 111128980A TW I825891 B TWI825891 B TW I825891B
Authority
TW
Taiwan
Prior art keywords
navigation
augmented reality
retina
real space
light signal
Prior art date
Application number
TW111128980A
Other languages
English (en)
Other versions
TW202323929A (zh
Inventor
張寅
蕭詠今
賴俊穎
Original Assignee
美商海思智財控股有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商海思智財控股有限公司 filed Critical 美商海思智財控股有限公司
Publication of TW202323929A publication Critical patent/TW202323929A/zh
Application granted granted Critical
Publication of TWI825891B publication Critical patent/TWI825891B/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3401—Puncturing needles for the peridural or subarachnoid space or the plexus, e.g. for anaesthesia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3478—Endoscopic needles, e.g. for infusion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A61B2017/3413—Needle locating or guiding means guided by ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Anesthesiology (AREA)
  • Processing Or Creating Images (AREA)
  • Infusion, Injection, And Reservoir Apparatuses (AREA)

Abstract

一導航模組，為複數個導航地標的每一個訂定對應一三度真實空間中一位置的一組空間座標，該複數個導航地標對應一任務執行物件在該三度真實空間的目標位置或目標取向以完成一任務；以及一虛擬影像顯示模組，用以顯示與該複數個導航地標其中之一相關的一虛擬影像，使得一使用者感知該虛擬影像於該三度真實空間的該位置，該虛擬影像由至少一雙眼像素所構成，每一個雙眼像素是由投射一第一光信號至該使用者的一第一視網膜以及投射一第二光信號至該使用者的一第二視網膜所形成。

Description

用於真實空間導航的擴增實境系統以及使用該系統的手術系統
本發明涉及以擴增實境為主的導航系統；明確地來說，可顯示虛擬影像以引導使用者執行與完成任務的擴增實境為主的導航系統。本發明更涉及用來引導醫療人員執行並完成例如外科手術的醫療手段的以擴增實境為主的導航系統。
在一般的臨床狀況中，醫療人員需要倚賴顯示在電腦螢幕的醫療紀錄作為執行醫療手術的參考依據。醫療人員經常需要在患者在電腦螢幕之間往返檢視，其極為不便。進一步而言，執行醫療手術時判定執行手術的外科手術器材正確位置以及路徑取決於醫療人員的經驗，舉例而言，執行硬脊膜(epidural)外麻醉時將硬脊膜針頭穿刺進入脊椎區域需要精準的穿刺位置以及針頭取向以避免周邊組織的損傷。麻醉醫師經常需要依賴超音波裝置決定硬脊膜針頭穿刺的位置以及取向。然而，超音波裝置無法直接放置在穿刺的位置之上；其必須被放置在穿刺位置的一側，導致影響影像的精確度並增加療程的失敗的機率。
近年來，眾多擴增實境輔助的醫療手術的可能性已被探索。然而由使用者感知的三度虛擬物品的位置與真實實體空間的精確對應的相關技術並還沒有被完整開發。因此，輔助醫療手術的擴增實境為主的這導航系統還無法實 現。
進一步而言，現今技術中許多具備以多重景深顯示虛擬影像的以導光板為主的擴增實境/虛擬實境顯示器都有焦距競爭的問題。這是因為使用者眼睛對焦的顯示螢幕的距離(自使用者的眼睛)與感知的虛擬影像景深不同。這會導致使用者的不適以及無法同時聚焦在真實物品與虛擬影像。
基於上述理由，需要一種可解決上述問題的用於真實空間導航的新式擴增實境系統。
以克服虛擬/混合實境顯示器的焦距競爭以及視覺輻輳調節衝突(VAC)而言，本發明相對於先前技術更有優勢。在擴增實境或混合實境的領域中，虛擬影像的景深感知及3D效果經常藉由視差影像技術來呈現。提供給左與右眼的虛擬物品視差影像分別顯示於螢幕上，且該螢幕離觀看者的眼睛有一段固定距離；然而，這個距離經常與感知的虛擬影像景深不同。進一步而言，當欲將虛擬影像疊加至真實物品以創造擴增或混合實境時，由於真實物品的景深與螢幕相對於觀看者眼睛的距離不同，觀看者無法同時聚焦於螢幕所顯示的虛擬影像與真實物品。
本發明不使用顯示螢幕並採用直接視網膜掃描技術以投射影像至觀看者眼睛的視網膜上。因此，觀看者無需再凝視固定的螢幕。此外，虛擬影像以與雙眼自然視覺相符合的匯聚角投射至觀看者眼睛。換句話說，感知到的虛擬影像景深與自然視覺匯聚角相同。進而，本發明解決了焦距競爭以及VAC。
用於執行患者醫療手術的擴增實境輔助系統，包含：一導航模組，用以基於患者的診斷資料訂定每一個複數個導航地標一組對應一三度真實空間中一位置的一空間座標，該複數個導航地標對應執行醫療手術的外科手術器材 在三度真實空間中的目標位置或目標取向；以及一虛擬影像顯示模組，用以顯示與複數個導航地標其中之一相關的虛擬影像，使得使用者感知該虛擬影像在該三度真實空間中的該位置，該虛擬影像由至少一雙眼像素所構成，每一個雙眼像素由投射到使用者第一視網膜的第一光信號與投射到使用者第二視網膜的第二光信號所組成。虛擬影像顯示模組包含一左光信號產生器以及一右光信號產生器。左光信號產生器以及一右光信號產生器可以雷射作為光源。在一實施例中，左光信號產生器以及右光信號產生器為雷射光束掃描投射器(LBS投射器)，該LBS投射器可包含紅光雷射，綠光雷射，以及藍光雷射，光色調變器，如雙色鏡結合器及偏光結合器，以及二維(2D)可調式反射器，如2D機電系統(“MEMS”)鏡。2D可調式反射器可以兩個一維(1D)反射器來替代，例如兩個1D MEMS鏡。舉例而言，LBS投射器以預定的解析度依序產生並掃描光信號以形成2D影像，例如每幀1280x720像素。因此，一像素的一光信號一個接著一個的被產生並投射向結合器。
由使用者感知在該真實空間中具有特定水平座標以及垂直座標的每一個至少一雙眼像素的景深座標是藉由分別投射第一光信號以及第二光信號至第一視網膜以及第二視網膜表面上的指定位置對來呈現，指定位置對對於景深座標感知是特定的，無論第一光信號投射至第一視網膜的投射角度與第二光信號投射至第二視網膜的投射角度為何。
根據本發明一實施例，虛擬影像顯示模組為頭戴式裝置，空間座標組，景深座標，水平座標，以及垂直座標是相對於頭戴式裝置的位置來量測。在其他本發明的一實施例，空間座標組，景深座標，水平座標，以及垂直座標是相對於導航模組來量測。使用者在該真實空間感知的虛擬影像素的至少一雙眼像素的垂直座標或水平座標是藉由投射第一光信號以及第二光信號至第一視網膜以及第二視網膜表面的指定位置對來呈現，該指定位置對在視網膜的垂直位 置或水平位置對應實際空間的一垂直座標或水平座標無論第一光信號投射至第一視網膜的投射角度與第二光信號投射至第二視網膜的投射角度為何。
根據本發明一實施例，指定位置對包含第一指定位置以及第二指定位置。使用者感知的每一個至少一雙眼像素的景深座標變化是藉由改變第一指定位置以及第二指定位置之間的相對距離來呈現。
根據本發明一實施例，外科手術器材包含用於進入患者的侵入部，而醫療顯影器材同軸地設置於侵入部的附近。外科手術器材可更包含取向偵測模組，用以判別外科手術器材相對於真實空間的取向。外科手術器材也可更包含穿透深度偵測模組，用以判別外科手術器材進入患者的穿透深度。
根據本發明一實施例，醫療顯影器材可提供關於患者每一個複數個生理或解剖學上特徵的空間位置的診斷資料。醫療顯影器材可提供關於患者的即時資訊。醫療顯影器材可更提供複數個對位參考點的其中之一相對於複數個導航地標的其中之一的空間偏差的即時資訊。
根據本發明一實施例，外科手術器材被標定複數個對位參考點，每一個複數個對位參考點的位置由導航模組訂定。導航模組分別判定複數個對位參考點的其中之一相對於複數個導航地標的其中之一的空間偏差。當空間偏差大於第一預設值或小於第二預設值時，虛擬影像模組可輸出視覺提示給使用者。
10:第一光信號產生器
11:第一結合器
20:第二光信號產生器
21:第二結合器
40:外科手術器材侵入部
50:醫療顯影器材
60:取向偵測模組
100:導航模組
200:虛擬影像顯示模組
216:虛擬雙眼像素
BP1:第一雙眼像素
BP2:第二雙眼像素
CA1:第一匯聚角
CA2:第二匯聚角
d1、d2:景深座標
DL:視網膜上的一個指定位置
h1、h2:水平座標
L1:第二光束
L12、L22:第二指定位置
L32、R12、SA:子區域
NL1、NL2、NL3:導航地標標示
P1:第一像素
P2:第二像素
R1:第一右光束
R22、R32:第一指定位置
R23:第一視網膜的矩陣元素
S1:第一光信號
S2:第二光信號
S3:第三光信號
S4:第四光信號
s1、s2、s3、s4、s5、s6:步驟
v1、v2:垂直座標
圖1表示根據本發明一實施例的導航地標。
圖2表示根據本發明一實施例的導航地標的虛擬影像以及用於真實空間導航的擴增實境系統。
圖3A表示根據本發明一實施例的導航地標以及用於真實空間導航的擴增實境系統。
圖3B表示根據本發明一實施例的示例性座標系。
圖4表示根據本發明的自然雙眼視覺原理。
圖5表示根據本發明一實施例的在特定水平與垂直座標座標呈現各個不同景深感知的原理。
圖6表示根據本發明一實施例在三維真實空間呈現多個雙眼像素的原理。
圖7A表示包含指定位置對以及其對應的空間座標的查找表。
圖7B顯示精確地投射光信號至預想的指定位置的方法。
圖8表示根據本發明的另一實施例在三維真實空間中呈現多個雙眼像素的方法。
圖9A表示本發明示例性實施方式。
圖9B表示本發明示例性實施方式。
圖10表示運用根據本發明的用於真實空間導航的擴增實境系統的外科手術的示例性實施例。
圖11表示根據本發明的一實施例的示例性外科手術器材。
本文中所使用的詞彙係用來描述本發明特定具體實施例中的細節，所有的詞彙應以最大的範疇做合理解讀。某些詞彙將在以下特別強調；任何限制性用語將由具體實施例中定義。
在本發明中，運用導航地標指引使用者完成需要藉由儀器，工具，手...等在三度空間精密操作的方能完成的任務；例如：醫療手術或牙科手術。在一些實施例中，導航地標的一組空間座標由人員操作的設備標示正確位置或取向以完成任務；例如(請參照圖1)，導航地標可包含座標，在患者上標示位置以 協助麻醉師進行硬脊膜麻醉注射。導航地標也可包含複數個座標以標示硬脊膜針頭，以及注射筒尾部的正確位置以顯示注射正確的取向/角度。請參照圖1，導航地標標示為NL1，NL2...等。在本例子中的導航地標的座標可基於患者醫療影像資料而預先設定，例如，顯示患者脊椎骨之間的間隙的位置。導航地標的座標標示硬脊膜針頭成功插入患者脊椎骨間隙之間的硬脊膜正確取向及位置以避免神經系統受損。在其他的例子中，導航地標可標示多個牙醫進行植牙手術位置座標。在本發明中，擴增實境顯示器可顯示對應導航地標的位置的虛擬影像，使得使用者可看到三度真實空間中執行任務正確的位置及取向。該領域具有通常知識者可理解本發明可運用到其他領域而不偏離本發明的精神。
以下描述可應用至諸多狀況的用於真實空間導航的擴增實境系統。請參照圖2，用於真實空間導航的擴增實境系統包含導航模組100以及虛擬影像顯示模組200。導航模組100為每一個複數個導航地標訂定在三度真實空間對應位置的一組空間座標。尤其是，導航模組100可接收關於決定特定任務的導航地標的位置的條件的資料。導航模組100轉換該資料成相對於一參考點的真實空間的三維座標。參考點被指定為座標系的原點(如，座標(0，0，0))。舉例而言，取決於不同的實施例，導航模組100可將參考點設定在虛擬影像顯示模組200的一點，在該真實空間的一指定位置，或導航模組100的一點...等。複數個導航地標對應三度真實空間中任務執行物件的目標位置或目標取向，以執行任務。例如，任務如是執行靜脈麻醉注射，注射硬脊膜針頭可為任務執行物件。在其他種類的醫療手術中，任務執行物件可為執行醫療手術的對應工具。在一些實施例中，導航模組100配置在虛擬影像顯示模組200，或導航模組100可為獨立虛擬影像顯示模組200而設置的室內定位系統。
為了示例性目的，根據本發明的導航模組100可包含定位單元以訂定使用者的位置(當原點不是設置在使用者的頭戴式裝置時)，外科手術器材 的位置以及手術點的位置...等。定位單元可為GPS(室內或室外)，行動電話網路，或WI-FI來達成室外定位的目的。定位單元可為超寬頻(UWB)，藍芽，無線網路或室內定位定標。在導航模組100設置在頭可戴式裝置的實施例中，導航模組100也可包含景深偵測單元。景深偵測單元可用來測量目標物上任何點以及使用者之間的距離(尤其是，使用者兩眼之間的中間點)。使用者手的位置或外科手術器材的位置也可藉由景深偵測單元來量測。景深地圖可用來追蹤目標物，外科手術器材以及/或手的運動。景深地圖由景深偵測單元以及/或攝影機所產生。景深地圖更用來叢集目標物以及手。景深偵測單元可以是景深偵測攝影機的型態。景深偵測攝影機拍攝目標物二維影像或三維即時影像且景深偵測單元也可判定攝影機以及目標物之間距離。導航模組100可更包含慣性測量單元(IMU)以協助判定使用者的位置及取向。
在本發明的一實施例中，虛擬影像顯示模組200可包含眼動追蹤單元，以藉由使用者的視軸來判定使用者所選的目標物。使用者視軸是由眼動追蹤單元來判定。眼動追蹤是由眼動追蹤攝影機，或眼球運動的電子訊號測量來實現。虛擬影像顯示模組200也可包含手勢辨識單元。手的手勢以及位置可藉由景深偵測單元或攝影機取得。景深偵測單元或攝影機提供手勢相關的資料至手勢辨識單元，手勢則由手勢辨識單元辨識。虛擬影像顯示模組200可更包含物品辨識單元。目標物的影像及位置是由景深偵測單元或景深偵測攝影機取得。物品辨識單元基於目標物的影像進行目標物的物品辨識。在一些實施例中，物品辨識單元可辨別外科手術器材，使用者的手，以及患者。
虛擬影像顯示模組200配置以顯示對應複數個導航地標其中之一的虛擬影像，讓使用者得以目視以導航為目的的導航地標。特別是，由使用者感知的虛擬影像位於三度真實空間的一位置。舉例而言，在本發明使用者執行醫療手術的技術中，虛擬影像可以是標示外科手術器材在患者進入的位置的圓點；或 虛擬影像可呈現類似外科手術器材的虛擬影像並標示真實外科手術器材所需的位置或取向，如圖2所示。雖然導航地標可以三度真實空間一點的座標來表示，導航地標的視覺呈現的中心點可設在導航地標座標處，且導航地標的視覺呈現可佔據三度空間的一個範圍；或者，虛擬影像可基於導航地標的位置來呈現。因此，虛擬影像可由至少一雙眼像素所構成(如圖2所示)。採用視網膜掃描擴增顯示系統，每一個雙眼像素由投射第一光信號至使用者第一視網膜以及投射第二光信號至使用者第二視網膜所形成。本發明運用視網膜掃描技術來呈現導航地標的虛擬影像。以下將描述呈現虛擬影像以及使用者在特定真實空間位置感知雙眼像素的方法。
請參照圖3A，在本發明中，虛擬影像顯示模組200包含第一光信號產生器10(如，右光信號產生器)，第一結合器(如，右結合器)，第二光信號產生器20(如，左光信號產生器)，以及第二結合器(如，左結合器)。第一光信號產生器產生第一光信號；第一結合器11重新導向第一光信號至使用者第一視網膜以顯示第一像素p1。相同的，第二光信號產生器20產生第二光信號；第二結合器21重新導向第二光信號至使用者第二視網膜以顯示第二像素p2。
虛擬影像顯示模組包含。第一以及第二光信號產生器10，20可運用雷射作為光源。在一實施例中，第一以及第二光信號產生器10，20為雷射光束掃描投射器(LBS投射器)，其可包含紅光雷射，綠光雷射，以及藍光雷射，光色調整器，如二向色結合器以及偏光結合器，以及二維(2D)可調整反射器，例如2D機電系統(“MEMS”)鏡。2D可調整反射器可由兩個一維(1D)反射器取代，例如兩個1D MEMS鏡。舉例而言，LBS投射器依序產生掃描光信號以形成預定解析度的2D影像，例如每幀1280x720像素。因此，一次產生每一像素的一個光信號並將該光信號投射至結合器。為了讓觀看者可自單眼看見此2D影像，LBS投射器必須依序產生每個像素的光信號，例如1280x720光信號，在視覺暫留的期間內，例 如1/18秒。因此，每一個光信號持續時間是大約60.28毫微秒。
使用者第一眼以及第二眼接收第一光信號以及第二光信號之後，人腦藉由融像第一光像素以及第二光像素產生雙眼像素(如，BP1)影像。使用者感知雙眼像素具有特定三維座標。為了方便描述本發明，座標系原點可設置在虛擬影像顯示模組200(可為頭戴式裝置)中心；三維座標對應相對於頭戴式裝置的一特定水平座標，垂直座標，以及景深座標(如圖3B所示)。
已知由使用者感知的雙眼像素在三維空間中的水平以及垂直位置與第一光信號以及第二光信號在第一視網膜以及第二視網膜上分別被投射並接收的水平及垂直位置直接相關。然而，本發明強調由使用者感知的雙眼像素景深位置也與第一光信號以及第二光信號在第一視網膜以及第二視網膜上分別被投射並接收的水平及垂直位置直接相關。請參照圖4，其表示根據人類自然雙眼視覺感知3D空間中物品的水平，垂直以及景深位置。為了方便說明人類視覺以及視網膜掃描的理論，使用者第一眼以及第二眼的視網膜被繪製成矩陣，每個矩陣的元素對應視網膜上特定水平以及垂直位置。根據自然視覺，第一右光束R1抵達第一視網膜的矩陣元素R22。來自物品的對應的第二光束L1抵達第二視網膜的矩陣元素L22。除了包含在R1以及L1中的物品視差資訊以外，使用者的景深感知也取決於第一光束R1以及第二光束L1之間的匯聚角CA1。當觀看者感知物品的景深增加時，匯聚角變小；相反的，當觀看者感知物品的景深變小時，匯聚角增加。尤其是，如圖4所示，假設物品自位置p1移動到p2，匯聚角自CA1變化成CA2(CA2>CA1)；同時，第一視網膜接收第一光束的位置自R22改變成R23，且位置第二視網膜接收第二光束的位置自L22改變成L12。由此可見，物品的景深感知部分取決於第一光束以及第二光束進入觀看者眼睛時之間的匯聚角(除了視差影像以外)。在自然視覺中，由於光漫射的關係，雖然可以有無數的第一光束以及第二光束來自物品；但是，所有的第一光束以及第二光束由於眼睛水晶體 的效果而分別匯集到單一的位置；因此，在圖4中只有顯示一個光束。進一步而言，根據圖4，可見每一個第一光束R1以及第二光束L1之間形成的匯聚角具有對應的在兩視網膜(在圖中為d1以及d2)上第一光束R1以及第二光束L1之間相對的水平距離。因此，使用者感知的物品的景深可視為與在第一視網膜投射第一光束R1的位置及對應在第二視網膜投射第二光束L1的位置兩者之間的相對水平距離相關。換句話說，使用者感知物品的景深越深，視網膜上接收第一光信號的位置與接收第二光信號的位置之間的相對水平距離越小。然而，從另外一個角度而言，第一光束以及第二光束之間相對距離可在靠近瞳孔前方的位置來量測。基於此因素，形成較大的匯聚角的兩道光束之間的相對水平距離(物品較靠近觀看者)會小於形成較小的匯聚角的兩道光束之間的相對水平距離(物品離觀看者較遠)。換句話說，使用者感知真實物品的景深越深，形成真實物品影像的光束進入瞳孔前之間的相對水平距離越大。根據上述的理論，感知的物品景深可藉由變化形成影像的光束再進入眼睛前之間的相對距離來調整，或這藉由改變視網膜接收光束的位置之間相對距離來調整。
請參照圖5，其表示根據本發明所述的理論的呈現景深感知方法。圖5顯示第一雙眼像素BP1，其藉由第一光信號S1以及第二光信號S2的融像產生，第一光信號S1以及第二光信號S2具有第一匯聚角CA1；藉由第三光信號S3以及第四光信號S4的融像產生第二雙眼像素BP2，第三光信號S3以及第四光信號S4具有第二匯聚角CA2。第一雙眼像素是藉由投射光信號到指定位置對R22(第一指定位置)以及L22(第二指定位置)來顯像。使用者感知第一雙眼像素BP1比第二雙眼像素BP2具有更深的景深(如：更遠離使用者)。第二雙眼像素BP2是藉由投射光信號到指定位置對R32(第一指定位置)以及L12(第二指定位置)來顯像。第三光信號S3以及第四光信號S4在視網膜之間的水平距離(R32與L12之間的距離)大於第一光信號S1以及第二光信號S2在視網膜之間的水平距離(R22與L22)。如圖5 所示，可以被理解的是呈現具有景深座標d1，水平座標h1，以及垂直座標v1的雙眼像素，光信號需要被提供到指定位置對R22以及L22。如果需要呈現具有景深座標d2但具有相同水平座標h1與垂直座標v1的雙眼像素，光信號需要被提供到指定位置對R32以及L12。因此，使用者感知的每一個至少一雙眼像素的景深座標變化可藉由投射光信號到不同第一指定位置以及第二指定位置來呈現。
根據以上描述的理論，在一實施例中，三度座標系原點設置在頭戴式裝置的中心點，使用者感知在該真實空間具有特定水平座標及垂直座標的每一個雙眼像素的景深座標是藉由分別投射第一光信號以及第二光信號到第一視網膜以及第二視網膜上的指定位置對(如，R22以及L22，或R32以及L12)來呈現。每個指定位置對可呈現給使用者特定景深座標感知。雖然以上描述中，3X3的矩陣用來說明人類雙眼視覺的理論，可以理解的是視網膜可以被分割成大於3X3的矩陣(如，100X100矩陣或1000X1000矩陣)。進一步而言，這裡的例子是用來說明每個景深座標，都有光信號需要被投射到的第一視網膜上的指定位置以及另一個對應的第二視網膜上的指定位置(指定位置對)使得使用者得以感知雙眼像素在該特定景深座標。此外，使用者在該真實空間感知的虛擬影像的至少一雙眼像素之垂直座標或水平座標是藉由投射第一光信號以及第二光信號至第一視網膜以及第二視網膜表面上的指定位置對來呈現，該指定位置對具有對應一垂直座標或一水平座標的垂直位置或水平位置，無論投射角度投射到第一視網膜的第一光信號角度以及投射到第二視網膜的第二光信號角度為何。只要光信號投射到視網膜特定位置，人類眼睛能夠感知雙眼像素在真實空間的對應位置，無論光信號相對於視網膜的入射角度。
圖6更表示雙眼像素以及形成雙眼像素的指定位置對之間的關係。在此例子中，第一以及第二視網膜分別被區分為36(6x6)指定位置。已知要產生視覺融像，投射到右眼影像以及對應之投射到左眼的影像需要具有相近的垂 直位置(相對於人類的眼睛)。因此，指定位置對需要具有大致相同的垂直位置(相對於人類的眼睛)。在圖6中，光信號的光路延伸與在同一排的對應光信號光路延伸相互交叉(如：相同垂直位置)。基於這個前提，且考慮到垂直座標以及水平座標，可產生總數為216(6x6x6)具有不同三維座標的虛擬雙眼像素(以圓點表示)。
請參照圖7A，可針對虛擬影像顯示模組200建立查找表以快速找出正確指定位置對以在特定垂直以及水平座標呈現具景深座標的雙眼像素。例如，216虛擬雙眼像素，標號為1至216，由投射光信號至第一視網膜上36(6x6)指定位置以及第二視網膜上36(6x6)指定位置來呈現。具有水平座標h1，垂直座標v1，以及景深座標d1的第一(1st)雙眼像素BP1是藉由指定位置對R(11)以及L(11)來呈現；具有水平座標h2，垂直座標v2，以及景深座標d2的第二(2nd)雙眼像素BP2是藉由指定位置對R(12)以及左像素L(11)來呈現。因此，為在真實空間特定三維座標顯示雙眼像素，必須基於查找表的資料，使投射到使用者左眼以及右眼的光信號由視網膜表面對應的指定位置來接收。
實際上，為了精確地投射光信號到所希望的觀看者視網膜上的指定位置，光信號投射進入瞳孔的位置為需考慮的重要因素。換句話說，需要控制第一以及第二光信號進入瞳孔的位置使得光信號可入射在視網膜正確位置上以達到呈現雙眼像素在特定空間位置的目的。瞳孔接收入射光信號之前的區域也可視為矩陣並可被區分為數個子區域，如同先前所述的視網膜指定位置(請參照7B)。每一個子區域SA對應視網膜上的一個指定位置DL。因此，當光信號以特定角度透過特定子區域進入瞳孔，可預測視網膜上接收光信號的對應的指定位置。在一實施例，可建立查找表來找出光信號進入瞳孔的位置以確保光信號可以被所希望的視網膜指定位置接收。在一實施例中，圖7B表示子區域以及對應的視網膜指定區域之間的關係。在此例子中，為了使光信號被視網膜上的指定位置對 R32以及L12接收，光信號進入瞳孔前需要經過子區域R12以及L32。因此，為了改變觀看者感知的雙眼像素景深從一位置到另一個位置，光信號可被投射並經過對應視網膜上目標指定位置的不同子區域對SA，進而，使得目標指定位置對得以接收該光信號。
進一步而言，請參照圖8，基於上述呈現雙眼像素的景深座標之理論，感知的雙眼像素景深與第一以及第二光信號進入使用者第一以及第二眼的投射角度無關。只要對應特定景深座標的指定位置對接收到光信號，皆可呈現具有該景深座標的雙眼像素，無論第一光信號對於第一視網膜的投射角度以及第二光信號對第二視網膜的投射角度為何。在以上所述的呈現景深感知的方法，每一個指定位置在視網膜上具有固定相對位置。這表示指定位置無法被隨意或人為指定；他們是人類生理以及視網膜構造所產生的。當受到光信號刺激後，每一個指定位置對可呈現雙眼像素獨一無二的三維座標，且每一個指定位置對在使用者視網膜位置上具有獨一無二的位置。進一步而言，為了讓第一光信號以及第二光信號得以被人腦融像以產生單一的雙眼像素，第一光信號以及第二光信號所包含的資訊需要大致上相同。
以上述可讓使用者感知在三維真實空間特定位置產生雙眼像素方法，虛擬影像顯示模組200可在三維真實空間特定位置顯示影像，該特定位置對應導航地標(如圖9A以及9B所示)。對應導航地標的影像可由至少一雙眼像素所構成。在一例子中，導航地標的影像可成像給使用者，讓使用者知道確切的位置(在真實三度空間)進行任務(如，手術或硬脊膜針頭侵入)。導航地標可顯示執行任務的設備正確的位置以及取向(如，執行手術或硬脊膜針頭侵入時解剖刀或硬脊膜針頭取向)。
請參照圖10，以下是運用根據本發明的用於真實空間導航的擴增實境系統外科手術示例性實施例外科手術可包含以下步驟：
(s1)導航模組指定患者，虛擬影像顯示模組，外科手術器材，以及醫療人員在該真實空間的統一全球座標系。虛擬影像顯示模組以及/或醫療顯影器材進行相對於統一全球座標系的座標校正(如，垂直座標，水平座標，以及景深座標)。
(s2)醫療人員使用醫療顯影器材進行患者上目標外科手術點鄰近區域的攝影。醫療顯影器材可核磁共振成像，電腦斷層掃描，或超音波成像裝置。成像資料被轉換成空間座標資料組，該空間座標資料組與鄰近患者目標外科手術點的結構特徵相關。
(s3)與結構特徵相關的空間座標資料組被傳送到導航模組以建立患者三維的身體結構特徵模組。
(s4)導航模組根據患者三維的結構特徵模組判定外科手術器材進行手術時在3D真實空間中最佳位置以及角度(或取向)。導航模組產生複數個導航地標，該導航地標對應外科手術器材執行外科手術時的位置以及角度(或取向)。
(s5)對應導航地標的虛擬影像透過虛擬影像顯示模組(如，頭戴式裝置)顯示給醫療人員。
(s6)為導航的目的，醫療人員可將外科手術器材與虛擬影像對位。導航模組判定外科手術器材以及導航地標之間的偏差並給予醫療人員反饋。
以下的描述繼續以硬脊膜麻醉作為例子，來說明根據本發明用於真實空間導航的擴增實境系統的應用。
擴增實境輔助系統可包含導航模組100，用以訂定每一個複數個導航地標的對應三度真實空間一位置的一組空間座標。導航地標是基於患者診斷資料而定義的。例如，診斷資料可以是患者脊椎即時超音波影像，其顯示脊椎骨之間間隙的位置。複數個導航地標可由導航模組100定義，導航地標對應執行醫療手術(如，硬脊膜麻醉)的外科手術器材(如，硬脊膜針頭)在三度真實空間中的目標位置或目標取向。例如，導航地標可顯示硬脊膜麻醉時脊椎骨之間空間讓 硬脊膜針頭進入的最佳位置以及取向。
虛擬影像顯示模組200顯示複數個導航地標對應的虛擬影像，使得使用者感知虛擬影像位於三度真實空間的特定位置。在本實施例中，虛擬影像顯示器可以是頭戴式裝置。用來表示導航地標以及虛擬影像座標(景深座標，水平座標，以及垂直座標)的座標系原點設置在頭戴式裝置的位置。在本實施例中，導航模組100也可設置在頭戴式裝置。
虛擬影像可以是箭頭，當硬脊膜針頭進入患者身體時，用以引導醫療人員以正確取向手持硬脊膜針頭使其進入病患身體。虛擬影像是由至少一雙眼像素所構成，每一個雙眼像素由投射第一光信號到使用者第一視網膜以及投射第二光信號到使用者第二視網膜所形成，如先前所述。在一些實施例，使用者所感知虛擬影像在三維空間的位置符合硬脊膜針頭進入病患身體的正確位置。額外的兩個導航地標的兩個虛擬影像可顯示硬脊膜針頭的兩端正確位置，讓醫療人員可將真實的硬脊膜針頭對位兩導航地標的虛擬影像位置以得到硬脊膜針頭正確的取向。
在本發明的另一實施例中，虛擬影像可看似硬脊膜針頭讓醫療人員可將真實的硬脊膜針頭對位硬脊膜針頭的虛擬影像位置以得到硬脊膜針頭正確的取向。醫療人員(配戴頭戴式裝置)感知的醫療人員與虛擬影像之間的相對距離可基於醫療人員的移動或位移來動態調整。醫療人員感知的虛擬影像的相對取向也可基於醫療人員的移動來動態調整。這可以藉由位置模組動態計算導航地標(虛擬影像)在真實空間中相對於原點的三維座標來達成(可設置在頭戴式裝置的位置並跟著醫療人員移動)；虛擬影像顯示模組200(如：頭戴式裝置)接著基於醫療人員位置的改變來動態調整並呈現虛擬影像。在此實施例中，座標系原點可設置在虛擬影像顯示模組200(如：頭戴式裝置)的位置。然而，如先前所述，座標系原點可設置在虛擬影像顯示模組200位置的其他位置，尤其在導航模組 100不是設置在頭戴式裝置的狀況下。例如，在某些狀況中，原點可設置在導航模組100，且導航模組100的位置相對進行手術的地點而言可以是固定的。無論如何，導航地標以及頭戴式裝置的座標可相對於導航模組100來量測及計算，而醫療人員感知的虛擬影像的位置可基於座標系原點與醫療人員(配戴頭戴式裝置)之間相對位置來調整。
為了強化真實硬脊膜針頭以及虛擬影像之間的對位以使醫療人員可以更高的準確度進行硬脊膜麻醉，本發明的一些實施例，導航模組100可配置複數個對位參考點在真實硬脊膜針頭。在這實施例中，導航模組100可更包含物品辨識模組用以識別真實硬脊膜針頭的特徵以及配置特定特徵作為對位參考點；以及位置偵測模組用以偵測對位參考點的位置。導航地標可與對位參考點相關聯。意指，在一些例子中，導航地標與硬脊膜針頭侵入的期間對位參考點在該真實空間中該有的正確座標相關。導航模組100可比較對位參考點位置與對應的導航地標來判別對位參考點相對於其對應的導航地標的空間偏差。進一步而言，虛擬影像顯示模組200可輸出視覺提示給醫療人員，當空間偏差大於可允許的預設上限空間偏差時；或者，當空間偏差小於可允許的預設上限空間偏差時，虛擬影像顯示模組200可輸出另外的視覺提示以確認硬脊膜針頭是否在侵入的正確路徑。
在本發明的一實施例中，診斷資料是來自外科手術器材上設置的醫療顯影器材。診斷資料可包含患者每一個複數個生理或解剖學特徵的空間位置。在外科手術器材為硬脊膜針頭的例子中，導航模組100可基於診斷資料判定執行硬脊膜針頭侵入最佳路徑；以及導航模組100基於執行硬脊膜針頭侵入最佳路徑來定義導航地標。為了獲取準確且未失真的診斷資料，在越靠近硬脊膜針頭侵入位置進行醫療顯影器材即時影像擷取為最佳。請參照圖11，為了解決此問題，醫療顯影器材50可同軸地設置在外科手術器材侵入部40(如：硬脊膜針頭) 附近。進一步而言，由於患者並不會隨時保持靜止不動(如，患者可能改變姿勢)，醫療顯影器材50必須即時更新與患者相關的診斷資料；因此，對應導航地標位置的空間座標跟著即時被更新。同時，醫療顯影器材50以及/或導航模組100可提供對位參考點相對於導航地標空間偏差的即時資訊。
在本發明的一實施例，外科手術器材可更包含取向偵測模組60(請參照圖10)以判定外科手術器材相對於真實空間取向。取向偵測模組60接著提供外科手術器材的取向資料至導航模組100以判定對位參考點相對於導航地標的空間偏差。舉例而言，取向偵測模組60可以是陀螺儀。外科手術器材也可包含穿透深度偵測模組以判定外科手術器材進入患者的穿透深度。舉例而言，景深偵測模組可以是壓力偵測器或光學偵測器。穿透深度偵測模組可協助偵測外科手術器材在真實空間中三維座標系的位置來判定外科手術器材是否已經到達相對於外科手術目標(如，患者的皮膚)的表面適當的穿透深度。
以下為示例性實施例，其表示使用根據本發明的擴增實境輔助系統在硬脊膜麻醉領域的實際的實施方式。在這些實施例中，硬脊膜針頭包含侵入部，用以侵入患者；而醫療顯影器材同軸地設置在侵入部的附近。
在第一實施例中，硬脊膜麻醉可包含以下的步驟：
(1)硬脊膜針頭在收縮模式中。包含醫療顯影器材的硬脊膜針頭可以被移動到患者皮膚的一區域以自醫療顯影器材(如，環狀超音波或3D超音波)獲取身體結構3D影像資料(診斷資料)並建立患者身體結構3D模組。
(2)建立患者身體結構3D模組。
(3)訂定3D真實空間中硬脊膜針頭侵入的適當位置以及角度(或取向)。透過頭戴式裝置顯示位置以及角度給醫療人員。
(4)醫療人員可將硬脊膜針頭與頭戴式裝置在空間中投射的硬脊膜針頭虛擬影像對位用以導航。
(5)硬脊膜針頭中央藉由人力或自動加壓裝置的侵入。侵入期間，硬脊膜針頭的深度由醫療顯影器材監測(如，接近硬脊膜針頭端部的前超音波傳感器)。到達特定景深後將中央硬脊膜針頭移除。
(6)將注射筒接合至硬脊膜針頭。將硬脊膜針頭推壓至更深處，直到壓力偵測器或光偵測器偵測到阻力的降低。
在第二實施例中，硬脊膜麻醉可包含以下步驟：
(1)使用醫療顯影器材(如，3D超音波掃描)以掃描患者皮膚的一個區域以獲取身體結構3D影像資料並建立患者3D模組。
(2)訂定3D真實空間中硬脊膜針頭侵入的位置以及角度(或取向)。該位置以及角度透過頭戴式裝置顯示給醫療人員。根據模擬的結果，醫療人員可使用頭戴式裝置檢查硬脊膜針頭路徑。
(3)根據步驟(2)的結果，頭戴式裝置在皮膚上較佳侵入位置投射具有較佳角度的硬脊膜針頭虛擬影像。
(4)醫療人員可將硬脊膜針頭與頭戴式裝置投射在3D空間的硬脊膜針頭虛擬影像對齊。
(5)硬脊膜針頭中央藉由人力或自動加壓裝置的侵入。侵入期間，硬脊膜針頭的深度由醫療顯影器材監測(如，接近硬脊膜針頭端部的前超音波傳感器)。到達特定景深後將中央硬脊膜針頭移除。
(6)將注射筒接合至硬脊膜針頭。將硬脊膜針頭推壓至更深處，直到壓力偵測器或光偵測器偵測到阻力的降低。
在第三實施例中，硬脊膜麻醉可包含以下步驟：
(1)使用醫療顯影器材(如，3D超音波掃描)以掃描患者皮膚的一個區域以獲取身體結構3D影像資料並建立患者3D模組。
(2)訂定3D真實空間中硬脊膜針頭侵入的位置以及角度(或取向)。該位置 以及角度透過頭戴式裝置顯示給醫療人員。根據模擬的結果，醫療人員可使用頭戴式裝置檢查硬脊膜針頭路徑。
(3)移除醫療顯影器材。根據步驟(2)的結果，頭戴式裝置在皮膚上較佳侵入位置投射具有較佳角度的硬脊膜針頭虛擬影像。
(4)醫療人員可將硬脊膜針頭與頭戴式裝置投射在3D空間的硬脊膜針頭虛擬影像對齊。
(5)硬脊膜針頭中央藉由人力或自動加壓裝置的侵入。侵入期間，硬脊膜針頭的深度由醫療顯影器材監測(如，接近硬脊膜針頭端部的前超音波傳感器)。到達特定景深後將中央硬脊膜針頭移除。
(6)將注射筒接合至硬脊膜針頭。將硬脊膜針頭推壓至更深處，直到壓力偵測器或光偵測器偵測到阻力的降低。
前面所述之實施例係用以使本領域的任何技術人員能夠製作與使用本發明之標的。這些實施例的各種修改為熟習該項技術者所能顯而易見者。本文中所揭示的新原理與標的可以在不運用創新能力的情況下應用到其他實施例。申請專利範圍中提出的請求標的並不限於本文所示之實施例，而是要符合與本文中所揭示的原理與創新之處一致的最大範圍。另外附加的實施例應可預期均在所揭示標的之精神和真實範圍內。因此，本發明希望涵蓋落入後附申請專利範圍之範疇內的修改和變化及其等效所為者。
100:導航模組
200:虛擬影像顯示模組
NL1、NL2:導航地標標示

Claims (34)

  1. 一種用於真實空間導航的擴增實境系統，包含：一導航模組，為複數個導航地標的每一個訂定對應一三度真實空間中一位置的一組空間座標，該複數個導航地標對應一任務執行物件在該三度真實空間的目標位置或目標取向以完成一任務；以及一虛擬影像顯示模組，用以顯示與該複數個導航地標其中之一相關的一虛擬影像，使得一使用者感知該虛擬影像於該三度真實空間的該位置，該虛擬影像由至少一雙眼像素所構成，每一個雙眼像素是由投射一第一光信號至該使用者的一第一視網膜以及投射一第二光信號至該使用者的一第二視網膜所形成；其中該使用者在該真實空間感知的具有特定水平座標以及垂直座標的該至少一雙眼像素的每一個的一景深座標是由分別投射該第一光信號以及該第二光信號至該第一視網膜以及該第二視網膜表面的一指定位置對，該指定位置對於該景深座標而言是特定的。
  2. 如請求項1所述的用於真實空間導航的擴增實境系統，其中該第一光信號以及該第二光信號分別被投射至該指定位置對以讓使用者感知該景深座標無論該第一光信號投射至該第一視網膜的一投射角度與該第二光信號投射至該第二視網膜的一投射角度。
  3. 如請求項1所述的用於真實空間導航的擴增實境系統，其中該指定位置對包含一第一指定位置以及一第二指定位置，該第一指定位置在該第一視網膜上具有一固定相對位置且該第二指定位置在該第二視網膜上具有一固定相對位置。
  4. 如請求項3所述的用於真實空間導航的擴增實境系統，其中該使用者感知的該至少一雙眼像素的每一個的該景深座標變化是由改變該第一指定位置與該第二指定位置之間的一相對距離而產生。
  5. 如請求項1所述的用於真實空間導航的擴增實境系統，其中該第一光信號與該第二光信號具有相同的影像資料。
  6. 如請求項1所述的用於真實空間導航的擴增實境系統，其中該虛擬影像顯示模組為一頭戴式裝置，該組空間座標，該景深座標，該水平座標，以及該垂直座標係相對於該頭戴式裝置的一位置來量測。
  7. 如請求項1所述的用於真實空間導航的擴增實境系統，其中該組空間座標，該景深座標，該水平座標，以及該垂直座標係相對於該導航模組來量測。
  8. 如請求項1所述的用於真實空間導航的擴增實境系統，其中該使用者感知的在該真實空間的該虛擬影像的該至少一雙眼像素的該垂直座標或該水平座標由投射該第一光信號以及該第二光信號至該第一視網膜與該第二視網膜表面的一指定位置對所產生，該指定位置對具有對應該垂直座標或該水平座標的垂直位置或水平位置無論該第一光信號至該第一視網膜的一投射角度以及該第二光信號至該第二視網膜的一投射角度。
  9. 如請求項1所述的用於真實空間導航的擴增實境系統，其中複數個對位參考點被指定給該任務執行物件，該複數個對位參考點的每一個的一位置由該導航模組判定。
  10. 如請求項9所述的用於真實空間導航的擴增實境系統，其中該導航模組分別判定該複數個對位參考點的其中之一相對於該複數個導航地標的其中之一的一空間偏差。
  11. 如請求項10所述的用於真實空間導航的擴增實境系統，其中當該空間偏差大於一第一預設值或小於一第二預設值時，一虛擬影像模組輸出一視覺提示給該使用者。
  12. 如請求項1所述的用於真實空間導航的擴增實境系統，其中該虛擬影像顯示模組更包含左光信號產生器以及一右光信號產生器以分別投射複數個左光信號。
  13. 如請求項1所述的用於真實空間導航的擴增實境系統，其中該導航模組設置於該虛擬影像顯示模組，或該導航模組為一室內定位系統，與該虛擬影像顯示模組分開配置。
  14. 一種用於對一患者執行醫療手術的擴增實境輔助系統，包含：一導航模組，其基於一患者的一診斷資料訂定每一個複數個導航地標的對應一三度真實空間中一位置的一組空間座標，該複數個導航地標對應執行醫療手術時一外科手術器材在該三度真實空間中的目標位置或目標取向；以及一虛擬影像顯示模組，用以顯示與該複數個導航地標其中之一相關的一虛擬影像，使得一使用者感知該虛擬影像於該三度真實空間的該位置，該虛擬影像由至少一雙眼像素所構成，每一個雙眼像素是由投射一第一光信號至該使用者的一第一視網膜以及投射一第二光信號至該使用者的一第二視網膜所形成；其中該使用者在該真實空間感知的具有特定水平座標以及垂直座標的該至少一雙眼像素的每一個的一景深座標是由分別投射該第一光信號以及該第二光信號至該第一視網膜以及該第二視網膜表面的一指定位置對，該指定位置對於該景深座標而言是特定的。
  15. 如請求項14所述的擴增實境輔助系統，其中該第一光信號以及該第二光信號分別被投射至該指定位置對以讓使用者感知該景深座標無論該第一光信號投射至該第一視網膜的一投射角度與該第二光信號投射至該第二視網膜的一投射角度。
  16. 如請求項15所述的擴增實境輔助系統，其中該指定位置對包含一第一指定位置以及一第二指定位置，該第一指定位置在該第一視網膜上具有一固定相對位置且該第二指定位置在該第二視網膜上具有一固定相對位置。
  17. 如請求項16所述的擴增實境輔助系統，其中該使用者感知的該至少一雙眼像素的每一個的該景深座標變化是由改變該第一指定位置與該第二指定位置之間的一相對距離而產生。
  18. 如請求項14所述的擴增實境輔助系統，其中該第一光信號與該第二光信號具有相同的影像資料。
  19. 如請求項14所述的擴增實境輔助系統，其中該虛擬影像顯示模組為一頭戴式裝置，該組空間座標，該景深座標，該水平座標，以及該垂直座標係相對於該頭戴式裝置的一位置來量測。
  20. 如請求項14所述的擴增實境輔助系統，其中，該景深座標，該水平座標，以及該垂直座標相對於該導航模組來量測。
  21. 如請求項14所述的擴增實境輔助系統，其中該使用者感知的在該真實空間的該虛擬影像的該至少一雙眼像素的該垂直座標或該水平座標由投射該第一光信號以及該第二光信號至該第一視網膜與該第二視網膜表面的一指定位置對所產生，該指定位置對具有對應該垂直座標或該水平座標的垂直位置或水平位置無論該第一光信號至該第一視網膜的一投射角度以及該第二光信號至該第二視網膜的一投射角度。
  22. 如請求項14所述的擴增實境輔助系統，其中該診斷資料來自設置在該外科手術器材上的一醫療顯影器材。
  23. 如請求項22所述的擴增實境輔助系統，其中該外科手術器材包含一侵入部，用以置入該患者，該醫療顯影器材同軸地設置於該侵入部。
  24. 如請求項22所述的擴增實境輔助系統，其中該醫療顯影器材提供該診斷資料關於患者複數個結構特徵的每一個的一空間位置。
  25. 如請求項22所述的擴增實境輔助系統，其中該外科手術器材被指定複數個對位參考點，該複數個對位參考點的每一個的一位置由該導航模組判定。
  26. 如請求項25所述的擴增實境輔助系統，其中該導航模組分別判定該複數個對位參考點其中之一相對於該複數個導航地標其中之一的一空間偏差。
  27. 如請求項26所述的擴增實境輔助系統，其中當該空間偏差大於一第一預設值或小於一第二預設值時，該虛擬影像模組輸出一視覺提示給該使用者。
  28. 如請求項22所述的擴增實境輔助系統，其中該醫療顯影器材提供關於該患者的一即時資訊，每一個複數個導航地標的對應一三度真實空間中該位置的該空間座標組是根據即時資訊來配置。
  29. 如請求項14所述的擴增實境輔助系統，其中該虛擬影像顯示模組更包含一左光信號產生器以及一右光信號產生器用以分別投射複數個左光信號。
  30. 如請求項14所述的擴增實境輔助系統，其中該導航模組設置於該虛擬影像顯示模組，或者該導航模組為一室內定位系統設置於與該虛擬影像顯示模組不同處。
  31. 如請求項14所述的擴增實境輔助系統，其中該複數個導航地標其中之一對應在目標物上執行醫療手術的一位置。
  32. 如請求項25所述的擴增實境輔助系統，其中該醫療顯影器材提供與該複數個對位參考點其中之一相對於該複數個導航地標其中之一的一空間偏差相關的一即時資訊。
  33. 如請求項14所述的擴增實境輔助系統，其中該外科手術器材更包含一取向偵測模組用以訂定該外科手術器材相對於該真實空間的一取向。
  34. 如請求項14所述的擴增實境輔助系統，其中該外科手術器材更包含一穿透深度偵測模組用以訂定該外科手術器材進入患者一穿透深度。
TW111128980A 2021-08-02 2022-08-02 用於真實空間導航的擴增實境系統以及使用該系統的手術系統 TWI825891B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163228171P 2021-08-02 2021-08-02
US63/228,171 2021-08-02

Publications (2)

Publication Number Publication Date
TW202323929A TW202323929A (zh) 2023-06-16
TWI825891B true TWI825891B (zh) 2023-12-11

Family

ID=85156210

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111128980A TWI825891B (zh) 2021-08-02 2022-08-02 用於真實空間導航的擴增實境系統以及使用該系統的手術系統

Country Status (5)

Country Link
EP (1) EP4355876A1 (zh)
JP (1) JP2024532643A (zh)
CN (1) CN117413060A (zh)
TW (1) TWI825891B (zh)
WO (1) WO2023014667A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116549800A (zh) * 2023-06-27 2023-08-08 中国人民解放军海军第九七一医院 一种椎管内麻醉实时三维模拟图像导航系统及方法
CN117115401B (zh) * 2023-10-16 2024-02-06 深圳卡尔文科技有限公司 一种ar导航数据处理方法、系统和存储介质
CN117745989B (zh) * 2024-02-21 2024-05-14 首都医科大学附属北京积水潭医院 基于椎管构造的神经根阻滞靶点注入路径规划方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5476036B2 (ja) * 2009-04-30 2014-04-23 国立大学法人大阪大学 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法
US20150248793A1 (en) * 2013-07-12 2015-09-03 Magic Leap, Inc. Method and system for facilitating surgery using an augmented reality system
CN105011900A (zh) * 2014-04-30 2015-11-04 卡尔蔡司医疗技术公司 用于生成宽视场光学相干体层析图的方法和装置
US20170004749A1 (en) * 2008-01-23 2017-01-05 Spy Eye, Llc Eye mounted displays and systems, with scaler using pseudo cone pixels
US20170027651A1 (en) * 2015-03-23 2017-02-02 Justin Esterberg Systems and methods for assisted surgical navigation
US20170115742A1 (en) * 2015-08-01 2017-04-27 Zhou Tian Xing Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
TW201907204A (zh) * 2017-05-29 2019-02-16 以色列商愛威願景有限公司 用以在外部場景與虛擬影像之間對位的方法與系統
US20190137764A1 (en) * 2014-11-18 2019-05-09 Samsung Electronics Co., Ltd. Wearable device and method for outputting virtual image
CN110076277A (zh) * 2019-05-07 2019-08-02 清华大学 基于增强现实技术的配钉方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170004749A1 (en) * 2008-01-23 2017-01-05 Spy Eye, Llc Eye mounted displays and systems, with scaler using pseudo cone pixels
JP5476036B2 (ja) * 2009-04-30 2014-04-23 国立大学法人大阪大学 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法
US20150248793A1 (en) * 2013-07-12 2015-09-03 Magic Leap, Inc. Method and system for facilitating surgery using an augmented reality system
CN105011900A (zh) * 2014-04-30 2015-11-04 卡尔蔡司医疗技术公司 用于生成宽视场光学相干体层析图的方法和装置
US20190137764A1 (en) * 2014-11-18 2019-05-09 Samsung Electronics Co., Ltd. Wearable device and method for outputting virtual image
US20170027651A1 (en) * 2015-03-23 2017-02-02 Justin Esterberg Systems and methods for assisted surgical navigation
US20170115742A1 (en) * 2015-08-01 2017-04-27 Zhou Tian Xing Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
TW201907204A (zh) * 2017-05-29 2019-02-16 以色列商愛威願景有限公司 用以在外部場景與虛擬影像之間對位的方法與系統
CN110076277A (zh) * 2019-05-07 2019-08-02 清华大学 基于增强现实技术的配钉方法

Also Published As

Publication number Publication date
JP2024532643A (ja) 2024-09-10
WO2023014667A1 (en) 2023-02-09
TW202323929A (zh) 2023-06-16
EP4355876A1 (en) 2024-04-24
US20240268896A1 (en) 2024-08-15
CN117413060A (zh) 2024-01-16

Similar Documents

Publication Publication Date Title
TWI825891B (zh) 用於真實空間導航的擴增實境系統以及使用該系統的手術系統
US11529210B2 (en) Stereoscopic visualization camera and platform
US11336804B2 (en) Stereoscopic visualization camera and integrated robotics platform
JP3717653B2 (ja) 頭部搭載型画像表示装置
US20060176242A1 (en) Augmented reality device and method
US20210298835A1 (en) Surgical navigation system, and imaging method of the same
US11698535B2 (en) Systems and methods for superimposing virtual image on real-time image
KR102097390B1 (ko) 시선 검출 기반의 스마트 안경 표시 장치
TWI819654B (zh) 改善視網膜損傷患者視力的系統
JP6324119B2 (ja) 回転角度算出方法、注視点検出方法、情報入力方法、回転角度算出装置、注視点検出装置、情報入力装置、回転角度算出プログラム、注視点検出プログラム及び情報入力プログラム
US20230363830A1 (en) Auto-navigating digital surgical microscope
US12121308B2 (en) Augmented reality system for real space navigation and surgical system using the same
TWI851916B (zh) 疊合虛擬影像於即時影像的系統與方法
WO2024190457A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム、ならびに、情報処理システム
US11445165B1 (en) Method, system and computer readable storage media for visualizing a magnified dental treatment site
WO2024176154A2 (en) Head-mounted stereoscopic display device with digital loupes and associated methods