TW202215370A - 疊合虛擬影像於即時影像的系統與方法 - Google Patents

疊合虛擬影像於即時影像的系統與方法 Download PDF

Info

Publication number
TW202215370A
TW202215370A TW110130182A TW110130182A TW202215370A TW 202215370 A TW202215370 A TW 202215370A TW 110130182 A TW110130182 A TW 110130182A TW 110130182 A TW110130182 A TW 110130182A TW 202215370 A TW202215370 A TW 202215370A
Authority
TW
Taiwan
Prior art keywords
image
real
virtual image
light signal
viewer
Prior art date
Application number
TW110130182A
Other languages
English (en)
Other versions
TWI851916B (zh
Inventor
葉逢春
張寅
陳國軒
卓俊宏
Original Assignee
美商海思智財控股有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商海思智財控股有限公司 filed Critical 美商海思智財控股有限公司
Publication of TW202215370A publication Critical patent/TW202215370A/zh
Application granted granted Critical
Publication of TWI851916B publication Critical patent/TWI851916B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Gynecology & Obstetrics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本發明揭露在即時影像上疊加虛擬影像的系統及方法。在一即時影像上疊加一虛擬影像的一系統，包含一即時影像模組及一虛擬影像模組。該即時影像模組由放大組件組成，以預設的放大倍率在一第一位置及一第一深度產生一物體的一即時影像。該虛擬影像模組藉由分別向一觀看者右眼投射一右光訊號及向一觀看者左眼投射一相對應的左光訊號產生一虛擬影像。該右光訊號及相對應的該左光訊號由該觀看者感知並在一第二位置及一第二深度顯示該虛擬影像。該第二深度跟投射到該觀看者眼睛的該右光訊號及相對應的該左光訊號之間的一角度有關。該第二深度可以與該第一深度大致相同

Description

疊合虛擬影像於即時影像的系統與方法
本發明涉及在一即時影像上疊加一虛擬影像的系統及方法，特別是，該系統及方法透過將數條右光訊號及相對應的數條左光訊號投射在一觀看者眼睛，把一帶有深度的虛擬影像疊加在一即時影像上。
近年來，許多在醫療檢查或手術(包括眼科手術)期間幫助醫務人員的視覺化輔助系統及方法已經被開發出來。在醫療過程中，該視覺化輔助系統可以提供該病人的額外影像資訊，像是醫療紀錄、手術參數，如照片、核磁共振(MRI)、X光、電腦斷層(CT)或光學同調斷層掃描(OCT)等等。在某些情況下，該額外影像資訊為該病人處理過的影像，如帶有一些標記的CT圖。該視覺化輔助系統經常與可以提供病人即時影像的其他醫療設備一起使用。該醫務人員可以接收到由該視覺化輔助系統提供，並與該即時影像分開的額外資訊。舉例來說，該額外資訊可以由一顯示器單獨顯示，而不是從觀察病人即時影像的手術顯微鏡顯示。該顯示器通常只可以提供一平面影像。然而，在醫療過程中，該醫務人員期望可以將額外影像資訊(即該病人預先處理過的影像)疊加在該病人的即時影像上一起觀察。此外，傳統視覺化輔助系統只能以平面影像的方式提供額外影像資訊。因此，產生與該病人的即時影像重疊並提供額外影像資訊的立體影像成為醫學界的主要目標。舉例來說，在眼科檢查或手術當中，醫務人員透過一眼科顯微鏡的目鏡看到該病人眼睛的即時光學影像。然而，外科醫生在過程中無法透過該顯微鏡看到該病人眼睛的一處理過的視網膜影像，且該外科醫生必須轉頭看另外一個顯示器再轉回顯微鏡。因此，仍然需要將視覺化輔助系統提供的該病人的額外影像資訊與醫務人員查看的即時影像結合。
本發明的目的在於提供一用於在一即時影像上疊加一虛擬影像的系統及方法。在一即時影像上疊加一虛擬影像的系統包括一即時影像模組及一虛擬影像模組。該即時影像模組由一放大組件組成，以預設的放大倍率在一第一位置及一第一深度產生一物體的一即時影像。
該虛擬影像模組透過分別投射一右光訊號至一觀看者右眼並投射一相對應的左光訊號至一觀看者左眼以產生一虛擬影像。該右光訊號及該相對應的左光訊號會由該觀看者感知並在一第二位置及一第二深度顯示該虛擬影像。該第二深度與投影到該觀看者眼睛的該右光訊號及相對應的該左光訊號之間的角度有關。在一實施例中，該第二深度大致與該第一深度相同。該虛擬影像會疊加在該即時影像上以提供給該觀看者更多資訊。因此，在一實施例中，該虛擬影像為一該物體處理過的影像。
該即時影像的放大倍率是可以調整的。在該即時影像被放大後，該虛擬影像可以手動或自動放大，以維持該虛擬影像與該即時影像的疊加。可以選擇自動模式進行疊加。
為了在該即時影像上疊加該虛擬影像，該系統首先需要對該觀看者進行校正。因為每位觀察者的眼睛有不同的物理特徵，包括瞳距，該系統需要特別為了該觀看者進行校正以確保該右光訊號及左光訊號投射進該觀看者眼睛，使該觀看者可以感知到顯示在該第二位置及該第二深度的該虛擬影像。
在一即時影像疊加一虛擬影像的過程包括：(a)在該即時影像選擇一第一點作為一第一定位標記；(b)在一第一位置及一第一深度以一預設放大倍率顯示該即時影像；(c)分別投射一右光訊號至一觀看者右眼並投射一左光訊號至一觀看者左眼以投射一虛擬影像，使該觀看者在一第二位置及一第二深度感知到該虛擬影像，則在該虛擬影像上的該相對應第一定位標記重疊在該即時影像的該第一定位標記上。在一實施例中，在該即時影像上的該第一定位標記的深度與相對應的在該虛擬影像上的該第一定位標記的深度大致相同。為了更加精確的疊加，一第二定位標記或一第三定位標記也能以類似方式應用。
本發明的其他特徵及優點將在後面描述，一部份可以從說明或是本發明的實例中得知。本發明的目標及其他優點將由書面說明、請求項、以及附圖所特別指出的結構及方法實現。可以這樣理解，上述一般的說明和下面詳細的說明都是示例性的和說明性的，其旨在對所要求保護的發明提供進一步的解釋。
本文中所使用的詞彙係用來描述本發明特定具體實施例中的細節，所有的詞彙應以最大的範疇做合理解讀。某些詞彙將在以下特別強調；任何限制性用語將由具體實施例定義。
本發明涉及在一即時影像上疊加一虛擬影像的系統及方法。一帶有深度的虛擬影像可以疊加在一即時影像上，以提供一觀看者更多與該即時影像有關的資訊，例如手術指導、指示、導航等等。該即時影像是一種以即時方式反映一物體變化的影像。該即時影像可為一平面影像或一立體影像。在一實施例中，該即時影像是由該物體反射或發射的光產生，舉例來說，從一顯微鏡或一望遠鏡觀察到的該影像。在另一實施例中，該即時影像是由接收到一物體影像的顯示器所產生，該影像可能是由相機即時拍攝，例如內視鏡顯示器上的影像。此外，該即時影像可以為一真實影像或一虛擬影像。該帶有深度的虛擬影像是由投射光訊號至該觀看者的雙眼所產生。該虛擬影像的深度跟投影至該觀看者眼睛的該右光訊號及該相對應的左光訊號之間的一角度有關。該虛擬影像可以為一平面影像或一立體影像。當該虛擬影像疊加在該即時影像上時，一部分的該虛擬影像會重疊在該即時影像上。
在一即時影像上疊加一虛擬影像的一系統，包括一即時影像模組及一虛擬影像模組。該即時影像模組包含一放大組件，以一預設放大倍率在一第一位置及第一深度產生一即時影像。放大為使一物體表面尺寸變大的過程，而非物理尺寸。這種放大可藉由一個經過計算的數字量化，該數字也稱為「放大率」，為一物體的表面(即時影像)尺寸及該物體不經放大所觀察到的尺寸之間的比例。放大率是可調的，且可以為任何正數，例如0.5、1及10。當該放大率小於一時，代表尺寸縮小，有時稱為縮小化或去放大化。
該虛擬影像模組分別投射一右光訊號至一觀看者右眼並投射一相對應的左光訊號至一觀看者左眼以產生一虛擬影像。該右光訊號及該相對應的左光訊號會由該觀看者感知，並在一第二位置及一第二深度顯示該虛擬影像。該第二深度與投影到該觀看者眼睛的該右光訊號及相對應的左光訊號之間的一角度有關。在一實施例中，該第二深度跟該第一深度大致相同。
該虛擬影像疊加在該即時影像上以提供該觀看者更多資訊。因此，在一實施例中，該虛擬影像為該物體處理過的影像。舉例來說，該物體可以為大腦且該即時影像為一手術顯微鏡即時產生的大腦影像。該虛擬影像可以為手術前拍的大腦CT或MRI影像，且上面標記了手術中要移除的腦瘤的位置。該標記虛擬影像會在手術中疊加在大腦的即時影像上，以幫助外科醫生辨認要移除的腦瘤的位置。在這情況下，為了使手術位置精確，該虛擬影像(有標記的CT或MRI影像)的該第二深度會與該即時影像(來自一手術顯微鏡的大腦實際影像)的該第一深度大致相同。該虛擬影像可以進一步包括一些文字資訊、標記、或指標，用於引導或解釋，以協助診斷及治療。此外，影像的疊加可以讓該觀看者比較由該虛擬影像表現的該物體的先前影像及由該即時影像表現的該物體的目前狀態，進而預估疾病的發展及治療結果。
該即時影像的放大率是可調的。在一實施例中，可以藉由手動轉動一旋鈕、換一物鏡、控制一虛擬開關、或發出口頭指令進行調整。在該即時影像被放大後，該虛擬影像可以手動或自動放大，以維持該虛擬影像與該即時影像的疊加。可以選擇自動模式進行疊加。
為了在該即時影像上疊加該虛擬影像，該系統首先需要對該觀看者進行校正。因為每位觀察者的眼睛有不同的物理特徵，包括瞳距，該系統需要特別為了該觀看者進行校正以確保該右光訊號及左光訊號投射進該觀看者眼睛，使該觀看者可以感知到顯示在該第二位置及該第二深度的該虛擬影像。舉例來說，一顯微鏡的左目鏡及右目鏡之間的距離需要配合該觀看者的瞳距進行調整；該右光訊號及相對應的左光訊號之間的該角度需要調整，使該觀看者可以正好在該第二深度感知到該虛擬影像。
在一即時影像疊加一虛擬影像的過程包括：(a)在該即時影像選擇一第一點作為一第一定位標記；(b)在一第一位置及一第一深度以一預設放大倍率顯示該即時影像；(c)分別投射一右光訊號至一觀看者右眼並投射一左光訊號至一觀看者左眼以投射一虛擬影像，使該觀看者在一第二位置及一第二深度感知到該虛擬影像，則在該虛擬影像上該相對應的第一定位標記重疊在該即時影像的該第一定位標記上。如上所述，該第二深度與投射在該觀看者眼睛的該右光訊號及相對應的左光訊號之間的一角度有關。在一實施例中，在該即時影像上的該第一定位標記的深度與相對應的在該虛擬影像上的該第一定位標記的深度大致相同。為了更加精確的疊加，一第二定位標記或一第三定位標記也能以類似方式應用。
如圖1A及1B所示，為了在一即時影像115上疊加一虛擬影像165的一系統100包含一即時影像模組110及一虛擬影像模組160。該即時影像模組110可包含一放大組件120，以產生一物體105(如大腦)的放大即時影像給一觀看者的雙眼。該放大組件120可以包含數個光學單元及組件，例如不同種類的鏡片，包括物鏡113。在另一實施例中，該放大組件120可以使用電子電路進行處理及放大該物體105的即時影像。該即時影像的放大率可以在觀察前決定，也可以在觀察時調整。放大率可以為1/2、3、10、100等等。可以透過與該即時影像模組連動的一使用者介面調整放大率。該即時影像模組可以有一組光學單位及組件，以產生該即時影像給該觀看者的雙眼；或是有兩組分開的光學單位及組件，分別產生該即時影像給該觀看者的右眼與左眼。該即時影像模組110可以進一步包括一稜鏡組件130以重定向光線的方向、分光鏡140,145以分光、一觀測管150以引導光線、以及目鏡152,154以進一步放大該影像。同樣地，該即時影像是由該物體105反射或發射的光產生，例如從一顯微鏡(包括手術顯微鏡)產生的該即時影像。在另一實施例中，該即時影像是由一影像擷取裝置以及一顯示器裝置所產生，例如一內視鏡及其相關的顯示器。根據該影像的尺寸及解析度，該即時影像實際上或概念上可以包含921600個像素(1280x720矩陣)。每個像素與相鄰像素在位置及深度上可能有些微不同。可以為該即時影像選擇一代表性的像素，如一第一定位標記。一定位標記，如該第一定位標記及該第二定位標記，通常為該即時影像中一特殊點，帶有容易被該觀看者辨識的特徵，例如中點或是兩條特定血管的交叉點。一定位標記可能為一像素或是由數個相鄰的像素組成。在一實施例中，該代表性的像素的位置及深度會作為該即時影像的位置及深度，即該第一位置及該第一深度。
該虛擬影像模組160與該即時影像模組110相連接，包含一右光訊號產生器170及一左光訊號產生器175。該右光訊號產生器170為一虛擬影像產生數條右光訊號，並可能緊靠在該即時影像模組的右側部分。相同地，該左光訊號產生器175為一虛擬影像產生數條左光訊號，並可能緊靠在該即時影像模組的左側部分。該右光訊號接著由右分光鏡140重定向至該觀看者的一眼。相同地，該左光訊號接著由左方光鏡145重定向至該觀看者的另一眼。該重定向右光訊號及相對應的該重定向左光訊號由該觀看者感知，並在一第二深度顯示該虛擬影像。根據該影像的尺寸及解析度，該虛擬影像可能時既包含921600個虛擬雙眼像素(1280x720矩陣)。每個虛擬雙眼像素與相鄰像素在位置及深度上可能有些微不同。可以為該虛擬影像選擇一代表性的虛擬雙眼像素，如一第一定位標記。在一實施例中，該代表性的虛擬雙眼像素的位置及深度會作為該虛擬影像的位置及深度，即該第二位置及該第二深度。在該觀看者的眼睛接收到該代表性的虛擬雙眼像素的一重定向右光訊號及一相對應的重定向左光訊號之後，該觀看者在該第二深度感知到該代表性的虛擬雙眼像素，而該第二深度與該重定向右光訊號及該相對應的重定向左光訊號之間的一角度有關。
該即時影像的光束也可以經過該右分光鏡140及左分光鏡145通向該觀看者的眼睛。因此，在一定程度上，該即時影像模組及該虛擬影像模組共享該右分光鏡140及該左分光鏡145。在一實施例中，原先安裝在該即時影像模組中與其他觀看者共享即時影像的該分光鏡可以旋轉一適當的角度，以便將從該虛擬影樣模組產生的光訊號重定向至該觀看者的眼睛。
如圖1B及1C所示，該虛擬影像模組160可以進一步包括一右焦點調整單元182，位於該右光訊號產生器170(或右準直儀180，如果有的話)及右分光鏡140之間；以及一左焦點調整單元187，位於該左光訊號產生器175(或左準直儀185，若有的話)及左分光鏡145之間，以改善該虛擬影像對該觀看者的清晰度。該右/左焦點調整單元可包含光學單元，如不同種類的鏡片，包括凸透鏡。在一實施例中，一凸透鏡作為焦點調整單元，可以調整它與該光訊號產生器之間的距離以改變光束的焦點位置。假設該光訊號產生器與該分光鏡之間的距離不變，光束的焦點位置越接近視網膜，該觀看者看見的虛擬影像就越清晰。由於觀看者眼睛的眼軸長度可能不同，因此光束的最佳焦點位置，以及光訊號產生器與焦點調節單元之間的距離也會隨之變化。換句話說，若該觀看者眼軸長度較長，該焦點調整單位需要距離該光訊號產生器更遠，使該光束的焦點位置更靠近該觀看者的視網膜。若備有準直儀，則該焦點調整單元位於該準直儀與該分光鏡之間。在通過該準直儀過後，來自該光訊號產生器的光束會變得大致平行，接著在通過該焦點調整單元後匯聚在一起。此外，因為該焦點調整單元不會改變光束的入射角，所以該虛擬影像的深度並沒有影響。
如圖1C部分所示，該虛擬影像模組160可以進一步包括一右準直儀180及一左準直儀，以縮小數條光訊號的光束，舉例來說，使運動方向在特定方向上變得更加一致或是使光束的空間截面變小。該右準直儀180可以設置在該右光訊號產生器170及該右分光鏡140之間；該左準直儀180可以設置在該左光訊號產生器175之間。該準直儀可以為一彎曲的鏡子或透鏡。
此外，該虛擬影像模組160可以包含一控制模組190，用於控制該右光訊號產生器170及該左光訊號產生器175的虛擬影像訊號。該控制模組190與該虛擬影像模組160通信連接，以調整該右光訊號及相對應的該左光訊號，從而可以根據該即時影像的變動自動修改該虛擬影像，以在該即時影像上疊加該虛擬影像。該即時影像的變動包括視角、放大率或是位置的變動。舉例來說，當該即時影像的放大率調整時(例如從三倍至十倍)，該控制模組190將處理該影像訊號，將該虛擬影像放大到相同的尺寸，並用該第一定位標記使該虛擬影像可以繼續疊加在該即時影像上。雖然該控制模組190包含一或多個處理器，但對於複雜訊號處理，該控制模組190可以使用一外部伺服器250進行計算。
該虛擬影像模組可以儲存在一記憶體模組195中。在一實施例中，該虛擬影像為該物體處理過的影像，例如該物體的X光圖、超音波圖、CT圖或MRI圖，在感興趣的區域有一些標記或重點。該虛擬影像可以進一步包括一些文字資訊及用於指導或解釋的標記。舉例來說，該虛擬影像可以為預先拍攝且處理過的病人的視網膜影像，上面有要用雷射封住的出血血管的標記。該系統100可以將該虛擬影像疊加在來自一裂隙燈顯微鏡的同一視網膜的即時影像上。該控制模組190可以檢索儲存在該記憶體模組195的該虛擬影像，並在必要的時候讓該右光訊號產生器170及該左光訊號產生器175產生虛擬影像訊號。
如圖2所示，除了該即時影像模組110及該虛擬影像模組160，該系統100可以進一步包含一紀錄模組210，以記錄該即時影像及該虛擬影像；一物體量測模組220，用於量測該物體的位置及深度；一手術模組230，用於在該物體上進行手術；以及一使用者介面240，使該觀看者可以與該系統100中的各種模組溝通並控制該系統100的各種功能。該系統100的所有模組之間可以透過有線或無線的方式進行溝通。無線的方法可以包括WiFi、藍芽、近場通訊(NFC)、網路、電信、無線電波等等。該即時影像模組110、該虛擬影像模組160及該紀錄模組210可以透過光束及光訊號進行光學通信。該觀看者可以透過該系統100觀察該即時影像及該虛擬影像，並透過與該使用者介面240進行物理上的互動控制該系統100。該系統100可以與該物體105進行光學通信，例如接收從物體反射或發射的光束，並將該光束投射在物體上。該系統可以與該物體105進行物理上的互動，例如對該物體進行雷射手術。
如上所述，該系統100可進一步包括一紀錄模組210，以紀錄該即時影像及/或該虛擬影像。在一實施例中，該紀錄模組210可以放在該右分光鏡140及該左分光鏡145以記錄該即時影像，即在手術中分別由該右分光鏡與該左分光鏡反射，來自該物體的光束。該紀錄模組210可以包括一數位相機或一光耦合裝置(CCD)以擷取影像。在另一實施例，該紀錄模組210會位於目鏡旁邊以記錄通過目鏡但還未到達該觀察者眼睛的光束，其中包括形成該即時影像與該虛擬影像的光束。該紀錄模組210可與該控制單元連接，以直接紀錄該虛擬影像訊號及相關的資訊及參數，以供往後顯示。
如上所述，該系統100可以進一步包括一物體量測模組220，以量測一物體的位置或深度。與該系統連接的該物體量測模組220可以連續或定期量測該物體相對於該物體量測模組(或該觀看者)的位置及深度，並將相關訊息傳送給該虛擬影像模組以調整該虛擬影像。根據接收到的資訊，該控制模組190會根據更新後該物體相對於該物體量測模組及該觀看者的位置處理該虛擬影像訊號。因此，該虛擬影像可以維持疊加在該即時影像上。該物體105及該物體量測模組220(或觀察者的眼睛)之間的距離或相對位置可能會隨著時間改變。在一情況中，該物體105，例如人體的一部份—眼球，可能會在手術期間移動。在另一情況中，該系統100可能由一觀看者(如外科醫生)穿戴，則該觀看者在手術中可能會移動他的頭。因此，為了維持該虛擬影像疊加在該即時影像上，需要量測並計算該物體105與該觀看者眼睛之間的該相對位置及距離。該物體量測模組220可以包括一陀螺儀、室內/室外全球定位系統(GPS)、以及一距離量測元件(即發射器與感應器)以精確追蹤該物體105的相對位置與深度變化。
如上所述，該系統100可以進一步包括一手術模組230，在物理上對該物體105進行手術。該手術模組230可以包括一雷射，用於移除組織或封住出血的血管；以及/或一手術刀，用於切割組織。該手術模組230可以與該即時影像模組110配合，將該雷射及/或手術刀定位在該觀看者(即一外科醫生)在該即時影像中所感興趣的點。
如上所述，該系統100可以進一步包括一使用者介面，讓該觀看者可以控制該系統100的各種功能，例如該真實物體的放大率、該虛擬影像的該第二位置與該第二深度、該焦點調整單元、該紀錄模組210、該物體量測模組220等等。該使用者介面140可藉由踏板、鍵盤、滑鼠、旋鈕、開關、手寫筆、按鈕、棍子、觸控螢幕等形式，透過聲音、手勢、手指/腳的運動等方式操作。該使用者介面藉由有線或無線的方式跟該系統100的其他模組(包括該即時影像模組110、該虛擬影像模組160、該紀錄模組210、該物體紀錄模組220、及該手術模組230)溝通。無線的方法可以包括WiFi、藍芽、近場通訊(NFC)、網路、電信、無線電波等等。該觀看者可以使用該使用者介面240，如控制一桿子，移動一游標至該即時影像上感興趣的點，接著使用該使用者介面240，如踩一踏板，向對應到該物體105的感興趣的點啟動雷射以移除該組織或封住一出血的血管。
在一實施例中，該系統100可以為手術或診斷用的一AR顯微鏡，例如一AR檢眼鏡及一AR裂隙燈。圖3A說明一包含一使用者介面踏板320的固定AR手術顯微鏡310的案例。圖3B說明一可攜式AR手術顯微鏡350的案例，一頭戴式裝置，其中包含一即時影像模組370及一虛擬影像模組360。該即時影像模組與該虛擬影像模組360相連但可以分開。
如圖4所示，該物體105、由該即時影像模組110所產生的該即時影像115、以及由該虛擬影像模組160產生的該虛擬影像165，可能有不同的位置及深度。在該實施例中，該虛擬影像165為該物體105處理過的部分影像。該虛擬影像模組160可以只產生該物體中感興趣的部分作為該虛擬影像。該物體的影像可能會被截取並處裡，例如由人工智能(AI)模組處理，以便在很短的時間內，例如一秒鐘內產生該虛擬影像。
如上所述，根據解析度的不同，該物體105、該即時影像115、以及該虛擬影像165在概念上或實際上可以包括大量的像素，例如921600個像素(1280x720矩陣)。在本實施例中，該物體105、該即時影像115、以及該虛擬影像165的位置及深度分別由相對應第一定位標記的位置及深度來表示。深度是根據該目鏡152與該物體105、或該即時影像115、或該虛擬影像165之間的距離來量測的。因此，如圖4所示，該物體105位於物體位置L(o)及物體深度D(o)；該即時影像115，該物體105的放大影像，位於該第一位置L(r)及該第一深度D(r)；以及該虛擬影像165位於該第二位置L(v)及該第二深度D(v)。根據該即時影像模組的光學特性，該即時影像D(r)的深度可能更靠近或更遠離該觀看者的眼睛。在本實施例中，該即時影像的深度D(r)比該物體的深度D(o)更深。然而，在其他實施例中，該即時影像的深度D(r)可能比該物體的深度D(o)更小或大致相同，然後該虛擬影像模組160會在比該即時影像115更靠近該目鏡的深度D(v)產生該虛擬影像165。
如圖4所示，有了L(r)及D(r)的資訊，該系統100的該虛擬影像模組160，透過重疊該虛擬影像中相對應第一定位標記LM1(v)與該即時影像上的第一定位標記LM1(r)，可以將該虛擬影像疊加在該即時影像上。為了更精確的疊加，該系統100的該虛擬影像模組160可以進一步透過重疊該虛擬影像中相對應第二定位標記LM2(v)與該即時影像上的第二定位標記LM2(r)。在另一實施例中，疊加並不僅止於重疊該定位標記的位置，在虛擬影像中相對應第一定位標記的深度可能與在該即時影像中該第一定位標記的深度大致相同。相同地，在虛擬影像中相對應第二定位標記的深度可能與在該即時影像中該第二定位標記的深度大致相同。為了精確並完整疊加一立體虛擬影像在一立體即時影像上，除了該第一定位標記及該第二定位標記，也要選擇該即時影像上的該第三定位標記，接著該虛擬影像模組讓在該虛擬影像中相對應第三定位標記的位置及深度與在即時影像中的該第三定位標記大致相同。
圖5展示了三個影像，分別為一病人的視網膜的即時影像、該視網膜處理過的虛擬影像、以及上述兩個影像的疊加影像。在一實施例中，該病人視網膜的血管攝影影像可能由裂隙燈生物顯微鏡擷取並處理，然後該虛擬影像模組160可以在手術期間使用該處理過的影像作為疊加在該病人視網膜的即時影像上的一虛擬影像，以協助辨認並看見脈絡膜新生血管膜的邊緣。該AR/MR顯微鏡可以大幅促進各種眼科疾病的診斷與治療。
如圖6所示，將一虛擬影像疊加在一即時影像的過程包含了四個步驟。在步驟610，由一觀看者、一專家、一電腦、或該系統100，選擇一即時影像上的一第一點做為一第一定位標記。舉例來說，一觀看者可以一滑鼠或一搖桿去移動一可以從目鏡中看見的游標或指標，以在該即時影像上選擇該第一定位標記。如上所述，一定位標記，包括一第一定位標記、第二定位標記、以及第三定位標記，通常是具有辨識特徵的特殊點，可由該觀看者在該即時影像中輕易辨認，例如中點、兩條特定血管的交叉點。定位標記可以由專家手動定義或是由電腦程式自動定義。有三個基本種類的定義標記：解剖學定位標記、數學定位標記和偽定位標記。一解剖學定位標記為一生物體內具有生物學意義的點。任何解剖學特徵，皺褶、突起、管道、血管等等，會一直存在在組織中，可用來指示特定結構或位置。外科病理學家可利用解剖學定位標記來確認標本的方向。數學定位標記是形狀內的點，根據一些數學上或地理特性所定位，例如，高曲率點或端點。一電腦程式可以使用數學定位標記來進行自動圖形識別。偽定位標記是介於解剖學定位標記及數學定位標記之間的點，一典型的例子是在兩個解剖學定位標記之間有一組等距離的點，以便從一個形狀得到更多樣本點。在形狀配對過程中，當配對過程中需要大量的點時，偽定位標記很有用。一定位標記可以為一像素，也可以由相鄰的數個像素組成。
在步驟620，該物體的一即時影像以一預設的放大率顯示在一第一位置及一第一深度。如上所述，至少有兩種即時影像。第一種即時影像是透過該物體反射或發射光而產生，例如從顯微鏡或望遠鏡看到的影像。在這種情況下，該第一位置及該第一深度可能由該即時影像模組的光學特性決定。該觀看者可以透過目鏡看到該即時影像。第二種即時影像是由一顯示器產生，該顯示器接收由一相機即時拍攝的該物體的影像，例如內視鏡(包括胃鏡、大腸鏡或直腸鏡)顯示器上的影像。該內視鏡可能有兩個位在不同地方的影像擷取裝置，用於拍攝並產生一立體影像。該即時影像可以為一平面影像或一立體影像。步驟610及步驟620可以對調。
在步驟630，該虛擬影像模組可為一特定觀看者進行校正。如上所述，每個觀看者的一些物理特徵，如瞳距，會影響到該觀看者感知相同的該右光訊號及相對應的左光訊號所顯示的該虛擬影像的位置與深度。在一實施例中，該控制模組可以根據該觀看者的瞳距調整該虛擬影像訊號，使該右光訊號產生器170與該左光訊號產生器175可以投射該光訊號至適當的位置與角度，以確保該觀看者在該第二位置及該第二深度感知到該虛擬影像。
在步驟640，該虛擬影像模組藉由分別投射一右光訊號至一觀看者右眼與一相對應的左光訊號至觀看者左眼的方式投射一虛擬影像，讓觀看者看到一位於一位置及一第二深度的該虛擬影像，於是在該虛擬影像上的向對應第一定位標記會與在該即時影像上的該第一定位標記重疊。換句話說，該虛擬影像模組投射一虛擬影像並疊加在該即時影像上。至少在該虛擬影像上的相對應第一定位標記的位置(第二為至)會與在該即時影像上的第一定位標記的位置(第一位置)大致相同。一般來說，根據其解析度，該虛擬影像會被分割為數個虛擬雙眼像素，例如921600個像素(1280x720矩陣)。對於每個投射到該觀看者視網膜的右光訊號及相對應的左光訊號，該觀看者感知到一位於一特定位置及深度的一虛擬雙眼像素。該深度與該右光訊號及相對應的左光訊號之間的角度有關。當在該即時影像上的該第一定位標記位於該第一位置及該第一深度，在該虛擬影像上的相對應該第一定位標記的該虛擬雙眼像素被投射並在該第二位置與及該第二深度被該觀看者感知。為了初始疊加，該虛擬影像上的相對應第一定位標記的位置(第二位置)會設為與該即時影像上的該第一定位標記的位置(第一位置)大致相同，而他們的深度可能不同。這疊加可以由該觀看者手動完成，也可以透過該系統100使用圖形辨識技術完成，包括人工智能(AI)演算法。為了進一步改善疊加品質，該第二深度會設為跟該第一深度大致相同。此外，若該即時影像從該物體的實際尺寸放大，該虛擬影像也需要放大到相同的程度以便疊加。此外，為了進一步提高疊加品質，該虛擬影像的視角需要與該即時影像的視角一致。下面將詳細介紹該光訊號產生器產生的光訊號與該觀看者感知到的深度之間的關係。
在步驟650，如果該即時影像的位置、放大率或視角發生變化，該虛擬影像模組修改該虛擬影像以維持該虛擬影像及該即時影像之間的疊加。該即時影像的位置、放大率及視角的變化可能是因為該觀看者的操作或者是該物體或該觀看者的移動所造成的。該系統100需要不斷監測該即時影像的該第一位置及該第一深度，以及該虛擬影像的該第二位置及該第二深度。一旦該即時影像有甚麼變動，該虛擬影像模組就要修改該虛擬影像以維持該虛擬影像及該即時影像之間的疊加。
如圖7所示，在一即時影像上疊加一虛擬影像的另一過程包含六個步驟。有些步驟與圖6所示的前實施例相同或類似。有些步驟是可選擇且進一步修改的。在步驟710，一第一點、一第二點、一第三點由一觀看者、一專家、一電腦或該系統100分別被選為一第一定位標記、一第二定位標記、一第三定位標記。為了最精確的疊加，這裡使用了三個定位標記。有些手術，像是腦神經手術，需要非常高的精確度，因此需要三個定位標記以確保該虛擬影像完全疊加在該即時影像上。然而，根據需求不同，該過程可能只包含兩個定位標記。步驟720跟步驟620相同，且步驟730跟步驟630相同。步驟740跟步驟640所述的原則相同，然而，該虛擬影像上相對應的該第一定位標記、該第二定位標記及該第三定位標記的位置及深度分別與該即時影像上的該第一定位標記、該第二定位標記及該第三定位標記的位置及深度大致相同。在步驟750，該第一位置及該第一深度會被重複監控並測量，該第一位置及該第一深度會根據由該物體量測模組所測量，該物體相對該物體量測模組(或該觀看者)的位置及深度進行計算。因此，該虛擬影像可以維持疊加在該即時影像上。在步驟760，該觀看者，即外科醫生，會使用雷射或手術刀在該觀看者確定的興趣點上進行手術。
下面將詳細討論該虛擬影像模組160及在該第二位置及該第二深度產生該虛擬影像165的方法，以及依需求移動該虛擬影像的方法。於2020年11月6日提交的PCT國際申請PCT/US20/59317，標題為”SYSTEM AND METHOD FOR DISPLAYING AN OBJECT WITH DEPTHS”，其全部內容通過引用納入本文。如圖8所示，該虛擬影像模組160包括一右光訊號產生器170以產生數條右光訊號如RLS_1,RLS_2,RLS_3分別為12,14,16；一右分光鏡140以接收並重定向該數條右光訊號至一觀看者的右視網膜54；一左光訊號產生器175以產生數條左光訊號如LLS_1,LLS_2,LLS_3分別為32,34,36；一左分光鏡145以接收並重定向該數條右光訊號至該觀看者的左視網膜64。該觀看者有一右眼50，包括一右瞳孔52及一右視網膜54，以及一左眼60，包括一左瞳孔62及一左視網膜64。人類瞳孔的直徑一般在2釐米至8釐米之間，其中部分取決於環境的光量。成年人正常瞳孔大小在明亮環境下約為2至4釐米，在陰暗環境下約為4至8釐米。該數條右光訊號會由該右分光鏡140重定向，通過該右瞳孔52，最後由該右視網膜52接收。該右光訊號RLS_1是指在一特定水平面上，該觀看者的右眼可以看到的最右邊光訊號。該右光信號RLS_2是指在一特定水平面上，該觀看者的右眼可以看到的最左邊光訊號。在接收到該重定向右光訊號後，該觀看者在重定向後的右光訊號RLS_1及RLS_2的延伸部分所包含的區域A中，感知到該物體105的數個右光像素。該區域A被稱為該右眼50的視野(FOV)。同樣的，該數條左光訊號會由該左方光鏡145重定向，通過該左瞳孔62，最後由該左視網膜64接收。該左光信號LLS_1是指在一特定水平面上，該觀看者的左眼可以看到的最右邊光訊號。該左光信號LLS_2是指在一特定水平面上，該觀看者的左眼可以看到的最左邊光訊號。在接收到該重定向左光訊號後，該觀看者在重定向後的左光訊號LLS_1及LLS_2的延伸部分所包含的區域B中，感知到該物體105的數個左光像素。該區域B被稱該左眼60的視野。當兩邊的數個右像素及數個左像素在區域A及區域B的重疊部分區域C中顯示時，至少一顯示一右像素的右光訊號以及其相對應顯示一左像素的左光訊號會融合，並在區域C的一特定深度顯示一虛擬雙眼像素。該深度與投射到觀看者視網膜的重定向右光訊號及重定向左光訊號之間的角度有關，該角度也被稱為輻輳角。
如圖8及圖9所示，該觀看者在該觀看者前方的區域C感知到帶有數個深度的大腦物體105的一虛擬影像。該大腦物體105的影像包括顯示在一第一深度D1的一第一虛擬雙眼像素72，以及顯示在一第二深度D2的一第二虛擬雙眼像素74。在該第一重定向右光訊號16’與相對應的該第一重定向左光訊號26’之間的該第一角度為Ɵ1。該第一深度D1跟該第一角度Ɵ1有關。特別是，該物體105的第一虛擬雙眼像素的第一深度可以由該第一重定向右光訊號及相對的該第一重定向左光訊號光線延伸路徑之間的第一角度Ɵ1所決定。結果，該第一虛擬雙眼像素72的該第一深度D1可以由下列公式算出近似值
Figure 02_image001
該右瞳孔52與該左瞳孔62之間的距離為瞳距(IPD)。相同的，該第二重定向右光訊號18’與相對應的該第二重定向左光訊號38’之間的該第二角度為Ɵ2。該第二深度D1跟該第二角度Ɵ2有關。特別是，該物體105的第二虛擬雙眼像素的第二深度D2可以透過相同公式，由該第二重定向右光訊號及相對的該第一重定向左光訊號光線延伸路徑之間的第二角度Ɵ2所決定。因為該第二虛擬雙眼像素74跟該第一虛擬雙眼像素72，在距離該觀看者較遠的地方被感知(深度較大)，該第二角度Ɵ2會比該第一角度Ɵ1小。
此外，雖然RLG_2的該重定向右光訊號16’與LLS_2的該重定向左光訊號36’共同在該第一深度D1顯示一第一虛擬雙眼像素72，RLG_2的該重定向右光訊號16’可能會和相對應的LLS_2的該重定向左光訊號36’有相同或不同的視角。換句話說，雖然該第一角度Ɵ1決定該第一虛擬雙眼像素72的深度，但RLG_2的該重定向右光訊號16’與相對應的LLS_2的該重定向左光訊號36’可能有視差。因此，紅綠藍(RGB)色光的強度及/或該右光訊號及該左光訊號的亮度可以大致相同，也可以因為陰影、視角等等的關係而有些許不同，以達到更好的3D效果。
如上所述，該數條右光訊號是由該右光訊號產生器產出、由該右分光鏡重定向、接著由該右視網膜掃描後，在該右視網膜上形成一右視網膜影像。同樣地，該數條左光訊號是由該左光訊號產生器產出、由該左分光鏡重定向、接著由該左視網膜掃描後，在該左視網膜上形成一左視網膜影像。如圖9所示之一實施例，一右視網膜影像80包含36個右像素(6x6矩陣)且一左視網膜影像90也包含36個左像素(6x6矩陣)。在另一實施例中，一右視網膜80包含921600個右像素(1280x720矩陣)且一左視網膜影像也包含921600個左像素(1280x720矩陣)。該虛擬影像模組160用來產生數條右光訊號及相對應的數條左光訊號，這些訊號分別在右視網膜上形成該右視網膜影像，且在該左視網膜上形成左視網膜影像。結果，該觀看者因為影像融合而在區域C感知到一具有特定深度的虛擬物體。
參考圖9，來自該右光訊號產生器170的該第一右光訊號16被該右分光鏡140接收並反射。該第一重定向右光訊號16’穿過該右瞳孔52到達該觀看者的該右視網膜並顯示該右像素R43。來自該左光訊號產生器175的該相對應的左光訊號36被該左分光鏡145接收並反射。該第一重定向左光訊號36’穿過該左瞳孔62到達該觀看者的該左視網膜並顯示該左像素L33。作為影像融合的結果，一觀看者感知到一個具有數個深度的該虛擬物體，其深度是由該數條重定向右光訊號及相對應的該數條重定向左光訊號之間的角度而決定。一重定向右光訊號與一相對應左光訊號之間的角度是由該右像素與該左像素之間的相對水平距離決定的。因此，一虛擬雙眼像素的深度跟形成該虛擬雙眼像素的該右像素及相對應的該左像素之間的水平距離成反比。換句話說，該觀看者感知到的一虛擬雙眼像素越深，形成該虛擬雙眼像素的該右像素與左像素之間X軸的水平距離越小。舉例來說，如圖9所示，該觀看者感知到的該第二虛擬雙眼像素74比該第一虛擬雙眼視覺像素72更深(也就是比該觀看者更遠)。因此，在視網膜影像上，該第二右像素與該第二左像素之間的水平距離會比該第一右像素與該第一左像素之間的水平距離更小。具體來說，形成該第二虛擬雙眼像素的該第二右像素R41與該第二左像素L51之間的水平距離為四個像素長。然而，形成該第一虛擬雙眼像素的該第一右像素R43與該第一左像素L33之間的水平距離為六個像素長。
如圖10所示之一實施例，說明了來自光訊號產生器的數條右光訊號及數條左光訊號的光線路徑。該數條右光訊號由該右光訊號產生器170產生並向該右分光鏡140投射並形成一右分光鏡影像(RSI)82。該數條右光訊號由該右分光鏡140重定向並匯聚為一微小右瞳孔影像(RPI)84穿過該右瞳孔52，最終到達該右視網膜54並形成一右視網膜影像(RRI)86。RSI, RPI, RRI皆由ixj個像素組成。每個右光訊號RLS(i,j)都會經過相對應的像素，從RSI(i,j)到RPI(i,j)、接著到RRI(x,y)。舉例來說，RLS(5,3)會從RSI(5,3)到RPI(5,3)，再到RRI(2,4)。相同地，該數條左光訊號由該左光訊號產生器175產生並向該左分光鏡145投射並形成一左分光鏡影像(LSI)92。該數條左光訊號由該左分光鏡145重定向並匯聚為一微小左瞳孔影像(LPI)94穿過該左瞳孔62，最終到達該左視網膜64並形成一左視網膜影像(LRI)96。LSI, LPI, LRI皆由 ixj 個像素組成。每個左光訊號LLS(i,j)都會經過相對應的像素，從LSI(i,j)到LPI(i,j)、接著到LRI(x,y)。舉例來說，ALS(3,1)會從LSI(3,1)到LPI(3,1)，再到LRI(4,6)。(0,0)像素是每個影像最左上方的像素。視網膜影像中的像素跟分光鏡影像中相對應的像素為左右相反且上下顛倒的。在該光訊號產生器及分光鏡的相對位置都已經安排好的情況下，每個光訊號都有其自己從一光訊號產生器到一視網膜的光線路徑。在右視網膜上顯示一右像素的一右光訊號及相對應的在左視網膜上顯示一左像素的一左光訊號會共同形成一帶有特定深度的虛擬雙眼像素，並由一觀看者感知。因此，一在空間中的虛擬雙眼像素可以由一對右視網膜像素及左視網膜像素或是一對右分光鏡像素及左分光鏡像素表示。
一觀看者在區域C中感知到一虛擬物體可能包括數個虛擬雙眼像素。為了可以精確地描述一虛擬雙眼像素在空間中的位置，每個空間中的位置都會有一個立體座標，例如XYZ座標，其他立體座標系統可以用在其他實施例中。於是，每個虛擬雙眼像素都有一個立體座標：一水平方向、一垂直方向以及一深度方向。水平方向(或X軸方向)是沿著瞳孔間線的方向；垂直方向(或Y軸方向)沿著臉部中線的方向並垂直於水平方向；深度方向(或Z軸方向)是指正平面的法線並與水平方向及垂直方向皆垂直。水平方向座標與垂直方向座標在本發明中被統稱為位置。
圖11說明該右分光鏡影像中的像素、該左分光鏡影像中的像素、以及該虛擬雙眼像素之間的關係。如上所述，該右分光鏡影像中的像素每個都與該右視網膜影像中的像素(右像素)相對應。該左分光鏡影像中的像素每個都與該左視網膜影像中的像素(左像素)相對應。然而，該視網膜影像中的像素與相對應在分光鏡影像中的像素左右相反且上下顛倒。然而，如果該系統100有目鏡152,154，該分光鏡影像中的像素與相對應的該視網膜影像中的像素可以進一步因目鏡的光學特性而修改。對於一由36個(6x6)右像素組成的右視網膜影像與一由36個(6x6)左像素組成的左視網膜影像，假設所有光訊號都在該觀看者兩隻眼睛的視野(FOV)內，則在區域C中有216個(6x6x6)虛擬雙眼像素(顯示為一點)。一重定向右光訊號的光線延伸路徑會與該影像中同一排的所有重定向左光訊號的光線延伸路徑相交。同樣地，一重定向左光訊號的光線延伸路徑會與該影像中同一排的所有重定向右光訊號的光線延伸路徑相交。因此，一層會有36個(6x6)虛擬雙眼視覺而空間中一共有六層。雖然在圖11中看起來像是平行線，但是相鄰兩條光線延伸路徑相交並形成虛擬雙眼像素代表他們之間有一小角度。在視網膜中大約相同高度的一右像素及相對應的一左像素(即在右視網膜影像與左視網膜影像的同一行)通常會更早融合。因此，右像素與在視網膜影像同一行的左像素配對，並形成虛擬雙眼像素。
如圖12所示，創造了一查詢表以方便識別每一虛擬雙眼像素的右像素及左像素對。舉例來說，216個虛擬雙眼像素由36個右像素及36個左像素組成，編號從1至216。該第一(1st)虛擬雙眼像素VBP(1)代表右像素RRI(1,1)及左像素LRI(1,1)。該第二(2nd)虛擬雙眼像素VBP(2)代表右像素RRI(2,1)及左像素LRI(1,1)。該第七(7th)虛擬雙眼像素VBP(7)代表右像素RRI(1,1)及左像素LRI(2,1)。該第三十七(37th)虛擬雙眼像素VBP(37)代表右像素RRI(1,2)及左像素LRI(1,2)。該第兩百一十六(216th)虛擬雙眼像素VBP(216)代表右像素RRI(6,6)及左像素LRI(6,6)。因此，為了向該觀看者顯示一虛擬物體在空間中的一特定虛擬雙眼像素，需要確定那一對右像素及左像素可以用來產生相對應的右光訊號及左光訊號。此外，在查詢表中一虛擬雙眼像素的每一行包括一指標，該指標導向儲存該VBP的感知深度(z)及感知位置(x,y)的記憶體位址。額外的訊息也可以儲存在VBP，例如尺寸比例、重疊物品的數量、以及序列深度。尺寸比例為特定VBP與標準VBP相比的相對大小資訊。舉例來說，該虛擬物體顯示在該觀看者面前一公尺處的該標準VBP時，尺寸比例可以設為1。因此，對於在該觀看者前面90公分的該特定VBP，該尺寸比例可以設為1.2。同樣地，對於在該觀看者前面1.5公尺的特定VBP，該尺寸比例可以設為0.8。當該虛擬物體從一第一深度移動到第二深度時，尺寸比例可以用來決定該虛擬物體顯示的尺寸。尺寸比例在本發明中可以為放大率。重疊物品的數量為因重疊而部分或完全被其他物品覆蓋的物品數量。序列深度包含各個重疊影像的深度排序。舉例來說，有三個影像相互重疊。在最前面的該第一影像的序列深度設為1，而被該第一影像覆蓋的該第二影像的序列深度設為2。重疊影像的數量與序列深度是用來決定當各種重疊物品移動時，該顯示哪個影像及該影像的哪個部分。
該查詢表由下列步驟創造。第一步驟：根據該觀察者IPD獲得一個人虛擬地圖，該虛擬地圖是由該虛擬影像模組在啟動或校正時創建，它指定了區域C的邊界，在該邊界中該觀察者可以因為右視網膜影像及左視網膜影像的融合而感知到一帶有深度的虛擬物體。第二步驟：對於Z軸方向上的每個深度(Z軸上的每個點)計算輻輳角度，以確定該右視網膜影像及該左視網膜影像上的一對右像素及左像素，無論其X座標與Y座標。第三步驟：沿X軸方向移動該對右像素及左像素，以確定每對在一特定深度的右像素及左像素的X座標及Z座標，無論其Y座標。第四步驟：沿Y軸方向移動該對右像素及左像素，以確定每對右像素及左像素的Y座標。因此，可以確定該右視網膜影像及該左視網膜影像上的每對右像素及左像素的三維座標系，如XYZ，以建立該查詢表。此外，第三步驟跟第四步驟可以互換。
該光訊號產生器170及175可以為雷射、發光二極體(LED)，包含mini LED及 micro LED、有機發光二極體(OLED)、或超輻射發光二極體(SLD)、矽基液晶(LCoS)、液晶顯示器(LCD)，或其任何組合作為其光源。在一實施例中，該光訊號產生器170及175為一雷射掃描投影器(LBS projector)，該投影器由一光源(包括一紅光雷射、一綠光雷射及一藍光雷射)、一色彩修飾物(例如雙色合光鏡及偏振合光鏡)、以及一二維可調式反光鏡(例如一二維微機電系統鏡)。該二維可調式反射鏡可以由兩個一維反射鏡取代，例如兩個一維微機電系統(MEMS)鏡。該LBS投影器依序產生並掃描光訊號以在一預設解析度下形成一二維影像，例如每幀1280x720像素。因此，該投影器產生一像素的一光訊號並一次性投射到該分光鏡140及145上。為了讓一觀看者的一眼能夠看到該平面影像，該LBS投影器需要在視覺暫留時間內(例如1/18秒)依序產生每個像素的光訊號(例如1280x720個光訊號)。因此，每個光訊號的持續時間約為60.28奈秒。
在另一實施例中，該光訊號產生器170及175可為一數位光處理投影器(DLP projector)，該投影器可以一次產生一平面彩色影像。德州儀器的DLP技術為可以用來製造DLP投影器的數個技術之一。該完整平面彩色影像(可能由1280x720個像素所組成)會同時投射至該分光鏡140及145上。
該分光鏡140,145接收並重定向由該光訊號產生器170,175所產生的數條光訊號。在一實施例中，該分光鏡20,40反射該數條光訊號，所以該重定向光訊號與該入射光訊號在同一側。在另一實施例中，該分光鏡140,145折射該數條光訊號，所以該重定向光訊號與該入射光訊號在該分光鏡的不同側。當該分光鏡140,145作為一折射鏡，其反射率變動很大，如20%至80%，部分取決於該光訊號產生器的功率。在該領域有通常知識者知道如何根據該光訊號產生器及該分光鏡的特性決定適當的反射率。此外，該分光鏡140,145在入射光訊號另一側的環境光下為光學透明的，所以該觀看者可以在同一時間看到該即時影像。根據其應用不同，透明度的變動範圍很大。若是應用在AR/MR，其透明度最好大於50%，例如在一實施例中約為75%。除了重定向該光訊號，該焦點左單元182,187可以匯聚該數條光訊號，讓其可以通過瞳孔並到達該觀看者雙眼的視網膜。
該分光鏡140,145可以由眼鏡或像透鏡一樣的塑膠材料製成，塗上特定材質(例如金屬)讓它部分透明且部分反射。使用一反射分光鏡將光訊號導向該觀看者眼睛，而非現有技術中的導波器的一個優點為消除不良的繞射效應，例如重影、色彩置換等等。
上述所提供之實施例的描述是為了使所屬領域具有通常技術者得以製造並使用本發明。對該實施例的各種修改對於所屬領域具有通常技術者是顯而易見的，並且此處確定的基本原理不需要創造性勞動便可以應用於其他實施例。因此，本所要求的主題不僅限於此處展示的實施例，而是要符合與此處公開的原理及新穎特徵一致的最廣範圍。可以預想其他的實施例也在本發明所揭露的精神及範圍內。因此，本發明意旨為涵蓋屬於所附的專利請求項及其等同物的範圍內的修改及變化。
12:右光訊號 12’:重定向右光訊號 14:右光訊號 14’:重定向右光訊號 16:右光訊號 16’:重定向右光訊號 100:系統 105:物體 110:即時影像模組 115:即時影像 120:放大組件 125:光學單元及組件 130:稜鏡組件 140:右分光鏡 145:左分光鏡 150:觀測管 152:目鏡 154:目鏡 160:虛擬影像模組 170:右光訊號產生器 175:左光訊號產生器 182:右焦點調整單元 187:左焦點調整單元 190:控制模組 195:記憶體模組 210:紀錄模組 220:物體量測模組 230:手術模組 240:使用者介面 250:伺服器 32:左光訊號 32’:重定向左光訊號 34:左光訊號 34’:重定向左光訊號 36:左光訊號 36’:重定向左光訊號 310:固定AR手術顯微鏡 320:使用者介面踏板 350:可攜式AR手術顯微鏡 360:虛擬影像模組 370:即時影像模組 50:右眼 52:右瞳孔 54:右視網膜 60:左眼 62:左瞳孔 64:左視網膜 610:步驟 620:步驟 630:步驟 640:步驟 650:步驟 72:第一虛擬雙眼像素 74:第二虛擬雙眼像素 76:第二虛擬雙眼像素 710:步驟 720:步驟 730:步驟 740:步驟 750:步驟 760:步驟 82:右合光元件影像 84:右瞳孔影像 86:右視網膜影像 92:左合光元件影像 94:左瞳孔影像 96:左視網膜影像 ϴ1:第一角度 ϴ2:第二角度 D1:第一深度 D(o):物體深度 D(r):即時影像深度 D(v):虛擬影像深度 Fo:光學組件焦點 Fe:目鏡焦點 h:物體高度 h1:即時影像高度 hm:放大物體影像高度 L1:點 L2:點 L3:點 LM1(r):即時影像上的第一定位標記 LM1(v):虛擬影像中相對應第二定位標記 LM2(r):即時影像上的第一定位標記 LM2(v):虛擬影像中相對應第二定位標記 R1:點 R2:點 R3:點 VBP1:第一虛擬雙眼像素 VBP7:第七虛擬雙眼像素 VBP216:第二百一十六虛擬雙眼像素
圖1A為一示意圖，說明本發明中一系統的一實施例。 圖1B為一示意圖，說明本發明中一系統的另一實施例。 圖1C為一示意圖，說明本發明中一系統的一虛擬影像模組中的一準直儀。 圖2為一方塊圖，說明本發明中帶有各種模組的一系統的一實施例。 圖3A及3B為示意圖，說明本發明中一系統的可能實施例。 圖4為一示意圖，說明本發明中一物體、一即時影像及一虛擬影像之間的關係。 圖5為照片，說明本發明中在一即時影像上疊加一視網膜的一虛擬影像。 圖6為一流程圖，說明本發明中在一即時影像上疊加一虛擬影像的過程的一實施例。 圖7為一流程圖，說明本發明中在一即時影像上疊加一虛擬影像的過程的另一實施例。 圖8為一示意圖，說明本發明中一虛擬影像模組的一實施例。 圖9為一示意圖，說明本發明中一虛擬雙眼像素及相對應的該右像素及左像素對之間的關係。 圖10為一示意圖，說明本發明中從一光訊號產生器至一分光鏡，再到一觀看者的一視網膜的光線路徑。 圖11為一示意圖，說明本發明中由右光訊號及左光訊號形成的該虛擬雙眼像素。 圖12為一表格，說明本發明中一查詢表的一實施例。
50:右眼
60:左眼
105:物體
110:即時影像模組
140:右分光鏡
145:左分光鏡
160:虛擬影像模組
170:右光訊號產生器
175:左光訊號產生器

Claims (28)

  1. 在即時影像上疊加一虛擬影像的一系統，包括： 一即時影像模組，包含一放大組件，用於以一預設放大率在一第一位置及一第一深度產生一即時影像；以及 一虛擬影像模組，透過分別投射一右光訊號至一觀看者右眼及投射一相對應左光訊號至一觀看者左眼，以產生一虛擬影像，該右光訊號及該相對應左光訊號在一第二位置及一第二深度顯示該虛擬影像，該虛擬影像疊加在該即時影像上； 其中該第二深度與投射到該觀看者眼睛的該右光訊號及該相對應左光訊號之間的一角度有關。
  2. 如請求項1中所述的該系統，其中該第二深度跟該第一深度大致相同。
  3. 如請求項1中所述的該系統，其中該即時影像是由該物體反射或發射光線而產生。
  4. 如請求項1中所述的該系統，其中該虛擬影像為一該物體處理過的影像。
  5. 如請求項1中所述的該系統，其中該放大率是可調的。
  6. 如請求項1中所述的該系統，其中當該放大率被調整時，該虛擬影像的尺寸會隨之調整。
  7. 如請求項1中所述的該系統，其中該即時影像中的一第一點被選為一第一定位標記，藉由在該即時影像的該第一定位標記上重疊該虛擬影像的一相對應第一定位標記，以達到在該即時影像上疊加該虛擬影像。
  8. 如請求項7中所述的該系統，其中該即時影像中的一第二點被選為一第二定位標記，藉由在該即時影像的該第二定位標記上重疊該虛擬影像的一相對應第二定位標記，以達到在該即時影像上疊加該虛擬影像。
  9. 如請求項1中所述的該系統，其中該虛擬影像模組為了該觀看者進行校正，使該觀看者可以感知到顯示在該第二位置及該第二深度的該虛擬影像。
  10. 如請求項1中所述的該系統，其中該虛擬影像模組進一步包括一控制模組，以處理該右光訊號及該相對應左光訊號，並根據該即時影像的變動修改該虛擬影像並將該虛擬影像疊加在該即時影像上。
  11. 如請求項10中所述的該系統，其中該即時影像的變動包括視角、放大率以及位置的變動。
  12. 如請求項1中所述的該系統，進一步包括： 一使用者介面，用於讓該觀看者控制該虛擬影像的該第二位置及該第二深度。
  13. 如請求項1中所述的該系統，進一步包括： 一物體量測模組，用於量測該物體的一位置及一深度。
  14. 如請求項1中所述的該系統，其中該虛擬影像模組進一步包括一焦點調整單元，用於提高該觀看者對該虛擬影像的清晰度。
  15. 如請求項1中所述的該系統，進一步包括： 一紀錄模組，用於紀錄該即時影像與該虛擬影像兩者或其中之一。
  16. 如請求項1中所述的該系統，進一步包括： 一手術模組，用於對該物體進行手術。
  17. 如請求項1中所述的該系統，其中該虛擬影像模組進一步包括一右光訊號產生器，以產生數條右光訊號；以及一左光訊號產生器，以產生數條左光訊號，使該觀看者能感知到該虛擬影像。
  18. 如請求項17中所述的該系統，其中該虛擬影像模組進一步包括一右分光鏡，以重定向數條該右光訊號至該觀看者一眼；以及一左分光鏡，以重定向數條該左光訊號至該觀看者另一眼。
  19. 如請求項18中所述的該系統，其中該即時影像模組及該虛擬影像模組共用該右分光鏡及該左分光鏡。
  20. 如請求項1中所述的該系統，其中該虛擬影像模組進一步包括可以戴在該觀看者頭上的一支撐架構； 其中該右光訊號產生器及該左光訊號產生器由該支撐結構乘載；以及 其中該右分光鏡及該左分光鏡由該支撐架構乘載，並位於該觀看者的視野中。
  21. 如請求項20中所述的該系統，其中該即時影像模組與該虛擬影像模組相連但可以分開。
  22. 一種產生一帶有深度的虛擬影像的一虛擬影像模組，包括： 一右光訊號產生器，緊靠在該即時影像模組的右部，用於產生數個右光訊號，該訊號由該即時影像模組的右分光鏡重定向至一觀察者的一視網膜；以及 一左光訊號產生器，緊靠在該即時影像模組的左部，用於產生數個左光訊號，該訊號由該即時影像模組的左分光鏡重定向至該觀察者的另一視網膜； 其中一第一重定向右光訊號及一相對應第一重定向左光訊號由該觀看者感知，並在一深度顯示該虛擬影像，該深度跟該第一重定向右光訊號及該相對應第一左光訊號之間的一角度有關。
  23. 一種在一即時影像上疊加一虛擬影像的一方法，包括： 在該即時影像中選擇一第一點為一第一定位標記； 在一第一位置及一第一深度以一預設放大率顯示該即時影像； 透過分別投射一右光訊號至一觀看者的右眼並投射一相對應左光訊號至一觀看者左眼，以投射一虛擬影像，該右光訊號及該相對應左光訊號由該觀看者感知並在一第二位置及一第二深度顯示該虛擬影像； 其中該虛擬影像為該物體處理過的一影像； 其中該第二深度與投射到該觀看者眼睛的該右光訊號及該相對應左光訊號之間的一角度有關；以及 其中該虛擬影像透過將該虛擬影像的相對應第一定位標記重疊在該即時影像的第一定位標記上，使該虛擬影像疊加在該即時影像上。
  24. 如請求項23中所述的該方法，其中該第二深度與該第一深度基本相同。
  25. 如請求項23中所述的該方法，進一步包括： 在該即時影像中選擇一第二點為一第二定位標記； 其中該虛擬影像透過將該虛擬影像的相對應第二定位標記重疊在該即時影像的第二標記定位上，使該虛擬影像疊加在該即時影像上。
  26. 如請求項23中所述的該方法，進一步包括： 調整放大率，使該即時影像及該虛擬影像都被放大，且該虛擬影像的該相對應第一定位標記仍在同一深度疊加在該即時影像的該第一定位標記上。
  27. 如請求項23中所述的該方法，進一步包括： 重複監控並測量該虛擬影像的該第一位置及該一深度以維持該虛擬影像疊加在該即時影像上。
  28. 如請求項23中所述的該方法，進一步包括： 在該物體上進行手術。
TW110130182A 2020-08-14 2021-08-16 疊合虛擬影像於即時影像的系統與方法 TWI851916B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063065506P 2020-08-14 2020-08-14
US63/065,506 2020-08-14
US202063085172P 2020-09-30 2020-09-30
US63/085,172 2020-09-30

Publications (2)

Publication Number Publication Date
TW202215370A true TW202215370A (zh) 2022-04-16
TWI851916B TWI851916B (zh) 2024-08-11

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI843315B (zh) * 2022-12-05 2024-05-21 中華電信股份有限公司 在擴增實境中融合環景影像之方法及執行該方法之電腦程式產品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI843315B (zh) * 2022-12-05 2024-05-21 中華電信股份有限公司 在擴增實境中融合環景影像之方法及執行該方法之電腦程式產品

Also Published As

Publication number Publication date
US20220413293A1 (en) 2022-12-29
US20230333389A1 (en) 2023-10-19
JP2023539962A (ja) 2023-09-21
EP3984016A1 (en) 2022-04-20
US11822089B2 (en) 2023-11-21
TW202418223A (zh) 2024-05-01
WO2022036302A1 (en) 2022-02-17
US20240168298A1 (en) 2024-05-23
US11698535B2 (en) 2023-07-11
EP3984016A4 (en) 2023-09-06
CN114365214A (zh) 2022-04-15
US12099200B2 (en) 2024-09-24

Similar Documents

Publication Publication Date Title
US12002171B2 (en) Surgeon head-mounted display apparatuses
US20210169606A1 (en) Surgical visualization systems and displays
US20190043238A1 (en) Combining video-based and optic-based augmented reality in a near eye display
US12099200B2 (en) Head wearable virtual image module for superimposing virtual image on real-time image
JP2017524281A (ja) 媒介現実の外科用視覚化のためのシステム及び方法
WO1999020056A1 (en) Stereo optic disc analyser
TWI825891B (zh) 用於真實空間導航的擴增實境系統以及使用該系統的手術系統
JP2007527249A (ja) リアルタイム画像又は静止画像の立体視システム
JPH10505431A (ja) 外科用途をはじめとする、実物に重ねる３次元仮想画像の視覚化のための光学装置
US12048485B2 (en) Surgery 3D visualization apparatus
TWI851916B (zh) 疊合虛擬影像於即時影像的系統與方法
US12121308B2 (en) Augmented reality system for real space navigation and surgical system using the same
JP2009213519A (ja) 画像処理方法および画像処理装置