TW201932914A - 具有主動對準的增強現實顯示裝置及其對準方法 - Google Patents

具有主動對準的增強現實顯示裝置及其對準方法 Download PDF

Info

Publication number
TW201932914A
TW201932914A TW108100116A TW108100116A TW201932914A TW 201932914 A TW201932914 A TW 201932914A TW 108100116 A TW108100116 A TW 108100116A TW 108100116 A TW108100116 A TW 108100116A TW 201932914 A TW201932914 A TW 201932914A
Authority
TW
Taiwan
Prior art keywords
camera
alignment
augmented reality
image
eye
Prior art date
Application number
TW108100116A
Other languages
English (en)
Other versions
TWI791728B (zh
Inventor
尤奇 丹齊格
Original Assignee
以色列商鲁姆斯有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 以色列商鲁姆斯有限公司 filed Critical 以色列商鲁姆斯有限公司
Publication of TW201932914A publication Critical patent/TW201932914A/zh
Application granted granted Critical
Publication of TWI791728B publication Critical patent/TWI791728B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0154—Head-up displays characterised by mechanical features with movable elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0161—Head-up displays characterised by mechanical features characterised by the relative positioning of the constitutive elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

雙目增強現實顯示裝置及相應方法允許由最終用戶執行對準校準。根據一種方法，攝像機被定位成具有視場，該視場同時包括來自左眼顯示器的投射圖像的一部分和來自右眼顯示器的投射圖像的一部分。通過經由每個顯示器來投射校準圖像的至少一部分並且在攝像機取樣的圖像內識別右場對準特徵和左場對準特徵，可以得到對準校正。替選方法採用由與相應的右眼顯示單元和左眼顯示單元剛性地相關聯的前視攝像機取樣的圖像的相關性，或者需要使用者輸入用於將橫向交換的攝像機圖像與真實世界視圖對準的手動調整。

Description

具有主動對準的增強現實顯示裝置及其對準方法
本發明涉及增強現實顯示器，並且特別地涉及具有用於調整雙目增強現實顯示器的左眼顯示器和右眼顯示器的對準的佈置的雙目增強現實顯示器，以及相應的對準方法。
增強現實眼鏡必須被精確地對準以提供增強圖像的有效雙目觀看體驗，並且即使相對小的未對準也會冒導致眼睛疲勞或頭痛的風險。傳統方法通常涉及第1A圖中所示的將左眼顯示器和右眼顯示器安裝在機械剛性的公共支承結構上，以實現初步對準和顯示器的固定相對位置。最終的精細對準通過如第1B圖示意性示出的圖像的電子移位元來實現，以實現顯示器之間的校正對準，其中第1B圖示出了圖像生成矩陣30(即顯示器視場的物理末端)和根據通常被程式設計到與每個顯示器相關聯的固件中的校準矩陣的經變換的投射圖像32。系統中設計了圖像生成矩陣30與投射圖像32之間的邊距以適應對在預定義限制內的未對準進行校正所需的任何變換。
參照第1圖至第2圖，本文示出了根據該方法的示例性對準過程。通過將眼鏡放置在兩個共同對準的攝像機的前面並且將由兩個投射儀生成的增強圖像的取向進行比較來生成電子對準參數。得到的校準資料被引入到圖像投射儀的變換固件。替選地，光學系統的機械對準可以精確到在所需的光學精確度內。上述對準過程需要專用的光學對準工作臺，並且僅適合於生產設施中的實現方式。
需要以輕質化且緊湊的形狀因數來實現增強現實眼鏡，以使該技術更適合於消費者市場。然而輕質化實現方式通常缺乏足夠的機 械剛度以確保隨時間推移兩個顯示器的對準不變，相反對準會由於熱變化和其他機械或環境影響而發生變化。
此外，對不同的人來說，瞳孔間距(IPD，Interpupillary distance，眼睛之間的距離)可以變化最高達15毫米。因此，如果兩個投射儀剛性連接，則眼箱(eye-box)(即，預期眼睛瞳孔所處於的每個投射儀的照射區域，示為第1A圖中的區域10)的每一個必須對於每只眼睛能夠加寬15/2=7.5mm，以適應具有在限定的邊距內的任何IPD的每個可能的用戶。大的眼箱決定了更龐大並且更昂貴的光學元件。如果提供用於IPD調整的機構，這通常會將額外的不確定性引入到兩個顯示器之間的對準中，使得任何預校準的對準校正不可靠。
本發明是具有用於調整雙目增強現實顯示器的左眼顯示器和右眼顯示器的對準的佈置的雙目增強現實顯示器以及相應的對準方法。
根據本發明的實施方式的教導，提供了一種用於得到雙目增強現實顯示裝置的右眼顯示器與左眼顯示器之間的對準校正的方法，該方法包括以下步驟：(a)定位具有視場的攝像機，使得攝像機視場同時包括來自左眼顯示器的投射圖像的一部分和來自右眼顯示器的投射圖像的一部分；(b)經由右眼顯示器和左眼顯示器中的每一個來投射包括至少一個右場對準特徵和至少一個左場對準特徵的校準圖像的至少一部分；(c)採用攝像機來取樣圖像；(d)在圖像內識別右場對準特徵和左場對準特徵，以及(e)根據右場對準特徵和左場對準特徵在圖像內的位置得到增強現實顯示裝置的右眼顯示器與左眼顯示器之間的對準校正。
根據本發明的實施方式的另一特徵，攝像機位於增強現實顯示裝置的觀看側，使得圖像包括經由右眼顯示器觀看的右場對準特徵和經由左眼顯示器觀看的左場對準特徵。
根據本發明的實施方式的另一特徵，利用視焦距來顯示 所投射的校準圖像，並且其中，攝像機聚焦在視焦距處。
根據本發明的實施方式的另一特徵，攝像機位於增強現實顯示裝置的觀看側的相反側，使得攝像機從右眼顯示器和左眼顯示器中的每一個捕獲圖像照射的向外反射部分，並且使得圖像包括經由右眼顯示器觀看的左場對準特徵和經由左眼顯示器觀看的右場對準特徵。
根據本發明的實施方式的另一特徵，攝像機是手持攝像機，該方法還包括：經由右眼顯示器和/或左眼顯示器向使用者顯示至少一個指示以說明正確定位攝像機。
根據本發明的實施方式的另一特徵：(a)在圖像內識別與雙目增強現實顯示裝置相關聯的足以限定至少三個基準點的特徵；以及(b)確定攝像機相對於所述至少三個基準點的位置。
根據本發明的實施方式的另一特徵，所述定位包括：將攝像機指向鏡子，使得反射視場同時包括來自左眼顯示器的投射圖像的一部分和來自右眼顯示器的投射圖像的一部分。
根據本發明的實施方式的另一特徵，攝像機是與螢幕集成的移動設備的攝像機，該方法還包括：經由螢幕向使用者顯示至少一個指示以說明正確定位攝像機。
根據本發明的實施方式的另一特徵，基於所得到的對準校正來實現對增強現實顯示裝置的對準校正。
根據本發明的實施方式的教導，還提供了一種用於雙目增強現實顯示裝置的右眼顯示器與左眼顯示器之間的立體對準校正的方法，該方法包括以下步驟：(a)提供增強現實設備，該增強現實設備包括：(i)右眼顯示單元，其包括與前視第一攝像機剛性集成的第一增強現實顯示器，(ii)左眼顯示單元，其包括與前視第二攝像機剛性集成的第二增強現實顯示器，以及(iii)支承結構，其在右眼顯示單元與左側顯示單元之間互連；(b)提供第一攝像機與第一增強現實顯示器之間的第一 對準映射以及第二攝像機與第二增強現實顯示器之間的第二對準映射；(c)從第一攝像機取樣至少一個圖像；(d)從第二攝像機取樣至少一個圖像；(e)協同處理來自第一攝像機和第二攝像機的圖像以得到指示第一攝像機與第二攝像機之間的相對取向的攝像機間映射；(f)將攝像機間映射與第一對準映射和第二對準映射進行組合以得到指示第一增強現實顯示器和第二增強現實顯示器的相對取向的顯示器間對準映射；以及(g)基於顯示器間對準映射來實現對增強現實顯示裝置的對準校正。
根據本發明的實施方式的另一特徵，針對遠處場景來取樣來自第一攝像機和第二攝像機的所述至少一個圖像。
根據本發明的實施方式的另一特徵，來自第一攝像機和第二攝像機的所述至少一個圖像是多個圖像，並且其中，所述協同處理包括：得到所述多個圖像中包括的場景的至少一部分的三維模型。
根據本發明的實施方式的教導，還提供了一種用於雙目增強現實顯示裝置的右眼顯示器與左眼顯示器之間的立體對準校正的方法，該方法包括以下步驟：(a)提供增強現實設備，該增強現實設備包括右眼增強現實顯示器、左眼增強現實顯示器、與右眼增強現實顯示器在空間上相關聯的右攝像機、以及與左眼增強現實顯示器在空間上相關聯的左攝像機；(b)執行第一交叉配准過程，該第一交叉配准過程包括：(i)獲得由右攝像機取樣的場景的至少一個圖像，(ii)經由左眼增強現實顯示器來顯示根據由右攝像機取樣的所述至少一個圖像得到的至少一個對準特徵，(iii)接收來自用戶的指示所述至少一個對準特徵與場景的相應直接觀看特徵之間的對準偏移的輸入，以及(iv)根據使用者輸入來校正所述至少一個對準特徵的顯示位置，直到所述至少一個對準特徵與場景的相應直接觀看特徵對準；(c)執行第二交叉配准過程，該第二交叉配准過程包括：(i)獲得由左攝像機取樣的場景的至少一個圖像，(ii)經由右眼增強現實顯示器來顯示根據由左攝像機取樣的所述至少一個圖像得到的至少一個對準特徵，(iii)接收來自用戶的指示所述至少一個對準特 徵與場景的相應直接觀看特徵之間的對準偏移的輸入，以及(iv)根據使用者輸入來校正所述至少一個對準特徵的顯示位置，直到所述至少一個對準特徵與場景的相應直接觀看特徵對準；以及(d)基於用戶輸入來實現對增強現實顯示裝置的對準校正。
根據本發明的實施方式的另一特徵，用於每個交叉配准過程的所述至少一個對準特徵是取樣圖像的至少一部分。
根據本發明的實施方式的另一特徵，用於每個交叉配准過程的所述至少一個對準特徵是與取樣圖像中感測到的特徵相對應的位置標記。
根據本發明的實施方式的另一特徵，獲得到取樣圖像中的物件的估計距離，該估計距離被用於實現對準校正。
根據本發明的實施方式的另一特徵，相對於右眼增強現實顯示器剛性安裝右攝像機，並且其中，相對於左眼顯示器剛性安裝左攝像機，使用右攝像機相對於右眼增強現實顯示器的相對對準資料和左攝像機相對於左眼增強現實顯示器的相對對準資料來實現對準校正。
根據本發明的實施方式的另一特徵，執行至少一個附加配准過程以接收用於校正右眼增強現實顯示器和左眼增強現實顯示器中的至少一個相對於右攝像機和左攝像機中的相應的一個的對準的用戶輸入。
55‧‧‧處理系統
42R,42L‧‧‧波導
44R,44L,56,80‧‧‧攝像機
46‧‧‧支承結構
50‧‧‧對象
52‧‧‧外部夾具
130‧‧‧使用者輸入裝置
72,74,76,78‧‧‧箭頭
57‧‧‧圖像
104‧‧‧輸出光線
102,106‧‧‧反射光線
90a,90b‧‧‧標記
82‧‧‧尺寸
84R,84L‧‧‧反射
86‧‧‧角距離
88‧‧‧傾斜角
60R,60L‧‧‧眼睛位置
51,62L,62R‧‧‧虛擬影像
61,63‧‧‧距離
100‧‧‧光線
40R,40L,54,54U,54D,99L,99R‧‧‧投射儀
110,112,114,116,118,120,122,124,126,128,140,142,144,146,148,150,152‧‧‧步驟
本文中參照圖式僅通過示例來描述本發明，在圖式中：如上所述，第1A圖是根據現有技術的雙目增強現實顯示器的俯視圖；第1B圖是說明用於增強現實顯示器的電子對準校正的原理的示意性表示；第2圖是示出根據現有技術的用於校準增強現實顯示器的工廠調整過程的流程圖； 第3圖是根據本發明的實施方式的被構造和操作的具有用於調整IPD的佈置的雙目增強現實顯示器的示意性前視圖；第4圖是使用中的第3圖的顯示器的示意性側視圖；第5圖是根據第一實現方式選項的在工廠部分校準過程期間的第4圖的設備的示意性側視圖；第6圖是根據第二實現方式選項的在工廠部分校準過程期間的第4圖的設備的示意性側視圖；第7圖是包括從不同方向取樣物件或場景的多個圖像的校準過程的示意性表示；第8圖是示出根據本發明的方面的用於第3圖和第4圖的增強現實顯示器的對準校準的方法的流程圖；第9A圖和第9B圖分別是採用對準校準的替選技術的增強現實顯示裝置的側視示意圖和前視示意圖；第9C圖是根據本發明該方面的由用戶執行的對準調整的示意性表示；第10A圖是根據本發明的另一方面的在對準校準的實現期間的增強現實顯示裝置的示意性側視圖；第10B圖是示出用於將增強現實圖像傳遞給使用者的眼睛的兩種可能的幾何形狀的光導光學元件的放大示意性側視圖；第11A圖是第10A圖的佈置的示意性俯視圖；第11B圖是第10A圖的佈置的變型實現方式的示意性俯視圖；第11C圖是被採用作為用於第10A圖的對準校準的攝像機的移動通信設備的示意性表示；第11D圖是根據本發明該方面的在對準校準的執行期間經由增強現實顯示器顯示的校準圖像的示意性表示； 第11E圖是根據本發明該方面的在對準校準的執行期間由攝像機進行取樣的圖像的示意性表示；第11F圖是第10A圖的佈置的另一變型實現方式的示意性俯視圖；以及第12圖是示出根據第10A圖、第11A圖、第11B圖和第11F圖的佈置的對準校準的方法的流程圖。
本發明是具有用於調整雙目增強現實顯示器的左眼顯示器和右眼顯示器的對準的佈置的雙目增強現實顯示器以及相應的對準方法。
參照圖式和所附描述可以更好地理解根據本發明的設備和方法的原理和操作。
通過介紹，本發明解決了其中不存在雙目增強現實顯示器的右眼顯示器與左眼顯示器之間的預校準對準或者該預校準對準不被認為是可靠的一系列情況。這可能是由於使用了不能確保在持續的時間段內和/或變化的環境條件下部件的不變剛性對準的輕質化結構部件，或者可能是由於存在可能導致顯示器的最終校準不精確的調整機構特別是IPD調整機構。IPD調整機構的存在是特別優選的，從而允許增強現實顯示裝置適應具有不同瞳孔間距的用戶，並且同時降低對投射儀眼箱大小和因之的投射儀體積、複雜性和成本的要求。然而，IPD調整機構通常將可變性引入到兩個顯示器投射儀的對準中。
為了解決這些問題，本發明提供了三組解決方案，該三組解決方案允許在最終用戶的正常工作環境中校準或重新校準雙目增強現實顯示裝置的右眼顯示器和左眼顯示器的對準，而不需要任何專業設備。具體地，對準校正技術的第一子集被實現為基於由與相應的左眼顯示器和右眼顯示器相關聯的雙邊攝像機取樣的圖像的相關性的自動或半自動對準過程。也利用安裝在設備上的攝像機的對準校正技術的第二子集需要使用 者輸入以將顯示的特徵與相應的真實世界特徵對準。最後，對準校正技術的第三子集可在不依賴於安裝在設備上的攝像機而是依賴於外部攝像機的情況下應用。這些技術子集中的每一個還優選地對應於具有被配置成實現對應技術的控制部件的雙目增強現實設備的不同實現方式。現在將詳細描述每種方法。
現在參照圖式，第3圖至第8圖示出了雙目增強現實顯示裝置、初始部分對準過程、以及用於雙目增強現實顯示裝置的右眼顯示器與左眼顯示器之間的立體對準校正的相應方法等各個方面，以上所有全部根據本發明的方面的第一方法。根據該方法，兩個顯示器(“投射儀”)的每一個剛性地附接至前視攝像機。在眼睛投射儀之間橋接的支承結構相對較不剛性和/或可以由使用者根據他或她的個人IPD進行修改和鎖定。比較由攝像機接收的場景的圖像，並且為投射儀得到變換矩陣。
因此，概括地說，提供了一種增強現實設備，該增強現實設備包括右眼顯示單元和左眼顯示單元，右眼顯示單元具有與前視第一攝像機剛性集成的第一增強現實顯示器，並且左眼顯示單元具有與前視第二攝像機剛性集成的第二增強現實顯示器。增強現實設備還包括在右眼顯示單元與左側顯示單元之間互連的支承結構。根據該方法的優選方面，每個顯示單元是剛性的，使得每個攝像機與相應的增強現實顯示器固定對準，並且系統被提供有或者得到每個攝像機與相應的增強現實顯示器之間的對準映射，該對準映射通常呈變換矩陣的形式，該變換矩陣將攝像機對準映射到顯示器(即允許顯示與通過增強現實顯示器觀看到的遠處場景的真實世界正確地對準的攝像機圖像)。另一方面，支承結構不必被認為足夠剛性以在一段時間內在左眼顯示單元與右眼顯示單元之間提供不變的對準，並且在某些特別優選的實現方式中，支撐結構包括允許為不同使用者調整IPD的調整機構，該調整通常會導致在調整期間的角度對準的一些變化。
然後，優選地由與增強現實顯示裝置相關聯的處理系統 55來執行對準校正，該處理系統55可以是機載處理系統或者可以是經由短程或遠端通訊連接與設備相關聯的處理系統。在本發明的此處和其他地方，所描述的處理可以由如本領域普通技術人員根據其最適合於本文所描述的功能容易地選擇的標準處理部件來執行，標準處理部件可以是由合適的軟體配置的通用硬體或者ASIC(Application specific integrated circuit，專用積體電路)或者其他專用或半專用硬體。此外，可以在任何位置處或位置的組合處執行處理，所述位置包括但不限於形成增強現實顯示裝置的一部分的一個或更多個機載處理器、與AR(Augmented Reality)顯示裝置有線連接或無線連接的移動通信設備、位於遠端位置處並且經由WAN(Wide Area Network，廣域網路)連接至AR顯示裝置的伺服器、以及由動態分配的計算資源組成的雲計算虛擬機器。處理系統55實現方式的細節對於本發明的實現方式不是必需的，並且因此本文將不再進一步詳細描述。
根據本發明的方面的對準校正過程優選地包括：i．從第一攝像機取樣至少一個圖像；ii．從第二攝像機取樣至少一個圖像；iii．協同處理來自第一攝像機和第二攝像機的圖像以得到指示第一攝像機與第二攝像機之間的相對取向的攝像機間映射；iv．將攝像機間映射與第一對準映射和第二對準映射進行組合以得到指示第一增強現實顯示器和第二增強現實顯示器的相對取向的顯示器間對準映射；以及v．基於顯示器間對準映射來實現對增強現實顯示裝置的對準校正。
該過程將在下面更詳細地討論。
第3圖示意性地描繪了根據本發明的系統的前視圖。光學元件如投射儀40R和40L將圖像投射到相應的透視光學元件如波導42R和42L中，所述波導42R和42L優選地被實現為具有用於將虛擬影像分別耦出到觀察者的右眼和左眼上的部分反射器或衍射光學元件的透光光導光 學元件。前向的攝像機44R和44L剛性地附接至它們的相鄰投射儀，而優選地被實現為可調整的機械佈置的支承結構46連接兩個投射儀。優選地，可以解鎖該機械佈置以改變投射儀之間的距離，然後在使用之前再次鎖定。這樣可以進行IPD調整，減小投射儀的大小並且降低複雜性。應當理解，在所述支承結構46的解鎖和鎖定佈置之後通常不能維持精確的平行度和取向。
第4圖示出了左投射儀和攝像機的示意性側視圖表示。來自投射儀40L的光穿過波導42L並且朝向眼睛偏轉(未示出偏轉方法，但該偏轉方法通常基於如從魯姆斯有限公司(Lumus Ltd.)市售的具有內部傾斜部分反射小平面(facet)的基板或基於衍射光學元件的佈置)。由攝像機44L對對象50或景物成像。由右攝像機44R對同一對象成像。
根據本發明該方面的對準校正過程需要針對右眼顯示單元和左眼顯示單元中的每一個確定每個攝像機與相應增強現實顯示器之間的對準映射。優選地，在優選地作為製造過程的一部分的攝像機投射儀集成之後測量攝像機軸與投射儀軸之間的變換參數。可以使用各種技術來確定對準映射。現在將參照第5圖和第6圖來描述兩個選項。
在第5圖中，外部夾具52牢固地保持共同對準的投射儀54和攝像機56。投射儀和攝像機優選地被對準成它們的光軸彼此平行，並且最優選地以足夠的精確度對準，使得在兩者之間不需要變換參數。投射儀54投射由攝像機44L接收的“參考圖像”。處理系統55將類似的居中圖像注入投射儀40L，該投射儀40L生成由攝像機56經由波導42L接收的投射圖像。處理系統55比較來自攝像機44L和攝像機56的圖像以定義投射儀40L與攝像機44L之間的變換參數。如果需要，還優選地記錄攝像機44L與波導42L(具體地，該波導的眼箱中心)之間的距離以用於視差計算。
在第6圖中，兩個投射儀54U和54D剛性地附接(或者替選地，可以被實現為具有足夠大的孔徑的單個投射儀)並且投射通常瞄 準在無限遠處的校準圖像。來自投射儀54U的圖像由攝像機44L接收並且被“注入”到投射儀40L中。在這種情況下，攝像機56通過波導42L同時接收由投射儀54D投射的直接觀看圖像與由投射儀40L投射的圖像的疊加。兩個圖像之間的差異對應於投射儀40L與攝像機44L之間的變換資料。最優選地，自動對準過程可以調整對由投射儀40L生成的圖像的對準直到攝像機56接收到清晰(精確疊加的)的圖像，但是使用合適的圖形化使用者介面(未示出)的手動控制調整過程也是可以的。在這個階段，這種調整實際上不需要在設備固件中實現，因為最終的對準還將依賴於雙目對準。為了有助於手動或自動對準，對準圖像可以是X十字準線等，並且為了對準過程期間的清楚的區分，可以改變來自投射儀40L的圖像的顏色，或者可以使圖像閃爍。然後，需要使兩個視覺上區分開的X十字準線對準。
如果波導42L上的光學元件生成處於有限距離處的虛擬影像，則優選的是將校準圖像和投射儀54U與投射儀54D的轉換也設置為該距離，並且由於距離參數是已知的，從投射儀40L投射的圖像在注入到波導42L時根據攝像機44L與波導42L之間的視差被移位。
對於右眼顯示單元，清楚地重複(或同時執行)針對左眼顯示單元示出的上述對準過程。結果是明確定義的變換矩陣，該變換矩陣將攝像機對準映射到顯示單元的每一個的顯示器。
在使用上述對準技術之一之後，在製造期間或之後，為了得到每個投射儀與其對應攝像機之間的對準變換，然後可以在由最終用戶執行的校準過程中使用攝像機在需要時測量和校正兩個投射儀之間的未對準，例如，在IPD的調整之後或者作為間歇性地(或者在某些優選的應用中每當設備通電時)執行的自動化自校準過程來測量和校正兩個投射儀之間的未對準。
當攝像機取樣遠處場景的圖像時，解決攝像機44L和攝像機44R的相對取向(在IPD調整之後，如第3圖所述)是特別簡單的， 這是因為兩個取樣圖像之間的視差可以忽略不計。在這種情況下，“遠處”理想地是超過約100米的任何距離，這確保了由於眼睛/攝像機之間的會聚(convergence)引起的角度變化小於人類視覺感知的角度解析度。然而，實際上，這裡的“遠處”可以包括超過30米的任何距離，並且在一些情況下，10米或20米的距離也可以允許使用這種具有可接受的結果的簡化的校準過程。因此，在使用者致動校準的情況下，可以指示使用者在開始校準過程之前將設備指向遠處的場景。類似地，在設備用於室外環境的情況下，設備可以被配置成經由測距感測器或者通過影像處理來感測攝像機何時觀看遠處的場景。然後，可以通過從每個攝像機44L和攝像機44R取樣來自遠處場景的圖像，並且在兩個圖像之間執行圖像比較/配准以確定攝像機之間的變換來形成校準。
即使在場景處於短距離的情況下，有時也可以使用簡單的圖像配准進行對準校正，只要場景幾乎沒有“深度”並且兩個攝像機基本上取樣相同的圖像即可。一個這樣的示例是通過對諸如牆壁上的海報或其他圖片或紋理的平坦表面進行成像來進行校準。在這種情況下，需要關於從攝像機到表面的距離的資訊以校正會聚角。
為了允許在可能無法獲得“遠處的景物”的一系列情況下進行校準，或者為了適合於在沒有使用者協作的情況下自動執行的更穩健的校準過程，也可以使用附近的物件來執行校準，對於這些物件攝像機之間的視差是明顯的。在這種情況下，需要3D重建以“解決”相對攝像機位置。可能需要移動攝像機來生成多個圖像以得到精確的解決方案，如第7圖中示意性所示。例如，用於該計算的演算法在與SLAM(Simultaneous localization and mapping，同步定位與建圖)處理有關的文獻和開原始程式碼庫中是周知的。通過採用這些演算法，針對每個攝像機生成至少部分場景的3D重建(或“模型”)。使用攝像機之間的重建偏移來確定投射儀之間的偏移(空間和取向)。
在使用SLAM處理來得到模型的情況下，需要縮放因數 來完全解析該模型。該縮放因數可以從許多源中的任何源得到，所述源包括但不限於：在沒有IPD調整的設備的情況下兩個攝像機之間的已知距離；兩個攝像機之間的測量距離，其中編碼器包括在IPD調整機構上；從與設備集成的慣性運動感測器佈置得到的攝像機運動；如例如通過與設備集成的測距儀得到的到一個圖像內的像素位置的距離；圖像的視場內包括的已知尺寸的物件的識別；以及諸如已知具有直邊等的物件的附加參數約束的引入。
第8圖中示出了在IPD調整和隨後的重新調整的情況下的總體整個過程的示例性概述。首先，假設此處的過程在例如通過IPD調整對投射儀之間的距離的調整(步驟110)之後啟動，並且可以是用戶啟動的或者自動觸發的。該過程也可以被實現為在設備啟動時執行的或者手動觸發或者通過軟體觸發信號觸發的自動或半自動過程，可選地生成提示用戶相對於所觀看的場景進行移動的提示。
一旦被觸發，則設備就針對左攝像機(步驟112)和右攝像機(步驟114)獲取場景的圖像，並且處理系統(在設備上，在本地或在遠端)比較圖像以得到兩個攝像機的相對取向(步驟116)。在由於圖像之間的視差變化而導致簡單配准過程失敗的情況下，系統優選地取樣附加圖像並且如果需要(步驟118)則等待運動以得到部分視場的至少部分3D模型，從而允許得到相對攝像機取向。在步驟120處，該相對攝像機取向資料被與先前得到的左攝像機到左投射儀變換資料(步驟122)和右攝像機到右投射儀變換資料(步驟124)一起使用以確定用於每個投射儀的被引入到相應固件中的整體對準校正(步驟126和步驟128)，從而允許將左虛擬影像轉換為左變換虛擬影像以從投射儀40L進行投射並且將右虛擬影像轉換為右變換虛擬影像以從投射儀40R進行投射，以便生成正確對準的觀看圖像。
現在轉向雙目增強現實顯示裝置的右眼顯示器和左眼顯示器的對準校正方法的第二子集，第9A圖和第9B圖示意性地示出了用戶 提供輸入以限定對準校正的至少一部分的佈置。因此，在第9A圖中示出了與第3圖和第4圖的光學設備類似但是添加了使用者輸入裝置130的光學設備，該使用者輸入裝置可以是操縱杆、觸控式螢幕或任何其他合適的用戶輸入裝置，可選地被實現為在移動電子設備上運行的APP。如前所述，該方法假設存在與左眼增強現實顯示器(投射儀40L和波導42L)在空間上相關聯的左攝像機44L，以及用於設備的右眼側(未示出)的相應元件(與右眼增強現實顯示器在空間上相關聯的右攝像機)。
根據本發明的該方面的某些特別優選的實現方式的特定特徵是對準校正方法包括第一交叉配准過程，該第一交叉配准過程包括：i．獲得由右攝像機取樣的場景的至少一個圖像，ii．經由左眼增強現實顯示器顯示根據由右攝像機取樣的至少一個圖像得到的至少一個對準特徵，iii．接收來自使用者的指示所述至少一個對準特徵與場景的相應直接觀看特徵之間的對準偏移的輸入，以及iv．根據使用者輸入來校正所述至少一個對準特徵的顯示位置，直到所述至少一個對準特徵與場景的相應直接觀看特徵對準為止。這限定了由第9B圖中的箭頭78示意性表示的變換。
更優選地，該對準過程還包括反轉的交叉配准過程，即：i．獲得由左攝像機取樣的場景的至少一個圖像，ii．經由右眼增強現實顯示器來顯示根據由左攝像機取樣的所述至少一個圖像得到的至少一個對準特徵，iii．接收來自用戶的輸入，該輸入指示所述至少一個對準特徵與場景的相應直接觀看特徵之間的對準偏移，以及 iv．根據使用者輸入來校正所述至少一個對準特徵的顯示位置，直到所述至少一個對準特徵與場景的相應直接觀看特徵對準。這限定了由第9B圖中箭頭76示意性表示的變換。
然後，使用用戶輸入以實現對增強現實顯示裝置的對準校正。在相對於相應的增強現實顯示器剛性安裝每個攝像機的情況下，如在上述示例中那樣，使用相對於右眼增強現實顯示器的用於右攝像機的相對對準資料(箭頭74)和相對於左眼增強現實顯示器的用於左攝像機的相對對準資料(箭頭72)來實現對準校正。這樣的資料可以通過工廠對準過程來獲得，例如上面參照第5圖和第6圖所描述的。
在更一般的情況下，在變換72和變換74未知或者可能由於左/右顯示器相對於攝像機的非剛性(例如，可調整的)安裝而變化的情況下，可以通過至少一個附加配准過程來獲得變換72和變換74，所述至少一個附加配准過程接收用於校正右眼增強現實顯示器和左眼增強現實顯示器中的至少一個相對於右攝像機和左攝像機中的相應一個的對準的用戶輸入。這些配准過程可以以與本文所描述的交叉配准過程基本相同的方式來執行。
如果確定了所有四個變換72、74、76和78，則存在一些資訊冗餘，因為原則上這些變換中的任何三個足以確定兩個顯示器之間的整體校準矩陣。實際上，使用這樣的冗餘有利於提高對準校正的精確度。
在對準過程期間，每個投射儀分別被啟動。根據該方法的通常操作序列將如下來進行：
1)指示用戶看位於與虛擬影像相同的標稱距離(視距離)處的景物物件。該過程最簡單地使用“遠處”物件來實現，以避免視差補償問題，但是也可以如下所討論地來校正視差問題。
2)處理系統將來自一個眼睛的攝像機的圖像注入到相鄰的投射儀上，使得觀察者看到相同的增強的和“真實世界”疊加。如果場景不是“遠處”場景，則根據估計的到場景的距離將視差補償引入到投射圖像。如果攝像機軸和投射儀軸(在視差補償之後)不精確，則存在移位失配(偏移)57(第9C圖)。
3)觀察者手動控制虛擬影像的位置和旋轉，並且移動增強現實圖像以與“真實世界”圖像57重疊(映射72)。
4)對第二個眼睛重複該過程以生成映射74。到目前為止，實現的校準是在每個攝像機與其相鄰的投射儀之間。
5)處理系統將來自一個眼睛的攝像機(44L)的圖像注入到相對的投射儀(40R)上並且讓使用者對準圖像，以確定映射76。
對相對的攝像機和投射儀重複相同過程以生成映射78。
現在校準兩個投射儀和兩個攝像機取向。
針對該對準過程投射的圖像(對準特徵)可以是取樣圖像的至少一部分。在這種情況下，使用者獲得不完全配合的疊加圖像的“雙視覺”效果，並且調整對準直到它們完全疊加。
替選地，投射的對準特徵圖像可以包括通過影像處理從取樣圖像得到的並且與取樣圖像中感測到的特徵對應的一個或更多個位置標記。這可以是物件的輪廓，或者是標示圖像中的“角”特徵的多個標記。在這種情況下，使用者將這些位置標記與真實世界視圖中的相應特徵對準。
在使用不是遠處場景的場景來執行上述過程的情況下，需要估計到場景的距離以基於每個攝像機與相應EMB(Eye motion box，眼動箱)中心之間的已知距離來執行視差校正。該距離可以由使用者輸入或者可以由系統根據如本領域中已知的可用感測器和/或影像處理的任何組合來得到－取決於應用的細節。如何得到距離的非限制性示例包括：採 用測距感測器、對圖像執行SLAM處理以得到3D模型(如上面進一步詳述的)、以及取樣包含具有已知尺寸的物件的圖像。
許多投射儀包括將虛擬影像投射到有限距離的光學元件。在這種情況下，優選地在觀看與虛擬影像的視距離相匹配的距離處的場景的同時執行校準。例如，如果虛擬影像被聚焦到2米，則校準也應該優選地針對位於約兩米的距離處的場景或物件來執行。根據在指定距離和場中心處的攝像機與投射儀之間的視差(相對距離已知)來偏移從攝像機到投射儀的注入圖像。
重要的是要注意，如果在生產過程期間剛性地組合兩個投射儀/攝像機對，即沒有針對IPD的可調整間距，則此處描述的對準過程也是適用的。在這種情況下，如上所述，變換72和變換74通常是預先校準的，並且僅通過用戶輸入來實現變換76和變換78。
在本文中提到“立體對準校正”的所有情況下，立體對準校正通常通過生成將每個眼睛與真實世界聯繫起來的或者定義眼睛之間的關係的校準矩陣來實現。
執行對雙目增強現實的投射儀的交叉對準的替選方法可以在不依賴於向外看的攝像機(該向外看的攝像機可以存在或者可以不存在於產品中)的情況下來實現。相反，對準校正技術的該第三子集採用與增強現實顯示裝置分離的同時從右眼顯示器和左眼顯示器取樣圖像的攝像機，並且然後根據圖像得到對準校正。以下呈現該替選方法的示例性實現方式。
一般而言，根據本發明的該方面，用於得到雙目增強現實顯示裝置的右眼顯示器與左眼顯示器之間的對準校正的方法包括以下步驟：a)定位具有視場的攝像機，使得攝像機視場同時包括來自左眼顯示器的投射圖像的一部分和來自右眼顯示器的投射圖像的一部分； b)經由右眼顯示器和左眼顯示器中的每一個來投射包括至少一個右場對準特徵和至少一個左場對準特徵的校準圖像的至少一部分；c)採用攝像機來取樣圖像；d)在圖像內識別右場對準特徵和左場對準特徵；以及e)根據右場對準特徵和左場對準特徵在圖像內的位置得到增強現實顯示裝置的右眼顯示器與左眼顯示器之間的對準校正。
第10A圖中示意性地在此處示出了該方法的一種實現方式。應當注意，由波導42L向觀察者眼睛投射的一些光例如被波導的最靠近眼睛的外表面向前(即，從用戶向外)反射。在此處示出的實現方式中，正是這種向外反射的光被位於與增強現實顯示裝置(如投射儀40L、波導42L)的觀看側相反的側的攝像機80感測到，使得攝像機捕獲來自右眼顯示器和左眼顯示器中的每一個的圖像照射的向外反射的部分。
系統控制器將圖像注入到投射儀40L，投射儀40L通過波導42L照射眼睛，如實線箭頭所示。一些光沿如點劃線箭頭所示的相反方向被反射。
可擕式設備上的攝像機80接收向前反射的圖像的至少一部分，並且將圖像發送至系統控制器以進行處理。(此處僅是示意性地示出了攝像機，並且明顯地會將攝像機定向成面向投射儀並且定位成捕獲向前反射的圖像照射的一部分。)可選地，可以在可擕式設備本身中執行該處理。
儘管僅由攝像機80接收到場的一部分，但是將圖像設計成使得可以得知接收到圖像的哪個部分，如下面參照第11D圖進一步討論的。根據該部分，處理器得到攝像機相對於向前投射圖像的取向。
第10B圖示意性地示出了兩個投射儀99L和99R，每個投射儀指示相應設備的針對兩個眼睛的投射儀取向。在投射儀99L中，垂直於波導99L的面朝向觀察者投射光線100，並且因此反射102沿著光軸 在相反方向上被反射。相比之下，在波導99R中，示出了替選的幾何形狀，其中由輸出光線104指示的投射圖像光軸不垂直於波導99R的表面，因此反射光線106不與輸出光線104相反。因此，應該針對反射光線106相對於輸出光線104的偏移得到校準矩陣。該校準矩陣應該通過在投射儀生產期間將向前圖像(100和104)與反射圖像(102和106)進行比較或如下所述來得到。
同時對兩個投射儀執行根據該方法的圖像獲取，如在第11A圖中的平面圖中示意性地示出的。點劃線箭頭表示向前反射圖像。攝像機80接收來自兩個投射儀的反射圖像的不同部分並且得到兩個場的取向。如上所述，通過比較這些取向，可以得到投射儀之間的相對取向並且以電子方式校正對準。
如果將攝像機80放置得更加遠離投射儀42，則可以提高校準的精確度。在不能被方便地保持遠離設備的掌上型攝像機的情況下，可以通過鏡子57觀察投射儀來實現從更大有效距離的成像，如第11B圖所示。這種基於鏡子的幾何結構還允許使用增強現實顯示裝置本身的內置前視攝像機來實現該校準技術，特別是實現在設置有單個中央前視攝像機的設備中。
可以通過在校準期間向用戶提供用於正確定位攝像機的視覺引導提示來優化攝像機80的取向。例如，如果攝像機80是與螢幕集成的移動設備例如行動電話的攝像機，則可以經由螢幕來顯示對使用者的至少一個指示以幫助正確定位攝像機，如第11C圖所示。另外地或替選地，對於任何掌上型攝像機，可以經由增強現實顯示器中的一個或兩個向使用者顯示至少一個指示以說明正確定位攝像機。
第11D圖示出了可以由兩個顯示器投射以用於校準過程的圖像的示例。可以使用其他任意圖像，並且該圖像在此處作為非限制性示例呈現。該圖像具有清楚的標記90a和90b，這兩個標記分別用作左場對準特徵和右場對準特徵。右場對準特徵和左場對準特徵可以是連續幾何 圖案的一部分，或者可以是分離的特徵，並且優選地彼此可區分。它們優選地包括以下特徵：所述特徵通過影像處理技術容易識別和處理，以得到位置和取向。在對由投射儀本身引入的任何幾何失真進行補償之後，投射圖像。應當注意，通過攝像機80僅從每個分開的投射儀捕獲圖像的一部分。將攝像機定位成使得在投射儀“外部”處的攝像機的情況下，取樣圖像包括經由右眼顯示器觀看的左場對準特徵和經由左眼顯示器觀看的右場對準特徵。
第11E圖示意性地示出了由攝像機80接收的圖像100。從攝像機80到眼鏡的距離可以根據圖像中的關於眼鏡的參數例如眼鏡尺寸82來得到。在波導42R和波導42L中，投射圖像的反射明顯為84R和84L。兩個反射中的圖像包括標記90a和標記90b。通過測量標記之間的圖像中的角距離86，並且考慮由到眼鏡的已知距離引起的視差，可以知道波導42R與波導42L之間的實際未對準。還可以如指定為所示傾斜角88得到角度未對準。該架構還使得能夠感測眼睛位置60R和眼睛位置60L。通過考慮投射儀眼箱中眼睛位置引起的失真，這進一步改進了投射對準。
在替選的一組實現方式中，攝像機80位於增強現實顯示裝置的觀看側，即，用戶通過顯示器觀看的一側。在這種情況下，取樣圖像包括經由右眼顯示器觀看的右場對準特徵和經由左眼顯示器觀看的左場對準特徵。該實現方式的示例在第11F圖中示出。
重要的是將攝像機80聚焦到投射圖像上。如果將透鏡放置在投射儀的前面，則將在有限視距離(視焦距(apparent focal distance))處生成虛擬影像51。在得到被引入反射84R和反射84L的視差時應該考慮這一點。
在第11F圖的示例中，投射儀包括透鏡，使得虛擬影像51被投射為視焦距處的虛擬影像62L(來自波導42L)和62R(來自波導42R)。應該使這兩個圖像達到精確重疊關係以實現最佳對準。由攝像機80獲取的圖像將等同於反射84L和反射84R(第11E圖中描述的)，並且 對虛擬影像62L與虛擬影像62R之間的偏移的得出將考慮至虛擬影像的距離61(由透鏡預設)和至攝像機的距離63(例如，再次通過識別圖像中的設備的尺寸82來得到)。
如上所述，攝像機80距顯示裝置的距離可以通過識別圖像內的與顯示裝置相關聯的特徵例如寬度的尺寸82來確定。理想地，為了確定攝像機相對於顯示裝置的距離和取向，處理系統優選地在圖像內識別與雙目增強現實顯示裝置相關聯的足以限定至少三個(最優選地，四個)非共線(以及，四個非共面的)基準點的特徵。特徵可以是與設備的形狀或在設備的表面上形成的任何參考圖案有關的任何特徵。在投射的校準圖像呈現在特定焦點深度的情況下，投射的虛擬影像的特徵在某些情況下也可以用作基準點。然後，處理基準點以確定攝像機相對於基準點並且因此相對於投射儀的位置。
第12圖中描述了該過程的示例性非限制性實現方式。如上面的第8圖中，校準可能因由IPD調整(步驟140)引入的未對準而成為必要的，但是不限於這種情況。在步驟142處，“注入”校準圖像或“場圖像”以經由右眼投射儀和左眼投射儀兩者來顯示，以及使用攝像機80來取樣包含與來自投射儀中的每一個的校準圖像相對應的照射的一部分並且優選地還對投射儀或顯示裝置本身的其他特徵成像的圖像(步驟144)。
在步驟146處，處理顯示裝置的特徵以確定相對於每個投射儀的攝像機取向。然後，這提供了足夠的資訊以允許根據經由每個顯示器獲取的校準圖像的一部分得到投射儀的相對對準(步驟148)。在攝像機80用在具有向外反射的照射的顯示器的外部的情況下，並且在圖像投射軸不垂直於波導表面的情況下，還在對準計算中採用預先測量的反射偏移參數(步驟150)。然後，使用對準計算來生成用於更新每個投射儀的固件的校準矩陣(步驟152)。
也可以在機械IPD調整本身期間(在執行所描述的校準之前)使用可擕式設備上的攝像機80來幫助用戶。根據該選擇，使用者 在攝像機連續地將小平面圖像發送至處理器時，改變投射儀之間的距離。處理器將眼睛位置與光學投射儀位置(其可選地在其上具有標記以利於感測投射儀位置)進行比較，並且向用戶生成輸出(通常是音訊信號和/或視覺顯示)以指示應如何進一步調整相對位置，或者在對於用戶已經達到最佳位置時通知用戶。然後，如本文所述，優選地執行校準過程。
應當理解，以上描述僅旨在用作示例，並且在所附申請專利範圍中限定的本發明的範圍內可以存在許多其他實施方式。

Claims (18)

  1. 一種用於得到雙目增強現實顯示裝置的左眼顯示器與右眼顯示器之間的對準校正的方法，所述方法包括以下步驟：(a)定位具有視場的攝像機，使得所述攝像機視場同時包括來自所述左眼顯示器的投射圖像的一部分和來自所述右眼顯示器的投射圖像的一部分；(b)經由所述右眼顯示器和所述左眼顯示器中的每一個來投射包括至少一個右場對準特徵和至少一個左場對準特徵的校準圖像的至少一部分；(c)採用所述攝像機來取樣圖像；(d)在所述圖像內識別所述右場對準特徵和所述左場對準特徵；以及(e)根據所述右場對準特徵和所述左場對準特徵在所述圖像內的位置得到所述增強現實顯示裝置的所述右眼顯示器與所述左眼顯示器之間的對準校正。
  2. 根據申請專利範圍第1項所述的方法，其中，所述攝像機位於所述增強現實顯示裝置的觀看側，使得所述圖像包括經由所述右眼顯示器觀看的所述右場對準特徵和經由所述左眼顯示器觀看的所述左場對準特徵。
  3. 根據申請專利範圍第2項所述的方法，其中，利用視焦距來顯示所投射的校準圖像，並且其中，所述攝像機聚焦在所述視焦距處。
  4. 根據申請專利範圍第1項所述的方法，其中，所述攝像機位於所述增強現實顯示裝置的所述觀看側的相反側，使得所述攝像機從所述右眼顯示器和所述左眼顯示器中的每一個捕獲圖像照射的向外反射部分，並且使得所述圖像包括經由所述右眼顯示器觀看的所述左場對準特徵和經由所述左眼顯示器觀看的所述右場對準特徵。
  5. 根據申請專利範圍第4項所述的方法，其中，所述攝像機是手持攝像機，所述方法還包括：經由所述右眼顯示器和/或所述左眼顯示器向使用者顯示至少一個指示以說明正確定位所述攝像機。
  6. 根據申請專利範圍第1項所述的方法，還包括以下步驟：(a)在所述圖像內識別與所述雙目增強現實顯示裝置相關聯的足以限定至少三個基準點的特徵；以及(b)確定所述攝像機相對於所述至少三個基準點的位置。
  7. 根據申請專利範圍第1項所述的方法，其中，所述定位包括：將所述攝像機指向鏡子，使得反射視場同時包括來自所述左眼顯示器的投射圖像的一部分和來自所述右眼顯示器的投射圖像的一部分。
  8. 根據申請專利範圍第1項所述的方法，其中，所述攝像機是與螢幕集成的移動設備的攝像機，所述方法還包括：經由所述螢幕向使用者顯示至少一個指示以說明正確定位所述攝像機。
  9. 根據申請專利範圍第1項所述的方法，還包括：基於所述得到的對準校正來實現對所述增強現實顯示裝置的對準校正。
  10. 一種用於雙目增強現實顯示裝置的右眼顯示器與左眼顯示器之間的立體對準校正的方法，所述方法包括以下步驟：(a)提供增強現實設備，所述增強現實設備包括：(i)右眼顯示單元，其包括與前視第一攝像機剛性集成的第一增強現實顯示器，(ii)左眼顯示單元，其包括與前視第二攝像機剛性集成的第二增強現實顯示器，以及(iii)支承結構，其在所述右眼顯示單元與所述左側顯示單元之間互連； (b)提供所述第一攝像機與所述第一增強現實顯示器之間的第一對準映射以及所述第二攝像機與所述第二增強現實顯示器之間的第二對準映射；(c)從所述第一攝像機取樣至少一個圖像；(d)從所述第二攝像機取樣至少一個圖像；(e)協同處理來自所述第一攝像機和所述第二攝像機的所述圖像以得到指示所述第一攝像機與所述第二攝像機之間的相對取向的攝像機間映射；(f)將所述攝像機間映射與所述第一對準映射和所述第二對準映射進行組合以得到指示所述第一增強現實顯示器和所述第二增強現實顯示器的相對取向的顯示器間對準映射；以及(g)基於所述顯示器間對準映射來實現對所述增強現實顯示裝置的對準校正。
  11. 根據申請專利範圍第10項所述的方法，其中，針對遠處場景來取樣來自所述第一攝像機和所述第二攝像機的所述至少一個圖像。
  12. 根據申請專利範圍第10項所述的方法，其中，來自所述第一攝像機和所述第二攝像機的所述至少一個圖像是多個圖像，並且其中，所述協同處理包括：得到所述多個圖像中包括的場景的至少一部分的三維模型。
  13. 一種用於雙目增強現實顯示裝置的右眼顯示器與左眼顯示器之間的立體對準校正的方法，所述方法包括以下步驟：(a)提供增強現實設備，所述增強現實設備包括右眼增強現實顯示器、左眼增強現實顯示器、與所述右眼增強現實顯示器在空間上相關聯的右攝像機、以及與所述左眼增強現實顯示器在空間上相關聯的左攝像機；(b)執行第一交叉配准過程，所述第一交叉配准過程包括：(i)獲得由所述右攝像機取樣的場景的至少一個圖像， (ii)經由所述左眼增強現實顯示器顯示根據由所述右攝像機取樣的所述至少一個圖像得到的至少一個對準特徵，(iii)接收來自用戶的指示所述至少一個對準特徵與所述場景的相應直接觀看特徵之間的對準偏移的輸入，以及(iv)根據所述使用者輸入來校正所述至少一個對準特徵的顯示位置，直到所述至少一個對準特徵與所述場景的所述相應直接觀看特徵對準；(c)執行第二交叉配准過程，所述第二交叉配准過程包括：(i)獲得由所述左攝像機取樣的場景的至少一個圖像，(ii)經由所述右眼增強現實顯示器顯示根據由所述左攝像機取樣的所述至少一個圖像得到的至少一個對準特徵，(iii)接收來自所述用戶的指示所述至少一個對準特徵與所述場景的相應直接觀看特徵之間的對準偏移的輸入，以及(iv)根據所述使用者輸入來校正所述至少一個對準特徵的顯示位置，直到所述至少一個對準特徵與所述場景的所述相應直接觀看特徵對準；以及(d)基於所述用戶輸入來實現對所述增強現實顯示裝置的對準校正。
  14. 根據申請專利範圍第13項所述的方法，其中，用於每個所述交叉配准過程的所述至少一個對準特徵是取樣圖像的至少一部分。
  15. 根據申請專利範圍第13項所述的方法，其中，用於每個所述交叉配准過程的所述至少一個對準特徵是與取樣圖像中感測到的特徵相對應的位置標記。
  16. 根據申請專利範圍第13項所述的方法，還包括獲得到取樣圖像中的物件的估計距離，所述估計距離被用於實現所述對準校正。
  17. 根據申請專利範圍第13項所述的方法，其中，相對於所述右眼增強現實顯示器剛性安裝所述右攝像機，並且其中，相對於所述左眼顯示器剛性安裝所述左攝像機，使用所述右攝像機相對於所述右眼增強現實顯示器的相對對準資料和所述左攝像機相對於所述左眼增強現實顯示器的相對對準資料來實現所述對準校正。
  18. 根據申請專利範圍第13項所述的方法，還包括：執行至少一個附加配准過程以接收用於校正所述右眼增強現實顯示器和所述左眼增強現實顯示器中的至少一個相對於所述右攝像機和所述左攝像機中的相應一個的對準的用戶輸入。
TW108100116A 2018-01-02 2019-01-02 具有主動對準的增強現實顯示裝置及其對準方法 TWI791728B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862612740P 2018-01-02 2018-01-02
US62/612,740 2018-01-02

Publications (2)

Publication Number Publication Date
TW201932914A true TW201932914A (zh) 2019-08-16
TWI791728B TWI791728B (zh) 2023-02-11

Family

ID=67143650

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108100116A TWI791728B (zh) 2018-01-02 2019-01-02 具有主動對準的增強現實顯示裝置及其對準方法

Country Status (13)

Country Link
US (1) US11223820B2 (zh)
EP (1) EP3735775A4 (zh)
JP (2) JP2021509482A (zh)
KR (1) KR20200102408A (zh)
CN (2) CN113777783B (zh)
AU (1) AU2019205611A1 (zh)
BR (1) BR112020001912A2 (zh)
CA (1) CA3068659A1 (zh)
IL (1) IL275615B (zh)
MX (1) MX2020002402A (zh)
RU (1) RU2020100251A (zh)
TW (1) TWI791728B (zh)
WO (1) WO2019135169A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11961258B2 (en) 2022-01-26 2024-04-16 Industrial Technology Research Institute Calibration method for optical see-through display and calibration system

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10048499B2 (en) 2005-11-08 2018-08-14 Lumus Ltd. Polarizing optical system
IL232197B (en) 2014-04-23 2018-04-30 Lumus Ltd Compact head-up display system
IL237337B (en) 2015-02-19 2020-03-31 Amitai Yaakov A compact head-up display system with a uniform image
CN110431467A (zh) 2017-01-28 2019-11-08 鲁姆斯有限公司 增强现实成像系统
EP3688526B1 (en) 2017-09-29 2023-07-12 Lumus Ltd. Augmented reality display
WO2019077614A1 (en) 2017-10-22 2019-04-25 Lumus Ltd. ENHANCED REALITY DEVICE MOUNTED ON THE HEAD AND USING AN OPTICAL BENCH
KR20200096274A (ko) 2017-12-03 2020-08-11 루머스 리미티드 광학 장치 정렬 방법
CN113777783B (zh) 2018-01-02 2024-04-12 鲁姆斯有限公司 具有对准校正的双目增强现实系统及对准校正方法
US10551544B2 (en) 2018-01-21 2020-02-04 Lumus Ltd. Light-guide optical element with multiple-axis internal aperture expansion
US11221294B2 (en) 2018-04-08 2022-01-11 Lumus Ltd. Optical sample characterization
US10830938B2 (en) 2018-05-14 2020-11-10 Lumus Ltd. Projector configuration with subdivided optical aperture for near-eye displays, and corresponding optical systems
CN112119344B (zh) 2018-05-17 2023-01-20 鲁姆斯有限公司 具有交叠投射仪组件的近眼显示器
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
AU2019274687B2 (en) 2018-05-23 2023-05-11 Lumus Ltd. Optical system including light-guide optical element with partially-reflective internal surfaces
EP3807620B1 (en) 2018-06-21 2023-08-09 Lumus Ltd. Measurement technique for refractive index inhomogeneity between plates of a lightguide optical element
KR20210031705A (ko) 2018-07-16 2021-03-22 루머스 리미티드 편광 내부 반사기를 사용하는 광 가이드 광학 요소
CN112639574B (zh) 2018-09-09 2023-01-13 鲁姆斯有限公司 包括具有二维扩展的光导光学元件的光学系统
KR20210090622A (ko) 2018-11-08 2021-07-20 루머스 리미티드 이색성 빔스플리터 색상 조합기를 갖는 광학 디바이스 및 시스템
TWM642752U (zh) 2018-11-08 2023-06-21 以色列商魯姆斯有限公司 用於將圖像顯示到觀察者的眼睛中的顯示器
DE202019106214U1 (de) 2018-11-11 2020-04-15 Lumus Ltd. Augennahe Anzeige mit Zwischenfenster
EP3899642A1 (en) 2018-12-20 2021-10-27 Snap Inc. Flexible eyewear device with dual cameras for generating stereoscopic images
AU2020211092B2 (en) 2019-01-24 2023-05-11 Lumus Ltd. Optical systems including LOE with three stage expansion
EP3939246A4 (en) 2019-03-12 2022-10-26 Lumus Ltd. IMAGE PROJECTOR
DE112020002727T5 (de) * 2019-06-07 2022-03-10 Sony Group Corporation Videoverteilsystem, videoverteilverfahren und display-terminal
MX2021015750A (es) 2019-06-27 2022-01-27 Lumus Ltd Aparato y metodos de seguimiento ocular a partir de la obtencion de imagenes oculares mediante un elemento optico de guia de luz.
US11667004B2 (en) 2019-11-25 2023-06-06 Lumus Ltd. Method of polishing a surface of a waveguide
IL270991B (en) 2019-11-27 2020-07-30 Lumus Ltd A light guide with an optical element to perform polarization mixing
KR20220110771A (ko) 2019-12-05 2022-08-09 루머스 리미티드 상보 코팅된 부분적 반사체를 채용하는 도광 광학 소자, 및 광산란을 감소시킨 도광 광학 소자
US10965931B1 (en) * 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
CA3155597C (en) 2019-12-08 2023-02-14 Lumus Ltd. Optical systems with compact image projector
DE202021104723U1 (de) 2020-09-11 2021-10-18 Lumus Ltd. An ein optisches Lichtleiterelement gekoppelter Bildprojektor
US11379957B1 (en) * 2021-02-23 2022-07-05 Qualcomm Incorporated Head wearable display device calibrated for distortion correction using inter-pupillary distance
WO2022185306A1 (en) 2021-03-01 2022-09-09 Lumus Ltd. Optical system with compact coupling from a projector into a waveguide
CN113259649B (zh) * 2021-05-06 2022-08-09 青岛小鸟看看科技有限公司 基于场景摄像头重定位的虚拟现实方法、系统
JP7475757B2 (ja) 2021-07-04 2024-04-30 ルーマス リミテッド 積層導光素子が視野の異なる部分を提供するディスプレイ
US11863730B2 (en) * 2021-12-07 2024-01-02 Snap Inc. Optical waveguide combiner systems and methods
US20230209032A1 (en) * 2021-12-23 2023-06-29 Meta Platforms Technologies, Llc Detection, analysis and correction of disparities in a display system utilizing disparity sensing port
CN114441142A (zh) * 2021-12-30 2022-05-06 歌尔光学科技有限公司 Ar成像系统的校正参数获取方法及装置
CN114465910B (zh) * 2022-02-10 2022-09-13 北京为准智能科技有限公司 一种基于增强现实技术的机械加工设备校准方法

Family Cites Families (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4720189A (en) 1986-01-07 1988-01-19 Northern Telecom Limited Eye-position sensor
FR2647556B1 (fr) 1989-05-23 1993-10-29 Thomson Csf Dispositif optique pour l'introduction d'une image collimatee dans le champ visuel d'un observateur et casque comportant au moins un tel dispositif
US5270748A (en) 1992-01-30 1993-12-14 Mak Technologies, Inc. High-speed eye tracking device and method
JPH08313843A (ja) 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
US6404550B1 (en) 1996-07-25 2002-06-11 Seiko Epson Corporation Optical element suitable for projection display apparatus
US6154321A (en) 1998-01-20 2000-11-28 University Of Washington Virtual retinal display with eye tracking
CA2386856A1 (en) 1999-10-14 2001-04-19 Stratos Product Development Llc Virtual imaging system
US6264328B1 (en) 1999-10-21 2001-07-24 University Of Rochester Wavefront sensor with off-axis illumination
US6753828B2 (en) * 2000-09-25 2004-06-22 Siemens Corporated Research, Inc. System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
US6542307B2 (en) 2000-10-20 2003-04-01 Three-Five Systems, Inc. Compact near-eye illumination system
US20030112326A1 (en) * 2001-08-17 2003-06-19 Byoungyi Yoon Method and system for transmitting or storing stereoscopic images and photographing ratios for the images
IL148804A (en) 2002-03-21 2007-02-11 Yaacov Amitai Optical device
US20070165192A1 (en) 2006-01-13 2007-07-19 Silicon Optix Inc. Reduced field angle projection display system
US7640306B2 (en) 2002-11-18 2009-12-29 Aol Llc Reconfiguring an electronic message to effect an enhanced notification
US6879443B2 (en) 2003-04-25 2005-04-12 The Microoptical Corporation Binocular viewing system
IL157838A (en) 2003-09-10 2013-05-30 Yaakov Amitai High-brightness optical device
IL157837A (en) 2003-09-10 2012-12-31 Yaakov Amitai Substrate-guided optical device particularly for three-dimensional displays
IL162573A (en) 2004-06-17 2013-05-30 Lumus Ltd Optical component in a large key conductive substrate
US10073264B2 (en) 2007-08-03 2018-09-11 Lumus Ltd. Substrate-guide optical device
IL166799A (en) 2005-02-10 2014-09-30 Lumus Ltd Aluminum shale surfaces for use in a conductive substrate
EP1849033B1 (en) 2005-02-10 2019-06-19 Lumus Ltd Substrate-guided optical device utilizing thin transparent layer
US7751122B2 (en) 2005-02-10 2010-07-06 Lumus Ltd. Substrate-guided optical device particularly for vision enhanced optical systems
WO2006087709A1 (en) 2005-02-17 2006-08-24 Lumus Ltd. Personal navigation system
IL171820A (en) 2005-11-08 2014-04-30 Lumus Ltd A polarizing optical component for light coupling within a conductive substrate
US10048499B2 (en) 2005-11-08 2018-08-14 Lumus Ltd. Polarizing optical system
IL173715A0 (en) 2006-02-14 2007-03-08 Lumus Ltd Substrate-guided imaging lens
IL174170A (en) 2006-03-08 2015-02-26 Abraham Aharoni Device and method for two-eyed tuning
US7538876B2 (en) * 2006-06-12 2009-05-26 The Boeing Company Efficient and accurate alignment of stereoscopic displays
IL177618A (en) 2006-08-22 2015-02-26 Lumus Ltd Optical component in conductive substrate
EP2142953B1 (en) 2007-04-22 2019-06-05 Lumus Ltd A collimating optical device and system
IL183637A (en) 2007-06-04 2013-06-27 Zvi Lapidot Head display system
EP2329302B1 (en) 2008-09-16 2019-11-06 BAE Systems PLC Improvements in or relating to waveguides
US8717392B2 (en) * 2009-06-02 2014-05-06 Nokia Corporation Apparatus for enabling users to view images, methods and computer readable storage mediums
US20110010988A1 (en) 2009-07-16 2011-01-20 Michael Lanoha Universal Underground Receptacle for a Cemetery Flower Vase Cylinder
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
JP5499985B2 (ja) 2010-08-09 2014-05-21 ソニー株式会社 表示装置組立体
KR101232036B1 (ko) 2010-10-13 2013-02-12 한국과학기술원 비접촉 전력전달 장치 및 자기유도 방식의 급전장치
US9406166B2 (en) * 2010-11-08 2016-08-02 Seereal Technologies S.A. Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles
JP5668842B2 (ja) 2011-03-31 2015-02-12 トヨタ自動車株式会社 内燃機関の制御装置およびそれを搭載する車両
US9170425B1 (en) 2011-08-17 2015-10-27 Lockheed Martin Corporation Multi-focal augmented reality lenses
GB201117029D0 (en) 2011-10-04 2011-11-16 Bae Systems Plc Optical waveguide and display device
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
US9297996B2 (en) 2012-02-15 2016-03-29 Microsoft Technology Licensing, Llc Laser illumination scanning
JP5864726B2 (ja) 2012-03-26 2016-02-17 株式会社日立製作所 希土類磁石
WO2013145147A1 (ja) * 2012-03-28 2013-10-03 パイオニア株式会社 ヘッドマウントディスプレイ及び表示方法
IL219907A (en) 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
US8909985B2 (en) 2012-07-12 2014-12-09 International Business Machines Corporation Multiple hyperswap replication sessions
CN202864800U (zh) 2012-07-26 2013-04-10 诠钧实业有限公司 绞车的刹车机构
US20140160157A1 (en) * 2012-12-11 2014-06-12 Adam G. Poulos People-triggered holographic reminders
US20140191927A1 (en) * 2013-01-09 2014-07-10 Lg Electronics Inc. Head mount display device providing eye gaze calibration and control method thereof
US9638920B2 (en) 2013-04-15 2017-05-02 Microsoft Technology Licensing, Llc Torsional support for binocular display
US20160020965A1 (en) 2013-08-07 2016-01-21 Hitachi, Ltd. Method and apparatus for dynamic monitoring condition control
US9264702B2 (en) * 2013-08-19 2016-02-16 Qualcomm Incorporated Automatic calibration of scene camera for optical see-through head mounted display
US9804395B2 (en) * 2014-01-29 2017-10-31 Ricoh Co., Ltd Range calibration of a binocular optical augmented reality system
JP6451222B2 (ja) * 2014-11-04 2019-01-16 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
IL232197B (en) 2014-04-23 2018-04-30 Lumus Ltd Compact head-up display system
US10198865B2 (en) * 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US10070120B2 (en) * 2014-09-17 2018-09-04 Qualcomm Incorporated Optical see-through display calibration
IL235642B (en) 2014-11-11 2021-08-31 Lumus Ltd A compact head-up display system is protected by an element with a super-thin structure
US10764563B2 (en) * 2014-11-13 2020-09-01 Intel Corporation 3D enhanced image correction
KR102383425B1 (ko) * 2014-12-01 2022-04-07 현대자동차주식회사 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
IL236491B (en) 2014-12-25 2020-11-30 Lumus Ltd A method for manufacturing an optical component in a conductive substrate
IL236490B (en) 2014-12-25 2021-10-31 Lumus Ltd Optical component on a conductive substrate
IL237337B (en) 2015-02-19 2020-03-31 Amitai Yaakov A compact head-up display system with a uniform image
AU2016250919A1 (en) 2015-04-22 2017-11-09 Esight Corp. Methods and devices for optical aberration correction
US9910276B2 (en) 2015-06-30 2018-03-06 Microsoft Technology Licensing, Llc Diffractive optical elements with graded edges
JP2017108370A (ja) * 2015-07-06 2017-06-15 セイコーエプソン株式会社 頭部装着型表示装置およびコンピュータープログラム
US10192361B2 (en) * 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
KR102574490B1 (ko) * 2015-10-12 2023-09-04 삼성전자주식회사 머리 장착형 전자 장치
CN113489967A (zh) 2015-11-04 2021-10-08 奇跃公司 可穿戴显示系统和用于校准可穿戴显示器的方法
US9759923B2 (en) 2015-11-19 2017-09-12 Microsoft Technology Licensing, Llc Low-stress waveguide mounting for head-mounted display device
US10445860B2 (en) * 2015-12-08 2019-10-15 Facebook Technologies, Llc Autofocus virtual reality headset
US10178378B2 (en) * 2016-04-12 2019-01-08 Microsoft Technology Licensing, Llc Binocular image alignment for near-eye display
NZ787464A (en) * 2016-04-26 2023-06-30 Magic Leap Inc Electromagnetic tracking with augmented reality systems
US10739598B2 (en) 2016-05-18 2020-08-11 Lumus Ltd. Head-mounted imaging device
US20170353714A1 (en) * 2016-06-06 2017-12-07 Navid Poulad Self-calibrating display system
CN106019602B (zh) 2016-08-03 2018-03-30 深圳酷酷科技有限公司 头戴式显示设备
CN113156647B (zh) 2016-10-09 2023-05-23 鲁姆斯有限公司 光学装置
MX2018007164A (es) 2016-11-08 2019-06-06 Lumus Ltd Dispositivo de guia de luz con borde de corte optico y metodos de produccion correspondientes.
JP2020503535A (ja) 2016-12-02 2020-01-30 ルムス エルティーディー． コンパクトなコリメーティング画像プロジェクターを備える光学システム
US20190056600A1 (en) 2016-12-31 2019-02-21 Lumus Ltd Eye tracker based on retinal imaging via light-guide optical element
WO2018127913A1 (en) 2017-01-04 2018-07-12 Lumus Ltd. Optical system for near-eye displays
KR102338472B1 (ko) 2017-02-22 2021-12-14 루머스 리미티드 광 가이드 광학 어셈블리
AU2018239264B2 (en) 2017-03-21 2023-05-18 Magic Leap, Inc. Eye-imaging apparatus using diffractive optical elements
JP6956414B2 (ja) 2017-03-22 2021-11-02 ルムス エルティーディー． 重複ファセット
IL251645B (en) 2017-04-06 2018-08-30 Lumus Ltd Waveguide and method of production
KR102638818B1 (ko) 2017-07-19 2024-02-20 루머스 리미티드 Loe를 통한 lcos 조명
EP3688526B1 (en) 2017-09-29 2023-07-12 Lumus Ltd. Augmented reality display
WO2019077614A1 (en) 2017-10-22 2019-04-25 Lumus Ltd. ENHANCED REALITY DEVICE MOUNTED ON THE HEAD AND USING AN OPTICAL BENCH
US11092810B2 (en) 2017-11-21 2021-08-17 Lumus Ltd. Optical aperture expansion arrangement for near-eye displays
KR20200096274A (ko) 2017-12-03 2020-08-11 루머스 리미티드 광학 장치 정렬 방법
US20190170327A1 (en) 2017-12-03 2019-06-06 Lumus Ltd. Optical illuminator device
US11226261B2 (en) 2017-12-03 2022-01-18 Lumus Ltd. Optical device testing method and apparatus
US11561406B2 (en) 2017-12-10 2023-01-24 Lumus Ltd. Image projector
CN113777783B (zh) 2018-01-02 2024-04-12 鲁姆斯有限公司 具有对准校正的双目增强现实系统及对准校正方法
US10506220B2 (en) 2018-01-02 2019-12-10 Lumus Ltd. Augmented reality displays with active alignment and corresponding methods
US10551544B2 (en) 2018-01-21 2020-02-04 Lumus Ltd. Light-guide optical element with multiple-axis internal aperture expansion
US11221294B2 (en) 2018-04-08 2022-01-11 Lumus Ltd. Optical sample characterization
US10830938B2 (en) 2018-05-14 2020-11-10 Lumus Ltd. Projector configuration with subdivided optical aperture for near-eye displays, and corresponding optical systems
CN112119344B (zh) 2018-05-17 2023-01-20 鲁姆斯有限公司 具有交叠投射仪组件的近眼显示器
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
AU2019274687B2 (en) 2018-05-23 2023-05-11 Lumus Ltd. Optical system including light-guide optical element with partially-reflective internal surfaces
CN210323582U (zh) 2018-05-27 2020-04-14 鲁姆斯有限公司 具有场曲率影响减轻的基于基板引导的光学系统
US11415812B2 (en) 2018-06-26 2022-08-16 Lumus Ltd. Compact collimating optical device and system
KR20210031705A (ko) 2018-07-16 2021-03-22 루머스 리미티드 편광 내부 반사기를 사용하는 광 가이드 광학 요소
CN112639574B (zh) 2018-09-09 2023-01-13 鲁姆斯有限公司 包括具有二维扩展的光导光学元件的光学系统
DE202019106214U1 (de) 2018-11-11 2020-04-15 Lumus Ltd. Augennahe Anzeige mit Zwischenfenster
AU2020211092B2 (en) 2019-01-24 2023-05-11 Lumus Ltd. Optical systems including LOE with three stage expansion

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11961258B2 (en) 2022-01-26 2024-04-16 Industrial Technology Research Institute Calibration method for optical see-through display and calibration system

Also Published As

Publication number Publication date
CN110915210A (zh) 2020-03-24
IL275615B (en) 2022-08-01
CN113777783B (zh) 2024-04-12
IL275615A (en) 2020-08-31
AU2019205611A1 (en) 2020-01-30
WO2019135169A1 (en) 2019-07-11
BR112020001912A2 (pt) 2020-07-28
US20210099691A1 (en) 2021-04-01
CN110915210B (zh) 2021-10-15
EP3735775A1 (en) 2020-11-11
CN113777783A (zh) 2021-12-10
TWI791728B (zh) 2023-02-11
RU2020100251A (ru) 2022-02-03
JP2023081930A (ja) 2023-06-13
US11223820B2 (en) 2022-01-11
MX2020002402A (es) 2020-07-22
JP2021509482A (ja) 2021-03-25
EP3735775A4 (en) 2022-01-19
CA3068659A1 (en) 2019-07-11
KR20200102408A (ko) 2020-08-31

Similar Documents

Publication Publication Date Title
CN113777783B (zh) 具有对准校正的双目增强现实系统及对准校正方法
US10869024B2 (en) Augmented reality displays with active alignment and corresponding methods
JP3929384B2 (ja) ファインダ、撮影装置、マーカ提示部材、及び、キャリブレーションのための撮影方法
JP5014979B2 (ja) 個人用電子機器の３次元情報取得及び表示システム
CN112470188A (zh) 用于多相机放置的系统和方法
EP2966863A1 (en) Hmd calibration with direct geometric modeling
US20210364900A1 (en) Projection Method of Projection System for Use to Correct Image Distortion on Uneven Surface
JP2001211403A (ja) 頭部装着型表示装置及び頭部装着型表示システム
US20180192032A1 (en) System, Method and Software for Producing Three-Dimensional Images that Appear to Project Forward of or Vertically Above a Display Medium Using a Virtual 3D Model Made from the Simultaneous Localization and Depth-Mapping of the Physical Features of Real Objects
JP4432462B2 (ja) 撮像装置及び方法、撮像システム
US20190236847A1 (en) Method and system for aligning digital display of images on augmented reality glasses with physical surrounds
US20160241841A1 (en) A stereoscopic assembly and method for manufacturing same
JP2018500690A (ja) 拡大３ｄ画像を生成するための方法およびシステム
WO2016067729A1 (ja) 画像生成装置、画像生成方法および較正方法
KR101456650B1 (ko) 직교식 입체 카메라의 광축 정렬 방법 및 직교식 입체 카메라
CN113925441B (zh) 一种基于内窥镜的成像方法及成像系统
WO2021093804A1 (zh) 全向立体视觉的摄像机配置系统及摄像机配置方法
JPH10115878A (ja) 指向性スクリーンを用いる３次元画像投写システム
CN109644259A (zh) 三维影像预处理方法、装置及头戴显示设备
WO2018187743A1 (en) Producing three-dimensional images using a virtual 3d model
KR101630916B1 (ko) 스테레오 모바일 3d 카메라
JP2014112887A (ja) 頭部装着型表示装置、仮想画像生成装置およびそれらを有するシステム、並びに制御方法
KR20230010480A (ko) 스테레오 비전을 이용한 프로젝터 제어 시스템 및 방법
CN115509007A (zh) 增强现实显示设备与方法
JP2010044109A (ja) 立体映像撮影カメラの設定装置及び設定方法