TW202119199A - 虛擬鍵盤 - Google Patents

虛擬鍵盤 Download PDF

Info

Publication number
TW202119199A
TW202119199A TW109130295A TW109130295A TW202119199A TW 202119199 A TW202119199 A TW 202119199A TW 109130295 A TW109130295 A TW 109130295A TW 109130295 A TW109130295 A TW 109130295A TW 202119199 A TW202119199 A TW 202119199A
Authority
TW
Taiwan
Prior art keywords
virtual keyboard
display
hand
physical hand
image
Prior art date
Application number
TW109130295A
Other languages
English (en)
Inventor
史考特 貝斯
強那森 凱司
羅伯特 塔茲
安納桑帕瑪納翰 艾拉山尼帕萊 坎哈達
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202119199A publication Critical patent/TW202119199A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明提供用於產生虛擬內容之系統、裝置(或器件)、方法及電腦可讀媒體。舉例而言，一器件(例如一擴展實境器件)可獲得一真實世界環境之一場景之一影像，其中當虛擬內容藉由一顯示器顯示時，該真實世界環境可經由該擴展實境器件之該顯示器進行觀察。該器件可偵測該影像中之一使用者之一實體手的至少一部分。該器件可基於偵測該實體手之至少該部分產生一虛擬鍵盤。該器件可判定該擴展實境器件之該顯示器上之該虛擬鍵盤相對於該實體手之至少該部分的一位置。該器件可在該顯示器上之該位置處顯示該虛擬鍵盤。

Description

虛擬鍵盤
本發明大體上係關於用於產生擴展實境鍵盤(稱作「虛擬鍵盤」)且將其配準至使用者之一或多隻手的技術及系統。
擴展實境技術可用於向使用者呈現虛擬內容，及/或可組合來自實體世界之真實環境與虛擬環境以向使用者提供擴展實境體驗。術語擴展實境可涵蓋虛擬實境、擴增實境、混合實境及其類似者。擴展實境之此等形式中的每一者允許使用者體驗沉浸式虛擬環境或內容或者與沉浸虛擬環境或內容互動。舉例而言，擴展實境體驗可允許使用者與真實或實體環境互動，該真實或實體環境運用虛擬內容增強或擴增。擴展實境技術可經實施以增強在廣泛範圍之情形下，諸如娛樂、保健、零售、教育、社交媒體等中的使用者體驗。
在一些實例中，描述用於產生擴展實境鍵盤(亦稱作虛擬鍵盤)的系統、方法及電腦可讀媒體。舉例而言，由使用者穿戴之擴展實境器件(例如擴增實境頭戴式器件，諸如眼鏡或其他頭戴式器件)可偵測使用者的一或多隻手，諸如藉由偵測擴展實境器件之攝影機之視野中的一或多隻手、使用位於手附近或上之感測器偵測一或多隻手等。擴展實境器件可諸如回應於在攝影機視野中偵測一或多隻手而在擴展實境器件之顯示器上產生並顯示虛擬鍵盤。在一些實例中，虛擬鍵盤可在真實世界內容(例如可經由延伸實境器件之顯示器觀察真實世界環境之場景)之影像上或在虛擬內容上顯示。在一些實例中，虛擬鍵盤可在延伸實境器件之顯示器(例如在此等實例中，顯示器可包括延伸實境眼鏡之鏡片)上顯示為投影，因此觀察者可在經由顯示器觀察真實世界時觀察並控制虛擬鍵盤。自觀察者之視角經由擴展實境器件，虛擬鍵盤似乎位於開放空間內。
擴展實境器件可相對於使用者之一或多隻手配準虛擬鍵盤。舉例而言，一或多隻手上之一或多個基準點可用作真實世界配準點以用於在擴展實境器件之顯示器上定位虛擬鍵盤。在一些實施方案中，一或多個基準點可包括使用者之每一手上之至少一個點(例如每隻手的手掌上的一點)及手之每一手指上的至少一個點(例如每一手指上之三個點)。如本文中所使用，術語「手指」可指手的所有五個手指，包括拇指。
在一些實例中，一旦基於經配準至使用者之一或多隻手判定虛擬鍵盤之位置，則虛擬鍵盤可維持在該位置處使得其保持固定在該位置處直至偵測到重新配準事件。重新配準事件之實例可包括由臨限變化量產生之一或多隻手的位置變化、由臨限移動量產生之一或多隻手之移動、在判定虛擬鍵盤在顯示器上的位置後之預定時間量之過期、其任何組合及/或其他重新配準事件。
在一些實例中，可將虛擬鍵盤分裂成至少第一部分及第二部分。第一部分可相對於使用者之第一隻手進行配準，且第二部分可相對於使用者之第二隻手進行配準。舉例而言，第一隻手可為使用者之左手，且虛擬鍵盤之第一部分可包括虛擬鍵盤之左半部(或另一左側部分)，且第二隻手可為使用者之右手，且虛擬鍵盤之第二部分可包括虛擬鍵盤之右半部(或另一右側部分)。在此等實例中，虛擬鍵盤之第一部分可追蹤第一隻手，且虛擬鍵盤之第二部分可追蹤第二隻手。舉例而言，當使用者移動第一隻手時，虛擬鍵盤之第一部分可相對於第一隻手在顯示器上移動。類似地，虛擬鍵盤之第二部分可相對於第二隻手在顯示器上移動。
根據至少一個說明性實例，提供一種產生虛擬內容之方法。方法包括：藉由擴展實境器件獲得真實世界環境之場景之影像，其中當虛擬內容藉由顯示器顯示時，真實世界環境可經由擴展實境器件之顯示器進行觀察；藉由擴展實境器件偵測影像中之使用者之實體手的至少一部分；基於偵測實體手之至少部分產生虛擬鍵盤；判定虛擬鍵盤在擴展實境器件之顯示器上的位置，該位置係相對於實體手之至少部分進行判定；及藉由擴展實境器件在顯示器上之位置處顯示虛擬鍵盤。
在另一實例中，提供一種用於產生虛擬內容之裝置，其包括顯示器、經組態以儲存一或多個影像之記憶體及一或多個處理器(例如實施於電路中且耦接至記憶體)。一或多個處理器經組態且可：獲得真實世界環境之場景的影像，其中當虛擬內容藉由顯示器顯示時，真實世界環境可經由擴展實境器件之顯示器進行觀察；偵測影像中之使用者之實體手的至少一部分；基於偵測實體手之至少部分產生虛擬鍵盤；判定虛擬鍵盤在顯示器上的位置，該位置係相對於實體手之至少部分進行判定；及在顯示器上之位置處顯示虛擬鍵盤。
在另一實例中，一種其上儲存有指令之擴展實境器件之非暫時性電腦可讀媒體，該等指令在由一或多個處理器執行時使得一或多個處理器：獲得真實世界環境之場景的影像，其中當虛擬內容藉由顯示器顯示時，真實世界環境可經由擴展實境器件之顯示器進行觀察；偵測影像中之使用者之實體手的至少一部分；基於偵測實體手之至少部分產生虛擬鍵盤；判定虛擬鍵盤在顯示器上之位置，該位置係相對於實體手之至少部分進行判定；及在顯示器上之位置處顯示虛擬鍵盤。
在另一實例中，提供一種用於處理一或多個圖框之裝置。裝置包括：用於獲得場景之影像之構件；偵測影像中的使用者之實體手之至少一部分，可經由顯示器觀察實體手之至少部分；基於偵測實體手之至少部分產生虛擬鍵盤；判定虛擬鍵盤在顯示器上之位置，該位置係相對於實體手之至少部分進行判定；及在可經由顯示器觀察之真實世界環境內在顯示器上之位置處顯示虛擬鍵盤。
在一些態樣中，上文所描述之方法、裝置及電腦可讀媒體進一步包含：偵測實體手上之一或多個基準點；判定一或多個基準點相對於用於擷取影像之攝影機的一或多個位置；及基於一或多個基準點相對於攝影機的一或多個位置判定虛擬鍵盤在顯示器上相對於實體手的位置。
在一些態樣中，上文所描述之方法、裝置及電腦可讀媒體進一步包含：判定使用者之頭部的姿勢；及基於頭部之姿勢判定虛擬鍵盤在顯示器上相對於頭部的位置。
在一些態樣中，當實體手移動位置時，虛擬鍵盤固定在顯示器上之位置處。
在一些態樣中，上文所描述之方法、裝置及電腦可讀媒體進一步包含：接收與虛擬鍵盤之操作相關聯的輸入；及當基於經接收輸入操作虛擬鍵盤時，將虛擬鍵盤維持在該位置處。
在一些態樣中，上文所描述之方法、裝置及電腦可讀媒體進一步包含：判定與實體手之至少部分在影像中的位置相比，實體手之至少部分在場景之額外影像中處於不同位置；及基於判定實體手之至少部分在場景之額外影像中處於不同位置，在顯示器上的額外位置處顯示虛擬鍵盤，額外位置與該位置不同。
在一些態樣中，上文所描述之方法、裝置及電腦可讀媒體進一步包含：在判定虛擬鍵盤在顯示器上之位置後，偵測預定時間量之過期；及基於偵測預定時間量之過期，在顯示器上之額外位置處顯示虛擬鍵盤，額外位置與該位置不同。
在一些態樣中，實體手之至少部分包括實體手上的至少一個點及實體手之手指上的至少一個點。
在一些態樣中，實體手之至少部分包括實體手上的至少一個點及實體手之每一手指上的至少一個點。
在一些態樣中，虛擬鍵盤包括第一部分及第二部分，第一部分在顯示器上相對於實體手之位置處顯示，且第二部分在顯示器上相對於使用者之額外實體手之額外位置處顯示。在一些實例中，虛擬鍵盤之第一部分相對於實體手在顯示器上移動，且其中虛擬鍵盤之第二部分相對於額外實體手在顯示器上移動。
在一些態樣中，上文所描述之方法、裝置及電腦可讀媒體進一步包含：判定場景之額外影像中不存在實體手；及基於判定場景的額外影像中不存在實體手而自顯示器移除虛擬鍵盤。
在一些態樣中，虛擬鍵盤為激活的以用於在自顯示器移除虛擬鍵盤時提供輸入。
在一些態樣中，上文所描述之方法、裝置及電腦可讀媒體進一步包含去啟動虛擬鍵盤以免用於提供輸入。
在一些態樣中，在場景之一或多個影像中不存在實體手時顯示虛擬鍵盤。
在一些態樣中，裝置為以下裝置或為以下裝置之部分：攝影機(例如IP攝影機)、行動器件(例如，行動電話或所謂的「智慧型手機」或其他行動器件)、可穿戴式器件、擴展實境器件(例如，虛擬實境(VR)器件、擴增實境(AR)器件或混合實境(MR)器件)、個人電腦、膝上型電腦、伺服器電腦或其他器件。在一些態樣中，裝置包括用於擷取一或多個影像的一或多個攝影機。在一些態樣中，裝置進一步包括用於顯示一或多個影像、通知及/或其他可顯示資料的顯示器。在一些態樣中，上文所描述之裝置可包括一或多個感測器。
此發明內容並不意欲識別所主張標的物之關鍵或基本特徵，亦不意欲單獨使用以判定所主張標的物之範疇。應參考此專利之整個說明書之適當部分、任何或所有圖式及每一申請專利範圍來理解標的物。
在參考以下說明書、申請專利範圍及隨附圖式時，前述內容連同其他特徵及實施例將變得更顯而易見。
相關申請案之交叉參考
本申請案主張2019年9月4日申請之美國臨時申請案第62/895,970號的權益，該臨時申請案特此以全文引用之方式併入且用於所有目的。
下文提供本發明之某些態樣及實施例。此等態樣及實施例中之一些可獨立地應用且其中之一些可以將對熟習此項技術者顯而易見之組合來應用。在以下描述中，出於解譯之目的，闡述特定細節以便提供對本申請案之實施例的透徹理解。然而，各種實施例可在無此等特定細節之情況下實踐將為顯而易見的。圖式及描述並不意欲為限定性的。
隨後描述僅提供例示性實施例，且並不意欲限制本發明之範疇、可應用性或組態。確切而言，例示性實施例之隨後描述將為熟習此項技術者提供能夠實施例示性實施例之描述。應瞭解，可在不背離如所附申請專利範圍中所闡述之本申請案之精神及範疇的情況下對元件之功能及配置做出各種變化。
如先前所描述，擴展實境(XR)技術可向使用者提供虛擬內容，及/或組合真實或實體環境與虛擬環境(由虛擬內容構成)以向使用者提供擴展實境體驗。擴展實境體驗包括虛擬實境(VR)、擴增實境(AR)、混合實境(MR)及/或其他沉浸式內容。
AR係一種經由使用者對實體、真實世界場景或環境之觀察提供虛擬或電腦產生之內容(稱作AR內容)的技術。AR內容可包括任何虛擬內容，諸如視訊、圖形內容、位置資料(例如全球定位系統(GPS)資料或其他位置資料)、聲音、其任何組合及/或其他擴增內容。AR系統經設計成用於增強(或加強)而非用於取代一個人當前對實境的知覺。舉例而言，使用者可經由AR器件顯示器看見真實靜止或移動對象，但可藉由彼對象之虛擬影像(例如真實世界汽車由德勞瑞恩(DeLorean)的虛擬影像取代)或藉由添加至對象之AR內容(例如添加至活動物之虛擬翅膀)來擴增或增強使用者對真實對象的視知覺。各種類型之AR系統可用於遊戲、娛樂及/或其他應用。
可用於提供AR內容之兩種類型之AR系統包括視訊透視顯示器及光學透視顯示器，該等顯示器皆可用於增強使用者對真實世界對象的視知覺。在視訊透視系統中，顯示真實世界情境之實況視訊，包括在實況視訊上擴增或增強的一或多個對象。視訊透視系統可使用可顯示視訊及視訊內之電腦產生之對象的行動器件(例如行動電話顯示器上之視訊)、頭戴式顯示器(HMD)或其他合適器件來實施。
在具有AR特徵之光學透視系統中，AR對象可在無視訊的情況下直接顯示至真實世界視圖上。舉例而言，使用者可經由顯示器(例如眼鏡或鏡片)觀察實體對象，且可將AR內容投影至顯示器上以允許使用者獲得一或多個真實世界對象的增強視知覺。使用於光學透視AR系統中之顯示器的實例為可包括在每隻眼睛前方之鏡片或玻璃的AR眼鏡、頭戴式顯示器(HMD)、另一AR頭戴裝置或其他類似器件，以允許使用者直接地看見真實世界對象，同時亦允許將對象或額外AR內容之經增強影像投影至玻璃上，從而加強使用者對真實世界的知覺。
VR在三維電腦產生之環境或真實世界環境之視訊中提供完全沉浸式體驗，其可以似乎真實或實體之方式進行互動。隨著體驗VR環境之使用者在真實世界中移動，在虛擬環境中顯現之影像亦改變，從而向使用者給予使用者正在虛擬環境內移動的知覺。舉例而言，使用者可左轉或右轉、向上看或向下看及/或向前或向後移動，從而改變使用者對VR環境的看法。呈現給使用者的VR內容可因此改變，從而使得使用者之體驗如在真實世界中一樣順暢。VR內容在一些情況下可包括VR視訊，該VR視訊可以極高品質進行擷取及顯現，從而潛在地提供真實沉浸式虛擬實境體驗。虛擬實境應用包括遊戲、訓練、教育、體育視訊及線上購物以及其他。可使用諸如VR HMD或其他VR頭戴裝置之VR設備來顯現及顯示VR內容，該VR設備在VR體驗期間完全覆蓋使用者的眼睛。
MR技術可組合VR及AR之態樣以為使用者提供沉浸式體驗。舉例而言，在MR環境中，真實世界可與電腦產生之對象互動(例如真實人物可與虛擬人物互動，如同虛擬人物係真實人物一般)。
文字及字元鍵入為包括AR、VR及MR系統之許多通信器件的基礎特徵。舉例而言，AR器件在現在及將來將需要經由一些輸入器件來支持文字鍵入。許多文字鍵入解決方案使用一種類型的實體輸入器件(諸如鍵盤、筆或其他指針器件)或其他輸入器件。示意動作及話音亦為輸入機制之實例，但由於例如對使用這類輸入機制的社會認可而並未被廣泛地使用。
使用鍵盤輸入文字及字元為大多數使用者所熟知。然而，實體鍵盤無法以使用者友好之方式與許多XR (例如AR、VR及/或MR)系統一起使用。在一些情況下，XR系統時常為可移動的且在使用者自一處行進至另一處時使用。在一些情況下，使用者在穿戴XR頭戴裝置時無法看見實體鍵盤。此外，在一些情況下，XR器件可能不具有可允許連接實體鍵盤之輸入。舉例而言，一組AR眼鏡可能不具有可接受鍵盤纜線或BluetoothTM 硬體鎖之通用串列匯流排(USB)埠。
虛擬鍵盤(例如AR鍵盤)在XR系統中藉由允許使用者在不需要實體鍵盤之情況下容易地提供文字或字元輸入而可為有益的。然而，存在與開發虛擬鍵盤相關之技術挑戰。虛擬鍵盤應與真實世界鍵盤之可用性標準緊密地匹配以為有效的且取得使用者認可。舉例而言，鍵盤不應受過度抖動或浮動影響，以使得使用者可精確地選擇鍵盤上之按鈕(以降低誤差)。為了防止在允許使用者觀察利用虛擬內容擴增之真實世界的基於AR及一些基於MR之系統中的此種抖動，虛擬鍵盤需要與真實世界中的一或多個實體對象配準(例如相對於該一或多個實體對象進行定位)。然而，在一些情況下，可缺少用於為配準目的提供參考之可用真實世界對象。此類問題亦存在於其他虛擬對象，諸如虛擬樂器、虛擬按鈕、虛擬滑件、虛擬方向盤、虛擬漆刷、虛擬書寫工具及/或其他虛擬對象。
本文中描述了用於產生虛擬對象(例如虛擬鍵盤)且相對於使用者之一或多隻手配準虛擬對象之系統、裝置、方法及電腦可讀媒體。本文中所提供之實例使用虛擬鍵盤作為虛擬對象的實例。然而，可實施本文中所描述之技術以便相對於使用者之一或多隻手配準其他虛擬對象，該等其他虛擬對象包括虛擬樂器(例如虛擬鋼琴或鍵盤、虛擬鼓、虛擬邦戈鼓(bongos)等)、虛擬按鈕、虛擬滑件、虛擬方向盤、虛擬漆刷、虛擬書寫工具(例如虛擬鉛筆、虛擬筆等)及/或其他虛擬對象。出於說明之目的，本發明亦提供使用光學透視AR系統之實例。然而，熟習此項技術者將瞭解本文中所描述之技術可應用於視訊透視AR系統或其他類型的XR系統，包括VR及MR系統。
圖1為說明正由使用者100穿戴之AR器件102之實例的圖式。雖然圖1中展示AR器件102作為HMD，但AR器件102可包括任何合適類型之AR器件，諸如AR眼鏡或其他AR器件。AR器件102經描述為光學透視AR器件，其允許使用者100在穿戴AR器件102時經由AR器件102之顯示器110來觀察真實世界。舉例而言，使用者100可在距使用者100的距離處觀察目標平面106上之真實世界場景或環境中的對象104。AR器件102具有攝影機108及顯示器110 (例如玻璃、螢幕、鏡片或其他顯示器)，其允許使用者看見真實世界場景或環境並且亦允許AR內容在其上顯示。雖然圖1中展示一個攝影機108及一個顯示器110，但在一些實施方案中，AR器件102可包括多個攝影機及/或多個顯示器(例如用於右眼之顯示器及用於左眼之顯示器)。AR內容(例如影像、視訊、圖形、虛擬或AR對象，或其他AR內容)可經投影或以其他方式顯示於顯示器110上。在一個實例中，AR內容可包括對象104之擴增版。在另一實例中，AR內容可包括與對象104相關或與真實世界場景或環境中之一或多個其他對象相關的額外AR內容。
如圖1中所展示，AR器件102可包括處理器114及記憶體112 (或其他電腦可讀媒體)或與處理器114及記憶體112 (或其他電腦可讀媒體)進行有線或無線通信。雖然圖1中展示一個處理器114及一個記憶體112，但在一些實施方案中，AR器件102可包括多個處理器及/或多個記憶體器件。處理器114及記憶體112可儲存且執行用於執行本文中所描述之技術的指令。在其中AR器件102與記憶體112及處理器114進行通信(有線或無線)之實施方案中，容納記憶體112及處理器114之器件可為計算器件，諸如桌上型電腦、膝上型電腦、行動電話、平板電腦、遊戲控制台或其他合適的器件。AR器件102亦包括輸入器件116或與輸入器件116進行通信(有線或無線)。輸入器件116可包括任何合適之輸入器件，諸如觸控螢幕、筆或其他指針器件、鍵盤、滑鼠、按鈕或鍵、用於接收話音命令之麥克風、用於接收示意動作命令之示意動作輸入器件、其任何組合及/或其他輸入器件。在一些情況下，攝影機108可擷取可經處理以用於解譯示意動作命令的影像。
攝影機108可擷取彩色影像(例如具有紅色-綠色-藍色(RGB)顏色成分之影像、具有亮度(Y)及色度(C)顏色成分之影像(諸如YCbCr影像)或其他彩色影像)及/或灰度影像。如上文所指出，在一些情況下，AR器件102可包括多個攝影機，諸如雙前攝影機及/或一或多個前置以及一或多個後置攝影機，該等攝影機亦可併有各種感測器(例如一或多個感測器118)。在一些情況下，攝影機108 (及/或AR器件102之其他攝影機)可擷取包括多個視訊圖框(或影像)的影像及/或視訊。在一些情況下，由攝影機108 (及/或其他攝影機)之影像感測器所接收之影像資料可呈原始未經壓縮格式，且可在經進一步處理及/或儲存於記憶體112中之前經壓縮及/或以其他方式處理(例如藉由影像信號處理器(ISP)或AR器件102之其他處理器)。在一些情況下，可藉由處理器114使用無損或有損壓縮技術(例如任何合適的視訊或影像壓縮技術)來執行影像壓縮。
在一些情況下，攝影機108 (及/或AR器件102之其他攝影機)可經組態以同樣擷取深度資訊。舉例而言，在一些實施方案中，攝影機108 (及/或其他攝影機)可包括RGB-深度(RGB-D)攝影機。在一些情況下，AR器件102可包括與攝影機108 (及/或其他攝影機)隔開且可擷取深度資訊的一或多個深度感測器(未展示)。舉例而言，此種深度感測器可自攝影機108獨立地獲得深度資訊。在一些實例中，深度感測器可與攝影機108實體地安裝在相同一般位置處，但可在與攝影機108不同之頻率或圖框率下操作。在一些實例中，深度感測器可採取光源之形式，該光源可將結構化或織構化之光圖案(其可包括一或多個光窄帶)投影至場景中的一或多個對象上。隨後可藉由利用由對象之表面形狀引起的經投影圖案之幾何失真來獲得深度資訊。在一個實例中，深度資訊可自立體感測器，諸如紅外結構化光投影儀與經配準至攝影機(例如RGB攝影機)之紅外攝影機的組合獲得。
在一些實施方案中，AR器件102包括一或多個感測器118。一或多個感測器118可包括一或多個加速計、一或多個回轉儀、一或多個磁力計、其組合及/或其他感測器。一或多個感測器118可向處理器114提供速度、定向及/或其他位置相關資訊。在一些情況下，一或多個感測器118可包括至少一個慣性量測單元(IMU)。IMU係使用一或多個加速計、一或多個回轉儀及/或一或多個磁力計之組合量測AR器件102之比力、角速率及/或定向的電子器件。在一些實例中，一或多個感測器118可輸出與由攝影機108 (及/或AR器件102之其他攝影機)擷取之影像的擷取相關聯之量測資訊及/或使用AR器件102之一或多個深度感測器獲得的深度資訊。
可由處理器114使用一或多個感測器118 (例如一或多個IMU)之輸出來判定AR器件102之姿勢(亦稱作頭部姿勢)及/或攝影機108 (或AR器件102之其他攝影機)之姿勢。在一些情況下，AR器件102之姿勢及攝影機108 (或其他攝影機)之姿勢可為相同的。攝影機108之姿勢係指攝影機108相對於參考圖框(例如相對於對象104)之位置及定向。在一些實施方案中，可針對6自由度(6DOF)來判定攝影機姿勢，該6自由度係指三個平移分量(例如可相對於諸如影像平面之參考圖框的X (水平)、Y (豎直)及Z (深度)座標給出)及三個角分量(例如相對於同一參考圖框之翻滾、俯仰及偏擺)。
在一些實施例中，攝影機108及/或AR器件102之姿勢可由處理器114基於由攝影機108 (及/或AR器件102之其他攝影機)擷取之影像使用視覺追蹤解決方案進行判定及/或追蹤。在一些實例中，處理器114可使用基於電腦視覺之追蹤、基於模型之追蹤及/或同步定位及映射(SLAM)技術來執行追蹤。舉例而言，處理器114可執行SLAM或可與SLAM引擎(現已展示)進行通信(有線或無線)。SLAM係指一類別之技術，其中建立了環境之映射(例如正由AR器件102模型化之環境的映射)而同步地追蹤攝影機(例如攝影機108)及/或AR器件102相對於該映射的姿勢。映射可稱作SLAM映射且可為三維(3D)的。可使用由攝影機108 (及/或AR器件102之其他攝影機)擷取的彩色或灰度影像資料來執行SLAM技術，且可用於產生攝影機108及/或AR器件102之6DOF姿勢量測的估計。此種經組態以執行6DOF追蹤之SLAM技術可稱作6DOF SLAM。在一些情況下，一或多個感測器118之輸出可用於估計、校正及/或以其他方式調整所估計姿勢。
在一些情況下，6DOF SLAM (例如6DOF追蹤)可將自來自攝影機108 (及/或其他攝影機)之某些輸入影像觀測到之特徵與SLAM映射相關聯。6DOF SLAM可使用來自輸入影像之特徵點關聯以判定用於輸入影像之攝影機108及/或AR器件102的姿勢(位置及定向)。亦可執行6DOF映射以更新SLAM映射。在一些情況下，使用6DOF SLAM維持之SLAM映射可含有自兩個或更多個影像三角量測的3D特徵點。舉例而言，關鍵圖框可選自輸入影像或視訊流以表示所觀測之場景。對於每一關鍵圖框，可判定與影像相關聯之各別6DOF攝影機姿勢。攝影機108及/或AR器件102之姿勢可藉由將來自3D SLAM映射之特徵投影至影像或視訊圖框中及根據經驗證之2D-3D對應性更新攝影機姿勢進行判定。
在一個說明性實例中，處理器114可自每一輸入影像或自每一關鍵圖框提取特徵點。如本文所使用之特徵點(亦稱作配準點)為影像之獨特或可識別的部分，諸如手之一部分、桌面之邊緣以及其他。自所擷取影像提取之特徵可表示沿著三維空間(例如X、Y及Z軸上之座標)的不同特徵點，且每一特徵點可具有相關聯之特徵位置。關鍵圖框中之特徵點與先前擷取之輸入影像或關鍵圖框之特徵點匹配(相同或對應)抑或無法匹配。特徵偵測可用於偵測該等特徵點。特徵偵測可包括用於檢查影像之一或多個像素以判定特徵是否存在於特定像素處的影像處理操作。特徵偵測可用於處理整個所擷取影像或影像之某些部分。對於每一影像或關鍵圖框，一旦已偵測到特徵，則可提取特徵周圍之局部影像片。可使用任何合適的技術，諸如尺度不變特徵變換(SIFT) (其定位特徵且產生特徵之描述)、加速穩健特徵(SURF)、梯度位置-定向直方圖(GLOH)、歸一化互相關(NCC)或其他合適之技術來提取特徵。
在一些實例中，可將AR (或虛擬)對象配準至場景中所偵測的特徵點(例如相對於該等特徵點進行定位)。舉例而言，使用者100可觀看使用者100正站立之街道上的餐館。回應於識別餐館及與餐館相關聯之AR內容，處理器114可產生提供與餐館相關的資訊的AR對象。處理器114亦可自包括餐館上之標誌之影像的一部分偵測特徵點，且可將AR對象配準至標誌之特徵點以使得AR對象相對於標誌顯示(例如在標誌上方顯示，使得使用者100可容易地識別該標誌與該餐館相關)。
AR器件102可產生並顯示各種AR對象以供使用者100觀察。舉例而言，AR器件102可產生並顯示虛擬鍵盤作為使用者100根據需要輸入文字及/或其他字元的AR對象。如上文所指出，虛擬鍵盤應儘可能穩定以使得使用者可準確地提供輸入。需要將虛擬鍵盤配準至真實世界中的一或多個實體對象。然而，在許多情況下，可缺少具有可用作配準目的之參考之獨特特徵的真實世界對象。舉例而言，若使用者正凝視空白白板處，則白板可能不具有虛擬鍵盤可配準的任何獨特特徵。戶外環境提供可用於例如基於真實世界中缺少點配準虛擬鍵盤之甚至更少之獨特點；在真實世界中比使用者在室內時更遠的獨特對象；真實世界中存在之許多移動點；處於一定距離的點；以及其他。
為了至少避免真實世界場景或環境中缺少特徵點之問題，AR器件102可使用使用者100的手來配準虛擬鍵盤。舉例而言，使用者100之一或多隻手及手指可用作虛擬鍵盤的真實世界配準點(例如將虛擬鍵盤錨定在空間中)。藉由將鍵盤配準至手及手指，減少了戶外操作的挑戰。
圖2為說明在顯示器210 (例如定位在使用者之眼睛上方之玻璃片或鏡片)上顯示虛擬鍵盤228的AR器件202之實例的圖式。虛擬鍵盤228顯示為擴增使用者對真實世界場景或環境之觀察的AR對象。如所展示，使用者可經由AR器件202之顯示器210觀察實際真實世界環境，包括其在真實世界環境中的實際(或實體)手226。AR器件202可與上文關於圖1所描述之AR器件102類似且可執行與AR器件102相同的功能。如上文所指出，下文所描述之態樣亦可應用於其他類型的XR器件，諸如VR器件及/或MR器件。
在一些實例中，可回應於在AR器件202之攝影機(例如圖1中所示之攝影機108或其他攝影機)的視野中偵測到之使用者之手226而產生且顯示虛擬鍵盤228。舉例而言，AR器件202 (例如圖1中所示之處理器114或其他組件)之處理器可在由AR器件202之攝影機擷取的影像中偵測使用者的實際(或實體)手226。在一些情況下，可在影像中偵測一隻手或一隻手的部分從而可使得虛擬鍵盤228顯示。可使用任何合適的對象偵測技術在一或多個影像中偵測手226。在一個說明性實例中，處理器可使用基於電腦視覺之對象偵測來偵測影像中的手226 (或一隻手)。對象偵測通常係用於自影像或視訊圖框偵測(或定位)對象的技術。當執行定位時，可使用識別影像或視訊圖框中之對象(例如面部)之位置及/或近似邊界的邊界區來表示所偵測對象。所偵測對象之邊界區可包括邊界框、邊界圓、邊界橢圓或表示所偵測對象之任何其他合適形狀的區。
處理器可使用不同類型的基於電腦視覺之對象偵測演算法。在一個說明性實例中，基於模板匹配之技術可用於偵測影像中的一或多隻手。可使用各種類型之模版匹配演算法。模版匹配演算法之一個實例可執行Haar或Haar類特徵提取、積分影像產生、Adaboost訓練及級聯分類器。此種對象偵測技術藉由在影像上應用滑動視窗(例如具有矩形、圓形、三角形或其他形狀之滑動視窗)來執行偵測。積分影像可計算成自影像評估特定區域特徵(例如矩形或圓形特徵)之影像表示。對於每一當前視窗，可自上文所指出之積分影像計算當前視窗之Haar特徵，該積分影像可在計算Haar特徵之前進行計算。
Harr特徵可藉由計算對象影像之特定特徵區(諸如積分影像之彼等特定特徵區)內之影像像素的和來計算。在面部，例如具有眼睛直區通常比具有鼻樑或面頰之區更暗。可藉由選擇最佳特徵及/或訓練使用該等最佳特徵之分類器的學習演算法(例如，Adaboost學習演算法)來選擇Haar特徵，且可用於使用級聯分類器有效地將視窗分類為手動(或其他對象)視窗或非手動視窗。級聯分類器包括以級聯形式組合之多個分類器，其允許在對類對象區執行更多計算的同時快速地丟棄影像之背景區。舉例而言，級聯分類器可將當前視窗分類成手動類別或非手動類別。若一個分類器將視窗分類為非手動類別，則丟棄該視窗。另外，若一個分類器將視窗分類為手動類別，則級聯式配置中之下一個分類器將用於再次測試。在所有分類器判定當前視窗為手動(或其他對象)前，視窗將標記為手動(或其他對象)之候選項。在偵測所有視窗之後，可使用非最大抑制演算法以對每一手周圍之面部進行分組從而產生一或多隻經偵測手的最終結果。
在另一實例中，可使用機器學習技術以偵測影像中之手226 (或一隻手)。舉例而言，可使用經標記之訓練資料來訓練神經網路(例如迴旋神經網路)以偵測影像中的一或多隻手。回應於偵測到之手226 (或一隻手)，AR器件202之處理器可產生顯示器的虛擬鍵盤228。在一些實例中，若在由AR器件202之攝影機擷取之影像或一定數目的影像(例如對應於每秒30圖框之擷取率下之一分鐘的1800影像或其他數目個影像)中不再偵測到手226，則AR器件202之處理器可自顯示器移除虛擬鍵盤228。在一些實例中，若在時間之一段持續時間(例如一分鐘、三分鐘、五分鐘或其他時間量)內在一或多個影像中不再偵測到手226，則AR器件202的處理器可自顯示器移除虛擬鍵盤228。在一些實例中，AR器件220之處理器可在自顯示器移除虛擬鍵盤228時去啟動虛擬鍵盤228。
在一些實例中，AR器件220之處理器可在自顯示器移除虛擬鍵盤之後將虛擬鍵盤228維持為激活的以便提供輸入(例如基於自使用者接收輸入)。舉例而言，若使用者看起來遠離其手226 (且遠離相對於手226配準之虛擬鍵盤228)，則虛擬鍵盤228可保持激活的且使用者可繼續使用虛擬鍵盤228鍵入或以其他方式提供輸入。在一些實例中，AR器件220之處理器可去啟動虛擬鍵盤228以使得虛擬鍵盤228無法用於向AR器件220及/或與AR器件220通信的其他器件提供輸入。舉例而言使用者可選擇選項(例如藉由提供使用者輸入、諸如示意動作輸入、話音輸入及/或其他輸入)以去啟動虛擬鍵盤228。
在一些實例中，即使不再在一或多個影像中偵測到手226，AR器件220之處理器仍可繼續顯示虛擬鍵盤228。舉例而言，在一些情況下，當並未在一或多個影像中偵測到手226時，處理器可在顯示器上之特定或預定位置處顯示虛擬鍵盤228，該位置諸如顯示器的底部中心、顯示器之左下方、顯示器的右下方、顯示器之左上方、顯示器之右上方或顯示器的其他部分。在一些情況下，特定或預定位置由使用者(例如作為使用者優先)進行組態或設定。
在一些實例中，可使用位於一或多隻手226上或附近的一或多個感測器來判定手226的姿勢。在一個實例中，至少一個感測器可為之使用者之右手上之手套的一部分，及至少一個其他感測器可為使用者之左手上之手套的一部分。在另一實例中，至少一個感測器可為使用者之右手腕上之腕帶、手錶或其他物件的部分，及至少一個其他感測器可為使用者之右手腕上之腕帶、手錶或其他物件的部分。一或多個感測器可偵測手之姿勢且可將姿勢的資訊(例如x、y及z座標以及/或翻滾、俯仰及偏擺)傳達至AR器件202。AR器件202隨後可相對於由手姿勢資訊所規定之使用者(如本文所描述)的手進行顯示。
如圖2中所展示，虛擬鍵盤228在顯示器210上相對於使用者之實體手226的位置處顯示為投影。虛擬鍵盤228相對於手226顯示之位置可藉由將虛擬鍵盤228配準至在手226上偵測到的一或多個基準點進行判定，如下文更詳細地描述。使用者可在顯示虛擬鍵盤228時繼續經由顯示器210觀察真實世界場景(或環境)。使用者可觀察及控制虛擬鍵盤228，同時能夠觀察真實世界場景。在一些實例中(未展示)，AR器件202經組態以將虛擬鍵盤顯示為在由AR器件202顯示之真實世界場景之影像上或虛擬環境的影像上的覆蓋。
在一些實例中，一或多個AR對象可顯示於AR器件202之顯示器210上，且使用者可輸入可用於操控一或多個AR對象的文字及/或其他字元。舉例而言，如圖2中所展示，AR對象224可顯示於顯示器210上。回應於使用者在虛擬鍵盤228上鍵入的文字及/或其他字元，虛擬鍵盤228可自使用者接收輸入。輸入可經處理並顯示於AR對象224中。在一個說明性實例中，AR對象224包括文字發送應用，且使用者可使用虛擬鍵盤228輸入訊息，該訊息可顯示為AR對象224的場內訊息。
在顯示虛擬鍵盤228前(或在一些情況下顯示虛擬鍵盤228時)，AR器件202之處理器可將虛擬鍵盤228配準至在手226上偵測到的一或多個基準點(亦稱作配準點)。在一些實例中，手上之基準點可使用手骨骼追蹤方法進行偵測。舉例而言，可使用使用者手226之深度攝影機視圖(例如來自諸如深度感測器或RGB -D攝影機之深度攝影機的影像)、手226之RGB單目攝影機視圖(例如來自RGB單目攝影機的影像)及/或手226之單色攝影機視圖(例如來自單色攝影機之影像)來執行偵測。在一個說明性實例中，手(或手226兩者)之3維(3D)可變形模型用於產生與由影像感測器(例如深度攝影機、RGB攝影機及/或單色攝影機)所見之視圖最密切匹配的手之視圖。舉例而言，3D可變形模型可經修改且用於產生與使用影像感測器擷取之影像中之手(或手226)的視圖匹配的視圖。一旦與手之3D模型之視圖建立密切匹配，則對應於此匹配視圖的模型之參數可用於獲得模型之基準點的位置，該位置用於近似手之基準點。
在其他實例中，各種手姿勢之模板及其對應基準點可先驗地儲存於資料庫中。在偵測時，由影像感測器(例如RGB攝影機、深度攝影機、單色攝影機或其他影像感測器)擷取之影像與模板中之一者相匹配，且對應匹配模版用於定位基準點。模版及匹配可儲存於手動精製的抑或使用機器學習技術習得的特徵空間中。
作為手226上之一或多個基準點之偵測結果，確立了地標(且由此手及手指)在相對於影像感測器的相對實體位置中之姿勢。如下文更詳細地描述手226上之一或多個基準點可用作用於將虛擬鍵盤228定位於AR器件202之顯示器210上的真實世界配準點。雖然下文所提供之實例描述使用手226上之一或多個基準點以用於配準虛擬鍵盤228，但在一些情況下可僅使用使用者的一隻手之基準點來執行配準。在一些實例中，虛擬鍵盤之不同部分可相對於使用者之不同手進行配準(例如第一部分可相對於第一隻手配準，及第二部分可相對於第二隻手配準，如下文關於圖4所描述)。
在一些情況下，一或多個基準點可包括使用者之每一手上之至少一個點(例如每一手的手掌上的一點)及手之每一手指上的至少一個點(例如每一手指上之三個點)。如本文中所使用，術語「手指」可指手的所有五個手指，包括食指、中指、無名指、小指(或小拇指)及拇指。手之不同部分上的基準點可提供多個自由度，從而可為定位虛擬鍵盤228提供許多選項。
圖3為說明手326之基準點之實例的圖式，該基準點可用作真實世界點以用於配準圖2之虛擬鍵盤228之位置及/或追蹤虛擬鍵盤228在一或多個影像中的位置。圖3中所展示之基準點對應於手326之不同部分，包括手的手掌上之基準點335、手326之拇指330上的三個基準點、手326之食指332上之三個基準點、手326的中指334上之三個地標手326之無名指336上的三個基準點及手326之小拇指338上之三個基準點。手326之手掌可在三個平移方向(例如相對於諸如影像平面之平面在X、Y及Z方向上量測之三個平移方向)上及三個旋轉方向(例如相對於平面在偏擺、俯仰及翻滾量測之三個旋轉方向)上移動，且由此提供可用於配準及/或追蹤的六個自由度(6DOF)。手掌之6DOF移動在圖3中說明為正方形，如圖例339中所指示。
手326之手指之不同關節允許不同程度之移動，如圖例339中所說明。如由圖3中之菱形形狀(例如菱形333)所說明，每一手指之基部(對應於掌指關節(MCP)與鄰近指骨及掌骨之間)具有對應於屈曲及延伸以及外展及內收的二自由度(2DOF)。如由圖3中之圓形形狀(例如圓形331)所說明，每一手指之每一上關節(對應於指間關節與遠端、中部及鄰近指骨之間)具有對應屈曲及延伸的一自由度(2DOF)。因而，手326提供配準及追蹤虛擬鍵盤228所用之26自由度(26DOF)。
返回參考圖2，AR器件202之處理器可使用手226之一或多個基準點以配準虛擬鍵盤。如上文所指出，作為手226上之一或多個基準點之偵測結果，建立了地標(且由此手及手指)在相對於影像感測器的相對實體位置中之姿勢。舉例而言，可在影像中偵測手226之手掌上之基準點(例如圖3中之基準點335)，且可相對於AR器件202的攝影機判定基準點之位置。虛擬鍵盤228之一或多個點(例如中心點，諸如質心或其他中心點)可隨後相對於針對手226之手掌上的基準點所判定的位置而定位於AR器件202之顯示器210上。在一些實例中，虛擬鍵盤228之一或多個點(例如中心點)可相對於手226上之多個基準點的位置進行配準。在一些實例中，虛擬鍵盤228上之多個點可相對於手226上之一或多個基準點的位置進行配準。舉例而言，虛擬鍵盤228之中心點及對應於虛擬鍵盤228四個角的點可相對於手226上之一或多個基準點的位置進行配準。
在一些實例中，AR器件202之處理器可將虛擬鍵盤配準至真實世界環境(如在一或多個影像中偵測到的真實世界環境)中的點及/或使用者之其他部分。舉例而言，在一些實施方案中，一或多個影像感測器(例如攝影機)可剛性地安裝於AR器件(例如HMD、AR眼鏡、VR眼鏡或其他器件)上。在此等實施方案中，除相對於AR器件上之影像感測器之一或多隻手的實體姿勢外，亦可判定其他固定環境地標，諸如牆壁上之獨特點(稱作關鍵點)、對象的一或多個角、地板上之特徵以及其他的位置。可置放虛擬鍵盤以使得其並不始終隨手移動，而係限制在相對於靜止環境關鍵點的特定位置內。
在一些實例中，可判定使用者之頭部的姿勢(或「頭部姿勢」)。頭部之姿勢可對應於頭部之位置(例如相對於水平或X維度、豎直或Y維度及深度或Z維度之位置)及/或定向(例如相對於翻滾、俯仰及偏擺的定向)。可使用任何合適之技術，諸如使用上文關於圖1所描述之技術判定頭部姿勢(例如使用一或多個感測器118、諸如一或多個加速計、一或多個回轉儀、一或多個磁力計、一或多個慣性量測單元(IMU)、其組合及/或其他感測器)。頭部姿勢(例如除手226外)可用於判定虛擬鍵盤228之位置。舉例而言，頭部姿勢可用作自其配準虛擬鍵盤228之另一參考點。
在一些實例中，使用者之頭部姿勢可用於判定是否在顯示器210上顯示虛擬鍵盤228。舉例而言，除偵測手226之外，處理器亦可判定如上文所描述之使用者的頭部姿勢(例如使用一或多個感測器118，諸如一或多個加速計、一或多個回轉儀、一或多個磁力計、一或多個慣性量測單元(IMU)、其組合及/或其他感測器)。處理器可判定是否基於頭部姿勢及手位置的組合來顯示虛擬鍵盤228。在一個說明性實例中，若手226經偵測為以一定量(例如以十二吋或更大)分開，且頭部之姿勢使得其向後傾斜，則可判定使用者並非試圖鍵入訊息(例如使用者可能向後傾斜其頭部且無法將其手分開)且處理器可判定不顯示虛擬鍵盤228。
在一些實例中，虛擬鍵盤228可維持在使用手226之基準點之位置(且在一些情況使用真實世界場景或環境中的點)所判定的位置處。使用者可隨後在虛擬鍵盤228保持固定在所判定之位置時，虛擬地在虛擬鍵盤228上鍵入。虛擬鍵盤228可在使用者鍵入時保持固定。在一些情況下，虛擬鍵盤228可維持在所判定之位置處，直至藉由AR器件202之處理器偵測到重新配準事件為止。若偵測到重新配準事件，則處理器可相對於手226重新配準虛擬鍵盤228，以使得虛擬鍵盤228在顯示器210上之新位置處顯示。在一個說明性實例中，重新配準事件可包括手226中之一或多者之位置變化了臨限變化量。舉例而言，若使用者使手226移動超過臨限變化量，則AR器件202之處理器可使用手226之一或多個基準點重新配準虛擬鍵盤228。臨限變化量可包括任何合適之距離，諸如六吋、十二吋、十八吋或其他合適量。
在另一說明性實例中，重新配準事件可包括使手226中之一或多者移動臨限移動量。舉例而言，手之速度及/或加速度可(例如使用加速計、回轉儀及/或其他感測器)經量測，且可用於判定速度及/或加速度是否超出臨限移動量。若AR器件202之處理器偵測手226中之一或多者以超出臨限移動量之速度及/或加速度移動，則處理器可使用手226的一或多個基準點重新配準虛擬鍵盤228。臨限移動量可包括指示手226可能已移動至新位置之任何合適的速度及/或加速度，諸如兩呎/秒。
在另一說明性實例中，重新配準事件可包括在判定虛擬鍵盤228在顯示器210上之位置後的預定時間量。舉例而言，若AR器件202之處理器由於判定虛擬鍵盤228之先前位置(例如由於虛擬鍵盤228最後配準至使用者之手226)而偵測預定量的過期，則處理器可使用手226的一或多個基準點重新配準虛擬鍵盤228。預定時間量可包括任何合適的時間量，諸如每十五秒、三十秒、一分鐘、兩分鐘、五分鐘或其他時間量。
在一些實例中，可使用手226之基準點之位置(且在一些情況使用真實世界場景或環境中的點)來判定虛擬鍵盤228的初始位置。在一些情況下，在判定虛擬鍵盤228之初始位置之後，虛擬鍵盤228可隨著使用者之手226移動而移動。在一些實例中，虛擬鍵盤228可在手226移動時維持相對於指尖位置的相同位置(location/position)。若指尖在選擇附近鍵之臨限距離(例如0.5吋、1吋、2吋及/或其他距離)內，則虛擬鍵盤228可不移動。舉例而言，當指尖在選擇附近鍵之臨限距離內時，虛擬鍵盤228可保持靜止。
在一些實例中，虛擬鍵盤228可經虛擬地定位以使得其使用手226之姿勢而始終處於相對於手226的預定角。在此等實例中，當手226及/或手226之手指在空間中移動時，虛擬鍵盤將與手226一起移動，但將保持定位於相對於手226的預定角處。
在一些情況下，可針對作為單個對象之整個虛擬鍵盤來判定虛擬鍵盤228的虛擬定位。在一些實例中，虛擬鍵盤228可產生為不同部分(例如不同虛擬對象)，且該等不同部分可相對於單獨手226或甚至不同手指分別地定位，如下文關於圖4更詳細地描述。在此等實例中，當手及/或手指在空間中移動時，虛擬鍵盤之不同部分將與不同手226一起移動。
在一個說明性實例中，可將虛擬鍵盤228分裂成至少第一部分及第二部分。圖4為說明已分裂成包括第一部分440及第二部分442之兩個部分的虛擬鍵盤428之實例的圖式。使用類似於上文所描述之配準技術，虛擬鍵盤428之第一部分440可相對於使用者之第一隻手444進行配準，且虛擬鍵盤428之第二部分442可相對於使用者之第二隻手446進行配準。第一部分440可追蹤第一隻手444，以使得當由使用者移動第一隻手444時，第一部分440相對於第一隻手444在AR器件的顯示器上移動。當由使用者移動第二隻手446時，虛擬鍵盤428之第二部分442亦可相對於第二隻手446在顯示器上移動。
藉由將虛擬鍵盤228分裂成多個部分(諸如圖4中所展示之彼等部分)，可使偵測所按壓之鍵盤按鈕的準確度最大化。舉例而言，虛擬鍵盤228之各部分的某些按鈕可配準至某些手指(例如配準至對應於某些手指之尖端的基準點)，以使得該等按鈕緊接於彼等手指(例如在彼等手指下方或相對於彼等手指)定位。在一個說明性實例中，J、U、Y、H、N、M及7個按鈕(及在一些情況下及其他按鈕)可相對於使用者之右手之食指的指尖或相對於右手的其他部分進行配準。舉例而言，包括彼等按鈕之虛擬鍵盤228之部分可相對於使用者之右手的食指之指尖定位(及/或在一些情況下移動)，使得彼等按鈕一致地接近於食指之尖端。在另一實例中，包括彼等按鈕之虛擬鍵盤228之部分可相對於使用者之右手或手臂的另一部分，諸如手腕(例如手腕上之中心點)、手掌(例如手掌上之中心點)或手或手臂上的其他部分或點進行定位(及/或在一些情況下移動)。在一些實例中，可基於使用者之指尖、手腕、手掌或手226或手臂的其他部分而判定虛擬鍵盤228之第一部分及第二部分中之每一者的初始位置。在此等實例中，在判定虛擬鍵盤228之初始位置之後，虛擬鍵盤228可隨著使用者之手226移動而移動。在一些情況下，當手226移動時，虛擬鍵盤228可維持相對於指尖位置之相同位置，但在指尖在選擇附近鍵之臨限距離(例如0.5吋、1吋、2吋及/或其他距離)的情況下可不移動。舉例而言，當指尖在選擇附近鍵之臨限距離內時，虛擬鍵盤228可保持靜止。
在一些實例中，可執行其他技術以使因使用者使用虛擬鍵盤時產生之擊鍵誤差降至最低。舉例而言，仍可能發生人為誤差，但由於虛擬鍵盤之置放或形狀而引起之意外按鈕按壓可減至最少。在一些情況下，當使用者使用手指按壓按鈕時可執行每一手指的分割以允許精確的目標獲取。可執行任何合適的影像分割以將影像分割(segment/partition)成對應於不同手指的不同片段(例如像素之集合，其可稱作超像素)。基於電腦視覺之影像分割技術的實例包括：定限方法、基於邊緣偵測之技術、基於區域之技術、基於集群之技術、基於分水嶺之技術、基於偏微分方程式之技術及基於機器學習(例如神經網路)之技術。
在一些實例中，AR器件202之處理器可判定手指之特定部分(例如尖端、指甲、側面及/或其他部分)，且僅可在手指之特定部分與虛擬鍵盤228之一部分(例如按鈕)接觸時方可接受輸入。舉例而言，使用機器學習技術(例如神經網路，諸如迴旋神經網路或其他機器學習系統)，AR器件202之處理器可判定手指(例如所有十個手指)的哪一部分為可接受的以啟動虛擬鍵盤228的按鈕。舉例而言，手指之尖端可為用於啟動虛擬鍵盤228上之按鈕的可接受觸控目標啟動器，同時可判定手指之側面不為可容許的觸控目標啟動器。手指之側面可定義為距指尖之中心一定距離(諸如兩公分、三公分或其他距離)之手指的一部分。AR器件202之處理器可隨後判定手指之哪一部分與虛擬鍵盤228的按鈕接觸，且可基於手指之部分是否為可接受的觸控目標啟動器來啟動按鈕。使用機器學習模型可允許許多類型(例如形狀、大小等)之手指利用虛擬鍵盤228準確地工作。
在一些實例中，AR器件202之處理器可偵測使用者之每一手指的大小(例如長度及/或寬度)。AR器件202之處理器可使用大小資訊以較佳地偵測使用者意欲選擇虛擬鍵盤228的哪些按鈕。在一些實例中，AR器件202之處理器可使用大小資訊以判定虛擬鍵盤228之大小及/或虛擬鍵盤228之按鈕的大小。舉例而言，與手指比第一使用者之手指更小之第二使用者相比，可針對具有較大手指的第一使用者產生具有更大按鈕之更大虛擬鍵盤。
在一些實例中，大小資訊亦可用於判定使用者何時穿戴手套或其他更改大小之物件。舉例而言，手套可使得手指顯得較大，且可在判定使用者意欲選擇哪些按鈕時導致精細操控及目標選擇的誤差。在一個說明性實例中，回應於偵測到使用者之手指比先前所判定之大小更大(或更小)，AR器件202之處理器可產生具有更大(或更小)按鈕大小的更大(或更小)虛擬鍵盤228。在一個說明性實例中，回應於偵測到使用者之手指比先前所判定之大小更大(或更小)，AR器件202之處理器可虛擬地改變經更改手(例如基於穿戴手套的使用者)的大小以匹配先前所判定之大小(例如未穿戴手套的手)。
在一些實例中，AR器件202之處理器可追蹤使用者之鍵入慣態(例如，使用者在何處點擊特定鍵、何處發生誤差以及其他)。使用經追蹤之鍵入慣態，AR器件202可定製虛擬鍵盤228之佈局以適應使用者的鍵入慣態。舉例而言，可略微地移動某些按鈕以降低鍵入誤差，可調整某些按鈕的大小及/或可執行其他修改。在一些實例中，可使用機器學習追蹤使用者的鍵入慣態。
圖5為說明用於產生虛擬內容之程序500之實例的流程圖。在區塊502處，程序500包括藉由擴展實境器件獲得真實世界環境之場景的影像。擴展實境器件可包括顯示器，其允許當虛擬內容藉由顯示器顯示時，真實世界環境可經由顯示器間進行觀察。擴展實境器件可包括擴增實境(AR)器件(例如AR頭戴裝置，諸如HMD、AR眼鏡或其他AR器件)、虛擬實境(VR)頭戴裝置(例如HMD或其他類型的VR頭戴裝置)或混合實境(MR)器件。在一些實例中，程序500可由擴展實境器件或擴展實境器件之組件執行。
在區塊504處，程序500包括藉由擴展實境器件偵測影像中之使用者之實體手的至少一部分。在一些實例中，可經由擴展實境器件(例如作為真實世界環境之部分)之顯示器觀察實體手的至少部分。在一些情況下，實體手之至少部分包括手上之至少一個點及手之手指上的至少一個點。舉例而言，所偵測之手的至少部分可包括圖3中所說明之手之點中的任一者。在一些實例中，手之至少部分包括手上的至少一個點及手之每一手指上的至少一個點。舉例而言，參考圖3，所偵測之手的至少部分可包括手326之手掌中的基準點335及手326之每一手指上的基準點中之至少一者。
在區塊506處，程序500包括基於偵測實體手之至少部分產生虛擬鍵盤。在區塊508處，程序500包括判定虛擬鍵盤在擴展實境器件之顯示器上相對於實體手的位置。在一些實例中，程序500可包括偵測實體手上之一或多個基準點。程序500可包括判定一或多個基準點相對於用於擷取影像之攝影機的一或多個位置。程序500亦可包括判定虛擬鍵盤在顯示器上相對於實體手的位置。可基於一或多個基準點相對於攝影機的一或多個位置而判定虛擬鍵盤的位置。舉例而言，虛擬鍵盤可相對於一或多個基準點之一或多個位置進行配準。
在一些實例中，使用者之頭部之姿勢可用於配準虛擬鍵盤。舉例而言，程序500可包括判定使用者之頭部之姿勢，及基於頭部之姿勢判定虛擬鍵盤在顯示器上相對於頭部的位置。
在區塊510處，程序500包括藉由擴展實境器件在顯示器上之位置處顯示虛擬鍵盤。舉例而言，在一些情況下，程序500可在可經由顯示器觀察之真實世界環境內在顯示器上的位置處顯示虛擬鍵盤。在一些實施方案中，虛擬鍵盤在場景之額外影像中之位置處顯示為覆蓋。在一些實施方案中，虛擬鍵盤在顯示器上之位置處顯示為投影。
在一些實例中，當實體手移動位置時，虛擬鍵盤固定在顯示器上之位置處。在一些情況下，程序500可包括接收與虛擬鍵盤之操作相關聯之輸入，及在基於經接收輸入操作虛擬鍵盤時將虛擬鍵盤維持在位置處。舉例而言，在此類情況下，當使用者鍵入或以其他方式操作虛擬鍵盤時，虛擬鍵盤在顯示器上之位置(顯示器所配準的位置處)中保持固定。
在一些情況下，程序500可包括判定與實體手之至少部分在影像中的位置相比，實體手之至少部分在場景之額外影像中處於不同位置。基於判定實體手之至少部分在場景之額外影像中處於不同位置，程序500可包括在顯示器上之額外位置處顯示虛擬鍵盤，其中額外位置與該位置不同。
在一些情況下，程序500可包括在判定虛擬鍵盤在顯示器上之位置之後偵測預定時間量之過期。基於偵測預定時間量之過期，程序500可包括在顯示器上的額外位置處顯示虛擬鍵盤，其中額外位置與該位置不同。
在一些實例中，虛擬鍵盤包括第一部分及第二部分。舉例而言，程序500可包括產生虛擬鍵盤以使得其具有第一部分及第二部分。在一些情形下，第一部分可在顯示器上相對於實體手之位置處顯示，且第二部分可在顯示器上相對於使用者之額外實體手的額外位置處顯示。在一些情況下，虛擬鍵盤之第一部分在顯示器上相對於實體手移動(例如隨著手移動)，且虛擬鍵盤之第二部分在顯示器上相對於額外實體手移動(例如隨著額外手移動)。
在一些實例中，程序500可包括判定場景之額外影像中不存在實體手，及基於判定場景之額外影像中不存在實體手而自顯示器移除虛擬鍵盤。在一些實例中，虛擬鍵盤為激活的以用於在自顯示器移除虛擬鍵盤時提供輸入。
在一些實例中，程序500包括去啟動虛擬鍵盤以免用於提供輸入。在一些情況下，回應於判定場景之一或多個影像並不存在實體手，程序500去啟動虛擬鍵盤。在一些實例中，回應於接收指示去啟動虛擬鍵盤之使用者輸入，程序500去啟動虛擬鍵盤。
在一些實例中，在場景之一或多個影像中不存在實體手時顯示虛擬鍵盤。舉例而言，當並未在一或多個影像中偵測到手時，程序500可在顯示器上之預定位置中顯示虛擬鍵盤。在一些情況下，特定或預定位置可由使用者進行組態或設定。
以上關於程序500及關於圖1至圖4所描述之實例可單獨地或以任何組合形式實施。
在一些實例中，程序500可藉由計算器件或裝置執行，該計算器件或裝置諸如具有圖6中所展示之計算器件架構600的計算器件。在一個說明性實例中，計算器件(例如執行程序500)可包括擴展實境顯示器件，諸如AR眼鏡、AR頭戴式顯示器(HMD)、VR HMD、MR HMD或其他類型的XR器件。
在一些情況下，計算器件或裝置可包括輸入器件、輸出器件、一或多個處理器、一或多個微處理器、一或多個微電腦及/或經組態以進行程序500之步驟的其他組件。計算器件之組件(例如一或多個處理器、一或多個微處理器、一或多個微電腦及/或其他組件)可實施於電路中。舉例而言，組件可包括電子電路或其他電子硬體及/或可使用電子電路或其他電子硬體來實施，該電子電路或其他電子硬體可包括一或多個可程式化電子電路(例如，微處理器、圖形處理單元(GPU)、數位信號處理器(DSP)、中央處理單元(CPU)及/或其他合適的電子電路)，且/或可包括電腦軟體、韌體或其任何組合及/或使用電腦軟體、韌體或其任何組合來實施，以執行本文中所描述之各種操作。計算器件可進一步包括顯示器(作為輸出器件之實例或除輸出器件外)、經組態以傳達及/或接收數據之網路介面、其任何組合及/或其他組件。網路介面可經組態以傳達及/或接收基於網際網路協定(IP)之資料或其他類型的資料。
程序500經說明為邏輯流程圖，其中之操作表示可在硬體、電腦指令或其組合中實施的操作之序列。在電腦指令之上下文中，操作表示儲存於一或多個電腦可讀儲存媒體上之當藉由一或多個處理器執行時執行所敍述之操作的電腦可執行指令。通常，電腦可執行指令包括執行特定功能或實施特定資料類型之常式、程式、對象、組件、資料結構及其類似者。描述操作之次序並不意欲被理解為限制，且任何數目個經描述操作可按任何次序及/或與實施程序並行地組合。
另外，程序500可在經組態有可執行指令之一或多個電腦系統之控制下執行，且可經實施為藉由硬體實施或其組合共同執行於一或多個處理器上之程式碼(例如可執行指令、一或多個電腦程式或一或多個應用程式)。如上文所提及，程式碼可儲存於電腦可讀或機器可讀儲存媒體上，例如，呈包含可由一或多個處理器執行之複數個指令之電腦程式的形式。電腦可讀或機器可讀儲存媒體可為非暫時性的。
圖6為說明用於實施本發明技術之某些態樣之系統之實例的圖式。特定而言，圖6說明計算系統600之實例，其可為例如構成內部計算系統之任何計算器件、遠程計算系統、攝影機或其任何組件，其中系統的組件使用連接605彼此通信。連接605可為使用匯流排之實體連接或進入處理器610 (諸如在晶片組結構中)中的直接連接。連接605亦可為虛擬連接、網路連接或邏輯連接。
在一些實施例中，計算系統600為分佈系統，其中本發明中所描述之功能可分佈於資料中心、多個資料中心、同級網路等內。在一些實施例中，所描述之系統組件中之一或多者表示許多此等組件各自執行所描述之組件的一些功能或全部功能。在一些實施例中，組件可為實體或虛擬器件。
實例系統600包括至少一個處理單元(CPU或處理器) 610及連接605，該連接605將各種系統組件(包括系統記憶體615，諸如唯讀記憶體(ROM) 620及隨機存取記憶體(RAM) 625)耦接至處理器610。計算系統600可包括與處理器610直接連接、緊密接近處理器610或經整合為處理器610的部分的高速記憶體的快取記憶體612。
處理器610可包括任一通用處理器及經組態以控制處理器610以及其中軟體指令併入至實際處理器設計中之專用處理器的硬體服務或軟體服務(諸如儲存於儲存器件630中之服務632、634及636)。處理器610可基本上為完全自含計算系統，其含有多個核心或處理器、匯流排、記憶體控制器、快取記憶體等。多核心處理器可為對稱或不對稱的。
為使得使用者能夠互動，計算系統600包括可表示任何數目之輸入機構的輸入器件645，該等輸入機構諸如用於語音之麥克風、用於示意動作或圖形輸入之觸敏式螢幕、鍵盤、滑鼠、運動輸入、語音器等。計算系統600亦可包括可為數個輸出機構中之一或多者的輸出器件635。在一些情形下，多峰式系統可使得使用者能夠提供多個類型之輸入/輸出以與計算系統600進行通信。計算系統600可包括通信介面640，其可大體上空管且管理使用者輸入及系統輸出。通信介面可使用有線及/或無線收發器執行或便於接受及/或傳輸有線或無線通信，包括使用音訊插口/插頭、麥克風插口/插頭、通用串列匯流排(USB)埠/插頭、Apple® Lightning®埠/插頭、乙太網路埠/插頭、光纜埠/插頭、專用有線埠/插頭、BLUETOOTH®無線信號傳送、BLUETOOTH®低能量(BLE)無線信號傳送、IBEACON®無線信號傳送、射頻識別(RFID)無線信號傳送、近場通信(NFC)無線信號傳送、專用短程通信(DSRC)無線信號傳送、802.11 Wi-Fi無線信號傳送、無線局部區域網路(WLAN)信號傳送、可見光通信(VLC)、微波存取全球互通(WiMAX)、紅外線(IR)通信無線信號傳送、公眾交換電話網路(PSTN)信號傳送、整合服務數位網路(ISDN)信號傳送、3G/4G/5G/LTE蜂巢式資料網路無線信號傳送、特用網路信號傳送、無線電波信號傳送、微波信號傳送、紅外線信號傳送、可見光信號傳送、紫外光信號傳送、沿電磁波譜之無線信號傳送或其某一組合。通信介面640亦可包括一或多個全球導航衛星系統(GNSS)接收器或收發器，其用於基於自與一或多個GNSS系統相關聯之一或多個衛星接受一或多個信號而判定計算系統600的位置。GNSS系統包括(但不限於)基於US之全球定位系統(GPS)、基於俄羅斯之全球導航衛星系統(GLONASS)、基於中國的北斗導航衛星系統(BDS)及基於歐洲之伽利略GNSS。不存在對任一特定硬體配置上之操作的限制，且因此此處基本特徵可在其被開發時容易地取代改良之硬體或韌體配置。
儲存器件630可為非揮發性及/或非暫時性及/或電腦可讀記憶體器件，且可為可儲存可由電腦存取之資料的硬碟或其他類型之電腦可讀媒體，諸如磁性卡式帶、快閃記憶體卡、固態記憶體器件、數位多功能光碟、卡匣、軟碟、可撓性磁碟、硬碟、磁帶、磁條(magnetic strip/stripe)、任一其他磁性儲存媒體、快閃記憶體、憶阻器記憶體、任一其他固態記憶體、緊密光碟唯讀記憶體(CD-ROM)光碟、可重寫緊密光碟(CD)光碟、數位視訊磁碟(DVD)光碟、藍光光碟(BDD)光碟、全像光碟、另一光學媒體、安全數位(SD)卡、微安全數位(microSD)卡、記憶棒®卡、智慧卡晶片、EMV晶片、用戶識別模組(SIM)卡、迷你/微/奈米/皮SIM卡、另一積體電路(IC)晶片/卡、隨機存取記憶體(RAM)、靜態RAM (SRAM)、動態RAM (DRAM)、唯讀記憶體(ROM)、可程式化唯讀記憶體(PROM)、可擦除可程式化唯讀記憶體(EPROM)、電可擦除可程式化唯讀記憶體(EEPROM)、快閃EPROM (FLASHEPROM)、快取記憶體(L1/L2/L3/L4/L5/L#)、電阻隨機存取記憶體(RRAM/ReRAM)、相變記憶體(PCM)、自旋轉移力矩RAM (STT-RAM)、另一記憶體晶片或卡匣及/或其一組合。
儲存器件630可包括軟體服務、伺服器、服務等，當界定此等軟體之程式碼由處理器610執行時，其使得系統執行一功能。在一些實施例中，執行特定功能之硬體服務可包括儲存於電腦可讀媒體中之軟體組件，該軟體組件與必要硬體組件(諸如處理器610、連接605、輸出器件635等)結合用以實行該功能。
如本文中所使用，術語「電腦可讀媒體」包括(但不限於)攜帶型或非攜帶型儲存器件、光學儲存器件及能夠儲存、含有或攜載指令及/或資料的各種其他媒體。電腦可讀媒體可包括非暫時性媒體，其中可儲存資料且不包括載波及/或無線地或經由有線連接傳播之暫時電子信號。非暫時性媒體之實例可包括(但不限於)磁碟或磁帶、諸如緊密光碟(CD)或數位化通用光碟(DVD)之光學儲存媒體、快閃記憶體、記憶體或記憶體器件。電腦可讀媒體可具有儲存於其上之程式碼及/或機器可執行指令，該等程式碼及/或機器可執行指令可表示程序、函式、子程式、程式、常式、次常式、模組、軟體套件、類別或指令、資料結構或程式陳述之任何組合。可藉由傳遞及/或接收資訊、資料、引數、參數或記憶體內容將一碼段耦接至另一碼段或硬體電路。資訊、引數、參數、資料等可經由包括記憶體共用、訊息傳遞、符記傳遞、網路傳輸或其類似者之任何適合方式傳遞、轉遞或傳輸。
在一些實施例中，電腦可讀儲存器件、媒體及記憶體可包括含有位元串流及類似者之纜線或無線信號。然而，當提及時，非暫時性電腦可讀儲存媒體明確地排除諸如能量、載波信號、電磁波及信號本身之媒體。
在以上描述中提供特定細節以提供對本文中所提供之實施例及實例的透徹理解。然而，熟習此項技術者應瞭解，實施例可在無需此等特定細節之情況下實踐。為了解釋之清楚起見，在一些情況下，本發明技術可呈現為包括個別功能區塊，其包括包含軟體或硬體及軟體之組合中所體現的器件、器件組件、方法中之步驟或常式的功能區塊。除諸圖中所展示及/或本文中所描述之彼等組件外，亦可使用額外組件。舉例而言，電路、系統、網路、程序及其他組件可以方塊圖形式展示為組件以免以不必要的細節混淆實施例。在其他情形下，可在無不必要之細節的情況下展示熟知電路、程序、演算法、結構及技術以免混淆實施例。
個別實施例可在上文描述為描繪為流程圖(flowchart/flow diagram)、資料流程圖、結構圖或方塊圖的程序或方法。儘管流程圖可將操作描述為順序處理，但許多操作可並行地或同時執行。另外，可重新配置操作之次序。程序在其操作完成時終止，但可具有圖中未包括之額外步驟。程序可對應於方法、函式、程序、次常式、子程式等。當程序對應於函式時，其終止可對應於函式傳回至呼叫函式或主函式。
可使用儲存或以其他方式可自電腦可讀媒體獲得的電腦可執行指令來實施根據上文所描述之實例的程序及方法。此等指令可包括(例如)導致或以其他方式組態通用電腦、專用電腦或處理器件以執行某一功能或功能群組之指令及資料。可經由網路存取所使用的電腦資源之部分。電腦可執行指令可為(例如)二進位中間格式指令，諸如，組合語言、韌體、原始程式碼等。可用於儲存指令、所使用資訊及/或根據所描述實例之方法期間所產生的資訊之電腦可讀媒體的實例包括磁碟或光碟、快閃記憶體、具備非揮發性記憶體之USB器件、網路連接式儲存器件等等。
實施根據此等揭示內容之程序及方法的器件可包括硬體、軟體、韌體、中間軟體、微碼、硬體描述語言或其任何組合，且可採取多種外觀尺寸中之任一者。當以軟體、韌體、中間軟體或微碼實施時，用以執行必要任務之程式碼或碼段(例如，電腦程式產品)可儲存於電腦可讀或機器可讀媒體中。處理器可執行必要任務。外觀尺寸之典型實例包括膝上型電腦、智慧型手機、行動電話、平板電腦器件或其他小外觀尺寸個人電腦、個人數位助理、機架式器件、獨立式器件等等。本文中所描述之功能性亦可體現於周邊裝置或附加卡中。藉助於進一步實例，此功能性亦可實施於在單個器件中執行之不同晶片或不同程序當中的電路板上。
該等指令、用於輸送此等指令之媒體、用於執行此等媒體之計算資源，及用於支援此等計算資源之其他結構為用於提供本發明中所描述之功能的實例構件。
在前述描述中，參考本申請案之特定實施例描述本申請案之態樣，但熟習此項技術者將認識到本申請案不限於此。因此，儘管本文中已詳細描述本申請案之說明性實施例，但應理解，本發明概念可以其他方式不同地體現並使用，且所附申請專利範圍意欲解釋為包括除先前技術所限制外的此等變化。上文所描述之申請案之各種特徵及態樣可個別地或聯合地使用。此外，在不脫離本說明書之更廣精神及範疇之情況下，實施例可用於超出本文中所描述之彼等環境及應用的任何數目個環境及應用。因此，本說明書及圖式被視為說明性而非限定性。出於說明之目的，以特定次序描述方法。應瞭解，在替代實施例中，可以與所描述之次序不同的次序來執行該等方法。
熟習此項技術者將瞭解，在不脫離本說明書之範疇之情況下，本文中所使用之小於(「＜」)及大於(「＞」)符號或術語可分別用小於或等於(「≤」)及大於或等於(「≥」)符號替換。
在組件被描述為「經組態以」執行某些操作之情況下，可(例如)藉由設計電子電路或其他硬體以執行操作、藉由程式化可程式化電子電路(例如，微處理器或其他適合之電子電路)以執行操作或其任何組合來實現此類組態。
片語「耦接至」係指直接地或間接地實體連接至另一組件的任何組件，及/或直接地或間接地與另一組件通信(例如，經由有線或無線連接及/或其他合適通信介面連接至其他組件)的任何組件。
列舉集合「中之至少一者」及/或集合中之「一或多者」的技術方案語言或其他語言指示集合之一個成員或集合之多個成員(以任何組合)滿足技術方案。舉例而言，列舉「A及B中之至少一者」或「A或B中之至少一者」的技術方案語言意謂A、B或A及B。在另一實例中，列舉「A、B及C中之至少一者」或「A、B或C中之至少一者」的技術方案語言意謂A、B、C，或A及B，或A及C，或B及C，或A及B及C。語言集合「中之至少一者」及/或集合中之「一或多者」並不將集合限制為集合中所列出之項。舉例而言，列舉「A及B中之至少一者」或「A或B中之至少一者」的技術方案語言可意謂A、B或A及B，且可另外包括A及B之集合中未列舉的項。
結合本文中所揭示之實施例而描述的各種說明性邏輯區塊、模組、電路及演算法步驟可實施為電子硬體、電腦軟體、韌體或其組合。為了清楚地說明硬體與軟體之此可互換性，各種說明性組件、區塊、模組、電路及步驟已在上文大體上就其功能加以描述。將此功能性實施為硬體抑或軟體取決於特定應用及強加於整個系統上之設計約束。熟習此項技術者可針對每一特定應用而以變化之方式實施所描述之功能性，而不應將此等實施決策解譯為致使脫離本申請案之範疇。
本文中所描述之技術亦可實施於電子硬體、電腦軟體、韌體或其任何組合中。此等技術可實施於多種器件中之任一者中，諸如，通用電腦、無線通信器件手機或具有多種用途(包括在無線通信器件手機及其他器件中之應用)的積體電路器件。可將描述為模組或組件之任何特徵共同實施於整合式邏輯器件中或分開實施為離散但可互操作的邏輯器件。若以軟體實施，則該等技術可至少部分地由包含程式碼之電腦可讀資料儲存媒體實現，該程式碼包括在經執行時執行上文所描述之方法中之一或多者的指令。電腦可讀資料儲存媒體可形成電腦程式產品之部分，該電腦程式產品可包括封裝材料。電腦可讀媒體可包含記憶體或資料儲存媒體，諸如，隨機存取記憶體(RAM)，諸如，同步動態隨機存取記憶體(SDRAM)、唯讀記憶體(ROM)、非揮發性隨機存取記憶體(NVRAM)、電可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體、磁性或光學資料儲存媒體及類似者。另外或替代地，該等技術可至少部分地由電腦可讀通信媒體實現，該電腦可讀通信媒體載送或傳達呈指令或資料結構之形式且可由電腦存取、讀取及/或執行的程式碼，諸如，經傳播之信號或波。
程式碼可由可包括一或多個處理器之處理器執行，諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合或離散邏輯電路。此種處理器可經組態以執行本發明中所描述的技術中的任一者。通用處理器可為微處理器，但在替代方案中，處理器可為任何習知處理器、控制器、微控制器或狀態機。處理器亦可實施為計算器件之組合，例如，DSP及微處理器之組合、複數個微處理器、結合DSP核心的一或多個微處理器或任何其他此類組態。因此，如本文中所使用之術語「處理器」可指前述結構、前述結構之任何組合或適合於實施本文中所描述之技術的任何其他結構或裝置中之任一者。
本發明之說明性實例包括：
實例1。一種產生虛擬內容之方法，該方法包含：藉由擴展實境器件獲得真實世界環境之場景的影像，其中當虛擬內容藉由顯示器顯示時，真實世界環境可經由擴展實境器件的顯示器進行觀察；藉由擴展實境器件偵測影像中之使用者之實體手的至少一部分；基於偵測實體手之至少部分產生虛擬鍵盤；判定虛擬鍵盤在擴展實境器件之顯示器上的位置，該位置係相對於實體手之至少部分進行判定；及藉由擴展實境器件在顯示器上之位置處顯示虛擬鍵盤。
實例2。如實例1之方法，其進一步包含：偵測實體手上之一或多個基準點；判定一或多個基準點相對於用於擷取影像之攝影機的一或多個位置；及基於一或多個基準點相對於攝影機的一或多個位置判定虛擬鍵盤在顯示器上相對於實體手的位置。
實例3。如實例1或2中任一項之方法，其進一步包含：判定使用者之頭部的姿勢；及基於頭部的姿勢判定虛擬鍵盤在顯示器上相對於頭部的位置。
實例4。如實例1至3中任一項之方法，其中當實體手移動位置時，虛擬鍵盤固定在顯示器上之位置處。
實例5。如實例1至4中任一項之方法，其進一步包含：接收與虛擬鍵盤之操作相關聯的輸入；及當基於經接收輸入操作虛擬鍵盤時，將虛擬鍵盤維持在位置處。
實例6。如實例1至5中任一項之方法，其進一步包含：判定與實體手之至少部分在影像中的位置相比，實體手之至少部分在場景之額外影像中處於不同位置；及基於判定實體手之至少部分在場景之額外影像中處於不同位置，在顯示器上之額外位置處顯示虛擬鍵盤，額外位置與位置不同。
實例7。如實例1至6中任一項之方法，其進一步包含：在判定虛擬鍵盤在顯示器上之額外位置後，偵測預定時間量之過期；及基於偵測預定時間量之過期，在顯示器上的額外位置處顯示虛擬鍵盤，額外位置與位置不同。
實例8。如實例1至7中任一項之方法，其中實體手之至少部分包括實體手上的至少一個點及實體手之手指上的至少一個點。
實例9。如實例1至8中任一項之方法，其中實體手之至少部分包括實體手上的至少一個點及實體手之每一手指上的至少一個點。
實例10。如實例1至9中任一項之方法，其中虛擬鍵盤包括第一部分及第二部分，第一部分在顯示器上相對於實體手之位置處顯示，且第二部分在顯示器上相對於使用者之額外實體手之額外位置處顯示。
實例11。如實例10之方法，其中虛擬鍵盤之第一部分相對於實體手在顯示器上移動，且其中虛擬鍵盤之第二部分相對於額外實體手在顯示器上移動。
實例12。如實例1至11中任一項之方法其進一步包含：判定場景之額外影像中不存在實體手；及基於判定場景之額外影像中不存在實體手而自顯示器移除虛擬鍵盤。
實例13。如實例1至12中任一項之方法，其中虛擬鍵盤為激活的以用於在自顯示器移除虛擬鍵盤時提供輸入。
實例14。如實例1至13中任一項之方法，其進一步包含去啟動虛擬鍵盤以免用於提供輸入。
實例15。如實例1至14中任一項之方法，其中在場景之一或多個影像中不存在實體手時顯示虛擬鍵盤。
實例16。一種裝置，其包含經組態以儲存一或多個影像之記憶體，及經組態以執行操作如實例1至15中任一項之操作的處理器。
實例17。如實例16之裝置，其中裝置包含擴展實境器件。
實例18。如實例16或17中任一項之裝置，其進一步包含經組態以擷取場景之影像的攝影機。
實例19。如實例16至18中任一項之裝置，其進一步包含經組態以顯示場景之一或多個影像之顯示器。
實例20。一種其上儲存有指令之電腦可讀取媒體，該等指令在由處理器執行時執行如實例1至15中任一項的操作。
實例21。一種裝置，其包含用於執行如實例1至15中任一項之操作的一或多個構件。
100:使用者 102:擴增實境器件 104:對象 106:目標平面 108:攝影機 110:顯示器 112:記憶體 114:處理器 116:輸入器件 118:感測器 202:擴增實境器件 210:顯示器 220:擴增實境器件 224:擴增實境對象 226:手 228:虛擬鍵盤 326:手 330:拇指 331:圓形 332:食指 333:菱形 334:中指 335:基準點 336:無名指 338:小拇指 339:圖例 428:虛擬鍵盤 440:第一部分 442:第二部分 444:第一隻手 446:第二隻手 500:程序 502:區塊 504:區塊 506:區塊 508:區塊 510:區塊 600:計算器件架構/計算系統 605:連接 610:處理器 615:系統記憶體 620:唯讀記憶體 625:隨機存取記憶體 630:儲存器件 632:服務 634:服務 635:輸出器件 636:服務 645:輸入器件
下文參考以下圖式詳細描述本申請案之說明性實施例：
圖1為說明根據一些實例的由使用者穿戴之擴展實境器件之實例的圖式；
圖2為說明根據一些實例的由擴展實境器件顯示之虛擬鍵盤之實例的圖式；
圖3為說明根據一些實例的可用於配準虛擬鍵盤之位置及/或虛擬鍵盤在一或多個影像中之追蹤位置的手之基準點之實例的圖式；
圖4為說明根據一些實例的分裂成兩個部分的虛擬鍵盤之實例的圖式；
圖5為說明根據一些實例的用於顯示虛擬內容的程序之實例的流程圖；
圖6為可實施本文中所描述之各種技術的實例計算器件的實例計算器件架構。
202:擴增實境器件
210:顯示器
224:擴增實境對象
226:手
228:虛擬鍵盤

Claims (29)

  1. 一種產生虛擬內容之方法，該方法包含： 藉由一擴展實境器件獲得一真實世界環境之一場景的一影像，其中當虛擬內容藉由一顯示器顯示時，該真實世界環境可經由該擴展實境器件之該顯示器進行觀察； 藉由該擴展實境器件偵測該影像中之一使用者之一實體手的至少一部分； 基於偵測該實體手之至少該部分產生一虛擬鍵盤； 判定該虛擬鍵盤在該擴展實境器件之該顯示器上的一位置，該位置係相對於該實體手之至少該部分進行判定；及 藉由該擴展實境器件在該顯示器之該位置處顯示該虛擬鍵盤。
  2. 如請求項1之方法，其進一步包含： 偵測該實體手上之一或多個基準點； 判定該一或多個基準點相對於用於擷取該影像之一攝影機的一或多個位置；及 基於該一或多個基準點相對於該攝影機的該一或多個位置判定該虛擬鍵盤在該顯示器上相對於該實體手的位置。
  3. 如請求項1之方法，其進一步包含： 判定該使用者之一頭部的一姿勢；及 基於該頭部之該姿勢判定該虛擬鍵盤在該顯示器上相對於該頭部的位置。
  4. 如請求項1之方法，其中當該實體手移動位置時，該虛擬鍵盤固定在該顯示器上之該位置處。
  5. 如請求項1之方法，其進一步包含： 接收與該虛擬鍵盤之操作相關聯的輸入；及 當基於該經接收輸入操作該虛擬鍵盤時，將該虛擬鍵盤維持在該位置處。
  6. 如請求項1之方法，其進一步包含： 判定與該實體手之至少該部分在該影像中的一位置相比，該實體手之至少該部分在該場景之一額外影像中處於一不同位置；及 基於判定該實體手之至少該部分在該場景之該額外影像中處於該不同位置，在該顯示器上的一額外位置處顯示該虛擬鍵盤，該額外位置與該位置不同。
  7. 如請求項1之方法，其進一步包含： 在判定該虛擬鍵盤在該顯示器上之該位置後，偵測一預定時間量之過期；及 基於偵測該預定時間量之過期，在該顯示器上的一額外位置處顯示該虛擬鍵盤，該額外位置與該位置不同。
  8. 如請求項1之方法，其中該實體手之至少該部分包括該實體手上的至少一個點及該實體手之一手指上的至少一個點。
  9. 如請求項1之方法，其中該實體手之至少該部分包括該實體手上的至少一個點及該實體手之每一手指上的至少一個點。
  10. 如請求項1之方法，其中該虛擬鍵盤包括一第一部分及一第二部分，該第一部分在該顯示器上相對於該實體手之該位置處顯示，且該第二部分在該顯示器上相對於該使用者之一額外實體手之一額外位置處顯示。
  11. 如請求項10之方法，其中該虛擬鍵盤之該第一部分相對於該實體手在該顯示器上移動，且其中該虛擬鍵盤之該第二部分相對於該額外實體手在該顯示器上移動。
  12. 如請求項1之方法，其進一步包含： 判定該場景之一額外影像中不存在該實體手；及 基於判定該場景之該額外影像中不存在該實體手而自該顯示器移除該虛擬鍵盤。
  13. 如請求項12之方法，其中該虛擬鍵盤為激活的以用於在自該顯示器移除該虛擬鍵盤時提供輸入。
  14. 如請求項13之方法，其進一步包含去啟動該虛擬鍵盤以免用於提供輸入。
  15. 如請求項1之方法，其中在該場景之一或多個影像中不存在該實體手時顯示該虛擬鍵盤。
  16. 一種用於產生虛擬內容之裝置，其包含： 一顯示器； 一記憶體，其經組態以儲存一或多個影像；及 一處理器，其實施於電路中且耦接至該記憶體，該處理器經組態以： 獲得一真實世界環境之一場景的一影像，其中當虛擬內容藉由一顯示器顯示時，該真實世界環境可經由該擴展實境器件之該顯示器進行觀察； 偵測該影像中之一使用者之一實體手的至少一部分； 基於偵測該實體手之至少該部分產生一虛擬鍵盤； 判定該虛擬鍵盤在該顯示器上的一位置，該位置係相對於該實體手之至少該部分進行判定；及 在該顯示器上之該位置處顯示該虛擬鍵盤。
  17. 如請求項16之裝置，其中該處理器進一步經組態以： 偵測該實體手上之一或多個基準點； 判定該一或多個基準點相對於用於擷取該影像之一攝影機的一或多個位置；及 基於該一或多個基準點相對於該攝影機的該一或多個位置判定該虛擬鍵盤在該顯示器上相對於該實體手的位置。
  18. 如請求項16之裝置，其中該處理器進一步經組態以： 判定該使用者之一頭部的一姿勢；及 基於該頭部之該姿勢判定該虛擬鍵盤在該顯示器上相對於該頭部的位置。
  19. 如請求項16之裝置，其中當該實體手移動位置時，該虛擬鍵盤固定在該顯示器上之該位置處。
  20. 如請求項16之裝置，其中該處理器進一步經組態以： 接收與該虛擬鍵盤之操作相關聯的輸入；及 當基於該經接收輸入操作該虛擬鍵盤時，將該虛擬鍵盤維持在該位置處。
  21. 如請求項16之裝置，其中該處理器進一步經組態以： 判定與該實體手之至少該部分在該影像中之一位置相比，該實體手之至少該部分在該場景之一額外影像中處於一不同位置；及 基於判定該實體手之至少該部分在該場景之該額外影像中處於該不同位置，在該顯示器上的一額外位置處顯示該虛擬鍵盤，該額外位置與該位置不同。
  22. 16之裝置，其中該處理器進一步經組態以： 在判定該虛擬鍵盤在該顯示器上之該位置後，偵測一預定時間量之過期；及 基於偵測該預定時間量之過期，在該顯示器上的一額外位置處顯示該虛擬鍵盤，該額外位置與該位置不同。
  23. 如請求項16之裝置，其中該實體手之至少該部分包括該實體手上的至少一個點及該實體手之一手指上的至少一個點。
  24. 如請求項16之裝置，其中該虛擬鍵盤包括一第一部分及一第二部分，該第一部分在該顯示器上相對於該實體手之該位置處顯示，且該第二部分在該顯示器上相對於該使用者之一額外實體手之一額外位置處顯示。
  25. 如請求項16之裝置，其中該處理器進一步經組態以： 判定該場景之一額外影像中不存在該實體手；及 基於判定該場景之該額外影像中不存在該實體手而自該顯示器移除該虛擬鍵盤。
  26. 如請求項26之方法，其中該虛擬鍵盤為激活的以用於在自該顯示器移除該虛擬鍵盤時提供輸入。
  27. 如請求項1之方法，其中在該場景之一或多個影像中不存在該實體手時顯示該虛擬鍵盤。
  28. 如請求項16之裝置，其中該裝置包含一擴展實境器件。
  29. 如請求項16之裝置，其進一步包含經組態以擷取該場景之該影像的一攝影機。
TW109130295A 2019-09-04 2020-09-03 虛擬鍵盤 TW202119199A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962895970P 2019-09-04 2019-09-04
US62/895,970 2019-09-04
US17/010,237 2020-09-02
US17/010,237 US11270515B2 (en) 2019-09-04 2020-09-02 Virtual keyboard

Publications (1)

Publication Number Publication Date
TW202119199A true TW202119199A (zh) 2021-05-16

Family

ID=74679151

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109130295A TW202119199A (zh) 2019-09-04 2020-09-03 虛擬鍵盤

Country Status (5)

Country Link
US (3) US11270515B2 (zh)
EP (1) EP4025986A1 (zh)
CN (1) CN114303120A (zh)
TW (1) TW202119199A (zh)
WO (1) WO2021046162A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
US10957112B2 (en) 2018-08-13 2021-03-23 Magic Leap, Inc. Cross reality system
US11232635B2 (en) 2018-10-05 2022-01-25 Magic Leap, Inc. Rendering location specific virtual content in any location
US11270515B2 (en) 2019-09-04 2022-03-08 Qualcomm Incorporated Virtual keyboard
US11568605B2 (en) 2019-10-15 2023-01-31 Magic Leap, Inc. Cross reality system with localization service
CN114616534A (zh) 2019-10-15 2022-06-10 奇跃公司 具有无线指纹的交叉现实系统
CN114730546A (zh) 2019-11-12 2022-07-08 奇跃公司 具有定位服务和基于位置的共享内容的交叉现实系统
US11562542B2 (en) 2019-12-09 2023-01-24 Magic Leap, Inc. Cross reality system with simplified programming of virtual content
WO2021163306A1 (en) 2020-02-13 2021-08-19 Magic Leap, Inc. Cross reality system with accurate shared maps
EP4104145A4 (en) 2020-02-13 2024-01-24 Magic Leap Inc CROSS-REALLY SYSTEM PRIORITIZING GEOLOCALIZATION INFORMATION FOR LOCALIZATION
CN115398314A (zh) 2020-02-13 2022-11-25 奇跃公司 使用多分辨率帧描述符进行地图处理的交叉现实系统
JP2023515524A (ja) 2020-02-26 2023-04-13 マジック リープ， インコーポレイテッド 高速位置特定を伴うクロスリアリティシステム
US11348320B2 (en) * 2020-04-02 2022-05-31 Samsung Electronics Company, Ltd. Object identification utilizing paired electronic devices
WO2021222371A1 (en) 2020-04-29 2021-11-04 Magic Leap, Inc. Cross reality system for large scale environments
US11302085B2 (en) * 2020-09-15 2022-04-12 Facebook Technologies, Llc Artificial reality collaborative working environments
US11854230B2 (en) 2020-12-01 2023-12-26 Meta Platforms Technologies, Llc Physical keyboard tracking
US20220375110A1 (en) * 2021-05-18 2022-11-24 Snap Inc. Augmented reality guided depth estimation
CN115617152A (zh) * 2021-07-12 2023-01-17 广州视享科技有限公司 头戴式显示设备的虚拟键盘的显示方法、装置以及设备
CN115904056A (zh) * 2021-08-09 2023-04-04 华为技术有限公司 虚拟输入元件的显示方法、电子设备和可读存储介质
WO2023020691A1 (en) * 2021-08-18 2023-02-23 Telefonaktiebolaget Lm Ericsson (Publ) An arrangement and a method for providing text input in virtual reality
WO2023020692A1 (en) * 2021-08-18 2023-02-23 Telefonaktiebolaget Lm Ericsson (Publ) An arrangement and a method for providing text input in virtual reality
EP4325345A1 (en) * 2021-09-06 2024-02-21 Samsung Electronics Co., Ltd. Electronic device for acquiring user input through virtual keyboard and operating method thereof
WO2023104286A1 (en) * 2021-12-07 2023-06-15 Ericsson Rendering of virtual keyboards in virtual environments
US20230186434A1 (en) * 2021-12-09 2023-06-15 Unity Technologies Sf Defocus operations for a virtual display with focus and defocus determined based on camera settings
CN114510194A (zh) * 2022-01-30 2022-05-17 维沃移动通信有限公司 输入方法、装置、电子设备及可读存储介质
WO2023155672A1 (en) * 2022-02-15 2023-08-24 Beijing Source Technology Co., Ltd. Input device model projecting method, apparatus and system
US20230342026A1 (en) * 2022-04-26 2023-10-26 Snap Inc. Gesture-based keyboard text entry
WO2024043765A1 (ko) * 2022-08-25 2024-02-29 삼성전자 주식회사 Hmd(head mounted display) 장치에서 가상키보드를 표시하는 방법 및 장치

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9891820B2 (en) 2010-04-23 2018-02-13 Handscape Inc. Method for controlling a virtual keyboard from a touchpad of a computerized device
US8928589B2 (en) 2011-04-20 2015-01-06 Qualcomm Incorporated Virtual keyboards and methods of providing the same
US10268276B2 (en) * 2013-03-15 2019-04-23 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
CN105980965A (zh) * 2013-10-10 2016-09-28 视力移动科技公司 用于非接触式打字的系统、设备和方法
US9766806B2 (en) * 2014-07-15 2017-09-19 Microsoft Technology Licensing, Llc Holographic keyboard display
US9413376B2 (en) * 2014-11-11 2016-08-09 Helio Technology Inc. Angle encoder and a method of measuring an angle using same
US10725297B2 (en) * 2015-01-28 2020-07-28 CCP hf. Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
WO2016138509A1 (en) * 2015-02-27 2016-09-01 Valve Corporation Controller visualization in virtual and augmented reality environments
US10338673B2 (en) * 2015-09-16 2019-07-02 Google Llc Touchscreen hover detection in an augmented and/or virtual reality environment
CN105975067A (zh) * 2016-04-28 2016-09-28 上海创米科技有限公司 应用于虚拟现实产品的按键输入设备及方法
KR101678880B1 (ko) 2016-06-28 2016-12-06 재단법인 실감교류인체감응솔루션연구단 가상 키보드 출력 장치 및 제어 방법
AU2018270286A1 (en) * 2017-05-19 2019-11-14 Magic Leap, Inc. Keyboards for virtual, augmented, and mixed reality display systems
CN108334203A (zh) * 2018-04-13 2018-07-27 北京理工大学 一种用于虚拟现实的虚实融合键盘系统
CN109683667A (zh) 2018-12-25 2019-04-26 上海萃钛智能科技有限公司 一种头戴式计算机及其信息输入方法
US11270515B2 (en) 2019-09-04 2022-03-08 Qualcomm Incorporated Virtual keyboard

Also Published As

Publication number Publication date
US11587297B2 (en) 2023-02-21
EP4025986A1 (en) 2022-07-13
US20220130125A1 (en) 2022-04-28
US20210065455A1 (en) 2021-03-04
CN114303120A (zh) 2022-04-08
US20230154125A1 (en) 2023-05-18
US11270515B2 (en) 2022-03-08
WO2021046162A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
US11587297B2 (en) Virtual content generation
US11861070B2 (en) Hand gestures for animating and controlling virtual and graphical elements
US20220326781A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
US11925863B2 (en) Tracking hand gestures for interactive game control in augmented reality
US20220206588A1 (en) Micro hand gestures for controlling virtual and graphical elements
US11546505B2 (en) Touchless photo capture in response to detected hand gestures
US11531402B1 (en) Bimanual gestures for controlling virtual and graphical elements
US10761612B2 (en) Gesture recognition techniques
US20220100265A1 (en) Dynamic configuration of user interface layouts and inputs for extended reality systems
US20210405363A1 (en) Augmented reality experiences using social distancing
US20230367118A1 (en) Augmented reality gaming using virtual eyewear beams
US20240168565A1 (en) Single-handed gestures for reviewing virtual content
US20240069642A1 (en) Scissor hand gesture for a collaborative object
US20240070298A1 (en) Selective collaborative object access
US20220375026A1 (en) Late warping to minimize latency of moving objects
US20240070299A1 (en) Revealing collaborative object using countdown timer