TWI813068B - 計算系統、用於識別可控制裝置之位置之方法及非暫時性電腦可讀媒體 - Google Patents

計算系統、用於識別可控制裝置之位置之方法及非暫時性電腦可讀媒體 Download PDF

Info

Publication number
TWI813068B
TWI813068B TW110142337A TW110142337A TWI813068B TW I813068 B TWI813068 B TW I813068B TW 110142337 A TW110142337 A TW 110142337A TW 110142337 A TW110142337 A TW 110142337A TW I813068 B TWI813068 B TW I813068B
Authority
TW
Taiwan
Prior art keywords
map
controllable device
controllable
computing system
data
Prior art date
Application number
TW110142337A
Other languages
English (en)
Other versions
TW202221467A (zh
Inventor
吳升知
亞歷山大 詹姆斯 法博
Original Assignee
美商谷歌有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商谷歌有限責任公司 filed Critical 美商谷歌有限責任公司
Publication of TW202221467A publication Critical patent/TW202221467A/zh
Application granted granted Critical
Publication of TWI813068B publication Critical patent/TWI813068B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Tourism & Hospitality (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

根據一態樣，一種識別一可控制裝置之一位置之方法包含：自一可穿戴裝置上之一影像感測器接收視覺資料；藉由一物件辨識模組基於該視覺資料產生識別資料；及使用該識別資料自一地圖資料庫識別一第一三維(3D)地圖，該地圖資料庫儲存包含該第一3D地圖及一第二3D地圖之複數個3D地圖，其中該第一3D地圖係與一第一可控制裝置相關聯且該第二3D地圖係與一第二可控制裝置相關聯。該方法包含基於該第一3D地圖之視覺定位資料獲得該第一可控制裝置在一實體空間中之一位置及在一顯示器上在該第一可控制裝置之該位置之一臨限距離內之一位置中呈現一使用者介面(UI)物件。

Description

計算系統、用於識別可控制裝置之位置之方法及非暫時性電腦可讀媒體
本發明描述大體上係關於使用一可穿戴裝置獲得一可控制裝置之一位置。
一可穿戴裝置可用於控制一或多個可控制裝置(諸如媒體串流裝置、家庭揚聲器、智慧型燈泡等)。在一些實例中，一可穿戴裝置包含擷取視覺資料之一相機及用以處理影像資料以偵測該可穿戴裝置之相機之視野中之一裝置(此可獲得該裝置之二維(2D)位置)之影像辨識軟體。然而，2D位置可能不足以在可穿戴裝置之一顯示器上在接近於裝置在3D空間中之位置之一位置中呈現使用者介面(UI)控制項，使得使用者可用一互動式UI控制裝置或被展現關於裝置之額外資訊。另外，根據一些習知技術，若使用者具有多個、外觀相似裝置(例如，看起來一樣之兩個智慧型燈泡)，則可穿戴裝置可能無法區分多個裝置以便控制使用者預期之裝置。
根據一態樣，一種使用一可穿戴裝置識別一可控制裝置之一位置之方法包含：自一可穿戴裝置上之一影像感測器接收視覺資料；藉 由一物件辨識模組基於該視覺資料產生識別資料；及使用該識別資料自一地圖資料庫識別一第一三維(3D)地圖，該地圖資料庫儲存包含該第一3D地圖及一第二3D地圖之複數個3D地圖，其中該第一3D地圖係與一第一可控制裝置相關聯且該第二3D地圖係與一第二可控制裝置相關聯。該方法包含基於該第一3D地圖之視覺定位資料獲得該第一可控制裝置在一實體空間中之一位置及在該可穿戴裝置之一顯示器上在該第一可控制裝置之該位置之一臨限距離內之一位置中呈現一使用者介面(UI)物件。在一些實例中，該UI物件係在該顯示器上在對應於該第一可控制裝置之該位置之一位置處呈現。
根據一些態樣，該方法可包含以下特徵之一或多者(或其等之任何組合)。該位置包含該可控制裝置之一六自由度位置。該識別資料可包含該第一可控制裝置之一裝置名稱或一裝置類型之至少一者。該識別資料可包含與該第一可控制裝置相關聯之該實體空間之一空間類型。該識別資料係與該地圖資料庫中之該第一3D地圖相關聯地儲存。該方法可包含比較該視覺資料與該第一3D地圖。該方法可包含在與該第一可控制裝置相關聯之一設定程序期間產生該第一3D地圖。該第一3D地圖可包含對應於一虛擬雲端錨(anchor)之一特徵點地圖，且該虛擬雲端錨經組態以與一或多個其他使用者共用。該UI物件可包含允許一使用者控制該第一可控制裝置之一或多個控制項。
根據一態樣，一種儲存可執行指令之非暫時性電腦可讀媒體，該等可執行指令在藉由至少一個處理器執行時經組態以引起該至少一個處理器：自一可穿戴裝置上之一影像感測器接收視覺資料；藉由一物件辨識模組基於該視覺資料產生識別資料；使用該識別資料自一地圖資料庫 識別一第一三維(3D)地圖，該地圖資料庫儲存包含該第一3D地圖及一第二3D地圖之複數個3D地圖，其中該第一3D地圖係與一第一可控制裝置相關聯且該第二3D地圖係與一第二可控制裝置相關聯；基於該第一3D地圖之視覺定位資料獲得該第一可控制裝置在至少部分由該視覺資料表示之一實體空間中之一位置；及在該可穿戴裝置之一顯示器上在該第一可控制裝置之該位置之一臨限距離內之一位置中呈現一使用者介面(UI)物件，其中該UI物件包含用以控制該第一可控制裝置之一或多個互動式控制項。在一些實例中，該UI物件係在該顯示器上在對應於該第一可控制裝置之該位置(例如，6 DoF位置)之一位置處呈現。
根據一些態樣，該非暫時性電腦可讀媒體可包含以上/以下特徵之一或多者(或其等之任何組合)。該地圖資料庫可儲存於一伺服器電腦處。該等可執行指令在藉由該至少一個處理器執行時可經組態以引起該至少一個處理器與該伺服器電腦通信以存取該地圖資料庫。該地圖資料庫可儲存於該可穿戴裝置或通信地耦合至該可穿戴裝置之一運算裝置處。該等可執行指令在藉由該至少一個處理器執行時可經組態以引起該至少一個處理器分別與該可穿戴裝置或該運算裝置通信以存取該地圖資料庫。該識別資料可包含與該第一可控制裝置相關聯之一裝置名稱、一裝置類型或一空間類型之至少一者。該等可執行指令可包含引起該至少一個處理器在與該第一可控制裝置相關聯之一設定程序期間產生該第一3D地圖且在與該第二可控制裝置相關聯之一設定程序期間產生該第二3D地圖的指令。該第一3D地圖可包含對應於一虛擬雲端錨之一特徵點地圖，其中該虛擬雲端錨經組態以與一或多個其他使用者共用。
根據一態樣，一種用於識別一可控制裝置之一位置之運算 系統可包含：一影像感測器，其經組態以接收視覺資料；一物件辨識模組，其經組態以基於該視覺資料產生識別資料；一位置識別器，其經組態以使用該識別資料自一地圖資料庫識別一第一三維(3D)地圖，該地圖資料庫儲存包含該第一3D地圖及一第二3D地圖之複數個3D地圖，該第一3D地圖係與一第一可控制裝置相關聯，該第二3D地圖係與一第二可控制裝置相關聯，且該位置識別器經組態以基於該第一3D地圖之視覺定位資料獲得該第一可控制裝置在一實體空間中之一位置；及一使用者介面(UI)物件呈現器，其經組態以在一可穿戴裝置之一顯示器上在該第一可控制裝置之一臨限位置內之一位置中呈現一UI物件。在一些實例中，該UI物件係在該顯示器上在對應於該第一可控制裝置之該位置之一位置處呈現。
根據一些態樣，該運算系統可包含以上/以下特徵之一或多者(或其等之任何組合)。該運算系統可包含該可穿戴裝置及一運算裝置，其中該運算裝置經由一無線連接通信地耦合至該可穿戴裝置。該運算系統可包含該可穿戴裝置且該可穿戴裝置可包含智慧型眼鏡。該地圖資料庫可儲存於該運算系統之一記憶體裝置中。該地圖資料庫可儲存於與一伺服器電腦相關聯之一記憶體裝置中。該運算系統可包含經組態以將該識別資料傳輸至該伺服器電腦以便識別該伺服器電腦處之該第一3D地圖之一天線，其中該天線經組態以自該伺服器電腦接收該視覺定位資料。
一或多項實施方案之細節係在附圖及下文描述中闡述。將自描述及圖式及自發明申請專利範圍明白其他特徵。
100:運算系統
104:處理器
105:地圖資料庫
106:記憶體裝置
108:顯示器
110:天線
111:三維(3D)掃描裝置
112:感測器系統
114:影像感測器
115:慣性運動單元(IMU)
116:視覺資料
118:物件辨識模組
120:識別資料
120-1:識別資料
120-2:識別資料
121:裝置名稱
123:裝置類型
124:三維(3D)地圖
124-1:第一三維(3D)地圖
124-2:第二三維(3D)地圖
125:空間類型
126:裝置偵測器
130:無線信號
132:位置識別器
134:位置
134a:六自由度(DoF)位置
136:使用者介面(UI)物件呈現器
140:使用者介面(UI)物件
141:視覺定位資料
150:網路
152:可控制裝置
152-1:第一可控制裝置
152-2:第二可控制裝置
160:伺服器電腦
161:視覺定位資料服務
162:處理器
164:記憶體裝置
165:三維(3D)地圖產生器
170:虛擬錨應用程式
172:虛擬錨資料
174:視覺資料
176:裝置姿勢
178:錨姿勢
200:運算系統
201:運算裝置
202:頭戴式顯示裝置
275:無線連接
302:頭戴式顯示裝置
308:顯示器
370:電子組件
371:鏡框
372:鏡片
373:鼻架
374:鏡腿
396:智慧型眼鏡
408:顯示器
440:使用者介面(UI)物件
452:經偵測可控制裝置/可控制裝置
508:顯示器
540:使用者介面(UI)物件
552:經偵測可控制裝置/可控制裝置
608:顯示器
640:使用者介面(UI)物件
652:經偵測可控制裝置/可控制裝置
708:顯示器
740:使用者介面(UI)物件
752:經偵測可控制裝置/可控制裝置
808:顯示器
840:使用者介面(UI)物件
852:經偵測可控制裝置/可控制裝置
900:流程圖
902:操作
904:操作
906:操作
908:操作
1000:運算裝置
1002:處理器/組件
1004:記憶體/組件
1006:儲存裝置/組件
1008:高速介面/組件/高速控制器
1010:高速擴充埠/組件
1012:低速介面/組件/低速控制器
1014:低速匯流排/低速擴充埠
1016:顯示器
1020:標準伺服器
1022:膝上型電腦
1024:機架伺服器系統
1050:行動運算裝置/裝置/運算裝置/組件
1052:處理器/組件
1054:顯示器/組件
1056:顯示介面
1058:控制介面
1060:音訊編碼解碼器
1062:外部介面
1064:記憶體/組件
1066:通信介面/組件
1068:收發器/組件/射頻收發器
1070:全球定位系統(GPS)接收器模組
1072:擴充介面
1074:擴充記憶體
1080:蜂巢式電話
1082:智慧型電話
1090:虛擬實境(VR)頭戴式套件
圖1A描繪根據一態樣之用於使用藉由一影像感測器擷取之視覺資料及三維(3D)地圖識別一可控制裝置之一位置之一運算系統。
圖1B描繪根據一態樣之在一運算裝置之一顯示器上在對應於一可控制裝置之一位置之一位置處呈現之一使用者介面(UI)物件。
圖1C繪示根據一態樣之儲存複數個3D地圖之一地圖資料庫。
圖1D繪示根據一態樣之與地圖資料庫中之3D地圖連結之識別資料之一實例。
圖1E繪示根據一態樣之可基於識別資料識別一地圖資料庫中之一3D地圖之一裝置偵測器之一實例。
圖1F繪示根據一態樣之用於在一伺服器電腦處產生及儲存3D地圖之一系統。
圖1G繪示根據一態樣之用於產生及儲存3D地圖之一運算系統。
圖1H繪示根據另一態樣之用於產生及儲存3D地圖之一運算系統。
圖2繪示根據一態樣之具有一頭戴式顯示裝置及一運算裝置之一運算系統。
圖3繪示根據一態樣之智慧型眼鏡之一實例。
圖4A至圖4D繪示根據一態樣之在一可穿戴裝置之一顯示器上呈現UI物件之實例。
圖5至圖8繪示具有在對應於一可控制裝置之一位置之一位置中呈現之一UI物件之實例性顯示器。
圖9繪示描繪根據一態樣之一運算系統之實例性操作之一流程圖。
圖10繪示根據一態樣之本文中所論述之運算系統之實例性運算裝置。
本發明係關於擷取視覺資料且基於該視覺資料自一地圖資料庫識別一預儲存之三維(3D)地圖(例如，一3D網格、一3D特徵地圖、一虛擬雲端錨等)之一可穿戴裝置，其中該3D地圖標記一可控制裝置在至少部分由視覺資料表示之一實體空間中之一位置。地圖資料庫可儲存複數個3D地圖，其中各3D地圖包含關於一分開的可控制裝置之視覺定位資料。地圖資料庫可本端儲存或遠端儲存於一伺服器電腦上。來自3D地圖之資訊係用於偵測可控制裝置之一六自由度(DoF)位置。接著，可穿戴裝置可在可穿戴裝置之一顯示器上在可控制裝置在3D空間中之位置之一臨限距離內之一位置處呈現一使用者介面(UI)物件。在一些實例中，UI物件係在顯示器上在對應於可控制裝置之位置(例如，六DoF位置)之一位置處呈現。UI物件可對使用者提供一或多個控制項以控制可控制裝置及/或關於可控制裝置之額外資訊。
例如，在一第一可控制裝置之設定期間，一運算裝置(例如，可穿戴裝置或另一類型之裝置，諸如一智慧型電話)可用於標記該第一可控制裝置之位置。使用者可將運算裝置之影像感測器指向第一可控制裝置且四處移動裝置以自不同觀看角度及位置對實體空間繪製地圖以運算第一可控制裝置之周圍環境之特徵點。
在一些實例中，特徵點經傳輸至一伺服器電腦以產生一第一3D地圖，且該第一3D地圖係儲存於該伺服器電腦處之地圖資料庫中。在一些實例中，第一3D地圖係一特徵點地圖。在一些實例中，第一3D地 圖係可用於針對另一使用者定位經捕獲場景之一虛擬錨。第一3D地圖係與包含關於第一可控制裝置之資訊之識別資料相關聯地儲存。在一些實例中，識別資料包含第一可控制裝置之一裝置類型及/或裝置名稱。在一些實例中，識別資料包含識別第一可控制裝置所位於之空間之類型(例如，客廳、臥室、廚房)之一空間類型。例如，伺服器電腦可分析特徵點以判定哪一類型之實體空間係與第一可控制裝置相關聯(例如，第一可控制裝置之房間中之一床可指示第一可控制裝置在一臥室中)，且第一3D地圖係與空間類型相關聯地儲存。在一些實例中，運算裝置可使用特徵點或通常任何類型之3D掃描技術在本端產生及儲存第一3D地圖。
在另一可控制裝置之設定期間可應用相同操作。例如，在一第二可控制裝置之設定期間，產生識別該第二可控制裝置之位置之一第二3D地圖。該第二3D地圖係與可識別第二可控制裝置之識別資料相關聯地儲存。
在設定程序之後，使用者可進入一實體空間且使用可穿戴裝置之影像感測器來擷取視覺資料。在一些實例中，可穿戴裝置包含可判定視覺資料中所含有之物件之類型之一物件辨識模組。例如，若第一可控制裝置進入可穿戴裝置之影像感測器之視野，則該物件辨識模組可分析視覺資料以判定裝置之類型。在一些實例中，物件辨識可分析視覺資料以偵測使用者所定位之空間之類型，例如，一床之偵測可指示使用者定位於一臥室中。物件辨識模組可產生識別第一可控制裝置及/或實體空間之識別資料(例如，裝置類型、裝置名稱、空間類型等)。藉由物件辨識模組產生之識別資料可用於自地圖資料庫識別適當3D地圖。例如，若第一可控制裝置係一家庭揚聲器，則地圖資料庫與可控制裝置之類型(例如，家庭揚 聲器)相關聯地儲存第一3D地圖。接著，當使用者進入具有家庭揚聲器之房間且可穿戴裝置之物件辨識模組偵測到一家庭揚聲器時，識別第一3D地圖，此係因為第一3D地圖已用相同識別資料作註解。在一些實例中，可穿戴裝置將識別資料(由物件辨識器導出)傳輸至伺服器電腦以便識別哪些3D地圖儲存於地圖資料庫中。
接著，為判定所識別之第一3D地圖至少部分對應於由藉由影像感測器所擷取之視覺資料所表示之一實體空間，比較視覺資料與第一3D地圖以判定是否存在一匹配(例如，涉及同一實體空間)。在一些實例中，該比較係在伺服器電腦處執行，且若比較導致一匹配，則伺服器電腦返回第一可控制裝置之一姿勢(例如，位置及定向)，可穿戴裝置使用該姿勢來判定可穿戴裝置相對於第一可控制裝置之位置及定向。在一些實例中，比較係在本端執行。在一些實例中，姿勢可被稱為第一可控制裝置之一六DoF位置。在一些實例中，比較視覺資料與一3D地圖之操作可被稱為解析一3D地圖。
在一些實例中，代替使用一物件辨識模組來偵測由視覺資料捕獲之裝置之類型(且接著使用裝置類型來快速識別一3D地圖)，可連續或週期性地比較視覺資料與地圖資料庫中之所儲存之3D地圖以便判定哪一3D地圖對應於由影像感測器擷取之視覺資料。當存在一匹配時，可穿戴裝置可自匹配之3D地圖獲得一可控制裝置之六DoF位置。然而，在一些實例中，解析一3D地圖係在運算上昂貴的，且若地圖資料庫包含相對較大數目個3D地圖，則處理能力及/或時間可相對較大。另外，系統將不得不重複(及/或連續)比較傳入視訊資料與3D地圖，從而降低系統之效率。然而，藉由利用由物件辨識模組獲得之資訊，可藉由針對相對較少數 目個圖框(對比連續比較視覺資料庫與3D地圖)來解析較少3D地圖(例如，與經辨識之裝置相關聯之3D地圖)來提高效率(且可減少處理能力及/或時間)。
圖1A至圖1H繪示一運算系統100，其經組態以基於由運算系統100上之一感測器系統112擷取之視覺資料116及儲存於一地圖資料庫105中之3D地圖124來偵測一或多個可控制裝置152之一位置134。位置134可為一可控制裝置152之一3D位置，其中該3D位置係可控制裝置152在使用者(及/或運算系統100)所位於之一3D實體空間中之一位置(及視需要定向)。在一些實例中，位置134包含一可控制裝置152之一六DoF位置134a。參考圖1B，運算系統100使用位置134以在一顯示器108上在對應於可控制裝置152在3D空間中之位置及/或在可控制裝置152在3D空間中之位置之一臨限距離內之一位置中呈現一使用者介面(UI)物件140。在一些實例中，運算系統100使用位置134以在顯示器108上在接近(例如，如自使用者之角度來看)於可控制裝置152在3D空間中之位置之一位置中呈現UI物件140。在一些實例中，UI物件140係在由運算系統100之影像感測器114捕獲之一實體空間中呈現之一虛擬物件。在一些實例中，UI物件140係突顯可控制裝置152在房間中之位置之一視覺指示器。在一些實例中，UI物件140提供一或多個互動式控制項以控制可控制裝置152。在一些實例中，使用者可在接近於UI物件140之一位置中(例如，如自使用者之角度來看)移動他/她的手，使得使用者可與UI物件140互動。在一些實例中，UI物件140提供關於可控制裝置152之額外資訊。
運算系統100可包含一或多個裝置，其中該等裝置之至少一者係係能夠穿戴於一人之皮膚上或接近一人之皮膚穿戴之一顯示裝置。 在一些實例中，運算系統100係一可穿戴裝置或包含一可穿戴裝置。可穿戴裝置可包含一頭戴式顯示器(HMD)裝置，諸如一光學頭戴式顯示器(OHMD)裝置、一透明抬頭顯示器(HUD)裝置、一擴增實境(AR)裝置或具有感測器、顯示器及運算能力之其他裝置(諸如護目鏡或頭戴式套件)。在一些實例中，可穿戴裝置包含智慧型眼鏡。智慧型眼鏡係設計成一副眼鏡之形狀之一光學頭戴式顯示裝置。例如，智慧型眼鏡係在穿戴者透過眼鏡觀看之內容旁邊添加資訊(例如，投影一顯示器108)之眼鏡。在一些實例中，當一使用者穿戴智慧型眼鏡且進入具有定位於一梳妝台上之一智慧型揚聲器之一臥室時，可穿戴裝置可在對應於該智慧型揚聲器及/或在智慧型揚聲器之一臨限距離內之(例如，顯示器之)一位置中呈現一UI物件140，使得使用者可控制智慧型揚聲器及/或觀看關於智慧型揚聲器之額外資訊。
在一些實例中，運算系統100包含一可穿戴裝置(例如，智慧型眼鏡)及一運算裝置(例如，一行動運算裝置，諸如一智慧型電話、平板電腦、膝上型電腦或諸如一智慧型手錶之另一可穿戴裝置)。可穿戴裝置可經由一無線連接(諸如一短程連接(例如，藍芽連接或近場通信(NFC)連接)或一網際網路連接(例如，Wi-Fi或行動網路))連接至運算裝置。在一些實例中，運算系統100之一些組件係包含於可穿戴裝置中且運算系統100之一些組件係包含於運算裝置中。在一些實例中，運算系統100之所有組件係包含於可穿戴裝置中。
運算系統100包含可形成於一基板中之經組態以執行一或多個機器可執行指令或若干件軟體、韌體或其等之一組合之一或多個處理器104。處理器104可為基於半導體的，即，該等處理器可包含可執行數 位邏輯之半導體材料。運算系統100亦可包含一或多個記憶體裝置106。記憶體裝置106可包含以可由該(等)處理器104讀取及/或執行之一格式儲存資訊之任何類型之儲存裝置。記憶體裝置106可儲存應用程式及模組(例如，裝置偵測器126、位置識別器132、UI物件呈現器136、物件辨識模組118、虛擬錨應用程式170等)，該等應用程式及模組在藉由該(等)處理器104執行時，執行特定操作。在一些實例中，應用程式及模組可儲存於一外部儲存裝置中且載入至記憶體裝置106中。
運算系統100包含投影至使用者之視野上之一顯示器108。顯示器108可包含一液晶顯示器(LCD)、一發光二極體(LED)顯示器、一有機發光顯示器(OLED)、一電泳顯示器(EPD)或採用一LED光源之一微投影顯示器。在一些實例(智慧型眼鏡之情況)中，顯示器108可提供一透明或半透明顯示器，使得穿戴眼鏡之使用者可看到由顯示器108提供之影像以及定位於智慧型眼鏡之視野中在經投影影像後面之資訊。在一些實例中，UI物件140疊加於實體空間之一使用者之一光學視野中。運算系統100可包含用以實現與其他運算裝置之通信之一或多個天線110。儘管圖1A至圖1H中未展示，但運算系統100可包含容許使用者控制運算系統100之一觸控墊(例如，其可容許透過顯示於顯示器108上之一介面滑刷)。
運算系統100包含一感測器系統112。感測器系統112包含一影像感測器114。在一些實例中，感測器系統112包含多個影像感測器114。在一些實例中，在使用者穿戴運算系統100(或運算系統100之一部分)時，影像感測器114擷取視覺資料116(其可包含影像資料連同深度資訊)。在一些實例中，影像感測器114係一紅綠藍(RGB)相機。在一些實例中，影像感測器114包含一脈衝雷射感測器(例如，一LiDAR感測器)或深 度相機。例如，影像感測器114可為經組態以偵測及傳達由視覺資料116表示之用於製作一影像之資訊之一相機。影像感測器114可拍攝照片及錄製視訊。感測器系統112可包含一慣性運動單元(IMU)115。IMU 115可偵測運算系統100之運動、移動及/或加速。IMU 115可包含各種不同類型之感測器，例如，諸如一加速度計、一陀螺儀、一磁力計及其他此等感測器。感測器系統112可包含其他類型之感測器，諸如一光感測器、一音訊感測器、一距離/或近接感測器、一接觸感測器(諸如一電容式感測器)、一計時器及/或其他感測器，及/或感測器之不同組合。
在一些實例中，運算系統100經組態以經由一網路150與一伺服器電腦160通信。伺服器電腦160可為採用數個不同裝置之形式之運算裝置，例如，一標準伺服器、此等伺服器之一群組，或一機架伺服器系統。在一些實例中，伺服器電腦160係共用組件(諸如處理器及記憶體)之一單個系統。網路150可包含網際網路及/或其他類型之資料網路，諸如一區域網路(LAN)、一廣域網路(WAN)、一蜂巢式網路、衛星網路或其他類型之資料網路。網路150亦可包含經組態以在網路150內接收及/或傳輸資料之任何數目個運算裝置(例如，電腦、伺服器、路由器、網路切換器等)。
伺服器電腦160包含可形成於一基板中之經組態以執行一或多個機器可執行指令或若干件軟體、韌體或其等之一組合之一或多個處理器162。該(等)處理器162可為基於半導體的，即，該等處理器可包含可執行數位邏輯之半導體材料。伺服器電腦160包含一或多個記憶體裝置164。記憶體裝置164可包含以可由處理器162讀取及/或執行之一格式儲存資訊之一主記憶體。
在一些實例中，伺服器電腦160經組態以執行一視覺定位資料服務161。視覺定位資料服務161可為一擴增實境(AR)協作服務，其容許使用者形成用於形成使用者可共用之多人或協作AR體驗之雲端錨(例如，3D地圖124)。例如，使用者可將虛擬物件添加至一AR場景，且接著多個使用者接著可自一共用實體空間中之不同位置同時觀看此等虛擬物件且與此等虛擬物件互動。例如，一使用者可在其等環境中形成一本端錨(例如，一3D地圖124)。在託管期間，運算系統100可上傳資料以在視覺定位資料服務161處產生3D地圖124，該視覺定位資料服務161返回該3D地圖124之一唯一識別符，且該唯一識別符可被分配給其他使用者以加入同一AR環境。當同一環境中之另一使用者將其等裝置相機指向託管3D地圖124(例如，虛擬雲端錨)之區域時，一解析請求引起視覺定位資料服務161週期性地比較來自場景之視覺特徵與所形成之3D地圖124，運算系統100使用此來精確定位(pinpoint)使用者相對於3D地圖124之位置及定向。
可控制裝置152可包含可由運算系統100控制之廣泛多種裝置。如圖1A中所展示，可控制裝置152可包含一第一可控制裝置152-1及一第二可控制裝置152-2。在一些實例中，可控制裝置152連接至與運算系統100相同之網路(例如，可控制裝置152連接至與運算系統100相同之Wi-Fi網路)。儘管圖1A中描繪兩個可控制裝置152，但運算系統100可能能夠連接至任何數目個可控制裝置152。可控制裝置152可包含燈、開關、插座、恆溫器、證件讀取機、火警或其他環境警報、百葉窗、娛樂裝置(諸如電視機、立體聲裝置、媒體播放器)，及運算設備(諸如無線網路存取點、印表機、掃描器及複印機)。在一些情況下，一建築物可具有多個相同類型之可控制裝置。例如，一建築物可具有多個家庭揚聲器或多個視訊 串流裝置。又，一建築物可具有多個相同或幾乎相同的可控制裝置(例如，燈泡、家庭揚聲器等)。
一使用者可能希望使用運算系統100來存取、控制一可控制裝置152或以其他方式與其通信。例如，運算系統100可提供對一或多個可控制裝置152(例如，第一可控制裝置152-1及第二可控制裝置152-2)之存取、控制及/或與其等之通信。為使運算系統100能夠獲得一可控制裝置152之一準確位置，使得該(等)UI物件140可在顯示器108上呈現以存取、控制一可控制裝置152或以其他方式與其通信，運算系統100可引起一地圖資料庫105中之3D地圖124之產生及儲存，其中各3D地圖124提供一各自可控制裝置152之視覺定位資料。在一些實例中，地圖資料庫105係儲存於伺服器電腦160處之記憶體裝置164中。在一些實例中，地圖資料庫105係儲存於運算系統100處之記憶體裝置106中。在一些實例中，地圖資料庫105係儲存於可穿戴裝置上。在一些實例中，地圖資料庫105係儲存於一運算裝置上(在其本端)且無線地連接至可穿戴裝置。
如圖1C中所展示，地圖資料庫105可儲存複數個3D地圖124，其中各3D地圖124對應於一分開的可控制裝置152。例如，一第一3D地圖124-1對應於第一可控制裝置152-1，且一第二3D地圖124-2對應於第二可控制裝置152-2。在一些實例中，一3D地圖124係一3D網格。在一些實例中，一3D地圖124係一3D特徵地圖。在一些實例中，一3D地圖124係一虛擬錨或虛擬雲端錨。在一些實例中，一3D地圖124包含其中定位來自實體空間及可控制裝置152之視覺資訊之一座標空間。
如圖1C中所展示，3D地圖124可與識別資料120相關聯地儲存。識別資料120可包含關於對應可控制裝置152及/或其中定位可控制 裝置152之空間之一或多個特性。在一些實例中，如圖1D中所展示，識別資料120包含可控制裝置152之一裝置名稱121。在一些實例中，裝置名稱121係與可控制裝置152相關聯之名稱(例如，一nest恆溫器、一Google home mini等)。在一些實例中，識別資料120包含可控制裝置152之一裝置類型123。在一些實例中，裝置類型123識別裝置之類型，例如，一智慧型揚聲器、一媒體串流裝置、一智慧型恆溫器等。在一些實例中，識別資料120包含識別與3D地圖124相關聯之空間之類型之一空間類型125。例如，空間類型125可指定一臥室、書房、客廳、廚房等。如圖1C中所展示，第一3D地圖124-1係與識別第一可控制裝置152-1之識別資料120-1相關聯，且第二3D地圖124-2係與識別第二可控制裝置152-2之識別資料120-2相關聯。
在一些實例中，在一特定可控制裝置152之一設定程序期間產生一3D地圖124及對應識別資料120(或其之一部分)。在一些實例中，可在一特定可控制裝置152之設定程序之後之一時間點產生3D地圖124及對應識別資料120(或其之一部分)。在一些實例中，3D地圖124及對應識別資料120係彼此同時(或大約同時)產生。在一些實例中，在產生3D地圖124之後產生識別資料120且將其連結至一對應3D地圖124。
在一些實例中，在第一可控制裝置152-1之設定期間，運算系統100(例如，其可為一可穿戴裝置或行動裝置，諸如一智慧型電話)係用於標記第一可控制裝置152-1之位置。使用者可將運算系統100上之影像感測器114指向一所關注中心(例如，第一可控制裝置152-1)且將運算系統100四處移動以自不同觀看角度及位置對環境繪製地圖以運算第一可控制裝置152-1之周圍環境之特徵點。藉由運算系統100收集之資料係用於產 生特徵點。特徵點可為表示使用者之環境之關注點。在一些實例中，各特徵點近似表示實體空間中之一固定位置及定向，且視覺特徵點集可在使用者將裝置四處移動以對實體空間繪製地圖時隨時間更新。
在一些實例中，接著將特徵點傳輸至伺服器電腦160處之視覺定位資料服務161以產生一第一3D地圖124-1，且將第一3D地圖124-1儲存於伺服器電腦160處之地圖資料庫105中。如上文所闡釋，第一3D地圖124-1係與識別第一可控制裝置152-1之識別資料120-1(例如，裝置名稱121、裝置類型123、空間類型125等)相關聯地儲存。若第一可控制裝置152-1係一智慧型揚聲器，則識別資料120-1可指示第一3D地圖124-1係與一智慧型揚聲器、該智慧型揚聲器之名稱及/或智慧型揚聲器之類型相關聯。在一些實例中，伺服器電腦160處之視覺定位資料服務161可分析特徵點以判定哪一類型之實體空間係與第一可控制裝置152-1相關聯(例如，第一可控制裝置152-1之房間中之一床可指示第一可控制裝置152-1在一臥室中)，且第一3D地圖124-1係與空間類型125相關聯地儲存。在一些實例中，代替在伺服器電腦160處產生第一3D地圖124-1，運算系統100可使用特徵點或通常任何類型之3D掃描技術來在記憶體裝置106處之地圖資料庫105中產生及儲存第一3D地圖124-1(及對應識別資料120-1)。
在另一可控制裝置152之設定期間可應用相同操作。例如，在一第二可控制裝置152-2之設定期間，產生識別第二可控制裝置152-2之位置之一第二3D地圖124-2。第二3D地圖124-2係與相關聯於第二可控制裝置152-2之識別資料120-2(例如，裝置名稱121、裝置類型123、空間類型125等)相關聯地儲存。若第二可控制裝置152-2係一智慧型恆溫器，則識別資料120-2可指示第二3D地圖124-2係與一智慧型恆溫器、該 智慧型恆溫器之名稱及/或智慧型恆溫器之類型相關聯。在一些實例中，伺服器電腦160處之視覺定位資料服務161可分析特徵點以判定哪一類型之實體空間係與第二可控制裝置152-2相關聯(例如，第二可控制裝置152-2之房間中之一沙發可指示第二可控制裝置152-2在一客廳中)，且第二3D地圖124-2係與空間類型125相關聯地儲存。在一些實例中，第一可控制裝置152-1定位於與第二可控制裝置152-2相同之空間中。在一些實例中，第一可控制裝置152-1定位於與第二可控制裝置152-2不同之一空間中。
在設定程序之後(例如，在運算系統100之正常使用期間)，使用者可進入一實體空間且使用影像感測器114來擷取視覺資料116。運算系統100包含經組態以使用視覺資料116及地圖資料庫105來偵測一可控制裝置152及可控制裝置152之一位置134之一裝置偵測器126。位置134可包含可控制裝置152之一六DoF位置134a。在一些實例中，六DoF位置134包含描述平移及旋轉之資訊，諸如上下移動(例如，升高/起伏)、左右移動(例如，掃射/搖擺)、向前及向後移動(例如，行走/湧動)、左右轉動(例如，橫擺)、向前及向後傾斜(例如，俯仰)及/或側向樞轉(例如，側傾)。
裝置偵測器126包含一物件辨識模組118。物件辨識模組118可包含一或多個影像辨識演算法(其或其等可包含一或多個神經網路)。在一些實例中，當將影像感測器114指向一物件時，物件辨識模組118經組態以藉由讀取條碼、QR碼、標記及/或文字來識別物件。物件辨識模組118經組態以識別視覺資料116中之物件且產生關於經偵測物件之識別資料120。藉由物件辨識模組118產生之識別資料120係用於選擇或識別地圖資料庫105中之哪些3D地圖124來針對視覺資料116進行解析。如上文所指示，識別資料120可包含關於可控制裝置152或包含可控制裝置152 之空間之裝置名稱121、裝置類型123、空間類型125及/或該(等)其他特性。
例如，若藉由視覺資料116捕獲第一可控制裝置152-1，則物件辨識模組118可產生識別資料120以包含第一可控制裝置152-1之裝置名稱121及/或裝置類型123。類似地，若藉由視覺資料116捕獲第二可控制裝置152-2，則物件辨識模組118可產生識別資料120以包含第二可控制裝置152-2之裝置名稱121及/或裝置類型123。在一些實例中，若藉由視覺資料116捕獲一床，則物件辨識模組118可產生識別資料120以包含空間類型125(例如，一臥室)。在一些實例中，若藉由視覺資料116捕獲一烤箱，則物件辨識模組118可產生識別資料120以包含空間類型125(例如，一廚房)。
裝置偵測器126包含使用識別資料120來識別儲存於地圖資料庫105中之一3D地圖124之一位置識別器132。如圖1E中所展示，若識別資料120係識別資料120-1，則可在複數個3D地圖124當中識別第一3D地圖124-1，此係因為第一3D地圖124-1係與識別資料120-1相關聯地儲存於地圖資料庫105中。在一些實例中，識別資料120-1可指示一家庭揚聲器且第二識別資料120-2可指示一智慧型燈泡。若在位置識別器132處接收之識別資料120指示家庭揚聲器，則可識別第一3D地圖124-1。
接著，比較視覺資料116與所識別之3D地圖124以判定是否存在一匹配。例如，為判定所識別之3D地圖124至少部分對應於由藉由影像感測器114所擷取之視覺資料116表示之一實體空間，比較視覺資料116與3D地圖124以判定是否存在一匹配(例如，涉及同一實體空間)。例如，3D地圖124中之視覺特徵點可用於與(例如，自視覺資料116偵測之) 其他視覺特徵點進行比較及匹配以便判定實體空間是否與經儲存特徵點之實體空間相同及計算可控制裝置152在實體空間內之位置。
若存在一匹配，則位置識別器132獲得3D地圖124之視覺定位資料141。在一些實例中，視覺定位資料141包含可控制裝置152之一姿勢(例如，位置及定向)。位置識別器132使用視覺定位資料141以運算可控制裝置152-1相對於運算系統100之位置134。在一些實例中，位置識別器132使用視覺定位資料141及來自IMU 115之資訊以運算可控制裝置152-1相對於運算系統100之位置134。
若地圖資料庫105儲存於伺服器電腦160處之記憶體裝置164中，則裝置偵測器126可結合該(等)天線110一起操作以與伺服器電腦160處之視覺定位資料服務161通信。例如，裝置偵測器126可將識別資料120及視覺資料116傳輸至視覺定位資料服務161。視覺定位資料服務161可自儲存於伺服器電腦160處之記憶體裝置164中之地圖資料庫105識別適當3D地圖124，比較視覺資料116與所識別之3D地圖124，且若該比較導致一匹配，則視覺定位資料服務161可將3D地圖124之視覺定位資料141返回至裝置偵測器126。
若地圖資料庫105係儲存於運算系統100處之記憶體裝置106中，則在一些實例中，裝置偵測器126可自儲存於運算系統100處之記憶體裝置106中之地圖資料庫105識別適當3D地圖124，比較視覺資料116與所識別之3D地圖124，且若該比較導致一匹配，則位置識別器132可自適當3D地圖124獲得視覺定位資料141。
在一些實例中，裝置偵測器126使用除視覺資料116之外之其他信號來幫助偵測一可控制裝置152。例如，裝置偵測器126可接收一 或多個無線信號130且使用無線信號130來區分多個、外觀相似的可控制裝置152。在一些實例中，無線信號130包含短程無線信號，諸如藍芽信號及/或NFC信號(或超音波信號)。例如，若兩個外觀相似的可控制裝置152係在使用者之區域中，則裝置偵測器126可自可控制裝置152接收藍芽信號，且該等藍芽信號之強度可提供使用者預期控制哪一可控制裝置152之一指示。
運算系統100包含使用位置134以在顯示器108上在接近於可控制裝置152在3D空間中之位置134之一位置處呈現一UI物件140之一UI物件呈現器136。在一些實例中，UI物件140係定位於使用者透過智慧型眼鏡觀看之實體空間中之一虛擬物件。在一些實例中，UI物件140可定位於靠近可控制裝置152在現實世界中之位置134之一位置處。在一些實例中，UI物件140定位於顯示器108上在可控制裝置152在3D空間中之位置134之一臨限距離內之一位置處。換言之，UI物件140之位置與可控制裝置152之位置134之間的距離可小於一臨限位準。在一些實例中，UI物件140係在顯示器108上在其中使用者將認識到由UI物件140提供之資訊對應於可控制裝置152之一位置處呈現。在一些實例中，UI物件140係在顯示器108上在對應於可控制裝置152之位置134之一位置處呈現。在一些實例中，UI物件140之位置係使用可控制裝置152之位置134作為一參考來判定或計算。在一些實例中，UI物件140提供一或多個控制項以控制可控制裝置152。例如，UI物件140可提供一或多個控制項以啟動一媒體串流播放器上之一應用程式，改變一智慧型揚聲器之音量、在該智慧型揚聲器上播放歌曲等。在一些實例中，UI物件140提供關於可控制裝置152之額外資訊。例如，UI物件140可指定關於一智慧型恆溫器之歷史資料。
圖1F至圖1H繪示產生及儲存3D地圖124之各項實例。圖1F繪示根據一態樣之在一伺服器電腦處針對一第一可控制裝置152-1產生及儲存一第一3D地圖124-1。圖1G繪示根據一態樣之在運算系統100處針對一第一可控制裝置152-1產生及儲存一第一3D地圖124-1。圖1H繪示根據另一態樣之在運算系統100處針對一第一可控制裝置152-1產生及儲存一第一3D地圖124-1。
參考圖1F，在第一可控制裝置152-1之設定期間，運算系統100可用於標記第一可控制裝置152-1之位置。使用者可將感測器系統112之影像感測器114指向第一可控制裝置152-1且將運算系統100四處移動以自不同觀看角度及位置對環境繪製地圖。在一些實例中，運算系統100包含自感測器系統112接收資料且產生虛擬錨資料172之一虛擬錨應用程式170。虛擬錨資料172可包含視覺資料174、該(等)裝置姿勢176及該(等)錨姿勢178。在一些實例中，視覺資料174係視覺資料116之一實例。虛擬錨應用程式170經組態以與伺服器電腦160處之視覺定位資料服務161通信(經由一或多個應用程式設計介面(API))。虛擬錨應用程式170經組態以偵測及追蹤其相對於實體空間之位置，偵測不同類型之表面(例如，水平、垂直、成角度)之大小及位置，且估計環境之當前照明條件。虛擬錨應用程式170經組態以將虛擬錨資料172(在運算系統100對環境繪製地圖時)傳輸至視覺定位資料服務161。視覺定位資料服務161包含經組態以基於虛擬錨資料172產生第一3D地圖124-1之一3D地圖產生器165。3D地圖產生器165經組態以將第一3D地圖124-1儲存於地圖資料庫105中。
在一些實例中，虛擬錨應用程式170經組態以自視覺資料174偵測一視覺特徵點集且追蹤該視覺特徵點集隨時間之移動。視覺特徵 點集係表示使用者之環境之複數個點(例如，關注點)，且視覺特徵點集可隨時間更新。在一些實例中，視覺特徵點集可被稱為表示實體世界中之實體物件之一錨或一持久視覺特徵集，且視覺特徵點集係儲存於地圖資料庫105中，其等可在一後續工作階段中或針對另一使用者定位環境。
參考圖1G，在第一可控制裝置152-1之設定期間，類似於圖1F，運算系統100係用於標記第一可控制裝置152-1之位置。使用者可將感測器系統112之影像感測器114指向第一可控制裝置152-1且將運算系統100四處移動以自不同觀看角度及位置對環境繪製地圖。虛擬錨應用程式170自感測器系統112接收資料且產生虛擬錨資料172，該虛擬錨資料172包含視覺資料174、該(等)裝置姿勢176及該(等)錨姿勢178。在圖1G之實例中，運算系統100包含經組態以基於虛擬錨資料172產生第一3D地圖124-1之一3D地圖產生器165。3D地圖產生器165經組態以將第一3D地圖124-1儲存於運算系統100處之地圖資料庫105中。
參考圖1H，在第一可控制裝置152-1之設定期間，類似於圖1F及圖1G，運算系統100係用於標記第一可控制裝置152-1之位置。在一些實例中，運算系統100包含一3D掃描模組111，該3D掃描模組111經組態以掃描第一可控制裝置152-1之環境及形成儲存於運算系統100處之地圖資料庫105中之第一3D地圖124-1。
圖2繪示根據另一態樣之一運算系統200。運算系統200可包含關於圖1A至圖1H之運算系統100所描述之特徵之任一者。在一些實例中，運算系統200包含一頭戴式顯示裝置202。在一些實例中，頭戴式顯示裝置202包含圖1A至圖1H之運算系統100之所有組件。例如，頭戴式顯示裝置202可包含圖1A至圖1H之該(等)處理器104、該(等)記憶體裝置 106、顯示器108、感測器系統112(包含影像感測器114及IMU 115)、該(等)天線、裝置偵測器126(及裝置偵測器126之子組件)，及UI物件呈現器136。在一些實例中，頭戴式顯示裝置202包含地圖資料庫105。在一些實例中，頭戴式顯示裝置202經組態以產生及儲存如關於圖1F至圖1H所闡釋之3D地圖124(例如，在設定程序期間)，其中3D地圖124可本端地儲存於頭戴式顯示裝置202上或一伺服器電腦(例如，圖1A至圖1H之伺服器電腦160)上。在一些實例中，圖1F及圖1G之虛擬錨應用程式170係包含於頭戴式顯示裝置202中。在一些實例中，3D掃描模組111係包含於頭戴式顯示裝置202中。
在一些實例中，運算系統200包含頭戴式顯示裝置202及一運算裝置201。運算裝置201可經由一無線連接275連接至頭戴式顯示裝置202。在一些實例中，運算裝置201包含一行動運算裝置(諸如一智慧型電話、平板電腦、膝上型電腦或其他可穿戴裝置)。在一些實例中，無線連接275係一短程通信鏈路，諸如近場通信(NFC)連接或藍芽連接。在一些實例中，無線連接275係一網路連接，諸如一區域網路(LAN)、一廣域網路(WAN)、一蜂巢式網路、衛星網路或其他類型之資料網路。在一些實例中，無線連接275可包含經組態以在一網路內接收及/或傳輸資料之任何數目個運算裝置(例如，電腦、伺服器、路由器、網路切換器等)。
在一些實例中，圖1A至圖1H之運算系統100之一些組件係包含於頭戴式顯示裝置202中，且圖1A至圖1H之運算系統100之一些組件係包含於運算裝置201中。在一些實例中，圖1A至圖1H之感測器系統112、該(等)處理器104、該(等)記憶體裝置106、該(等)天線110及顯示器108係包含於頭戴式顯示裝置202中。在一些實例中，圖1A至圖1H之UI物 件呈現器136係包含於頭戴式顯示裝置202中。在一些實例中，圖1A至圖1H之UI物件呈現器136係包含於運算裝置201中。在一些實例中，圖1A至圖1H之地圖資料庫105係儲存於運算裝置201處。在一些實例中，圖1A至圖1H之地圖資料庫105係儲存於一伺服器電腦(例如，圖1A至圖1H之伺服器電腦160)處，其中運算裝置201及/或頭戴式顯示裝置202經組態以與圖1A至圖1H之伺服器電腦160通信。
在一些實例中，圖1A至圖1H之裝置偵測器126係包含於運算裝置201中。在一些實例中，由頭戴式顯示裝置202上之感測器系統112擷取之視覺資料116可經由無線連接275傳輸至運算裝置201。裝置偵測器126可偵測一可控制裝置152之位置134且經由無線連接275將位置134傳輸至頭戴式顯示裝置202以供頭戴式顯示裝置202上之UI物件呈現器136使用。在一些實例中，UI物件呈現器136係包含於運算裝置201上，該UI物件呈現器136經由無線連接275傳輸指令以在頭戴式顯示裝置202上之顯示器108上呈現一UI物件140。在一些實例中，圖1A至圖1H之物件辨識模組118係包含於頭戴式顯示裝置202中，且位置識別器132係包含於運算裝置201中，其中頭戴式顯示裝置202將識別資料120傳輸至運算裝置201上之位置識別器132。
在一些實例中，運算裝置201經組態以產生及儲存如關於圖1F至圖1H所闡釋之3D地圖124(例如，在設定程序期間)，其中3D地圖124可本端地儲存於運算裝置201上或一伺服器電腦(例如，圖1A至圖1H之伺服器電腦160)上。在一些實例中，圖1F及圖1G之虛擬錨應用程式170係包含於運算裝置201中。在一些實例中，圖1F及圖1G之虛擬錨應用程式170係包含於運算裝置201及頭戴式顯示裝置202中。在一些實例中，3D掃 描模組111係包含於運算裝置201中。
圖3繪示根據一態樣之一頭戴式顯示裝置302之一實例。頭戴式顯示裝置302可為圖1A至圖1H之運算系統100及/或圖2之頭戴式顯示裝置202之一實例。頭戴式顯示裝置302包含智慧型眼鏡396。智慧型眼鏡396係在穿戴者透過眼鏡觀看之內容旁邊添加資訊(例如，投影一顯示器308)之眼鏡。在一些實例中，代替投影資訊，顯示器308係一鏡片內微型顯示器。在一些實例中，智慧型眼鏡396(例如，眼鏡(eyeglasses或spectacles))係視力輔助器，其等包含安裝於一鏡框371中之鏡片372(例如，玻璃或硬塑膠鏡片)，該鏡框371通常利用鼻子上方之一鼻架373及擱置於耳朵上方之鏡腿374(例如，鏡腳或鏡腳件)將鏡片372固持於人的眼睛前面。智慧型眼鏡396包含電子組件370，該等電子組件370包含智慧型眼鏡396之電路系統。在一些實例中，電子組件370包含圍封圖1A至圖1H之運算系統100之組件及/或圖2之頭戴式顯示裝置202之組件之一外殼。在一些實例中，電子組件370係包含或整合至智慧型眼鏡396之鏡腿374之一者(或鏡腿374之兩者)中。
圖4A至圖4D繪示描繪定位於接近於一經偵測可控制裝置452(例如，在所得視覺印象中)之一位置中之UI物件440之一顯示器408之實例。在一些實例中，可控制裝置452包含一智慧型揚聲器。然而，可控制裝置452可包含本文中所論述之任何類型之可控制裝置。在一些實例中，在顯示器408中描繪之資訊係透過智慧型眼鏡之鏡片展示之視覺資訊。UI物件440可被視為定位於如透過智慧型眼鏡展示之一實體空間中之虛擬物件。
參考圖4A，一UI物件440可經呈現為圍繞可控制裝置452 之一視覺指示器，該視覺指示器描繪可控制裝置452在3D空間中之位置。參考圖4B，UI物件440可在接近於(例如，靠近)可控制裝置452之位置中呈現。在圖4B中，UI物件440包含圍繞可控制裝置452之一視覺指示器及容許使用者與可控制裝置452互動之一UI控制項。在一些實例中，使用者可與用以控制可控制裝置之UI控制項(諸如用以播放音樂之一控制項)互動。參考圖4C，UI物件440可包含容許使用者與可控制裝置452互動之UI控制項及參考顯示器408中展示之其他視覺資訊指示使用者之一手(或手指)所定位之一區域之一視覺指示器。例如，使用者可在一UI物件440之區域中移動他/她的手(或手指)以與可控制裝置452互動。圖4C中之視覺指示器可幫助使用者參考UI物件440判定使用者之身體部位定位於哪一位置/方向。參考圖4D，UI物件440可包含參考顯示器408中展示之其他視覺資訊指示使用者之一手(或手指)所定位之一區域之一視覺指示器及允許使用者控制可控制裝置452之多個UI控制項。在一些實例中，UI控制項可包含諸如播放音樂或搜尋網頁之動作。
圖5繪示描繪定位於接近於一經偵測可控制裝置552之一位置中之一UI物件540之一顯示器508之實例。在一些實例中，可控制裝置552包含一智慧型電視機或媒體串流裝置。然而，可控制裝置552可包含本文中所論述之任何類型之可控制裝置。在一些實例中，在顯示器508中描繪之資訊係透過智慧型眼鏡之鏡片展示之視覺資訊。UI物件540可被視為定位於如透過智慧型眼鏡展示之一實體空間中之一虛擬物件。參考圖5，一UI物件540包含容許使用者與可控制裝置552互動之一UI控制項，諸如打開一應用程式(諸如一媒體串流應用程式)。
圖6繪示描繪定位於接近於(例如，靠近)一經偵測可控制裝 置652之一位置中之一UI物件640之一顯示器608之實例。在一些實例中，可控制裝置652包含一智慧型揚聲器。然而，可控制裝置652可包含本文中所論述之任何類型之可控制裝置。在一些實例中，在顯示器608中描繪之資訊係透過智慧型眼鏡之鏡片展示之視覺資訊。UI物件640可被視為定位於如透過智慧型眼鏡展示之一實體空間中之一虛擬物件。參考圖6，一UI物件640包含容許使用者與可控制裝置652互動之一UI控制項(諸如用以播放音樂之一控制項)。
圖7繪示描繪定位於接近於(例如，靠近)一經偵測可控制裝置752之一位置中之一UI物件740之一顯示器708之實例。在一些實例中，可控制裝置752包含一智慧型恆溫器。然而，可控制裝置752可包含本文中所論述之任何類型之可控制裝置。在一些實例中，在顯示器708中描繪之資訊係透過智慧型眼鏡之鏡片展示之視覺資訊。UI物件740可被視為定位於如透過智慧型眼鏡展示之一實體空間中之一虛擬物件。參考圖7，一UI物件740提供關於可控制裝置752之額外資訊，諸如關於可控制裝置752之歷史資料或其他資訊。
圖8繪示描繪定位於接近於(例如，靠近)一經偵測可控制裝置852之一位置中之一UI物件840之一顯示器808之實例。在一些實例中，可控制裝置852包含一智慧型揚聲器。然而，可控制裝置852可包含本文中所論述之任何類型之可控制裝置。在一些實例中，在顯示器808中描繪之資訊係透過智慧型眼鏡之鏡片展示之視覺資訊。UI物件840可被視為定位於如透過智慧型眼鏡展示之一實體空間中之一虛擬物件。參考圖8，一UI物件840包含用於控制智慧型揚聲器及關於在智慧型揚聲器上播放之內容之資訊之UI控制項。
圖9繪示描繪圖1A至圖1H之運算系統100之實例性操作之一流程圖900。儘管流程圖900係關於圖1A至圖1H之運算系統100所描述，但流程圖900可應用於本文中之實施例之任一者。
操作902包含自一可穿戴裝置(例如，一運算系統100)上之一影像感測器114接收視覺資料116。操作904包含使用視覺資料116自一地圖資料庫105識別一第一三維(3D)地圖124-1，該地圖資料庫105儲存包含第一3D地圖124-1及一第二3D地圖124-2之複數個3D地圖124，其中第一3D地圖124-1係與一第一可控制裝置152-1相關聯，且第二3D地圖124-2係與一第二可控制裝置152-2相關聯。操作906包含基於第一3D地圖124-1獲得第一可控制裝置152-1相對於可穿戴裝置在空間中之一位置134(例如，一六DoF位置134a)。操作908包含在可穿戴裝置之一顯示器108上在接近於第一可控制裝置152-1之位置134之一位置中呈現一使用者介面(UI)物件140。
圖10展示可與本文所描述之技術一起使用之一實例性運算裝置1000及一實例性行動運算裝置1050之一實例。運算裝置1000包含一處理器1002、記憶體1004、一儲存裝置1006、連接至記憶體1004及高速擴充埠1010之一高速介面1008、及連接至低速匯流排1014及儲存裝置1006之一低速介面1012。組件1002、1004、1006、1008、1010及1012之各者係使用各種匯流排互連，且可安裝於一共同主機板上或適當地以其他方式安裝。處理器1002可處理在運算裝置1000內執行之指令，包含儲存於記憶體1004中或儲存裝置1006上用以顯示一外部輸入/輸出裝置(諸如耦合至高速介面1008之顯示器1016)上之一GUI之圖形資訊的指令。在其他實施方案中，可適當使用多個處理器及/或多個匯流排連同多個記憶體及 多種類型之記憶體。另外，多個運算裝置1000可與提供所需操作之部分之各裝置(例如，如一伺服器陣列(server bank)、一刀鋒型伺服器群組或一多處理器系統)連接。
記憶體1004儲存運算裝置1000內之資訊。在一項實施方案中，記憶體1004係一(或若干)揮發性記憶體單元。在另一實施方案中，記憶體1004係一(或若干)非揮發性記憶體單元。記憶體1004亦可為另一形式之電腦可讀媒體(諸如一磁碟或光碟)。
儲存裝置1006能夠為運算裝置1000提供大容量儲存。在一項實施方案中，儲存裝置1006可為一電腦可讀媒體或含有一電腦可讀媒體，諸如一軟碟裝置、一硬碟裝置、一光碟裝置或一磁帶裝置、一快閃記憶體或其他類似固態記憶體裝置，或包含在儲存區域網路或其他組態中之裝置之一裝置陣列。一電腦程式產品可有形地體現於一資訊載體中。該電腦程式產品亦可含有指令，該等指令在被執行時執行一或多個方法(諸如上文所描述之方法)。資訊載體係一電腦可讀或機器可讀媒體(諸如記憶體1004、儲存裝置1006或處理器1002上之記憶體)。
高速控制器1008為運算裝置1000管理頻寬密集型操作，而低速控制器1012管理較低頻寬密集型操作。此等功能分配僅係例示性的。在一項實施方案中，高速控制器1008耦合至記憶體1004、顯示器1016(例如，透過一圖形處理器或加速器)，且耦合至可接受各種擴充卡(未展示)之高速擴充埠1010。在實施方案中，低速控制器1012耦合至儲存裝置1006及低速擴充埠1014。可包含各種通信埠(例如，USB、藍芽、乙太網路、無線乙太網路)之低速擴充埠可耦合至一或多個輸入/輸出裝置(諸如一鍵盤、一指向裝置、一掃描器)，或(例如)透過一網路配接器耦合至 一網路連結裝置(諸如一切換器或路由器)。
運算裝置1000可以許多不同形式實施，如圖中所展示。例如，其可實施為一標準伺服器1020或在此等伺服器之群組中多次實施。其亦可實施為一機架伺服器系統1024之部分。另外，其可實施於一個人電腦(諸如一膝上型電腦1022)中。替代性地，來自運算裝置1000之組件可與一行動裝置(諸如裝置1050)中之其他組件(未展示)組合。此等裝置之各者可含有運算裝置1000、1050之一或多者，且整個系統可由彼此通信之多個運算裝置1000、1050構成。
運算裝置1050包含一處理器1052、記憶體1064、一輸入/輸出裝置(諸如一顯示器1054)、一通信介面1066及一收發器1068，以及其他組件。裝置1050亦可具備用以提供額外儲存之儲存裝置(諸如一微型硬碟或其他裝置)。組件1050、1052、1064、1054、1066及1068之各者係使用各種匯流排互連，且該等組件之若干者可安裝於一共同主機板上或適當地以其他方式安裝。
處理器1052可執行運算裝置1050內之指令，包含儲存於記憶體1064中之指令。處理器可實施為包含分開的及多個類比及數位處理器之晶片之一晶片組。處理器可提供(例如)裝置1050之其他組件之協調，諸如使用者介面之控制項、藉由裝置1050運行之應用程式及藉由裝置1050之無線通信。
處理器1052可透過耦合至一顯示器1054之控制介面1058及顯示介面1056與一使用者通信。顯示器1054可為(例如)一TFT LCD(薄膜電晶體液晶顯示器)或一OLED(有機發光二極體)顯示器或其他適當顯示技術。顯示介面1056可包括用於驅動顯示器1054以展現圖形及其他資訊給 使用者之適當電路系統。控制介面1058可自一使用者接收命令且轉換該等命令以提交至處理器1052。另外，一外部介面1062可與處理器1052通信，以便實現裝置1050與其他裝置之近區通信。外部介面1062可在一些實施方案中提供(例如)有線通信，或在其他實施方案中提供無線通信，且亦可使用多個介面。
記憶體1064儲存運算裝置1050內之資訊。記憶體1064可實施為一(或若干)電腦可讀媒體、一(或若干)揮發性記憶體單元或一(或若干)非揮發性記憶體單元之一或多者。亦可提供擴充記憶體1074且透過擴充介面1072將其連接至裝置1050，該擴充介面1072可包含(例如)一SIMM(單列直插式記憶體模組)卡介面。此擴充記憶體1074可為裝置1050提供額外儲存空間，或亦可儲存用於裝置1050之應用程式或其他資訊。明確言之，擴充記憶體1074可包含用以實行或補充上文所描述之程序之指令，且亦可包含安全資訊。因此，例如，擴充記憶體1074可提供為裝置1050之一安全模組，且可用允許裝置1050之安全使用之指令程式化。另外，可經由SIMM卡提供安全應用程式連同額外資訊(諸如以一不可駭入方式將識別資訊放置於SIMM卡上)。
記憶體可包含(例如)快閃記憶體及/或NVRAM記憶體，如下文所論述。在一項實施方案中，一電腦程式產品係有形地體現於一資訊載體中。該電腦程式產品含有指令，該等指令在被執行時執行一或多個方法(諸如上文所描述之方法)。資訊載體係可(例如)經由收發器1068或外部介面1062接收之一電腦可讀或機器可讀媒體(諸如記憶體1064、擴充記憶體1074或處理器1052上之記憶體)。
裝置1050可透過通信介面1066無線通信，該通信介面1066 必要時可包含數位信號處理電路系統。通信介面1066可在各種模式或協定下提供通信，諸如GSM語音呼叫、SMS、EMS或MMS訊息傳遞、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。此通信可(例如)透過射頻收發器1068發生。另外，短程通信可(諸如)使用藍芽、Wi-Fi或其他此收發器(未展示)發生。另外，GPS(全球定位系統)接收器模組1070可提供可適當地供運行於裝置1050上之應用程式使用之額外導航相關及位置相關之無線資料至裝置1050。
裝置1050亦可使用音訊編碼解碼器1060可聽地通信，該音訊編碼解碼器1060可自一使用者接收口說資訊且將其轉換成可用數位資訊。音訊編碼解碼器1060可同樣諸如透過(例如)在裝置1050之一聽筒中之一揚聲器對一使用者產生可聽聲音。此聲音可包含來自語音電話呼叫之聲音，可包含經錄製聲音(例如，語音訊息、音樂檔案等)且亦可包含由在裝置1050上操作之應用程式產生之聲音。
運算裝置1050可以許多不同形式實施，如圖中所展示。例如，其可實施為一蜂巢式電話1080。其亦可實施為一智慧型電話1082、個人數位助理或另一類似行動裝置之部分。
本文所描述之系統及技術之各項實施方案可實現於數位電子電路系統、積體電路系統、專門設計之ASIC(特定應用積體電路)、電腦硬體、韌體、軟體及/或其等之組合中。此等不同實施方案可包含一或多個電腦程式中之實施方案，該一或多個電腦程式可在包含至少一個可程式化處理器(其可為專用或通用的，經耦合以自一儲存系統接收資料及指令及將資料及指令傳輸至該儲存系統)、至少一個輸入裝置及至少一個輸出裝置之一可程式化系統上執行及/或解譯。另外，術語「模組」可包含 軟體及/或硬體。
此等電腦程式(亦被稱為程式、軟體、軟體應用程式或程式碼)包含用於一可程式化處理器之機器指令，且可以一高階程序性及/或物件導向程式設計語言，及/或以組合語言/機器語言實施。如本文中所使用，術語「機器可讀媒體」「電腦可讀媒體」係指用於提供機器指令及/或資料至一可程式化處理器(其包含接收機器指令作為一機器可讀信號之一機器可讀媒體)之任何電腦程式產品、設備及/或裝置(例如，磁碟、光碟、記憶體、可程式化邏輯裝置(PLD))。術語「機器可讀信號」係指用於提供機器指令及/或資料至一可程式化處理器之任何信號。
為提供與一使用者之互動，可在一電腦上實施本文所描述之系統及技術，該電腦具有用於顯示資訊給該使用者之一顯示裝置(例如，一CRT(陰極射線管)或LCD(液晶顯示器)監視器)及該使用者可藉由其提供輸入至該電腦之一鍵盤及一指向裝置(例如，一滑鼠或一軌跡球)。其他種類之裝置亦可用於提供與一使用者之互動；例如，提供給該使用者之回饋可為任何形式之感覺回饋(例如，視覺回饋、聽覺回饋或觸覺回饋)；且來自該使用者之輸入可以任何形式被接收，包含聲學、話音或觸覺輸入。
可在一運算系統中實施本文所描述之系統及技術，該運算系統包含一後端組件(例如，作為一資料伺服器)，或包含一中間軟體組件(例如，一應用程式伺服器)，或包含一前端組件(例如，具有一使用者可透過其與本文所描述之系統及技術之實施方案互動之一圖形使用者介面或一網頁瀏覽器之一用戶端電腦)，或此等後端、中間軟體或前端組件之任何組合。該系統之該等組件可藉由任何形式或媒體之數位資料通信(例 如，通信網路)互連。通信網路之實例包含一區域網路(「LAN」)、一廣域網路(「WAN」)及網際網路。
運算系統可包含用戶端及伺服器。一用戶端及伺服器一般彼此遠離且通常透過一通信網路互動。用戶端與伺服器的關憑藉運行於各自電腦上及彼此具有一用戶端-伺服器關係之電腦程式而產生。
在一些實施方案中，圖10中所描繪之運算裝置可包含與一虛擬實境(VR頭戴式套件1090)介接之感測器。例如，包含於圖10中所描繪之一運算裝置1050或其他運算裝置上之一或多個感測器可提供輸入至VR頭戴式套件1090或通常提供輸入至一VR空間。感測器可包含(但不限於)一觸控螢幕、加速度計、陀螺儀、壓力感測器、生物識別感測器、溫度感測器、濕度感測器及環境光感測器。運算裝置1050可使用感測器來判定運算裝置在VR空間中之一絕對位置及/或一經偵測旋轉(其等接著可用作至VR空間之輸入)。例如，運算裝置1050可作為一虛擬物件(諸如一控制器、一雷射指示器、一鍵盤、一武器等)併入至VR空間中。當併入至VR空間中時由使用者定位運算裝置/虛擬物件可容許使用者定位運算裝置以在VR空間中以特定方式觀看虛擬物件。例如，若虛擬物件表示一雷射指示器，則使用者可操縱運算裝置，如同其係一實際雷射指示器一樣。使用者可左右、上下、劃圈等移動運算裝置，且以類似於使用一雷射指示器之一方式使用裝置。
在一些實施方案中，包含於運算裝置1050上或連接至運算裝置1050之一或多個輸入裝置可用作至VR空間之輸入。輸入裝置可包含(但不限於)一觸控螢幕、一鍵盤、一或多個按鈕、一軌跡墊、一觸控墊、一指向裝置、一滑鼠、一軌跡球、一操縱桿、一相機、一麥克風、具有輸 入功能性之耳機(earphones或buds)、一遊戲控制器或其他可連接輸入裝置。當運算裝置1050併入至VR空間中時，與包含於該運算裝置上之一輸入裝置互動之一使用者可引起在VR空間中發生一特定動作。
在一些實施方案中，運算裝置1050之一觸控螢幕可呈現為VR空間中之一觸控墊。一使用者可與運算裝置1050之觸控螢幕互動。該等互動係在VR頭戴式套件1090中呈現(例如)為VR空間中之經呈現觸控墊上之移動。經呈現移動可控制VR空間中之物件。
在一些實施方案中，包含於運算裝置1050上之一或多個輸入裝置可在VR空間中向VR頭戴式套件1090之一使用者提供輸出及/或回饋。輸出及回饋可為視覺、觸覺或音訊。輸出及/或回饋可包含(但不限於)震動、一或多個燈或閃光燈之打開及關閉或閃爍及/或閃光、發出一警報、播放一鈴聲、播放一歌曲及播放一音訊檔案。輸出裝置可包含(但不限於)震動馬達、震動線圈、壓電裝置、靜電裝置、發光二極體(LED)、閃光燈及揚聲器。
在一些實施方案中，運算裝置1050可表現為一電腦產生之3D環境中之另一物件。使用者與運算裝置1050之互動(例如，旋轉、搖晃、觸摸一觸控螢幕、跨一觸控螢幕滑刷一手指)可被解釋為與VR空間中之物件之互動。在一VR空間中之雷射指示器之實例中，運算裝置1050表現為電腦產生之3D環境中之一虛擬雷射指示器。在使用者操縱運算裝置1050時，使用者在VR空間中看到雷射指示器之移動。使用者在運算裝置1050上或VR頭戴式套件1090上接收來自與VR空間中之運算裝置1050之互動的回饋。
在一些實施方案中，除了運算裝置之外之一或多個輸入裝 置(例如，一滑鼠、一鍵盤)可在一電腦產生之3D環境中呈現。經呈現之輸入裝置(例如，經呈現之滑鼠、經呈現之鍵盤)可用作在VR空間中呈現以控制VR空間中之物件。
運算裝置1000旨在表示各種形式之數位電腦，諸如膝上型電腦、桌上型電腦、工作站、個人數位助理、伺服器、刀鋒型伺服器、大型電腦及其他適當電腦。運算裝置1050旨在表示各種形式之行動裝置，諸如個人數位助理、蜂巢式電話、智慧型電話及其他類似運算裝置。此處所展示之該等組件、其等之連接及關係及其等之功能意欲僅係例示性的，且並不意欲限制此文件中所描述及/或主張之本發明之實施方案。
已描述數項實施例。然而，將理解，可在不脫離說明書之精神及範疇之情況下進行各種修改。
另外，圖中所描繪之邏輯流程並不需要所展示之特定順序或循序順序來達成所要結果。另外，可提供其他步驟，或可自所描述之流程剔除步驟，且可將其他組件添加至所描述之系統或自所描述之系統移除其他組件。因此，其他實施例係在以下發明申請專利範圍之範疇內。
100:運算系統
104:處理器
105:地圖資料庫
106:記憶體裝置
108:顯示器
110:天線
112:感測器系統
114:影像感測器
115:慣性運動單元(IMU)
116:視覺資料
118:物件辨識模組
120:識別資料
126:裝置偵測器
130:無線信號
132:位置識別器
134:位置
134a:六自由度(DoF)位置
136:使用者介面(UI)物件呈現器
141:視覺定位資料
150:網路
152:可控制裝置
152-1:第一可控制裝置
152-2:第二可控制裝置
160:伺服器電腦
161:視覺定位資料服務
162:處理器
164:記憶體裝置

Claims (21)

  1. 一種使用一可穿戴裝置識別一可控制裝置之一位置之方法，該方法包括：自該可穿戴裝置上之一影像感測器接收視覺資料；藉由一物件辨識模組基於該視覺資料產生關於一第一可控制裝置之識別資料；使用該識別資料自一地圖資料庫選擇一第一三維(3D)地圖，該地圖資料庫儲存包含該第一3D地圖及一第二3D地圖之複數個3D地圖，該第一3D地圖係與該第一可控制裝置相關聯，該第二3D地圖係與一第二可控制裝置相關聯；自該第一3D地圖獲得該第一可控制裝置在一實體空間中之一位置；及在該可穿戴裝置之一顯示器上在該第一可控制裝置之該位置之一臨限距離內之該顯示器上之一位置中呈現一使用者介面(UI)物件。
  2. 如請求項1之方法，其中該位置包含該第一可控制裝置之一六自由度位置。
  3. 如請求項1或2之方法，其中該識別資料包含該第一可控制裝置之一裝置名稱或一裝置類型之至少一者。
  4. 如請求項1或2之方法，其中該識別資料包含與該第一可控制裝置相 關聯之該實體空間之一空間類型。
  5. 如請求項1或2之方法，其中該識別資料係與該地圖資料庫中之該第一3D地圖相關聯地儲存。
  6. 如請求項1或2之方法，其進一步包括：比較該視覺資料與該第一3D地圖以判定該第一3D地圖至少部分地對應由該視覺資料表示之該實體空間。
  7. 如請求項1或2之方法，其進一步包括：在與該第一可控制裝置相關聯之一設定程序期間產生該第一3D地圖。
  8. 如請求項1或2之方法，其中該第一3D地圖包含對應於一虛擬雲端錨之一特徵點地圖，該虛擬雲端錨經組態以與一或多個其他使用者共用。
  9. 如請求項1或2之方法，其中該UI物件包含允許一使用者控制該第一可控制裝置之一或多個控制項。
  10. 一種儲存可執行指令之非暫時性電腦可讀媒體，該等可執行指令在由至少一個處理器執行時經組態以引起該至少一個處理器執行操作，該等操作包括：自一可穿戴裝置上之一影像感測器接收視覺資料； 藉由一物件辨識模組基於該視覺資料產生關於一第一可控制裝置之識別資料；使用該識別資料自一地圖資料庫選擇一第一三維(3D)地圖，該地圖資料庫儲存包含該第一3D地圖及一第二3D地圖之複數個3D地圖，該第一3D地圖係與該第一可控制裝置相關聯，該第二3D地圖係與一第二可控制裝置相關聯；自該第一3D地圖獲得該第一可控制裝置在一實體空間中之一位置；及在該可穿戴裝置之一顯示器上在該第一可控制裝置之該位置之一臨限距離內之該顯示器上之一位置中呈現一使用者介面(UI)物件，該UI物件包含用以控制該第一可控制裝置之一或多個互動式控制項。
  11. 如請求項10之非暫時性電腦可讀媒體，其中該地圖資料庫係儲存於一伺服器電腦處，其中該等操作進一步包括：與該伺服器電腦通信以存取該地圖資料庫。
  12. 如請求項10之非暫時性電腦可讀媒體，其中該地圖資料庫係儲存於該可穿戴裝置或通信地耦合至該可穿戴裝置之一運算裝置處，其中該等操作進一步包括：分別與該可穿戴裝置或該運算裝置通信以存取該地圖資料庫。
  13. 如請求項10至12中任一項之非暫時性電腦可讀媒體，其中該UI物件經組態以提供關於該第一可控制裝置之資訊。
  14. 如請求項10至12中任一項之非暫時性電腦可讀媒體，其中該識別資料包含與該第一可控制裝置相關聯之一裝置名稱、一裝置類型或一空間類型之至少一者。
  15. 如請求項10至12中任一項之非暫時性電腦可讀媒體，其中該等操作包括：在與該第一可控制裝置相關聯之一設定程序期間產生該第一3D地圖；及在與該第二可控制裝置相關聯之一設定程序期間產生該第二3D地圖。
  16. 如請求項10至12中任一項之非暫時性電腦可讀媒體，其中該第一3D地圖包含對應於一虛擬雲端錨之一特徵點地圖，該虛擬雲端錨經組態以與一或多個其他使用者共用。
  17. 一種用於識別一可控制裝置之一位置之運算系統，該運算系統包括：一影像感測器，其經組態以接收視覺資料；一物件辨識模組，其經組態以基於該視覺資料產生關於一第一可控制裝置之識別資料；一位置識別器，其經組態以使用該識別資料自一地圖資料庫選擇一第一三維(3D)地圖，該地圖資料庫儲存包含該第一3D地圖及一第二3D地 圖之複數個3D地圖，該第一3D地圖係與該第一可控制裝置相關聯，該第二3D地圖係與一第二可控制裝置相關聯，該位置識別器經組態以自該第一3D地圖獲得該第一可控制裝置在一實體空間中之一位置；及一使用者介面(UI)物件呈現器，其經組態以在一可穿戴裝置之一顯示器上在該第一可控制裝置之該位置之一臨限距離內之該顯示器上之一位置中呈現一UI物件。
  18. 如請求項17之運算系統，其中該運算系統包含該可穿戴裝置及一運算裝置，該運算裝置經由一無線連接通信地耦合至該可穿戴裝置。
  19. 如請求項17至18中任一項之運算系統，其中該地圖資料庫係儲存於該運算系統之一記憶體裝置中。
  20. 如請求項17至18中任一項之運算系統，其中該地圖資料庫係儲存於與一伺服器電腦相關聯之一記憶體裝置中，該運算系統進一步包括：一天線，其經組態以將該識別資料傳輸至該伺服器電腦以便識別該伺服器電腦處之該第一3D地圖，其中該天線經組態以自該伺服器電腦接收該視覺定位資料。
  21. 如請求項17至18中任一項之運算系統，其中該運算系統包含該可穿戴裝置，其中該可穿戴裝置包含智慧型眼鏡。
TW110142337A 2020-11-16 2021-11-15 計算系統、用於識別可控制裝置之位置之方法及非暫時性電腦可讀媒體 TWI813068B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/US20/070792 2020-11-16
PCT/US2020/070792 WO2022103420A1 (en) 2020-11-16 2020-11-16 Identifying a position of a controllable device using a wearable device

Publications (2)

Publication Number Publication Date
TW202221467A TW202221467A (zh) 2022-06-01
TWI813068B true TWI813068B (zh) 2023-08-21

Family

ID=73835850

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110142337A TWI813068B (zh) 2020-11-16 2021-11-15 計算系統、用於識別可控制裝置之位置之方法及非暫時性電腦可讀媒體

Country Status (7)

Country Link
US (1) US20230360264A1 (zh)
EP (1) EP4244703A1 (zh)
JP (1) JP2023549842A (zh)
KR (1) KR20230070308A (zh)
CN (1) CN116324675A (zh)
TW (1) TWI813068B (zh)
WO (1) WO2022103420A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180157398A1 (en) * 2016-12-05 2018-06-07 Magic Leap, Inc. Virtual user input controls in a mixed reality environment
TW201926992A (zh) * 2017-11-21 2019-07-01 澳大利亞商伊門斯機器人控股有限公司 用於數位實境之影像壓縮
TWM584455U (zh) * 2019-05-10 2019-10-01 黃誌聲 穿戴式電子裝置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180157398A1 (en) * 2016-12-05 2018-06-07 Magic Leap, Inc. Virtual user input controls in a mixed reality environment
TW201926992A (zh) * 2017-11-21 2019-07-01 澳大利亞商伊門斯機器人控股有限公司 用於數位實境之影像壓縮
TWM584455U (zh) * 2019-05-10 2019-10-01 黃誌聲 穿戴式電子裝置

Also Published As

Publication number Publication date
CN116324675A (zh) 2023-06-23
EP4244703A1 (en) 2023-09-20
JP2023549842A (ja) 2023-11-29
WO2022103420A1 (en) 2022-05-19
US20230360264A1 (en) 2023-11-09
TW202221467A (zh) 2022-06-01
KR20230070308A (ko) 2023-05-22

Similar Documents

Publication Publication Date Title
US20210405761A1 (en) Augmented reality experiences with object manipulation
US9618747B2 (en) Head mounted display for viewing and creating a media file including omnidirectional image data and corresponding audio data
US10007349B2 (en) Multiple sensor gesture recognition
KR20230025914A (ko) 음성 및 텍스트 캡션들을 사용한 증강 현실 경험들
US9390561B2 (en) Personal holographic billboard
US10139623B2 (en) Virtual object orientation and visualization
CN117356116A (zh) 用于定位可穿戴设备和向可穿戴设备递送内容的信标
CN108697935B (zh) 虚拟环境中的化身
US20230252739A1 (en) Triggering a collaborative augmented reality environment using an ultrasound signal
US20210082196A1 (en) Method and device for presenting an audio and synthesized reality experience
US20230068730A1 (en) Social connection through distributed and connected real-world objects
TWI813068B (zh) 計算系統、用於識別可控制裝置之位置之方法及非暫時性電腦可讀媒體
US11558711B2 (en) Precision 6-DoF tracking for wearable devices
EP4341779A1 (en) Contextual visual and voice search from electronic eyewear device
US11681361B2 (en) Reducing startup time of augmented reality experience
US11756274B1 (en) Low-power architecture for augmented reality device
US20240073402A1 (en) Multi-perspective augmented reality experience
KR20240051260A (ko) 사용자 상태를 나타내기 위한 스냅샷 메시지들
CN117916693A (zh) 用于电子眼镜设备的基于扫描的消息收发