TW202311909A - 映射聯網設備 - Google Patents

映射聯網設備 Download PDF

Info

Publication number
TW202311909A
TW202311909A TW111128134A TW111128134A TW202311909A TW 202311909 A TW202311909 A TW 202311909A TW 111128134 A TW111128134 A TW 111128134A TW 111128134 A TW111128134 A TW 111128134A TW 202311909 A TW202311909 A TW 202311909A
Authority
TW
Taiwan
Prior art keywords
connected device
location
output
identification
devices
Prior art date
Application number
TW111128134A
Other languages
English (en)
Inventor
威斯利詹姆士 侯蘭德
布萊恩 福格爾桑
阿比吉特 貝森
大衛 阿雷拉內斯
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202311909A publication Critical patent/TW202311909A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/74—Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems
    • G01S13/76—Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems wherein pulse-type signals are transmitted
    • G01S13/765—Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems wherein pulse-type signals are transmitted with exchange of information between interrogator and responder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/74—Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems
    • G01S13/82—Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems wherein continuous-type signals are transmitted
    • G01S13/825—Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems wherein continuous-type signals are transmitted with exchange of information between interrogator and responder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0295—Proximity-based methods, e.g. position inferred from reception of particular signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/80—Recognising image objects characterised by unique random patterns
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/75—Information technology; Communication
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/30—Control
    • G16Y40/35—Management of things, i.e. controlling in accordance with a policy or in order to achieve specified objectives
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/60—Positioning; Navigation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices

Abstract

提供了用於定位和映射智慧設備的系統、方法和非暫時性媒體。示例方法可以包括：由擴展現實（XR）設備接收來自直接地或間接地耦合到XR設備的連通設備的標識輸出，該標識輸出指示音訊樣式、顯示樣式及/或光樣式；偵測來自連通設備的標識輸出；及基於來自連通設備的標識輸出，將連通設備映射到XR設備的座標系中。

Description

映射聯網設備
本案大體係關於映射聯網設備（networked device）以用於控制聯網設備並與之互動。例如，本案的各態樣涉及使用擴展現實系統來定位（localize）和映射聯網設備以控制聯網設備並與之互動。
諸如智慧眼鏡和頭戴式顯示器（HMD）的擴展現實（例如，增強現實、虛擬實境等）設備大體將相機和感測器實現為追蹤擴展現實（XR）設備和其他物件在實體環境中的位置。XR現實設備可以使用追蹤資訊來給XR設備的使用者提供逼真的XR體驗。例如，XR設備可以允許使用者體驗沉浸式虛擬環境或內容或者與之互動。為了提供逼真的XR體驗，XR技術可以將虛擬內容與實體世界相聯合，這可能涉及匹配物件和設備的相對姿態和移動。XR技術可以使用追蹤資訊來計算設備、物件的相對姿態及/或現實世界環境的地圖，以便匹配設備、物件及/或現實世界環境的相對位置和移動，以及以令人信服的方式將內容錨定於現實世界環境。相對姿態資訊可以用於將虛擬內容與使用者感知的運動以及設備、物件和現實世界環境的時空狀態相匹配。
諸如XR設備的一些電子設備以及其他電子設備（例如，行動電話、平板電腦等）可以與其他設備配對以與其他設備互動。例如，電子設備可以與聯網設備配對以控制聯網設備，諸如物聯網路（IoT）設備、連通設備（connected device）或智慧家居設備（例如，智慧相機、揚聲器、燈泡、鎖、插頭、恒溫器、顯示器、電視、安全系統、家電等）。典型地，將電子設備配置為控制聯網設備或其他電子設備的程序可能很困難，並且大體涉及耗時的人工工作。
本文描述了用於定位和映射一或多個諸如聯網設備（例如，物聯網路（IoT）設備、連通設備或智慧設備等）的設備的系統和技術。根據至少一個示例，提供了一種用於使用諸如擴展現實（XR）設備的電子設備來映射聯網設備以控制聯網設備的方法。該方法可以包括：接收來自耦合到電子設備的連通設備的標識輸出；及基於來自連通設備的標識輸出，將連通設備映射到電子設備的座標系中。
根據至少一個示例，提供了一種用於使用諸如XR設備的電子設備來映射聯網設備以控制聯網設備的非暫時性電腦可讀取媒體。在一些示例中，該非暫時性電腦可讀取媒體可以包括指令，該些指令在由一或多個處理器執行時使該一或多個處理器：接收來自耦合到電子設備的連通設備的標識輸出；及基於來自連通設備的標識輸出，將連通設備映射到電子設備的座標系中。
根據至少一個示例，提供了一種用於使用諸如XR設備的電子設備來映射聯網設備以控制聯網設備的裝置。在一些示例中，該裝置可以包括：記憶體；及一或多個處理器，其耦合到記憶體，該一或多個處理器被配置為：接收來自耦合到電子設備的連通設備的標識輸出；及基於來自連通設備的標識輸出，將連通設備映射到電子設備的座標系中。
根據至少一個示例，提供了另一種用於使用諸如XR設備的電子設備來映射聯網設備以控制聯網設備的裝置。在一些示例中，該裝置可以包括用於執行以下操作的構件：接收來自耦合到電子設備的連通設備的標識輸出；及基於來自連通設備的標識輸出，將連通設備映射到電子設備的座標系中。
在一些態樣中，該方法、非暫時性電腦可讀取媒體和裝置可以包括：基於標識輸出來決定連通設備的位置；及基於連通設備的位置，將連通設備映射到電子設備的座標系中。
在一些示例中，標識輸出可以包括音訊樣式（pattern）、顯示樣式、光樣式中的至少一者以及無線電信號。
在一些態樣中，該方法、非暫時性電腦可讀取媒體和裝置可以包括：向連通設備發送被配置為觸發來自連通設備的附加標識輸出的信號；基於未能接收附加標識輸出，在一或多個不同的時間向連通設備發送一或多個附加信號，該一或多個附加信號被配置為觸發來自連通設備的附加標識輸出；接收來自連通設備的附加標識輸出；及基於附加標識輸出來決定連通設備的位置。在一些示例中，將連通設備映射到電子設備的座標系中可以包括：更新設備地圖以將連通設備與連通設備的位置相關聯。
在一些示例中，在一或多個不同的時間發送一或多個附加信號可以包括：在以下中的至少一種情況時決定未能接收附加標識輸出：電子設備在到連通設備的映射位置的閾值接近距離內，以及連通設備的映射位置在電子設備的圖像感測器的視場內；及基於未能接收附加標識輸出來向連通設備發送一或多個附加信號。
在一些示例中，在一或多個不同的時間發送一或多個附加信號可以包括：週期性地發送一或多個附加信號，直到以下中的至少一種情況：在沒有接收來自連通設備的附加標識輸出的情況下過去了預定時間量，以及在沒有接收來自連通設備的附加標識輸出的情況下發送了若干附加信號。
在一些示例中，接收來自連通設備的標識輸出可以包括：基於來自電子設備的一或多個感測器的資料來偵測標識輸出中的一或多個樣式；及將一或多個樣式辨識為來自連通設備的標識輸出。
在一些情況下，一或多個樣式可以包括音訊樣式，並且一或多個感測器可以包括音訊感測器。在一些情況下，一或多個樣式可以包括顯示樣式，並且一或多個感測器可以包括圖像感測器。在一些情況下，一或多個樣式可以包括光樣式，並且一或多個感測器可以包括光感測器。
在一些態樣中，將一或多個樣式辨識為來自連通設備的標識輸出可以包括：使用神經網路和特徵匹配中的至少一者來將一或多個樣式辨識為標識輸出。
在一些態樣中，該方法、非暫時性電腦可讀取媒體和裝置可以包括：接收觸發連通設備的動作的請求；基於連通設備的映射來標識連通設備的位置；及向連通設備發送被配置為觸發連通設備的動作的命令。
在一些情況下，觸發連通設備的動作的請求可以包括：向電子設備發送由連通設備捕捉的視訊饋送的請求。在一些示例中，該方法、非暫時性電腦可讀取媒體和裝置可以包括：向連通設備發送該命令，其中該命令被配置為觸發連通設備向電子設備發送視訊饋送；接收來自連通設備的視訊饋送；及在電子設備處顯示視訊饋送。
在一些示例中，觸發連通設備的動作的請求可以包括：觸發連通設備顯示來自電子設備的內容的請求，並且向連通設備發送該命令可以包括：向連通設備發送包括該命令和來自電子設備的內容的資料。在一些示例中，該命令被配置為觸發連通設備顯示來自電子設備的內容。
在一些示例中，觸發連通設備的動作的請求可以包括：調整連通設備的電源模式的請求，並且該命令被配置為調整連通設備的電源模式。
在一些情況下，連通設備可以包括燈泡，觸發連通設備的動作的請求可以包括：調整由燈泡發射的光的亮度和顏色中的至少一者的請求，並且該命令被配置為觸發燈泡調整由燈泡發射的光的亮度和顏色中的至少一者。
在一些態樣中，該方法、非暫時性電腦可讀取媒體和裝置可以包括：偵測與電子設備相關聯的使用者的姿勢，該姿勢指示連通設備的位置；基於該姿勢，觸發來自實體環境中的一或多個連通設備的一或多個標識輸出；從一或多個標識輸出中接收特定標識輸出，該特定標識輸出源自該位置；及基於該特定標識輸出來決定連通設備位於該位置處。在一些示例中，將連通設備映射到電子設備的座標系中可以包括：更新設備地圖以將連通設備與連通設備的位置相關聯。
在一些態樣中，該方法、非暫時性電腦可讀取媒體和裝置可以包括：接收與電子設備相關聯的使用者的語音命令，該語音命令指示連通設備的位置；基於該語音命令，觸發來自實體環境中的一或多個連通設備的一或多個標識輸出；從一或多個標識輸出中接收特定標識輸出，該特定標識輸出源自該位置；及基於該特定標識輸出來決定連通設備位於該位置處。
在一些態樣中，該方法、非暫時性電腦可讀取媒體和裝置可以包括：觸發一或多個連通設備進入映射模式；向一或多個連通設備發送設備標識輸出；接收來自一或多個連通設備的定位資訊，該定位資訊指示一或多個連通設備相對於電子設備的位置；及基於來自一或多個連通設備的定位資訊，將一或多個連通設備映射到電子設備的座標系中。
在一些態樣中，該方法、非暫時性電腦可讀取媒體和裝置可以包括：觸發一或多個連通設備進入映射模式；接收來自一或多個連通設備的定位資訊，該定位資訊指示地標相對於一或多個連通設備的第一位置；基於定位資訊和地標相對於電子設備的第三位置來決定一或多個連通設備的第二位置；及基於一或多個連通設備的第二位置來將一或多個連通設備映射到電子設備的座標系中。
在一些示例中，標識輸出可以包括光樣式，並且該光樣式可以包括以下中的至少一者：由電子設備發射的光變暗和變亮位准的樣式、由電子設備發射的光的色溫改變的樣式以及由電子設備發射的閃爍光序列。
在一些示例中，標識輸出可以包括顯示樣式，並且該顯示樣式可以包括以下中的至少一者：在電子設備的顯示裝置上顯示的代碼、在電子設備的顯示裝置上顯示的圖像、在電子設備的顯示裝置上顯示的視覺樣式以及在電子設備的顯示裝置上顯示的數位物件。
在一些示例中，標識輸出可以包括音訊樣式，並且該音訊樣式可以包括以下中的至少一者：由電子設備輸出的音訊代碼以及由電子設備輸出的聲音序列。
在一些態樣中，該方法、非暫時性電腦可讀取媒體和裝置可以包括：向連通設備發送被配置為觸發來自連通設備的標識輸出的信號；及接收來自連通設備的標識輸出。
在一些情況下，接收標識輸出可以包括：從由連通設備廣播的複數個標識輸出中接收一或多個標識輸出，該一或多個標識輸出包括該標識輸出。
在一些情況下，連通設備是以下中的至少一者：燈泡、揚聲器、電視、麥克風、一或多個感測器、相機、恒溫器以及可穿戴設備。
在一些示例中，標識輸出可以包括接收到的無線電信號。
在一些態樣中，上述裝置中的每一個是、可以是其一部分或者可以包括：聯網設備及/或XR設備（例如，虛擬實境（VR）設備、增強現實（AR）設備或混合現實（MR）設備）。在一些示例中，裝置可以包括或者可以是其一部分：車輛、行動設備（例如，行動電話或所謂的 「智慧手機」或其他行動設備）、可穿戴設備、個人電腦、膝上型電腦、平板電腦、伺服器電腦、機器人設備或系統、航空系統或其他設備。在一些態樣中，裝置包括用於捕捉一或多個圖像的圖像感測器（例如，相機）或多個圖像感測器（例如，多個相機）。在一些態樣中，裝置包括用於顯示一或多個圖像、通知及/或其他可顯示資料的一或多個顯示器。在一些態樣中，裝置包括一或多個揚聲器、一或多個發光設備及/或一或多個麥克風。在一些態樣中，上述裝置可以包括一或多個感測器。在一些情況下，該一或多個感測器可以用於決定裝置的位置、裝置的狀態（例如，追蹤狀態、操作狀態、溫度、濕度及/或其他狀態），及/或用於其他目的。
該發明摘要不意圖標識所要求保護的標的的關鍵或必要特徵，也不意圖被單獨用於決定所要求保護的標的的範圍。標的應該藉由參考該專利的整個說明書的適當部分、任一或所有附圖以及每項請求項來理解。
在參考以下說明書、請求項和附圖時，前述以及其他特徵和實施例將變得更加顯而易見。
下文提供了本案的某些態樣和實施例。這些態樣和實施例中的一些可以獨立應用並且它們中的一些可以組合應用，這對熟習此項技術者來說是顯而易見的。在以下描述中，出於解釋的目的，闡述了具體細節，以便提供對本案的實施例的透徹理解。然而，將顯而易見的是，各種實施例可以在沒有這些具體細節的情況下被實踐。附圖和描述並不旨在是約束性的。
隨後的描述僅提供示例實施例，並且不旨在限制本案的範圍、適用性或配置。而是，示例性實施例的隨後的描述將為熟習此項技術者提供用於實現示例性實施例的使能描述。應該理解，在不脫離如所附請求項所闡述的本案的精神和範圍的情況下，可以在元件的功能和佈置中作出各種改變。
如先前所解釋的，諸如智慧眼鏡和頭戴式顯示器（HMD）的擴展現實（例如，增強現實、虛擬實境等）設備可以將相機和各種各樣的感測器實現為追蹤擴展現實（XR）設備和其他物件在實體環境中的地點。XR設備可以使用追蹤資訊來給XR設備的使用者提供逼真的XR體驗。例如，XR設備可以允許使用者體驗沉浸式虛擬環境或內容或者與之互動。為了提供逼真的XR體驗，XR技術大體目的在於將虛擬內容與實體世界相聯合。在一些示例中，XR技術涉及匹配物件和設備的相對姿態和移動。例如，XR設備可以使用追蹤資訊來計算設備、物件的相對姿態及/或產生現實世界環境的地圖，以便匹配設備、物件及/或現實世界環境的相對地點和移動。使用一或多個設備、物件及/或現實世界環境的姿態及/或移動，XR設備可以以令人信服的方式將內容錨定於現實世界環境及/或使能與現實世界環境的互動。相對姿態資訊可以用於將虛擬內容與使用者的感知運動以及設備、物件和現實世界環境的時空狀態相匹配，並且可以支持XR體驗和與現實世界環境的互動。
在一些示例中，諸如XR設備的電子設備或其他電子設備（例如，行動電話、智慧可穿戴設備、平板電腦、膝上型電腦等）可以與不同的設備配對，諸如聯網設備（例如物聯網路（IoT）設備或連通設備，諸如智慧樞紐、燈泡、揚聲器、相機、門鈴、安全系統、鎖、插頭、開關、恒溫器、警報系統、電視、家電等）。例如，使用者可以將XR設備配置為控制聯網的揚聲器、聯網的燈、聯網的家電或房間裡的其他智慧/連通設備。為了說明，在聯網的燈的示例中，使用者可以經由XR設備來方便地控制聯網的燈，而不是使用燈開關來打開或關閉燈。然而，將電子設備配置為控制聯網設備的程序可能涉及人工工作，並且對於許多使用者來說，可能是很困難的且甚至令人困惑的。定位和映射聯網設備以允許電子設備知道聯網設備的位置並控制聯網設備的程序也可能是很困難的且耗時的。在許多情況下，聯網設備可能改變位置，這可能使該智慧設備的先前映射的位置不準確/過時，並且可能影響電子設備在位置改變之後控制聯網設備及/或與之互動的能力。此外，每次映射的聯網設備移動到不同的位置，電子設備可能都需要執行定位和映射聯網設備的另一複雜且耗時的程序。
在一些示例中，可以利用XR設備的XR能力，以使能從XR設備與某些設備（諸如聯網設備）的更直觀和自然的互動。例如，可以利用XR設備的手部追蹤和姿勢辨識能力，以允許XR設備的使用者使用姿勢和其他基於XR的互動來控制聯網設備。為了促進及/或改進此類互動，XR設備可以定位和映射使用者希望從XR設備控制的聯網設備。如先前所指出的，定位和映射聯網設備可能是具挑戰性的任務。在許多情況下，XR設備可能不具有關於特定聯網設備的位置的資訊以便定位和映射它。例如，在有多個聯網設備的房間裡，XR設備可能不知道感興趣的特定聯網設備位於何處，或者甚至不知道房間裡的聯網設備中的哪一個是感興趣的特定聯網設備。
為了說明，在有多個聯網的燈泡的房間裡，XR設備可能不知道多個聯網的燈泡中的特定聯網的燈泡位於何處以便定位和映射它。在一些情況下，可能在附近的房間裡有附加聯網設備，這些聯網設備可能比該房間裡的一或多個聯網設備位於更靠近XR設備的位置，並且可能增加定位和映射特定聯網設備的難度。由於許多聯網設備是移動的，即使房間或建築物僅具有一個聯網設備，該聯網設備也可能改變位置，這可能使聯網設備的先前映射的位置不準確/過時，並且可能阻止XR設備控制在其新位置處的聯網設備及/或與之互動。
本文描述了用於定位和映射諸如聯網設備（例如，智慧設備、IoT設備、連通設備）的可控設備以用於由其他電子設備（諸如XR設備）控制的系統、裝置、方法（也被稱為程序）和電腦可讀取媒體（在本文中被統稱為「系統和技術」）。雖然聯網設備或智慧設備（例如，IoT設備及/或具有網際網路/網路連接能力的其他設備）在本文中被用作可控設備的示例，但本文描述的技術可以由可被另一設備控制的任何設備來執行或者對其執行。在一些示例中，本文描述的系統和技術可以允許智慧設備被定位和映射用於XR控制。示例XR設備可以定位和映射智慧設備，以瞭解智慧設備空間上在現實世界中和在XR設備的內部座標系內位於何處。定位和映射用於擴展現實的智慧設備可以允許XR設備使能從XR設備與智慧設備更直觀的互動。在一些示例中，XR設備可以使用來自XR設備上的一或多個感測器的感測器資料，諸如，例如，來自圖像感測器的圖像資料、來自音訊感測器的音訊資料等，來定位和映射智慧設備。
在一些情況下，XR設備可以遠端地觸發智慧設備產生標識輸出，XR設備可以偵測並使用該標識輸出來定位和映射智慧設備。XR設備可以標識該標識輸出並將其與觸發的智慧設備相關聯，以用於經由XR設備對智慧設備的未來控制。例如，XR設備的使用者可以從XR設備上的應用（諸如與智慧設備相關聯的註冊應用）遠端地觸發智慧設備。智慧設備可以基於遠端觸來產生標識輸出。XR設備可以使用一或多個感測器（諸如圖像感測器及/或音訊感測器）來偵測來自智慧設備的標識輸出。XR設備可以使用標識輸出來定位和映射智慧設備，以用於從XR設備對智慧設備的當前及/或未來控制。
智慧設備可以以若干方式產生標識輸出。在一些示例中，智慧設備可以輸出XR設備可以辨識為標識輸出的特定樣式。為了說明，在涉及具有發光能力的智慧設備（例如，智慧電視（TV）、燈泡等）的示例中，智慧設備可以輸出變暗和變亮光的樣式。XR設備可以將變暗和變亮樣式偵測並辨識為標識輸出。在一些情況下，變暗和變亮樣式可以是人眼可見的（例如，在可見光譜內）。在其他情況下，就波長及/或持續時間而言，變暗和變亮樣式可以是人眼不可察覺的。作為另一示例，智慧設備可以根據XR設備可以偵測並辨識為標識輸出的樣式來改變智慧設備的色溫。色溫樣式可以是人眼可見的或人眼不可察覺的（例如，在波長及/或持續時間上）。在一些情況下，智慧設備可以發射XR設備可以偵測並辨識為標識輸出的光（人眼可見的或不可見的）的樣式。例如，智慧設備可以發射XR設備可以偵測並辨識為標識輸出的紅外（IR）光。
在一些情況下，智慧設備可以將標識輸出編碼在由智慧設備發送的（一或多個）無線信號中。例如，智慧設備可以使用藍芽來與XR設備通訊。智慧設備可以使用藍芽來向XR設備發送表示標識輸出的代碼或樣式。XR設備可以接收來自智慧設備的藍芽通訊，並且標識藍芽通訊中的代碼或樣式。XR設備可以使用所標識的代碼或樣式來定位智慧設備，如本文進一步描述的。
在一些示例中，智慧設備可以具有顯示能力（例如，智慧樞紐、TV、螢幕等）、音訊能力及/或其他輸出能力（例如，發光等）。在一些情況下，具有顯示能力的智慧設備可以輸出顯示樣式（例如，快速回應（QR）碼、條碼、圖像、視訊、動畫、呈現的物件、圖形、視覺樣式等）。顯示樣式可以是人眼可見的或人眼不可察覺的（例如，在波長及/或持續時間上）。XR設備可以將顯示樣式偵測並辨識為標識輸出。在一些情況下，具有音訊能力的智慧設備可以輸出音訊樣式（例如，摩斯碼、噪音、音調序列或任何其他音訊樣式），該音訊樣式可以是人耳可察覺的或在持續時間及/或頻率（例如，超聲波）上人耳不可察覺的。XR設備可以將音訊樣式偵測並辨識為標識輸出。在其他示例中，智慧設備可以輸出任何其他類型的樣式或樣式的組合，諸如光、色溫、顯示及/或音訊樣式的組合。
在一些示例中，XR設備可以使用深度神經網路來偵測來自智慧設備的標識輸出。例如，為了偵測包括光、顯示及/或音訊樣式的標識輸出，可以在包括相關標識輸出的示例的圖像資料及/或音訊資料的集合上預訓練深度神經網路。在一些示例中，XR設備可以經由超過預定閾值的輸出統計（諸如亮度和對比度統計）的（例如，隨時間的）摘要的互相關來偵測標識輸出。在一些情況下，XR設備可以經由音訊或視覺特徵匹配來偵測標識輸出。例如，XR設備可以在圖像中標識捕捉視覺輸出（諸如顯示的代碼）的關鍵點，並且在圖像中提取與視覺輸出相對應的特徵。XR設備可以為所提取的特徵產生特徵描述。XR設備可以將關鍵點、特徵及/或特徵描述同與視覺輸出相關聯的關鍵點、特徵及/或特徵描述相匹配。XR設備可以基於此種特徵匹配來偵測視覺輸出。XR設備可以用音訊資料執行類似特徵匹配，以偵測音訊輸出。
在一些情況下，XR設備可以動態地追蹤智慧設備的位置。例如，假使或如果智慧設備的位置在先前的定位之後已經改變，則XR設備可以執行重新定位，以追蹤智慧設備的位置。XR設備可以週期性地及/或依須求執行映射程序。在一些示例中，當XR設備相信它靠近先前映射的智慧設備時，XR設備可以觸發標識輸出，以檢查智慧設備是否仍在先前映射的位置上。如果XR設備決定智慧設備不位於預期的位置，則XR設備可以週期性地觸發標識輸出。當XR設備基於標識輸出來尋找智慧設備時，XR設備可以更新智慧設備在XR設備的智慧設備地圖中的位置。
在一些情況下，智慧設備可以偵測智慧設備的位置何時已經改變，並且觸發由XR設備執行的重新定位。例如，智慧設備可以基於智慧設備的網路信號及/或智慧設備的網路信號的特性（例如，信號強度等）、感測器資料（例如，由智慧設備的圖像感測器捕捉的圖像資料、由智慧設備的慣性測量單元捕捉的慣性資料等）來偵測其位置已經改變。在一些情況下，當智慧設備偵測到其位置已經改變時，智慧設備可以通知XR設備智慧設備的位置已經改變。例如，智慧設備可以向XR設備發送無線信號（例如，藍芽通訊、WiFi通訊等）。無線信號可以包括智慧設備位置的改變的指示（例如，資料、樣式等）。在另一示例中，當智慧設備偵測到其位置已經改變時，智慧設備可以輸出標識輸出以供XR設備偵測。標識輸出可以觸發由XR設備執行的重新定位。
在另一示例中，XR設備的使用者可以執行指示期望與智慧設備互動的動作，諸如指向智慧設備、保持朝向智慧設備的眼睛注視、保持朝向智慧設備的頭部姿態、觸摸智慧設備等。在一些情況下，該動作可以標識、建議或暗示智慧設備的位置。如果智慧設備沒有被映射在此位置（或者感興趣的智慧設備沒有被映射在此位置），則XR設備可以觸發所有已知/映射的智慧設備的標識輸出，直到偵測到匹配的標識輸出。然後，XR設備可以更新XR設備的智慧設備地圖，以包括智慧設備的所決定位置處的智慧設備。
在一些示例中，XR設備可以使用手部追蹤來定位和映射智慧設備，而不是（或除了）觸發智慧設備標識其自身（例如，經由標識輸出）。例如，使用者可以用手指觸摸智慧設備，該手指被XR設備追蹤/定位，並且將該位置與所標識的智慧設備一起標記在XR設備的智慧設備地圖中。
在一些情況下，XR設備可以利用智慧設備上的圖像及/或音訊感測器來相對於彼此定位智慧設備及/或XR設備，並且映射智慧設備。例如，XR設備可以使用一或多個智慧設備來定位及/或映射XR設備。在一些示例中，XR設備可以遠端地觸發智慧設備進入映射模式。基於該觸發，智慧設備可以開始尋找來自XR設備的標識輸出。在偵測到來自XR設備的標識輸出時，智慧設備可以相對於XR設備來定位其自身，並且向XR設備中繼定位資訊。XR設備可以將定位資訊轉換為其智慧設備地圖，並且將智慧設備與所決定的位置標識/關聯起來。
在一些情況下，XR設備可以利用一或多個帶有圖像及/或音訊感測器的智慧設備來定位和映射智慧設備。例如，XR設備可以遠端地觸發環境中的智慧設備進入映射模式。這些智慧設備可以與XR設備共享特徵向量（例如，音訊及/或視覺特徵向量）。XR設備可以將被一或多個智慧設備共享的智慧設備的特徵向量與由XR設備獲得的特徵向量進行匹配。XR設備可以將定位資訊轉換為其智慧設備地圖，並且將智慧設備與所決定的位置標識/關聯起來。
將關於附圖來描述應用的各個態樣。
圖1是示出根據本案的一些示例的用於定位、映射及/或控制計算設備150的XR系統100的示例的圖。XR系統100可以用於使用XR及/或本文所述的任何其他技術來控制計算設備150。計算設備150可以包括智慧設備（例如，IoT/連通設備等），諸如，例如且不限於，智慧可穿戴設備（例如，智慧手錶、指環、手環、手套、醫療/健身追蹤器等）、智慧鎖、智慧自行車、智慧安全系統、智慧燈、智慧樞紐、智慧相機、智慧冰箱、智慧揚聲器、智慧醫療感測器、智慧電視、智慧開關、智慧助手、智慧恒溫器、機器人吸塵器、行動計算裝置（例如，膝上型電腦、平板電腦、智慧手機等）、視訊遊戲系統、全球定位系統（GPS）設備、智慧警報器、智慧掃瞄器、智慧插頭、智慧助手、智慧家電、智慧裝備、嵌入式系統、智慧家居設備或任何其他智慧設備、連通設備及/或無線設備。
XR系統100和計算設備150可以通訊耦合，以允許XR系統100與計算設備150互動並控制它。在一些示例中，XR系統100可以實現一或多個XR應用，諸如，例如且不限於，用於管理及/或控制計算設備（例如，計算設備150）的XR應用、智慧家居應用、視訊遊戲應用、設備控制應用、自主駕駛應用、導航應用、生產力應用、社交媒體應用、通訊應用、模型化應用、媒體應用、電子商務應用、流覽器應用、設計應用、地圖應用以及/或任何其他XR應用。
在一些示例中，XR系統100可以包括電子設備，該電子設備被配置為使用關於XR系統100及/或計算設備150的相對姿態的資訊來提供一或多個功能性，諸如XR功能（例如，定位/追蹤、偵測、分類、映射、內容呈現等）、設備管理及/或控制功能性、遊戲功能性、自主駕駛或導航功能性、電腦視覺功能性、機器人的功能等。例如，在一些情況下，XR系統100可以是XR設備（例如，頭戴式顯示器、抬頭顯示裝置、智慧眼鏡等），該XR設備被配置為偵測、定位和映射計算設備150的位置並與計算設備150通訊以控制計算設備150的一或多個操作/狀態。
在圖1所示的說明性示例中，XR系統100可以包括一或多個圖像感測器，諸如圖像感測器102A和102B（在下文中被統稱為「圖像感測器102」）、音訊感測器104（例如，超聲感測器、麥克風等）、慣性測量單元（IMU）106以及一或多個計算元件110。在一些情況下，XR系統100可以可選地包括一或多個其他/附加感測器，諸如，例如且不限於，雷達、光探測和測距（LIDAR）感測器、觸摸感測器、壓力感測器（例如，氣壓感測器及/或任何其他壓力感測器）、陀螺儀、加速度計、磁力計及/或任何其他感測器。在一些示例中，XR系統100可以包括附加感測器及/或元件，諸如，例如，發光二極體（LED）設備、儲存裝置、快取記憶體、通訊介面、顯示器、記憶體設備等。下文將關於圖9進一步描述示例架構和可以由XR系統100實現的示例硬體元件。
XR系統100可以是單個計算設備或多個計算設備的一部分或者由單個計算設備或多個計算設備來實現。在一些示例中，XR系統100可以是一個電子設備（或多個電子設備）的一部分，諸如相機系統（例如，數位相機、IP相機、視訊相機、安全相機等）、電話系統（例如，智慧手機、蜂巢式電話、會議系統等）、膝上型或筆記型電腦、平板電腦、機上盒、智慧電視、顯示裝置、遊戲控制台、XR設備（諸如HMD）、無人機、車輛中的電腦、IoT（物聯網）設備、智慧可穿戴設備或任何其他合適的電子設備。
在一些實現方式中，圖像感測器102、音訊感測器104、IMU 106及/或一或多個計算元件110可以是同一計算設備的一部分。例如，在一些情況下，圖像感測器102、音訊感測器104、IMU 106及/或一或多個計算元件110可以與相機系統、智慧手機、膝上型電腦、平板電腦、智慧可穿戴設備、XR設備（諸如HMD）、IoT設備、遊戲系統及/或任何其他計算設備整合或者整合到其中。在其他實現方式中，圖像感測器102、音訊感測器104、IMU 106及/或一或多個計算元件110可以是兩個或更多個單獨的計算設備的一部分或者由它們來實現。
XR系統100的一或多個計算元件110可以包括，例如且不限於，中央處理單元（CPU）112、圖形處理單元（GPU）114、數位訊號處理器（DSP）116及/或圖像信號處理器（ISP）118。在一些示例中，XR系統100可以包括其他處理器，諸如，例如，電腦視覺（CV）處理器、神經網路處理器（NNP）、專用積體電路（ASIC）、現場可程式設計閘陣列（FPGA）等。XR系統100可以使用一或多個計算元件110來執行各種計算操作，諸如，例如，擴展現實操作（例如，追蹤、定位、物件偵測、分類、姿態估計、映射、內容錨定、內容呈現等）、設備控制操作、圖像/視訊處理、圖形渲染、機器學習、資料處理、模型化、計算、電腦視覺及/或任何其他操作。
在一些情況下，一或多個計算元件110可以包括其他電子電路或硬體、電腦軟體、韌體或它們的任何組合，以執行本文描述的各種操作中的任何一個。在一些示例中，一或多個計算元件110可以包括相比於圖1所示的計算元件更多或更少的計算元件。此外，CPU 112、GPU 114、DSP 116和ISP 118僅僅是為解釋目的提供的計算元件的說明性示例。
圖像感測器102可以包括任何圖像及/或視訊感測器或捕捉設備，諸如數位相機感測器、攝像機感測器、智慧手機相機感測器、電子裝置（諸如電視或電腦、相機）上的圖像/視訊捕捉設備等。在一些情況下，圖像感測器102可以是相機或計算設備（諸如數位相機、攝像機、IP相機、智慧手機、智慧電視、遊戲系統等）的一部分。此外，在一些情況下，圖像感測器102可以包括多個圖像感測器，諸如前後感測器設備，並且可以是雙相機或其他多相機組裝件（例如，包括兩個相機、三個相機、四個相機或其他數量的相機）的一部分。
在一些示例中，圖像感測器102的每個圖像感測器可以捕捉圖像資料並基於圖像資料來產生訊框，及/或將圖像資料或訊框提供給一或多個計算元件110用於處理。訊框可以包括視訊序列的視訊訊框或靜止圖像。訊框可以包括表示場景的像素陣列。例如，訊框可以是每像素具有紅、綠和藍分量的紅綠藍（RGB）訊框；每像素具有一個亮度分量和兩個色度（顏色）分量（色度-紅和色度-藍）的亮度、色度-紅、色度-藍（YCbCr）訊框；或任何其他合適類型的彩色或單色圖片。
在一些示例中，一或多個計算元件110可以使用來自一或多個圖像感測器102、音訊感測器104、IMU 106及/或計算設備150的資料來執行XR處理操作。例如，在一些情況下，一或多個計算元件110可以基於來自圖像感測器102、音訊感測器104、IMU 106及/或計算設備150的資料來執行追蹤、定位、物件偵測、物件分類、姿態估計、形狀估計、映射、內容錨定、內容呈現、影像處理、模型化、內容產生、姿勢偵測、姿勢辨識及/或其他操作。在一些示例中，一或多個計算元件110可以使用來自一或多個圖像感測器102、音訊感測器104、IMU 106及/或計算設備150的資料來產生環境的三維（3D）地圖並追蹤XR系統100在該3D環境內的位置。在一些示例中，一或多個計算元件110可以基於來自圖像感測器102、音訊感測器104、IMU 106及/或計算設備150的資料來偵測、定位和映射計算設備150及/或控制計算設備150的操作/狀態。
在一些示例中，一或多個計算元件110可以實現用於追蹤和估計XR系統100及/或計算設備150的相對姿態的一或多個演算法。在一些情況下，一或多個計算元件110可以接收由一或多個圖像感測器102捕捉的圖像資料，並且基於接收到的圖像資料來執行姿態估計，以計算計算設備150和XR系統100的相對姿態。在一些示例中，一或多個計算元件110可以接收感測器資料（例如，來自圖像感測器102的圖像資料、來自音訊感測器104、IMU 106的資料等），並且使用此資料來追蹤及/或映射計算設備150。在一些情況下，一或多個計算元件110可以實現一或多個電腦視覺模型，以計算計算設備150和XR系統100的相對姿態。
在一些情況下，XR系統100可以使用一或多個圖像感測器102來偵測由計算設備150產生的光樣式。該光樣式可以包括XR系統100可以用於偵測、定位和映射計算設備150的標識輸出，如本文進一步解釋的。在一些示例中，光樣式可以包括改變由計算設備150發射的光位准（例如，變暗和變亮）的（一或多個）樣式、改變由計算設備150發射的光的色溫的樣式、顯示樣式（例如，快速回應（QR）碼、條碼、顯示的物件、顯示的圖像等）及/或任何其他光/視覺樣式。在一些情況下，光樣式可以包括人眼可見或不可見的光。在一些示例中，光樣式可以包括由計算設備150發射的IR光。
在一些情況下，XR系統100可以使用音訊感測器104來偵測由計算設備150產生的音訊樣式。音訊樣式可以包括XR系統100可以用於偵測、定位和映射計算設備150的標識輸出，如本文進一步解釋的。在一些示例中，音訊樣式可以包括聲音的樣式，諸如，例如，摩斯碼、噪音序列及/或任何其他經調變的音訊或聲音樣式。在一些情況下，XR系統100可以使用音訊感測器104來測量距離資訊，以協助追蹤、定位、映射及/或其他XR功能性。例如，XR系統100可以使用音訊感測器104來測量XR系統100與計算設備150之間的距離。
在一些情況下，IMU 106可以偵測XR系統100的加速度、角速率及/或取向，並且基於偵測到的加速度來產生測量。在一些情況下，IMU 106可以偵測並測量XR系統100的取向、線速度及/或角速率。例如，IMU 106可以測量XR系統100的運動及/或俯仰、橫搖和偏航。在一些示例中，XR系統100可以使用由IMU 106獲得的測量及/或來自一或多個圖像感測器102的圖像資料來計算XR系統100在3D空間內的姿態。在一些情況下，XR系統100可以附加地或替代地使用來自音訊感測器104及/或計算設備150的感測器資料來執行追蹤、姿態估計、映射及/或其他操作。
計算設備150可以包括一或多個輸出設備160，該一或多個輸出設備160可以輸出/發射樣式，諸如，例如，光樣式、音訊樣式、無線電樣式、編碼在藍芽信號中的代碼或樣式及/或它們的任何組合。樣式可以包括XR系統100可以用於偵測、定位和映射計算設備150的標識輸出。XR系統100可以偵測由（一或多個）輸出設備160發射的樣式，並且使用該樣式來定位和映射計算設備150，如本文進一步解釋的。
（一或多個）輸出設備160可以包括一或多個感測器及/或元件，諸如，例如且不限於，顯示器、揚聲器、麥克風、圖像感測器、LED設備、發光設備、壓力感測器、IMU、通訊介面（例如，無線電臺等）、雷達等。在一些示例中，計算設備150可以包括用於與XR系統100通訊的一或多個無線通訊介面（未示出）。在一些示例中，通訊介面可以包括無線發送器、無線收發器或用於無線通訊及/或發送資料的任何其他部件。通訊介面可以實現任何無線協定及/或技術以與XR系統100通訊，諸如Wi-Fi、藍芽、紫蜂（ZigBee）、蜂巢等。在其他示例中，計算設備150可以包括相比於圖1所示更多或更少的（相同及/或不同類型的）感測器、（一或多個）輸出設備及/或元件。在一些情況下，計算設備150可以包括圖1中未示出的一或多個其他元件，諸如，例如且不限於，微控制器、致動器、儲存裝置、記憶體、快取記憶體、處理設備等。
圖1關於XR系統100和計算設備150所示的元件僅僅是為解釋目的提供的說明性示例。在其他示例中，XR系統100及/或計算設備150可以包括相比於圖1所示的元件更多或更少的元件。雖然XR系統100和計算設備150被示出為包括某些元件，但熟習此項技術者將理解，XR系統100和計算設備150可以包括相比於圖1所示的元件更多或更少的元件。例如，在一些實例中，XR系統100和計算設備150還可以包括一或多個其他記憶體設備（例如，RAM、ROM、快取記憶體等）、一或多個聯網介面（例如，有線及/或無線通訊介面等）、一或多個顯示裝置、快取記憶體、儲存裝置及/或圖1中未示出的其他硬體或處理設備。下文關於圖9描述了可以被實現有XR系統100及/或計算設備150的計算設備及/或硬體元件的說明性示例。
如先前所指出的，XR系統100可以使能與智慧設備（例如，計算設備150）的XR互動。例如，XR系統100可以允許穿戴XR系統100的使用者指向智慧燈泡來打開它。作為另一示例，XR系統100可以資料流附近安全相機的視訊饋送及/或在裝有安全系統的門上呈現視覺疊加（例如，透明的紅色輪廓、訊息等）。在一些示例中，XR系統100可以將來自XR系統100的內容分享給附近的智慧電視，及/或與智慧樞紐/助手通訊並且向智慧樞紐/助手指示穿戴XR系統的使用者正在對智慧樞紐/助手說話，以便智慧樞紐/助手瞭解該使用者不是正在對另一個人或設備說話。
為了促進此類互動，XR系統100可以定位和映射智慧設備，如本文進一步描述的。智慧設備的定位和映射可以允許XR系統100知道智慧設備（空間上）存在於XR系統100的內部座標系中何處。XR系統100可以使用該資訊來使能與智慧設備的互動。
圖2是示出用於定位和映射計算設備150的示例系統200的圖。計算設備150可以包括智慧設備（例如，IoT/連通設備等），諸如，例如且不限於，智慧可穿戴設備（例如，智慧手錶、指環、手環、手套、醫療/健身/健康追蹤器等）、智慧鎖、智慧自行車、智慧安全系統、智慧燈、智慧樞紐、智慧相機、智慧冰箱、智慧揚聲器、智慧插頭、智慧助手、智慧醫療感測器、智慧電視、GPS設備、行動電腦、視訊遊戲控制台、智慧警報器、智慧掃瞄器、連接家電、智慧裝備、智慧家居設備、嵌入式系統或任何其他智慧設備、連通設備及/或無線設備。
在圖2所示的示例中，XR系統100可以向計算設備150發送標識觸發204，以觸發計算設備150輸出標識輸出206。標識觸發204可以包括被配置為觸發計算設備150產生如本文所解釋的XR系統100可以用於定位和映射計算設備150的標識輸出206的訊息及/或命令。在一些情況下，XR系統100可以回應於請求標識觸發204的使用者輸入來產生標識觸發204。例如，XR系統100的使用者可以選擇XR系統100處的XR應用202上的控制元件來觸發標識觸發204的產生。作為另一示例，XR系統100的使用者可以提供請求產生標識觸發204的口頭輸入，XR系統100可以使用一或多個語音辨識演算法來辨識該口頭輸入。
在一些情況下，標識觸發204可以回應於諸如，例如，來自計算設備150的觸發（例如，訊息、操作等）、計算設備150在附近（例如，在XR系統100的接近範圍內）的決定（例如，基於來自一或多個感測器的感測器資料）、時間等事件產生。在一些情況下，XR系統100可以週期性地輸出標識觸發204，以在以下情況時觸發標識輸出206：當計算設備150在一範圍及/或區域內時，或者當計算設備150和XR系統100連接到同一本地網路及/或彼此（直接地或間接地）通訊耦合時。在其他情況下，計算設備150可以觸發XR系統100產生標識觸發204。例如，如果計算設備150（例如，基於感測器資料）偵測XR系統100在某個範圍及/或區域內，則計算設備150可以向XR系統100發送訊息以觸發發現模式。發現模式可以觸發XR系統100產生標識觸發204，並且檢視標識輸出206以定位和映射計算設備150。
計算設備150可以接收標識觸發204並輸出標識輸出206。標識輸出206可以包括XR系統100可以偵測以定位和映射計算設備150的輸出樣式。輸出樣式（例如，標識輸出206）可以包括由計算設備150的輸出設備160產生的光、顯示、無線電、藍芽及/或音訊樣式。例如，在一些情況下，輸出設備160可以包括發光能力，並且輸出樣式可以包括變暗和變亮光樣式。該變暗和變亮樣式可以是人眼可見的（例如，在可見光譜內）或者就波長及/或持續時間而言是人眼不可察覺的。在一些情況下，輸出樣式可以包括由輸出設備160發射的IR光。作為另一示例，輸出樣式可以包括改變由輸出設備160發射的光的色溫的樣式。色溫樣式可以是人眼可見的或人眼不可察覺的（例如，在波長及/或持續時間上）。
在其他示例中，輸出樣式可以包括由輸出設備160呈現/顯示的顯示樣式。顯示樣式可以包括，例如，代碼（例如，QR碼、條碼、金鑰等）、圖像、一或多個字符、呈現的內容項（例如，虛擬內容項、數位物件、圖形等）及/或任何視覺樣式。顯示樣式是人眼可見的或人眼不可察覺的（例如，在波長及/或持續時間上）。在其他示例中，輸出樣式可以包括音訊樣式（例如，摩斯碼、聲音及/或任何其他音訊樣式），該音訊樣式可以是人耳可察覺的或在持續時間及/或頻率（例如，超聲波）上是人耳不可察覺的。在其他示例中，輸出樣式可以包括無線電樣式（例如，一些特殊的代碼，開和關的樣式，或低功率和高功率的樣式）。在其他示例中，輸出樣式可以包括任何其他類型的樣式或樣式的組合，諸如光、色溫、視覺及/或音訊樣式的組合。
在一些情況下，計算設備150可以將標識輸出206編碼在由計算設備150發送的（一或多個）無線信號中。例如，計算設備150可以使用藍芽來與XR系統100通訊。計算設備150可以使用藍芽來向XR系統100發送表示標識輸出206的代碼或樣式。XR系統100可以接收來自計算設備150的藍芽通訊，並且標識藍芽通訊中的代碼或樣式。XR系統100可以使用所標識的代碼或樣式來定位計算設備150，如本文進一步描述的。
在一些情況下，計算設備150可以週期性地或回應於標識觸發204來用輸出樣式廣播標識輸出206。在一些情況下，計算設備150可以將資訊編碼在標識輸出206中，諸如關於計算設備150的資訊、位置資訊、辨識符等。標識輸出206可以由位於到計算設備150的接近距離內及/或相對於計算設備150的地點處的附近設備（諸如XR系統100）來偵測。在一些示例中，允許由附近設備偵測標識輸出206的附近設備（例如，XR系統100）的距離及/或地點可以取決於輸出樣式的類型（例如，光、音訊、顯示等）、輸出樣式的配置、輸出樣式的發射方式等。例如，當光/顯示樣式及/或輸出設備160在XR系統100的一或多個圖像感測器102的視角內時，XR系統100可以偵測來自計算設備150的光/顯示樣式。作為另一示例，當輸出設備160與XR系統100之間的距離使得XR系統100的音訊感測器104能夠偵測/辨識由輸出設備160發射的音訊樣式中的音訊時，XR系統100可以偵測來自計算設備150的音訊樣式。作為另一示例，當輸出設備160與XR系統100之間的距離使得XR系統100的通訊介面能夠偵測/辨識由輸出設備160發射的無線電樣式時，XR系統100可以偵測來自計算設備150的無線電樣式。
在一些情況下，計算設備150可以基於一或多個因素來使標識輸出206中的輸出樣式的類型不同，該一或多個因素諸如，例如，計算設備150的位置（例如，私人位置、公共位置、具有一定噪音位准的位置、具有一定光亮或黑暗位准的位置、具有一定數量或配置的視覺障礙物的位置等）、指示附近設備是否應該看到輸出設備160的偏好/設置、環境類型、計算設備150所在房間的大小及/或配置等。
例如，如果偏好設置指示輸出樣式可以被看不到輸出設備160的附近設備（例如，被不具有能看到輸出設備160的圖像感測器的附近設備）偵測到，則計算設備150可以廣播可以被附近設備偵測到的音訊樣式及/或光樣式，即使附近設備的圖像感測器看不到輸出設備160（例如，並且因此無法偵測呈現在輸出設備160上的顯示樣式）。如果偏好設置指示輸出樣式應該僅可被能看到輸出設備160的附近設備（例如，被具有能看到輸出設備160的（一或多個）圖像感測器的附近設備）偵測到，則當附近設備的圖像感測器能看到輸出設備160並且因此能看到呈現在輸出設備160上的顯示樣式時，計算設備150可以輸出可被附近設備偵測到的顯示樣式。
在一些示例中，輸出樣式可以包括序列，該序列可以向偵測輸出樣式的設備指示輸出樣式是標識輸出。例如，輸出樣式可以包括序列（諸如位序列），該序列將輸出樣式與其他類型的光、音訊、顯示及/或類似類型的樣式區分開來。
XR系統100可以使用一或多個圖像感測器102及/或音訊感測器104來偵測來自計算設備150的標識輸出206。例如，如果標識輸出206包括光/顯示樣式，則XR系統100可以使用一或多個圖像感測器102來偵測/捕捉光/顯示樣式。一或多個圖像感測器102可以捕捉標識輸出206的（一或多個）圖像，並且XR系統100可以使用該（一或多個）圖像來偵測標識輸出206（例如，經由深度神經網路、特徵匹配、光統計的摘要的互相關等）。如果標識輸出206包括音訊樣式，則XR系統100可以使用音訊感測器104來偵測/捕捉音訊樣式。音訊感測器104可以捕捉標識輸出206中的音訊資料，並且使用該音訊資料來偵測標識輸出206（例如，經由深度神經網路、音訊特徵匹配等）。
在一些示例中，當XR系統100在計算設備150的某個範圍內，及/或當XR系統100在相對於計算設備150的某個位置處時，XR系統100可以偵測到標識輸出206。能夠偵測標識輸出206的XR系統100的接近度及/或位置可以取決於如先前所解釋的一或多個因素，諸如輸出樣式的類型（例如，顯示、光、音訊等）、計算設備150及/或XR系統100的環境及/或位置、輸出樣式的配置（例如，顯示大小、顯示位置、音訊位准、光位准等）等。
一旦一或多個圖像感測器102及/或音訊感測器104已經偵測/捕捉到標識輸出206，XR系統100的定位引擎212就可以執行定位，以定位標識輸出206和計算設備150。在一些示例中，定位可以基於偵測到的標識輸出206和由XR系統100產生的追蹤資料214。在一些示例中，XR系統100的追蹤引擎210可以使用來自一或多個圖像感測器102、音訊感測器104及/或IMU 106的資料來執行追蹤，以決定XR系統100在環境中的地點及/或相對於計算設備150的地點，並且產生追蹤資料214。在一些示例中，XR系統100可以將追蹤資料214用於XR功能性，諸如，例如，定位、追蹤、映射、姿態估計等。
在一些情況下，追蹤資料214可以包括指示XR系統100在場景/環境中的地點及/或取向的資料、XR系統100的場景/環境的地圖（或地圖的一部分）。在一些情況下，追蹤資料214中的地圖可以映射3D環境，並且在3D環境內定位一或多個特徵/物件，諸如XR系統100及/或計算設備150的地點及/或取向。在一些示例中，XR系統100可以使用追蹤資料214來提供XR功能性及/或允許與場景/環境（及/或場景/環境中的物件）（諸如計算設備150）的基於XR的互動。例如，XR系統100可以使用追蹤資料214來允許XR系統100的使用者藉由XR系統100上的XR介面等，使用姿勢來與計算設備150互動及/或控制它。姿勢可以包括，例如且不限於，手勢、眼睛注視、指向計算設備150、觸摸計算設備150、將計算設備150定點在XR系統100的圖像感測器的視場（FOV）內及/或任何其他姿勢。
在一些情況下，定位引擎212可以使用追蹤資料214和來自圖像感測器102及/或音訊感測器104的感測器資料來定位計算設備150，並且將計算設備150與標識輸出206相關聯。定位引擎212可以產生定位標識輸出206的定位資料208，並且將標識輸出206與計算設備150相關聯。XR系統100上的XR應用202可以使用定位資料208來映射計算設備150。例如，XR應用202可以使用定位資料208來更新環境地圖220中的設備地圖222，以包括計算設備150和計算設備150在3D環境內的地點。環境地圖220可以映射XR系統100的3D環境，以標識特徵/物件和在3D環境內的對應地點。設備地圖222可以包括已經被定位和映射在環境地圖220內的計算設備（例如，計算設備150）的地圖。在一些示例中，設備地圖222可以標識經定位的設備及其在3D空間中的估計地點。
XR系統100可以使用環境地圖220和設備地圖222來使XR系統100的使用者能藉由（例如，經由XR應用202）呈現在XR系統100上的介面、藉由運動、藉由姿勢及/或藉由任何其他XR輸入/動作來與計算設備150互動及/或控制它。例如，XR系統100可以使用環境地圖220和設備地圖222，以允許XR系統100的使用者使用XR系統100來直觀地與計算設備150互動（例如，經由姿勢、運動、實體互動等）。為了說明，在非限制性示例中，如果使用者指向3D空間中的特定位置，則XR系統100可以使用環境地圖220和設備地圖222來決定計算設備150位於該特定位置處。基於計算設備150在環境地圖220中的映射環境和在設備地圖222中的映射位置，XR系統100可以將姿勢（例如，指向特定位置）與計算設備150相關聯，即使附近及/或3D環境中有其他計算設備。在一些示例中，XR系統100可以將使用者指向特定位置解讀為控制計算設備150或與之互動的請求。例如，XR系統100可以將使用者指向特定位置解讀為打開/關閉計算設備150的燈的請求。
在一些示例中，XR系統100偵測用於控制計算設備150的使用者輸入（例如，經由姿勢、呈現在XR系統100上的介面等），並且產生控制計算設備150的命令。XR系統100可以向計算設備150發送該命令，以觸發計算設備150處的操作/狀態。在一些示例中，XR系統100可以基於使用環境地圖220和設備地圖222決定的計算設備150的位置來決定控制設備的使用者輸入對應於計算設備150。例如，XR系統100可以藉由基於環境地圖220和設備地圖222決定計算設備150在特定位置處來決定使用者想要控制特定位置處的哪個設備。
在一些示例中，由XR系統100產生的用於控制計算設備150的命令可以包括用於調整計算設備150的一或多個操作及/或狀態的一或多個指令。例如，在一些情況下，XR應用202可以產生指示計算設備150執行以下操作的命令：關閉或打開、調整計算設備150的光位准、播放或停止聲音（例如，歌曲、警報、訊息、噪音）、改變一或多個元件的電源狀態、啟動或停止相機操作、產生輸出、給XR系統100提供來自計算設備150的資料饋送（例如，視訊、圖像、音訊）、啟動或停止計算設備150處的操作及/或停止或實現任何其他操作及/或狀態。計算設備150可以接收來自XR系統100的命令，並且執行該命令以實現與該命令相關聯的一或多個操作及/或狀態。
在一些情況下，XR系統100可以週期性地、依須求及/或在重新定位觸發時執行計算設備150的重新定位。在一些示例中，XR系統100可以動態地追蹤計算設備150的位置。例如，假使或如果計算設備150的位置在先前的定位之後已經改變，則XR系統100可以執行重新定位，以追蹤計算設備150的位置。在一些情況下，XR系統100可以週期性地及/或依須求執行映射程序。在一些示例中，當XR系統100相信它靠近先前映射的設備（例如，計算設備150）時，XR系統100可以觸發標識輸出，以檢查該設備是否仍在先前映射的位置。如果XR系統100決定該設備不位於預期的位置（例如，在先前映射的位置），則XR系統100可以一次或多次或者週期性地觸發標識輸出。當XR系統100基於標識輸出來尋找設備（例如，計算設備150）時，XR系統100可以更新該設備在設備地圖222中的位置。
在另一示例中，XR系統100的使用者可以執行指示期望與計算設備150互動的動作，諸如指向計算設備150、保持朝向計算設備150的眼睛注視、保持朝向計算設備150的頭部姿態、觸摸計算設備150等。在一些情況下，該動作可以標識、建議或暗示計算設備150的位置。如果計算設備150沒有被映射在此位置（或者計算設備150沒有被映射在此位置），則XR系統100可以觸發任何已知/映射的智慧設備（例如，設備地圖222中的所有設備）的標識輸出，直到偵測到匹配的標識輸出。然後，XR系統100可以使用偵測到的標識輸出來定位計算設備150，並且更新設備地圖222，以包括在計算設備150的所決定的位置處的計算設備150。
在一些情況下，計算設備150可以觸發由XR系統100執行的重新定位。在一些示例中，計算設備150可以偵測計算設備150的位置何時已經改變，並且觸發由XR系統100執行的重新定位。例如，計算設備150可以基於計算設備150的網路信號及/或計算設備150的網路信號的特性（例如，信號強度等）、感測器資料（例如，由計算設備150的圖像感測器捕捉的圖像資料、由計算設備150的慣性測量單元捕捉的慣性資料等）來偵測其位置已經改變。在一些情況下，當計算設備150偵測到其位置已經改變時，計算設備150可以通知XR系統100計算設備150的位置已經改變。例如，計算設備150可以向XR系統100發送無線信號（例如，藍芽通訊、WiFi通訊等）。無線信號可以包括計算設備150位置的改變的指示（例如，資料、樣式等）。在另一示例中，當計算設備150偵測到其位置已經改變時，計算設備150可以輸出標識輸出以供XR系統100偵測。標識輸出可以觸發由XR系統100執行的重新定位。
如先前所指出的，XR系統100可以使用由一或多個圖像感測器102捕捉的圖像/視訊資料及/或由音訊感測器104捕捉的音訊資料來偵測來自計算設備150的標識輸出206。在一些示例中，XR系統100可以使用深度神經網路來偵測標識輸出206。例如，為了偵測包括光、顯示、無線電及/或音訊樣式的標識輸出，XR系統100可以使用在包括相關標識輸出的示例的圖像及/或音訊資料的集合上預訓練的深度神經網路。在一些示例中，XR系統100可以經由超過預定閾值的音訊及/或光統計（例如，光位准/樣式的統計、音訊樣式/序列的統計等）的摘要的互相關來偵測標識輸出206。在一些情況下，XR系統100可以經由音訊或視覺特徵匹配來偵測標識輸出206。例如，XR系統100可以在圖像中標識捕捉標識輸出206中的視覺樣式（諸如顯示的代碼）的關鍵點，並且在圖像中提取與視覺樣式相對應的特徵。XR系統100可以為所提取的特徵產生特徵描述。XR系統100可以將關鍵點、特徵及/或特徵描述同與視覺樣式相關聯的關鍵點、特徵及/或特徵描述相匹配。XR系統100可以基於此特徵匹配來偵測視覺樣式。XR系統100可以用音訊資料執行類似特徵匹配，以偵測音訊輸出。
圖3是示出用於視覺特徵匹配以偵測來自計算設備150的標識輸出中的視覺樣式的示例程序300的圖。在該示例中，XR系統100的特徵提取引擎315可以處理與預定標識輸出相關聯的視覺物件306的圖像302，並且執行特徵提取320以從圖像302中提取特徵324。特徵324可以包括與視覺物件306的特徵相對應的特徵向量和特徵向量中的特徵的描述。
XR系統100可以捕捉來自計算設備150的標識輸出的圖像304。圖像304可以捕捉被包括在來自計算設備150的標識輸出中的視覺物件306。XR系統100可以將圖像304輸入到特徵提取引擎315中，以執行從圖像304中提取特徵326的特徵提取322。特徵326可以包括與視覺物件306的特徵相對應的特徵向量和特徵向量中的特徵的描述。
XR系統100可以使用來自特徵提取320的特徵324和來自特徵提取322的特徵326來執行特徵匹配330，以決定特徵324和特徵326是否匹配。特徵匹配330可以比較特徵324和特徵326，以決定它們兩者是否對應於同一視覺物件（例如，視覺物件306）。如果特徵匹配330決定特徵324和特徵326對應於同一視覺物件，則XR系統100可以決定視覺物件306對應於標識輸出。XR系統100可以基於標識輸出中的視覺物件306來偵測及/或標識來自計算設備150的標識輸出。
在一些情況下，如果圖像302和圖像304從不同的角度/視角捕捉視覺物件306，並且視覺物件306在視覺上是可從兩個角度/視角標識的，則XR系統100可以執行變換，諸如單應變換，以獲得圖像302與圖像304之間的匹配特徵向量。在一些示例中，XR系統100可以決定圖像302和圖像304中的特徵之間的對應關係以決定匹配。
在一些情況下，特徵324可以包括特徵324的3D位置，並且特徵326可以包括特徵326的3D位置。在一些情況下，XR系統100可以使用特徵的3D位置來決定特徵之間的對應關係（例如，以匹配特徵）。在一些情況下，XR系統100可以使用特徵的3D位置來協助定位與特徵326相關聯的標識輸出。
圖4是示出用於基於使用者姿勢來定位計算設備150的示例系統400的圖。在該示例中，使用者姿勢是手勢（例如，指著計算設備150或用手指觸摸計算設備150），並且定位使用了手部追蹤。然而，在其他示例中，使用者姿勢可以是來自使用者的任何其他類型的姿勢，並且定位可以使用對使用者的任何其他相關追蹤。例如，在一些情況下，姿勢可以是保持朝向計算設備的眼睛注視、將計算設備150定點在XR系統100的圖像感測器的視場內、保持某個頭部姿態等。在一些情況下，追蹤可以包括眼睛/注視追蹤、頭部姿態追蹤及/或其他姿勢追蹤。
XR系統100的追蹤引擎410可以使用來自圖像感測器102和IMU 106的資料來追蹤XR系統100的位置和姿態，如先前關於圖2中示出的追蹤引擎210所描述的。追蹤引擎410可以產生追蹤資料412，該追蹤資料412可以包括XR系統100的位置和姿態以及3D環境的地圖，如先前關於圖2中示出的追蹤資料214所描述的。
XR系統100的使用者可以使用手部402指向計算設備150（及/或用手部402的手指觸摸計算設備150），以用於計算設備150的定位。在一些示例中，使用者可以藉由圖4中示出的手勢來觸發計算設備150的定位和映射（例如，藉由指向計算設備150及/或觸摸計算設備150），而不是XR系統100發送標識觸發來觸發計算設備150產生用於定位計算設備150的標識輸出。在一些情況下，XR系統100可以動態地偵測手勢並觸發定位。在其他情況下，XR系統100的使用者可以藉由與由XR應用202呈現的介面互動（諸如在由XR應用202呈現的介面中選擇控制或設置）來觸發對手勢的偵測（以及定位）。
為了定位計算設備150，XR系統100的一或多個圖像感測器102可以捕捉執行姿勢（諸如指向計算設備150、觸摸計算設備150等）的手部402的圖像。在其他示例中，為了定位計算設備150，一或多個圖像感測器102可以捕捉計算設備150及/或使用者的任何其他部分的圖像。例如，一或多個圖像感測器102可以在被使用者定點在一或多個圖像感測器102的視場內之後捕捉計算設備150的圖像。作為另一示例，一或多個圖像感測器102可以捕捉使用者眼睛或頭部的一或多個圖像，以追蹤使用者的眼睛注視及/或頭部姿態。
XR系統100可以使用動作追蹤引擎414用於動作追蹤（例如，追蹤動作、活動或事件）。例如，動作追蹤引擎414可以使用手部402的圖像（及/或如先前提到的任何其他圖像）來執行手部追蹤，以估計手402在3D空間中的姿態。在一些示例中，XR系統100還可以使用來自追蹤引擎410的追蹤資料412用於動作追蹤（例如，手部追蹤、頭部姿態追蹤、眼睛注視追蹤、姿勢追蹤、計算設備追蹤、追蹤使用者的其他動作等）。例如，XR系統100的動作追蹤引擎414可以使用來自一或多個圖像感測器102的手部402的圖像、來自追蹤資料412的環境的3D地圖以及在追蹤資料412中標識的XR系統100的位置和姿態來執行手部追蹤。
XR系統100的定位引擎416可以使用來自動作追蹤引擎414的動作追蹤結果（例如，手部追蹤、物件追蹤、使用者動作追蹤、姿勢追蹤等）和來自追蹤引擎410的追蹤資料412來執行計算設備150的定位。定位可以標識計算設備150在3D環境/空間中的位置。基於定位，XR系統100可以產生標識計算設備150的位置的定位資料418。XR應用202可以使用定位資料418來更新設備地圖222，以包括計算設備150的位置。在一些示例中，XR應用202可以在設備地圖222中標記與由XR系統100用計算設備150標識的計算設備150的所決定的位置相對應的位置。XR系統100可以使用更新後的設備地圖來使能控制計算設備150並與之互動，如先前所描述的。
在一些情況下，定位引擎416可以使用三角測量或任何定位演算法來定位計算設備150。在一些示例中，為了定位計算設備150，定位引擎416可以將由追蹤引擎414追蹤的感興趣區域（ROI）與環境圖220相關連，以便將在ROI中捕捉的動作（例如，姿勢等）與3D環境/空間相關連。例如，定位引擎416可以使用來自動作追蹤引擎414的追蹤結果（例如，所決定的姿態資訊、運動資訊等）和來自追蹤引擎410的追蹤資料412來決定在ROI中捕捉的動作（例如，姿勢等）以及在一些情況下的對應的運動及/或地點資訊。在一些示例中，動作可以指示計算設備150的位置。定位引擎416可以使用對應的運動及/或地點資訊來決定動作及/或與動作相關聯的物件（例如，手部、手指、頭部、眼睛、另一使用者身體部分、計算設備150及/或任何其他物件）在3D環境/空間內的地點。示例中，定位引擎416可以使用動作及/或關聯物件的地點來決定計算設備150在XR系統100的座標系中的位置。在一些態樣中，定位引擎416可以使用計算設備150在XR系統100的座標系內的位置來將計算設備150與環境地圖220及/或設備地圖222中的位置相關連。
在一些情況下，XR系統100可以使用一或多個計算設備來相對於彼此定位一或多個計算設備及/或XR系統100，並且映射一或多個計算設備。例如，XR系統100可以使用一或多個計算設備來定位XR系統100並相對於XR系統100定位一或多個計算設備，並且基於定位資訊來映射一或多個計算設備。在一些示例中，XR系統100可以遠端地觸發（一或多個）計算設備進入映射模式。基於該觸發，（一或多個）計算設備可以開始尋找來自XR系統100的標識輸出。在偵測到來自XR系統100的標識輸出時，（一或多個）計算設備可以相對於XR系統100定位其自身，並且將定位資訊中繼到XR系統100。XR系統100可以將定位資訊轉換為其設備地圖（例如，設備地圖222），並且將（一或多個）計算設備與所決定的（一或多個）位置標識/關聯起來。
圖5是示出由XR系統100使用計算設備530、532和534執行的示例定位500的圖。計算設備530、532和534可以包括智慧設備（例如，IoT/連通設備等），諸如計算設備150。此外，計算設備530、532和534中的每一個可以包括一或多個感測器，諸如，例如且不限於，（一或多個）圖像感測器、（一或多個）音訊感測器、IMU、雷達、壓力感測器等。在該說明性示例中，計算設備530和534被示出為具有擷取圖像/視訊資料的圖像感測器的相機設備，並且計算設備532被示出為具有至少一個音訊感測器的智慧電視。然而，在其他示例中，計算設備530、532和534可以包括具有其他類型的感測器的其他類型的設備（代替或除上述感測器以外）。
計算設備530、532和534可以使用它們的感測器來偵測來自XR系統100的標識輸出，並且相對於XR系統100來定位它們自身，如本文進一步解釋的。例如，當穿戴XR系統100的使用者502在計算設備530、532和534之每一者計算設備的FOV內移動時，計算設備可以偵測到來自XR系統100的標識輸出，並且相對於XR系統100來定位其自身。計算設備可以向XR系統100發送定位資訊，XR系統100可以將定位資訊轉換為XR系統100處的設備地圖（例如，設備地圖222），以獲得每個計算設備的映射。
如圖5所示，XR系統100可以向計算設備530發送標識觸發504，以遠端地觸發計算設備530進入映射模式。在其他示例中，計算設備530可以週期性地或基於另一事件/觸發來進入映射模式。例如，在一些情況下，計算設備530可以在以下情況下進入映射模式：在偵測到XR系統100在計算設備530的FOV內時、在偵測到XR系統100在計算設備530的閾值範圍內時、在偵測到來自使用者502的請求計算設備530進入映射模式的口頭命令時、在偵測到來自使用者502的指示使用者502可能正在使用計算設備530並且可能在到計算設備530的接近距離內的語音時、在接收到來自另一計算設備（例如，計算設備532、計算設備534）的標識XR系統100的偵測位置的通訊時，該偵測位置指示XR系統100可能正在朝向計算設備530的位置移動（及/或可能在未來時間及/或未來時間視窗內在計算設備530的FOV及/或範圍內）及/或在任何其他事件/觸發時。
在發送標識觸發504之後，XR系統100可以產生標識輸出510以供計算設備530偵測。在該示例中，標識輸出510表示或包括由XR系統100顯示（例如，由XR系統100上的顯示器顯示，並且對計算設備530可見）或在XR系統100上顯示的樣式（例如，XR系統100自身上的樣式）。然而，在其他示例中，標識輸出510可以包括任何其他樣式（例如，光樣式、音訊樣式、樣式的組合等），如先前關於圖2中示出的標識輸出206所描述的。
在一些示例中，XR系統100可以在發送標識觸發504之後輸出一次標識輸出510。例如，XR系統100可以輸出標識輸出510，並且可以不輸出附加標識輸出，直到已經過去了一定時間量，或者直到XR系統100移動到不同的位置/地點（及/或閾值距離及/或地點改變）。在一些情況下，XR系統100可以輸出標識輸出510，並且在一定時間段內保持標識輸出510（例如，持續發射標識輸出510，持續顯示標識輸出510等）。在其他示例中，XR系統100可以多次（例如，週期性地）輸出標識輸出510。
在接收到標識觸發504時（或在偵測到被配置為觸發如先前所描述的映射模式的任何其他事件/觸發時），計算設備530可以進入映射模式。一旦計算設備530進入映射模式，計算設備530就可以開始搜尋來自XR系統100的標識輸出510。如所示出的，在時間t1，XR系統100在計算設備530的FOV內。由於該示例中的標識輸出510是顯示樣式，當XR系統100在時間t1在計算設備530的FOV內時，計算設備530可以偵測到標識輸出510。然而，在其他示例中，標識輸出510可以包括在XR系統100不在計算設備530的FOV內時可以偵測到的另一種類型的樣式，諸如音訊樣式、輸出光位准的樣式等。在此示例中，當XR系統100在計算設備530的一定範圍內（該範圍可以基於如先前所解釋的一或多個因素而變化）時，即使XR系統100不在計算設備530的FOV內，計算設備530也可以偵測到標識輸出510。
計算設備530可以偵測來自XR系統100的標識輸出510，並且使用標識輸出510在3D空間中相對於XR系統100來定位其自身。例如，計算設備530可以定位其在計算設備530的內部座標系內與XR系統100的相對位置。在一些示例中，計算設備530可以基於標識輸出510和來自計算設備530的一或多個感測器的感測器資料來標識及/或定位XR系統100。在一些情況下，計算設備530可以使用計算設備530的一或多個感測器來追蹤/映射其在3D空間中的位置，並且決定其在計算設備530的內部座標系中相對於XR系統100的位置。在其他情況下，計算設備530可以被預先配置有標識其在3D空間中的位置的位置資訊。在此示例中，計算設備530可以使用預先配置的位置資訊來決定其相對於XR系統100的位置。
在計算設備530相對於XR系統100定位其自身之後，計算設備530可以向XR系統100發送定位資料520。定位資料520可以指示計算設備530相對於XR系統100的位置。例如，定位資料520可以指示的是，在計算設備530的座標系內，計算設備530在XR系統100上方/下方的一定距離處及/或距離XR系統100一定距離（例如，在一定範圍/接近距離）。在一些情況下，當指示遠離XR系統100一距離時，定位資料520還可以指示遠離距離的方向，諸如後、前、左或右；北、南、東或西；或任何其他方向指示。在一些示例中，定位資料520可以指示計算設備150在3D空間中的一或多個位置座標。
XR系統100可以接收定位資料520，並且使用定位資料520來定位和映射計算設備530。在一些示例中，XR系統100也可以使用定位資料520來相對於計算設備530定位其自身。基於計算設備530相對於XR系統100的位置，XR系統100可以更新XR系統100的設備地圖（例如，設備地圖222）以包括計算設備530的位置的指示。在一些示例中，XR系統100可以將定位資料520中的位置資訊轉換為它自己的座標系和地圖。例如，如果定位資料520指示計算設備530在XR系統100的上方/下方一定距離處，並且距離XR系統100一定距離，則XR系統100可以使用此資訊來決定計算設備530位於XR系統100的當前位置上方/下方一定距離處並且距離XR系統100的當前位置一定距離。XR系統100可以決定計算設備530在XR系統100的內部座標系中的位置，並且更新XR系統100的設備地圖以將該位置與計算設備530相關聯。
在時間t2，XR系統100可以向計算設備532發送標識觸發506，以遠端地觸發計算設備532進入映射模式。在其他示例中，如先前所指出的，計算設備532可以週期性地或基於另一事件/觸發來進入映射模式。在發送標識觸發506之後，XR系統100可以產生標識輸出512以供計算設備532偵測。在該示例中，標識輸出512表示或包括由XR系統100（例如，由XR系統100上的揚聲器）發射的音訊樣式。然而，在其他示例中，標識輸出512可以包括如先前所描述的任何其他樣式（例如，光樣式、顯示樣式、樣式的組合等）。
在接收到標識觸發506時（或在偵測到被配置為觸發如先前所描述的映射模式的任何其他事件/觸發時），計算設備532可以進入映射模式。一旦計算設備532進入映射模式，計算設備532就可以開始搜尋來自XR系統100的標識輸出512。在該示例中，計算設備532可以使用音訊感測器來捕捉/偵測標識輸出512中的音訊樣式。計算設備532可以偵測來自XR系統100的標識輸出512，並且使用標識輸出512在3D空間中相對於XR系統100來定位其自身，如先前所描述的。
在計算設備532相對於XR系統100定位其自身之後，計算設備532可以向XR系統100發送定位資料522。定位資料522可以指示計算設備532相對於XR系統100的位置。XR系統100可以接收定位資料522，並且使用定位資料522來定位和映射計算設備532。在一些示例中，XR系統100也可以使用定位資料522來相對於計算設備532定位其自身。
基於計算設備532相對於XR系統100的位置，XR系統100然後可以更新XR系統100的設備地圖（例如，設備地圖222）以包括計算設備532的位置的指示。在一些示例中，XR系統100可以將定位資料522中的位置資訊轉換為它自己的座標系和地圖。例如，如果定位資料522指示計算設備532在XR系統100的上方/下方一定距離處，並且距離XR系統100一定距離，則XR系統100可以使用此資訊來決定計算設備532位於XR系統100的當前位置上方/下方一定距離處並且距離XR系統100的當前位置一定距離。XR系統100可以決定計算設備532在XR系統100的內部座標系中的位置，並且更新XR系統100的設備地圖以將該位置與計算設備532相關聯。
為了發起嘗試定位計算設備534，XR系統100可以向計算設備534發送標識觸發508，以遠端地觸發計算設備534進入映射模式。在其他示例中，計算設備534可以週期性地或基於另一事件/觸發來進入映射模式。
在發送標識觸發508之後，XR系統100可以產生標識輸出514以供計算設備534偵測。在該示例中，標識輸出514表示或包括由XR系統100（例如，由XR系統100上的發光設備）發射的光樣式。然而，在其他示例中，標識輸出514可以包括如先前所描述的任何其他樣式（例如，顯示樣式、音訊樣式、樣式的組合等）。
在接收到標識觸發508時（或在偵測到被配置為觸發如先前所描述的映射模式的任何其他事件/觸發時），計算設備534可以進入映射模式。一旦計算設備534進入映射模式，計算設備534就可以開始搜尋來自XR系統100的標識輸出514。如所示出的，在時間t3，計算設備534可以偵測來自XR系統100的標識輸出514。計算設備534可以偵測來自XR系統100的標識輸出514，並且使用標識輸出514在3D空間中相對於XR系統100來定位其自身。例如，計算設備534可以將其與XR系統100的相對位置定位在計算設備534的內部座標系內。
在計算設備534相對於XR系統100定位其自身之後，計算設備534可以向XR系統100發送定位資料524。定位資料524可以指示計算設備534相對於XR系統100的位置。XR系統100可以接收定位資料524，並且使用定位資料524來定位和映射計算設備534。在一些示例中，XR系統100也可以使用定位資料524來定位其自身。基於計算設備534相對於XR系統100的位置，XR系統100可以更新XR系統100的設備地圖（例如，設備地圖222）以包括計算設備534的位置的指示。在一些示例中，XR系統100可以將定位資料524中的位置資訊轉換為它自己的座標系和地圖。XR系統100可以決定計算設備534在XR系統100的內部座標系中的位置，並且更新XR系統100的設備地圖以將該位置與計算設備534相關聯。
在一些示例中，XR系統100可以實現定位500以有效地定位和映射若干設備。例如，如果使用者想要定位特定位置中的所有智慧設備，諸如使用者的家，則使用者可以在穿戴XR系統100的同時在該位置四處移動。XR系統100可以在使用者移動到該位置的不同區域時執行定位500來定位智慧設備。XR系統100可以使用定位資訊來映射特定位置之每一者智慧設備。基於智慧設備的映射來已知每個智慧設備的位置，XR系統100可以允許使用者使用XR系統100來與任何智慧設備互動並控制它。在一些示例中，穿戴XR系統100的使用者可以使用姿勢及/或輸入裝置，以使用XR系統100來與任何智慧設備互動或控制它。在一些示例中，穿戴XR系統100的使用者可以與XR系統100上的介面互動，以控制任何智慧設備或以其他方式與任何智慧設備互動。
雖然圖5所示的示例定位500使用了多個計算設備（例如，計算設備530、532和534），但定位500的其他示例可以使用XR系統100和單個其他計算設備（例如，計算設備530、計算設備532或計算設備534）來執行。在其他示例中，圖5所示的定位500可以使用相比於圖5所示的計算設備更多或更少的計算設備來實現。
圖6是示出由設備基於共同地標執行的示例聯合定位600的圖。XR系統100可以向計算設備610發送標識觸發602，以觸發計算設備610進入映射模式。在該示例中，計算設備610表示相機設備。然而，計算設備610可以包括任何智慧設備（例如，IoT/連通設備等），諸如計算設備150。
計算設備610可以接收來自XR系統100的標識觸發602並進入映射模式。在映射模式中，計算設備610可以相對於其自己的座標系來定位地標620。例如，計算設備610可以獲得捕捉到地標620的圖像資料，並且使用一或多個定位演算法來處理圖像資料，以決定地標620相對於計算設備610的位置。然後，計算設備610可以向XR系統100發送位置資訊604。在一些情況下，位置資訊604可以包括如先前所描述的定位資料。在一些示例中，位置資訊604可以描述及/或標識地標620相對於計算設備610的位置。XR系統100可以使用位置資訊604中描述及/或標識的地標620的位置來定位計算設備610，如本文進一步描述的。在一些情況下，位置資訊604可以描述及/或標識地標620在計算設備610或XR系統100的座標系內或相對於該座標系的位置。例如，位置資訊604可以描述及/或標識地標620在計算設備610的座標系中的位置。XR系統100可以將地標620的位置從計算設備610的座標系轉換為XR系統100的座標系，如下文進一步解釋的。
XR系統100還可以定位地標620以決定地標620相對於XR系統100及/或XR系統100的座標系的位置。XR系統100可以使用來自計算設備610的位置資訊604以及地標620相對於XR系統100及/或XR系統100的座標系的位置來定位計算設備610。在一些示例中，XR系統100可以使用地標620相對於XR系統100（及/或XR系統100的座標系）的位置來將地標620相對於計算設備610（及/或計算設備610的座標系）的位置轉換為計算設備在XR系統100的座標系內的位置。例如，XR系統100可以基於地標620相對於XR系統100的座標系的位置以及地標620相對於計算設備610的座標系的位置來決定計算設備610相對於XR系統100的座標系的位置。在該示例中，XR系統100可以將計算設備610相對於計算設備610的座標系的位置轉換為計算設備610相對於XR系統100的座標系的位置。
基於計算設備610相對於XR系統100的位置，XR系統100可以映射計算設備610。例如，XR系統100可以更新XR系統100處的設備地圖（例如，設備地圖222），以將計算設備610的位置與計算設備610相關聯。
在一些情況下，來自計算設備610的位置資訊604可以包括描述地標620的特徵的特徵向量。例如，計算設備610可以從捕捉到地標620的圖像資料中提取與地標620相對應的特徵。然後，計算設備610可以向XR系統100提供所提取的特徵。XR系統100可以使用來自計算設備610的特徵來驗證來自計算設備610的位置資訊604對應於地標620，並且確保由XR系統100為地標（例如，地標620）決定的定位資訊以及來自計算設備610的位置資訊604對應於同一地標。例如，XR系統100可以決定與地標620相關聯的特徵向量。XR系統100可以將其估計的特徵向量與來自計算設備610的特徵向量進行比較。XR系統100可以驗證來自計算設備610的特徵向量對應於與由XR系統100估計的特徵向量相同的地標。例如，XR系統100可以決定特徵向量是否匹配及/或具有對應關係。
XR系統100可以驗證特徵向量對應於同一地標，以確保XR系統100不依賴錯誤的定位資訊來定位計算設備610。例如，XR系統100可以確保其基於XR系統100和計算設備610相對於同一地標的位置來定位計算設備610。
如先前所解釋的，XR系統100可以映射可控設備，以允許使用者經由XR系統100，使用某些類型的使用者輸入（諸如姿勢和XR輸入）來控制可控設備及/或與之互動。圖7是示出用於使用XR系統100來控制計算設備150的示例用例700的圖。在該示例中，計算設備150表示智慧燈泡。XR系統100可以偵測來自XR系統100的使用者的請求將計算設備150的狀態從第一狀態710改變為第二狀態720的輸入。
例如，XR系統100可以偵測使用者的姿勢，諸如（例如，經由手指、控制器、手部、頭部、輸入裝置等）指向計算設備150、以某種方式及/或在某個位置（例如，靠近計算設備150）揮手、保持朝向計算設備150的眼睛注視及/或任何其他姿勢。XR系統100可以將該姿勢解讀為將計算設備150的狀態從第一狀態710調整到第二狀態720的輸入。在另一示例中，XR系統100可以經由由XR系統100呈現的介面來接收來自使用者的輸入。來自使用者的輸入可以包括將計算設備150的狀態從第一狀態710調整到第二狀態720的請求。
基於來自使用者的輸入，XR系統100可以產生觸發計算設備150將計算設備150的狀態從第一狀態710調整到第二狀態720的命令702。XR系統100可以向計算設備150發送命令702。計算設備150可以接收命令702並執行命令702以將計算設備150的狀態改變為第二狀態720。
如先前所指出的，命令702包括將計算設備150的狀態從第一狀態710改變為第二狀態720的命令。在該示例中說明的第一狀態710是關閉狀態，並且在該示例中說明的第二狀態720是開啟狀態。因此，如圖7所示，XR系統100可以使用702命令來打開由計算設備150表示的智慧燈泡。在其他示例中，命令702可以包括將由計算設備150表示的智慧燈泡的操作/狀態改變為任何其他狀態的命令。例如，命令702可以包括（從開啟狀態）關閉智慧燈泡的命令、改變智慧燈泡的光位准、改變智慧燈泡的色溫、如果智慧燈泡具有音訊能力則開始/停止音訊重播（例如，聲音、音樂等）、觸發智慧燈泡與另一（些）設備的通訊及/或連接、產生（一或多個）特定光樣式或實現任何其他狀態/操作或狀態/操作的組合。
XR系統100同樣可以使用命令來控制任何其他類型的計算設備150的狀態/操作，諸如，例如，智慧揚聲器、智慧電視、智慧鎖、智慧冰箱、智慧相機、智慧可穿戴設備、智慧安全系統、智慧恒溫器、智慧感測器、智慧健身/健康追蹤器、智慧樞紐、智慧開關（例如，智慧燈開關等）、智慧家電、智慧插頭、電視等。
圖8是示出用於定位和映射連通或聯網設備（例如，智慧設備，諸如計算設備150）的示例程序800的流程圖。在方塊802，程序800可以包括由電子設備（例如，XR系統100）接收來自直接地或間接地耦合到電子設備的連通設備（例如，計算設備150）的標識輸出。在一些情況下，標識輸出可以被反映或編碼在來自連通設備的無線電信號中。在一些示例中，標識輸出可以包括音訊樣式、顯示樣式、光樣式、無線電樣式及/或它們的組合。例如，標識輸出可以包括光位准的樣式（例如，變暗和變亮光位准的樣式）、色溫改變的樣式、聲音的樣式（例如，噪音、音樂、摩斯碼、音調序列等）、編碼在無線信號（例如，藍芽信號、WiFi信號等）中的樣式或代碼、顯示樣式（例如，圖像、快速回應（QR）碼、條碼、一或多個顯示的字符/符號、數位內容項、數位物件、視訊、虛擬內容、數位呈現、圖形、通訊代碼等）及其組合等。
在一些情況下，光樣式可以包括由電子設備發射的光變暗和變亮位准的樣式、由電子設備發射的光的色溫改變的樣式及/或由電子設備發射的閃爍光序列。在一些情況下，光樣式可以包括人眼可見或不可見的光。例如，光樣式可以包括IR光或IR光的樣式。在一些情況下，顯示樣式可以包括在電子設備的顯示裝置上顯示的代碼（例如，QR碼、條碼、金鑰等）、在電子設備的顯示裝置上顯示的圖像、在電子設備的顯示裝置上顯示的視覺樣式以及在電子設備的顯示裝置上顯示的數位物件。在一些情況下，音訊樣式可以包括由電子設備輸出的音訊代碼及/或由電子設備輸出的聲音序列。在一些情況下，通訊代碼可以從電子設備的通訊介面產生。
在一些示例中，電子設備可以觸發來自連通設備的標識輸出。在一些情況下，電子設備可以基於發送到連通設備的標識觸發（例如，標識觸發204）來觸發標識輸出。例如，電子設備可以向連通設備發送標識觸發以觸發來自連通設備的標識輸出。為了說明，電子設備可以向連通設備發送被配置為觸發來自連通設備的標識輸出的信號；及接收來自連通設備的標識輸出。在一些情況下，電子設備可以從由連通設備廣播的複數個標識輸出中接收一或多個標識輸出。一或多個標識輸出可以包括該標識輸出。
在一些態樣中，接收該標識輸出可以包括偵測來自連通設備的標識輸出。在一些示例中，電子設備可以使用電子設備上的一或多個感測器（諸如（一或多個）圖像感測器、光感測器及/或（一或多個）音訊感測器）來偵測標識輸出。例如，電子設備可以基於由電子設備處的音訊感測器捕捉的標識輸出的音訊資料來偵測標識輸出。作為另一示例，電子設備可以基於由電子設備處的圖像感測器捕捉的標識輸出的圖像資料來偵測標識輸出。
在方塊804，程序800可以包括基於來自連通設備的標識輸出來將連通設備映射到電子設備的座標系中。在一些示例中，電子設備可以更新設備地圖（例如，設備地圖222）以標識連通設備的位置。
在一些示例中，程序800可以包括基於標識輸出來決定連通設備相對於電子設備的位置；及基於連通設備的位置來將連通設備映射到電子設備的座標系中。
在一些示例中，程序800可以包括：由電子設備向連通設備發送被配置為觸發來自連通設備的附加標識輸出的信號（例如，訊息、封包、命令、輸出等）；基於未能接收附加標識輸出，由電子設備在一或多個不同的時間向連通設備發送一或多個附加信號，該一或多個附加信號被配置為觸發來自連通設備的附加標識輸出；接收來自連通設備的附加標識輸出；基於附加標識輸出來決定連通設備的位置；及更新設備地圖（例如，設備地圖222）以將連通設備與連通設備的位置相關聯。在一些示例中，將連通設備映射到電子設備的座標系中可以包括更新設備地圖以將連通設備與連通設備的位置相關聯。
在一些情況下，在一或多個不同的時間發送一或多個附加信號可以包括在以下情況時決定未能接收附加標識輸出：電子設備在到連通設備的先前所決定的位置（例如，映射位置）的閾值接近距離內及/或連通設備的先前所決定的位置（例如，映射位置）在電子設備的圖像感測器的視場內；及基於未能接收附加標識輸出來向連通設備發送一或多個附加信號。
在一些示例中，在一或多個不同的時間發送一或多個附加信號可以包括週期性地發送一或多個附加信號，直到在沒有接收來自連通設備的附加標識輸出的情況下過去了預定時間量及/或在沒有接收來自連通設備的附加標識輸出的情況下發送了若干附加信號。
在一些示例中，接收來自連通設備的標識輸出可以包括偵測標識輸出中的一或多個樣式（例如，音訊樣式、顯示樣式、無線電信號中的樣式及/或光樣式），並且將一或多個樣式辨識為來自連通設備的標識輸出。在一些情況下，電子設備可以基於來自電子設備的一或多個感測器的資料來偵測一或多個樣式；及將一或多個樣式（例如，音訊樣式、顯示樣式、無線電信號中的樣式及/或光樣式）辨識為標識輸出。在一些示例中，一或多個感測器可以包括（一或多個）圖像感測器、（一或多個）音訊感測器及/或（一或多個）光感測器。在一些情況下，電子設備可以使用神經網路、視覺特徵匹配及/或音訊特徵匹配來辨識一或多個樣式（例如，音訊樣式、顯示樣式、無線電信號中的樣式及/或光樣式）。
在一些示例中，程序800可以包括：接收觸發連通設備的動作（例如，調整狀態、執行操作、實現設置等）的請求；基於連通設備的映射來標識連通設備的位置；及由電子設備向連通設備發送被配置為觸發連通設備的動作的命令。在一些示例中，觸發連通設備的動作的請求可以包括向電子設備發送由連通設備捕捉的視訊饋送的請求，並且程序800可以包括：向連通設備發送該命令；接收來自連通設備的視訊饋送；及在電子設備處顯示視訊饋送。該命令可以被配置為觸發連通設備向電子設備發送視訊饋送。
在一些示例中，觸發連通設備的動作的請求可以包括觸發連通設備顯示來自電子設備的內容（例如，虛擬內容或由電子設備呈現及/或由電子設備產生的任何其他內容）的請求，並且程序800可以包括：向連通設備發送包括該命令和來自電子設備的內容的資料。在一些情況下，該命令被配置為觸發連通設備顯示來自電子設備的內容。
在一些情況下，觸發連通設備的動作的請求可以包括調整連通設備的電源模式的請求（例如，打開連通設備、關閉連通設備、將連通設備設置為睡眠狀態、減少或增加連通設備的電源或操作模式等），並且該命令可以被配置為調整連通設備的電源模式。
在一些示例中，連通設備可以包括燈泡，並且觸發連通設備的動作的請求可以包括調整由燈泡發射的光的亮度及/或顏色的請求。在一些情況下，該命令被配置為觸發燈泡調整由燈泡發射的光的亮度及/或顏色。
在一些示例中，程序800可以包括：偵測與電子設備相關聯的使用者的姿勢；基於該姿勢，觸發來自實體環境中的一或多個連通設備的一或多個標識輸出；從一或多個標識輸出中接收特定標識輸出；及基於該特定標識輸出來決定連通設備位於該位置處。在一些示例中，姿勢可以指示連通設備的位置。在一些示例中，特定標識輸出源自該位置。在一些示例中，程序800可以包括更新設備地圖以將連通設備與連通設備的位置相關聯。在一些示例中，姿勢可以包括手勢、眼睛注視、頭部姿態、手指指向、將連通設備定點在電子設備的FOV內、觸摸連通設備及/或任何其他姿勢。
在一些示例中，程序800可以包括：觸發一或多個連通設備進入映射模式；向一或多個連通設備發送設備標識輸出；接收來自一或多個連通設備的定位資訊；及基於來自一或多個連通設備的定位資訊，將一或多個連通設備映射到電子設備的座標系中。在一些情況下，定位資訊可以指示一或多個連通設備相對於電子設備的位置。
在一些示例中，程序800可以包括：觸發一或多個連通設備進入映射模式；接收來自一或多個連通設備的定位資訊；基於定位資訊和地標相對於電子設備的第三位置來決定一或多個連通設備的第二位置；及基於一或多個連通設備的第二位置來將一或多個連通設備映射到電子設備的座標系中。在一些情況下，定位資訊可以指示地標相對於連通設備的第一位置。
在一些示例中，程序800可以由一或多個計算設備或裝置來執行。在一個說明性示例中，程序800可以由圖1所示的XR系統100來執行。在一些示例中，程序800可以由具有圖9所示的計算設備架構900的一或多個計算設備來執行。在一些情況下，此計算設備或裝置可以包括處理器、微處理器、微型電腦或被配置為執行程序800的步驟的設備的其他元件。在一些示例中，此計算設備或裝置可以包括被配置為捕捉圖像資料及/或其他感測器測量的一或多個感測器。例如，計算設備可以包括智慧手機、頭戴式顯示器、行動設備或其他合適的設備。在一些示例中，此計算設備或裝置可以包括被配置為捕捉一或多個圖像或視訊的相機。在一些情況下，此計算設備可以包括用於顯示圖像的顯示器。在一些示例中，一或多個感測器及/或相機與計算設備分離，在這種情況下，計算設備接收感測到的資料。此計算設備還可以包括被配置為通訊資料的網路介面。
計算設備的元件可以以電路實現。例如，元件可以包括電子電路或其他電子硬體及/或可以使用它們來實現，這些電子電路或其他電子硬體可以包括一或多個可程式設計電子電路（例如，微處理器、圖形處理單元（GPU）、數位訊號處理器（DSP）、中央處理單元（CPU）及/或其他合適的電子電路），及/或可以包括電腦軟體、韌體或它們的任何組合及/或使用它們來實現，以執行本文描述的各種操作。計算設備還可以包括顯示器（作為輸出設備的示例或補充輸出設備）、被配置為通訊及/或接收資料的網路介面、它們的任何組合及/或其他元件。網路介面可以被配置為通訊及/或接收基於網際網路協定（IP）的資料或其他類型的資料。
程序800被示出為邏輯流程圖，其操作表示可以以硬體、電腦指令或它們的組合實現的操作序列。在電腦指令的上下文中，這些動作表示儲存在一或多個電腦可讀取儲存媒體上的電腦可執行指令，這些電腦可執行指令在由一或多個處理器執行時執行所敘述的操作。大體上，電腦可執行指令包括執行特定功能或者實現特定資料類型的常式、程式、物件、元件、資料結構等。操作被描述的次序並不意圖被解釋為限制，並且任何數量的所描述的操作可以以任何次序及/或並行組合來實現這些程序。
此外，程序800可以在被配置有可執行指令的一或多個電腦系統的控制下執行，並且可以被實現為統一在一或多個處理器上執行、由硬體或它們的組合執行的代碼（例如，可執行指令、一或多個電腦程式、或一或多個應用）。如上文所指出的，代碼可以被儲存在電腦可讀或機器可讀儲存媒體上，例如，以包括可由一或多個處理器執行的多個指令的電腦程式的形式。電腦可讀或機器可讀儲存媒體可以是非暫時性的。
圖9圖示可以實現本文描述的各種技術的示例計算設備的示例計算設備架構900。例如，計算設備架構900可以實現圖1所示的XR系統100或圖1所示的計算設備150的至少一些部分。計算設備架構900的元件被示出為使用連接905（諸如匯流排）彼此電通訊。示例計算設備架構900包括處理單元（CPU或處理器）910和計算設備連接905，該計算設備連接905將包括計算設備記憶體915（諸如唯讀記憶體（ROM）920和隨機存取記憶體（RAM）925）的各種計算設備元件耦合到處理器910。
計算設備架構900可以包括與處理器910直接連接、與其極為接近或整合為其一部分的高速記憶體的快取記憶體。計算設備架構900可以將資料從記憶體915及/或儲存裝置930複製到快取記憶體912以供處理器910快速存取。以這種方式，快取記憶體可以提供避免處理器910在等待資料時的延遲的效能提升。這些和其他模組可以控制或被配置為控制處理器910以執行各種動作。其他計算設備記憶體915也可以是可供使用的。記憶體915可以包括具有不同效能特性的多個不同類型的記憶體。處理器910可以包括任何通用處理器和被儲存在儲存裝置930中並被配置為控制處理器910的硬體或軟體服務，以及專用處理器，在該專用處理器中，軟體指令被納入處理器設計中。處理器910可以是自含式系統，包含多個核或處理器、匯流排、記憶體控制器、快取記憶體等。多核處理器可以是對稱的或不對稱的。
為了使使用者能與計算設備架構900互動，輸入裝置945可以表示任何數量的輸入機構，諸如用於語音的麥克風、用於姿勢或圖形輸入的觸敏螢幕、鍵盤、滑鼠、運動輸入、語音等等。輸出設備935也可以是熟習此項技術者已知的若干輸出機構中的一或多個，諸如顯示器、投影儀、電視、揚聲器設備。在一些情況中，多模態計算設備可以使使用者能提供多個類型的輸入來與計算設備架構900通訊。通訊介面940大體可以支配和管理使用者輸入和計算設備輸出。不存在對任何特定硬體佈置上的操作的限制，並且因此這裡的基本特徵可以很容易地隨著改進的硬體或韌體佈置被開發出來而被它們所取代。
儲存裝置930是非揮發性記憶體，並且可以是硬碟或可以儲存電腦可存取的資料的其他類型的電腦可讀取媒體，諸如磁帶盒、快閃記憶卡、固態記憶體裝置、數位多功能光碟、盒式磁帶、隨機存取記憶體（RAM）925、唯讀記憶體（ROM）920及其混合。儲存裝置930可以包括用於控制處理器910的軟體、代碼、韌體等。也可以考慮其他硬體或軟體模組。儲存裝置930可以連接到計算設備連接905。在一個態樣中，執行特定功能的硬體模組可以包括被儲存在與必要的硬體元件（諸如處理器910、連接905、輸出設備935等等）連接的電腦可讀取媒體中的軟體元件，以執行該功能。
術語「電腦可讀取媒體」包括但不限於，可攜式或非可攜式儲存裝置、光學儲存裝置以及能夠儲存、包含或攜帶（一或多個）指令及/或資料的各種其他媒體。電腦可讀取媒體可以包括非暫時性媒體，該非暫時性媒體可以儲存資料並且不包括無線地或藉由有線連接傳播的載波及/或暫時性電子信號。非暫時性媒體的示例可以包括但不限於，磁碟或磁帶、光學儲存媒體（諸如壓縮磁碟（CD）或數位多功能光碟（DVD））、快閃記憶體、記憶體或記憶體設備。電腦可讀取媒體可以具有儲存在其上的代碼及/或機器可執行指令，它們可以表示程序、函數、副程式、程式、常式、子常式、模組、套裝軟體、類別、或者指令、資料結構或程式語句的任何組合。程式碼片段可以藉由傳遞及/或接收資訊、資料、變元、參數或記憶體內容與另一程式碼片段或硬體電路耦合。資訊、變元、參數、資料等可以經由任何合適的手段（包括記憶體共享、訊息傳遞、符記傳遞、網路傳輸等）來傳遞、轉發或傳輸。
在一些實施例中，電腦可讀儲存裝置、媒體和記憶體可以包括電纜或無線信號，該電纜或無線信號包含位元串流等。然而，當被提及時，非暫時性電腦可讀取儲存媒體明確地排除諸如能量、載波信號、電磁波和信號本身的媒體。
在上面的描述中提供了具體細節，以提供對本文所提供的實施例和示例的透徹理解。然而，熟習此項技術者將理解，在沒有這些具體細節的情況下可以實踐這些實施例。為解釋清楚，在一些情況中，本技術可以被呈現為包括單獨的功能方塊，包括設備、設備元件、在方法中以軟體或硬體和軟體的組合體現的步驟或常式。除了圖中示出及/或本文描述的元件外，還可以使用附加元件。例如，電路、系統、網路、程序和其他元件可以以方塊圖的形式示出為元件，以便不在不必要的細節中使實施例模糊不清。在其他情況中，眾所周知的電路、程序、演算法、結構和技術可以在不具有不必要的細節的情況下示出，以便避免使實施例模糊不清。
單獨的實施例可以在上文被描述為程序或方法，該程序或方法被圖示為流程圖、流程圖、資料流程圖、結構圖或方塊圖。儘管流程圖可以將操作描述為順序的程序，但許多操作可以並行或併發地執行。此外，可以重新佈置操作的次序。程序在其操作完成時被終止，但可以具有未包括在圖中的附加步驟。程序可以對應於方法、函數、程序、子常式、副程式等。當程序對應於函數時，其終止可以對應於該函數返回到調用函數或主函數。
根據上述示例的程序和方法可以使用電腦可執行指令來實現，該電腦可執行指令被儲存或以其他方式從電腦可讀取媒體獲得。例如，此類指令可以包括例如使通用電腦、專用電腦或處理設備執行或以其他方式將其配置為執行某種功能或功能組的指令和資料。所使用的電腦資源的部分可以經由網路存取。電腦可執行指令可以是例如二進位元、中間格式指令，諸如組合語言、韌體、原始程式碼。可以用於儲存指令、在根據所描述的示例的方法期間使用的資訊及/或建立的資訊的電腦可讀取媒體的示例包括磁碟或光碟、快閃記憶體、提供有非揮發性記憶體的USB設備、聯網儲存裝置等等。
實現根據這些揭露內容的程序和方法的設備可以包括硬體、軟體、韌體、仲介軟體、微碼、硬體描述語言或它們的任何組合，並且可以採取各種各樣的外形尺寸（form factor）中的任何一種。當以軟體、韌體、仲介軟體或微碼實現時，執行必要任務（例如，電腦程式產品）的程式碼或程式碼片段可以被儲存在電腦可讀取媒體或機器可讀取媒體中。（一或多個）處理器可以執行必要任務。外形尺寸的典型示例包括膝上型電腦、智慧電話、行動電話、平板設備或其他小外形尺寸的個人電腦、個人數位助理、機架式設備、單機設備等等。本文描述的功能性也可以在週邊設備或內插卡中體現。進一步舉例而言，此功能性也可以在電路板上在不同晶片當中或在單個設備中執行的不同程序中實現。
指令、用於傳送此指令的媒體、用於執行它們的計算資源以及用於支援此計算資源的其他結構是用於提供本案中描述的功能的示例構件。
在前述描述中，本案的各態樣是參考其具體實施例進行描述的，但熟習此項技術者將認識到，本案不限於此。因此，雖然本案的說明性實施例已經在本文中進行了詳細描述，但將理解，發明性概念可以以其他方式被不同地體現和採用，並且所附請求項旨在被解釋為包括此類變型，除非受到先前技術的限制。上述應用的各種特徵和態樣可以單獨地或聯合地使用。此外，在不脫離本說明書更廣泛的精神和範圍的情況下，可以在本文描述的環境和應用之外的任何數量的環境和應用中利用這些實施例。相應地，本說明書和附圖應被視為說明性的而非約束性的。出於說明的目的，方法是以特定次序描述的。應當理解，在替代實施例中，這些方法可以以不同於所描述的次序來執行。
熟習此項技術者將理解，在不脫離本描述的範圍的情況下，本文使用的小於（「＜」）和大於（「＞」）符號或術語可以分別用小於或等於（「≦」）和大於或等於（「≧」）符號來代替。
當元件被描述為「被配置為」執行某些操作時，此配置可以例如藉由將電子電路或其他硬體設計為執行操作，藉由將可程式設計電子電路（例如，微處理器，或其他合適的電子電路）程式設計為執行操作，或它們的任何組合來完成。
短語「耦合到」是指直接地或間接地與另一元件實體連接的任何元件，及/或直接地或間接地與另一元件通訊的任何元件（例如，藉由有線或無線連接及/或其他合適的通訊介面與其他元件連接）。
本案中敘述集合中的「至少一個」及/或集合中的「一或多個」的請求項語言或其他語言指示該集合中的一個成員或該集合中的多個成員（以任何組合）滿足該請求項。例如，敘述「A和B中的至少一個」或「A或B中的至少一個」的請求項語言意指A、B或A和B。在另一示例中，敘述「A、B和C中的至少一個」或「A、B或C中的至少一個」的請求項語言意指A、B、C、或A和B、或A和C、或B和C、或A和B和C。語言集合中的「至少一個」及/或集合中的「一或多個」並不將該集合限於該集合中列出的項目。例如，敘述「A和B中的至少一個」或「A或B中的至少一個」的請求項語言可以意指A、B、或A和B，並且可以附加地包括A和B的集合中沒有列出的項目。
結合本文揭露的示例描述的各種說明性邏輯區塊、模組、電路和演算法步驟可以被實現為電子硬體、電腦軟體、韌體或它們的組合。為了清楚地說明硬體和軟體的這種互換性，上文已經一般性地就它們的功能性而言描述了各種說明性元件、方塊、模組、電路和步驟。此功能性被實現為硬體還是軟體取決於特定應用和對整個系統施加的設計約束。熟習此項技術者可以對於每個特定應用以變化的方式實現所描述的功能性，但是此類實現方式決策不應被解釋為導致脫離本案的範圍。
本文描述的技術還可以以電子硬體、電腦軟體、韌體或它們的任何組合實現。此類技術可以以各種各樣的設備中的任何一種實現，諸如通用電腦、無線通訊設備手機或具有多種用途的積體電路設備，包括無線通訊設備手機和其他設備中的應用。任何被描述為模組或元件的特徵都可以在整合邏輯裝置中一起實現，或者作為個別但可交互動操作的邏輯裝置分離地實現。如果以軟體實現，這些技術可以至少部分地由包括程式碼的電腦可讀取資料儲存媒體實現，該程式碼包括當被執行時執行上文描述的方法、演算法及/或操作中的一或多個的指令。電腦可讀取資料儲存媒體可以形成電腦程式產品的一部分，該產品可以包括封裝材料。電腦可讀取媒體可以包括記憶體或資料儲存媒體，諸如隨機存取記憶體（RAM）（諸如同步動態隨機存取記憶體（SDRAM））、唯讀記憶體（ROM）、非揮發性隨機存取記憶體（NVRAM）、電子可抹除可程式設計唯讀記憶體（EEPROM）、快閃記憶體、磁性或光學資料儲存媒體等。這些技術附加地或替代地可以至少部分地由電腦可讀通訊媒體實現，該電腦可讀通訊媒體以指令或資料結構的形式攜帶或通訊程式碼，並且可以由電腦存取、讀取及/或執行，諸如傳播的信號或波。
程式碼可以由處理器執行，該處理器可以包括一或多個處理器，諸如一或多個數位訊號處理器（DSP）、通用微處理器、專用積體電路（ASIC）、現場可程式設計邏輯陣列（FPGA）或其他等效的整合或個別邏輯電路。此處理器可以被配置為執行本案中描述的任何技術。通用處理器可以是微處理器，但是替代地，處理器可以是任何習知的處理器、控制器、微控制器或狀態機。處理器也可以被實現為計算設備的組合，例如，DSP和微處理器的組合、複數個微處理器的組合、結合DSP核的一或多個微處理器的組合、或者任何其他此配置的組合。相應地，如本文所使用的術語「處理器」可以指任何前述結構、前述結構的任何組合或適合於本文描述的技術的實現方式的任何其他結構或裝置。
本案的說明性示例包括：
態樣1．一種用於定位一或多個設備的裝置，該裝置包括：記憶體；及一或多個處理器，其耦合到記憶體，該一或多個處理器被配置為：接收來自耦合到該裝置的連通設備的標識輸出，該標識輸出包括音訊樣式、顯示樣式和光樣式中的至少一者；及基於來自連通設備的標識輸出，將連通設備映射到該裝置的座標系中。
態樣2．根據態樣1的裝置，其中標識輸出包括音訊樣式、顯示樣式、光樣式中的至少一者以及無線電信號。
態樣3．根據態樣1至2中的任一項的裝置，其中該一或多個處理器被配置為：基於標識輸出來決定連通設備的位置；及基於連通設備的位置，將連通設備映射到該裝置的座標系中。
態樣4．根據態樣1至3中的任一項的裝置，其中該一或多個處理器被配置為：向連通設備發送被配置為觸發來自連通設備的標識輸出的信號；在一或多個不同的時間向連通設備發送一或多個附加信號，該一或多個附加信號被配置為觸發來自連通設備的附加標識輸出；接收來自連通設備的附加標識輸出；及基於附加標識輸出來決定連通設備的位置；其中為了將連通設備映射到該裝置的座標系中，該一或多個處理器被配置為：更新設備地圖以將連通設備與連通設備的位置相關聯。
態樣5．根據態樣1至4中的任一項的裝置，其中為了在一或多個不同的時間發送一或多個附加信號，該一或多個處理器被配置為：在以下中的一種情況時決定未能接收附加標識輸出：電子設備在到連通設備的映射位置的閾值接近距離內，以及連通設備的映射位置在該裝置的圖像感測器的視場內；及基於未能接收附加標識輸出來向連通設備發送一或多個附加信號。
態樣6．根據態樣1至5中的任一項的裝置，其中為了在一或多個不同的時間發送一或多個附加信號，該一或多個處理器被配置為：週期性地發送一或多個附加信號，直到以下中的至少一種情況：在沒有接收來自連通設備的附加標識輸出的情況下過去了預定時間量，以及在沒有接收來自連通設備的附加標識輸出的情況下發送了若干附加信號。
態樣7．根據態樣1至6中的任一項的裝置，其中為了接收來自連通設備的標識輸出，該一或多個處理器被配置為：基於來自該裝置的一或多個感測器的資料來偵測標識輸出中的一或多個樣式；及將一或多個樣式辨識為來自連通設備的標識輸出。
態樣8．根據態樣1至7中的任一項的裝置，其中一或多個樣式包括音訊樣式，並且一或多個感測器包括音訊感測器。
態樣9．根據態樣1至8中的任一項的裝置，其中一或多個樣式包括顯示樣式，並且一或多個感測器包括圖像感測器。
態樣10．根據態樣1至9中的任一項的裝置，其中一或多個樣式包括光樣式，並且一或多個感測器包括光感測器。
態樣11．根據態樣1至10中的任一項的裝置，其中為了將一或多個樣式辨識為來自連通設備的標識輸出，該一或多個處理器被配置為：使用神經網路和特徵匹配中的至少一者來將一或多個樣式辨識為標識輸出。
態樣12．根據態樣1至11中的任一項的裝置，其中該一或多個處理器被配置為：接收觸發連通設備的動作的請求；基於連通設備的映射來標識連通設備的位置；及向連通設備發送被配置為觸發連通設備的動作的命令。
態樣13．根據態樣1至12中的任一項的裝置，其中觸發連通設備的動作的請求包括：向該裝置發送由連通設備捕捉的視訊饋送，並且其中該一或多個處理器被配置為：向連通設備發送命令，其中該命令被配置為觸發連通設備向該裝置發送視訊饋送；接收來自連通設備的視訊饋送；及在該裝置處顯示視訊饋送。
態樣14．根據態樣1至13中的任一項的裝置，其中觸發連通設備的動作的請求包括：觸發連通設備顯示來自該裝置的內容的請求，並且其中為了向連通設備發送該命令，該一或多個處理器被配置為：向連通設備發送包括該命令和來自該裝置的內容的資料，其中該命令被配置為觸發連通設備顯示來自該裝置的內容。
態樣15．根據態樣1至14中的任一項的裝置，其中觸發連通設備的動作的請求包括：調整連通設備的電源模式的請求，並且其中該命令被配置為調整連通設備的電源模式。
態樣16．根據態樣1至15中的任一項的裝置，其中連通設備包括燈泡，其中觸發連通設備的動作的請求：包括調整由燈泡發射的光的亮度和顏色中的至少一者的請求，並且其中該命令被配置為觸發燈泡調整由燈泡發射的光的亮度和顏色中的至少一者。
態樣17．根據態樣1至16中的任一項的裝置，其中該一或多個處理器被配置為：偵測與該裝置相關聯的使用者的姿勢，該姿勢指示連通設備的位置；基於該姿勢，觸發來自實體環境中的一或多個連通設備的一或多個標識輸出；從一或多個標識輸出中接收特定標識輸出，該特定標識輸出源自該位置；及基於該特定標識輸出來決定連通設備位於該位置處。
態樣18．根據態樣1至17中的任一項的裝置，其中為了將連通設備映射到該裝置的座標系中，該一或多個處理器被配置為：更新設備地圖以將連通設備與連通設備的位置相關聯。
態樣19．根據態樣1至18中的任一項的裝置，其中姿勢包括以下中的至少一者：指向一或多個連通設備、觸摸一或多個連通設備、將一或多個連通設備定點在該裝置的圖像感測器的視場內、手勢以及眼睛注視。
態樣20．根據態樣1至19中的任一項的裝置，其中該一或多個處理器被配置為：接收與該裝置相關聯的使用者的語音命令，該語音命令指示連通設備的位置；基於該語音命令，觸發來自實體環境中的一或多個連通設備的一或多個標識輸出；從一或多個標識輸出中接收特定標識輸出，該特定標識輸出源自該位置；及基於該特定標識輸出來決定連通設備位於該位置處。
態樣21．根據態樣1至20中的任一項的裝置，其中該一或多個處理器被配置為：觸發一或多個連通設備進入映射模式；向一或多個連通設備發送設備標識輸出；接收來自一或多個連通設備的定位資訊，該定位資訊指示一或多個連通設備相對於該裝置的位置；及基於來自一或多個連通設備的定位資訊，將一或多個連通設備映射到該裝置的座標系中。
態樣22．根據態樣1至21中的任一項的裝置，其中該一或多個處理器被配置為：觸發一或多個連通設備進入映射模式；接收來自一或多個連通設備的定位資訊，該定位資訊指示地標相對於一或多個連通設備的第一位置；基於該定位資訊和地標相對於該裝置的第三位置來決定一或多個連通設備的第二位置；及基於一或多個連通設備的第二位置來將一或多個連通設備映射到該裝置的座標系中。
態樣23．根據態樣1至22中的任一項的裝置，其中標識輸出包括光樣式，並且其中該光樣式包括以下中的至少一者：由該裝置發射的光變暗和變亮位准的樣式、由該裝置發射的光的色溫改變的樣式以及由該裝置發射的閃爍光序列。
態樣24．根據態樣1至23中的任一項的裝置，其中標識輸出包括顯示樣式，並且其中該顯示樣式包括以下中的至少一者：在該裝置的顯示裝置上顯示的代碼、在該裝置的顯示裝置上顯示的圖像、在該裝置的顯示裝置上顯示的視覺樣式以及在該裝置的顯示裝置上顯示的數位物件。
態樣25．根據態樣1至24中的任一項的裝置，其中標識輸出包括音訊樣式，並且其中該音訊樣式包括以下中的至少一者：由該裝置輸出的音訊代碼以及由該裝置輸出的聲音序列。
態樣26．根據態樣1至25中的任一項的裝置，其中該一或多個處理器被配置為：向連通設備發送被配置為觸發來自連通設備的標識輸出的信號；及接收來自連通設備的標識輸出。
態樣27．根據態樣1至26中的任一項的裝置，其中為了接收標識輸出，該一或多個處理器被配置為：從由連通設備廣播的複數個標識輸出中接收一或多個標識輸出，該一或多個標識輸出包括該標識輸出。
態樣28．根據態樣1至27中的任一項的裝置，其中該裝置是擴展現實設備。
態樣29．根據態樣1至28中的任一項的裝置，其中該裝置包括擴展現實設備。
態樣30．根據態樣1至29中的任一項的裝置，其中該裝置是行動設備。
態樣31．根據態樣1至30中的任一項的裝置，其中該裝置包括行動設備。
態樣32．根據態樣1至31中的任一項的裝置，其中該裝置是被配置為顯示資料的顯示器和被配置為捕捉圖像資料的相機中的至少一者。
態樣33．根據態樣1至32中的任一項的裝置，其中該裝置包括被配置為顯示資料的顯示器和被配置為捕捉圖像資料的相機中的至少一者。
態樣34．根據態樣1至33中的任一項的裝置，其中連通設備是以下中的至少一者：燈泡、揚聲器、電視、麥克風、一或多個感測器、相機、恒溫器和可穿戴設備。
態樣35．根據態樣1至34中的任一項的裝置，其中連通設備包括以下中的至少一者：燈泡、揚聲器、電視、麥克風、一或多個感測器、相機、恒溫器和可穿戴設備。
態樣36．根據態樣1至35中的任一項的裝置，其中標識輸出包括接收到的無線電信號。
態樣37．一種用於定位一或多個設備的方法，該方法包括：接收來自耦合到電子設備的連通設備的標識輸出；及基於來自連通設備的標識輸出，將連通設備映射到電子設備的座標系中。
態樣38．根據態樣37的方法，其中標識輸出包括音訊樣式、顯示樣式、光樣式中的至少一者以及無線電信號。
態樣39．根據態樣37至38中的任一項的方法，還包括：基於標識輸出來決定連通設備的位置；及基於連通設備的位置，將連通設備映射到電子設備的座標系中。
態樣40．根據態樣37至39中的任一項的方法，還包括：向連通設備發送被配置為觸發來自連通設備的標識輸出的信號；在一或多個不同的時間向連通設備發送一或多個附加信號，該一或多個附加信號被配置為觸發來自連通設備的附加標識輸出；接收來自連通設備的附加標識輸出；及基於附加標識輸出來決定連通設備的位置；其中將連通設備映射到電子設備的座標系中包括：更新設備地圖以將連通設備與連通設備的位置相關聯。
態樣41．根據態樣37至40中的任一項的方法，其中在一或多個不同的時間發送一或多個附加信號包括：在以下中的一種情況時決定未能接收附加標識輸出：電子設備在到連通設備的映射位置的閾值接近距離內，以及連通設備的映射位置在電子設備的圖像感測器的視場內；及基於未能接收附加標識輸出來向連通設備發送一或多個附加信號。
態樣42．根據態樣37至41中的任一項的方法，其中在一或多個不同的時間發送一或多個附加信號包括：週期性地發送一或多個附加信號，直到以下中的至少一種情況：在沒有接收來自連通設備的附加標識輸出的情況下過去了預定時間量，以及在沒有接收來自連通設備的附加標識輸出的情況下發送了若干附加信號。
態樣43．根據態樣37至42中的任一項的方法，其中接收來自連通設備的標識輸出包括：基於來自電子設備的一或多個感測器的資料來偵測標識輸出中的一或多個樣式；及將一或多個樣式辨識為來自連通設備的標識輸出。
態樣44．根據態樣37至43中的任一項的方法，其中一或多個樣式包括音訊樣式，並且一或多個感測器包括音訊感測器。
態樣45．根據態樣37至44中的任一項的方法，其中一或多個樣式包括顯示樣式，並且一或多個感測器包括圖像感測器。
態樣46．根據態樣37至45中的任一項的方法，其中一或多個樣式包括光樣式，並且一或多個感測器包括光感測器。
態樣47．根據態樣37至46中的任一項的方法，其中將一或多個樣式辨識為來自連通設備的標識輸出包括：使用神經網路和特徵匹配中的至少一者來將一或多個樣式辨識為標識輸出。
態樣48．根據態樣37至47中的任一項的方法，還包括：接收觸發連通設備的動作的請求；基於連通設備的映射來標識連通設備的位置；及向連通設備發送被配置為觸發連通設備的動作的命令。
態樣49．根據態樣37至48中的任一項的方法，其中觸發連通設備的動作的請求包括：向電子設備發送由連通設備捕捉的視訊饋送，該方法還包括：向連通設備發送該命令，其中該命令被配置為觸發連通設備向電子設備發送視訊饋送；接收來自連通設備的視訊饋送；及在電子設備處顯示視訊饋送。
態樣50．根據態樣37至49中的任一項的方法，其中觸發連通設備的動作的請求：包括觸發連通設備顯示來自電子設備的內容的請求，並且其中向連通設備發送該命令包括：向連通設備發送包括該命令和來自電子設備的內容的資料，其中該命令被配置為觸發連通設備顯示來自電子設備的內容。
態樣51．根據態樣37至50中的任一項的方法，其中觸發連通設備的動作的請求包括：調整連通設備的電源模式的請求，並且其中該命令被配置為調整連通設備的電源模式。
態樣52．根據態樣37至51中的任一項的方法，其中連通設備包括燈泡，其中觸發連通設備的動作的請求包括：調整由燈泡發射的光的亮度和顏色中的至少一者的請求，並且其中該命令被配置為觸發燈泡調整由燈泡發射的光的亮度和顏色中的至少一者。
態樣53．根據態樣37至52中的任一項的方法，還包括：偵測與電子設備相關聯的使用者的姿勢，該姿勢指示連通設備的位置；基於該姿勢，觸發來自實體環境中的一或多個連通設備的一或多個標識輸出；從一或多個標識輸出中接收特定標識輸出，該特定標識輸出源自該位置；及基於該特定標識輸出來決定連通設備位於該位置處。
態樣54．根據態樣37至53中的任一項的方法，其中將連通設備映射到電子設備的座標系中包括：更新設備地圖以將連通設備與連通設備的位置相關聯。
態樣55．根據態樣37至54中的任一項的方法，其中姿勢包括以下中的至少一者：指向一或多個連通設備、觸摸一或多個連通設備、將一或多個連通設備定點在電子設備的圖像感測器的視場內、手勢以及眼睛注視。
態樣56．根據態樣37至55中的任一項的方法，還包括：接收與電子設備相關聯的使用者的語音命令，該語音命令指示連通設備的位置；基於該語音命令，觸發來自實體環境中的一或多個連通設備的一或多個標識輸出；從一或多個標識輸出中接收特定標識輸出，該特定標識輸出源自該位置；及基於該特定標識輸出來決定連通設備位於該位置處。
態樣57．根據態樣37至56中的任一項的方法，還包括：觸發一或多個連通設備進入映射模式；向一或多個連通設備發送設備標識輸出；接收來自一或多個連通設備的定位資訊，該定位資訊指示一或多個連通設備相對於電子設備的位置；及基於來自一或多個連通設備的定位資訊，將一或多個連通設備映射到電子設備的座標系中。
態樣58．根據態樣37至57中的任一項的方法，還包括：觸發一或多個連通設備進入映射模式；接收來自一或多個連通設備的定位資訊，該定位資訊指示地標相對於一或多個連通設備的第一位置；基於該定位資訊和地標相對於電子設備的第三位置來決定一或多個連通設備的第二位置；及基於一或多個連通設備的第二位置來將一或多個連通設備映射到電子設備的座標系中。
態樣59．根據態樣37至58中的任一項的方法，其中標識輸出包括光樣式，並且其中該光樣式包括以下中的至少一者：由電子設備發射的光變暗和變亮位准的樣式、由電子設備發射的光的色溫改變的樣式以及由電子設備發射的閃爍光序列。
態樣60．根據態樣37至59中的任一項的方法，其中標識輸出可以包括顯示樣式，並且其中該顯示樣式包括以下中的至少一者：在電子設備的顯示裝置上顯示的代碼、在電子設備的顯示裝置上顯示的圖像、在電子設備的顯示裝置上顯示的視覺樣式以及在電子設備的顯示裝置上顯示的數位物件。
態樣61．根據態樣37至60中的任一項的方法，其中標識輸出包括音訊樣式，並且其中該音訊樣式包括以下中的至少一者：由電子設備輸出的音訊代碼以及由電子設備輸出的聲音序列。
態樣62．根據態樣37至61中的任一項的方法，還包括：向連通設備發送被配置為觸發來自連通設備的標識輸出的信號；及接收來自連通設備的標識輸出。
態樣63．根據態樣37至62中的任一項的方法，其中接收標識輸出包括：從由連通設備廣播的複數個標識輸出中接收一或多個標識輸出，該一或多個標識輸出包括該標識輸出。
態樣64．根據態樣37至63中的任一項的方法，其中連通設備是以下中的至少一者：燈泡、揚聲器、電視、麥克風、一或多個感測器、相機、恒溫器和可穿戴設備。
態樣65．根據態樣37至64中的任一項的方法，其中連通設備包括以下中的至少一者：燈泡、揚聲器、電視、麥克風、一或多個感測器、相機、恒溫器和可穿戴設備。
態樣66．根據態樣37至65中的任一項的方法，其中標識輸出包括接收到的無線電信號。
態樣67．根據態樣37至66中的任一項的方法，其中該電子設備是或者包括XR設備。
態樣68．根據態樣37至67中的任一項的方法，其中該電子設備是或者包括行動設備。
態樣69．根據態樣37至68中的任一項的方法，其中該電子設備包括相機。
態樣70．根據態樣37至69中的任一項的方法，其中該電子設備包括顯示裝置。
態樣71．一種具有儲存在其上的指令的非暫時性電腦可讀取媒體，該些指令在由一或多個處理器執行時使該一或多個處理器執行根據態樣37至70中的任一項的方法。
態樣72．一種裝置，包括：用於執行根據態樣37至70中的任一項的方法的構件。
態樣73．根據態樣72的裝置，其中該裝置是或者包括電子設備。
態樣74．根據態樣72至73中的任一項的裝置，其中該裝置包括行動設備。
態樣75．根據態樣72至74中的任一項的裝置，其中該裝置包括相機。
態樣76．根據態樣72至75中的任一項的裝置，其中該裝置包括顯示裝置。
態樣77．一種用於定位一或多個設備的裝置，該裝置包括：記憶體；及一或多個處理器，其耦合到記憶體，該一或多個處理器被配置為：基於連通設備的第一標識輸出、該裝置的第二標識輸出、動作追蹤資料和第一聯合定位資訊中的至少一者來決定用於連通設備的定位資料；及基於所決定的定位資料，將連通設備映射到該裝置的座標系中。
態樣78．根據態樣77的裝置，其中標識輸出包括音訊樣式、顯示樣式和光樣式中的至少一者。
態樣79．根據態樣77至78中的任一項的裝置，其中一或多個處理器被配置為藉由以下操作來決定用於連通設備的定位資料：偵測來自連通設備的第一標識輸出；及基於第一定位資訊來決定定位資料。
態樣80．根據態樣77至79中的任一項的裝置，其中該一或多個處理器被配置為藉由以下操作來決定用於連通設備的定位資料：向連通設備發送第二標識輸出；接收來自連通設備的定位資訊，該定位資訊指示連通設備相對於該裝置的位置；及基於定位資訊來決定定位資料。
態樣81．根據態樣77至80中的任一項的裝置，其中該一或多個處理器被配置為：決定用於該裝置的追蹤資料；及基於追蹤資料和動作追蹤資料來決定定位資料。
態樣82．根據態樣77至81中的任一項的裝置，其中該一或多個處理器被配置為藉由以下操作來決定用於連通設備的定位資料：接收來自連通設備的第一聯合定位資訊，該第一聯合定位資訊指示地標相對於連通設備的第一位置；決定第二聯合定位資訊，該第二聯合定位資訊指示地標相對於該裝置的第二位置；及基於第一和第二聯合定位資訊來決定定位資料。
態樣83．根據態樣77至82中的任一項的裝置，其中第一聯合定位資訊包括描述地標的特徵的特徵向量，並且該一或多個處理器被配置為使用特徵向量來驗證第一聯合定位資訊對應於該地標。
態樣84．根據態樣77至83中的任一項的裝置，其中該裝置是或者包括XR設備。
態樣85．根據態樣77至84中的任一項的裝置，其中該裝置是或者包括行動設備。
態樣86．一種用於定位一或多個設備的方法，該方法包括：基於連通設備的第一標識輸出、電子設備的第二標識輸出、動作追蹤資料和第一聯合定位資訊中的至少一者來決定用於連通設備的定位資料；及基於所決定的定位資料，將連通設備映射到電子設備的座標系中。
態樣87．根據態樣86的方法，其中標識輸出包括音訊樣式、顯示樣式和光樣式中的至少一者。
態樣88．根據態樣86至87中的任一項的方法，還包括：藉由以下操作來決定用於連通設備的定位資料：偵測來自連通設備的第一標識輸出；及基於第一定位資訊來決定定位資料。
態樣89．根據態樣86至88中的任一項的方法，還包括：藉由以下操作來決定用於連通設備的定位資料：向連通設備發送第二標識輸出；接收來自連通設備的定位資訊，該定位資訊指示連通設備相對於電子設備的位置；及基於定位資訊來決定定位資料。
態樣90．根據態樣86至89中的任一項的方法，還包括：決定用於電子設備的追蹤資料；及基於追蹤資料和動作追蹤資料來決定定位資料。
態樣91．根據態樣86至90中的任一項的方法，還包括：藉由以下操作來決定用於連通設備的定位資料：接收來自連通設備的第一聯合定位資訊，該第一聯合定位資訊指示地標相對於連通設備的第一位置；決定第二聯合定位資訊，該第二聯合定位資訊指示地標相對於電子設備的第二位置；及基於第一和第二聯合定位資訊來決定定位資料。
態樣92．根據態樣86至91中的任一項的方法，其中第一聯合定位資訊包括描述地標的特徵的特徵向量，該方法還包括：使用特徵向量來驗證第一聯合定位資訊對應於該地標。
態樣93．根據態樣86至92中的任一項的方法，其中該電子設備是或者包括XR設備。
態樣94．根據態樣86至93中的任一項的方法，其中該電子設備是或者包括行動設備。
態樣95．一種裝置，包括：用於執行根據態樣86至94中的任一項的方法的構件。
態樣96．根據態樣95的裝置，其中該裝置是或者包括電子設備。
態樣97．一種具有儲存在其上的指令的非暫時性電腦可讀取媒體，該些指令在由一或多個處理器執行時使該一或多個處理器執行根據態樣86至94中的任一項的方法。
態樣98．根據態樣1至36中的任一項的裝置，其中連通設備直接地或間接地耦合到該裝置。
態樣99．根據態樣37至70中的任一項的方法，其中連通設備直接地或間接地耦合到電子設備。
100:XR系統 102A:圖像感測器 102B:圖像感測器 104:音訊感測器 106:慣性測量單元（IMU） 110:計算元件 112:中央處理單元（CPU） 114:圖形處理單元（GPU） 116:數位訊號處理器（DSP） 118:圖像信號處理器（ISP） 150:計算設備 160:輸出設備 200:示例系統 202:XR應用 204:標識觸發 206:標識輸出 208:定位資料 210:追蹤引擎 212:定位引擎 214:追蹤資料 220:環境地圖 222:設備地圖 300:示例程序 302:圖像 304:圖像 306:視覺物件 315:特徵提取引擎 320:特徵提取 322:特徵提取 324:特徵 326:特徵 330:特徵匹配 400:示例系統 402:手部 410:追蹤引擎 412:追蹤資料 414:動作追蹤引擎 416:定位引擎 418:定位資料 500:示例定位 502:使用者 504:標識觸發 506:標識觸發 508:標識觸發 510:標識輸出 512:標識輸出 514:標識輸出 520:定位資料 530:計算設備 532:計算設備 534:計算設備 600:示例聯合定位 602:標識觸發 604:位置資訊 610:計算設備 620:地標 700:示例用例 702:命令 710:第一狀態 720:第二狀態 800:示例程序 802:方塊 804:方塊 900:計算設備架構 905:計算設備連接 910:處理器 912:快取記憶體 915:記憶體 920:唯讀記憶體（ROM） 925:隨機存取記憶體（RAM） 930:儲存裝置 935:輸出設備 940:通訊介面 945:輸入裝置 T 1:時間 T 2:時間 T 3:時間
下文將參考以下各圖來詳細描述本案的說明性示例：
圖1是示出根據本案的一些示例的用於定位、映射及/或控制計算設備的擴展現實系統的示例的圖；
圖2是示出根據本案的一些示例的用於定位和映射計算設備的示例系統的圖；
圖3是示出根據本案的一些示例的用於視覺特徵匹配以偵測來自計算設備的標識輸出中的視覺樣式的示例程序的圖；
圖4是示出根據本案的一些示例的用於基於使用者姿勢來定位計算設備的示例系統的圖；
圖5是示出根據本案的一些示例的由拓展現實設備使用其他計算設備執行的示例定位的圖；
圖6是示出根據本案的一些示例的由設備基於共同地標執行的示例聯合定位的圖；
圖7是示出根據本案的一些示例的用於使用擴展現實設備來控制計算設備的示例用例的圖；
圖8是示出根據本案的一些示例的用於定位和映射連通設備的示例程序的流程圖；及
圖9圖示根據本案的一些示例的示例計算設備架構。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
100:XR系統
102:圖像感測器
104:音訊感測器
106:慣性測量單元(IMU)
150:計算設備
160:輸出設備
200:示例系統
202:XR應用
204:標識觸發
206:標識輸出
208:定位資料
210:追蹤引擎
212:定位引擎
214:追蹤資料
220:環境地圖
222:設備地圖

Claims (44)

  1. 一種用於定位一或多個設備的裝置，該裝置包括： 記憶體；及 一或多個處理器，其耦合到該記憶體，該一或多個處理器被配置為： 接收來自耦合到該裝置的一連通設備的一標識輸出，該標識輸出包括一音訊樣式、一顯示樣式和一光樣式中的至少一者；及 基於來自該連通設備的該標識輸出，將該連通設備映射到該裝置的一座標系中。
  2. 根據請求項1之裝置，其中該一或多個處理器被配置為： 基於該標識輸出來決定該連通設備的一位置；及 基於該連通設備的該位置，將該連通設備映射到該裝置的座標系中。
  3. 根據請求項1之裝置，其中該一或多個處理器被配置為： 向該連通設備發送被配置為觸發來自該連通設備的一附加標識輸出的一信號； 基於未能接收該附加標識輸出，在一或多個不同的時間向該連通設備發送一或多個附加信號，該一或多個附加信號被配置為觸發來自該連通設備的該附加標識輸出； 接收來自該連通設備的該附加標識輸出；及 基於該附加標識輸出來決定該連通設備的一位置； 其中為了將該連通設備映射到該裝置的座標系中，該一或多個處理器被配置為更新一設備地圖以將該連通設備與該連通設備的位置相關聯。
  4. 根據請求項3之裝置，其中為了在一或多個不同的時間發送該一或多個附加信號，該一或多個處理器被配置為： 在以下中的至少一種情況時決定未能接收該附加標識輸出：該裝置在到該連通設備的一映射位置的一閾值接近距離內，以及該連通設備的映射位置在該裝置的一圖像感測器的一視場內；及 基於未能接收該附加標識輸出來向該連通設備發送該一或多個附加信號。
  5. 根據請求項3之裝置，其中為了在一或多個不同的時間發送該一或多個附加信號，該一或多個處理器被配置為：週期性地發送該一或多個附加信號，直到以下中的至少一種情況：在沒有接收來自該連通設備的該附加標識輸出的情況下過去了一預定時間量，以及在沒有接收來自該連通設備的該附加標識輸出的情況下發送了若干附加信號。
  6. 根據請求項1之裝置，其中為了接收來自該連通設備的該標識輸出，該一或多個處理器被配置為： 基於來自該裝置的一或多個感測器的資料來偵測該標識輸出中的一或多個樣式；及 將該一或多個樣式辨識為來自該連通設備的該標識輸出。
  7. 根據請求項6之裝置，其中該一或多個樣式包括該音訊樣式，並且該一或多個感測器包括一音訊感測器。
  8. 根據請求項6之裝置，其中該一或多個樣式包括該顯示樣式，並且該一或多個感測器包括一圖像感測器。
  9. 根據請求項6之裝置，其中該一或多個樣式包括該光樣式，並且該一或多個感測器包括一光感測器。
  10. 根據請求項6之裝置，其中為了將該一或多個樣式辨識為來自該連通設備的該標識輸出，該一或多個處理器被配置為： 使用一神經網路和特徵匹配中的至少一者來將該一或多個樣式辨識為該標識輸出。
  11. 根據請求項1之裝置，其中該一或多個處理器被配置為： 接收觸發該連通設備的一動作的一請求； 基於該連通設備的映射來標識該連通設備的一位置；及 向該連通設備發送被配置為觸發該連通設備的動作的一命令。
  12. 根據請求項11之裝置，其中觸發該連通設備的動作的該請求包括：向該裝置發送由該連通設備捕捉的一視訊饋送的一請求，並且其中該一或多個處理器被配置為： 向該連通設備發送該命令，其中該命令被配置為觸發該連通設備向該裝置發送該視訊饋送； 接收來自該連通設備的該視訊饋送；及 在該裝置處顯示該視訊饋送。
  13. 根據請求項11之裝置，其中觸發該連通設備的動作的該請求包括：觸發該連通設備顯示來自該裝置的內容的一請求，並且其中為了向該連通設備發送該命令，該一或多個處理器被配置為： 向該連通設備發送包括該命令和來自該裝置的該內容的資料，其中該命令被配置為觸發該連通設備顯示來自該裝置的該內容。
  14. 根據請求項11之裝置，其中觸發該連通設備的動作的該請求包括：調整該連通設備的電源模式的一請求，並且其中該命令被配置為調整該連通設備的電源模式。
  15. 根據請求項11之裝置，其中該連通設備包括一燈泡，其中觸發該連通設備的動作的該請求包括：調整由該燈泡發射的光的一亮度和一顏色中的至少一者的一請求，並且其中該命令被配置為觸發該燈泡調整由該燈泡發射的光的亮度和顏色中的至少一者。
  16. 根據請求項1之裝置，其中該一或多個處理器被配置為： 偵測與該裝置相關聯的一使用者的一姿勢，該姿勢指示該連通設備的一位置； 基於該姿勢，觸發來自一實體環境中的一或多個連通設備的一或多個標識輸出； 從該一或多個標識輸出中接收一特定標識輸出，該特定標識輸出源自該位置；及 基於該特定標識輸出來決定該連通設備位於該位置處。
  17. 根據請求項16之裝置，其中為了將該連通設備映射到該裝置的座標系中，該一或多個處理器被配置為： 更新一設備地圖以將該連通設備與該連通設備的位置相關聯。
  18. 根據請求項1之裝置，其中該一或多個處理器被配置為： 觸發一或多個連通設備進入一映射模式； 向該一或多個連通設備發送一設備標識輸出； 接收來自該一或多個連通設備的定位資訊，該定位資訊指示該一或多個連通設備相對於該裝置的一位置；及 基於來自該一或多個連通設備的該定位資訊，將該一或多個連通設備映射到該裝置的座標系中。
  19. 根據請求項1之裝置，其中該一或多個處理器被配置為： 觸發一或多個連通設備進入一映射模式； 接收來自該一或多個連通設備的定位資訊，該定位資訊指示一地標相對於該一或多個連通設備的一第一位置； 基於該定位資訊和該地標相對於該裝置的一第三位置來決定該一或多個連通設備的第二位置；及 基於該一或多個連通設備的該第二位置來將該一或多個連通設備映射到該裝置的座標系中。
  20. 根據請求項1之裝置，其中該光樣式包括以下中的至少一者：由該裝置發射的光變暗和變亮位准的一樣式、由該裝置發射的光的色溫改變的樣式以及由該裝置發射的一閃爍光序列。
  21. 根據請求項1之裝置，其中該顯示樣式包括以下中的至少一者：在該裝置的一顯示裝置上顯示的一代碼、在該裝置的顯示裝置上顯示的一圖像、在該裝置的顯示裝置上顯示的一視覺樣式以及在該裝置的顯示裝置上顯示的一數位物件。
  22. 根據請求項1之裝置，其中該音訊樣式包括以下中的至少一者：由該裝置輸出的一音訊代碼以及由該裝置輸出的一聲音序列。
  23. 根據請求項1之裝置，其中該一或多個處理器被配置為： 向該連通設備發送被配置為觸發來自該連通設備的該標識輸出的一信號；及 接收來自該連通設備的該標識輸出。
  24. 根據請求項1之裝置，其中為了接收該標識輸出，該一或多個處理器被配置為： 從由該連通設備廣播的複數個標識輸出中接收一或多個標識輸出，該一或多個標識輸出包括該標識輸出。
  25. 根據請求項1之裝置，其中該裝置是一擴展現實設備。
  26. 根據請求項1之裝置，其中該裝置是一行動設備。
  27. 根據請求項1之裝置，其中該裝置是被配置為顯示資料的一顯示器和被配置為捕捉圖像資料的一相機中的至少一者。
  28. 根據請求項1之裝置，其中該連通設備是以下中的至少一者：一燈泡、一揚聲器、一電視、一麥克風、一或多個感測器、一相機、一恒溫器和一可穿戴設備。
  29. 一種用於定位一或多個設備的方法，該方法包括： 接收來自耦合到一電子設備的一連通設備的一標識輸出，該標識輸出包括一音訊樣式、一顯示樣式和一光樣式中的至少一者；及 基於來自該連通設備的該標識輸出，將該連通設備映射到該電子設備的一座標系中。
  30. 根據請求項29之方法，還包括： 基於該標識輸出來決定該連通設備的一位置；及 基於該連通設備的該位置，將該連通設備映射到該電子設備的一座標系中。
  31. 根據請求項29之方法，還包括： 向該連通設備發送被配置為觸發來自該連通設備的一附加標識輸出的一信號； 基於未能接收該附加標識輸出，在一或多個不同的時間向該連通設備發送一或多個附加信號，該一或多個附加信號被配置為觸發來自該連通設備的該附加標識輸出； 接收來自該連通設備的該附加標識輸出；及 基於該附加標識輸出來決定該連通設備的一位置； 其中將該連通設備映射到該電子設備的座標系中包括：更新一設備地圖以將該連通設備與該連通設備的位置相關聯。
  32. 根據請求項31之方法，其中在一或多個不同的時間發送該一或多個附加信號包括： 在以下中的至少一種情況時決定未能接收該附加標識輸出：該電子設備在到該連通設備的一映射位置的一閾值接近距離內，以及該連通設備的映射位置在該電子設備的一圖像感測器的一視場內；及 基於未能接收該附加標識輸出來向該連通設備發送該一或多個附加信號。
  33. 根據請求項31之方法，其中在一或多個不同的時間發送該一或多個附加信號包括：週期性地發送該一或多個附加信號，直到以下中的至少一種情況：在沒有接收來自該連通設備的該附加標識輸出的情況下過去了一預定時間量，以及在沒有接收來自該連通設備的該附加標識輸出的情況下發送了若干附加信號。
  34. 根據請求項29之方法，其中接收來自該連通設備的該標識輸出包括： 基於來自該電子設備的一或多個感測器的資料來偵測該標識輸出中的該音訊樣式、該顯示樣式和該光樣式中的至少一者；及 將該音訊樣式、該顯示樣式和該光樣式中的至少一者辨識為來自該連通設備的該標識輸出。
  35. 根據請求項34之方法，其中將該音訊樣式、該顯示樣式和該光樣式中的至少一者辨識為來自該連通設備的該標識輸出包括： 使用一神經網路和特徵匹配中的至少一者來將該音訊樣式、該顯示樣式和該光樣式中的至少一者辨識為該標識輸出，其中該一或多個感測器包括一音訊感測器、一光感測器和一圖像感測器中的至少一者。
  36. 根據請求項29之方法，還包括： 接收觸發該連通設備的一動作的一請求； 基於該連通設備的映射來標識該連通設備的一位置；及 向該連通設備發送被配置為觸發該連通設備的動作的一命令。
  37. 根據請求項36之方法，其中觸發該連通設備的動作的該請求包括：向該電子設備發送由該連通設備捕捉的一視訊饋送的一請求，該方法還包括： 向該連通設備發送該命令，其中該命令被配置為觸發該連通設備向該電子設備發送該視訊饋送； 接收來自該連通設備的該視訊饋送；及 在該電子設備處顯示該視訊饋送。
  38. 根據請求項36之方法，其中觸發該連通設備的動作的該請求包括：觸發該連通設備顯示來自該電子設備的內容的一請求，並且其中向該連通設備發送該命令包括： 向該連通設備發送包括該命令和來自該電子設備的該內容的資料，其中該命令被配置為觸發該連通設備顯示來自該電子設備的該內容。
  39. 根據請求項36之方法，其中觸發該連通設備的動作的該請求包括：調整該連通設備的一電源模式的一請求，並且其中該命令被配置為調整該連通設備的電源模式。
  40. 根據請求項29之方法，還包括： 偵測與該電子設備相關聯的一使用者的一姿勢，該姿勢指示該連通設備的一位置； 基於該姿勢，觸發來自一實體環境中的一或多個連通設備的一或多個標識輸出； 從該一或多個標識輸出中接收一特定標識輸出，該特定標識輸出源自該位置； 基於該特定標識輸出來決定該連通設備位於該位置處；及 其中將該連通設備映射到該電子設備的座標系中包括：更新一設備地圖以將該連通設備與該連通設備的位置相關聯。
  41. 根據請求項29之方法，還包括： 觸發一或多個連通設備進入一映射模式； 向該一或多個連通設備發送一設備標識輸出； 接收來自該一或多個連通設備的定位資訊，該定位資訊指示該一或多個連通設備相對於該電子設備的一位置；及 基於來自該一或多個連通設備的該定位資訊，將該一或多個連通設備映射到該電子設備的座標系中。
  42. 根據請求項29之方法，還包括： 觸發一或多個連通設備進入一映射模式； 接收來自該一或多個連通設備的定位資訊，該定位資訊指示一地標相對於該一或多個連通設備的一第一位置； 基於該定位資訊和該地標相對於該電子設備的一第三位置來決定該一或多個連通設備的一第二位置；及 基於該一或多個連通設備的該第二位置來將該一或多個連通設備映射到該電子設備的座標系中。
  43. 根據請求項29之方法，還包括： 向該連通設備發送被配置為觸發來自該連通設備的該標識輸出的一信號；及 接收來自該連通設備的該標識輸出。
  44. 根據請求項29之方法，其中接收該標識輸出包括： 從由該連通設備廣播的複數個標識輸出中接收一或多個標識輸出，該一或多個標識輸出包括該標識輸出。
TW111128134A 2021-08-02 2022-07-27 映射聯網設備 TW202311909A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/392,156 2021-08-02
US17/392,156 US20230035360A1 (en) 2021-08-02 2021-08-02 Mapping networked devices

Publications (1)

Publication Number Publication Date
TW202311909A true TW202311909A (zh) 2023-03-16

Family

ID=83271247

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111128134A TW202311909A (zh) 2021-08-02 2022-07-27 映射聯網設備

Country Status (5)

Country Link
US (1) US20230035360A1 (zh)
KR (1) KR20240035812A (zh)
CN (1) CN117716253A (zh)
TW (1) TW202311909A (zh)
WO (1) WO2023015127A2 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101989893B1 (ko) * 2012-10-29 2019-09-30 엘지전자 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 출력 방법
KR102201906B1 (ko) * 2014-04-29 2021-01-12 삼성전자주식회사 전자 장치에서 다른 전자 장치를 제어하기 위한 장치 및 방법
US10306411B2 (en) * 2015-07-31 2019-05-28 Inventio Ag Evacuation of buildings with elevator systems
JP2023503257A (ja) * 2019-11-18 2023-01-27 マジック リープ， インコーポレイテッド パス可能世界のマッピングおよび位置特定
US20220405317A1 (en) * 2021-06-18 2022-12-22 Google Llc Remote Control Device with Environment Mapping

Also Published As

Publication number Publication date
US20230035360A1 (en) 2023-02-02
KR20240035812A (ko) 2024-03-18
CN117716253A (zh) 2024-03-15
WO2023015127A3 (en) 2023-03-16
WO2023015127A2 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
US11762619B2 (en) Controlling external devices using reality interfaces
US11699271B2 (en) Beacons for localization and content delivery to wearable devices
EP3345073B1 (en) Localizing devices in an augmented reality environment
US10007349B2 (en) Multiple sensor gesture recognition
US10412379B2 (en) Image display apparatus having live view mode and virtual reality mode and operating method thereof
US11445026B2 (en) Methods, systems, and media for indicating a security status of an internet of things device
TW202113428A (zh) 用於針對頭戴式顯示器產生動態障礙物碰撞警告之系統和方法
WO2023064719A1 (en) User interactions with remote devices
US11195341B1 (en) Augmented reality eyewear with 3D costumes
CN112105983A (zh) 增强的视觉能力
CN105528065A (zh) 向观看者显示定制放置的叠层
TW202311909A (zh) 映射聯網設備
KR20240037261A (ko) 오브젝트들을 추적하기 위한 전자 디바이스
US20210398314A1 (en) Low power visual tracking systems
US20230062244A1 (en) Extended reality control of smart devices
TWI813068B (zh) 計算系統、用於識別可控制裝置之位置之方法及非暫時性電腦可讀媒體
US20240077934A1 (en) Virtual ar interfaces for controlling iot devices using mobile device orientation sensors
US20240077935A1 (en) Virtual interfaces for controlling iot devices
WO2023087005A1 (en) Systems, methods, and media for controlling shared extended reality presentations
KR20240049282A (ko) 스마트 디바이스들의 확장 현실 제어