TWI719412B

TWI719412B - 儲存有與影像中物件相關資料顯示相關聯的指令之電腦可讀媒體

Info

Publication number: TWI719412B
Application number: TW108106521A
Authority: TW
Inventors: 莫希特加普塔
Original assignee: 美商惠普發展公司有限責任合夥企業
Priority date: 2018-10-22
Filing date: 2019-02-26
Publication date: 2021-02-21
Also published as: WO2020086055A1; US20210295046A1; US11430216B2; TW202016796A

Abstract

一種儲存有機器可讀取指令之非暫時性電腦可讀取媒體的一實例。該等指令會致使一控制器可接收一影像並檢測在該影像中的一物件。基於該電子裝置的一環境設置，疊合資料可從一資料庫或一遠端電子裝置被取回以在一顯示器上視覺上地與該物件相關聯。

Description

儲存有與影像中物件相關資料顯示相關聯的指令之電腦可讀媒體

本發明係有關於顯示與影像中物件相關之資料的技術。

擴增實境(AR)可以包括接收影像並顯示影像，同時顯示與該等影像中物件相關聯的疊合資料。在該等影像中的物件可被識別出，並且與該等物件相關聯之相應的疊合資料被取回並顯示在該等影像上。

依據本發明之一實施例，係特地提出一種一種儲存有機器可讀取指令的電腦可讀取媒體，當該等機器可讀取指令由一電子裝置的一控制器來執行時，會致使該控制器可以：經由該電子裝置的一成像裝置接收一影像；檢測在該影像中的一物件；確定該電子裝置的一環境設置；基於該環境設置查詢儲存在該電子裝置中的一資料庫以查找與該物件相關的疊合資料；當該疊合資料被儲存在該資料庫中時，從該資料庫取回該疊合資料；當該疊合資料被儲存在一遠端電子裝置上時，向一第二電子裝置發送一訊息，該訊息包括有該物件的識別資料及對該疊合資料的一請求，並且經由該第二電子裝置從該遠端電子裝置接收該疊合資料；以及在該電子裝置的一顯示器上視覺上地把該疊合資料與該物件相關聯。

100:系統

110:AR裝置

120、170:控制器

125、180:電腦可讀取媒體

127、185:指令

129:資料庫

130:成像裝置

135:顯示器

140、190:網路介面連接器

150:網際網路

160:第二電子裝置

187:資料庫條目

200、300、400:方法

210~270、310~350、410~445:方塊

500:顯示器

510:一盒穀物

520:虛線方塊

530:文字方塊

540:疊合資料

550:湯匙

560:碗

570:容器

下面參考以下的附圖，各種實例將被描述：圖1展示出一種系統，該系統具有耦合到一第二電子裝置的一AR裝置；圖2根據各種實例展示出一種方法的流程圖，用以基於一環境設置來取回疊合資料及以在一顯示器上視覺上把該疊合資料與一物件相關聯；圖3根據各種實例展示出一種方法的流程圖，用以基於一環境設置以一資料庫登錄從一資料庫取回疊合資料；圖4根據各種實例展示出一種方法的流程圖，用以基於一環境設置把疊合資料發送給一第二電子裝置；以及圖5根據各種實例展示出一種具有疊合資料的顯示器。

AR裝置可以在一顯示器上疊合資料以提供有關於在該視野中所檢測到一物件的資訊。由於對應於一物件的該疊合資料量可能很大，一AR裝置可以在一特定的使用領域內顯示疊合資料。例如，在一零售商店中一顧客所使用的一AR裝置可以識別出待售的產品並顯示該等產品的價格資訊。在該零售商店中一員工所使用的一AR裝置可以提供有關於一產品的庫存商品數量以及該產品下一次重新進貨之日期及數量的疊合資料。當該顧客或員工離開該商店時，他們可以使用一AR裝置來識別並顯示最快的回家路線。

藉由確定一AR裝置的環境設置，相同的AR裝置可被使用來連接疊合資料之不同的來源以提供疊合資料之一種適合環境的顯示。一位使用者可能在一零售商店工作。在打卡上班之後，該AR裝置可以提供與貨架上產品之庫存相關的疊合資料。在打卡下班之後，該環境設置可以從該商店的員工切換為該商店的一位顧客，因為該使用者當在回家之前的購物時會看到產品的價格。在離開該商店之後，該環境設置可以切換並且該AR裝置可以識別並顯示出最快的回家路線。用於該環境設置之該適當的疊合資料可能不被儲存在該AR裝置的本地裝置上，而是被儲存在一遠端的資料庫中。隨著該AR裝置之環境設置的改變，儲存在該本地裝置上的該疊合資料可經由與該遠端資料庫的一連接來被修改。該AR裝置可以識別出在該本地裝置上及在該遠端資料庫中都缺乏疊合資料的一物件，並且標記該物件用於進一步分析並可能新增到一資料庫。一位使用者的興趣可被追踪及更新用以影響該環境設置。

在根據本發明的一個實例中，提供了一種裝置。該裝置包含一儲存有機器可讀取指令之一非暫時性的電腦可讀取媒體，當該等機器可讀取指令由一電子裝置的一控制器執行時，會致使該控制器可以：經由該電子裝置的一成像裝置接收一影像；檢測在該影像中的一物件；確定該電子裝置的一環境設置；基於該環境設置查詢儲存在該電子裝置中的一資料庫以查找與該物件相關的疊合資料；當該疊合資料被儲存在該資料庫中時，從該資料庫中取回該疊合資料；當該疊合資料被儲存在一遠端電子裝置上時，向一第二電子裝置發送一訊息，該訊息包括有該物件的識別資料及對該疊合資料的一請求，並且經由該第二電子裝置從該遠端電子裝置接收該疊合資料；以及在該電子裝置的一顯示器上視覺上地把該疊合資料與該物件相關聯。

在根據本發明的一個實例中，提供了一種裝置。該裝置包含一儲存有機器可讀取指令的一非暫時性的電腦可讀取媒體，當該等機器可讀取指令由一電子裝置的一控制器執行時，會致使該控制器可以：接收一使用者識別；基於該使用者識別確定該電子裝置的一環境設置；基於該環境設置向一第二電子裝置發送對一資料庫條目的一請求；從該第二電子裝置接收該資料庫條目；儲存該資料庫條目到儲存在該電子裝置中的一資料庫中；經由該電子裝置的一成像裝置接收一影像；檢測在該影像中的一物件；查詢該資料庫以查找與該物件相關的疊合資料；從該資料庫中取回該疊合資料，該疊合資料對應於該資料庫條目；以及在該電子裝置的一顯示器上視覺上地把該疊合資料與該物件相關聯。

在根據本發明的一個實例中，提供了一種裝置。該裝置包含一儲存有機器可讀取指令的一非暫時性的電腦可讀取媒體，當該等機器可讀取指令由一電子裝置的一控制器執行時，會致使該控制器可以：從一第二電子裝置接收一使用者識別；基於該使用者識別確定該第二電子裝置的一環境設置；基於該環境設置選擇一疊合資料；把該疊合資料發送給該第二電子裝置；接收來自該第二電子裝置的一訊息，該訊息包括有一物件的識別資料；基於該識別資料及該環境設置選擇一第二疊合資料；以及把該第二疊合資料發送給該第二電子裝置。

圖1展示出一系統100，該系統具有耦合到一第二電子裝置160的一AR裝置110。AR裝置110可包括一控制器120、一電腦可讀取媒體125、一成像裝置130、一顯示器135、以及一網路介面連接器140。該第二電子裝置160可包括一控制器170、一電腦可讀取媒體180、以及一網路介面連接器190。該等網路介面連接器140、190可以耦合該AR裝置110與該第二電子裝置160，該耦合係經由一有線連接，諸如以太網路電纜或通用串列匯流排(USB)；或經由一無線連接，諸如WiFi。該等網路介面連接器140、190可以包括不同種類的連接器，諸如包括有一WiFi連接器的網路介面連接器140及包括有一有線以太網連接器的網路介面連接器190。該AR裝置110可以經由網際網路(或其他合適的網路，諸如一區域網路)150被耦合到該第二電子裝置160。

在各種實例中，該等控制器120、170可包含一微處理器、一微電腦、一微控制器、一現場可規劃閘陣列(FPGA)、或用以執行機器可讀取指令的分立式邏輯。該等控制器120、170可以分別是AR裝置110或第二電子裝置160的一部分，該等裝置可以包括諸如膝上型或桌上型電腦、伺服器、行動電話、平板電腦、或物聯網(IoT)裝置。該控制器120可被耦合到該電腦可讀取媒體125、成像裝置130、顯示器135、以及網路介面連接器140，諸如經由一匯流排。該控制器170可被耦合到該電腦可讀取媒體180以及網路介面連接器190，諸如經由一匯流排。

該等電腦可讀取媒體125、180可以包括一硬碟、固態硬碟(SSD)、快閃記憶體、電可抹除可規劃唯讀記憶體(EEPROM)、或隨機存取記憶體(RAM)。該電腦可讀取媒體125可以儲存指令127及一資料庫129。該電腦可讀取媒體180可以儲存指令185及一資料庫條目187。該等指令127、185可分別由該等控制器120、170來執行。該等指令127、185可以包括機器可讀取指令以執行在圖2、3、以及4之該等流程圖中所描繪的以及在本說明書之其他地方所揭露的該等方法及公開內容。該資料庫129可以包括疊合資料。該資料庫條目187可被儲存在該電腦可讀取媒體180上的一資料庫中。

該成像裝置130可以是一相機，該相機擷取影像成為靜止照片或視訊。該等影像可以是黑白或彩色影像。該顯示器135可以是一發光二極體(LED)顯示器或其他顯示器，諸如使用在一智慧型手機或平板電腦中的顯示器。該顯示器135可以是一透明或半透明的顯示器，使得該使用者可以透過該顯示器135觀看周圍的環境，諸如包含有影像可被放置在其上之玻璃或塑料的一帽舌。該透明或半透明的顯示器135可以顯示資訊使得該顯示器的一部分變得不太透明或甚至不透明。

圖2根據各種實例展示出一種方法200的流程圖，該方法基於一環境設置來取回疊合資料並且在一顯示器上視覺上地把該疊合資料與一物件相關聯。該方法200包括經由該電子裝置的一成像裝置接收一影像(210)。該方法200包括檢測在該影像中的一物件(220)。該方法200包括確定該電子裝置的一環境設置(230)。該方法200包括基於該環境設置查詢儲存在該電子裝置中的一資料庫以查找與該物件相關的疊合資料(240)。該方法200包括當該疊合資料被儲存在該資料庫中時，從該資料庫中取回該疊合資料(250)。該方法200包括，當該疊合資料被儲存在一遠端電子裝置上時，向一第二電子裝置發送一訊息，該訊息包括有該物件的識別資料及對該疊合資料的一請求，並且經由該第二電子裝置從該遠端電子裝置接收該疊合資料(260)。該方法200包括在該電子裝置的一顯示器上視覺上地把該疊合資料與該物件相關聯(270)。

在各種實例中，該AR裝置可以經由該網路介面連接器連接到一第二電子裝置。該第二電子裝置可以是一伺服器、膝上型或桌上型電腦、行動電話、或其他裝置。該AR裝置可以在對該第二電子裝置沒有一有效連接的情況下運行，獨立地擷取影像、識別在該等影像中的物件、以及取回及顯示疊合資料。該AR裝置可以針對附加的功能來利用該第二電子裝置。例如，在該AR裝置上的該控制器可能具有有限的處理能力。該AR裝置可以把該影像傳送到該第二電子裝置，並且該第二電子裝置識別出在該等影像中的物件並取回用於該AR裝置的疊合資料以進行顯示。該AR裝置可以識別在該等影像中的物件，但是對於疊合資料具有有限的儲存能力。該AR裝置可以在該AR裝置中的一資料庫查詢疊合資料以進行顯示。如果該疊合資料不在該AR裝置的該資料庫中，則該AR裝置可以把該物件的識別資料發送給該第二電子裝置以請求相關的疊合資料。

該AR裝置可以包括執行一AR應用程式的一行動電話或一平板電腦。該行動電話可以包括用以擷取影像並在該顯示器上顯示該等影像的一相機。該疊合資料可被添加到在該顯示器上被顯示的該等影像上。該等影像可以包括用該相機所拍攝的一靜止照片，該疊合資料會被添加到其上。例如，一位使用者可致使該AR應用程式來拍攝一物件的一相片，從而請求有關於該物件的疊合資料。該顯示器可以在該行動電話顯示器的一部分上顯示該相片並添加疊合資料。該疊合資料可被直接地重疊在該影像上或者與該相片相鄰地被顯示。方框或其他形狀可被疊加在該影像上以視覺上地把被檢測到的物件與該對應的疊合資料相關聯。這些形狀可被顏色編碼以匹配該疊合資料。該顏色編碼的選擇可以基於該相片以確保在該顯示器上該等形狀或疊合資料的顯示係可見的而不會在該等相片中被丟失，諸如與該影像的該背景顏色相同。

該環境設置係該AR裝置正被使用在其中的該環境。該環境設置可基於一些因素，諸如位置、一天中的時刻、日期、以及該使用者。例如，該AR裝置可以識別出該位置係一工作位置並且確定該環境設置包括一工作成分。該AR裝置可以識別出對應於一家庭的一位置，特別是該使用者的家，並且確定該環境設置包括一家庭成分。該AR裝置可以識別出對應於一商店的一位置，並確定該環境設置包括一購物成分。

在各種實例中，該環境設置可以基於在一天中的時刻。在早晨8：00，該環境設置可以包括一通勤成分。該環境設置可以考慮位置，諸如該AR裝置正處於一家庭位置處，並且可以考慮一工作時間表，諸如從一電子郵件或網站注意到該使用者被安排在早上8：30開始工作。在早上8：30，該環境設置可能不再包括一通勤成分，其可以部分地藉由到達一工作位置來被確定。在中午之前不久，該環境設置可被確定並被改變成包括一午餐成分。在環境設置中的這種改變會導致在該AR裝置的視野中選擇與附近餐館或餐館價格及菜單選項有關的疊合資料。在晚上5：30，該AR裝置可以確定該環境設置應該不再包括一工作成分。基於該使用者之先前行為或日曆條目的記錄，在那時刻可以包括一晚餐成分或通勤成分。

該疊合資料可以包括不同的格式，諸如文字、圖片、或視訊。在該使用者與AR裝置之間的互動可允許該疊合資料的修改。例如，該AR裝置一開始可檢測一餐館做為一影像中的一物件。該AR裝置可以提供疊合資料，該疊合資料識別出該餐館名稱並指出它是否營運中。該使用者可指出對該餐館感興趣，致使該AR裝置顯示一菜單或評價。該使用者可以繼續指出對其的興趣，致使該AR裝置可通過網際網路與該餐館的一訂位應用程式互動，確定即時座位或訂位的可獲得性以及為該使用者進行晚餐訂位。該AR裝置可以檢測在該影像中的一汽車電池並確定該環境設置包括汽車修理。該疊合資料可以描述該汽車電池的型號並把其與該使用者所已知擁有的汽車相關聯，指出該汽車電池是否適合作為一替換電池。該AR裝置可以顯示疊合資料，該疊合資料包含有一視訊，其具有有關於如何更換一汽車電池的相應音訊。

一種方法可包括經由該電子裝置的一成像裝置接收一影像。一種方法可包括經由該成像裝置接收一第二影像。一種方法可包括檢測在該影像中的一物件。一種方法可包括檢測在該第二影像中的一第二物件。一種方法可包括確定該電子裝置的一環境設置。一種方法可包括基於該環境設置查詢儲存在該電子裝置中的一資料庫以查找與該物件相關的疊合資料。一種方法可包括，當該疊合資料被儲存在該資料庫中時，從該資料庫中取回該疊合資料。一種方法可包括，當該疊合資料被儲存在一遠端電子裝置上時，向一第二電子裝置發送一訊息，該訊息包括有該物件的識別資料及對該疊合資料的一請求，並且經由該第二電子裝置從該遠端電子裝置接收該疊合資料。一種方法可包括，向該第二電子裝置發送一第二訊息，該第二訊息包括有該第二物件的第二識別資料及對第二疊合資料的一請求。一種方法可包括，經由該第二電子裝置從該遠端電子裝置接收該第二疊合資料。一種方法可包括在該電子裝置的一顯示器上視覺上地把該疊合資料與該物件相關聯。一種方法可包括在該顯示器上視覺上地把該第二疊合資料與該第二物件相關聯。

一種方法可包括經由該電子裝置的一成像裝置接收一影像。一種方法可包括檢測在該影像中的一物件。一種方法可包括接收一使用者識別。一種方法可包括基於該使用者識別確定該電子裝置的一環境設置。一種方法可包括基於該環境設置查詢儲存在該電子裝置中的一資料庫以查找與該物件相關的疊合資料。一種方法可包括，當該疊合資料被儲存在該資料庫中時，從該資料庫中取回該疊合資料。一種方法可包括，當該疊合資料被儲存在一遠端電子裝置上時，向一第二電子裝置發送一訊息，該訊息包括有該物件的識別資料及對該疊合資料的一請求，並且經由該第二電子裝置從該遠端電子裝置接收該疊合資料。一種方法可包括在該電子裝置的一顯示器上視覺上地把該疊合資料與該物件相關聯。一種方法可包括接收一第二使用者識別。一種方法可包括基於該第二使用者識別確定該電子裝置的一第二環境設置。一種方法可包括經由該成像裝置接收一第二影像。一種方法可包括檢測在該第二影像中的該物件。一種方法可包括基於該第二環境設置查詢該資料庫以查找與該物件相關的第二疊合資料。一種方法可包括從該資料庫取回該第二疊合資料。一種方法可包括在該顯示器上視覺上地把該第二疊合資料與該物件相關聯。

在各種實例中，該AR裝置的一位使用者可向該AR裝置提供一使用者識別。這可允許在一成功的使用者識別之後，基於該使用者的興趣，藉由修改該環境設置來為特定的使用者定制該裝置的使用方式。該使用者識別可以包括一使用者名字及密碼。該使用者識別可包括生物測定學。例如，生物測定學可以包括臉部識別、虹膜識別、或指紋識別。因此，一家庭可以在不同時間共享該AR裝置，父母及孩子即使對於相同的物件也會看到不同的疊合資料。父母可以登入該AR裝置，為該父母適當地確定該環境設置，並看到有關於一盒穀物之營養價值的疊合資料。一孩子可以登入到該同一AR裝置，該AR裝置為該孩子確定一不同的環境設置，並顯示可在同一盒穀物中會被發現為玩具或驚奇物之該等有可能的不同項目。

一種方法可包括經由該電子裝置的一成像裝置接收一影像。一種方法可包括檢測在該影像中的一物件。一種方法可包括檢測在該影像中的一第二物件。一種方法可包括確定該電子裝置的一環境設置。一種方法可包括基於該環境設置查詢儲存在該電子裝置中的一資料庫以查找與該物件相關的疊合資料。一種方法可包括基於該環境設置查詢該資料庫以查找與該第二物件相關的第二疊合資料。一種方法可包括，當該疊合資料被儲存在該資料庫中時，從該資料庫中取回該疊合資料。一種方法可包括從該資料庫中取回該第二疊合資料。一種方法可包括，當該疊合資料被儲存在一遠端電子裝置上時，向一第二電子裝置發送一訊息，該訊息包括有該物件的識別資料及對該疊合資料的一請求，並且經由該第二電子裝置從該遠端電子裝置接收該疊合資料。一種方法可包括在該電子裝置的一顯示器上視覺上地把該疊合資料與該物件相關聯。一種方法可包括在該顯示器上把該疊合資料與該物件進行該視覺關聯的期間，在該顯示器上視覺上地把該第二疊合資料與該第二物件相關聯。

在各種實例中，多個物件可在該影像中被檢測到。基於該AR裝置的設置，可以在同一時間顯示與該等多個物件相對應的多個疊合資料。用於一物件的疊合資料可來自儲存在該AR裝置上的一資料庫，而用於另一個物件的疊合資料可來自一遠端電子裝置。該遠端電子裝置可從其自己的資料庫或一連接的資料庫中取回該疊合資料。在從該遠端電子裝置取回疊合資料時，該AR裝置可以向該遠端電子裝置發送一請求疊合資料的訊息。該訊息可包括正被請求疊合資料之該物件的識別資料。該識別資料可包括正由該AR裝置處理的該影像或顯示出該物件的一裁剪影像。該識別資料可以包括經處理的資料，諸如該物件的形式及形狀、該物件的一網格輪廓、或該物件的其他獨特特徵。在識別該物件時，如此的識別資料可以與一參考影像或參考資料進行比較。該AR裝置可能已經識別出該物件是什麼，但是還沒有用於該物件的疊合資料。該識別資料可以是識別出該物件的一全域唯一識別碼(GUID)。所使用的該特定識別資料可取決於該AR裝置的其他方面係如何被實現的。

圖3根據各種實例展示出一種方法300的流程圖，用以基於一環境設置從具有一資料庫條目的一資料庫中取回疊合資料。該方法300包括接收一使用者識別(310)。該方法300包括基於該使用者識別確定該電子裝置的一環境設置(312)。該方法300包括基於該環境設置向一第二電子裝置發送對一資料庫條目的一請求(314)。該方法300包括從該第二電子裝置接收該資料庫條目(316)。該方法300包括把該資料庫條目儲存到儲存在該電子裝置中的一資料庫中(318)。該方法300包括經由該電子裝置的一成像裝置接收一影像(320)。該方法300包括檢測在該影像中的一物件(330)。該方法300包括查詢該資料庫以查找與該物件相關的疊合資料(340)。該方法300包括從該資料庫中取回該疊合資料，該疊合資料對應於該資料庫條目(345)。該方法300包括在該電子裝置的一顯示器上視覺上地把該疊合資料與該物件相關聯(350)。

在各種實例中，出現在該AR裝置上的該等資料庫條目可以基於該環境設置。當確定該環境設置時，可以基於該環境設置從該第二電子裝置請求資料庫條目。不對應於該環境設置的資料庫條目可從在該AR裝置上的該資料庫處被移除。快取可被使用來儲存不對應於該當前環境設置，但會對應於經常遇到之一環境設置的資料庫條目。對應於一包括有一工作成分或一家庭成分之環境設置的資料庫條目可被保持儲存在該AR裝置上，而不是頻繁地添加及刪除該等資料庫條目。當預期有一環境設置變化時，資料庫條目也可被預先載入。例如，可以在該環境設置被改變成包括一餐館成分之前一個小時預先載入與餐館相關的資料庫條目。還可以考慮旅行的方向，因此當一位使用者在城市之間旅行時，可以把在該路途上之更遠城市中餐館的資料庫條目載入到在該AR裝置上的該資料庫中，而非已經過之餐館的資料庫條目。

一種方法可包括接收一使用者識別，其中該使用者識別包括一登錄名字及一密碼。一種方法可包括基於該使用者識別確定該電子裝置的一環境設置。一種方法可包括基於該環境設置向一第二電子裝置發送對一資料庫條目的一請求。一種方法可包括從該第二電子裝置接收該資料庫條目。一種方法可包括把該資料庫條目儲存到存在該電子裝置中的一資料庫中。一種方法可包括經由該電子裝置的一成像裝置接收一影像。一種方法可包括檢測在該影像中的一物件。一種方法可包括查詢該資料庫以查找與該物件相關的疊合資料。一種方法可包括從該資料庫中取回該疊合資料，該疊合資料對應於該資料庫條目。一種方法可包括在該電子裝置的一顯示器上視覺上地把該疊合資料與該物件相關聯。一種方法可包括從一時間源接收在一天中的一時間。一種方法可包括基於該使用者識別及在一天中的該時間確定該電子裝置的一第二環境設置。一種方法可包括基於該第二環境設置向一第二電子裝置發送對一第二資料庫條目的一第二請求。一種方法可包括對確定該第二環境設置做出回應，從該資料庫移除該資料庫條目。一種方法可包括從該第二電子裝置接收該第二資料庫條目。一種方法可包括把該第二資料庫條目儲存在該資料庫中。一種方法可包括經由該成像裝置接收一第二影像。一種方法可包括檢測在該第二影像中的該物件。一種方法可包括確定該疊合資料及該第二疊合資料被儲存在該資料庫中並且對應於該物件。一種方法可包括基於對該第二環境設置的該確定選擇將被顯示在該顯示器上的該第二疊合資料。一種方法可包括在該顯示器上視覺上地把一第二疊合資料與該物件相關聯，該第二疊合資料對應於該第二資料庫條目。

圖4根據各種實例展示出一種方法400的流程圖，用以基於一環境設置把疊合資料發送給一第二電子裝置。該方法400包括從一第二電子裝置接收一使用者識別(410)。該方法400包括基於該使用者識別確定該第二電子裝置的一環境設置(415)。該方法400包括基於該環境設置選擇一疊合資料(420)。該方法400包括把該疊合資料發送給該第二電子裝置(425)。該方法400包括接收來自該第二電子裝置的一訊息，該訊息包括有一物件的識別資料(430)。該方法400包括基於該識別資料及該環境設置選擇一第二疊合資料(440)。該方法400包括把該第二疊合資料發送給該第二電子裝置(445)。

在各種實例中，一伺服器、本地處理裝置、或類似裝置可以確定該AR裝置的該環境設置。一伺服器可以處於遠離該AR裝置的地方並經由網際網路來被存取。一本地處理裝置可以為該AR裝置提供處理能力。例如，該AR裝置可以包括一帽舌或耳機，而一本地處理裝置可以包括一行動電話、膝上型或桌上型電腦、或係定制設計並與該AR裝置配對來執行該處理之一部分的一處理裝置。這可使得該AR裝置有較小的重量，因為該處理係由一本地處理裝置來執行，該處理裝置可被定位於同一房間中或附接到在皮帶上或在該使用者的口袋中。如此的一系統還可以連接到儲存有額外疊合資料的一遠端伺服器。該本地處理裝置或伺服器可以確定該AR裝置的該環境設置。該本地處理裝置或伺服器可以接收包括有識別資料或由該AR裝置所擷取之整個影像的一訊息，並把相應的疊合資料發送到該AR裝置以供顯示。

在各種實例中，該顯示器、處理器、電腦可讀取媒體、以及成像裝置可被耦合在一起但不被放置在同一個實體機殼中。這可以允許該AR裝置的模組化，潛在地可允許容易地升級或組件的替換。這可允許該處理器可為不同的使用者服務多個顯示器。

一種方法可包括從一第二電子裝置接收一使用者識別。一種方法可包括基於該使用者識別確定該第二電子裝置的一環境設置。一種方法可包括基於該環境設置選擇一疊合資料。一種方法可包括把該疊合資料發送給該第二電子裝置。一種方法可包括接收來自該第二電子裝置的一訊息，該訊息包括有一物件的識別資料。一種方法可包括基於該識別資料及該環境設置選擇一第二疊合資料。一種方法可包括把該第二疊合資料發送給該第二電子裝置。一種方法可包括基於該使用者識別分析在一電子郵件帳戶中的一電子郵件以確認對應於該使用者識別的一種感興趣的主題。一種方法可包括基於該感興趣的主題選擇一第三資料疊合。一種方法可包括把該第三資料疊合發送給該第二電子裝置。

在各種實例中，該AR裝置或相關聯的系統可以識別一使用者感興趣的主題。這些感興趣的主題可被使用來基於該使用者來更新該環境設置。一位使用者可以與一電子郵件帳戶、一網路瀏覽器歷史、一日曆、文字訊息、一電話對話、或其他的資訊相關聯。這個資訊可被分析以確定該使用者感興趣的主題或在該使用者生活中所發生的事件。例如，一電子郵件搜索可以揭示該使用者通過電子郵件定期地討論汽車，因此用於該使用者的該環境設置可以包括識別汽車的品牌、年份、以及型號的一汽車成份。該日曆可以指出一即將到來的周年紀念日或生日，使得該環境設置會在經過或進入商店時提出一提醒或建議。機器學習可被使用來相關聯到處理如此資料以及預測使用者可能感興趣主題。基於這樣的預測，當該使用者被登入時，物件可被添加到一資料庫以供該AR裝置使用。該使用者可被提供一通知，該通知請求使用者確認由機器學習所建議的一感興趣主題。當該使用者不再對這些主題感興趣時，機器學習還可被使用來從該資料庫中做確認並移除物件。一位使用者還可以指出感興趣的主題。例如，用於一位新使用者之該配置的一部分可以包括從有疊合資料可使用的一組主題中選擇感興趣的主題。當該使用者興趣的改變時或者當整個系統錯誤地識別出該使用者不感興趣的一主題時，該使用者可以修改該等感興趣的主題。在該使用者識別與這些感興趣主題之間的一關聯可被儲存，諸如儲存在一使用者配置文件或使用者設置之中。

一種方法可包括從一第二電子裝置接收一使用者識別。一種方法可包括基於該使用者識別確定該第二電子裝置的一環境設置。一種方法可包括基於該環境設置選擇一疊合資料。一種方法可包括把該疊合資料發送給該第二電子裝置。一種方法可包括接收來自該第二電子裝置的一訊息，該訊息包括有一物件的識別資料。一種方法可包括基於該識別資料及該環境設置選擇一第二疊合資料。一種方法可包括把該第二疊合資料發送給該第二電子裝置。一種方法可包括接收一訊息，該訊息指出對應於該使用者識別的一感興趣主題。一種方法可包括儲存在該使用者識別與該感興趣主題之間的一關聯。一種方法可包括基於該感興趣的主題選擇一第三資料疊合。一種方法可包括把該第三資料疊合發送給該第二電子裝置。

一種方法可包括從一第二電子裝置接收一使用者識別。一種方法可包括基於該使用者識別確定該第二電子裝置的一環境設置。一種方法可包括基於該環境設置選擇一疊合資料。一種方法可包括把該疊合資料發送給該第二電子裝置。一種方法可包括接收來自該第二電子裝置的一訊息，該訊息包括有一物件的識別資料。一種方法可包括基於該識別資料及該環境設置選擇一第二疊合資料。一種方法可包括把該第二疊合資料發送給該第二電子裝置。一種方法可包括從一時間源接收在一天中的一時間。一種方法可包括基於該使用者識別及在一天中的該時間確定該第二電子裝置的一第二環境設置。一種方法可包括向該第二電子裝置發送一訊息，該訊息指出該第二電子裝置之該環境設置的一改變。一種方法可包括基於該第二環境設置選擇一第三資料疊合。一種方法可包括把該第三資料疊合發送給該第二電子裝置。

一種方法可包括從一第二電子裝置接收一使用者識別。一種方法可包括基於該使用者識別確定該第二電子裝置的一環境設置。一種方法可包括基於該環境設置選擇一疊合資料。一種方法可包括把該疊合資料發送給該第二電子裝置。一種方法可包括接收來自該第二電子裝置的一訊息，該訊息包括有一物件的識別資料。一種方法可包括基於該識別資料及該環境設置選擇一第二疊合資料。一種方法可包括把該第二疊合資料發送給該第二電子裝置。一種方法可包括從該第二電子裝置接收一第二訊息，該第二訊息包括一第二物件的第二識別資料。一種方法可包括基於該環境設置及該第二識別資料來搜尋一第三疊合資料。一種方法可包括基於該搜尋來指定用於疊合處理的該第二識別資料。

在各種實例中，該使用者可能感興趣的一物件其並沒有疊合資料存在或是期望有一種不同種類型的疊合資料。該使用者可能對汽車感興趣，而該AR裝置可能顯示出車的廠牌、型號、以及年份。當新車發布時，該AR裝置雖然可能能夠把該汽車識別為一汽車，但卻無法識別出廠牌、型號、以及年份，因為它尚未進入整個系統中。因此，該AR裝置可能會請求該汽車的疊合資料，但目前尚無該資料。一伺服器可以記錄在搜尋疊合資料時無法被找到的這種請求，並指定對應於該物件的識別資料用於進行疊合處理。該疊合處理可以是自動的或涉及與人的互動。該疊合處理可以包括判定在該系統中是否存在一錯誤，並且是否係由於不良的照明或損壞，諸如處於一事故中的一汽車，而未能正確地識別出一已知的物件。該疊合處理可以包括判定該物件不在整個系統的資料庫中並且應該被新增。該疊合處理可以包括判定該物件係在整個系統的資料庫中，但是額外的疊合資料應被新增以對應到不同的環境設置。這個判定可以基於使用者與AR裝置的互動，指出額外的疊合資料或一特定類型的疊合資料係所欲的。藉由自動化識別出缺失物件或缺失疊合資料的該過程，這可能會有益於整個系統。由於如此缺失資料被標記了，因此其可被指定用於疊合處理以潛在地擴展由整個系統所使用的該等資料庫。在一些實例中，該物件可能係已知的並且具有疊合資料，但是新增有關於該物件之一成份的資料可能是有用的。一種汽車可能是已知的並且具有疊合資料，但可以識別出並具有有關於該輪胎、該引擎、該電池、或甚至在該引擎中之特定螺釘或螺栓的疊合資料也可能會是有用的。

在各種實例中，一單一AR裝置或應用程式可跨越各式各樣的環境設置來被使用。當人們在工作時相對於在家裡閒逛時，或者當人們想要有關於餐館的資訊相對於有關於在該餐館停車場中之該等汽車的資訊時，不是手動地替換裝置，而是使用一單一AR裝置和應用程式。被顯示的資訊可基於該確定的環境設置來做改變。這還可以允許同時顯示有關於該餐館與在該餐館停車場中汽車兩者的疊合資料。

圖5根據各種實例展示出具有疊合資料540的一顯示器500。顯示器500可以是執行一AR應用程式之一行動電話的一部分。該行動電話的相機可以在早餐時擷取一影像。該影像可以包括物件，諸如一盒穀物510、包含有穀物的一個碗560、一支湯匙550、以及有牛奶的一個容器570。該AR應用程式可以把該盒穀物510檢測為在該影像中的一物件。該AR應用程式可以取回與該盒穀物510相關的疊合資料540。該疊合資料540可以包括資訊例如有關於該物件的名稱、該物件價格、以及食物的營養資訊(例如，卡路里數)。該AR應用程式可以在該顯示器500上顯示該疊合資料540，並且可視覺上地把該疊合資料540與該物件相關聯。該疊合資料540可被顯示為被新增到該影像之文字方塊530的一部分。該文字方塊530可以具有一透明、半透明、或不透明的背景。藉由在該影像上的該物件周圍疊合諸如一虛線方塊520的一形狀，並且藉由疊合耦合該虛線方塊520與該文字方塊530的一條線，可以在視覺上地把疊合資料540與該物件相關聯。該AR應用程式可以識別出在該影像中的附加物件，諸如該湯匙550。該湯匙550可能有疊合資料可以使用，但是可以不顯示該資料。可以限制疊合資料的顯示以避免該該顯示器500的雜亂。該AR應用程式可以基於該行動電話的該環境設置來判定該等最相關的物件或最相關的疊合資料。

以上的討論旨在說明本發明的該等原理和各種實例。一旦上述的揭露內容被完全地理解，許多的變化和修改對於本領域的習知技藝者將變得顯而易見。以下的請求項被解讀為意圖包含所有的這些變化和修改。

200:方法

210~270:方塊

Claims

一種儲存有機器可讀指令的電腦可讀媒體，該等機器可讀指令在由一電子裝置的一控制器執行時，致使該控制器進行下列動作：經由該電子裝置的一成像裝置接收一影像；檢測該影像中的一物件；確定該電子裝置的一環境設置；基於該環境設置查詢儲存在該電子裝置中的一資料庫以查找與該物件相關的疊合資料；當該疊合資料儲存在該資料庫中時，從該資料庫取回該疊合資料；當該疊合資料儲存在一遠端電子裝置上時，向一第二電子裝置發送一訊息，該訊息包括有該物件的識別資料及對該疊合資料的一請求，並且經由該第二電子裝置從該遠端電子裝置接收該疊合資料；以及在該電子裝置的一顯示器上視覺上地把該疊合資料與該物件相關聯。
如請求項1之電腦可讀媒體，其中該等機器可讀指令在由該控制器執行時，致使該控制器進行下列動作：經由該成像裝置接收一第二影像；檢測該第二影像中的一第二物件；向該第二電子裝置發送一第二訊息，該第二訊息包括有該第二物件的第二識別資料及對第二疊合資料的一請求；經由該第二電子裝置從該遠端電子裝置接收該第二疊合資料；以及在該顯示器上視覺上地把該第二疊合資料與該第二物件相關聯。
如請求項1之電腦可讀媒體，其中該等機器可讀指令在由該控制器執行時，致使該控制器接收一使用者識別碼，其中該環境設置的確定係基於該使用者識別碼。
如請求項3之電腦可讀媒體，其中該等機器可讀指令在由該控制器執行時，致使該控制器進行下列動作：接收一第二使用者識別碼；基於該第二使用者識別碼確定該電子裝置的一第二環境設置；經由該成像裝置接收一第二影像；檢測該第二影像中的該物件；基於該第二環境設置查詢該資料庫以查找與該物件相關的第二疊合資料；從該資料庫取回該第二疊合資料；以及在該顯示器上視覺上地把該第二疊合資料與該物件相關聯。
如請求項1之電腦可讀媒體，其中該等機器可讀指令在由該控制器執行時，致使該控制器進行下列動作：檢測該影像中的一第二物件；基於該環境設置查詢該資料庫以查找與該第二物件相關的第二疊合資料；從該資料庫取回該第二疊合資料；以及於在該顯示器上把該疊合資料與該物件進行視覺關聯的期間，在該顯示器上視覺上地把該第二疊合資料與該第二物件相關聯。
一種儲存有機器可讀指令的電腦可讀媒體，該等機器可讀指令在由一電子裝置的一控制器執行時，致使該控制器進行下列動作：接收一使用者識別碼；基於該使用者識別碼確定該電子裝置的一環境設置；基於該環境設置向一第二電子裝置發送對一資料庫條目的一請求；從該第二電子裝置接收該資料庫條目；把該資料庫條目存到該電子裝置中所儲存的一資料庫中；經由該電子裝置的一成像裝置接收一影像；檢測該影像中的一物件；查詢該資料庫以查找與該物件相關的疊合資料；從該資料庫中取回該疊合資料，該疊合資料對應於該資料庫條目；以及在該電子裝置的一顯示器上視覺上地把該疊合資料與該物件相關聯。
如請求項6之電腦可讀媒體，其中該等機器可讀指令在由該控制器執行時，致使該控制器進行下列動作：從一時間源接收在一天中的一時間；基於該使用者識別碼及在一天中的該時間確定該電子裝置的一第二環境設置；基於該第二環境設置向一第二電子裝置發送對一第二資料庫條目的一第二請求；從該第二電子裝置接收該第二資料庫條目；把該第二資料庫條目儲存在該資料庫中；經由該成像裝置接收一第二影像；檢測該第二影像中的該物件；以及在該顯示器上視覺上地把一第二疊合資料與該物件相關聯，該第二疊合資料對應於該第二資料庫條目。
如請求項7之電腦可讀媒體，其中該等機器可讀指令在由該控制器執行時，致使該控制器響應於確定該第二環境設置，從該資料庫移除該資料庫條目。
如請求項7之電腦可讀媒體，其中該等機器可讀指令在由該控制器執行時，致使該控制器進行下列動作：確定該疊合資料及該第二疊合資料儲存在該資料庫中並且對應於該物件；以及基於該第二環境設置的該確定選擇將要顯示在該顯示器上的該第二疊合資料。
如請求項6之電腦可讀媒體，其中該使用者識別碼包括一登入名字及一密碼。
一種儲存有機器可讀指令的電腦可讀媒體，該等機器可讀指令在由一電子裝置的一控制器執行時，致使該控制器進行下列動作：從一第二電子裝置接收一使用者識別碼；基於該使用者識別碼確定該第二電子裝置的一環境設置；基於該環境設置選擇一疊合資料；把該疊合資料發送給該第二電子裝置；接收來自該第二電子裝置的一訊息，該訊息包括有一物件的識別資料；基於該識別資料及該環境設置選擇一第二疊合資料；以及把該第二疊合資料發送給該第二電子裝置。
如請求項11之電腦可讀媒體，其中該等機器可讀指令在由該控制器執行時，致使該控制器進行下列動作：基於該使用者識別碼分析在一電子郵件帳戶中的一電子郵件以確認對應於該使用者識別碼的一感興趣主題；基於該感興趣主題選擇一第三疊合資料；以及把該第三疊合資料發送給該第二電子裝置。
如請求項11之電腦可讀媒體，其中該等機器可讀指令在由該控制器執行時，致使該控制器進行下列動作：接收一訊息，該訊息指出對應於該使用者識別碼的一感興趣主題；儲存該使用者識別碼與該感興趣主題之間的一關聯；基於該感興趣主題選擇一第三疊合資料；以及把該第三疊合資料發送給該第二電子裝置。
如請求項11之電腦可讀媒體，其中該等機器可讀指令在由該控制器執行時，致使該控制器進行下列動作：從一時間源接收在一天中的一時間；基於該使用者識別碼及在一天中的該時間確定該第二電子裝置的一第二環境設置；向該第二電子裝置發送一訊息，該訊息指出該第二電子裝置之該環境設置的一改變；基於該第二環境設置選擇一第三疊合資料；以及把該第三疊合資料發送給該第二電子裝置。
如請求項11之電腦可讀媒體，其中該等機器可讀指令在由該控制器執行時，致使該控制器進行下列動作：從該第二電子裝置接收一第二訊息，該第二訊息包括一第二物件的第二識別資料；基於該環境設置及該第二識別資料來搜尋一第三疊合資料；以及基於該搜尋來指定該第二識別資料用於疊合處理。