TWI546704B - 用於行動擴增實境之系統、方法及儲存媒體 - Google Patents

用於行動擴增實境之系統、方法及儲存媒體 Download PDF

Info

Publication number
TWI546704B
TWI546704B TW103116503A TW103116503A TWI546704B TW I546704 B TWI546704 B TW I546704B TW 103116503 A TW103116503 A TW 103116503A TW 103116503 A TW103116503 A TW 103116503A TW I546704 B TWI546704 B TW I546704B
Authority
TW
Taiwan
Prior art keywords
mobile user
user device
location
mobile
view
Prior art date
Application number
TW103116503A
Other languages
English (en)
Other versions
TW201506687A (zh
Inventor
塔奇阿諾 德瑞克曼 佩瑞茲
梨瑪 迪歐古 史魯柏 德
卡洛斯 寇斯塔 哈斯
薩歐羅 薩拉瓦 莎
Original Assignee
惠普研發公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 惠普研發公司 filed Critical 惠普研發公司
Publication of TW201506687A publication Critical patent/TW201506687A/zh
Application granted granted Critical
Publication of TWI546704B publication Critical patent/TWI546704B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephone Function (AREA)

Description

用於行動擴增實境之系統、方法及儲存媒體
本發明關於用以管理封閉區域之行動擴增實境的系統及方法。
諸如智慧型電話與平板的消費性行動裝置在企業環境中越來越普及，此現象稱為IT消費化(IT consumerization)。此些行動裝置經常具有擴增實境(Augmented reality，AR)的功能，其藉由結合虛擬元件與真實元件來延伸使用者與真實世界的互動。利用行動AR能夠在管理封閉區域(舉例來說，倉庫、資料中心、購物中心、…等)中達到更容易且更豐富體驗的新可能性。
本發明之一個態樣係關於一種用於用以管理封閉區域之行動擴增實境的系統，其包括：一固定式相機，用以取得一封閉區域的一固定視訊串流；以及一控制器裝置，其包括：一裝置介面，用以從該固定式相機處接收該固定視訊串流；一行動裝置介面，用以接收一行動使用者裝置的一目前視場的一行動視訊串流，其中，該行動使用者裝置包括一擴增實境模組，用以投影資訊於該目前視場上；一追蹤模組，用以基於該固定視訊串流的影像處理來辨識該行動使用者裝置的一行動使用者的位置與方 位；以及一模糊地圖模組，用以使用該封閉區域的一模糊地圖與該行動使用者的位置與方位來辨識該行動使用者裝置的該目前視場中的感興趣項目，其中，該模糊地圖係基於該封閉區域的一平面圖所產生。
本發明之另一個態樣係關於一種用於用以管理封閉區域之行動擴增實境的方法，其包括：從一固定式相機處取得一資料中心的一固定視訊串流；從一行動使用者裝置處取得該行動使用者裝置的一目前視場的一行動視訊串流，其中，該行動使用者裝置包括一擴增實境模組，用以投影資訊於該目前視場上；基於該固定視訊串流的影像處理來辨識該行動使用者裝置的一行動使用者的位置與方位；以及利用該資料中心的一模糊地圖與該行動使用者的位置與方位來辨識該行動使用者裝置的該目前視場中的伺服器設備，其中，該模糊地圖係基於該資料中心的一平面圖所產生。
本發明之另一個態樣係關於一種由可以一處理器來執行的指令所編碼的非短暫的機器可讀取儲存媒體。該機器可讀取儲存媒體包括：用以從一固定式相機處取得一資料中心的一固定視訊串流的指令；用以從一行動使用者裝置處取得該行動使用者裝置的一目前視場的一行動視訊串流的指令，其中，該行動使用者裝置包括一擴增實境模組，用以投影資訊於該目前視場上；用以基於該固定視訊串流的影像處理來辨識該行動使用者裝置的一行動使用者的位置與方位的指令；以及用以利用該資料中心的一模糊地圖與該行動使用者的位置與方位來辨識該行動使用者裝置的該目前視場中的伺服器設備的指令，其中，該模糊地圖係基於該資料中心的一平面圖所產生。
100‧‧‧範例控制器裝置
102A‧‧‧裝置介面
102N‧‧‧裝置介面
104‧‧‧模糊地圖模組
106‧‧‧追蹤模組
200‧‧‧範例系統
202‧‧‧封閉區域
203‧‧‧控制器裝置
204A‧‧‧固定式相機
204B‧‧‧固定式相機
206‧‧‧行動使用者裝置
208‧‧‧行動使用者
210‧‧‧登入位置
212A‧‧‧伺服器
212B‧‧‧伺服器
212C‧‧‧伺服器
212D‧‧‧伺服器
212E‧‧‧伺服器
212F‧‧‧伺服器
214A‧‧‧無線轉接器
214B‧‧‧無線轉接器
214C‧‧‧無線轉接器
214D‧‧‧無線轉接器
600‧‧‧行動使用者裝置
605‧‧‧主體
610‧‧‧嵌入式顯示螢幕
615A‧‧‧伺服器
615B‧‧‧伺服器
615N‧‧‧伺服器
620A‧‧‧狀態盒
620B‧‧‧狀態盒
620B‧‧‧狀態盒
625‧‧‧狀態盒
630‧‧‧健康摘要
700‧‧‧非短暫的電腦可讀取媒體
702‧‧‧處理器
704‧‧‧匯流排
706‧‧‧第一區域
下面的詳細說明參考下面的圖式，其中：圖1所示的係用於提供用以管理封閉區域的行動AR的一範例控制器裝置的方塊圖；圖2所示的係用於提供用以管理一封閉區域的行動AR的一範例系統的方塊圖；圖3A至3B所示的係由一控制器裝置來執行之用於提供用以管理封閉區域的行動AR的範例方法的流程圖；圖4A至4C所示的係由一範例系統來執行之用於提供用以管理封閉區域的行動AR的範例方法的流程圖，其包含使用者追蹤；圖5所示的係由一範例系統來執行之用於提供用以管理封閉區域的行動AR的範例方法的流程圖，其藉由定位與深度資料而強化；圖6A至6B所示的係用於提供用以管理封閉區域的行動AR的範例使用者介面的方塊圖；以及圖7所示的係一範例非短暫的電腦可讀取媒體的方塊圖，其儲存用於提供用以管理封閉區域的行動AR的指令。
如上面的討論，行動AR能夠被用來以用以管理封閉區域(例如，資料中心)的虛擬資訊強化行動裝置的行動視訊串流。舉例來說，快速回應碼可以被定位，俾便一行動視訊串流中的感興趣項目能夠被辨識並且接著疊置虛擬資訊，例如，資料中心中的設備的狀態資訊。行動AR通常(1)使用全球定位系統(Global Positioning System，GPS)來決定該封閉區域中該行動裝置的一使用者的位置，以及(2)使用物體識別來辨識該行動視訊串流中 的感興趣項目。然而，倘若定位係以來自無線轉接器(wireless adapter)的資訊進行強化的話，GPS在室內通常不會非常精確。
已經有人嘗試過有各式各樣結果之用以在室內決定一使用者之位置的各種方式。舉例來說，基於WiFi三角測量的室內定位系統(Indoor Positioning System IPS)可被用來在室內決定使用者的位置。因為使用WiFi網路，所以，IPS可能會曝露能夠被惡意客戶端(rouge client)利用之和一無線網路有關的敏感資訊。進一步言之，IPS不會提供關於該行動裝置之視廠場的資訊。
本文中所揭示的範例實施例提供一種用於用以管理封閉區域之行動擴增實境的系統。舉例來說，於某些實施例中，該系統包含一控制器裝置，其會從一封閉區域中的一固定式相機處接收一固定視訊串流並且從一行動使用者裝置處接收一行動視訊串流。該控制器裝置可以基於該固定視訊串流來決定該行動使用者裝置的一行動使用者的位置與方位。於此階段處，該控制器裝置可以利用該封閉區域的一模糊地圖(fuzzy map)與該行動使用者的位置與方位來辨識該行動使用者裝置的目前視場中的感興趣項目，其中，該模糊地圖係基於該封閉區域的平面圖(floor plan)所產生。
依此方式，本文中所揭示的範例實施例允許藉由以該封閉區域的一固定視訊串流來強化判斷結果而更精確地決定該行動使用者的位置與方位。明確地說，該固定視訊串流允許追蹤使用者，其接著可以被用來決定該行動使用者裝置的目前視場。利用該目前視場，一行動視訊串流中的感興趣項目可以被辨識並且疊置已虛擬呈現的資訊。
現在參考圖式，圖1所示的係用於提供用以管理封閉區域的 行動AR的一範例控制器裝置100的方塊圖。該範例控制器裝置100可以被施行在一計算裝置(例如，伺服器電腦、筆記型電腦、桌上型電腦、或是適合提供行動AR的任何其它電子裝置)中。於圖1的實施例中，控制器裝置100包含多個裝置介面(舉例來說，裝置介面A 102A、裝置介面N 102N、…等)、模糊地圖模組104、以及追蹤模組106。
每一個裝置介面(舉例來說，裝置介面A 102A、裝置介面N 102N、…等)可以被配置成用以和一外部裝置互動，該外部裝置包含諸如相機、運動感測器、射頻(Radio Frequency，RF)接收器等的感測器。明確地說，一裝置介面(舉例來說，裝置介面A 102A、裝置介面N 102N等)可以從一對應連接的外部裝置處接收一視訊串流及/或定位資料。進一步言之，該裝置介面(舉例來說，裝置介面A 102A、裝置介面N 102N等)亦可以發送資訊或命令給該外部裝置。舉例來說，倘若該外部裝置係一固定式相機的話，裝置介面102N可以發送命令用以重新定位該固定式相機的相機。於另一範例中，倘若該外部裝置係一行動使用者裝置的話，裝置介面102A可以發送虛擬疊置資訊給該行動使用者裝置，以便使用在行動AR之中。
每一個裝置介面(舉例來說，裝置介面A 102A、裝置介面N 102N、…等)可以為一乙太網路介面、一通用串列匯流排(Universal Serial Bus，USB)介面、一IEEE 1394(FireWire)介面、一外部串列先進技術連接(external Serial Advanced Technology Attachment，eSATA)介面、或是適合與一客端裝置進行通訊的任何其它物理連接介面。或者，每一個裝置介面(舉例來說，裝置介面A 102A、裝置介面N 102N等)亦可以為一無線介面，例如，一無線區域網路(Wireless Local Area Network，WLAN)介面或是一近場通訊 (Near-Field Communication，NFC)介面。
模糊地圖模組104被配置成用以基於一封閉區域的平面圖來產生模糊地圖。明確地說，模糊地圖模組104可以使用封閉區域的預設平面圖來產生用以描述該些封閉區域中感興趣項目的位置的模糊地圖。舉例來說，封閉區域可以被分割成組織在一樹狀結構中的多個巢狀正方塊或立方塊，其中，該樹狀中的每一個正方塊或立方塊皆和存在於該封閉區域的該部分中的感興趣項目相關聯(也就是，四叉樹描述該封閉區域的二維部分或是八叉樹描述該封閉區域的三維部分)。樹狀結構允許感興趣項目藉由將目前視場投影在該封閉區域的該些立方塊上而被快速地辨識。於某些情況中，模糊地圖模組104可以提供一使用者介面讓一管理者明確說明該模糊地圖內的感興趣項目的位置。
模糊地圖模組104亦可以被配置成用以使用一模糊地圖來辨識一行動裝置的目前視場中的感興趣項目。一行動裝置的視場可以基於一行動使用者的位置與方位被決定，行動使用者的位置與方位則如下面針對追蹤模組106的討論般被辨識。舉例來說，封閉區域的維度以及一模糊地圖中的感興趣項目的位置可以被用來創造用於一行動使用者裝置的行動使用者的已決定位置與方位之資訊疊置的資料。於某些情況中，該些感興趣項目會利用模糊邏輯於該模糊地圖中被辨識，用以提供近似且因而更包容性的結果。舉例來說，倘若該行動使用者被定位在一模糊地圖的相鄰分割的邊界上的話，那麼，來自兩個分割的感興趣項目皆可以被辨識為落在該目前視場之中。
追蹤模組106可以被配置成用以監視該封閉區域中的行動 使用者的位置與方位。明確地說，追蹤模組106可以被配置成用以使用一接收自一固定式相機的俯視視訊串流對該封閉區域中的任何使用者實施使用者追蹤。舉例來說，特點塊追蹤(blob tracking)可以被用來追蹤該封閉區域中的一使用者，其中，特點塊追蹤引用包含對一數位影像或視訊串流中有不同特性(例如，亮度或顏色)的區域進行自動偵測的影像處理。特點塊可以為一被偵測為具有實質上一致性特性的區域，其中，一使用者特點塊可以為被決定為一行動使用者的此類區域。行動使用者的位置與方位可以被模糊地圖模組104用來決定該行動使用者裝置的目前視場，接著，該目前視場會被用來辨識應該被併入於該行動使用者裝置的疊置資料中的感興趣項目。追蹤模組106可以將隨著時間所決定的該行動裝置的位置記錄為移動資料(movement data)。
追蹤模組106亦可以被配置成用以將行動裝置與該俯視視訊串流中對應的被追蹤的使用者產生關聯。舉例來說，追蹤模組106可以使用來自一行動裝置的定位資料來將該行動裝置與在該俯視視訊串流中所偵測到的使用者產生關聯。於此範例中，追蹤模組106會使用該定位資料(舉例來說，GPS資料、RF資料、運動感測器資料、QR碼資料等)來決定該封閉區域裡面的該行動裝置的目前位置，其中，該目前位置接著會被用來辨識最接近的被追蹤使用者。
由追蹤模組106提供給行動使用者裝置的疊置資料可以包含一行動裝置的目前視場中的感興趣項目的狀態資訊與識別資訊。識別資訊可以讓該行動使用者裝置識別其行動視訊串流中的一感興趣項目。舉例來說，識別資訊可以包含一感興趣項目的維度以及其它視覺特徵(舉例來 說，在一資料中心中的一伺服器的視覺特徵)。識別該行動視訊串流中的一感興趣項目允許該行動使用者裝置疊置相關的狀態資訊在該行動視訊串流中的該感興趣項目上方。該被疊置的資訊可以被貼齊至並且追蹤該行動視訊串流中的感興趣項目，俾使得當該行動視訊串流的視場改變時，該被疊置的資訊會移動。
上面所述的每一個模組皆可以被施行為在一處理器上執行，該處理器具有一或更多個中央處理單元(Central Processing Unit，CPU)、微處理器、及/或適合擷取與執行被儲存在一機器可讀取的儲存媒體之中的指令的其它硬體裝置。就擷取與執行指令的替代例來說，或者除了擷取與執行指令之外，該處理器還可以包含一或更多個電子電路，其包括用以實施該些指令中一或更多個指令之功能的數個電子器件。
該機器可讀取的儲存媒體可以為儲存可執行指令的任何電子儲存裝置、磁性儲存裝置、光學儲存裝置、或是其它物理性儲存裝置。因此，舉例來說，該機器可讀取的儲存媒體可以為隨機存取記憶體(Random Access Memory，RAM)、可電抹除程式化唯讀記憶體(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、儲存機、光碟、以及類似物。
圖2所示的係用於提供用以管理一封閉區域202的行動AR的一範例系統200的方塊圖，其包含一控制器裝置203。如同圖1的控制器裝置100，控制器裝置203可以被施行在適合提供行動AR的任何電子裝置上。控制器裝置203的器件可以雷同於針對圖1所述的控制器裝置100的對應器件。
封閉區域202可以為具有已知平面圖的任何封閉的、室內區 域。封閉區域202的範例包含資料中心、購物中心、倉庫、辦公大樓等。於此範例中，封閉區域202係一資料中心，其包含數個伺服器212A、212B、212C、212D、212E、212F。每一個伺服器(舉例來說，212A、212B、212C、212D、212E、212F)皆可以為一模組式伺服器，例如，機架式伺服器(rack server)或刀鋒伺服器(blade server)或專門提供一或更多種服務(舉例來說，資料庫服務、檔案服務、郵件服務、列印服務等)的特定其它計算裝置。伺服器212A、212B、212C、212D、212E、212F的位置可以被指定在該封閉區域202的一模糊地圖之中，其中，該模糊地圖係基於該已知平面圖所產生的封閉區域202的二維或三維代表符。於其它實施例中，其它感興趣項目(例如，存貨、店面、辦公室等)亦可被併入於該封閉區域之中。控制器裝置203可以被配置成用以從伺服器212A、212B、212C、212D、212E、212F處接收狀態資訊。舉例來說，控制器裝置203可以被配置成用以從伺服器212A、212B、212C、212D、212E、212F中的每一者處接收伺服器事件(舉例來說，錯誤、組態問題、警示等)及/或器件狀態資訊(舉例來說，操作溫度、硬體失效等)。於其它情況中，控制器裝置203可以被配置成用以從在操作被連接至伺服器212A、212B、212C、212D、212E、212F的一資料中心管理介面(圖中並未顯示)處取得狀態資訊。該資料中心管理介面可以被配置成用以管理來自伺服器212A、212B、212C、212D、212E、212F以及封閉區域202中的其它設備處的狀態資訊，以便供控制器裝置203使用。
固定式相機204A、204B被定位在封閉區域202上方並且被配置成用以捕捉封閉區域202的俯視視訊串流。固定式相機204A、204B亦可以被配置成用以重新定位它們的影像捕捉裝置的方位，俾使得封閉區域 202的不同部分會被併入於該些俯視視訊串流之中。於某些情況中，固定式相機204A、204B亦可以包含捕捉深度資料的深度感測器，該深度資料接著會與該些俯視視訊串流相關聯。舉例來說，該深度感測器可以使用一紅外線(InfraRed，IR)投影器來投影一具有不同寬度的多個點於封閉區域202上，其中，一IR感測器可以捕捉IR星狀領域(star field)，用以決定封閉區域202中的物體的深度資料。該深度資料可被用來強化由控制器裝置203所實施的使用者追蹤。於此情況中，控制器裝置203可以結合該些俯視視訊串流與深度資料，用以辨識封閉區域202中的行動使用者208的位置與方位。封閉區域202可以被配置成具有任何數量的固定式相機(舉例來說，固定式相機204A、204B)，端視該封閉區域202的大小與佈局而定。
行動使用者208可以被定位在封閉區域202之中並且繞著封閉區域202移動。舉例來說，行動使用者208可以為一資料中心的系統管理者。行動使用者208可以有一行動使用者裝置206，例如，平板或智慧型電話，其配備著一相機裝置。行動使用者裝置206可以包含一實境擴增模組，用以在行動使用者208於封閉區域202中行進時提供行動AR給行動使用者208。舉例來說，行動使用者裝置206的實境擴增模組可以在行動使用者208於封閉區域202裡面改變位置時顯示具有伺服器212A、212B、212C、212D、212E、212F之疊置狀態資訊的行動視訊串流。該疊置狀態資訊可以由控制器裝置203來產生，雷同於上面針對圖1的控制器裝置100的討論般。於此範例中，該行動使用者裝置206可以識別該行動視訊串流中的伺服器212A、212B、212C、212D、212E、212F並且基於它們的經識別位置來疊置伺服器212A、212B、212C、212D、212E、212F中每一者的相關資訊。
於某些情況中，行動使用者裝置206可以被配置成用以實施物體拒斥(object rejection)，以便辨識封閉區域202的行動視訊串流中的伺服器設備，例如，伺服器212A、212B、212C、212D、212E、212F。舉例來說，行動使用者裝置206可以被事先配置成具有伺服器212A、212B、212C、212D、212E、212F以及它們的器件(舉例來說，處理模組、儲存模組、網路連接模組、…等)的物體圖樣(也就是，被事先配置成具有感興趣項目的視覺特徵)。於另一範例中，該些物體圖樣可以由控制器裝置203來提供。於任一情況中，行動使用者裝置206的實境擴增模組可以藉由貼齊該伺服器設備的代表符至該行動視訊串流中的經辨識的伺服器設備而疊置該狀態資訊在該行動視訊串流上方。
伺服器212A、212B、212C、212D、212E、212F可以被配置成具有遠端管理軟體，其允許諸如行動使用者裝置206的裝置遠端管理伺服器212A、212B、212C、212D、212E、212F。於此情況中，行動使用者裝置206可以響應於行動使用者208在該行動視訊串流中選擇一伺服器而連接至該伺服器的遠端管理軟體。舉例來說，該行動使用者208可以在該行動視訊串流中選擇一具有一已偵測到錯誤的伺服器而存取該遠端管理軟體並且立刻在該伺服器中定址該已偵測到錯誤。
封閉區域202可以包含登入位置210，用以將行動使用者裝置206與一被追蹤的行動使用者208產生關聯。登入位置210可以包含一鄰近QR碼，用以指示行動使用者208利用行動使用者裝置206進行捕捉。該QR碼允許控制器裝置203辨識行動使用者裝置206為提供一包含該QR碼的行動視訊串流並且接著將行動使用者裝置206與行動使用者208產生關 聯，舉例來說，藉由基於來自固定式相機204的俯視視訊串流所實施的特點塊追蹤來辨識。在行動使用者裝置206與行動使用者208產生關聯之後，控制器裝置203可以繼續追蹤行動使用者208並且當行動使用者208在封閉區域202裡面改變位置時提供位置相關的行動AR資料給行動使用者裝置206。倘若控制器裝置203開始難以追蹤行動使用者208的話，行動使用者裝置206可以指示行動使用者208返回登入位置210，俾便可以重新進行追蹤。
於某些情況中，系統200還可以包含無線轉接器214A、214B、214C、214D，它們被配置成用以從行動使用者裝置206處取得RF資料。無線轉接器214A、214B、214C、214D的範例包含無線路由器、藍牙接收器、無線轉接器等。該RF資料可以包含RF信號資料(舉例來說，信號強度、接收器靈敏性等)並且可被用來強化從行動使用者裝置206處取得的定位資料。舉例來說，該RF資料可被用來實施RF三角測量，用以更精確地決定行動使用者裝置206的位置。更明確地說，該行動使用者裝置206相對於每一個無線轉接器214A、214B、214C、214D的相對位置可被用來三角測量該行動使用者裝置206的位置。相對位置可以為該行動使用者裝置206相對於一無線轉接器所在的距離周界(distance perimeter)，其中，該距離周界係利用該行動使用者裝置206與該無線轉接器之間的信號強度所算出。於某些情況中，該些無線轉接器214A、214B、214C、214D會被一由多個伺服器212A、212B、212C、212D、212E、212F組成的區域網路排除在外，以便強化安全性。於此情況中，無線轉接器214A、214B、214C、214D可以有一專屬的連接線連接至控制器裝置203，該控制器裝置203同樣會限制它們存 取由多個伺服器212A、212B、212C、212D、212E、212F組成的區域網路。
圖3A所示的係由一控制器裝置100來執行之用以產生用於提供行動AR的模糊地圖的範例方法300的流程圖。方法300的執行雖然在下面參考圖1的控制器裝置100來說明；不過，亦可以使用其它合宜的裝置來執行方法300，例如，圖2的控制器裝置203。方法300可以被施行為儲存在一機器可讀取儲存媒體(例如，圖7的電腦可讀取媒體700)中的可執行指令的形式及/或被施行為電子電路系統的形式。
方法300可以從方塊305開始並且繼續前往方塊310，在方塊310處，控制器裝置100會取得一封閉區域的平面圖。舉例來說，該平面圖可以為該封閉區域的二維代表符，其描述該封閉區域中的牆壁與感興趣項目的維度。視情況，在方塊315中會從一深度感測器處取得該封閉區域的深度資料。該深度資料可以用來強化在方塊305中所取得的平面圖。明確地說，倘若在方塊325中產生該封閉區域的三維代表符的話便可以使用該深度資料。
在方塊320中會從控制器裝置100的一管理者處接收感興趣項目的輸入。舉例來說，該管理者可以指定該平面圖裡面的感興趣項目的位置。接著，在方塊325中，控制器裝置100可以基於該平面圖、深度資料、以及來自該管理者的輸入而產生一模糊地圖。明確地說，該模糊地圖可以為利用該平面圖與該深度資料所產生的該封閉區域的三維代表符，其中，該模糊地圖裡面的部分或全部感興趣項目的位置係基於來自該管理者的輸入而被指定。於其它情況中，該模糊地圖可以為利用該平面圖所產生的該封閉區域的二維代表符，其中，該模糊地圖裡面的部分或全部感興趣項目 的位置係基於來自該管理者的輸入而被指定。方法300可以接著前往方塊330，方法300可以停止於該處。
圖3B所示的係由一控制器裝置100來執行之用於提供用以管理封閉區域的行動AR的範例方法350的流程圖。方法350的執行雖然在下面參考圖1的控制器裝置100來說明；不過，亦可以使用其它合宜的裝置來執行方法350，例如，圖2的控制器裝置203。方法350可以被施行為儲存在一機器可讀取儲存媒體(例如，圖7的電腦可讀取媒體700)中的可執行指令的形式及/或被施行為電子電路系統的形式。
方法350可以從方塊355開始並且繼續前往方塊360，在方塊360處，控制器裝置100可以從一封閉區域的一固定式相機處取得一俯視視訊串流。該固定式相機可以被安裝在該封閉區域的天花板，俾使得該封閉區域的一部分會在該俯視視訊串流中被捕捉。在方塊365中，該俯視視訊串流會被用來決定該行動使用者的位置與方位。舉例來說，可以實施該行動使用者的特點塊追蹤，用以偵測該行動使用者的位置與方位。
接著，在方塊370中會基於一模糊地圖與該行動使用者的位置與方位來辨識感興趣項目。如上面的討論，該模糊地圖可以為該封閉區域中的感興趣項目的二維或三維映圖，其係由該封閉區域的平面圖所產生。一旦該些感興趣項目經過辨識之後，描述該些感興趣項目的資料便可以在方塊375中被提供至該行動使用者裝置，該行動使用者裝置接著會使用該些感興趣項目資料來產生該行動視訊串流的擴增實境顯示。舉例來說，該行動使用者裝置可以疊置伺服器設備的狀態資訊在一資料中心的行動視訊串流上。方法350可以接著前往方塊380，方法350可以停止於該處。
圖4A至4C所示的係由一控制器裝置203來執行之用於提供用以管理封閉區域的行動AR的範例方法400、420、440的流程圖，其包含使用者追蹤。方法400、420、440的執行雖然在下面參考圖2的控制器裝置203與行動使用者裝置206來說明；不過，亦可以使用其它合宜的裝置來執行方法400、420、440，例如，圖1的控制器裝置100。400、420、440可以被施行為儲存在一機器可讀取儲存媒體(例如，圖7的電腦可讀取媒體700)中的可執行指令的形式及/或被施行為電子電路系統的形式。
在圖4A中，方法400可以從方塊402開始並且繼續前往方塊404，在方塊404處，一行動使用者會在他的行動使用者裝置206上起始一擴增實境(AR)應用。該AR應用可以顯示由行動使用者裝置206的一影像捕捉裝置所捕捉的該封閉區域的一行動視訊串流。在方塊406中，該AR應用會指示使用者移動至該封閉區域中的一登入位置。該登入位置可以一文宣海報來標明。
接著，在方塊408中，行動使用者裝置206會偵測並且解碼該行動視訊串流中的一QR碼。該QR碼可以包含一獨特的辨識符，用以讓控制器裝置203來起始使用者追蹤。在方塊410中，行動使用者裝置206會發送QR碼資料給控制器裝置203。方法400可以接著前往方塊412，方法400可以停止於該處。
在圖4B中，方法420可以從方塊422開始並且繼續前往方塊424，在方塊424處，控制器裝置203會從該封閉區域的一固定式相機處取得一俯視視訊串流。該俯視視訊串流可以由控制器裝置203處理，用以追蹤該封閉區域中的使用者。在方塊426中，控制器裝置203會從行動使用 者裝置206處接收QR碼資料。該QR碼資料會通知控制器裝置203該行動使用者裝置206已被定位在登入位置處。
在方塊428中，控制器裝置203會將行動使用者裝置206與正在該登入位置處被追蹤的使用者產生關聯。依此方式，該行動使用者裝置206的使用者追蹤可以在方塊430中被起始，俾使得如下面配合圖4C所述的AR資訊可以被提供至該行動使用者裝置206。方法420可以接著前往方塊432，方法420可以停止於該處。
在圖4C中，方法440可以從方塊442開始並且繼續前往方塊444，在方塊444處，控制器裝置203會從一封閉區域的一固定式相機處取得一俯視視訊串流。在方塊446中會利用該俯視視訊串流來實施行動使用者裝置206的行動使用者的使用者追蹤。舉例來說，在該俯視視訊串流中具有共同特徵的區域可以被分析，用以決定該行動使用者的位置與方位。使用者的初始位置可以如上面針對圖4B所述般地被決定。
在方塊448中會判斷該行動使用者的目前位置是否為已知(也就是，特點塊追蹤是否成功地決定該行動使用者的目前位置)。倘若該行動使用者的目前位置為未知的話，該目前位置可以基於該行動使用者的預測移動而被決定，該預測移動係在方塊456中基於該行動使用者的先前位置與移動資料來決定。舉例來說，倘若該行動使用者因該封閉區域中的一感興趣項目而混淆不清的話，那麼，該行動使用者的目前位置便可以基於他最後一次已知移動中的投影軌道來決定。
在方塊450中會基於該行動使用者的已決定位置與方位來決定一視場層級。視場層級的範例包含高階狀態資訊的伺服器層級以及詳 細狀態資訊的器件層級。接著，在方塊452中可以辨識該行動使用者裝置206的目前視場中的感興趣項目。該目前視場可以基於該行動使用者的目前位置與方位來決定。該目前視場接著可以被投影於該封閉區域的一地圖上，俾使得在該視場中的感興趣項目能夠被辨識。於某些情況中，該些感興趣項目可以基於該平面圖被事先映射至該封閉區域的二維或三維模糊地圖之中。舉例來說，該封閉區域可以被分割成組織在一樹狀結構中的多個巢狀立方塊，其中，該樹狀中的每一個立方塊皆和存在於該封閉區域的該部分中的感興趣項目相關聯。樹狀結構允許感興趣項目藉由將目前視場投影在該封閉區域的該些立方塊上而被快速地辨識。進一步言之，在方塊450中所決定的視場層級可被用來對該視場中的潛在感興趣項目實施初始過濾(舉例來說，倘若該視場層級為伺服器層級的話則排除器件層級的感興趣項目)。
在方塊454中，和目前視場中的感興趣項目有關的資料會被取得並且被發送至行動使用者裝置206。舉例來說，和感興趣項目有關的狀態與識別資訊可以從一資料中心管理介面處被取得，該資料中心管理介面被配置成用以從該些感興趣項目(舉例來說，伺服器、無線轉接器、網路集線器等)處取得該狀態資訊。於此範例中，該狀態與識別資訊可以被發送至該行動使用者裝置206，該行動使用者裝置206接著會使用該識別資訊來識別該行動視訊串流之中的感興趣項目並且疊置該狀態資訊。方法440可以接著前往方塊458，方法440可以停止於該處。
圖5所示的係由一控制器裝置203來執行之用於提供用以管理封閉區域的行動AR的範例方法500的流程圖，其藉由定位與深度資料而 強化。方法500的執行雖然在下面參考圖2的控制器裝置203來說明；不過，亦可以使用其它合宜的裝置來執行方法500，例如，圖1的控制器裝置100。500可以被施行為儲存在一機器可讀取儲存媒體(例如，圖7的電腦可讀取媒體700)中的可執行指令的形式及/或被施行為電子電路系統的形式。
方法500可以從方塊505開始並且繼續前往方塊510，在方塊510處，控制器裝置203可以從一封閉區域的一固定式相機處取得一俯視視訊串流。在方塊515中，該封閉區域的深度資料會從一深度感測器處被取得。於某些情況中，該深度感測器可以在操作上被連接至該固定式相機，俾使得該俯視視訊串流和該深度資料相關聯並且因該深度資料而強化。
在方塊520中，該行動使用者裝置206的RF資料會從被定位遍及整個封閉區域的無線轉接器處被取得。該RF資料可以被用來在該封閉區域三角測量該行動使用者裝置206的位置，從而強化利用該定位資料所實施之該行動使用者裝置206的定位效果。在方塊525中會利用該俯視視訊串流、該深度資料、以及該RF資料來實施該行動使用者裝置206的一行動使用者的使用者追蹤。舉例來說，特點塊追蹤可以被實施用以分析該俯視視訊串流中具有共同特徵的區域，其包含利用該深度資料所決定之和該固定式相機相隔的距離，以便決定該行動使用者的位置與方位。於此範例中，該俯視視訊串流、該深度資料、以及該RF資料可被用來在該封閉區域中決定該行動使用者的目前位置與方位且因而決定該行動使用者裝置206的目前位置與方位。
在方塊530中會基於該行動使用者的已決定位置與方位來決定一視場層級。在方塊535中可以辨識該行動使用者裝置206的目前視場 中的感興趣項目。
在方塊540中，和目前視場中的感興趣項目有關的資料會被取得並且被發送至行動使用者裝置206。舉例來說，和感興趣項目有關的狀態與識別資訊可以從一資料中心管理介面處被取得並且被發送至該行動使用者裝置206，該行動使用者裝置206接著會識別該行動視訊串流之中的感興趣項目並且疊置該狀態資訊。方法500可以接著前往方塊545，方法500可以停止於該處。
圖6A至6B所示的係用於提供用以管理封閉區域的行動AR的範例行動使用者裝置600的方塊圖。如圖所繪，該行動使用者裝置600包含一具有一嵌入式顯示螢幕610的主體605。該顯示螢幕610會即時顯示一相機(圖中並未顯示)的行動視訊串流。在圖6A中，該顯示螢幕610顯示一包含伺服器615A、615B、615N的資料中心的一部分。該顯示螢幕610還顯示疊置狀態資訊，其被表示為疊置在它們的個別伺服器615A、615B、615N上方的狀態盒620A、620B、620N。狀態盒620A與狀態盒620B為透明，用以顯示伺服器615A與伺服器615B沒有任何被偵測到的問題。狀態盒620N有斜影線，用以顯示伺服器615N有被偵測到的問題。當使用者重新定位行動使用者裝置600時，狀態盒620A、620B、620N會保持貼齊它們的個別伺服器615A、615B、615N。該疊置資訊讓該行動使用者裝置600的行動使用者快速地辨識要維修的伺服器615N，以便解決該被偵測到的問題。
在圖6B中，伺服器615N的近距視圖被顯示在顯示螢幕610上。於此範例中，行動使用者已經改變他的位置，位在該資料中心中的伺服器615N的正前方。和該被偵測到的問題相關聯的伺服器615N的特定部 分已藉由狀態盒625來突顯。狀態盒625讓使用者快速地辨識伺服器615N中可能造成該被偵測到的問題的器件。顯示螢幕610還顯示伺服器615N的健康摘要630。該健康摘要630包含各種伺服器事件(舉例來說，錯誤、組態問題、警示)的通知符以及顯示伺服器615N之高階狀態資訊的健康概要圖。
被提供在顯示螢幕610上的疊置資訊的類型可以由該行動使用者和伺服器615A、615B、615N的相隔距離來決定。舉例來說，倘若在顯示螢幕上可看見多個伺服器615A、615B、615N的話，高階資訊便可以如圖6A中所示般地疊置在顯示螢幕610中的行動視訊串流上。於另一範例中，倘若該行動使用者靠近單一伺服器615N的話，器件層級資訊可以如圖6B中所示般地疊置在顯示螢幕610中的行動視訊串流上。當行動使用者的視野開始聚焦在伺服器615N的特殊器件上時，和該些特殊器件有關的更詳細裝置資訊便可以疊置在顯示螢幕610中的行動視訊串流上。
於某些情況中，一指令式視訊亦可以被顯示在顯示螢幕610上，用以顯示如何解決該被偵測到的問題。該指令式視訊可以被疊置在該行動視訊串流上，用以指示該行動使用者和伺服器615N互動。舉例來說，該些疊置指令可以藉由突顯與示範扣件之移除來顯示如何拆卸該部分的伺服器615N。或者，該指令視訊亦可以被顯示在顯示螢幕610的一分離部分(舉例來說，視窗)中。於另一範例中，該顯示螢幕610亦可在伺服器615N保持組裝時用來觀看伺服器615N的內部器件(也就是，疊置資訊可以提供一用以顯示伺服器615N之內部器件的虛擬x射線)。
圖7所示的係一非短暫的電腦可讀取媒體的範例方塊圖，其儲存用以操作一儲存裝置以提供用以管理封閉區域的行動AR的指令碼。該 非短暫的電腦可讀取媒體大體上以元件符號700來表示並且可以被併入在配合圖1所述的控制器裝置之中。該非短暫的電腦可讀取媒體700可以對應於儲存由電腦施行之指令(例如，程式碼或類似物)的任何典型儲存裝置。舉例來說，該非短暫的電腦可讀取媒體700可以包含下面之中的一或更多者：非揮發性記憶體、揮發性記憶體、及/或一或更多個儲存裝置。非揮發性記憶體的範例包含，但是並不受限於：可電抹除程式化唯讀記憶體(EEPROM)與唯讀記憶體(Read Only Memory，ROM)。揮發性記憶體的範例包含，但是並不受限於：靜態隨機存取記憶體(Static Random Access Memory，SRAM)與動態隨機存取記憶體(Dynamic Random Access Memory，DRAM)。儲存裝置的範例包含，但是並不受限於：硬碟機、小型碟片機、數位多功能碟片機、光碟機、固態硬碟機、以及快閃記憶體裝置。
一處理器702通常會根據一範例來擷取與執行被儲存在該非短暫的電腦可讀取媒體700之中的指令，以便操作該儲存裝置。於一範例中，該有形的機器可讀取媒體700會在一匯流排704上被該處理器702存取。該非短暫的電腦可讀取媒體700的一第一區域706可以包含用以施行如本文中所述之控制器裝置的功能。
圖中雖然顯示為多個連續性方塊；但是，該些軟體器件亦能夠以任何順序或組態被儲存。舉例來說，倘若該非短暫的電腦可讀取媒體700為硬碟機的話，該些軟體器件則能夠被儲存在多個非連續性的區段中，或者甚至係被儲存在多個重疊的區段中。
前面的揭示內容說明用於提供用以管理封閉區域的行動AR的數個範例實施例。依此方式，本文中所揭示的實施例藉由利用一俯視視 訊串流來強化使用者追蹤結果而更精確地定位該封閉區域中的行動使用者。
100‧‧‧範例控制器裝置
102A‧‧‧裝置介面
102N‧‧‧裝置介面
104‧‧‧模糊地圖模組
106‧‧‧追蹤模組

Claims (15)

  1. 一種用以管理封閉區域之行動擴增實境的系統，其包括：一固定式相機，用以取得一封閉區域的一固定視訊串流；以及一控制器裝置，其包括：一裝置介面，用以從該固定式相機處接收該固定視訊串流；一行動裝置介面，用以接收一行動使用者裝置的一目前視場的一行動視訊串流，其中，該行動使用者裝置包括一擴增實境模組，用以投影資訊於該目前視場上；一追蹤模組，用以基於該固定視訊串流的影像處理來辨識該行動使用者裝置的一行動使用者的位置與方位；以及一模糊地圖模組，用以使用該封閉區域的一模糊地圖與該行動使用者的位置與方位來辨識該行動使用者裝置的該目前視場中的感興趣項目，其中，該模糊地圖係基於該封閉區域的一平面圖所產生。
  2. 根據申請專利範圍第1項的系統，其中：該追蹤模組進一步：追蹤該行動使用者裝置的移動當作移動資料；以及基於該移動資料來決定該行動使用者裝置的預測移動；以及該模糊地圖模組會進一步基於該行動使用者裝置的該預測移動來更新該目前視場中的感興趣項目。
  3. 根據申請專利範圍第1項的系統，其進一步包括：一深度感測器，用以取得該封閉區域的深度資料，其中，該行動使用者的位置與方位的辨識會利用該深度資料來強化。
  4. 根據申請專利範圍第1項的系統，其中，該追蹤模組會進一步：偵測該封閉區域中的一登入位置處的行動使用者，其中，該登入位置為用以在該封閉區域中起始該行動擴增實境的指定位置；以及基於該行動使用者裝置所提供的預設QR碼將該行動使用者裝置與該行動使用者產生關聯。
  5. 根據申請專利範圍第1項的系統，其中，該追蹤模組藉由在該固定視訊串流中實施該行動使用者的特點塊追蹤來辨識該行動使用者的位置與方位，且其中，該追蹤模組會進一步：基於接收自該行動使用者裝置的定位資料來決定該行動使用者裝置的裝置位置；以及基於該行動使用者裝置的裝置位置與該行動使用者的位置與方位將該行動使用者裝置與該行動使用者產生關聯。
  6. 根據申請專利範圍第5項的系統，其進一步包括：複數個無線轉接器，每一個無線轉接器會傳送一射頻(Radio Frequency，RF)信號給該行動使用者裝置用以決定該行動使用者裝置的相對位置，其中，該複數個無線轉接器中每一個無線轉接器的相對位置被用來決定該行動使用者裝置的裝置位置。
  7. 根據申請專利範圍第1項的系統，其中，該封閉區域係一資料中心且該模糊地圖進一步包括該資料中心中的伺服器設備的狀態資訊。
  8. 一種用以管理封閉區域之行動擴增實境的方法，其包括：從一固定式相機處取得一資料中心的一固定視訊串流；從一行動使用者裝置處取得該行動使用者裝置的一目前視場的一行動 視訊串流，其中，該行動使用者裝置包括一擴增實境模組，用以投影資訊於該目前視場上；基於該固定視訊串流的影像處理來辨識該行動使用者裝置的一行動使用者的位置與方位；以及利用該資料中心的一模糊地圖與該行動使用者的位置與方位來辨識該行動使用者裝置的該目前視場中的伺服器設備，其中，該模糊地圖係基於該資料中心的一平面圖所產生。
  9. 根據申請專利範圍第8項的方法，其進一步包括：追蹤該行動使用者裝置的移動當作移動資料；基於該移動資料來決定該行動使用者裝置的預測移動；以及基於該行動使用者裝置的該預測移動來更新該目前視場中的伺服器設備。
  10. 根據申請專利範圍第8項的方法，其進一步包括：偵測該資料中心中的一登入位置處的行動使用者，其中，該登入位置為用以在該資料中心中起始該行動擴增實境的指定位置；以及基於該行動使用者裝置所提供的預設QR碼將該行動使用者裝置與該行動使用者產生關聯。
  11. 根據申請專利範圍第8項的方法，其進一步包括：基於接收自該行動使用者裝置的定位資料來決定該行動使用者裝置的裝置位置；以及基於該行動使用者裝置的裝置位置與該行動使用者的位置與方位將該行動使用者裝置與該行動使用者產生關聯。
  12. 一種非短暫的機器可讀取儲存媒體，其由一處理器來執行的指令所編碼，該機器可讀取儲存媒體包括：用以從一固定式相機處取得一資料中心的一固定視訊串流的指令；用以從一行動使用者裝置處取得該行動使用者裝置的一目前視場的一行動視訊串流的指令，其中，該行動使用者裝置包括一擴增實境模組，用以投影資訊於該目前視場上；用以基於該固定視訊串流的影像處理來辨識該行動使用者裝置的一行動使用者的位置與方位的指令；以及用以利用該資料中心的一模糊地圖與該行動使用者的位置與方位來辨識該行動使用者裝置的該目前視場中的伺服器設備的指令，其中，該模糊地圖係基於該資料中心的一平面圖所產生。
  13. 根據申請專利範圍第12項的非短暫的機器可讀取儲存媒體，其進一步包括用以進行下面步驟的指令：追蹤該行動使用者裝置的移動當作移動資料；基於該移動資料來決定該行動使用者裝置的預測移動；以及基於該行動使用者裝置的該預測移動來更新該目前視場中的伺服器設備。
  14. 根據申請專利範圍第12項的非短暫的機器可讀取儲存媒體，其進一步包括用以進行下面步驟的指令：偵測該資料中心中的一登入位置處的行動使用者，其中，該登入位置為用以在該資料中心中起始該行動擴增實境的指定位置；以及基於該行動使用者裝置所提供的預設QR碼將該行動使用者裝置與該 行動使用者產生關聯。
  15. 根據申請專利範圍第12項的非短暫的機器可讀取儲存媒體，其進一步包括用以進行下面步驟的指令：基於接收自該行動使用者裝置的定位資料來決定該行動使用者裝置的裝置位置；以及基於該行動使用者裝置的裝置位置與該行動使用者的位置與方位將該行動使用者裝置與該行動使用者產生關聯。
TW103116503A 2013-05-28 2014-05-09 用於行動擴增實境之系統、方法及儲存媒體 TWI546704B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/042881 WO2014193342A1 (en) 2013-05-28 2013-05-28 Mobile augmented reality for managing enclosed areas

Publications (2)

Publication Number Publication Date
TW201506687A TW201506687A (zh) 2015-02-16
TWI546704B true TWI546704B (zh) 2016-08-21

Family

ID=51989210

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103116503A TWI546704B (zh) 2013-05-28 2014-05-09 用於行動擴增實境之系統、方法及儲存媒體

Country Status (5)

Country Link
US (1) US9858482B2 (zh)
EP (1) EP2932708B1 (zh)
CN (1) CN104969538B (zh)
TW (1) TWI546704B (zh)
WO (1) WO2014193342A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015001875A (ja) * 2013-06-17 2015-01-05 ソニー株式会社 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット
JP6160290B2 (ja) * 2013-06-21 2017-07-12 富士通株式会社 情報処理装置、判定方法および判定プログラム
WO2016019390A1 (en) * 2014-08-01 2016-02-04 Locuslabs Ip Image-based object location system and process
DE102014224851A1 (de) * 2014-12-04 2016-06-09 Siemens Aktiengesellschaft Vorrichtung und Verfahren zur Darstellung von Strukturinformation über ein technisches Objekt
US9990448B2 (en) * 2015-03-17 2018-06-05 Ca, Inc. Data center floor plan mapping using location-aware device
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
TWI571833B (zh) * 2015-12-23 2017-02-21 群暉科技股份有限公司 監測服務裝置、電腦程式產品、藉由影像監測提供服務之方法及藉由影像監測啓用服務之方法
EP3417307A4 (en) 2016-02-18 2019-09-11 Edx Technologies, Inc. SYSTEMS AND METHODS FOR AUGMENTED REALITY DISPLAYS OF NETWORKS
US9642094B1 (en) 2016-09-13 2017-05-02 Corning Optical Communications Wireless Ltd Optimizing radio frequency (RF) coverage in remote unit coverage areas in a wireless distribution system (WDS)
US11054894B2 (en) 2017-05-05 2021-07-06 Microsoft Technology Licensing, Llc Integrated mixed-input system
US10895966B2 (en) 2017-06-30 2021-01-19 Microsoft Technology Licensing, Llc Selection using a multi-device mixed interactivity system
US11023109B2 (en) 2017-06-30 2021-06-01 Microsoft Techniogy Licensing, LLC Annotation using a multi-device mixed interactivity system
US20190057180A1 (en) * 2017-08-18 2019-02-21 International Business Machines Corporation System and method for design optimization using augmented reality
KR102374570B1 (ko) * 2017-11-28 2022-03-14 제이에프이 스틸 가부시키가이샤 설비 관리 시스템
US10880163B2 (en) 2019-01-31 2020-12-29 Dell Products, L.P. System and method for hardware management and configuration in a datacenter using augmented reality and available sensor data
US10972361B2 (en) * 2019-01-31 2021-04-06 Dell Products L.P. System and method for remote hardware support using augmented reality and available sensor data
JP6723417B1 (ja) * 2019-06-28 2020-07-15 株式会社Ｆｉｖｅ ｆｏｒ 仮想現実システム、プログラム、およびコンピュータ読み取り可能な記憶媒体
US11796333B1 (en) * 2020-02-11 2023-10-24 Keysight Technologies, Inc. Methods, systems and computer readable media for augmented reality navigation in network test environments
US11295135B2 (en) * 2020-05-29 2022-04-05 Corning Research & Development Corporation Asset tracking of communication equipment via mixed reality based labeling
US11374808B2 (en) 2020-05-29 2022-06-28 Corning Research & Development Corporation Automated logging of patching operations via mixed reality based labeling
US11302077B2 (en) * 2020-05-29 2022-04-12 Snap Inc. Augmented reality guidance that generates guidance markers
US11570050B2 (en) 2020-11-30 2023-01-31 Keysight Technologies, Inc. Methods, systems and computer readable media for performing cabling tasks using augmented reality

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8588464B2 (en) * 2007-01-12 2013-11-19 International Business Machines Corporation Assisting a vision-impaired user with navigation based on a 3D captured image stream
FR2911707B1 (fr) * 2007-01-22 2009-07-10 Total Immersion Sa Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video.
US20100257252A1 (en) 2009-04-01 2010-10-07 Microsoft Corporation Augmented Reality Cloud Computing
CN101533548B (zh) 2009-04-03 2011-09-14 浙江工业大学 基于全方位计算机视觉的财产保护装置
US8830267B2 (en) 2009-11-16 2014-09-09 Alliance For Sustainable Energy, Llc Augmented reality building operations tool
US9488488B2 (en) * 2010-02-12 2016-11-08 Apple Inc. Augmented reality maps
US9204040B2 (en) * 2010-05-21 2015-12-01 Qualcomm Incorporated Online creation of panoramic augmented reality annotations on mobile platforms
US20110292463A1 (en) 2010-05-31 2011-12-01 Silverbrook Research Pty Ltd System for identifying physical page containing printed text
US20120069028A1 (en) * 2010-09-20 2012-03-22 Yahoo! Inc. Real-time animations of emoticons using facial recognition during a video chat
US8860760B2 (en) * 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
WO2012047905A2 (en) 2010-10-04 2012-04-12 Wavelength & Resonance Llc, Dba Oooii Head and arm detection for virtual immersion systems and methods
US8953022B2 (en) 2011-01-10 2015-02-10 Aria Glassworks, Inc. System and method for sharing virtual and augmented reality scenes between users and viewers
US20120249588A1 (en) 2011-03-22 2012-10-04 Panduit Corp. Augmented Reality Data Center Visualization
KR101818024B1 (ko) 2011-03-29 2018-01-12 퀄컴 인코포레이티드 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템
DE102011104524A1 (de) 2011-06-15 2012-12-20 Ifakt Gmbh Verfahren und Vorrichtung zum Ermitteln und Wiedergeben virtueller ortsbezogener Informationen für einen Raumbereich
US9965564B2 (en) 2011-07-26 2018-05-08 Schneider Electric It Corporation Apparatus and method of displaying hardware status using augmented reality
KR101359660B1 (ko) 2011-07-26 2014-02-07 한국과학기술원 헤드업 디스플레이를 위한 증강현실 시스템
CN102509104B (zh) 2011-09-30 2013-03-20 北京航空航天大学 基于置信度图的增强现实场景虚拟对象判别和检测方法
US20150161715A1 (en) * 2013-03-07 2015-06-11 Google Inc. Using indoor maps to direct consumers to sale items, shopping lists, or other specific locations in a store, retail establishment, or other geographic area

Also Published As

Publication number Publication date
US9858482B2 (en) 2018-01-02
CN104969538A (zh) 2015-10-07
CN104969538B (zh) 2018-08-17
WO2014193342A1 (en) 2014-12-04
EP2932708B1 (en) 2017-07-19
EP2932708A1 (en) 2015-10-21
US20150363647A1 (en) 2015-12-17
TW201506687A (zh) 2015-02-16
EP2932708A4 (en) 2016-08-17

Similar Documents

Publication Publication Date Title
TWI546704B (zh) 用於行動擴增實境之系統、方法及儲存媒體
US10726264B2 (en) Object-based localization
US11165959B2 (en) Connecting and using building data acquired from mobile devices
KR102362117B1 (ko) 지도 정보를 제공하기 위한 전자 장치
KR101749017B1 (ko) 주변 정보를 이용하는 스피드-업 탬플릿 매칭
US9177224B1 (en) Object recognition and tracking
US20160005229A1 (en) Electronic device for providing map information
US20160248968A1 (en) Depth determination using camera focus
US20160140868A1 (en) Techniques for using augmented reality for computer systems maintenance
US20130342568A1 (en) Low light scene augmentation
US10660062B1 (en) Indoor positioning
US20230215181A1 (en) Trigger Regions
JP6505242B2 (ja) クラスタベースのフォトナビゲーション
JP2017163195A (ja) 画像処理システム、プログラム、画像処理方法
US9672436B1 (en) Interfaces for item search
CN110163914B (zh) 基于视觉的定位
CA3069813C (en) Capturing, connecting and using building interior data from mobile devices
WO2020061792A1 (en) Real-time multi-view detection of objects in multi-camera environments
JP2017108356A (ja) 画像管理システム、画像管理方法、プログラム
US9864890B1 (en) Systems and methods for contextualizing data obtained from barcode images
Yoon et al. PASU: A personal area situation understanding system using wireless camera sensor networks
US20140140573A1 (en) Pose Tracking through Analysis of an Image Pyramid
US20200184659A1 (en) System and Method for Searching for Objects by Movement Trajectories on the Site Plan
US9196151B2 (en) Encoding location-based reminders