TW202119054A - 視訊與無線電熔合為主的準確室內定位的設備及其儲存媒體 - Google Patents

視訊與無線電熔合為主的準確室內定位的設備及其儲存媒體 Download PDF

Info

Publication number
TW202119054A
TW202119054A TW109122104A TW109122104A TW202119054A TW 202119054 A TW202119054 A TW 202119054A TW 109122104 A TW109122104 A TW 109122104A TW 109122104 A TW109122104 A TW 109122104A TW 202119054 A TW202119054 A TW 202119054A
Authority
TW
Taiwan
Prior art keywords
data
target
tracked target
location
camera
Prior art date
Application number
TW109122104A
Other languages
English (en)
Other versions
TWI770544B (zh
Inventor
朴美善
楊磊
楊劭文
皇甫明
薩洛克 薩伊亞達
Original Assignee
美商英特爾股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商英特爾股份有限公司 filed Critical 美商英特爾股份有限公司
Publication of TW202119054A publication Critical patent/TW202119054A/zh
Application granted granted Critical
Publication of TWI770544B publication Critical patent/TWI770544B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0257—Hybrid positioning
    • G01S5/0263—Hybrid positioning by combining or switching between positions derived from two or more separate positioning systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0257—Hybrid positioning
    • G01S5/0263—Hybrid positioning by combining or switching between positions derived from two or more separate positioning systems
    • G01S5/0264—Hybrid positioning by combining or switching between positions derived from two or more separate positioning systems at least one of the systems being a non-radio wave positioning system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一實施例包含至少一電腦可讀取儲存媒體，其包含指令，當被執行時，使得系統用以：(a)(i)自無線電感應器接收第一目標的第一無線電信號位置資料；及(a)(ii)自攝影機感應器接收第一目標的第一視訊信號位置資料；(b)(i)對該第一無線電信號位置資料執行特性抽取，以決定第一抽取無線電信號特性；及(b)(ii)對該第一視訊信號位置資料執行特性抽取，以決定第一抽取視訊信號特性；解決在該第一抽取無線電信號特性與該第一抽取視訊信號特性間的第一相關問題，以決定第一熔合位置資料；及儲存該第一熔合位置資料於該至少一電腦可讀取儲存媒體中。其他實施例也在此描述。

Description

視訊與無線電熔合為主的準確室內定位的設備及其儲存媒體
本發明的實施例關係於感應器。
隨著行動計算節點的擴展與無線技術的進步，對於精確室內定位與其相關服務的需求變得愈來愈流行。可靠與精準正確的室內定位可以支援大範圍的應用，包含：位置為主的折價券推銷(其中折價券根據使用者的接近發送該折價券的營業組織而發送給該使用者)、朋友善追蹤(允許一使用者得知另一使用者在哪)、個人購物助理(有關接近使用者的商品的資訊被顯示或傳送給該使用者)、交通熱點圖、工作流程驗證及最佳化等等。
102A、B:使用者
104A、B:行動裝置
105:計算節點
106:伺服器
108:資料店
108A-C:影像捕捉裝置
110A-C:接取點
200:處理
201:裝置
202:裝置
205:處理部份
210:感應器資料處理
211:無線電管線
212:感應器差別調整
213:視覺管線
214:影像最佳化
215:感應器資料處理
221:特性抽取
222:相關
223:感應器熔合
225:整合感應器資料處理
301:Wi-Fi-追蹤路徑
302:Wi-Fi追蹤路徑
303:路徑
304:路徑
305:路徑
306:路徑
307:路徑
900:系統
905:基頻處理器
910:應用處理器
915:電源管理積體電路
920:使用者介面/顯示器
930:快閃記憶體
932:安全部
935:DRAM
940:通用積體電路卡
942:安全儲存
945:捕捉裝置
950:安全處理器
960:近場通訊無接觸介面
965:NFC天線
970:射頻收發器
975:無線區域網路收發器
980:GPS感應器
990:天線
995:驗證裝置
1000:多處理器系統
1014:輸入/輸出裝置
1016:匯流排
1018:匯流排橋接器
1020:匯流排
1022:鍵盤/滑鼠
1024:音訊I/O
1026:通訊裝置
1028:資料儲存單元
1029:信任儲存
1030:碼
1032:記憶體
1034:記憶體
1038:高效圖形引擎
1039:P-P互連
1050:點對點互連
1052:P-P互連
1054:P-P互連
1070:處理器
1072:記憶體控制器集線器
1074a、b:處理器核心
1076:P-P互連
1078:P-P互連
1080:處理器
1082:記憶體控制器集線器
1084a:處理核心
1085:安全引擎
1086:P-P互連
1088:P-P互連
1090:晶片組
1092:介面
1094:P-P互連
1096:介面
1098:P-P互連
本發明的實施例之特性與優點將由隨附之申請專利範圍、以下之一或更多例示實施例之詳細說明及相關附圖所了解。當適當考量，已經重覆圖式間的元件符號以表示對應或類似的元件。
圖1描繪在一實施例中之定位系統。
圖2描繪在一實施例中之處理。
圖3A描繪述無線電為主追蹤，圖3B描繪視覺為主追蹤，及圖3C描繪在本發明實施例中之無線電/視覺熔合為主追蹤。
圖4包含與本發明實施例一起使用之系統。
圖5包含與本發明實施例一起使用之系統。
【發明內容與實施方式】
在以下說明中，各種特定細節係加以說明，但本發明之實施例可以在沒有這些細節下加以實施。已知電路、結構及技術並未詳細顯示，以避免模糊對本說明的了解。“實施例”、“各種實施例”等係描述一或多個實施例，其可以包含特殊特性、結構或特徵，但並不是每一實施例都必須包含該等特定特性、結構或特徵。一些實施例可以具有在其他實施例中所述之一些或全部的特性，或完全沒有。“第一”、“第二”、“第三”等描述一共同物件，並表示相同物件的不同例。此等形容詞並不是表示所述物件必須在時間、空間、或順序上或任何其他方式下以給定順序加以描述。
然而，現行室內定位系統有很多問題。例如，此等系統經常不精確、太複雜而無法實施、及/或太昂貴。例如，很多系統不是依賴專屬基礎結構(例如，超寬頻帶(UWB)、可見光)，就是調整並使用現行通訊基礎 結構，例如，無線區域網路(LAN)。安裝新的位置基礎結構可能造成較佳準確度，但同時也造成大量的佈署與維護成本。使用現行基礎結構的其他解決方案(例如，根據Wi-Fi與接收信號強度指標(RSSI)信號的系統)忍受著有5至30米的誤差的不良位置準確度。雖然在有些情況下，此等誤差可能可以接受，但在其他狀況下係不能接受，例如，得知行動機器人的精確位置或得知是否消費者是在商店貨架中的產品A之前或在相同貨架的再前進兩米的產品B之前。
針對該問題，於此所述之實施例提出多模位置熔合系統，該系統藉由檢測與追蹤移動目標(例如，堆高機、空拍機、行動機器人、動物、人)無線電與視訊感應器，提供次米(sub-meter)準確(一米以內的準確度)室內定位。此等實施例利用在一位置之一部份或全部可用感應器，而不需額外硬體，就可根據加強各個模態的強處同時減弱各個模態的弱點的整合無線電為主及視訊為主的信號，提供高準確位置。
在針對該問題時，實施例針對至少三個問題：(1)如何在不需額外/過量硬體下，提供次米級位置準確度，(2)如何有效地與不同感應器模態互動，及(3)如何在來自其他感應器的協助，以造成整個系統效能改良的方式下，加強個別感應器管線。
有關問題(1)，經常發現的基礎結構感應器(例如，監視攝影機、Wi-Fi、射頻識別(RFID))可以利用於各 種實施例中，以提供較大的定位準確度，而不必增加大量的基礎結構。此等實施例藉由整合電子與視覺信號，然後，將目標的(在很多無線電信號中找到的)電子識別碼與其高準確位置(以視覺追蹤系統完成)相關，以“熔合”或組合來自此等感應器的輸出，以提供熔合位置，其不只是準確到目標的1米以內，同時，也正確地識別該目標(視覺追蹤系統所努力的方向)。此等視覺信號係容易在商店、量販店、住家等等所找到的監視攝影機中抽出。
有關問題(2)，實施例成功地與不同感應器模態(例如，視覺與無線電)互動並使用高階時空特性(例如，軌跡圖案與形狀)，而不是原始的量測資料。藉由將在其共同輸出並已經處理過形式的無線電與視覺資料互動，實施例的實施法被流線化、更彈性，並可以與不同視覺為主與無線電為主位置管線作整合，而不必修改(或只相當小的修改)。
有關於問題(3)，上述互動係目標於利用不同模態的最佳屬性。例如，無線電信號具有獨特識別碼(例如，包含在無線電資料封包內的sender_ID或device_ID)以及以軌跡圖案表示的相當高精確度。然而，無線電信號經常相對很少廣播(低頻度)，使得它們有較差的位置準確度。再者，無線電信號可以利用獨特識別碼，以準確地決定在給定空間內的使用者/無線電廣播者的數量。結果，無線電為一種用以檢測及追蹤多重移動目標的優良方式。相對地，視覺信號具有高定位準確度並相對地經常輸出 (高頻度)。然而，視覺信號很難正確地識別可能一個包藏(occlude)另一個的多個移動目標。當這些目標彼此接近時，此等視覺追蹤程式不正確地連接多重目標。由於照明問題(例如陰影)及包藏而發生這些問題。針對視覺演算法的限制，實施例應用聚集技術，用以將一個人的陰影及/或群組片段移除，然後，組合該所改良視覺輸出與在視訊框中的使用者ID的無線電為主準確決定。因此，即使這些目標開始彼此分開、彼此接近、然後彼此遠離，ID仍與它們正確的目標在一起。此情況係參考圖3作全面說明。因此，了解不同感應器模態的特徵與將這些特徵作最佳溶合對實施例提供了相當大的優點。
圖1描繪在一實施例中之定位系統。行動計算節點104A、104B(例如，圖4的節點)對應於使用者102A、102B。行動裝置104A、104B可以包含任何適當處理器驅動計算裝置，包含但並不限於桌上型計算裝置、膝上型計算裝置、伺服器、智慧手機、平板電腦等等。為了容易解釋，在此經常只有裝置104A、104B之一被描述，然而，有關104A的解釋也可以應用至104B，及反之亦然。
行動裝置104A、104B可以與一或更多接取點110A、110B、110C(有時一起統稱為110)相通訊。各個接取點110A、110B、110C可以被組態有獨特識別碼，並選用地，具有有關該接取點的額外資訊。接取點110可以提供一區域的無線信號覆蓋。行動裝置104A可以捕捉有關 於行動裝置與接取點110間的通訊的量測值。量測值可以包含接收信號強度指標(RSSI)，其各個係為出現在接收無線信號中的功率的量測值。量測值可以傳送至伺服器106(例如，圖5的節點)。雖然在此實施例係以用於接取點110A、110B、110C的WiFi網路的情況加以說明，但其他實施例也可以利用其他無線技術，包含但並不限於藍芽、BLE、RFID、UWB、ZigBee、蜂巢式信號，及類似物。
伺服器106也可以與可以捕捉目標(例如使用者102A、102B)的影像的一或更多影像捕捉裝置108A、108B、108C(例如，攝影機)相通訊。伺服器也可以自一或更多資料店108接收例如一特定位置的平面圖資訊及/或有關於該一或更多接取點110的接取點無線電指紋資料的資料。
無線電指紋資料可以包含特徵化其信號傳輸的特有“指紋”所指明的一或更多接取點110或任何其他無線電發射器的資訊。電子指紋使得有可能可以以其特有無線電傳輸特性識別一無線裝置。來自無線電指紋的位置準確度可以取決於環境因素，例如，接取點密度、接取點的相對位置及Wi-Fi信號的時間/空間變化。
伺服器106可以至少部份根據視覺資料、傳輸至行動裝置104A及104B的量測資料RSSI、接取點指紋資料，及/或平面圖資訊，決定行動裝置104A、104B(與使用者102A、102B)的現行位置。該位置可以用以提 供位置為主服務給所識別行動裝置104及/或另一計算節點105。
圖2描繪一實施例的處理。處理200包含三個主要部份：初步感應器活動205、個別感應器資料處理210、及整合感應器資料處理215。
在處理部份205中，無線電感應器(例如，Wi-Fi裝置、RFID裝置、BLE裝置)201執行與視覺感應器(例如，影像捕捉裝置，例如監視攝影機)202的校正與時間同步化。例如，裝置201、202可以使用網路時間協定(NTP)協定，以彼此作時間同步。
在處理部份215中，來自各個模態管線(即，無線電與視覺)的位置資料係平行處理(但此並不是在所有實施例中均是強制的)。
例如，在方塊211中，伺服器106可以自行動裝置104接收資料。在一些實施例中，所接收資料可以包含有關於該行動裝置104與一或更多接取點110的無線資料量測值。在一些實施例中，無線資料量測值可以為RSSI資料。在方塊211中，伺服器106可以取得有關於一或更多接取點110的無線電指紋資料。無線電指紋資料可以由一或更多資料店108取得。在一些實施例中，伺服器106也可以取回用於行動裝置104通常所在的區域的一或更多圖。在方塊211，可決定用於m個已識別行動裝置104的座標Xm、Ym。
一實施例利用RSSI及檢測Wi-Fi接取點的數 量，用以產生Wi-Fi指紋。然而，並不是所有實施例均限定於RSSI指紋技術，及也可以使用其他Wi-Fi位置技術(例如，RSSI三角定位、飛行時間的三邊測量)。同時，一些實施例混合來自各種無線電源的資料，例如組合Wi-Fi與RFID或BLE資料。
方塊212有關於感應器差別(disparity)調整。此等調整可以包含例如在無線電201與攝影機202間的頻率匹配。例如，為了感應器間的頻率差別，一實施例根據於裝置間的最近時戳，將來自無線電201與攝影機202的資料相關。例如，攝影機可以每秒捕捉29框，但每3至4秒只產生1個Wi-Fi信號。
方塊212也有關於無線電201與攝影機202間的座標轉換。因為每一感應器有自己的語言，所以一實施例決定用於感應器201、202的共同語言。例如，(來自無線電201的)Wi-Fi信號可以以世界座標系統加以量測，同時，(來自攝影機202的)視覺信號係以像素座標系統加以量測。在處理部份225中整合不同感應資料之前，實施例將一組座標(來自無線電201的Xn、Yn座標，或來自攝影機202的Pxn、Pyn座標)轉換至另一組座標。例如，實施例可以使用單應(homography)轉換矩陣作座標轉換。在一些實施例中，無線電及視覺座標均可以被轉換為一共同座標系統。實施例使用像素座標作為匹配相關方塊(方塊222)的有效軌跡圖案的參考座標，因為當轉換像素至世界座標時，一小關閉像素錯誤可以被解釋為在世界座標系 統中之巨大差異(特別是用於在一框中之接近消失點的這些像素)。
方塊213關係視覺追蹤，以決定視覺座標。一實施例根據兩階段之追蹤活動：(a)使用背景減去演算法(例如，根據高斯混合模型)，檢測在各個框中之移動目標，及(b)使用卡門濾波器，將對應於相同目標的檢測相關至時間上。單獨此類型之追蹤可能並不夠。真實世界情況可能包含人們彼此接近或者在行進方向的突然改變。此等情況很難追蹤並對一目標連續指定一正確ID。例如，只要老鼠彼此不接觸的情況下，在一籠子中追蹤老鼠1及老鼠2對於視覺追蹤系統相當容易。然而，當老鼠互動並彼此包藏時，已經將“目標1”認定為“老鼠1”及“目標2”認定為“老鼠2”的追蹤系統可能錯誤地將“目標1”認定為老鼠2。很多視覺追蹤系統更透過將人們耦接在一起的陰影將分開的人們連接在一起。此等系統有時由於包藏之故，將單一個人分成多個目標。
由於所知的這些現行限制，一實施例根據來自無線電201自無線電資料取得的經識別無線電ID的認知應用分群技術至個人的片段群或移除陰影。因為該實施例將由該電子ID的數量得知有多少人在該視覺現場中，所以該實施例可以應用K-平均(K-means)分群至該目標(其中K等於電子識別碼的數量)，以將群集合在一起(方塊214)。在找到個別群後，如果有陰影，則2-平均分群可以應用至各個個別群，以移除該陰影；一群用於一目標而另 一目標係用於其投影。目標的形心與慣性力矩一起決定移動陰影的存在。
在處理部份225中，執行了差別無線電與視覺位置資料的整合或熔合。如上所述，無線電信號為主的位置追蹤在時間窗(例如，軌跡圖案、移動方向)上給出可靠整體移動評估，但各個位置評估可能由於固有Wi-Fi信號變動，而具有幾米的誤差。視覺信號為主追蹤提供高定位準確度(例如，次米)，但由於例如陰影、目標阻礙或擁塞現場之因素，而經常在多重目標間混亂及/或報告不正確的目標數量。
部份225可以發生在伺服器106，以藉由熔合無線電(Wi-Fi)軌跡及具有平面圖的視覺，而提供使用者軌跡。雖然在一些實施例中，部份215被分開處理(例如，座標係在智慧手機上並在攝影系統中決定)，但在其他實施例中，這些工作係為伺服器106及/或裝置201、202之一或一些其他節點所處理。
方塊221包含在各個時間窗(例如，框)中抽取軌跡特性。一實施例開始特性抽取一初始組量測資料並建立想要成為資訊性及非冗餘的推導值(特性)。特性抽取係有關於維度縮減。當輸入至演算法中之資料太大而沒法處理並被懷疑為冗餘時(例如，出現為像素的影像的重覆)，則它可以被轉換為縮小組的特性(也稱為“特性向量”)。所抽取特性被期待為包含來自輸入資料的相關資訊，使得追蹤更容易執行。特性也可以改變並且可以包含軌跡、形 狀、顏色及類似物。
方塊222包含解決相關或指定問題。指定問題包含在加權二部圖中找到最大權重匹配(或最小權重完美匹配)。因此，在方塊222中，工作係將攝影機為主座標(繫至電子ID)相關至可能更準確(但較不佳識別)的視覺為主座標。實施例使用匈牙利最佳化演算法形成此相關性，該演算法根據歐幾里德距離與成本矩陣找出最小成本指定，以將目標的電子識別碼映射至這些相同目標的視覺外觀。因此，視覺管線可能在時間窗中產生移動目標的未正確指定的ID。此誤識別可以藉由解決該相關問題加以校正。
結果，由視覺位置資料所取的移動目標的位置可以被使用作為輸出位置，因為視覺信號係在定位時較準確(<1米)(方塊223)。再者，熔合位置資料可以被顯示於顯示器上給使用者或以其它方法傳輸。藉由解決相關問題，一實施例解決目標追蹤/檢測誤差，同時，仍維持有來自視覺解決方案的次米追蹤準確度。
在一實施例中，位置輸出可以進一步被饋送至適應粒子濾波架構。當有平面圖時，一實施例可以利用平面圖侷限，來校正位置誤差並加速相對可信評估的收斂。
有關粒子濾波器，一實施例利用粒子濾波器(也稱為循序蒙地卡羅(SMC))法，來評估目標的位置(即，平面座標及/或前進方向)。粒子濾波或SMC法也可以為線 上事後密度評估演算法，以藉由直接執行貝氏遞迴方程式，評估狀態空間的事後密度。粒子濾波也可以使用一組粒子來代表事後密度，以利用離散化法。粒子濾波可以提供用以由所需分佈中產生取樣的方法，而不必假設有關狀態空間的模型或狀態分佈。狀態空間模型可以為非線性，及初始狀態與雜訊分佈可以採用任何所需形式。粒子濾波可以藉由使用集團為主方法，直接執行貝氏遞迴方程式。來自該分佈的取樣可以為一組粒子所代表。各個粒子可以相關有一權重，其代表該粒子可能由該或然率密度函數取樣的或然率。造成權重崩潰的權重差別可能藉由在權重變得太不均前包含再取樣步驟而減輕。在再取樣步驟中，具有可忽略權重的粒子可以用在具有較高權重的該等粒子附近的新粒子來取代。
在一些例子中，粒子濾波可以用以追蹤粒子的位置並追蹤於無線電指紋位置與視覺位置追蹤間的相對可信。當有平面圖時，平面圖侷限可以被利用以加速相對自信評估的收斂。
感應器更新可以涉及由其他感應器所取得的量測值所加權的粒子。感應器更新可以利用無線電信號強度(例如，RSSI)、無線電指紋資料庫、及地板平面圖(如果有的話)來計算粒子的權重。例如，如果粒子的位置係位在牆壁內或指紋並未匹配指紋資料庫，則一粒子可以被處罰。為了再取樣，雖然粒子濾波遞迴，但該組粒子可以退化(degenerate)並且由於在粒子間的加權上的顯著差 異，而且上不能有效代表一分佈。再取樣為一種手段，用以避免該演算法的退化問題。其係藉由自該組粒子部份取樣加以完成，以形成代表準確相同分佈的另一組粒子。
因此，處理200也提供伺服器，以由行動裝置104所接收的無線電資料量測值來更新為一組粒子所代表的位置評估。在一些實施例中，各個粒子的位置可以至少部份根據該無線電指紋資料與有關於於該行動裝置104的視覺資料。
熔合引擎可以計算各個所述多個粒子的個別位置的個別權重。在一些實施例中，熔合引擎可以計算在各個多數粒子的有關於個別位置的個別處罰。
在一些實施例中，熔合引擎可以至少部份根據無線電指紋資料計算與用於各個粒子的決定位置相關的權重，及計算各個粒子的各個所決定位置的個別權重。
熔合引擎可以決定是否粒子退化。如果粒子並未退化，則該方法遞迴及/或結束。在一些實施例中，熔合引擎可以至少部份根據與該等粒子相關的計算權重，來決定粒子為退化。如果熔合引擎決定粒子退化，則熔合引擎可以啟始該無線電資料量測值的至少一部份的再取樣。再取樣可以包含從該行動裝置104要求額外無線電資料量測值及有關行動裝置104的額外視覺資料，並遞迴通過該方法。
回到處理部份225，實施例自無線電201及攝影機202節點接收已處理資料。例如，裝置201、202可 以典型每一各個信號產生用於Wi-Fi的原始量測值資料(例如，裝置_ID、RSSI、時戳)及用於視覺的其他原始量測值資料(例如，視覺-指定ID、像素位置、時戳)。然而，處理資料的格式在Wi-Fi(裝置ID、X、Y、時戳)與視覺(視覺-指定ID、X、Y、時戳)將有所不同。一實施例檢查軌跡(無線電及視覺)在時窗之順序並將之與圖侷限熔合在一起。一實施例可以查看軌跡的順序以允許該實施例由Wi-Fi及視覺兩者推導出其他資料特性(例如，移動方向)。
圖3A描繪無線電為主追蹤。圖3B描繪視覺為主追蹤，及圖3C描繪無線電/視覺熔合為主追蹤。固定攝影機(例如監視攝影機)係被用以在咖啡店內追蹤以相反方向移動的兩個人。在圖3A中，Wi-Fi追蹤路徑301、302並當這些路徑於中點時彼此接近並不會混亂，但位置資料並不很明確。在圖3B中，視覺追蹤顯示較大粒度或細節，但當只有兩目標移動時，會混亂指明路徑303、304、305的路徑。再者，在路徑303也發生不正確的身份切換。圖3C顯示根據無線電與視覺追蹤的熔合之結果，以當以粒度與精確度進行時，適當地指明用於兩目標的兩路徑306、307。這在解決相關問題後發生。熔合實施例校正了在圖3B中的不當切換身份並提供次米準確位置資訊。
因此，於此所述之實施例藉由智慧地熔合不同感應器模態與利用現存基礎結構視覺與無線電感應器， 而提供精確室內定位，而不必額外硬體。因為所提出的多模態熔合實施例為高度準確性與符合成本效益的定位解決方案，所以，它們可以用於寬廣範圍的物聯網(IoT)應用中。
現參考圖4，顯示可以使用實施例(例如行動節點104)的例示系統的方塊圖。可看出，系統900可以為智慧手機或其他無線通訊器或任何其他IoT裝置。基頻處理器905被組態以執行有關於予以由系統所發射或接收的通訊信號的各種信號處理。隨後，基頻處理器905被耦接至應用處理器910，除了執行例如很多已知社交媒體及多媒體應用程式的使用者應用程式外，其也可以為系統的主CPU，用以執行OS與其他系統軟體。應用處理器910可以更被組態以執行各種用於該裝置的其他計算運算。
隨後，應用處理器910可以耦接至使用者介面/顯示器920，例如，觸控螢幕顯示器。另外，應用處理器910也耦接至記憶體系統，其包含非揮發記憶體，即快閃記憶體930與系統記憶體，即DRAM 935。在一些實施例中，快閃記憶體930也包含安全部932，其中，儲存有秘密與其他敏感資訊。可以更看出，應用處理器910也耦接至捕捉裝置945，其例如，一或更多影像捕捉裝置(例如，攝影機)，其可以記錄視訊及/或靜態影像。
仍參考圖4，通用積體電路卡(UICC)940包含用戶身份模組，其在一些實施例中，包含安全儲存942，用以儲存安全使用者資訊。系統900可以更包含安全處理 器950，其可以耦接至應用處理器910。包含一或更多多軸加速計的多數感應器925可以耦接至應用處理器910，以完成例如動作及其他環境資訊的各種感應資訊的輸入。另外，一或更多驗證裝置995也可以用以接收例如使用者生物輸入，以供驗證操作使用。
如所進一步顯示，提供有近場通訊(NFC)無接觸介面960，其係經由NFC天線965於NFC近場中通訊。雖然在圖4中所示有分開天線，但可以了解的是，在一些實施法中，一天線或不同組天線也可以提供以完成各種無線功能。
電源管理積體電路(PMIC)915耦接至應用處理器910，以執行平台位準電源管理。為此，PMIC 915可以對應用處理器910發出電源管理請求，以如想要地進入低電源狀態。再者，根據平台侷限，PMIC 915也可以控制系統900的其他元件的電源位準。
為了例如在一或更多IoT網路中，完成發射與接收的通訊，各種電路可以耦接於基頻處理器905與天線990之間。明確地說，可以有射頻(RF)收發器970與無線區域網路(WLAN)收發器975。通常，RF收發器970可以依據給定無線通訊協定，例如3G或4G無線通訊協定，例如，依據分碼多重接取(CDMA)、行動通訊全球系統(GSM)、長期演進(LTE)或其他協定，以接收與發射無線資料與呼叫。另外，也可以有GPS感應器980，以當背景資訊被使用於配對處理時，如於此所述，位置資訊被提 供給安全處理器950。也可以提供例如AM/FM與其他信號的無線電信號的例如接收或發射的其他無線電通訊。另外，也可以經由WLAN收發器975，例如依據BluetoothTM或IEEE 802.11標準實現區域無線通訊。
現參考圖5，顯示依據本發明另一實施例之系統(例如伺服器106)的方塊圖。多處理器系統1000為例如伺服器系統的點對點互連系統，並包含第一處理器1070及第二處理器1080，經由點對點互連1050耦接。各個處理器1070與1080可以為多核心處理器，例如，SoC，包含第一與第二處理器核心(即，處理器核心1074a及1074b及處理器核心1084a及1084b)，但有可能在處理器中也可以有更多核心。另外，處理器1070及1080各個可以包含安全引擎1075及1085，以執行安全操作，例如，證實、IoT網路登錄等等。
第一處理器1070更包含記憶體控制器集線器(MCH)1072及點對點(P-P)介面1076與1078。類似地，第二處理器1080包含MCH 1082及P-P介面1086及1088。MCH 1072及1082耦接處理器至個別記憶體，即，記憶體1032及記憶體1034，其也可以本地附接至個別處理器的主記憶體(例如，DRAM)的一部份。第一處理器1070及第二處理器1080可以經由P-P互連1052及1054分別耦接至晶片組1090。如於圖5所示，晶片組1090包含P-P介面1094及1098。
再者，晶片組1090包含介面1092，以藉由 P-P互連1039耦接晶片組1090與高效圖形引擎1038。隨後，晶片組1090可以經由介面1096耦接至第一匯流排1016。各種輸入/輸出(I/O)裝置1014可以被耦接至第一匯流排1016，及匯流排橋接器1018將第一匯流排1016耦接至第二匯流排1020。各種裝置可以耦接至第二匯流排1020，包含例如鍵盤/滑鼠1022、通訊裝置1026及資料儲存單元1028，例如非揮發儲存或其他大量儲存裝置。可以看出，在一實施例中，資料儲存單元1028可以包含碼1030。可進一步看出，資料儲存單元1028也包括信任儲存1029，以儲存予以保護的敏感資訊。再者，音訊I/O 1024也可以耦接至第二匯流排1020。
實施例也可以用於很多不同類型系統中。例如，在一實施例中，通訊裝置可以安排以執行於此所述之各種方法與技術。當然，本發明之範圍並不限於通訊裝置，相反地，其他實施例也可以有關於其他類型的用以處理指令的設備，或包含反應於在計算裝置被執行的指令的一或更多機器可讀取媒體使得該裝置執行於此所述之一或更多方法與技術。
實施例可以以碼實施並可以儲存在非暫態儲存媒體中，其上儲存有指令以被用以規劃一系統，來執行該等指令。實施例也可以被實施為資料並可以被儲存在非暫態儲存媒體中，如果為至少一機器所使用，使得至少一機器製造至少一積體電路，來執行一或更多操作。儲存媒體也可以包含但並不限於任何類型的碟片，其包含軟碟、 光碟、固態驅動器(SSD)、光碟唯讀記憶體(CD-ROM)、光碟可寫(CD-RW)、及磁光碟、半導體裝置(例如唯讀記憶體(ROM))、隨機存取記憶體(RAM)(例如動態隨機存取記憶體(DRAM)、靜態隨機存取記憶體(SRAM))、可抹除可程式唯讀記憶體(EPROM)、快閃記憶體、電可抹除可程式唯讀記憶體(EEPROM)、磁或光學卡、或任何其他類型媒體，其適用以儲存電子指令者。
於此所用之模組表示任何硬體、軟體、韌體或其組合。經常，模組邊界被顯示為分開並經常改變及可能重疊。例如，第一及第二模組可以共享硬體、軟體、韌體或其組合，同時，也可能保有一些獨立硬體、軟體或韌體。在一實施例中，用語邏輯的使用包含硬體，例如電晶體、暫存器或其他硬體，例如可程式邏輯裝置。然而，在另一實施例中，邏輯也包含整合有硬體的軟體或碼，例如韌體或微碼。
例如，“位置熔合”模組或引擎也可以包含以上硬體、軟體、韌體或組態的組合(規劃或設計)，以熔合某些態樣的視覺與無線電位置資料一起，以形成熔合的位置資訊。
如於此所用之“伺服器”為能接受來自客戶的請求的一些軟體的執行例子，以及執行此等軟體的電腦。伺服器操作於客戶-伺服器架構內，其中“伺服”為執行以服務其他程式的要求“客戶”的電腦程式。這也可以共享資料、資訊或硬體與軟體資源。典型計算伺服器的例子為 資料庫伺服器、檔案伺服器、郵件伺服器、列印伺服器、網路伺服器、遊戲伺服器、及應用伺服器。客戶可以執行於相同電腦上，也可以透過網路連接至該伺服器。在硬體方面，主要被設計作為伺服器的電腦可以為了其任務而以一些方向特殊化。有時，更較標準桌上型電腦更強力與可靠，它們如果被以大數量分群，則它們也可以相反地更簡單與更可抛。
例子1a包含至少一電腦可讀取儲存媒體，包含指令，當其被執行時，使得一系統，用以：(a)(i)自無線電感應器接收用於第一目標的第一無線電信號位置資料；及(a)(ii)自攝影機感應器接收用於第一目標的第一視覺信號位置資料；(b)(i)對該第一無線電信號位置資料，執行特性抽取，以決定第一抽取無線電信號特性；及(b)(ii)對該第一視覺信號位置資料，執行特性抽取，以決定第一抽取視覺信號特性；解決在該第一抽取無線電信號特性與該第一抽取視覺信號特性間的第一相關問題，以決定第一熔合位置資料；及儲存該第一熔合位置資料於該至少一電腦可讀取儲存媒體中。
在例子2a中，例子1a的標的可以選用地包含至少一電腦可讀取儲存媒體更包含指令，當指令被執行時，使得該系統根據該第一熔合位置資料，顯示該第一目標的位置。
在例子3a中，例子1a-2a的標的可以選用地包含至少一電腦可讀取儲存媒體更包含指令，當指令被執 行時，使得該系統對該第一熔合位置資料施加粒子濾波器，以決定第一濾波熔合位置資料。
在例子4a中，例子1a-3a的標的可以選用地包含至少一電腦可讀取儲存媒體更包含指令，當指令被執行時，使得該系統根據用於對應於該第一無線電信號位置資料、該第一視覺信號位置資料與該第一目標的實體現場的現場圖，對該第一熔合位置資料施加該粒子濾波器。
在例子5a中，例子1a-4a的標的可以選用地包含至少一電腦可讀取儲存媒體，其中該第一無線電信號位置資料與該第一視覺信號位置資料均對應於一共同座標系統。
在例子6a中，例子1a-5a的標的可以選用地包含其中該第一無線電信號位置資料被時間同步至該第一視覺信號位置資料。
在例子7a中，例子1a-6a的標的可以選用地包含至少一電腦可讀取儲存媒體更包含指令，當指令被執行時，使得該系統根據對應於該第一無線電信號位置資料的第一電子識別碼的相關至該第一視覺信號位置資料，決定該第一熔合位置資料。
在例子8a中，例子1a-7a的標的可以選用地包含至少一電腦可讀取儲存媒體更包含指令，當指令被執行時，使得該系統根據該第一視覺信號位置資料，執行用以抽取該第一目標的軌跡資料的該特性抽取；其中該軌跡資料係包含在該第一抽取無線電信號特性中。
在例子9a中，例子1a-8a的標的可以選用地包含至少一電腦可讀取儲存媒體更包含指令，當指令被執行時，使得該系統用以：(a)(i)自該無線電感應器接收用於第二目標的第二無線電信號位置資料；及(a)(ii)自該攝影機感應器接收用於該第二目標的第二視覺信號位置資料；(b)(i)對該第二無線電信號位置資料執行特性抽取，以決定第二抽取無線電信號特性；及(b)(ii)對該第二視覺信號位置資料執行特性抽取，以決定第二抽取視覺信號特性；解決於該第二抽取無線電信號特性與該第二抽取視覺信號特性間的第二相關問題，以決定第二熔合位置資料；及儲存該第二熔合位置資料於該至少一電腦可讀取儲存媒體中；其中該第一與第二視覺信號位置資料對應於單一框的視訊資料。
在例子10a中，例子1a-9a的標的可以選用地包含至少一電腦可讀取儲存媒體更包含指令，當指令被執行時，使得該系統用以根據對該第一與第二相關問題的解決，將來自該第二目標的第一電子識別碼重新指定給該第一目標。
在例子11a中，例子1a-10a的標的可以選用地包含至少一電腦可讀取儲存媒體更包含指令，當指令被執行時，使得該系統用以：根據對應於該第一無線電信號位置資料的第一電子識別碼的相關至該第一視覺信號位置資料，決定該第一熔合位置資料；及根據對應於該第二無線電信號位置資料的第二電子識別碼的相關至該第二視覺 信號位置資料，決定該第二熔合位置資料。
在例子12a中，例子1a-11a的標的可以選用地包含至少一電腦可讀取儲存媒體更包含指令，當指令被執行時，使得該系統用以：對對應於該第一與第二視覺信號位置資料的視訊資料進行k-平均分群，其中“k”係根據該第一與第二電子識別碼。
在例子13a中，例子1a-12a的標的可以選用地包含至少一電腦可讀取儲存媒體，其中該第一與第二視覺信號位置資料對應於該第一與第二目標之一者包藏該第一與第二目標的另一者的包藏。
在例子14a中，例子1a-13a的標的可以選用地包含至少一電腦可讀取儲存媒體，其中該第一無線電信號位置資料係根據所接收信號強度指標(RSSI)指紋、RSSI三角定位、及飛行時間的三邊測量的至少之一。
在例子15a中，例子1a-14a的標的可以選用地包含至少一電腦可讀取儲存媒體，其中該第一無線電信號位置資料包含第一座標資料及該第一視覺信號位置資料包含第二座標資料。
在例子16a中，例子1a-15a的標的可以選用地包含至少一電腦可讀取儲存媒體，其中該第一無線電信號位置資料包含用於該第一目標的第一裝置識別碼(ID)與第一時戳，及該第一視覺信號位置資料包含第二時戳。
在例子17a中，例子1a-16a的標的可以選用地包含至少一電腦可讀取儲存媒體更包含指令，當指令被 執行時，使得該系統用以根據於該第一抽取無線電信號特性與該第一抽取視覺信號特性間的最小成本最佳化，解決該第一相關問題。
在例子18a中，例子1a-17a的標的可以選用地包含至少一電腦可讀取儲存媒體更包含指令，當指令被執行時，使得該系統用以回應於決定該第一熔合位置資料，將第一信息傳送至第一行動計算節點。
此一信息可以包含例如特定於該熔合位置資料的折價券或廣告(例如，位在被追蹤目標1米內的產品X的折價券)。然而，也有可能有根據熔合資料的其他啟動。這些啟動可以是虛擬或實體的。例如，當具有被辨識或接受清單裝置_id的目標被追蹤並被決定為在閘門的臨限距離內時，啟動信號可以被送至耦合至該閘門的螺線管。例如，當具有辨識或接受清單裝置_id的使用者被追蹤並被決定為在位置的臨限距離內時，虛擬影像可以投影至使用者的虛擬實境頭戴裝置。其他啟動也可以包含當一實施例決定該使用者接近指定位置時，對使用者的行動計算裝置(例如智慧手機、具有視覺顯示的無線眼鏡)顯示特權資料。
在例子19a中，例子1a-18a的標的可以選用地包含至少一電腦可讀取儲存媒體，其中該第一熔合位置資料包含：包括在該第一無線電信號位置資料內的第一電子識別碼；及包括在該第一視覺信號位置資料內的第一座標資料。
例子20a包含至少一電腦可讀取儲存媒體，包含指令，當指令被執行時，使得一系統，用以：(a)(i)自無線電感應器接收對應於第一目標的第一位置資料；及(a)(ii)自攝影機感應器接收對應於該第一目標的第二位置資料；根據來自該第一與第二位置資料的特性，取得抽取特性；及(b)(i)根據該抽取特性，決定熔合位置資料，及(b)(ii)包含有包括在該第一位置資料內的電子識別碼及包括在該第二位置資料中的座標資料。
因此，在一些實施例中，該特性抽取可以與決定(例如取得、推導、計算)該熔合資料的計算節點分開發生。
例子20a的另一版本包含至少一電腦可讀取儲存媒體，包含指令，當指令被執行時，使得一系統用以：(a)(i)自無線電感應器接收對應於第一目標的第一位置資料；(a)(ii)自攝影機感應器接收對應於該第一目標的第二位置資料；根據來自該第一與第二位置資料的特性，取得抽取特性；及(b)(i)根據該抽取特性、(b)(ii)包含根據包含在該第一位置資料中的識別碼的電子識別碼、及(b)(iii)包含根據包含在該第二位置資料中的第二座標資料的座標資料，決定熔合位置資料。
因此，熔合資料的電子識別碼可以僅是與在該第一位置資料中的相同識別碼，該相同識別碼的另外例子為在第一位置資料中，或者可以由在該第一位置資料中的識別碼導出。熔合資料的座標資料可以是與在第二位置 資料中相同的座標資料，及其例子，或可以在第二位置資料中的推導座標資料。
在例子21a中，例子20a的標的可以選用地包含至少一電腦可讀取儲存媒體，其中該第一位置資料與該第二位置資料兩者對應於共同座標系統。
在例子22a中，例子20a-21a的標的可以選用地包含至少一電腦可讀取儲存媒體，其中該第一位置資料包含第一座標資料。
在例子23a中，例子20a-22a的標的可以選用地包含其中包含在該第一位置資料中的該識別碼包含用於該第一目標的裝置識別碼(ID)。
例如，裝置ID可以包含例如行動計算節點的裝置的特有識別碼，其係包含在一容器的欄位中，該容器包含或對應於第一位置資料。
例子24a包含一種設備，包含：至少一記憶體及至少一處理器，耦接至該至少一記憶體，以執行包含以下之操作：(a)(i)由無線電感應器接收對應於第一目標的第一位置資料；及(a)(ii)自攝影機感應器接收對應於該第一目標的第二位置資料；根據來自該第一與第二位置資料的特性，取得抽取特性；及(b)(i)根據該抽取特性，決定熔合位置資料，及(b)(ii)該熔合位置資料包含在該第一位置資料中的電子識別碼及在該第二位置資料中的座標資料。
例子24a的另一版本包含一種設備，包含： 至少一記憶體及至少一處理器，耦接至該至少一記憶體，以執行包含以下之操作：(a)(i)自具有第一感應模態的第一感應器接收對應於第一目標的第一位置資料；及(a)(ii)自具有第二感應模態的第二感應器接收對應於該第一目標的第二位置資料，該第二感應模態不等於該第一感應模態；根據來自該第一與第二位置資料的特性，取得抽取特性；及(b)(i)根據該抽取特性決定熔合位置資料，(b)(ii)該熔合位置資料包含根據包含在該第一位置中的識別碼的電子識別碼，及(b)(iii)該熔合位置資料包含根據包含在該第二位置資料中的第二座標資料的座標資料。
在例子25a中，例子24a的標的可以選用地包含其中(c)(i)該第一位置資料包含第一座標資料；及(c)(ii)包含在該第一位置資料中的該識別碼包含對應於該第一目標的裝置識別碼(ID)
例子1b包含一種設備，包含：至少一記憶體及至少一處理器，耦接至該至少一記憶體，以執行包含以下之操作：(a)(i)自具有第一感應模態的第一感應器接收對應於第一目標的第一位置資料；及(a)(ii)自具有第二感應模態的第二感應器接收對應於該第一目標的第二位置資料，該第二模態不等於該第一感應模態；根據來自該第一與第二位置資料的特性，取得抽取特性；及(b)(i)根據該抽取特性，決定熔合位置資料，及(b)(ii)該熔合位置資料包含在該第一位置資料中的電子識別碼及在該第二位置資料中的座標資料。
在例子2b中，例子1b的標的可以選用地包含其中(c)(i)該第一位置資料包含第一座標資料及該第二位置資料包含第二座標資料；(c)(ii)該第一位置資料包含對應於該第一目標的裝置識別碼(ID)；及(c)(iii)該第一感應器包含無線電感應器及該第二感應器包含視覺感應器。
例如，該第一模態可以包含Wi-Fi或其他無線電為主感應(BLE、RAIN RFID、NFC)，而第二模態包含視覺追蹤、聲音追蹤(例如，聲納)、及類似物。如於此所用，“攝影機”包含一般的影像捕捉裝置。此等影像捕捉裝置包含靜態框攝影機、視訊攝影機、熱圖像攝影機(例如，紅外線攝影機、熱成像攝影機、及使用熱視覺的影像捕捉裝置)、及類似物。於此所用之攝影機及“視覺”並不限於在可見光波長內的視覺。
例子1c包含一種設備，包含：至少一記憶體及至少一處理器，耦接至該至少一記憶體，以執行包含以下的操作：(a)(i)自無線電感應器，接收用於第一目標的第一無線電信號位置資料；及(a)(ii)自攝影機感應器，接收用於該第一目標的第一視覺信號位置資料；(b)(i)對該第一無線電信號位置資料執行特性抽取，以決定第一抽取無線電信號特性；及(b)(ii)對該第一視覺信號位置資料執行特性抽取，以決定該第一抽取視覺信號特性；解決該第一抽取無線電信號特性與該第一抽取視覺信號特性間的第一相關問題，以決定第一熔合位置資料；及儲存該第一熔合位置資料於該至少一電腦可讀取儲存媒體中。
例子1c的另一版本包含一種設備，該設備包含：至少一記憶體、至少一處理器、位置熔合模組、特性抽取模組、及所有這些均耦接至該至少一記憶體，以執行包含以下的操作：該位置熔合模組(a)(i)自無線電感應器接收用於第一目標的第一無線電信號位置資料；及(a)(ii)自攝影機感應器，接收用於該第一目標的第一視覺信號位置資料；該特性抽取模組(b)(i)對該第一無線電信號位置資料，執行特性抽取，以決定第一抽取無線電信號特性；及(b)(ii)對該第一視覺信號位置資料，執行特性抽取，以決定第一抽取視覺信號特性；該位置熔合模組，解決在該第一抽取無線電信號特性與該第一抽取視覺信號特性間的第一相關問題，以決定第一熔合位置資料；及該位置熔合模組，儲存該第一熔合位置資料於該至少一電腦可讀取儲存媒體中。
該位置熔合模組或引擎可以包含硬體(例如，電晶體、暫存器、場可規劃閘極陣列(FPGA))、軟體、韌體或組合，其被組態(被規劃或設計)以接收該位置資料，然後將該資料相關以決定該熔合位置資料。該抽取模組或引擎可以包含硬體(例如，電晶體、暫存器、FPAG)、軟體、韌體或組合，其被組態(被規劃或設計)以由位置資料抽取特性(例如，軌跡)。在一實施例中，熔合模組處理針對在圖2的部份225中的動作。
在例子2c中，例子1c的標的可選用地包含其中該至少一處理器係用以執行包含以下之操作：根據該 第一熔合位置資料，顯示該第一目標的位置。
在例子3c中，例子1c-2c的標的可以選用地包含其中該至少一處理器係用以執行包含以下之操作：施加粒子濾波器至該第一熔合位置資料，以決定第一濾波熔合位置資料。
在例子4c中，例子1c-3c的標的可以選用地包含其中該至少一處理器係用以執行包含以下之操作：根據對應該第一無線電信號位置資料、該第一視覺信號位置資料、及該第一目標的實體現場的現場圖，施加粒子濾波器至該第一熔合位置資料。
在例子5c中，例子1c-4c的標的可以選用地包含其中該第一無線電信號位置資料與該第一視覺信號位置資料兩者對應於一共同座標系統。
在例子6c中，例子1c-5c的標的可以選用地包含其中該第一無線電信號位置資料係與該第一視覺信號位置資料時間同步。
在例子7c中，例子1c-6c的標的可以選用地包含其中該至少一處理器係用以執行包含以下之操作：根據對應於該第一無線電信號位置資料的第一電子識別碼與該第一視覺信號位置資料的相關，決定該第一熔合位置資料。
在例子8c中，例子1c-7c的標的可以選用地包含其中該至少一處理器係用以執行包含以下之操作：執行該特性抽取，以根據該第一視覺信號位置資料，抽取該 第一目標的軌跡資料；其中該軌跡資料係被包含於該第一抽取無線電信號特性中。
在例子9c中，例子1c-8c的標的可以選用地包含其中該至少一處理器係用以執行包含以下之操作：(a)(i)自無線電感應器接收用於第二目標的第二無線電信號位置資料；及(a)(ii)自該攝影機感應器接收用於該第二目標的第二視覺信號位置資料；(b)(i)對該第二無線電信號位置資料執行特性抽取，以決定第二抽取無線電信號特性；及(b)(ii)對該第二視覺信號位置資料執行特性抽取，以決定第二抽取視覺信號特性；解決於該第二抽取無線電信號特性與該第二抽取視覺信號特性間的第二相關問題，以決定第二熔合位置資料；及儲存該第二熔合位置資料於該至少一電腦可讀取儲存媒體中；其中該第一與第二視覺信號位置資料對應於單一框的視訊資料。
在例子10c中，例子1c-9c的標的可以選用地包含其中該至少一處理器係用以執行包含以下之操作：根據該解決該第一與第二相關問題，將來自該第二目標的第一電子識別碼重新指定給該第一目標。
在例子11c中，例子1c-10c的標的可以選用地包含其中該至少一處理器係用以執行包含以下之操作：根據對應於該第一無線電信號位置資料的第一電子識別碼的與該第一視覺信號位置資料的相關，決定該第一熔合位置資料；及根據對應於該第二無線電信號位置資料的第二電子識別碼的與該第二視覺信號位置資料的相關，決定該 第二熔合位置資料。
在例子12c中，例子1c-11c的標的可以選用地包含其中該至少一處理器係用以執行包含以下之操作：對對應於該第一與第二視覺信號位置資料的視覺資料執行k-平均分群，其中“k”係根據該第一與第二電子識別碼。
在例子13c中，例子1c-12c的標的可以選用地包含其中該第一與第二視覺信號位置資料對應於該第一與第二目標之一者包藏該第一與第二目標的另一者時的包藏。
在例子14c中，例子1c-13c的標的可以選用地包含其中該第一無線電信號位置資料係根據接收信號強度指標(RSSI)指紋、RSSI三角定位、及飛行時間三邊測量的至少之一。
在例子15c中，例子1c-14c的標的可以選用地包含其中該第一無線電信號位置資料包含第一座標資料及該第一視覺信號位置資料包含第二座標資料。
在例子16c中，例子1c-15c的標的可以選用地包含其中該第一無線電信號位置資料包含用於該第一目標的第一裝置識別碼(ID)及第一時戳，及該第一視覺信號位置資料包含第二時戳。
在例子17c中，例子1c-16c的標的可以選用地包含其中該至少一處理器係用以執行包含以下之操作：根據於該第一抽取無線電信號特性與該第一抽取視覺信號特性間的最少成本最佳化，解決該第一相關問題。
在例子18c中，例子1c-17c的標的可以選用地包含其中該至少一處理器係用以執行包含以下之操作：回應於決定該第一熔合位置資料，將第一信息傳送給第一行動計算節點。
在例子19c中，例子1c-18c的標的可以選用地包含其中該第一熔合位置資料包含包括在該第一無線電信號位置資料中的第一電子識別碼及包括在該第一視覺信號位置資料中的第一座標資料。
雖然本發明已經相關於有限數量的實施例加以描述，但熟習於本技藝者可以了解到由其中所導出的各種修改與變化。隨附之申請專利範圍擬涵蓋所有這些落在本發明真實精神與範圍內的修改與變化。
200:處理
201:裝置
202:裝置
205:處理部份
211:無線電管線
212:感應器差別調整
213:視覺管線
214:影像最佳化
215:感應器資料處理
221:特性抽取
222:相關
223:感應器熔合
225:整合感應器資料處理

Claims (34)

  1. 一種包含指令的至少一儲存裝置，當所述指令被執行時，使得至少一處理器用以至少：
    產生對應於被追蹤目標的位置的定位資訊，其中該被追蹤目標為可移動目標，該定位資訊係根據來自與該被追蹤目標分開的第一電子裝置的裝置外資料以及根據該被追蹤目標所攜帶的環境感應器的輸出的其他資料，該裝置外資料係至少部份基於攝影機資料，其中該定位資訊係根據該裝置外資料與該其他資料的熔合；及
    啟動該定位資訊的上載至第二電子裝置。
  2. 如請求項1之至少一儲存裝置，其中該第一電子裝置包括攝影機。
  3. 如請求項2之至少一儲存裝置，其中該攝影機為固定攝影機。
  4. 如請求項1之至少一儲存裝置，其中該環境感應器在該被追蹤目標的內部。
  5. 如請求項1之至少一儲存裝置，其中該定位資訊代表該被追蹤目標的方向。
  6. 如請求項1之至少一儲存裝置，其中當所述指令被執行時，使得該至少一處理器造成顯示有該被追蹤目標的所述位置的地圖。
  7. 如請求項1之至少一儲存裝置，其中當所述指令被執行時，使得該至少一處理器校正有關於該環境感應器的該輸出的時戳。
  8. 如請求項7之至少一儲存裝置，其中所述時戳的校正係根據網路時間協定。
  9. 一種系統，包含：
    予以為被追蹤目標所攜帶的環境感應器，其中該被追蹤目標為可移動目標；
    收發機；
    記憶體；
    用以執行指令之處理器電路，用以：
    產生對應於該被追蹤目標的位置的定位資訊，該定位資訊係根據：(a)來自與該被追蹤目標分開的第一電子裝置的裝置外資料，以及(b)根據該環境感應器的輸出的其他資料，該裝置外資料係至少部份基於攝影機資料，其中該定位資訊係根據該裝置外資料與該其他資料的熔合；及
    啟動該定位資訊的上載至第二電子裝置。
  10. 如請求項9之系統，其中該收發機為無線區域網路收發機。
  11. 如請求項9之系統，其中該第一電子裝置包括攝影機。
  12. 如請求項11之系統，其中該攝影機為單筒攝影機。
  13. 如請求項9之系統，其中該環境感應器用以測量在該被追蹤目標的信號。
  14. 如請求項9之系統，更包含該被追蹤目 標，其中該被追蹤目標為有行動力的。
  15. 如請求項9之系統，其中該定位資訊代表該被追蹤目標的方向。
  16. 如請求項9之系統，更包含顯示器，用以呈現包含有該被追蹤目標的所述位置的地圖。
  17. 如請求項9之系統，其中該處理器電路為用以校正有關於該環感應器資料的輸出的時戳。
  18. 如請求項17之系統，其中所述時戳的校正係根據網路時間協定。
  19. 一種用以定位被追蹤目標的方法，該方法包含：
    藉由以至少一處理器執行指令，以產生對應該被追蹤目標的位置的定位資訊，其中該被追蹤目標為可移動目標，該定位資訊係根據：(a)來自與該被追蹤目標分開的第一電子裝置的裝置外資料，以及(b)根據環境感應器的輸出的其他資料，該裝置外資料係至少部份基於影像資料，其中該定位資訊係根據該裝置外資料與該其他資料的熔合；及
    啟動該定位資訊的上載至第二電子裝置。
  20. 如請求項19之方法，更包含校正有關於該環境感應器的該輸出的時戳。
  21. 如請求項20之方法，其中所述時戳的校正係根據網路時間協定。
  22. 如請求項19之方法，更包含呈現顯示有 該被追蹤目標的該位置的地圖。
  23. 如請求項19之方法，其中該第一電子裝置包括攝影機。
  24. 如請求項23之方法，其中該攝影機為固定攝影機。
  25. 如請求項19之方法，其中該環境感應器在該被追蹤目標的內部。
  26. 如請求項19之方法，更包含藉由使用無線區域網路收發器通訊，以接取該裝置外資料。
  27. 如請求項19之方法，更包含使用該環境感應器測量在該追蹤目標的信號。
  28. 如請求項19之方法，其中該定位資訊代表該被追蹤目標的方向。
  29. 一種系統，包含：
    感應手段，用以感應環境，該感應手段係為被追蹤目標所攜帶；
    無線通訊手段；
    儲存手段；
    執行指令手段，用以：
    產生對應於該被追蹤目標的位置的定位資訊，其中該被追蹤目標為可移動目標，該定位資訊係依據：(a)來自與該被追蹤目標分開的第一電子裝置的裝置外資料，以及(b)根據該感應手段的輸出的其他資料，該裝置外資料係至少部份基於攝影機資料，其中該定位資訊 係根據該裝置外資料與該其他資料的熔合；及
    啟動該定位資訊的上載至第二電子裝置。
  30. 如請求項29之系統，其中該定位資訊代表該被追蹤目標的方向。
  31. 如請求項29之系統，更包含顯示手段，用以顯示示出有該被追蹤目標的該位置的地圖。
  32. 如請求項29之系統，其中該第一電子裝置包括攝影機。
  33. 如請求項32之系統，其中該攝影機為單筒攝影機。
  34. 如請求項29之系統，其中該感應手段用以測量在該被追蹤目標的信號。
TW109122104A 2015-09-25 2016-08-10 視訊與無線電熔合為主的準確室內定位的設備及其儲存媒體 TWI770544B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/865,531 US9772395B2 (en) 2015-09-25 2015-09-25 Vision and radio fusion based precise indoor localization
US14/865,531 2015-09-25

Publications (2)

Publication Number Publication Date
TW202119054A true TW202119054A (zh) 2021-05-16
TWI770544B TWI770544B (zh) 2022-07-11

Family

ID=58387247

Family Applications (2)

Application Number Title Priority Date Filing Date
TW105125468A TWI697689B (zh) 2015-09-25 2016-08-10 視訊與無線電熔合為主的準確室內定位的設備及其儲存媒體
TW109122104A TWI770544B (zh) 2015-09-25 2016-08-10 視訊與無線電熔合為主的準確室內定位的設備及其儲存媒體

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW105125468A TWI697689B (zh) 2015-09-25 2016-08-10 視訊與無線電熔合為主的準確室內定位的設備及其儲存媒體

Country Status (3)

Country Link
US (4) US9772395B2 (zh)
TW (2) TWI697689B (zh)
WO (1) WO2017052951A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130155102A1 (en) * 2011-12-20 2013-06-20 Honeywell International Inc. Systems and methods of accuracy mapping in a location tracking system
US9772395B2 (en) 2015-09-25 2017-09-26 Intel Corporation Vision and radio fusion based precise indoor localization
US9996752B2 (en) * 2016-08-30 2018-06-12 Canon Kabushiki Kaisha Method, system and apparatus for processing an image
US10972456B2 (en) 2016-11-04 2021-04-06 Microsoft Technology Licensing, Llc IoT device authentication
US10528725B2 (en) 2016-11-04 2020-01-07 Microsoft Technology Licensing, Llc IoT security service
US10928821B2 (en) 2016-11-04 2021-02-23 Intel Corporation Unmanned aerial vehicle-based systems and methods for generating landscape models
US10444347B2 (en) * 2016-11-30 2019-10-15 GM Global Technology Operations LLC Accurate self localization using automotive radar synthetic aperture radar
US20180241781A1 (en) * 2017-02-17 2018-08-23 Microsoft Technology Licensing, Llc Security rules including pattern matching for iot devices
US11209517B2 (en) * 2017-03-17 2021-12-28 Nec Corporation Mobile body detection device, mobile body detection method, and mobile body detection program
US10664502B2 (en) * 2017-05-05 2020-05-26 Irobot Corporation Methods, systems, and devices for mapping wireless communication signals for mobile robot guidance
US11310198B2 (en) * 2017-05-31 2022-04-19 Crypto4A Technologies Inc. Integrated multi-level or cross-domain network security management appliance, platform and system, and remote management method and system therefor
US11321493B2 (en) 2017-05-31 2022-05-03 Crypto4A Technologies Inc. Hardware security module, and trusted hardware network interconnection device and resources
EP3460400B1 (en) * 2017-09-22 2021-12-22 Softbank Robotics Europe Improved localization of a mobile device based on image and radio words
US10516982B2 (en) 2017-10-27 2019-12-24 Hewlett Packard Enterprise Development Lp Match Bluetooth low energy (BLE) moving patterns
GB2585800B (en) * 2018-03-27 2022-05-18 Teledyne FLIR LLC People counting and tracking systems and methods
DE102018110327A1 (de) * 2018-04-30 2019-10-31 Tridonic Gmbh & Co Kg System und Verfahren zur Ermittlung einer ortsbezogenen Funkfeldcharakteristik in Innenräumen
TWI671740B (zh) * 2018-06-07 2019-09-11 光禾感知科技股份有限公司 基於地磁訊號結合電腦視覺的室內定位系統及方法
WO2020064121A1 (en) 2018-09-28 2020-04-02 Nokia Technologies Oy Associating and storing data from radio network and spatiotemporal sensors
CN109996205B (zh) * 2019-04-12 2021-12-07 成都工业学院 传感器数据融合方法、装置、电子设备及存储介质
CN111757258B (zh) * 2020-07-06 2021-05-14 江南大学 一种复杂室内信号环境下的自适应定位指纹库构建方法
CN111811503B (zh) * 2020-07-15 2022-02-18 桂林电子科技大学 基于超宽带和二维码的无迹卡尔曼滤波融合定位方法
CN112461245A (zh) * 2020-11-26 2021-03-09 浙江商汤科技开发有限公司 数据处理方法及装置、电子设备和存储介质
US11956693B2 (en) * 2020-12-03 2024-04-09 Mitsubishi Electric Corporation Apparatus and method for providing location
WO2022145738A1 (en) * 2020-12-28 2022-07-07 Samsung Electronics Co., Ltd. Intelligent object tracing system utilizing 3d map reconstruction for virtual assistance
IL280630A (en) * 2021-02-03 2022-09-01 Elbit Systems C4I And Cyber Ltd Multimodal remote sensing system and method of measuring volume
KR102625507B1 (ko) * 2021-02-24 2024-01-19 주식회사 카카오모빌리티 위치 추정 방법 및 시스템
CN113316080B (zh) * 2021-04-19 2023-04-07 北京工业大学 基于Wi-Fi与图像融合指纹的室内定位方法
TWI781655B (zh) * 2021-06-15 2022-10-21 恆準定位股份有限公司 結合圖資之超寬頻定位系統
US11823538B2 (en) * 2021-09-22 2023-11-21 Fortinet, Inc. Systems and methods for incorporating passive wireless monitoring with video surveillance
WO2023215649A1 (en) * 2022-05-04 2023-11-09 Qualcomm Incorporated Positioning with radio and video-based channel state information (vcsi) fusion
CN117474991B (zh) * 2023-10-24 2024-06-07 纬创软件(武汉)有限公司 一种基于SpectFormer的Poi定位方法及装置

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5243370A (en) 1988-08-30 1993-09-07 Dan Slater Camera stabilizer
US5884205A (en) 1996-08-22 1999-03-16 Dickey-John Corporation Boom configuration monitoring and control system for mobile material distribution apparatus
US5801948A (en) 1996-08-22 1998-09-01 Dickey-John Corporation Universal control system with alarm history tracking for mobile material distribution apparatus
US5972357A (en) 1996-12-19 1999-10-26 Kikkoman Corporation Healthy foods and cosmetics
US5911362A (en) 1997-02-26 1999-06-15 Dickey-John Corporation Control system for a mobile material distribution device
JP2007506167A (ja) 2003-09-15 2007-03-15 アルミン・グラスニック ３次元的奥行き効果を有するイメージ表示法用の３次元イメージ・パターンの生成方法および３次元イメージ・パターンを表示する装置
WO2007018523A2 (en) 2004-07-28 2007-02-15 Sarnoff Corporation Method and apparatus for stereo, multi-camera tracking and rf and video track fusion
US7706979B1 (en) 2005-05-03 2010-04-27 Stanley Robert Herwitz Closest points of approach determination for unmanned aerial vehicle ground-based sense-and-avoid display system
US8040246B2 (en) * 2007-12-04 2011-10-18 Avaya Inc. Systems and methods for facilitating a first response mission at an incident scene
US20110137547A1 (en) 2009-12-03 2011-06-09 Electronics And Telecommunications Research Institute System and method for generating spatial information
WO2012024516A2 (en) 2010-08-18 2012-02-23 Nearbuy Systems, Inc. Target localization utilizing wireless and camera sensor fusion
TWM420168U (en) * 2011-05-20 2012-01-11 Yu-Qi Qiu Pet tracker
US9392746B2 (en) 2012-02-10 2016-07-19 Deere & Company Artificial intelligence for detecting and filling void areas of agricultural commodity containers
US8972357B2 (en) 2012-02-24 2015-03-03 Placed, Inc. System and method for data collection to validate location data
CN202602813U (zh) * 2012-03-16 2012-12-12 北京联合大学 宠物监控与搜寻装置
TWI444645B (zh) * 2012-09-17 2014-07-11 Quanta Comp Inc 定位方法和定位裝置
DE102012109481A1 (de) * 2012-10-05 2014-04-10 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US9953618B2 (en) * 2012-11-02 2018-04-24 Qualcomm Incorporated Using a plurality of sensors for mapping and localization
US9075415B2 (en) * 2013-03-11 2015-07-07 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
US9326103B2 (en) 2013-07-12 2016-04-26 Microsoft Technology Licensing, Llc Indoor location-finding using magnetic field anomalies
CN103442436B (zh) * 2013-08-27 2017-06-13 华为技术有限公司 一种室内定位终端、网络、系统及其方法
US9824596B2 (en) 2013-08-30 2017-11-21 Insitu, Inc. Unmanned vehicle searches
US9405972B2 (en) * 2013-09-27 2016-08-02 Qualcomm Incorporated Exterior hybrid photo mapping
US10250821B2 (en) 2013-11-27 2019-04-02 Honeywell International Inc. Generating a three-dimensional model of an industrial plant using an unmanned aerial vehicle
WO2015105886A1 (en) 2014-01-10 2015-07-16 Pictometry International Corp. Unmanned aircraft structure evaluation system and method
EP3120300A4 (en) 2014-03-19 2017-11-22 Neurala Inc. Methods and apparatus for autonomous robotic control
US9369982B2 (en) 2014-03-28 2016-06-14 Intel Corporation Online adaptive fusion framework for mobile device indoor localization
US9681320B2 (en) 2014-04-22 2017-06-13 Pc-Tel, Inc. System, apparatus, and method for the measurement, collection, and analysis of radio signals utilizing unmanned aerial vehicles
US9336584B2 (en) 2014-06-30 2016-05-10 Trimble Navigation Limited Active imaging systems for plant growth monitoring
KR20160002178A (ko) * 2014-06-30 2016-01-07 현대자동차주식회사 자차 위치 인식 장치 및 방법
CA2957081C (en) 2014-08-22 2024-06-25 The Climate Corporation Methods for agronomic and agricultural monitoring using unmanned aerial systems
US20160124435A1 (en) 2014-10-29 2016-05-05 Lyle Thompson 3d scanning and imaging method utilizing a self-actuating compact unmanned aerial device
EP3265885A4 (en) 2015-03-03 2018-08-29 Prenav Inc. Scanning environments and tracking unmanned aerial vehicles
US9745060B2 (en) 2015-07-17 2017-08-29 Topcon Positioning Systems, Inc. Agricultural crop analysis drone
US9740208B2 (en) 2015-07-30 2017-08-22 Deere & Company UAV-based sensing for worksite operations
US10356179B2 (en) 2015-08-31 2019-07-16 Atheer, Inc. Method and apparatus for switching between sensors
US9772395B2 (en) 2015-09-25 2017-09-26 Intel Corporation Vision and radio fusion based precise indoor localization
US10301019B1 (en) 2015-12-17 2019-05-28 Amazon Technologies, Inc. Source location determination
US10198954B2 (en) 2015-12-30 2019-02-05 Motorola Solutions, Inc. Method and apparatus for positioning an unmanned robotic vehicle
US9944390B2 (en) 2016-02-29 2018-04-17 Intel Corporation Technologies for managing data center assets using unmanned aerial vehicles
US10705184B2 (en) 2016-02-29 2020-07-07 Hitachi, Ltd. Sensor calibration system
US10564270B2 (en) 2016-04-13 2020-02-18 Caterpillar Inc. Methods and systems for calibrating sensors
US10338274B2 (en) 2016-06-02 2019-07-02 The Climate Corporation Computer radar based precipitation estimate errors based on precipitation gauge measurements
US10189567B2 (en) 2016-06-09 2019-01-29 Skycatch, Inc. Identifying camera position of a UAV in flight utilizing real time kinematic satellite navigation
US10238028B2 (en) 2016-08-11 2019-03-26 The Climate Corporation Automatically detecting outlier values in harvested data
US10037632B2 (en) 2016-09-01 2018-07-31 Ford Global Technologies, Llc Surrogate vehicle sensors
US10165725B2 (en) 2016-09-30 2019-01-01 Deere & Company Controlling ground engaging elements based on images
US10928821B2 (en) 2016-11-04 2021-02-23 Intel Corporation Unmanned aerial vehicle-based systems and methods for generating landscape models
TWI635413B (zh) 2017-07-18 2018-09-11 義隆電子股份有限公司 指紋感測積體電路

Also Published As

Publication number Publication date
TW201712361A (zh) 2017-04-01
US11467247B2 (en) 2022-10-11
US20170090007A1 (en) 2017-03-30
US9772395B2 (en) 2017-09-26
TWI697689B (zh) 2020-07-01
WO2017052951A1 (en) 2017-03-30
US10571546B2 (en) 2020-02-25
US20180196118A1 (en) 2018-07-12
TWI770544B (zh) 2022-07-11
US20210149012A1 (en) 2021-05-20
US20200309894A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
TWI697689B (zh) 視訊與無線電熔合為主的準確室內定位的設備及其儲存媒體
Farahsari et al. A survey on indoor positioning systems for IoT-based applications
US9785857B2 (en) Hybrid multi-camera based positioning
US9270952B2 (en) Target localization utilizing wireless and camera sensor fusion
US11893317B2 (en) Method and apparatus for associating digital content with wireless transmission nodes in a wireless communication area
Yang et al. A performance evaluation of vision and radio frequency tracking methods for interacting workforce
US20140348380A1 (en) Method and appratus for tracking objects
Cai et al. Robust hybrid approach of vision-based tracking and radio-based identification and localization for 3D tracking of multiple construction workers
WO2012024516A2 (en) Target localization utilizing wireless and camera sensor fusion
JP2018061114A (ja) 監視装置および監視方法
CN111684293A (zh) 用于跟踪电子装置的移动的设备和方法
Fang et al. Eyefi: Fast human identification through vision and wifi-based trajectory matching
CN106470478B (zh) 一种定位数据处理方法、装置和系统
EP3014469B1 (en) Systems and methods for revisit location detection
Carrasco et al. Indoor location service in support of a smart manufacturing facility
US10997474B2 (en) Apparatus and method for person detection, tracking, and identification utilizing wireless signals and images
US11507714B2 (en) Methods and apparatus for secure persistent location based digital content
US20220164492A1 (en) Methods and apparatus for two dimensional location based digital content
Feng et al. Three-dimensional robot localization using cameras in wireless multimedia sensor networks
Chen et al. MeshMap: A magnetic field-based indoor navigation system with crowdsourcing support
Strecker et al. MR Object Identification and Interaction: Fusing Object Situation Information from Heterogeneous Sources
CN113329333A (zh) 一种室内定位的方法、装置、计算机设备及存储介质
Higuchi et al. TweetGlue: Leveraging a crowd tracking infrastructure for mobile social augmented reality
Rizzardo OPTAR: Automatic Coordinate Frame Registration between OpenPTrack and Google ARCore using Ambient Visual Features
Alsmadi Development of Indoor Positioning System Using RSSI and Beacon Weight Approach in iBeacon Networks