TWI729369B

TWI729369B - 虛實訊息整合空間定位系統

Info

Publication number: TWI729369B
Application number: TW108110293A
Authority: TW
Inventors: 梁文隆; 林文雄
Original assignee: 佐臻股份有限公司
Priority date: 2019-03-25
Filing date: 2019-03-25
Publication date: 2021-06-01
Also published as: TW202036029A

Abstract

一種虛實訊息整合空間定位系統，其包含一影像輸出裝置、一處理單元、至少一網路閘道器、複數Mesh路由器、一毫米波振動感測模組、一聲音感測模組、一無線定位模組和一影像擷取模組。其中，藉由該毫米波振動感測模組或聲音感測模組或無線定位模組或影像擷取模組所取得的物件或環境狀態的訊號特徵值，經由各該Mesh路由器及該網路閘道器發送至該處理單元，經該處理單元處理並使該圖資建置模組產生該物件或環境狀態的至少一定位資訊，呈現於該影像輸出裝置上，該影像後製模組用以根據物件或環境狀態的訊號特徵值與真實影像，後製並產生一模擬該物件或環境狀態之模擬影像，呈現於該影像輸出裝置上，藉以形成虛實訊息呈現及空間定位的整合。

Description

虛實訊息整合空間定位系統

本發明係一種空間定位系統，尤指一種虛實訊息整合空間定位系統。

現有的定位技術中，舉例說明，例如藍芽(Bluetooth)是一種無線技術標準，可實現固定、移動設備和特定空間之個人網域之間的短距離數據交換。此外，利用藍芽功能的裝置iBeacon可結合可攜智慧行動裝置(例如手機)來實現使用者的行動裝置去達到室內定位的效果。該定位係通過手機接收到的信號強弱(接收信號強度指示，(Received Signal Strength Indication，RSSI))測定信號點與接收點的距離，使手機判定位置，是一種根據相應數據進行定位計算的一種定位技術。

此一技術方案中，藍芽定位系統(例如前述iBeacon)可用以監控物品(手機)的靠近或遠離。當手機收到目標物之藍芽廣播訊號時，手機可藉由藍芽廣播訊號之強度變化來判別該目標物(iBeacon)的靠近或遠離此手機，進而產生一訊息通知後台監控人員。但此iBeacon藍芽定位系統無法提供有效的判斷藍芽接收端(手機)是否已脫離偵測及精確的位置(僅判斷訊號強度變化，無空間感)，進而導致手機持有者其定位失誤的狀況發生，產生無效之定位，該無效定位無法精確得知待定位人員的位置，例如在水平樓層的精確位置或樓層高低的精確位置。

此外，在現有的定位系統中，亦缺乏即時性與學習性的訊息傳遞虛實定位系統，例如以前述藍芽系統產生定位的效果，但無法即時得知待定位人員(手機持有者)或環境空間內生命與非生命的物件或環境之狀態，例如包含聲音(定位)訊息、更加精確之定位、影像定位訊息等綜合性虛實訊息圖資。即為本案申請人所欲解決之技術困難點所在。

有鑑於習用所述，因此本發明在於解決及改善習用所存在之問題與缺失為目的。

為了達成以上之目的，本發明提供一種虛實訊息整合空間定位系統，其包含：一影像輸出裝置；一處理單元，係通訊連接該影像輸出裝置，該處理單元設有一圖資建置模組和一影像後製模組，該處理單元通訊連接一資料庫；至少一網路閘道器，係經由網路通訊連接該處理單元；複數Mesh路由器，係通訊連接該網路閘道器；一毫米波振動感測模組，係設有一第一處理器、一毫米波訊號產生器、一發射單元和一接收單元，該毫米波訊號產生器電性連接該第一處理器，該發射單元和該接收單元分別與該毫米波訊號產生器電性連接，該第一處理器通訊連接該其中一Mesh路由器；一聲音感測模組，係設有一聲音發送元件及/或一收音元件和一第二處理器，該第二處理器設有一類比轉數位轉換器，且該第二處理器分別電性連接該聲音發送元件及/或該收音元件，又該第二處理器通訊連接該其中另一Mesh路由器；一無線定位模組，係設有一第三處理器，該第三處理器通訊連接該其中另一Mesh路由器；一影像擷取模組，係設有一影像擷取裝置和一第四處理器並且彼此電性連接，該第四處理器通訊連接該其中另一 Mesh路由器。

其中較佳的，該影像輸出裝置為顯示螢幕或投影光機或穿戴式智慧裝置。

較佳的，該無線定位模組為藍芽定位器或WiFi裝置。

較佳的，進一步包含一可攜智慧型裝置，係通訊連接該等Mesh路由器其中之一。

較佳的，該資料庫設有一特徵比對模組。

較佳的，該其中一Mesh路由器設置成一Mesh協調器。

因此，藉由該毫米波振動感測模組或聲音感測模組或無線定位模組或影像擷取模組所取得的物件或環境狀態的訊號特徵值，經由各該Mesh路由器及該網路閘道器發送至該處理單元，經該處理單元處理並使該圖資建置模組產生該物件或環境狀態的至少一定位資訊，呈現於該影像輸出裝置上，該影像後製模組用以根據物件或環境狀態的訊號特徵值與真實影像，後製並產生一模擬該物件或環境狀態之模擬影像，呈現於該影像輸出裝置上，藉以形成虛實訊息呈現及空間定位的整合。

〔本發明〕

1‧‧‧影像輸出裝置

2‧‧‧處理單元

21‧‧‧圖資建置模組

22‧‧‧影像後製模組

23‧‧‧資料庫

24‧‧‧特徵比對模組

3‧‧‧網路閘道器

4‧‧‧Mesh路由器

41‧‧‧Mesh協調器

5‧‧‧毫米波振動感測模組

51‧‧‧第一處理器

52‧‧‧毫米波訊號產生器

53‧‧‧發射單元

54‧‧‧接收單元

6‧‧‧聲音感測模組

61‧‧‧聲音發送元件

62‧‧‧收音元件

63‧‧‧第二處理器

631‧‧‧類比轉數位轉換器

7‧‧‧無線定位模組

71‧‧‧第三處理器

8‧‧‧影像擷取模組

81‧‧‧影像擷取裝置

82‧‧‧第四處理器

9‧‧‧移動源

100‧‧‧網路

200‧‧‧Mesh網路

300‧‧‧區域環境或特定空間

400‧‧‧通訊裝置

42‧‧‧可攜智慧型裝置

第一圖係本發明較佳實施例之方塊結構示意圖。

第一之A圖係本發明較佳實施例之第一圖的毫米波振動感測模組之細部方塊結構示意圖。

第一之B圖係本發明較佳實施例之第一圖的聲音感測模組之細部方塊結構示意圖。

第一之C圖係本發明較佳實施例之第一圖的無線定位模組之細部方塊結構示意圖。

第一之D圖係本發明較佳實施例之第一圖的影像擷取模組之細部方塊結構示意圖。

第二圖係本發明較佳實施例之毫米波振動感測模組其立體掃描定位區域環境或特定空間內的各該物件或環境狀態並預測產生各該物件或環境狀態的定位資訊或聲音感測模組以聲音收/發定位區域環境或特定空間內的各該物件或環境狀態，並預測產生各該物件或環境狀態的定位資訊或無線定位模組其設置於區域環境或特定空間內，並產生與通訊裝置(例如智慧型手機)之間的定位資訊或影像擷取模組其取得區域環境或特定空間內的各該物件或環境狀態的狀態影像，作(即時的)監控取得定位資訊，其使用示意圖。

第三圖係本發明較佳實施例之其中一Mesh路由器設置成Mesh協調器之方塊結構示意圖。

為了使貴審查委員能清楚了解本發明之內容，係以下列實施例搭配圖式及符號加以說明，敬請參閱之。

請參閱第一圖所示，本發明提供一種虛實訊息整合空間定位系統，其包含：一影像輸出裝置1、一處理單元2、多個網路閘道器3、複數Mesh路由器4、一毫米波振動感測模組5、一聲音感測模組6、一無線定位模組7和一影像擷取模組8。

其中，該處理單元2通訊連接該影像輸出裝置1，該影像輸出裝置1可為顯示螢幕或投影光機或穿戴式智慧裝置，較佳的穿戴式智慧裝置例如是一智能眼鏡，該處理單元2設有一圖資建置模組21和一影像後製模組22，該處理單元2通訊連接一資料庫23。本實施例中，該處理單元2具體可由一電子裝置構成，該電子裝置例如大型主機電腦(PC)、筆記型電腦(NB)、智慧手機或其它具有處理訊號能力的裝置。該圖資建置模組21具體可為軟體應用程序(例如大型電腦(PC)軟體或app)，當然，實際上可以是地圖製作軟體，且並非以此為限。同理，該影像後製模組22具體可為軟體應用程序，此外，該資料庫23設有一特徵比對模組24，藉以比對該資料庫23的資料特徵。

該多個網路閘道器(Gateway)，經由網路100可通訊連接該處理單元2。該等Mesh路由器(Router)4構成Mesh網路200，有線或無線通訊連接各該網路閘道器3，該網路閘道器3的設置，不僅可提供連接至網路(Internet)，更可連接Mesh網路200，以將資訊順利傳遞。本實施例中，配合第三圖，該其中一Mesh路由器4設置成一Mesh協調器41(Coordinator)，以利進行網路協調。

請配合第一之A圖，其中該毫米波振動感測模組5設有一第一處理器51、一毫米波訊號產生器52、一發射單元53和一接收單元54，該毫米波訊號產生器52電性連接該第一處理器51，該發射單元53和該接收單元54分別與該毫米波訊號產生器52電性連接，該第一處理器51通訊連接該其中一Mesh路由器4。

請配合第一之B圖，其中該聲音感測模組6設有一聲音發送元件61及/或一收音元件62和一第二處理器63，該第二處理器63設有一類比轉數位轉換器631，而可將訊號轉換。且該第二處理器63分別電性連接該聲音發送元件61及/或該收音元件62，又該第二處理器63通訊連接該其中另一 Mesh路由器4。

請配合第一之C圖和第一之D圖，其中該無線定位模組7設有一第三處理器71，該第三處理器71通訊連接該其中另一Mesh路由器4。該影像擷取模組8設有一影像擷取裝置81和一第四處理器82並且彼此電性連接，該第四處理器82通訊連接該其中另一Mesh路由器4。如前述，本實施例中，各該Mesh路由器4可個別掛載於該毫米波振動感測模組5、聲音感測模組6、無線定位模組7和影像擷取模組8上直接建立Mesh網路。

因此，請繼續配合參閱第一圖、第一之A圖和第二圖，其中，後臺設計/監控人員可優先建置該毫米波振動感測模組5於區域環境或特定空間300內，而將位置資訊依該圖資建置模組21建置於區域環境或特定空間300原始的圖資上，產生一(原始)定位點。故，可由該毫米波振動感測模組5的使用(例如固定在屋簷處或牆角處)，使該毫米波訊號產生器52係透過該發射單元53以多次預定的取樣頻率對區域環境或特定空間300內物件(障礙物或移動源9)及環境發射毫米波測試訊號，再透過該接收單元54接收每一次發射的毫米波測試訊號碰觸該物件(障礙物或移動源9(振動))及環境之後反射所形成的毫米波反射訊號，藉毫米波測試訊號與毫米波反射訊號比值取得訊號特徵值，而使該處理單元2可根據雷達原理測距(即毫米波振動感測模組5與(各)障礙物、(各)移動源9、環境(地形)之間的距離)，並使該圖資建置模組21計算(即時)產生至少一該物件(障礙物或移動源9)或環境的定位資訊，如此一來，也就可以計算出(各)障礙物、(各)移動源9、環境彼此之間的定位位置，進而與原始圖資合併。

進而，該影像後製模組22可再根據該物件(障礙物或移動源 9)、環境(地形)的訊號特徵值與(真實)實物影像，後製並產生一可精確模擬該物件(障礙物或移動源9)、環境(地形)之模擬影像，使原始圖資影像和毫米波振動感測模組5的(原始)定位點資訊和(各)障礙物、(各)移動源9、環境彼此之間的定位位置資訊及模擬影像資訊疊合後傳送至該影像輸出裝置1，而可供後台監控人員或使用者觀看。本實施例中，該物件為非生命時(障礙物)例如是牆壁、柱子、屋簷、家具或其它室內空間具有(含金屬)的物件，以利毫米波感測，且可以是一個電燈開關、燈具、門簾、門板等，該物件為具生命時(移動源9)，例如是人、動物(自帶振動源或心跳或走路移動時產生的振動)。

先再配合第一圖，其中較佳的，除了可藉由該毫米波振動感測模組5感測，經該處理單元2處理並使該圖資建置模組21產生該物件(障礙物或移動源9)、環境的至少一定位資訊，其中，藉前述訊號特徵值資料儲存至資料庫23作分析比對，讓下一次毫米波振動感測模組5(經不同位置設置後)感測獲得的訊號特徵值，發送儲存至資料庫23後並使該特徵比對模組24作特徵比對，依第一次紀錄儲存的訊號特徵值其比對後續接收到的訊號特徵值，判斷出每一訊號特徵值所相應的物件，而經由處理單元2處理，並發送資訊至影像輸出裝置1作相對應的圖資資訊顯示，讓圖資建置模組21所建置的圖資具有學習性。

本實施例中，除了前述，請參閱第一圖、第一之D圖和第二圖，其中，於相同的區域環境或特定空間300內，於建置毫米波振動感測模組5的(原始)定位點，於相同定位點可設置該影像擷取模組8配合毫米波振動感測模組5一起使用，本實施例中，該影像擷取裝置81可以是多個多方向的攝影機、照相機或影像感測器(CCD或CMOS裝置)。因此，更可藉由該影像擷取模組8所(即時)取得的物件(障礙物或移動源9)、環境(地形)的影像訊號，該影像訊號例如是障礙物或地形的不同角度、不同方向所多次擷取的影像之顏色學分析或光學分析，及移動源9經移動後所多次擷取的影像其位移定位及影像分析，經由各該Mesh路由器4及各該網路閘道器3發送至該處理單元2，經該處理單元2處理並使該圖資建置模組21產生該物件(障礙物或移動源9)、環境的定位(影像)資訊，而疊合於原始圖資，而可呈現於該影像輸出裝置1上，提升整體圖資的完整性與正確性。

因此使用者，藉由使用該影像輸出裝置1(例如智能眼鏡)上而可直接經由操作選擇而觀看到區域環境或特定空間300內該物件(障礙物或移動源9)、環境的綜合性圖資、(振動)模擬影像或視訊真實影像(經操作選擇)，當然，使用者亦可經由智能眼鏡中，觀察到實景影像與物件(障礙物或移動源9)、環境的(振動)模擬虛擬影像之間的相對位置關係，及物件(障礙物)、環境的圖資與移動源9的(振動)模擬虛擬影像之間的相對位置關係，藉以形成虛實訊息呈現及空間定位的整合。

此外，如第一圖，其中除了可由該影像輸出裝置1(例如智能眼鏡)上呈現訊息外，本實施例中，進一步包含一可攜智慧型裝置42，例如可以是智慧手機、筆記型電腦、大型主機電腦(PC)或智能眼鏡，尤其當為智能眼鏡時，亦可直接通訊連接該等Mesh路由器4其中之一，同樣可(即時)獲取得知與該影像輸出裝置1相同獲取的圖資資訊及影像，而不受到距離的限制(例如該可攜智慧型裝置42及使用者在國外)，而可進行遠端監控之分享。

較佳的，配合第一圖、第一之B圖、第一之C圖和第二圖，其中，於相同的區域環境或特定空間300內，除了在(原始)定位點建置毫米波振動感測模組5和影像擷取模組8以外，更可在相同(原始)定位點設置該聲音感測模組6或無線定位模組7於區域環境或特定空間300內。因此，藉由該聲音感測模組6之收音元件62或聲音發送元件61，更可(即時)得知該物件(尤其是移動源9為人、動物時)或環境的聲音定位資訊(單一方向)或進行聲音通知，或甚至在同時設有聲音發送元件61及收音元件62的情況下，就可藉由聲音的發送及接收，對移動源9或環境產生更精確定位，同樣藉由該Mesh路由器4及各該網路閘道器3發送至該處理單元2，經該處理單元2處理並使該圖資建置模組21產生該移動源9或環境的(真實)聲音定位資訊，而疊合於原始圖資，而可呈現傳送於該影像輸出裝置1上(可經操作選擇)播出，提升整體圖資的完整性與正確性。

以及，進一步的，配合第一圖、第一之C圖和第二圖，其中，該無線定位模組7亦可佈建於相同的該區域環境或特定空間300內其圖資上的(原始)定位點。本實施例中，該無線定位模組7可為藍芽定位器(iBeacon)或WiFi裝置，該區域環境或特定空間300內的物件，除了可以是移動源9以外，更可以是一個通訊裝置400(例如智慧手機、智能眼鏡)。當使用者所持有的通訊裝置400進入該區域環境或特定空間300，並且操作或不操作該通訊裝置400上對應的Beacon應用服務(其所對應的行動應用程式(App))，故，該通訊裝置400與該無線定位模組7之間，除了產生該無線定位模組7對通訊裝置400廣播(推播)一個特定的識別ID(identity)以外，更可藉通訊裝置400以訊號強弱(RSSI)的測定，產生訊號特徵值，同樣藉由該Mesh路由器4及各該網路閘道器3發送至該處理單元2，經該處理單元2處理，並使該圖資建置模組 21產生該通訊裝置400的定位資訊之藍芽定位圖資，而疊合於原始圖資，使所有前述圖資合併使用，提升整體圖資的完整性與正確性。

此外，如第一圖和第二圖，本發明的實施，亦可使毫米波振動感測模組5、聲音感測模組6、無線定位模組7和影像擷取模組8，裝設於障礙物或移動源9(例如是人或動物)上，形成虛實訊息整合及空間定位。

以上所論述者，僅為本發明較佳實施例而已，並非用以限定本發明實施之範圍；故在不脫離本發明之精神與範疇內所作之等效的修飾、組合、置換或轉用等，皆應涵蓋於本發明之申請專利範圍內。