TWI755834B

TWI755834B - 視覺圖資定位系統

Info

Publication number: TWI755834B
Application number: TW109129885A
Authority: TW
Inventors: 林威呈; 官嘉明; 徐新益
Original assignee: 科技部南部科學園區管理局
Priority date: 2020-03-27
Filing date: 2020-09-01
Publication date: 2022-02-21
Also published as: TWM605723U; TW202137154A; TW202137155A; TWI738485B; TWM605357U; TWM605722U; TW202135889A; TWM605356U; TW202135890A; TWI738484B

Abstract

本發明提供一種視覺圖資定位系統，其主要係藉由該可視化眼鏡掃描該圖資載體以獲知具體位置、空間資訊及元件圖像，進而讓救災人員可透過該可視化眼鏡觀看到目前所在位置、大樓之平面圖、相關救災器具的距離與相對位置等資訊，也可透過定位系統傳送初步運算定位結果或該被動定位資訊以獲取目標的具體位置、並藉由災防數據整合傳輸平台回傳至該可視化眼鏡，以使救災人員更新位置亦能夠精確執行任務，以達到提升救援成功率並降低救援傷亡事故發生的效果。

Description

視覺圖資定位系統

本發明係關於消防救災之技術領域，特別係關於一種視覺圖資定位系統。

擴增實境(Augmented Reality，簡稱AR)是指透過攝影機影像的位置及角度精算並加上圖像分析技術，讓螢幕上的虛擬世界能夠與現實世界場景進行結合與互動的技術，其可涉及更廣泛的領域，擴增實境技術已成為新產品開發的重要元素，其中，與地理資訊系統(英語：Geographic Information System，縮寫：GIS)協同作用之擴增實境的技術更是研發的重點，在前述二技術共同協作的情況下能夠由不同參與人員藉由共享虛擬環境協同運用聲音、影像。

另外，一般消防隊員在救火時往往面臨著許多困難，例如視線將有可能被火場濃煙遮蔽、聽覺也有可能因火場噪音而遲鈍，且火場對於消防人員而言皆為陌生的環境，因此，若無即時、清楚的指示，消防人員往往容易於火場中迷失方向，亦無法有效的找尋到消防栓等滅火設備的位置。

為此，需要一種能夠有效引導消防人員、協助救災的視覺圖資定位系統。

本發明提供一種視覺圖資定位系統，其主要目的為協助消防人員救災、定位，以最大程度的提升救援成功率並降低救援傷亡事故發生。

為達成前述目的，本發明視覺圖資定位系統，包括：一可視化眼鏡，具有一光學儀器、一連線裝置、一掃描裝置，該掃描裝置供以掃描一圖資載體，該可視化眼鏡供以顯示一空間資訊及至少一元件圖像；一頭盔裝置，該可視化眼鏡裝設於該頭盔裝置，該頭盔裝置具有一按鈕，該按鈕與該掃描裝置控制連接，當使用者觸發該按鈕時，則驅動該掃描裝置開啟掃描功能；一災防數據整合管理平台，具有一資訊輸入系統、一避難圖轉換系統、一整合系統、圖資載體生成系統，該資訊輸入系統供以讓使用者輸入一具體位置及一平面圖，該具體位置包含經度、緯度、樓層等相關資訊，該避難圖轉換系統具有資訊連接之一裁切單元、一對位單元，該裁切單元供以裁切該些平面圖，以將各該平面圖裁切至預定的大小，該對位單元供以提示平面圖中至少一個定位點的經緯度，該整合系統供以讓使用者觀看、編輯各樓層的平面圖並整合為3D圖檔，該資訊輸入系統供以讓使用者於平面圖上增設該元件圖像，該對位單元依據該定位點的經緯度取得該原件圖像的經緯度，並加以儲存於該3D圖檔，以形成該空間資訊，該圖資載體生成系統供以統整該具體位置、該空間資訊以形成該圖資載體，各該圖資載體皆綁定一個該具體位置，該圖資載體供以被該可視化眼鏡掃描，以使該可視化眼鏡讀取該具體位置及該空間資訊；一災防數據整合傳輸平台，與該災防數據整合管理平台及連線裝置資訊連接，該災防數據整合傳輸平台供以接收一初步運算定位結果或一被動定位資訊，該災防數據整合傳輸平台並供以將該初步運算定位結果或該被動定位資訊傳送至該災防數據整合管理平台，並透過該整合系統將該初步運算定位結果或該被動定位資訊與空間資訊整合；一定位系統，供以取得該初步運算定位結果或該被動定位資訊，該定位系統與該災防數據整合傳輸平台資訊連接。

藉由前述可知，本發明主要係藉由該可視化眼鏡掃描該圖資載體以獲知具體位置、空間資訊及元件圖像，進而讓救災人員可透過該可視化眼鏡觀看到目前所在位置、大樓之平面圖、相關救災器具的距離與相對位置等資訊，也可透過定位系統傳送初步運算定位結果或該被動定位資訊以獲取目標的具體位置、並藉由災防數據整合傳輸平台回傳至該可視化眼鏡，以使救災人員更新位置亦能夠精確執行任務，以達到提升救援成功率並降低救援傷亡事故發生的效果。

100:可視化眼鏡

101:光學儀器

102:攝影機

103:連線裝置

104:慣性測量單元

105:同步定位與地圖建構軟體

106:掃描裝置

110:頭盔裝置

111:按鈕

Q:圖資載體

P:元件圖像

200:災防數據整合管理平台

201:資訊輸入系統

202:避難圖轉換系統

2021:裁切單元

2022:對位單元

203:整合系統

204:圖資載體生成系統

300:災防數據整合傳輸平台

400:主動定位系統

401:穿戴式定位信標

4011:藍芽晶片

4012:霍爾效應感應器

402:定位追蹤器

4021:初步運算單元

4022:接收天線

4023:通訊單元

403:接收傳輸模組

4031:集線器

4032:遠程通訊模組

404:人工智慧定位引擎

405:溫溼度模組

406:三軸加速度傳感器

407:緊急求救單元

4071:求救按鈕

408:蜂鳴器

409:顯示燈具

500:被動定位系統

501:藍芽定位裝置

5011:藍芽接收單元

5012:無線收發單元

502:無線定位裝置

503:指示單元

504:照明單元

505:電力單元

506:電力系統

E:緊急應變中心

600:水帶通訊系統

600A:消防水帶

601A:瞄子

601B:瞄子扣環

610A:內襯層

610B:覆蓋層

601:無線通訊模組

602:有線通訊模組

6021:第一接頭

6022:第二接頭

C1:消防車無線通訊模組

C2:消防車有線通訊模組

700:指揮系統

701:顯示單元

702:指令輸入單元

703:選擇單元

704:提示單元

7041:時間模組

PF:平面圖

圖1 為本發明視覺圖資定位系統之示意圖。

圖2 為本發明災防數據整合管理平台及可視化眼鏡的示意圖。

圖3 為消防隊員配戴具有視覺圖資定位系統之頭盔的示意圖。

圖4 為使用狀態示意圖。

圖5 為掃描二維條碼之示意圖。

圖6 為掃描二維條碼後顯示虛擬救援路徑之示意圖。

圖7 為掃描二維條碼後顯示虛擬救援路徑之示意圖。

圖8 為掃描二維條碼後顯示虛擬救援路徑之示意圖。

圖9 為使用狀態示意圖。

圖10 為較佳實施例中主動定位系統與災防數據整合管理平台之示意圖。

圖11 為較佳實施例中主動定位系統與災防數據整合管理平台之示意圖。

圖12 為較佳實施例中主動定位系統與災防數據整合管理平台之示意圖。

圖13 為較佳實施例中主動定位系統與災防數據整合管理平台之示意圖。

圖14為本發明被動定位系統與災防數據整合管理平台之示意圖。

圖15為本發明被動定位系統與災防數據整合管理平台之示意圖。

圖16為本發明水帶通訊系統之示意圖。

圖17為本發明之指揮系統較佳實施例之示意圖。

本發明提供一種視覺圖資定位系統，請參照圖1至17所示，包括：一可視化眼鏡100，具有一光學儀器101、一攝影機102、一連線裝置103、慣性測量單元104(英文：Inertial measurement unit，簡稱IMU)、同步定位與地圖建構(SLAM或Simultaneous localization and mapping)軟體105、及一掃描裝置106，該攝影機102供以擷取的一即時畫面，該連線裝置103供以無線通訊，該慣性測量單元104供以量測使用者的移動慣性，該掃描裝置106供以掃描一圖資載體Q，該可視化眼鏡100可採用目前市場上開發較為成熟的AR眼鏡產品，例如Microsoft Hololens、Epson BT350、Magic Leap、Leapsy等，該可視化眼鏡100供以顯示一空間資訊及至少一元件圖像P，該些元件圖像P可包含逃生梯、滅火器、電梯、管道間等；一頭盔裝置110，該可視化眼鏡100裝設於該頭盔裝置110，該頭盔裝置110具有一按鈕111，該按鈕111與該掃描裝置106控制連接，當使用者觸發該按鈕111時，則驅動該掃描裝置106開啟掃描功能。

一災防數據整合管理平台200，具有一資訊輸入系統201、一避難圖轉換系統202、一整合系統203、圖資載體生成系統204，該資訊輸入系統201供以讓使用者輸入資料，前述資料可為一場域資訊、一區域編號、一具體位置及一平面圖PF，該場域資訊可為大樓之名稱，該具體位置可包含經度、緯度、樓層等相關資訊，該區域編號可為數字序列，例如1F-B15等，請參照圖5所示，該區域編號與該場域資訊及該具體位置綁定，該平面圖PF為大樓各樓層的平面圖檔，圖檔的格式包括JPG、PNG、BMP等，該避難圖轉換系統202具有資訊連接之一裁切單元2021、一對位單元2022，該裁切單元2021供以裁切該些平面圖PF，以將各該平面圖PF裁切至預定的大小，該對位單元供以提示平面圖PF中至少一個定位點的經緯度，於本實施例中，定位點的數量為四，前述四個定位點位於平面圖PF之邊界，透過該整合系統203將該些平面圖整合為3D圖檔，於本實施例中，該整合系統203為地理資訊系統(英語：Geographic Information System，縮寫：GIS)及建築資訊塑模(Building Information Modeling，簡稱BIM)技術整合之系統，該整合系統203供以讓使用者觀看、編輯各樓層的平面圖PF，使用者可透過該資訊輸入系統201於指定平面圖PF上增設複數該元件圖像P，該些元件圖像P可包含逃生梯、滅火器、電梯、管道間等，以作為逃生操作時的參考資訊，而儲存完畢後，該對位單元2022依據該定位點的經緯度取得些新增的原件圖像P的經緯度，並加以儲存於該3D圖檔，以形成該空間資訊，該空間資訊為2D或3D畫面，該圖資載體生成系統204供以統整該場域資訊、該區域編號、該具體位置、該平面圖PF及該空間資訊以形成該圖資載體Q，各該圖資載體Q皆綁定一個該具體位置，以使該圖資載體Q具有一座標，該圖資載體Q供以被該可視化眼鏡100掃描；較佳的，請參照圖6-8所示，該整合系統203另供以依據該空間資訊及各該圖資載體之具體位置進行比對，以得出各該原件圖像P相對於該圖資載體之具體位置的距離，進而形成一距離資訊，讓使用者透過掃描裝置106掃描該圖資載體Q時，能夠獲知目前所在的具體位置亦能夠獲知該距離資訊，該距離資訊另供以顯示於該可視化眼鏡100，讓使用者可透過可視化眼鏡100看到各該元件圖像P，及各該元件相對自己的距離。

該圖資載體Q於本實施例中為QR-Code(快速響應矩陣圖碼；英語：Quick Response Code)，而該圖資載體Q可裝設於大樓之各樓層不同的位置，於本實施例中，該圖資載體Q可被列印並貼附於牆面，藉此，當該掃描裝置106掃描該圖資載體Q時，該可視化眼鏡100讀取該場域資訊、該區域編號、該具體位置、該平面圖PF及該空間資訊。

一災防數據整合傳輸平台300，與該災防數據整合管理平台200及可視化眼鏡100資訊連接，該災防數據整合傳輸平台300包含Lane、Wifi、4G、5G、RJ45的通訊機制，該災防數據整合傳輸平台300供以在不同樓層、不同環境下透過相異的傳輸介質將防災數據傳輸至該災防數據整合管理平台200，該災防數據整合傳輸平台300供以接收一被動定位資訊、一初步運算定位結果、一溫溼度資訊等，以取得消防員的所在位置，該災防數據整合傳輸平台300並供以將該被動定位資訊、該初步運算定位結果、溫溼度資訊傳送至該災防數據整合管理平台，於本實施例中，該災防數據整合傳輸平台300透過Lan/4G的技術與該災防數據整合管理平台200資訊連接；一定位系統，供以取得該初步運算定位結果或該被動定位資訊，該定位系統與該災防數據整合傳輸平台300資訊連接。

於較佳實施例中，該定位系統可為一主動定位系統400或一被動定位系統500。

該主動定位系統400，請參照圖10-13，具有資訊連接之一穿戴式定位信標401、一定位追蹤器402、一接收傳輸模組403，該穿戴式定位信標401供以讓使用者穿戴，並供以發送一主動定位信號，該定位追蹤器402供以接受該穿戴式定位信標401發送之主動定位信號，該定位追蹤器402具有一初步運算單元4021、一接收天線4022及一通訊單元4023，該接收天線4022供以接收該穿戴式定位信標401傳送之主動定位信號，該初步運算單元4021供以初步運算、分析該主動定位信號，以得出一初步運算定位結果，該通訊單元4023之通訊方式為乙太網供電(PoE；Power over Ethernet)或Wi-Fi，該通訊單元4023透過PoE技術與該接收傳輸模組403資訊連接，通訊單元4023供以將初步運算定位結果傳送至該接收傳輸模組403，該接收傳輸模組403具有一集線器4031及一遠程通訊模組4032，該集線器4031與該通訊單元4023資訊連接，於本實施例中，該集線器4031為一PoE集線器(PoE Hub)，該遠程通訊模組4032為4G通訊模組，該接收傳輸模組403與該災防數據整合傳輸平台300資訊連接，該定位追蹤器402透過該接收傳輸模組403將初步運算定位結果傳送至該災防數據整合管理平台200，並透過該整合系統203將該初步運算定位結果與空間資訊整合。

於較佳實施例中，請參照圖11、12，該主動定位系統400另包括一人工智慧定位引擎404，該定位追蹤器402透過該接收傳輸模組403將初步運算定位結果傳送至該人工智慧定位引擎404，該人工智慧定位引擎404供以接收每一初步運算定位結果，並解析出一地圖編號、一X、Y座標、一信標辨識碼及一信賴度資訊，該人工智慧定位引擎404則會在2~10秒間更新一次，以分析出更準確的位置，並得出一精確定位資訊，該人工定位引擎404與該災防數據整合管理平台200資訊連接，以將該精確定位資訊傳送至該災防數據整合管理平台200。

於本實施例中，請參照圖13，該穿戴式定位信標401包含一藍芽晶片4011、一霍爾效應感應器4012，藍芽晶片4011可為德州儀器製造型號為TI CC2640的藍芽晶片，該穿戴式定位信標401可採用太和光公司之B3029T系列之產品，該定位追蹤器402可採用太和光公司之W8010R系列之定位追蹤器，該初步運算單元4021可為中央處理器(CPU；Central Processing Unit)或繪圖處理器(GPU；graphics processing unit)，該人工智慧定位引擎404可為太和光公司之Sentinel之人工智慧及時定位引擎。

於本實施例中，該接收傳輸模組403裝設於一消防箱內。

於本實施例中，該接收傳輸模組403及該人工智慧定位引擎404與該災防數據整合傳輸平台300資訊連接，該接收傳輸模組403及該災防數據整合傳輸平台300透過4G技術傳輸資料。

較佳的，請參照圖13，另包括一溫溼度模組405，供以偵測環境溫度及溼度，以得出一溫溼度資訊，該溫溼度資訊與該主動定位信號/初步運算定位結果綁定，以獲得穿戴式定位信標401配戴者所在位置的溫度及溼度，該溫溼度模組405與該定位追蹤器402資訊連接，以將偵測到之溫度及溼度傳送至該災防數據整合管理平台200，較佳的，該溫溼度模組405與該穿戴式定位信標401整合以讓使用者配戴。

較佳的，請參照圖13，另包括一三軸加速度傳感器406(G-sensor)，供以感測該穿戴式定位信標401的三軸加速度，以得出一運動狀態資訊，該三軸加速度傳感器406與該定位追蹤器402資訊連接，以將偵測到之運動狀態資訊傳送至該災防數據整合管理平台200，該三軸加速度傳感器406與該穿戴式定位信標401整合以讓使用者配戴。

較佳的，請參照圖13，另包括一緊急求救單元407與該定位追蹤器402資訊連接，該緊急求救單元407整合於該穿戴式定位信標401，以讓使用者配戴，該緊急求救單元407具有一求救按鈕4071，該求救按鈕4071供以讓使用者按壓，當該求救按鈕4071被按壓時，該緊急求救單元407則發送一求救訊號，該求救訊號與該主動定位信號/初步運算定位結果綁定，該求救訊號可透過該定位追蹤器402傳送至該災防數據整合管理平台200；較佳的，該緊急求救單元407供以與一蜂鳴器408、一顯示燈具409訊號連接，當該緊急求救單元407將該求救訊號傳輸至該蜂鳴器408或顯示燈具409，以觸發該蜂鳴器408、或顯示燈具409，讓救災人員能尋獲配戴之使用者，該蜂鳴器408、該顯示燈具409供以裝設於使用者。

該被動定位系統500，請參照圖14-16，具有一藍芽定位裝置501、複數無線定位裝置502、一指示單元503、一照明單元504及一電力單元505，該無線定位裝置502與一緊急應變中心E(Emergency response center,ERC)資訊連接，當該緊急應變中心E發送一災害通知時，則啟動該無線定位裝置502，該無線定位裝置502供以發射一被動定位信號，於具體實施例中，該無線定位裝置 502為大和光公司的USBeacon Series產品，該被動定位信號為藍芽訊號，該被動定位信號包含UUID、Major、Minor、RSSI四個參數，以提供具體之位置；該藍芽定位裝置501供以讓消防員攜帶，該藍芽定位裝置501具有資訊連接之一藍芽接收單元5011及一無線收發單元5012，該藍芽接收單元5011供以掃描周圍之被動定位信號，該藍芽接收單元5011依據各該被動定位信號封包中包含之距離與信號強度對照資料，例如RSSI(Received Signal Strength Indicator)，以推算出與無線定位裝置502相對應之距離，並得出該被動定位資訊，該無線收發單元5012與該災防數據整合傳輸平台300、該連線裝置103資訊連接，無線收發單元5012供以將該被動定位資訊傳送至該災防數據整合管理平台200，並透過該整合系統203將該被動定位資訊與空間資訊整合，再回傳至該可視化眼鏡100，於本實施例中，該藍芽定位裝置501可採開發之藍芽模組，該藍芽定位裝置501係採用三角定位法進行定位，該無線收發單元5012可透過Wi-Fi技術達成無線傳輸之效果；該無線定位裝置502、該指示單元503、該照明單元504及該電力單元505則裝設於大樓內，該指示單元503為蜂鳴器或逃生路線指示燈，該照明單元504為一緊急照明燈，該無線定位裝置502、該指示單元503、該照明單元504與該電力單元505電性連接；於本實施例中，該電力單元505採用3.7V之鋰電池，於其中一實施例中，該電力單元505與一電力系統506控制連接，當該電力系統506關閉時，則開啟該電力單元505，於具體實施例中，該電力系統為110V的交流電與一繼電器，當110V的交流電斷電時則啟動該電力單元505，於另一實施例中，該電力單元505與該緊急應變中心E控制連接，當該緊急應變中心E發送一災害通知時，則啟動該電力單元505。

一水帶通訊系統600，請參照圖15、16，供以安裝於一消防水帶600A，該水帶通訊系統600具有資訊連接之一無線通訊模組601及一有線通訊模組602，該無線通訊模組601與該無線收發單元5012、災防數據整合傳輸平台300資訊連接，該無線通訊模組601供以接收該被動定位資訊，該有線通訊模組602與該接收傳輸模組403資訊連接，於本實施例中，該無線通訊模組601為Wi-Fi的發送接收模組，該有線通訊模組602為RJ45網路纜線，於本實施例中，該無線通訊模組601裝設於該消防水帶600A之一瞄子601A上，於具體實施例中，其係透過一瞄子扣環601B，將該無線通訊模組601裝設於該瞄子601A上，該消防水帶600A具有一內襯層610A及一覆蓋層610B，該覆蓋層610B包覆於該內襯層610A外，該有線通訊模組602係編織於該覆蓋層610B，於另一實施例中，該有線通訊模組602係設置於該內襯層610A及該覆蓋層610B之間；較佳的，該有線通訊模組602另具有一第一接頭6021及一第二接頭6022，該第一接頭6021及該第二接頭6022係相互連接，以使該有線通訊模組602得以延伸、延長。

較佳的，該無線通訊模組601供以與一消防車無線通訊模組C1資訊連接，該有線通訊模組601供以與一消防車有線通訊模組C2資訊連接，該消防車無線通訊模組C1為消防車上的Wi-Fi設備，該消防車有線通訊模組C2為RJ45網路纜線接頭，該消防車無線通訊模組C1、消防車有線通訊模組C2與該災防數據整合管理平台200資訊連接。

一指揮系統700，請參照圖17，與該災防數據整合管理平台200、災防數據整合傳輸平台300資訊連接，該指揮系統700可為一平板電腦、桌上型電腦或筆記型電腦，該指揮系統700具有一顯示單元701、一指令輸入單元702、一選擇單元703，指揮官供以透過該選擇單元703選擇顯示災防數據整合管理平台200不同資訊，該指揮官可透過該選擇單元703選擇讀取空間資訊、具體位置、場域資訊、溫溼度資訊、精確定位資訊、運動狀態資訊、求救訊號、被動定位資訊、元件圖像經緯度資訊、各樓層之平面圖PF等，而上述資訊則透過該顯示單元701顯示，指揮官亦可透過該指令輸入單元702輸入撤退指令或救災指令，該撤退指令或該救災指令則透過該災防數據整合傳輸平台300傳輸至該無線通訊模組601與該無線收發單元5012，以顯示於該可視化眼鏡100，通知消防隊員撤退。

於較佳實施例中，該攝影機102所擷取的一即時畫面透過該無線收發單元5012、該水帶通訊系統600之無線通訊模組601、有線通訊模組602傳輸至該災防數據整合傳輸平台300再傳輸至該指揮系統700，以供指揮官即時接收到現場畫面，能夠做出更即時有效的判斷。

於較佳實施例中，該指揮系統700另具有一提示單元704，該提示單元704內具有一時間模組7041，時間模組7041內儲存有一時間閥值，該提示單元704比對該運動狀態資訊與該時間閥值，當人員靜止的時間超過該時間閥值時，該提示單元704則產生一靜止警告，該靜止警告則顯示於該顯示單元701。