TWM580186U - 一種360度環繞方位及位置感知物件信息獲取系統 - Google Patents
一種360度環繞方位及位置感知物件信息獲取系統 Download PDFInfo
- Publication number
- TWM580186U TWM580186U TW108201119U TW108201119U TWM580186U TW M580186 U TWM580186 U TW M580186U TW 108201119 U TW108201119 U TW 108201119U TW 108201119 U TW108201119 U TW 108201119U TW M580186 U TWM580186 U TW M580186U
- Authority
- TW
- Taiwan
- Prior art keywords
- unit
- fisheye
- identifiable
- information
- information acquisition
- Prior art date
Links
- 230000003287 optical effect Effects 0.000 claims description 38
- 238000001514 detection method Methods 0.000 claims description 31
- 238000000034 method Methods 0.000 claims description 18
- 230000003190 augmentative effect Effects 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 claims description 3
- 241000251468 Actinopterygii Species 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 12
- 230000001771 impaired effect Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本創作提供了一種基於360度數位拍攝魚眼圖像的360度環繞方位及位置感知物件信息獲取系統，360度環繞方位及位置感知物件信息獲取系統包括魚眼圖像拍攝單元、物件偵測單元、物件信息獲取單元、物件定向運算單元、以及系統定位運算單元，360度環繞方位及位置感知物件信息獲取系統可通過局部圖像識別/掃描，並藉助於網絡訪問而獲得與可辨識物件相關的物件信息。
Description
本創作涉及光學定位及智能信息獲取及處理領域，具體地，涉及一種360度環繞方位及位置感知物件信息獲取系統及其應用。
傳統的移動定位方式主要有如下幾種。
1.GPS定位法
傳統的GPS定位採用電磁波傳導信號，其定位精準度往往受到諸如建築物阻擋，室內或地下被屏蔽，建築物或牆體反射後形成多路通道等等因素的影響。因此，其僅僅適用於戶外定位，且其定位精度以米(公尺)計，在建築物多的城市環境一般在10米或更差，用戶常常會被不精準的GPS位置導致不精準的地圖位置所誤導。
傳統的GPS定位採用電磁波傳導信號，其定位精準度往往受到諸如建築物阻擋，室內或地下被屏蔽，建築物或牆體反射後形成多路通道等等因素的影響。因此，其僅僅適用於戶外定位，且其定位精度以米(公尺)計，在建築物多的城市環境一般在10米或更差，用戶常常會被不精準的GPS位置導致不精準的地圖位置所誤導。
2.WI-FI定位
通常而言，WI-FI定位具有較蜂巢式網絡定位更高的精度。它使用無線接入點並且測量從一個或多個網絡形成端接收到的信號的強度來確定被測物體的位置。然而，WI-FI定位非常的昂貴且其在具有大數量/高密度的WI-FI接入點時，最終僅能實現為5-10m的定位精度。
通常而言，WI-FI定位具有較蜂巢式網絡定位更高的精度。它使用無線接入點並且測量從一個或多個網絡形成端接收到的信號的強度來確定被測物體的位置。然而，WI-FI定位非常的昂貴且其在具有大數量/高密度的WI-FI接入點時，最終僅能實現為5-10m的定位精度。
3.其他定位方式
普通雷射/超聲波測距儀也有測距方面的應用，但是其僅僅用於測距而不能提供被測物的位置及方向信息且雷射本身對人肉眼有傷害作用。因此，傳統的雷射及超聲波測距未有提供360度環繞位置及方向信息。
普通雷射/超聲波測距儀也有測距方面的應用，但是其僅僅用於測距而不能提供被測物的位置及方向信息且雷射本身對人肉眼有傷害作用。因此，傳統的雷射及超聲波測距未有提供360度環繞位置及方向信息。
隨著移動通信網絡的進步，射頻識別技術正在快速發展。現有技術中依賴電磁波傳導信號的低精度定位已經不能滿足人們對精準室內外定位的要求。如，在盲人導航領域，當盲人穿行於室內時，傳統的導航往往受限，其在幾米內的定位往往失效。且，即便採用Wi-Fi定位提高定位精度，在幾米內的定位需要依賴非常精準的室內地圖作支撐，這就需要關聯的地圖軟體具備強大的數據作支撐，且其需要及時的更新避免建築物或者店鋪商號的更名帶來的定位失效。
圖像，作為一種實時有效的承載位置信息的載體，在實時採集環境信息方面具有得天獨厚的優勢，其不存在電磁信號傳導干擾，定位精度等方面的問題，且圖像可實時採集。然而，現有的圖像識別技術還遠遠不能僅通過單張拍攝的圖片精準地識別出定位物的方位信息。而現有的射頻識別技術中，已有通過掃描獲得二維碼，從而關聯網絡URL實現相應的支付等功能的應用，但是未有將圖像識別與掃碼技術運用於360度環繞位置及方向定位的運用。且，隨著科技的發展，依賴精準定位實現各種功能的運用越來越多。如，在盲人及機器人導航領域，定位精度需要更高才能實現其功能，而現有的幾種定位方式均在精度上與實際需求有較大的差距。
另一方面，基於RF的（例如Wi-Fi）定位技術，特別是在機器人和商業應用的情況下，例如， 在公共環境中，可通過其設備發送交互RF信號來干擾RF定位信號，從而收到被隱藏的入侵者（例如在商場的洗手間內）破壞或攻擊。 隱藏的入侵者的這個問題可以被避免，本創作提供了非RF定位方法，入侵者必須阻擋設備和被觀察物體之間的視線，並且入侵者的行為可以被設備的攝像機記錄或環境中的閉路電視安全監控。
本創作旨在至少在一定程度上解決上述技術問題之一或至少提供一種有用的商業應用。為此，本創作的第一個目的在於提出一種基於360度數位拍攝魚眼圖像之360度環繞方位及位置感知物件信息獲取系統(A 360-degree surround direction and position aware object information retrieval system based on 360-degree fisheye digital camera images)，360度環繞方位及位置感知物件信息獲取系統包括魚眼圖像拍攝單元、物件偵測單元、物件定向運算單元、系統定位運算單元以及物件信息獲取單元，魚眼圖像拍攝單元用於對周圍的待辨識環境進行拍攝，以獲得該待辨識環境的整體魚眼圖像；物件偵測單元用於偵測出待辨識環境中的至少一個可辨識物件；物件信息獲取單元從網絡 (例如互聯網)獲得物件的相關信息，例如物件的全球位置、所在環境地圖及位置、或其它信息；物件定向運算單元用於根據魚眼相機的成像參數計算出每個可辨識物件相對於魚眼相機的360度方位；系統定位運算單元用於根據所述物件定向運算單元所提供的至少兩組不同的可辨識物件相對於所述魚眼相機的方向信息，基於三角測量法計算出物件相對於系統的360度立體空間距離及位置，並可從物件信息獲取單元或內含於物件中(例如內含於二維碼標籤)的物件的全球或環境地圖位置， 實現對系統的全球或環境位置的絕對定位運算。本創作的第二個目的在於提出一種智能遠程信息溝通系統，更具體而言是一種應用了360度環繞方位及位置感知物件信息獲取系統的智能遠程購物系統。本創作的第三個目的在於提出一種智能汽車導航儀。本創作的第四個目的在於提出一種智能導盲仗。再者，目前被許多室內定位系統使用的高密度大量的射頻設備，例如Wi-Fi接入點也可能對人們的生理健康產生影響。 本創作通過光學定位方法顯著地避免了對人體生理健康的危害。
本創作的一種基於360度數位拍攝魚眼圖像的360度環繞方位及位置感知物件信息獲取系統，對魚眼圖像拍攝單元的每個系統魚眼觀察點所取得的360度魚眼圖像，以圖像處理方法對環繞著系統魚眼觀察點的整體環境作360度環繞物件偵測，以感知物件的360度方位和感知物件的360度立體空間距離及位置，360度環繞方位及位置感知物件信息獲取系統包括：
魚眼圖像拍攝單元，魚眼圖像拍攝單元使用至少一個魚眼數位相機對周圍的待辨識環境進行拍攝，魚眼數位相機的光軸垂直於視向平面（plane of direction of view, or view plane），以獲得待辨識環境的360度環繞的整體魚眼圖像；
物件偵測單元，物件偵測單元接收魚眼圖像拍攝單元的輸出圖像，並根據不同的物件類別從整體魚眼圖像中偵測出至少一個可辨識物件；
物件信息獲取單元，物件信息獲取單元針對上述可辨識物件，若物件類別為標籤類可辨識物件，則局部掃描/辨識整體圖像中該標籤物件之圖像以提取內含的物件信息包括但不限於該物件的網絡(例如互聯網)信息地址，並實時訪問物件網絡(例如互聯網)信息地址以獲得該物件的網絡(例如互聯網)信息，若物件類別為非標籤類可辨識物件，則以該物件圖像實時透過網絡(例如互聯網)圖像辨識服務以辨識物件及獲得辨識物件信息；
物件定向運算單元，物件定向運算單元接收物件偵測單元的偵測結果，用於針對物件偵測單元偵測出的每個可辨識物件，確定每個可辨識物件在整體魚眼圖像中的對應位置點，並根據魚眼相機的成像參數計算出在待辨識環境中每個可辨識物件相對於魚眼相機的360度方位；以及
系統定位運算單元，系統定位運算單元接收物件定向運算單元的運算結果，用於根據物件定向運算單元所提供的至少兩組不同的可辨識物件相對於魚眼相機的方向信息，基於三角測量法計算出物件相對於系統之360度立體空間距離及位置，以及從上述物件信息獲取單元或內含於物件中的信息(例如內含於二維碼標籤)取得可辨識物件的全球或所在環境地圖的絕對位置，透過周圍觀察環境中這些有提供定位信息的物件計算出本系統的全球或所在環境地圖的準確位置。
魚眼圖像拍攝單元，魚眼圖像拍攝單元使用至少一個魚眼數位相機對周圍的待辨識環境進行拍攝，魚眼數位相機的光軸垂直於視向平面（plane of direction of view, or view plane），以獲得待辨識環境的360度環繞的整體魚眼圖像；
物件偵測單元，物件偵測單元接收魚眼圖像拍攝單元的輸出圖像，並根據不同的物件類別從整體魚眼圖像中偵測出至少一個可辨識物件；
物件信息獲取單元，物件信息獲取單元針對上述可辨識物件，若物件類別為標籤類可辨識物件，則局部掃描/辨識整體圖像中該標籤物件之圖像以提取內含的物件信息包括但不限於該物件的網絡(例如互聯網)信息地址，並實時訪問物件網絡(例如互聯網)信息地址以獲得該物件的網絡(例如互聯網)信息，若物件類別為非標籤類可辨識物件，則以該物件圖像實時透過網絡(例如互聯網)圖像辨識服務以辨識物件及獲得辨識物件信息；
物件定向運算單元，物件定向運算單元接收物件偵測單元的偵測結果，用於針對物件偵測單元偵測出的每個可辨識物件，確定每個可辨識物件在整體魚眼圖像中的對應位置點，並根據魚眼相機的成像參數計算出在待辨識環境中每個可辨識物件相對於魚眼相機的360度方位；以及
系統定位運算單元，系統定位運算單元接收物件定向運算單元的運算結果，用於根據物件定向運算單元所提供的至少兩組不同的可辨識物件相對於魚眼相機的方向信息，基於三角測量法計算出物件相對於系統之360度立體空間距離及位置，以及從上述物件信息獲取單元或內含於物件中的信息(例如內含於二維碼標籤)取得可辨識物件的全球或所在環境地圖的絕對位置，透過周圍觀察環境中這些有提供定位信息的物件計算出本系統的全球或所在環境地圖的準確位置。
優選地，標籤類可辨識物件是特殊定製的易識別標籤圖案；物件信息獲取單元通過局部掃描易識別標籤圖案上的物件代碼以取得與可辨識物件綁定的網絡(例如互聯網)頻道，並通過訪問網絡(例如互聯網)頻道來獲得物件信息。
優選地，非標籤類可辨識物件是系統預先設定的特定物件輪廓圖案，物件偵測單元以系統內置或通過網絡(例如互聯網)的人工智能圖像服務來進行整體圖像的物件偵測。
優選地，易識別標籤圖案為高對比度的雙正方形圖案，物件代碼是用於取得物件網絡(例如互聯網)頻道的黏貼或打印在雙正方形圖案內的二維碼。
優選地，在雙正方形圖案上重疊對可辨識物件的基本信息進行編碼的摩斯電碼 (Morse Code)。
優選地，還包括：
光學望遠鏡單元，光學望遠鏡單元與系統定位運算單元相連可以進行數位拍攝，用於根據系統定位運算單元所提供的相對定位信息，自動地進行可辨識物件的瞄準和/或對焦以及數位拍攝。
光學望遠鏡單元，光學望遠鏡單元與系統定位運算單元相連可以進行數位拍攝，用於根據系統定位運算單元所提供的相對定位信息，自動地進行可辨識物件的瞄準和/或對焦以及數位拍攝。
優選地，還包括：
物件信息輸出單元，物件信息輸出單元與系統定位運算單元和/或物件信息獲取單元相連，物件信息輸出單元包括顯示單元和/或語音單元；
顯示單元配置成以可視化方式顯示可辨識物件的方向信息、定位信息和物件信息中的至少一種；語音單元配置成以語音方式播報可辨識物件的方向信息、定位信息和物件信息中的至少一種。
物件信息輸出單元，物件信息輸出單元與系統定位運算單元和/或物件信息獲取單元相連，物件信息輸出單元包括顯示單元和/或語音單元；
顯示單元配置成以可視化方式顯示可辨識物件的方向信息、定位信息和物件信息中的至少一種；語音單元配置成以語音方式播報可辨識物件的方向信息、定位信息和物件信息中的至少一種。
優選地，在魚眼圖像拍攝單元中，魚眼相機的數量為一個，其被配置成在至少兩個不同位置進行拍攝，以使得物件定向運算單元可以提供至少兩組不同的相對於魚眼相機的方向信息。
優選地，在魚眼圖像拍攝單元中，魚眼相機的數量為位置相對固定的兩個或多個，以使得物件定向運算單元可以提供至少兩組不同的相對於魚眼相機的方向信息。
優選地，物件信息獲取系統還包括遠端輸出單元，遠端輸出單元包括遠程式全景增強實境裝置，全景增強實境裝置包括反射式環繞顯示裝置，從物件信息獲取系統接收到的待辨識環境的整體魚眼圖像以全景式場景被顯示在反射式環繞顯示裝置上，其中，物件信息獲取系統所偵測出的可辨識物件的物件信息以增強實境方式顯示在全景式場景中。
本創作還提供了一種智能遠程信息溝通系統，包括上述的360度環繞方位及位置感知物件信息獲取系統。
本創作還提供了一種智能汽車導航儀，可根據周圍環境中的可辨識物件進行定位和智能導航，安裝有上述的360度環繞方位及位置感知物件信息獲取系統。
優選地，還包括磁強計裝置，磁強計裝置用於與系統定位運算單元協同作用以提供智能汽車導航儀的絕對定位信息。
本創作還提供了一種智能導盲仗，可對視障人士提供周圍環境中的可辨識物件的引導信息，安裝有上述的360度環繞方位及位置感知物件信息獲取系統，引導信息包括可辨識物件的方向信息、定位信息和物件信息中的至少一種。
優選地，還包括磁強計裝置，磁強計裝置用於與系統定位運算單元協同作用以提供智能導盲仗的絕對定位信息。
本創作有益效果如下：
採用魚眼鏡頭拍攝環境中的照片可以克服採用WI-FI及GPS定位的諸多問題，因為魚眼鏡頭拍攝照片屬於光學原理，其區別於電磁波信號傳導，電磁波在空間中傳導時會有信號損失，建築物阻擋，因為反射造成多路通道等諸多問題；而圖片作為位置信息的良好的載體，並未有上述問題，且通過拍攝環境中的圖片能實現，在近距離甚至是超近距離位置的定位中具有得天獨厚的優勢。然而，現有技術中，僅僅依靠圖像識別技術，從單張或者多張拍攝的圖像中精準獲得可辨識物件的地理位置還是有相當的技術難度；但是，通過識別拍攝得到的魚眼圖像中的物件代碼，卻已經不再是技術難題。因此，將魚眼圖像拍攝，圖形識別物件代碼，通過通信連接網絡端結合能夠精準定位可辨識物件的地理位置，區別於直接通過移動終端發射電磁波信號從而確定可辨識物件的地理位置，提前通過物件代碼將可辨識物件的地理位置錄入可以避免電磁波信號在傳輸過程中的信號損失，建築物阻擋或反射後多路帶來的不可控失效定位，避免每次定位過程中（針對同一定位目標）因為實時信號差異帶來的定位誤差，從而誤導使用者抵達不是其期望抵達的目標地點。
採用魚眼鏡頭拍攝環境中的照片可以克服採用WI-FI及GPS定位的諸多問題，因為魚眼鏡頭拍攝照片屬於光學原理，其區別於電磁波信號傳導，電磁波在空間中傳導時會有信號損失，建築物阻擋，因為反射造成多路通道等諸多問題；而圖片作為位置信息的良好的載體，並未有上述問題，且通過拍攝環境中的圖片能實現，在近距離甚至是超近距離位置的定位中具有得天獨厚的優勢。然而，現有技術中，僅僅依靠圖像識別技術，從單張或者多張拍攝的圖像中精準獲得可辨識物件的地理位置還是有相當的技術難度；但是，通過識別拍攝得到的魚眼圖像中的物件代碼，卻已經不再是技術難題。因此，將魚眼圖像拍攝，圖形識別物件代碼，通過通信連接網絡端結合能夠精準定位可辨識物件的地理位置，區別於直接通過移動終端發射電磁波信號從而確定可辨識物件的地理位置，提前通過物件代碼將可辨識物件的地理位置錄入可以避免電磁波信號在傳輸過程中的信號損失，建築物阻擋或反射後多路帶來的不可控失效定位，避免每次定位過程中（針對同一定位目標）因為實時信號差異帶來的定位誤差，從而誤導使用者抵達不是其期望抵達的目標地點。
其次，通過設置額外的技術特徵如帶數位拍攝的雲台式光學望遠鏡使得運用本創作能提高對遠距離以至微小物件之辨識及定位功能；且，通過本申請的精準定位，能實現現有技術中因為定位精度不夠導致的很多實際運用如自主機械人或盲人去到陌生的公共場合時的生活及行動困難或難以實現。
本創作的附加方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本創作的實踐瞭解到。
下面將結合附圖詳細描述本創作的實施例，需要強調的是下文中通過參考附圖描述的實施例僅僅是示例性的，旨在用於解釋本創作的工作原理和應用實例，而不能理解為對本創作的限制。
本創作提供了基於360度數位拍攝魚眼圖像的360度環繞方位及位置感知物件信息獲取系統(A 360-degree surround direction and position aware object information retrieval system based on 360-degree fisheye digital camera images)，對魚眼圖像拍攝單元的每個系統魚眼觀察點所取得的360度魚眼圖像，以圖像處理方法對環繞著系統魚眼觀察點的整體環境作360度環繞物件偵測，以感知物件的360度方位和感知物件的360度立體空間距離及位置，其中，對標籤類可辨識物件通過局部掃描在整體圖像中辨識出該標籤可辨識物件的圖像，以提取內含物件信息包括但不限於網絡(例如互聯網)信息地址，並實時訪問該物件網絡(例如互聯網)信息地址以獲得其物件的網絡(例如互聯網)信息，同時對非標籤類可辨識物件則以該物件圖像透過網絡(例如互聯網)圖像辨識服務以辨識該物件及獲得物件信息。
圖1是本創作的優選實施例的基於360度數位拍攝魚眼圖像的360度環繞方位及位置感知物件信息獲取系統的核心功能單元與外圍可選設備及核心數據元素之間的協作原理示意圖；圖2是本創作的一個實施例的基於360度數位拍攝魚眼圖像的360度環繞方位及位置感知物件信息獲取系統的核心結構框圖。如圖1所示，360度環繞方位及位置感知物件信息獲取系統通過其核心功能單元與外圍可選設備協同工作來實現本創作的各種功能及其應用，其中在圖左側列出了使物件信息獲取系統的核心功能單元完成工作所需要的外部輸入或可選設備（啟動魚眼相機的觸發器、用戶輸入的物件類別信息、用戶設定的系統工作範圍、帶有數位相機的雲台式光學望遠鏡、磁強計設備等等），圖右側列出了從各個核心功能單元所產生的核心數據元素，圖下方表示出360度環繞方位及位置感知物件信息獲取系統的最終輸出信息（例如視頻或音頻等），關於本創作的核心功能單元將在下文參照圖2進一步詳細地說明。
參考圖2，本創作提供了一種360度環繞方位及位置感知物件信息獲取系統，物件信息獲取系統包括魚眼圖像拍攝單元10、物件偵測單元20、物件信息獲取單元30、物件定向運算單元40、以及系統定位運算單元50，它們分別對應於圖1中所示的各個核心功能單元，下面分別對其功能分別進行簡要說明。
魚眼圖像拍攝單元10使用魚眼相機對周圍的待辨識環境進行拍攝，以獲得待辨識環境的整體魚眼圖像。具體地，本創作實施例的魚眼圖像拍攝單元10使用一個或多個魚眼相機對周圍的待辨識環境進行拍攝，魚眼數位相機的光軸垂直於視向平面（plane of direction of view, or view plane），以獲得待辨識環境的360度環繞的整體魚眼圖像，由於魚眼相機具有焦距短、視角大的特點，其拍攝出的整體魚眼圖像是視角較大的圖像；而且，採用超廣角魚眼相機對待辨識環境中進行拍攝，可以克服傳統的採用WI-FI及GPS定位的諸多限制，因為魚眼相機拍攝的圖像基於光學原理而生成，其區別於電磁波信號傳導，電磁波在空間中傳導時會有信號損失，或者因建築物阻擋而造成定位失效等諸多問題；反之，圖像作為位置信息的獨特，尤其是在室內環境中完全不存在上述問題。
物件偵測單元20與魚眼圖像拍攝單元10進行通訊，用於根據不同的物件類別從整體魚眼圖像中偵測出位於待辨識環境中的至少一個可辨識物件。具體地，物件偵測單元20接收魚眼圖像拍攝單元10拍攝到的整體魚眼圖像，然後根據不同的物件類別（物件類別可分為標籤類可辨識物件和非標籤類可辨識物件）從整體魚眼圖像中偵測出位於待辨識環境中的至少一個可辨識物件，從而最終實現可辨識物件的光學精確定位。物件類別是用於限定物件偵測單元20從整體魚眼圖像中進行偵測的特定圖案或輪廓，並根據不同應用場合和實際情況，用戶可以任意地設定或選擇物件類別。在具體實施例中，物件類別可以是特殊定製的標籤類可辨識物件，例如易識別標籤圖案，也可以是系統預先設定的非標籤類可辨識物件，例如特定物件輪廓圖案（人、桌子、汽車等等）。
物件信息獲取單元30針對上述可辨識物件，若物件類別為標籤類可辨識物件，則局部掃描/辨識整體圖像中該標籤物件之圖像以提取內含的物件信息包括但不限於該物件的網絡(例如互聯網)信息地址，並實時訪問物件網絡(例如互聯網)信息地址以獲得該物件的網絡(例如互聯網)信息，若物件類別為非標籤類可辨識物件，則以該物件圖像透過網絡(例如互聯網)圖像辨識服務以辨識物件及獲得辨識物件信息。
物件定向運算單元40與物件偵測單元20進行通訊，用於針對物件偵測單元20偵測出的每個可辨識物件，確定每個可辨識物件在整體魚眼圖像中的對應位置點，並根據魚眼相機的成像參數計算出在待辨識環境中每個可辨識物件相對於魚眼相機的360度方位。關於如何使用魚眼圖像進行上述方向信息計算的詳細過程，下文將參考圖3進一步說明。
系統定位運算單元50與物件定向運算單元40和/或物件信息獲取單元30進行通訊，用於根據物件定向運算單元40所提供的至少兩組不同的可辨識物件相對於魚眼相機的方向信息，基於三角測量法計算出物件相對於系統的360度立體空間距離及位置，以及從上述物件信息獲取單元或內含於物件中的信息(例如內含於二維碼標籤)取得可辨識物件的全球或所在環境地圖的絕對位置，透過周圍觀察環境中這些有提供定位信息的物件計算出本系統的全球或所在環境地圖的準確位置。附帶指出，三角測量法是定位技術領域公知的方法，在傳統的定位方式中廣泛地得以應用，因此本文從略說明。
具體地，本創作實施例的物件信息獲取系統，當物件類別為易識別標籤圖案時，通過物件信息獲取單元30掃描易識別標籤圖案上的物件代碼獲得與可辨識物件綁定的網絡(例如互聯網)頻道，然後通過訪問網絡(例如互聯網)頻道即可獲得任意的物件信息，操作簡單快捷、可以獲得多媒體形式的物件信息（例如音頻、視頻或文字）而且不易出現錯誤。當物件類別為系統預先設定的特定物件輪廓圖案，物件偵測單元以系統內置或通過網絡(例如互聯網)的人工智能圖像服務（例如人臉識別技術、物象輪廓識別技術）來進行整體圖像的物件偵測，從而提升了用戶體驗。
在具體實施中，易識別標籤圖案設置在待辨識環境中的適當位置，以便於魚眼圖像拍攝單元10進行拍攝。通常地，將易識別標籤圖案設置在待辨識環境中的適於魚眼圖像拍攝單元10進行拍攝的位置，如此方便魚眼圖像拍攝單元10對該易識別標籤圖案進行拍攝，從而進一步方便物件信息獲取單元30掃描該易識別標籤圖案上的物件代碼以取得與可辨識物件綁定的網絡(例如互聯網)網址，並通過訪問網絡(例如互聯網)網址來獲得物件信息，如此可提高識別率，提升識別效率。
在具體實施中，易識別標籤圖案優選為高對比度的雙正方形圖案，在此情況下，物件代碼可以是黏貼或打印在雙正方形圖案內的二維碼。參考圖12，位於圖12左邊的圖像，易識別標籤圖案為高對比度的雙正方形圖案，物件代碼是黏貼或打印在雙正方形圖案內的二維碼，本創作實施例的物件信息獲取系統，通過物件信息獲取單元30掃描該二維碼以取得與可辨識物件綁定的網絡(例如互聯網)頻道，並通過訪問網絡(例如互聯網)頻道來獲得物件信息，本創作實施例的物件信息獲取系統通過掃描二維碼來獲得物件信息，具有承載信息量大、易識別、成本低的優點。在具體實施中，包含可辨識物件的基本信息的摩斯電碼進一步可嵌入在雙正方形圖案的邊緣。參考圖12，位於圖12右邊的圖像，摩斯電碼（Morse Code）嵌入在雙正方形圖案的邊緣，圖中範例摩斯電碼意思為路標，該摩斯電碼亦可包含可辨識物件的地圖位置信息、其他基本信息等。本創作實施例的物件信息獲取系統，通過將包含在可辨識物件的基本信息的莫爾代碼嵌入在雙正方形圖案的邊緣，從而擴大了易識別標籤圖案的具體使用範圍，使用領域較廣。
需要指出的是，本創作實施例的物件信息獲取系統，其物件偵測單元20在從整體魚眼圖像中偵測出可辨識物件時，針對物件類別並沒有特別的限定，只要該可辨識物件通過現有的圖像識別技術而輕易地識別出來即可。實際上，根據不同的應用場合與商業模式，可辨識物件可以由特定參與者來負責維護和設置，例如在商場中可以由物業公司設置，在特定產品上可以由出廠商來預先標識。
作為其中一種使用實例，物件信息獲取系統還包括遠端輸出單元，遠端輸出單元包括遠程式全景增強實境裝置，全景增強實境裝置包括反射式環繞顯示裝置，從物件信息獲取系統接收到的待辨識環境的整體魚眼圖像以全景式場景被顯示在反射式環繞顯示裝置上，其中，物件信息獲取系統所偵測出的可辨識物件的物件信息以增強實境方式顯示在全景式場景中。下文結合圖3～圖4來說明在本創作使用魚眼相機獲得魚眼圖像並從中計算出可辨識物件在實際拍攝環境中相對於魚眼相機的方向信息的過程，針對同一可辨識物件，根據兩組以上的方向信息來計算出位置信息。
圖3是根據本創作實施例的在採用魚眼鏡頭進行拍攝時，用於在魚眼圖像中計算出可辨識物件與魚眼鏡頭的相對方向信息的原理示意圖；圖3示出由下文和圖4（4A、4B和4C）中所描述原理得出的物件定向（相對於視向平面的仰角及方位角）運算過程。在圖中，使用相對於視向平面指向下的光軸，對於物件偵測單元中的被偵測物件，其圖像位置P（例如被偵測物件的中心或物件上的某個參考點）在點P’（即P點在圖片中的位置）處。點P’在空間中的實際對應位置是空間位置點P，其具有相對於視向平面的仰角以及相對於系統方向參考線的方位角。
點P’與魚眼圖像的光軸相距軸向距離R（以像素計），利用R值，通過該魚眼的魚眼函數(fisheye function)來計算點P相對於視向平面的對應P點與光軸的夾角(此例為天底角)。顯然：
仰角= P點與光軸的夾角–90度
明顯地，相對於系統的方向參考線的方位角是由魚眼圖像上點P’的徑向線與參考線形成的角度。
仰角= P點與光軸的夾角–90度
明顯地，相對於系統的方向參考線的方位角是由魚眼圖像上點P’的徑向線與參考線形成的角度。
圖4A是表示其中魚眼鏡頭的光軸的取向與視向平面垂直的側面示意圖；圖4B是表示魚眼鏡頭的光軸相對於視向平面垂直向下時，仰角與圖像分辨率之間的關係示意圖；圖4C是表示魚眼鏡頭的光軸相對於視向平面垂直向上時，仰角與圖像分辨率之間的關係示意圖。
其中，圖4A描繪了在魚眼圖像拍攝單元中魚眼光軸相對於視向平面的取向之橫截面視圖。參考附圖，視向平面定義了360度環繞觀察的魚眼觀察點處的三維視圖領域的零度仰角，並且包含視向線。視向可以是任意觀察方向，或者其可以為系統的正前方或前進/移動方向，如在本專利說明書下文中描述的本創作「智能定位駕駛」應用的情形中那樣；視向可以是非地平面方向，例如機器人的眼睛觀察方向。同樣，視向平面可以是地平面或非地平面，其隨著系統的取向變化，如在本專利說明書下文描述的智能導盲杖應用的情形中那樣。在本創作中，魚眼光軸的取向應當沿與觀察點的視向平面垂直的方向特定取向（例如通過固定裝置或安裝），即相對於視向平面指向上或指向下，以獲得待辨識環境的360度環繞著系統的整體魚眼圖像。魚眼的所有可見方向的空間可以用倒置圓頂(如圖4A魚眼光軸相對於視向平面垂直指向下)，和非倒置圓頂(當魚眼光軸相對於視向平面垂直指向上)來描述，如通過橫截面視圖中的邊界虛線描述的那樣。顯然，參考圖中，魚眼/超魚眼的FOV越大，則它可利用環繞360度魚眼圖像觀察和檢測用於周圍環境中的物件的空間方向就越多。
圖4B和圖4C中示出了魚眼相機的不同視向圖，其中在圖4B中光軸指向下，在圖4C中指向上。對於所描述的魚眼光軸取向，相同仰角（或高度角）相對於視向平面的等仰角線位於所得魚眼圖像中的圓上。視向平面的所有方向（即360度）位於代表零度仰角的圓(即零度等仰角線)上。類似地，任意其他仰角的所有360度方向也都用其圍繞魚眼光軸中心的對應圓來表示。其結果是，圖4B和圖4C中魚眼圖像代表以視向平面為零度仰角之360度環繞圖像。
在其中光軸相對於視向平面指向下的圖4B中，當從圓形魚眼圖像的中心向外移動時，仰角從負值向零度（視向平面）向正值變化。當向外移動時，圓的圓周以及像素數目增加，因此我們看見，對於相對於視向平面而言較高的仰角（或高度角），圖像的「圓形」分辨率也較高。右側顯示對應的經轉換平（矩形）全景圖，其中下部分為較低的仰角，上部分為較高的仰角。若將圓形魚眼圖像轉換成這種標準的平景圖像，上部分為較高的仰角會有較高分辨率。由於初始圓形魚眼圖像中較低的仰角的「圓形」分辨率（即像素數目）低於較高仰角的「圓形」分辨率（即像素數目），所以平全景圖像中較低的仰角實際上具有較低的分辨率，因此需要進行不同程度的圖像放大、例如以圖像插值以達到具有與較高仰角中相同的像素數目。結果，在該情況下（其中魚眼光軸相對於視向平面指向下），較高的仰角對於物件檢測和圖像處理準確度/精確度而言更佳。在其中光軸相對於視向平面指向上的圖4C中，反之亦然，即較低的仰角相比較高的仰角具有更高的「圓形」分辨率。結果，在這種情況下（其中魚眼光軸相對於視向平面指向上），較低的仰角對於物件檢測和圖像處理準確度/精確度而言更佳。利用目前提供非常高分辨率數字圖像的高分辨率感光組件，可以在具有較少「圓形」分辨率/像素的仰角部分上也能獲得很高的圖像處理準確度/精確度。
參考圖5，在圖2所示的優選實施例的基礎上，本創作的另一實施例提供的物件信息獲取系統還包括光學望遠鏡單元60，光學望遠鏡單元60與系統定位運算單元50相連，用於根據系統定位運算單元50所提供的相對定位信息，自動地進行可辨識物件的瞄準和對焦。
本創作實施例的物件信息獲取系統通過設置光學望遠鏡單元60，可自動地進行可辨識物件的瞄準和對焦，以及數位拍攝，克服了在可辨識物件距離較遠以至微小物件時所帶來的辨識度較低的問題，辨識度較高，即本創作實施例的物件信息獲取系統藉助於光學望遠鏡單元60無論在遠距離還是近距離定位中都具有得天獨厚的優勢。
進一步，參考圖6，本創作的又一實施提供的物件信息獲取系統還包括物件信息輸出單元70，物件信息輸出單元70與系統定位運算單元50和/或物件信息獲取單元30相連，物件信息輸出單元70用於輸出物件信息、物件方向信息和物件方位信息。
物件信息輸出單元70進一步包括顯示單元和/或語音單元，即物件信息輸出單元70既可以包括顯示單元、語音單元中的一種，也可以同時包括顯示單元和語音單元。顯示單元配置成以可視化方式顯示可辨識物件的方向信息、定位信息和物件信息中的至少一種；語音單元配置成以語音方式播報可辨識物件的方向信息、定位信息和物件信息中的至少一種。
在具體實施中，在魚眼圖像拍攝單元10中，魚眼相機的數量可以為一個，在至少兩個不同位置進行拍攝獲得魚眼圖像，以使得物件定向運算單元40可以提供至少兩組不同的相對於魚眼相機的方向信息。通過將魚眼相機的數量設置成一個，且配置在至少兩個不同的位置進行拍攝，不僅可以實現提供至少兩組不同的相對於魚眼相機的方向信息的功能，而且由於魚眼相機的數量只有一個，可以降低成本，縮小體積。
在具體實施例中，魚眼圖像拍攝單元10的魚眼相機的數量優選為設置位置相對固定的兩個或多個，以使得物件定向運算單元40可以提供至少兩組不同的相對於魚眼相機的方向信息。通過將魚眼相機的數量配置成位置相對固定的兩個或多個，不僅可以實現提供至少兩組不同的相對於魚眼相機的方向信息的功能，而且由於該兩個或多個魚眼相機的數量相對固定，可避免移動或調整相機位置，從而節約了時間，提升了工作效率。
下面，結合圖7～圖11來說明根據本創作上述實施例的360度環繞方位及位置感知物件信息獲取系統的若干具體應用例。
參考圖7，本創作提供一種智能汽車導航儀，智能汽車導航儀可根據周圍駕駛環境中的可辨識物件進行定位和智能導航，該智能汽車導航儀安裝有上述基於360度數位拍攝魚眼圖像的360度環繞方位及位置感知物件信息獲取系統。優選地，在道路兩側的路牌或建築物上設置高對比度的雙正方形圖案作為易識別標籤圖案，並且在雙正方形圖案的中央打印或黏貼上二維碼圖案，通過掃描二維碼並訪問網絡(例如互聯網)就可以獲取與汽車所在的地理位置或周圍建築物有關的任何信息。可設置磁強計裝置，磁強計裝置用於與系統定位運算單元協同作用以提供智能汽車導航儀的絕對定位信息。
參考圖7，本創作實施例的智能汽車導航儀，其在根據周圍環境中的可辨識物件進行定位和智能導航的步驟如下：
駕駛員啟動包含基於360度數位拍攝魚眼圖像的360度環繞方位及位置感知物件信息獲取系統的智能汽車導航儀。該智能汽車導航儀可集成在車輛上或者作為獨立設備安裝在車輛的合適位置。優選地，該智能汽車導航儀包括兩個魚眼相機，分別設置在車輛的靠近前擋風玻璃的左右兩側，駕駛員啟動包含360度環繞方位及位置感知物件信息獲取系統的智能汽車導航儀後，該智能汽車導航儀的魚眼相機開始拍攝周圍環境的圖像。
駕駛員啟動包含基於360度數位拍攝魚眼圖像的360度環繞方位及位置感知物件信息獲取系統的智能汽車導航儀。該智能汽車導航儀可集成在車輛上或者作為獨立設備安裝在車輛的合適位置。優選地，該智能汽車導航儀包括兩個魚眼相機，分別設置在車輛的靠近前擋風玻璃的左右兩側，駕駛員啟動包含360度環繞方位及位置感知物件信息獲取系統的智能汽車導航儀後，該智能汽車導航儀的魚眼相機開始拍攝周圍環境的圖像。
包含兩個魚眼相機的魚眼圖像拍攝單元拍攝360°環繞的環境圖像；物件偵測單元作為易識別標籤圖案偵測出被捕獲圖像中的雙正方形圖案；物件信息獲取單元通過掃描雙正方形圖案內的二維碼而鏈接到特定網址來讀取高精度全球地圖的位置信息；物件定向運算單元計算出雙正方形圖案的方向信息；系統定位運算單元運用三角測量法測量每個雙正方形圖案的相對位置信息。
具體地，智能汽車導航儀開始工作後，魚眼圖像拍攝單元開始拍攝並捕捉周圍的待辨識環境，通常是360°環繞的環境，以便獲得該待辨識環境的整體魚眼圖像。物件偵測單元從該整體魚眼圖像中獲得雙正方形圖案，該雙正方形圖案中包含二維碼信息。物件信息獲取單元通過雙正方形圖案中的二維碼提供的鏈接網址來讀取高精度全球地圖的位置信息，該地圖位置信息通常包括經度、緯度，通過經度、緯度的唯一確定即可得到高精度全球地圖的位置信息。物件定向運算單元從待識別物件（例如：該雙正方形圖案）中計算出方向信息。系統定位運算單元運用三角測量法測量每個待識別物件相對於該智能汽車導航儀的相對位置信息。另外，設置上述雙正方形圖案的偵測標誌可以包括道路標誌、商店標誌等，該商店的廣告信息包括能進一步從標誌的網絡鏈接網址下載的音頻信息和視頻信息。
物件信息輸出單元可以根據上面所獲得的高精度地圖位置信息來構建並輸出高精度地圖位置信息。可選地，系統的附加顯示單元通過已計算過的地圖位置和方位顯示車輛的街區地圖信息、商店標誌的網絡(例如互聯網)網址提供的簡要說明；駕駛員可進一步地通過點擊顯示的位置、聽音頻廣告或看廣告視頻來選擇街區地圖上的商店位置；系統顯示單元/語音單元輸出被選擇商店的音頻廣告或廣告視頻。
在具體實施中，可辨識物件的有關細節信息（例如：經度信息和緯度信息）為提前確定地輸入，通過物件信息獲取單元進行獲取也就避免了實時定位過程中的因為電磁波傳導原因造成的各種誤差。首先，由於可辨識物件的有關細節信息為第三方主動輸入，其信息一般為第三方實時更新的信息，從而規避現有地圖更新慢進而導致定位失敗的問題，例如某店鋪在更名後，當使用者以該店鋪更新後的店名作為目標抵達地，現有的地圖往往因為還未及時將地圖中的店鋪名更新帶來定位失敗；其次，依賴電磁波信號定位的方式在很大程度上取決於接收到的電磁波本身，而使用者在每次定位過程中，往往環境因素各異，例如在某次定位中，其發出的信號被障礙物阻擋，其帶來的結果往往是每次輸入相同定位地址卻得到不同的目標地點。然而，通過先獲得可辨識物件精準的地點，再將其與地圖關聯就解決了上述缺陷，因為店鋪雖然更名，但是店鋪的經緯度信息卻沒有發生任何的實質性變化，因此其不會因為地圖信息未及時更新或店鋪名字改變帶來任何影響。上述實例僅為用於解釋本創作思想所用，還當理解，本申請不僅僅限於店鋪更名這一情形，建築物拆遷，建築物更名，商戶更名或是其他類似的情形在不脫離該中心思想的情形下也均應當涵蓋於該創作中。
參考圖8和圖9，本創作還提供一種智能導盲仗，智能導盲仗可對視障人士提供周圍環境中的可辨識物件的引導信息，該智能導盲仗安裝有上述360度環繞方位及位置感知物件信息獲取系統，引導信息包括可辨識物件的方向信息、定位信息和物件信息中的至少一種。
圖9是在本創作的實施例中魚眼相機的不同安裝形式實施例及其變形例的示意圖。以應用於智能導盲仗的魚眼相機為例，在圖9位於最左邊的示例中，該智能導盲仗在垂直方向上設有兩個魚眼圖像拍攝單元10，其中位於上面的魚眼圖像拍攝單元10的拍攝方向朝上，位於下面的魚眼圖像拍攝單元10的拍攝方向朝下，這兩個魚眼圖像拍攝單元10的拍攝範圍有重疊；圖9中位於中間的示例中，該智能導盲仗在垂直方向上設有兩個魚眼圖像拍攝單元10，其中位於上面的魚眼圖像拍攝單元10的拍攝方向朝上，位於下面的魚眼圖像拍攝單元10的拍攝方向也朝上，這兩個魚眼圖像拍攝單元10的拍攝範圍也有重疊；圖9中位於最右邊的示例中，該智能導盲仗在垂直方向上設有四個魚眼圖像拍攝單元10，且四個魚眼圖像拍攝單元10的拍攝方向均朝上，且至少有兩個魚眼圖像拍攝單元10的拍攝範圍有重疊。在其他實施例中，可以在垂直方向上設置更多個魚眼圖像拍攝單元10，如此不僅可以節約水平方向上的空間，而且可以通過多個魚眼圖像拍攝單元10以得到附加的高度測量及精準的測量度，例如可以應用在更高的機器人上或者安全檢測領域、在高樓大廈裡的物件找尋系統等。
具體參見圖8所示，視障人士拿著帶有基於360度數位拍攝魚眼圖像的360度環繞方位及位置感知物件信息獲取系統的導盲杖在盲道上行走，盲道路面或者盲道旁邊設置有帶有QR碼的雙正方形標籤圖案，道路兩旁具有飲品和食品等商店（不一定設置有易識別標籤圖案），導盲杖上的魚眼相機對每個系統魚眼觀察點所取得的360度魚眼圖像，以圖像處理方法對環繞著系統魚眼觀察點的整體環境作360度環繞物件偵測，以感知物件的360度方位和感知物件的360度立體空間距離及位置，其中，對標籤類可辨識物件（帶有QR碼的雙正方形標籤圖案）通過局部掃描在整體圖像中辨識出該標籤可辨識物件的圖像，以提取內含物件網絡(例如互聯網)信息地址作為物件信息，並訪問該物件網絡(例如互聯網)信息地址以獲得其物件的網絡(例如互聯網)信息，同時對非標籤類可辨識物件（飲料、食品等）則以該物件圖像透過網絡(例如互聯網)圖像辨識服務以辨識該物件及獲得物件信息。並通過物件定向運算單元40和系統定位運算單元50計算出方向信息和方位信息，並進行語音播報。使用本實施例提供的導盲杖，視障人士可以通過物件信息獲取單元30準確獲得街邊的飲料、食品、街道等信息，還可通過物件定向運算單元40和系統定位運算單元50獲得具體物件的方向信息和方位信息，導盲杖等同於視障人士的眼睛，方便視障人士使用。可以代替導盲犬，還能夠根據提示購買物品或者尋找需要的服務，導盲杖與網絡(例如互聯網)通信，還可避免視障人士走丟，家人可以監控視障人士的行程，可以不需要專業人員以及家人陪護，是視障人士的福音。
參考圖10和圖11，本創作實施例的智能遠程信息溝通系統，用於智能遠程購物，包括上述的360度環繞方位及位置感知物件信息獲取系統；以及與物件信息獲取系統以遠程方式配合使用的全景增強實境裝置，全景增強實境裝置包括反射式環繞顯示裝置，從物件信息獲取系統接收到的待辨識環境的整體魚眼圖像以全景式場景被顯示在反射式環繞顯示裝置上，其中，物件信息獲取系統所偵測出的可辨識物件的物件信息以增強實境方式顯示在全景式場景中。需要特別指出的是，本文中的反射式環繞顯示裝置優選地根據中國大陸實用新型專利ZL201720316246.9以及香港短期專利HK1229152，創作人為羅鎮邦，專利權人為迎刃而解有限公司（Solved By Technology Co., Limited）的一種反射式環繞顯示系統而得以實現。
圖11是內置有根據本創作實施例的360度環繞方位及位置感知物件信息獲取系統的帶有魚眼相機的機器人的示意圖，圖中分別示出了帶有一個魚眼相機和三個魚眼相機的機器人。位於圖11左邊的機器人，該機器人上設置有一個可移動的魚眼圖像拍攝單元10，該魚眼圖像拍攝單元10可以改變魚眼相機在機器人上的位置從而拍攝多張魚眼圖像，該可移動的魚眼圖像拍攝單元10能夠從垂直方向上的不同位置上拍攝環境中的多張魚眼圖像以作為定位運算；參考圖11，位於圖11中右邊的機器人，該機器人上設置有三個位置固定的魚眼圖像拍攝單元10，該三個魚眼圖像拍攝單元10在豎直方向上依次排列，其中，較高的兩個魚眼圖像拍攝單元10針對高度較高的環境拍攝具有較高的分辨率，較低的那個魚眼圖像拍攝10針對高度較低的環境拍攝具有較高的分辨率並且作為定位運算具有附加的較精確的測量。
具體參見圖10所示，本實施例帶有基於360度數位拍攝魚眼圖像的360度環繞方位及位置感知物件信息獲取系統的遠程購物系統，上述實施例的360度環繞方位及位置感知物件信息獲取系統可設置於一商店遠程購物前端裝置（上，參考圖10，該商店遠程購物前端裝置具體可以是一機器人，該機器人可與全景增強實境裝置無線連接，例如該機器人可通過移動通信網絡與全景增強實境裝置相連接，該機器人上設置有魚眼圖像拍攝單元10，魚眼圖像拍攝單元10可參考圖11所示設置， 商店中的商品都分別貼上了雙正方形圖案二維碼標籤，每個商店具有唯一的雙正方形圖案二維碼標籤，該機器人上設有包括魚眼相機的雲台光學望遠鏡，該雲台光學望遠鏡用於伸長並拍攝位於較遠處的二維碼。
上述機器人的魚眼圖像拍攝單元10拍攝的多幅魚眼圖像經過處理可形成一魚眼全景增強實境圖像，該魚眼全景增強實境圖像傳輸至遠程客戶的電腦中，並通過反射式環繞顯示裝置顯示，從而使得用戶足不出戶即可身臨其境地感受到遠程商店中的商品信息，提升了用戶體驗。
參考圖10，本創作實施例的遠程購物系統，其工作流程如下：遠程網絡(例如互聯網)客戶與某商場客服通過網絡(例如互聯網)通信，並選取帶有數位魚眼相機的機器人，機器人自動的在商品陳列架之間行走，魚眼相機拍攝商品的現實魚眼全景圖，並且對遠程網絡客戶裝備有反射式環繞顯示裝置的電腦輸出現實魚眼全景圖像，遠程網絡(例如互聯網)客戶可通過在現實環繞的遠程商店前端裝置中選擇的自己感興趣的商品，遠程網絡(例如互聯網)客戶選取特定的商品後，魚眼相機識別特定商品上帶有QR碼的雙正方形標籤圖案，並訪問網絡(例如互聯網)獲取網絡(例如互聯網)信息反饋給供客戶參考，同時計算出商品處於機器人的什麼方向和方位。如果遠程網絡(例如互聯網)客戶選取該商品，則機器人根據計算出的方位和方向準確的將商品放進購物車，以此類推，選取其它商品。最終遠程網絡(例如互聯網)客戶通過遠程支付功能支付相關款項，商場將商品郵寄或者親自送到遠程網絡(例如互聯網)客戶住處。使用本創作的遠程購物系統，增強了現實感，客戶可以不出門即可實現身臨其境的購物，並且能夠通過物件信息獲取單元30從網絡(例如互聯網)準確獲得將商品的生產廠家、有效期、生產批次等等信息，實現了購物智能化。
帶有基於360度數位拍攝魚眼圖像的360度環繞方位及位置感知物件信息獲取系統的機器人還可以用於快遞分揀系統，可以準確的將快遞進行分類。
在本說明書的描述中，參考術語「一個實施例」、「一些實施例」、 「示例」、「具體示例」、或「一些示例」等的描述意指結合該實施例或示例描述的具體特徵、結構、材料或者特點包含於本創作的至少一個實施例或示例中。在本說明書中，對上述術語的示意性表述不一定指的是相同的實施例或示例。而且，描述的具體特徵、結構、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結合。儘管上面已經示出和描述了本創作的實施例，可以理解的是，上述實施例是示例性的，不能理解為對本創作的限制，本領域的普通技術人員在不脫離本創作的原理和宗旨的情況下在本創作的範圍內可以對上述實施例進行變化、修改、替換和變型。
10‧‧‧魚眼圖像拍攝單元
20‧‧‧物件偵測單元
30‧‧‧物件信息獲取單元
40‧‧‧物件定向運算單元
50‧‧‧系統定位運算單元
60‧‧‧光學望遠鏡單元
70‧‧‧物件信息輸出單元
20‧‧‧物件偵測單元
30‧‧‧物件信息獲取單元
40‧‧‧物件定向運算單元
50‧‧‧系統定位運算單元
60‧‧‧光學望遠鏡單元
70‧‧‧物件信息輸出單元
本創作的上述和/或附加的方面和優點從結合下面附圖對實施例的描述中將變得明顯和輕易理解，其中：
圖1是本創作的優選實施例的360度環繞方位及位置感知物件信息獲取系統的核心功能單元與核心數據元素以及外圍設備及之間的協作原理示意圖；
圖2是本創作的一個實施例的360度環繞方位及位置感知物件信息獲取系統的結構框圖；
圖3是根據本創作具體實施例在採用魚眼鏡頭進行拍攝時，用於在魚眼圖像中計算可辨識物件與魚眼鏡頭的相對方向計算的原理示意圖；
圖4A是表示根據本創作的一個實施例，以垂直FOV大於180度的魚眼鏡頭光軸方向向下垂直於視向平面，所拍攝到的360度方向(為一倒置圓頂型)的橫截面示意圖；
圖4B是表示魚眼鏡頭的光軸方向相對於視向平面垂直向下時，仰角與圖像分辨率之間的關係示意圖；
圖4C是表示魚眼鏡頭的光軸相對於視向平面垂直向上時，仰角與圖像分辨率之間的關係示意圖；
圖5是本創作的另一個實施例的360度環繞方位及位置感知物件信息獲取系統的結構框圖；
圖6是本創作的又一個實施例的360度環繞方位及位置感知物件信息獲取系統的結構框圖；
圖7是本創作的實施例的360度環繞方位及位置感知物件信息獲取系統應用於智能汽車導航儀的示意圖；
圖8是本創作的實施例的360度環繞方位及位置感知物件信息獲取系統應用於智能導盲仗的示意圖；
圖9是在本創作的實施例中魚眼相機的不同安裝形式實施例及其變形例的示意圖；
圖10是本創作的實施例的360度環繞方位及位置感知物件信息獲取系統應用於智能遠程購物系統的示意圖；
圖11是內置有根據本創作實施例的360度環繞方位及位置感知物件信息獲取系統的帶有魚眼相機的機器人的示意圖，圖中分別示出了帶有一個魚眼相機和三個魚眼相機的機器人；
圖12是本創作的實施例中的易識別標籤圖案的示意圖，示出了設置在標籤圖案中央處的二維碼和設置在標籤圖案邊緣處的摩斯電碼。
圖1是本創作的優選實施例的360度環繞方位及位置感知物件信息獲取系統的核心功能單元與核心數據元素以及外圍設備及之間的協作原理示意圖；
圖2是本創作的一個實施例的360度環繞方位及位置感知物件信息獲取系統的結構框圖；
圖3是根據本創作具體實施例在採用魚眼鏡頭進行拍攝時，用於在魚眼圖像中計算可辨識物件與魚眼鏡頭的相對方向計算的原理示意圖；
圖4A是表示根據本創作的一個實施例，以垂直FOV大於180度的魚眼鏡頭光軸方向向下垂直於視向平面，所拍攝到的360度方向(為一倒置圓頂型)的橫截面示意圖；
圖4B是表示魚眼鏡頭的光軸方向相對於視向平面垂直向下時，仰角與圖像分辨率之間的關係示意圖；
圖4C是表示魚眼鏡頭的光軸相對於視向平面垂直向上時，仰角與圖像分辨率之間的關係示意圖；
圖5是本創作的另一個實施例的360度環繞方位及位置感知物件信息獲取系統的結構框圖；
圖6是本創作的又一個實施例的360度環繞方位及位置感知物件信息獲取系統的結構框圖；
圖7是本創作的實施例的360度環繞方位及位置感知物件信息獲取系統應用於智能汽車導航儀的示意圖；
圖8是本創作的實施例的360度環繞方位及位置感知物件信息獲取系統應用於智能導盲仗的示意圖；
圖9是在本創作的實施例中魚眼相機的不同安裝形式實施例及其變形例的示意圖；
圖10是本創作的實施例的360度環繞方位及位置感知物件信息獲取系統應用於智能遠程購物系統的示意圖；
圖11是內置有根據本創作實施例的360度環繞方位及位置感知物件信息獲取系統的帶有魚眼相機的機器人的示意圖，圖中分別示出了帶有一個魚眼相機和三個魚眼相機的機器人；
圖12是本創作的實施例中的易識別標籤圖案的示意圖，示出了設置在標籤圖案中央處的二維碼和設置在標籤圖案邊緣處的摩斯電碼。
Claims (10)
- 一種基於360度數位拍攝魚眼圖像的360度環繞方位及位置感知物件信息獲取系統，其特徵在於：對魚眼圖像拍攝單元的每個系統魚眼觀察點所取得的360度魚眼圖像，以圖像處理方法對環繞著所述系統魚眼觀察點的整體環境作360度環繞物件偵測，以感知物件的360度方位和感知物件的360度立體空間距離及位置，所述360度環繞方位及位置感知物件信息獲取系統包括：
魚眼圖像拍攝單元，所述魚眼圖像拍攝單元使用至少一個魚眼數位相機對周圍的待辨識環境進行拍攝，所述魚眼數位相機的光軸垂直於視向平面，以獲得所述待辨識環境的360度環繞的整體魚眼圖像；
物件偵測單元，所述物件偵測單元接收所述魚眼圖像拍攝單元的輸出圖像，並根據不同的物件類別從整體魚眼圖像中偵測出至少一個可辨識物件；
物件信息獲取單元，所述物件信息獲取單元針對上述可辨識物件，若物件類別為標籤類可辨識物件，則局部掃描/辨識整體圖像中該標籤物件之圖像以提取內含的物件信息包括但不限於該物件的網絡信息地址，並實時訪問物件網絡信息地址以獲得該物件的網絡信息，若物件類別為非標籤類可辨識物件，則以該物件圖像實時透過網絡圖像辨識服務以辨識物件及獲得辨識物件信息；
物件定向運算單元，所述物件定向運算單元接收所述物件偵測單元的偵測結果，用於針對所述物件偵測單元偵測出的每個可辨識物件，確定每個所述可辨識物件在所述整體魚眼圖像中的對應位置點，並根據所述魚眼相機的成像參數計算出在所述待辨識環境中每個所述可辨識物件相對於所述魚眼相機的360度方位；以及
系統定位運算單元，所述系統定位運算單元接收所述物件定向運算單元的運算結果，用於根據所述物件定向運算單元所提供的至少兩組不同的可辨識物件相對於所述魚眼相機的方向信息，基於三角測量法計算出所述可辨識物件相對於系統的360度立體空間距離及位置，以及從上述物件信息獲取單元或內含於物件中的信息取得可辨識物件的全球或所在環境地圖的絕對位置，透過周圍觀察環境中這些有提供定位信息的物件，計算本系統的全球或所在環境地圖的絕對位置。 - 如請求項1所述的360度環繞方位及位置感知物件信息獲取系統，其中：
所述標籤類可辨識物件是特殊定製的易識別標籤圖案；所述物件信息獲取單元通過局部掃描所述易識別標籤圖案上的物件代碼以取得與所述可辨識物件綁定的網絡頻道，並通過訪問網絡頻道來獲得所述物件信息。 - 如請求項1所述的360度環繞方位及位置感知物件信息獲取系統，其中：
所述非標籤類可辨識物件是系統預先設定的特定物件輪廓圖案，所述物件偵測單元以系統內置或通過網絡的人工智能圖像服務來進行整體圖像的物件偵測。 - 如請求項2所述的360度環繞方位及位置感知物件信息獲取系統，其中：
所述易識別標籤圖案為高對比度的雙正方形圖案，所述物件代碼是用於取得物件網絡頻道的黏貼或打印在所述雙正方形圖案內的二維碼。 - 如請求項4所述的基於360度環繞方位及位置感知物件信息獲取系統，其中：
在所述雙正方形圖案上重疊對可辨識物件的基本信息進行編碼的摩斯電碼。 - 如請求項1所述的360度環繞方位及位置感知物件信息獲取系統，還包括：
光學望遠鏡單元，所述光學望遠鏡單元與所述系統定位運算單元相連可以進行數位拍攝，用於根據所述系統定位運算單元所提供的相對定位信息，自動地進行可辨識物件的瞄準和/或對焦以及數位拍攝。 - 如請求項1或6所述的360度環繞方位及位置感知物件信息獲取系統，還包括：
物件信息輸出單元，所述物件信息輸出單元與所述系統定位運算單元和/或物件信息獲取單元相連，所述物件信息輸出單元包括顯示單元和/或語音單元；
所述顯示單元配置成以可視化方式顯示所述可辨識物件的方向信息、定位信息和物件信息中的至少一種；所述語音單元配置成以語音方式播報所述可辨識物件的方向信息、定位信息和物件信息中的至少一種。 - 如請求項1所述的360度環繞方位及位置感知物件信息獲取系統，其中：
在所述魚眼圖像拍攝單元中，所述魚眼相機的數量為一個，其被配置成在至少兩個不同位置進行拍攝，以使得所述物件定向運算單元可以提供至少兩組不同的相對於所述魚眼相機的方向信息。 - 如請求項1所述的360度環繞方位及位置感知物件信息獲取系統，其中：
在所述魚眼圖像拍攝單元中，所述魚眼相機的數量為位置相對固定的兩個或多個，以使得所述物件定向運算單元可以提供至少兩組不同的相對於所述魚眼相機的方向信息。 - 如請求項1所述的360度環繞方位及位置感知物件信息獲取系統，其中：所述物件信息獲取系統還包括遠端輸出單元，所述遠端輸出單元包括遠程式全景增強實境裝置，所述全景增強實境裝置包括反射式環繞顯示裝置，從所述物件信息獲取系統接收到的待辨識環境的整體魚眼圖像以全景式場景被顯示在所述反射式環繞顯示裝置上，其中，所述物件信息獲取系統所偵測出的可辨識物件的物件信息以增強實境方式顯示在所述全景式場景中。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| HK18101932.9 | 2018-02-07 | ||
| HK18101932 | 2018-02-07 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TWM580186U true TWM580186U (zh) | 2019-07-01 |
Family
ID=67548770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW108201119U TWM580186U (zh) | 2018-02-07 | 2019-01-24 | 一種360度環繞方位及位置感知物件信息獲取系統 |
Country Status (2)
| Country | Link |
|---|---|
| TW (1) | TWM580186U (zh) |
| WO (1) | WO2019153855A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI699198B (zh) * | 2019-08-21 | 2020-07-21 | 亞東技術學院 | 視障者智能輔助系統 |
| CN112507752A (zh) * | 2020-11-16 | 2021-03-16 | 吴沁远 | 一种基于图像码遮挡的辅助阅读装置及方法 |
| CN113190027A (zh) * | 2021-02-26 | 2021-07-30 | 中国人民解放军军事科学院战争研究院 | 一种面向空中态势感知的空间剖分方法 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111444796B (zh) * | 2020-03-13 | 2023-05-02 | 达闼机器人股份有限公司 | 售货机器人的商品摆放判断方法及装置 |
| JP7478635B2 (ja) * | 2020-09-24 | 2024-05-07 | 東芝テック株式会社 | 商品購入システム、中継サーバ及び登録装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101452292B (zh) * | 2008-12-29 | 2011-05-04 | 天津理工大学 | 基于序列双色点阵式航标的鱼眼镜头全向视觉制导方法 |
| WO2011163454A1 (en) * | 2010-06-25 | 2011-12-29 | Trimble Navigation Ltd. | Method and apparatus for image-based positioning |
| JP5571498B2 (ja) * | 2010-08-09 | 2014-08-13 | Ｎｅｃマグナスコミュニケーションズ株式会社 | 周囲情報検索装置及び周囲情報検索方法 |
| CN103234543A (zh) * | 2013-04-26 | 2013-08-07 | 慕林 | 基于二维码或/和nfc的定位导航系统及其实现方法 |
| CN111246195B (zh) * | 2014-03-25 | 2022-01-11 | 6115187加拿大公司暨伊美景象公司 | 自动定义与场景图像内容相关的用户体验或系统行为的系统 |
| CN105403235A (zh) * | 2014-09-15 | 2016-03-16 | 吴旻升 | 二维空间定位系统及方法 |
| CN106643801B (zh) * | 2016-12-27 | 2019-11-19 | 纳恩博（北京）科技有限公司 | 一种定位准确度的检测方法及电子设备 |
| CN107180215B (zh) * | 2017-05-31 | 2020-01-31 | 同济大学 | 基于库位和二维码的停车场自动建图与高精度定位方法 |
-
2018
- 2018-12-03 WO PCT/CN2018/118924 patent/WO2019153855A1/zh active Application Filing
-
2019
- 2019-01-24 TW TW108201119U patent/TWM580186U/zh not_active IP Right Cessation
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI699198B (zh) * | 2019-08-21 | 2020-07-21 | 亞東技術學院 | 視障者智能輔助系統 |
| CN112507752A (zh) * | 2020-11-16 | 2021-03-16 | 吴沁远 | 一种基于图像码遮挡的辅助阅读装置及方法 |
| CN113190027A (zh) * | 2021-02-26 | 2021-07-30 | 中国人民解放军军事科学院战争研究院 | 一种面向空中态势感知的空间剖分方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019153855A1 (zh) | 2019-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11100260B2 (en) | Method and apparatus for interacting with a tag in a wireless communication area | |
| US11194938B2 (en) | Methods and apparatus for persistent location based digital content | |
| TWM580186U (zh) | 一種360度環繞方位及位置感知物件信息獲取系統 | |
| CN105279750B (zh) | 一种基于ir-uwb和图像矩的装备展示导览系统 | |
| CN103119611B (zh) | 基于图像的定位的方法和设备 | |
| US11893317B2 (en) | Method and apparatus for associating digital content with wireless transmission nodes in a wireless communication area | |
| US20120270573A1 (en) | Positioning system and method for single and multilevel structures | |
| CN104936283A (zh) | 室内定位方法、服务器和系统 | |
| US9583074B2 (en) | Optimization of label placements in street level images | |
| KR102035388B1 (ko) | 실시간 위치 측위 시스템 및 이를 이용한 콘텐츠 제공 서비스 시스템 | |
| CN102037466A (zh) | 文件创建方法及系统 | |
| US10949579B2 (en) | Method and apparatus for enhanced position and orientation determination | |
| US12045545B2 (en) | Methods and apparatus for secure persistent location based digital content associated with a two-dimensional reference | |
| US20220164492A1 (en) | Methods and apparatus for two dimensional location based digital content | |
| CN107193820B (zh) | 位置信息获取方法、装置及设备 | |
| Basiri et al. | Overview of positioning technologies from fitness-to-purpose point of view | |
| JP6917936B2 (ja) | 位置検出をグラフィカル表現にマッピングするための方法、装置およびシステム | |
| CN114777772A (zh) | 一种基于红外摄像头与高精度imu的室内定位系统 | |
| Blankenbach et al. | Building information systems based on precise indoor positioning | |
| US11475177B2 (en) | Method and apparatus for improved position and orientation based information display | |
| CN113382207A (zh) | 一种人员定位方法、装置及系统 | |
| Ecklbauer | A mobile positioning system for android based on visual markers | |
| Vandenhouten et al. | A method for optical indoor localization of mobile devices using multiple identifiable landmarks | |
| CN111275823B (zh) | 一种目标关联数据展示方法、装置及系统 | |
| Di Pietra | Seamless Positioning and Navigation in Urban Environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4K | Annulment or lapse of a utility model due to non-payment of fees |