TWI812102B - 二無人載具協同導航方法與系統 - Google Patents
二無人載具協同導航方法與系統 Download PDFInfo
- Publication number
- TWI812102B TWI812102B TW111110880A TW111110880A TWI812102B TW I812102 B TWI812102 B TW I812102B TW 111110880 A TW111110880 A TW 111110880A TW 111110880 A TW111110880 A TW 111110880A TW I812102 B TWI812102 B TW I812102B
- Authority
- TW
- Taiwan
- Prior art keywords
- unmanned vehicle
- image
- resolution
- path
- computer
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000002596 correlated effect Effects 0.000 claims abstract description 4
- 230000000875 corresponding effect Effects 0.000 claims description 69
- 230000033228 biological regulation Effects 0.000 abstract 2
- 230000007423 decrease Effects 0.000 abstract 1
- 230000003247 decreasing effect Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 21
- 238000001514 detection method Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 13
- 238000012549 training Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 102220585558 T cell receptor gamma constant 1_S41A_mutation Human genes 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 239000007789 gas Substances 0.000 description 6
- 238000001931 thermography Methods 0.000 description 6
- 102220585521 T cell receptor gamma constant 1_S21A_mutation Human genes 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 102220198146 rs1057519886 Human genes 0.000 description 5
- QGZKDVFQNNGYKY-UHFFFAOYSA-N Ammonia Chemical compound N QGZKDVFQNNGYKY-UHFFFAOYSA-N 0.000 description 4
- 102220621241 Proline-rich membrane anchor 1_S32A_mutation Human genes 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000010845 search algorithm Methods 0.000 description 4
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 3
- 229910002091 carbon monoxide Inorganic materials 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- ATUOYWHBWRKTHZ-UHFFFAOYSA-N Propane Chemical compound CCC ATUOYWHBWRKTHZ-UHFFFAOYSA-N 0.000 description 2
- 230000009365 direct transmission Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000009349 indirect transmission Effects 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- MGWGWNFMUOTEHG-UHFFFAOYSA-N 4-(3,5-dimethylphenyl)-1,3-thiazol-2-amine Chemical compound CC1=CC(C)=CC(C=2N=C(N)SC=2)=C1 MGWGWNFMUOTEHG-UHFFFAOYSA-N 0.000 description 1
- 239000004215 Carbon black (E152) Substances 0.000 description 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 241000512668 Eunectes Species 0.000 description 1
- 239000000443 aerosol Substances 0.000 description 1
- 229910021529 ammonia Inorganic materials 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000001273 butane Substances 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 229930195733 hydrocarbon Natural products 0.000 description 1
- 150000002430 hydrocarbons Chemical class 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 125000004435 hydrogen atom Chemical class [H]* 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- IJDNQMDRQITEOD-UHFFFAOYSA-N n-butane Chemical compound CCCC IJDNQMDRQITEOD-UHFFFAOYSA-N 0.000 description 1
- OFBQJSOFQDEBGM-UHFFFAOYSA-N n-pentane Natural products CCCCC OFBQJSOFQDEBGM-UHFFFAOYSA-N 0.000 description 1
- JCXJVPUVTGWSNB-UHFFFAOYSA-N nitrogen dioxide Inorganic materials O=[N]=O JCXJVPUVTGWSNB-UHFFFAOYSA-N 0.000 description 1
- 229910000069 nitrogen hydride Inorganic materials 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000001294 propane Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
Abstract
一種二無人載具協同導航方法,用以解決習知僅有單一無人車進行路徑規劃效率不佳的問題。係包含:一電腦接收一地圖影像,該地圖影像具有一第一解析度;該電腦依據一預設調整解析度規則降低該第一解析度為一第二解析度,在該預設解析度規則中,經降低後的該第二解析度係與該地圖影像的拍攝高度呈正相關;及該電腦接收一起點資訊與一終點資訊,並根據該起點資訊、該終點資訊及該地圖影像進行分析,以產生具有一路徑軌跡的一路徑影像,且該路徑軌跡包含該起點資訊與該終點資訊。
Description
本發明係關於一種導航方法與系統,尤其是一種二無人載具協同導航方法與系統。
習知技術中,使用無人車於一場域進行障礙物跨越或環境偵測時,特別是該場域的地形、障礙物是未知的狀態,會使該無人車針對該場域進行詳細的路徑探勘,以獲取對應的路徑規劃與環境偵測。然而,前述進行路徑探勘的過程,由於必須透過該無人車實際走過或拍攝該特定場域達相當程度,才能進行該場域地圖資料或模型建置,並進而進行路徑規劃,因此必虛耗費相當大量的時間,且無法即時達成路徑規劃或特定目的地環境偵測的效果。
有鑑於此,習知的無人車導航技術確實仍有加以改善之必要。
為解決上述問題,本發明的目的是提供一種二無人載具協同導航方法與系統,係能夠利用無人車與無人機協同合作,大幅縮短單純由無人車於地圖中緩慢搜尋路徑的缺點。
本發明的次一目的是提供一種二無人載具協同導航方法與系
統,透過將用於障礙物辨識與路徑規劃運算的電腦設置為一雲端伺服器,可提升無人載具的機動性與續航力。
本發明的又一目的是提供一種二無人載具協同導航方法與系統,提出一預設解析度規則,根據拍攝高度調整地圖影像解析度,可提升整體影像處理速度,以快速產生路徑規劃結果。
本發明的再一目的是提供一種二無人載具協同導航方法與系統,可將路徑規劃結果與原影像解析度的地圖影像合併,獲得具有路徑規劃的高品質合併影像,以便於使用者觀察規劃的路徑或據以操作該無人車移動。
本發明的另一目的是提供一種二無人載具協同導航方法與系統,可根據路徑規劃結果、該無人車當前位置及/或該無人車規格資訊中的最大長度、最大寬度(可選地包含最小迴轉半徑),產生對應路徑軌跡控制指令,以達成自動控制該無人車沿路徑軌跡移動。
本發明全文所記載的元件及構件使用「一」或「一個」之量詞,僅是為了方便使用且提供本發明範圍的通常意義;於本發明中應被解讀為包括一個或至少一個,且單一的概念也包括複數的情況,除非其明顯意指其他意思。
本發明全文所述「耦接」用語,包含電性及/或訊號地直接或間接連接,係本領域中具有通常知識者可以依據使用需求予以選擇者。
本發明全文所述之「電腦(Computer)」,係指具備特定功能且以硬體或硬體與軟體實現的各式資料處理裝置,特別是具有一處理器以處理分析資訊及/或產生對應控制資訊,例如:伺服器、虛擬機器、桌上型電腦、筆記型電腦、平板電腦或智慧型手機等,係本發明所屬技術領域中具有通常知識者可以理解。
本發明全文所述之「雲端伺服器(CloudServer)」,係利用虛
擬化軟體建立,以將一個實體(裸機)伺服器劃分為數個虛擬伺服器,以供執行應用程式和資訊處理儲存;使用者可透過線上介面遠端存取該數個虛擬伺服器的功能。
本發明全文所述之「處理器(Processor)」,係指任何具有資料儲存、運算及訊號產生功能的電子晶片,或具有該電子晶片的電子設備。舉例而言,該電子晶片可以為中央處理單元(CPU)、微控制器(MCU)、數位訊號處理器(DSP)、現場可程式化邏輯閘陣列(FPGA)或系統單晶片(SoC);該電子設備可以為可程式邏輯控制器(PLC)或Arduino UNO,本領域中具有通常知識者可以依據運算效能、價格、體積限制或功能需求等予以選擇者。
本發明全文所述之「資料庫(Database)」,係指將一群相關的電子資料集合並儲存在硬碟、記憶體或上述之組合,且可藉由資料庫管理系統(DBSMS)所提供的語法功能,例如新增、讀取、搜尋、更新及刪除等,對電子資料進行相關處理;該資料庫管理系統可以藉由不同資料結構方式管理電子資料,例如可以為關聯式、階層式、網狀式或物件導向式等,本發明係以如MySQL關聯式資料庫管理系統為例進行以下說明,惟非用以限制本發明。
本發明的二無人載具協同路徑導航方法,該二無人載具分別為一無人車與一無人機,在該無人車位在一預定位置且該無人機拍取該預定位置的一地圖影像的一狀態下,包含:一電腦接收該地圖影像,該地圖影像具有一第一解析度;該電腦依據一預設調整解析度規則降低該第一解析度為一第二解析度,在該預設解析度規則中,經降低後的該第二解析度係與該地圖影像的拍攝高度呈正相關;及該電腦接收一起點資訊與一終點資訊,並根據該起點資訊、該終點資訊及該地圖影像進行分析,以產生具有一路徑軌跡的
一路徑影像,且該路徑軌跡包含該起點資訊與該終點資訊;該起點資訊及該終點資訊可為該電腦依據該無人車的一當前位置及該地圖影像所定義,或是由一使用者透過一操作模組所定義,該操作模組接收並顯示該地圖影像於一顯示裝置,以供該使用者設定對應的該起點資訊與該終點資訊;該電腦根據該路徑軌跡與該無人車的一當前位置,產生對應的一路徑軌跡控制指令,以控制該無人車沿該路徑軌跡移動。
本發明的二無人載具協同路徑導航系統,包含:一無人車,具有一定位單元,用於獲取該無人車的一當前位置;一無人機,具有另一定位單元與一攝像模組,該另一定位單元用於獲取該無人機的一當前位置,該攝像模組用於拍攝一地圖影像;及一電腦,與該無人車及該無人機耦接,並執行如本發明中的二無人載具協同路徑導航方法。
據此,本發明的二無人載具協同路徑導航方法與系統,可透過該無人機拍攝該地圖影像,並透過將該電腦對該地圖影像進行處理所產生的路徑軌跡關聯至無人車,可由該電腦或一使用者控制無人車移動,大幅縮短單純由無人車於地圖中緩慢搜尋路徑的缺點,提升無人車跨越障礙物及/或執行任務的效率。另,透過所述預設解析度規則,可根據拍攝高度調整地圖影像解析度,達成提升整體影像處理速度及快速產生路徑規劃結果的功效。另,藉由該起點資訊與該終點資訊可被定義,特別是該起點資訊與該終點資訊是可根據一預定義方式而設定時,可實現該電腦自動化進行路徑規劃功能的功效。另,藉由該電腦基於該路徑軌跡與該當前位置,可自動化生成控制指令,達成自動化控制該無人車運行(跨越障礙物或到達目的地)的效果。
其中,該地圖影像的該第一解析度可為1280 x 960像素,該預設解析度規則可定義為:在該拍攝高度超過50公尺但未滿60公尺的一狀態,該第二解析度為1280 x 960像素;在該拍攝高度超過40公尺但未滿50公尺
的一狀態,該第二解析度為640 x 480像素;在該拍攝高度超過30公尺但未滿40公尺的一狀態,該第二解析度為320 x 240像素;在該拍攝高度超過20公尺但未滿30公尺的一狀態,該第二解析度為256 x 192像素;在該拍攝高度超過10公尺但未滿20公尺的一狀態,該第二解析度為128 x 96像素;在該拍攝高度為10公尺以下的一狀態,該第二解析度為128 x 96像素。如此,透過該預設調整規則,可在不影響路徑規劃正確性的情況下,提昇該電腦及整體系統運算、處理及反應的速度。
其中,該電腦可為一雲端伺服器。如此,相較該電腦直接安裝於無人載具的情況中,可減輕無人載具的負重,以提升無人載具的機動性與續航力。
其中,該電腦可去除該路徑影像中對應該路徑軌跡以外的背景影像,使該路徑影像僅包含該路徑軌跡的影像,並將該路徑影像與具有該地圖影像進行對位合併,以獲得一合併影像。如此,透過將路徑軌跡與該地圖影像進行對位合併,可有效率的獲得路徑規劃結果並獲得高品質的合併影像。
其中,一操作模組的一顯示裝置可接受並顯示該合併影像與該無人車對應該合併影像中的一即時位置。如此,透過該操作模組顯示該合併影像及該即時位置,可便於使用者觀察合併影像或據以操作該無人車移動。
其中,該電腦可根據的一對應無人車的一最大長度與一最大寬度產生一對應修正路徑軌跡。如此,透過對應該無人車的該最大長度與該最大寬度所產生的該對應修正路徑軌跡,可使路徑軌跡優化,避免該無人車依路徑軌跡移動時產生非預期的碰撞或阻礙;並可根據不同規格的無人車,產生對應合適的路徑軌跡。
其中,該電腦根據該路徑軌跡與一對應無人車的一當前位置、一最大長度及一最大寬度,產生對應的一路徑軌跡控制指令,以控制該對應
無人車沿該路徑軌跡移動。如此,透過該路徑軌跡與所述當前位置、最大長度及最大寬度,可自動化生成適合於符合特定規格的無人車的控制指令,達成自動化控制無人車運行的效果。
1:無人車
2:無人機
10,20:處理器
11,21:傳輸模組
12,22:定位單元
13,23:攝像模組
14,24:熱成像模組
15,25:氣體偵測模組
16,26:懸浮微粒偵測模組
3:電腦
31:影像處理模組
32:影像辨識模組
33:路徑規劃模型
4:操作模組
S1:影像接收步驟
S2:影像降階步驟
S21:降低解析度步驟
S21A:降低彩度步驟
S3:路徑規劃步驟
S31:障礙物辨識步驟
S32:二值化步驟
S32A:影像長寬比例調整步驟
S33:路徑軌跡生成步驟
S33A:提升路徑影像解析度步驟
S33B:比例還原步驟
S4:影像合併步驟
S41:消除背景步驟
S41A:解析度一致化步驟
S42:合併步驟
S5:控制無人車移動步驟
〔第1圖〕本發明一較佳實施例的系統架構圖。
〔第2圖〕本發明一較佳實施例的方法流程圖。
〔第3圖〕根據本案第2圖,該路徑規劃步驟之細部流程。
為讓本發明之上述及其他目的、特徵及優點能更明顯易懂,下文特舉本發明之較佳實施例,並配合所附圖式作詳細說明;此外,在不同圖式中標示相同符號者視為相同,會省略其說明。
請參照第1圖所示,其係本發明二無人載具協同導航系統的一較佳實施例,係包含一無人車(UGV)1、一無人機(UAV)2及一電腦3,該無人車1與無人機2係分別與該電腦3耦接。較佳地,另包含一操作模組4分別與該無人車1、該無人機2及該電腦3耦接。
該無人車1與該無人機2分別具有一處理器10與20、一傳輸模組11與21、一定位單元12與22,另較佳可選地分別具有一攝像模組13與23、一熱成像模組14與24、一氣體偵測模組15與25及一懸浮微粒偵測模組16與26中的至少一者。該處理器10、20係分別用於控制該無人車1及該無人機2的作動,較佳係基於該無人車1及該無人機2所接受各種訊號的回饋,以進行對應的控制。此外,該無人車1及該無人機2較佳具有自動避
障功能。該無人車1與該無人機2的該傳輸模組11、21係可彼此耦接,或可分別與該電腦3耦接,或可與其他裝置耦接,以進行資料間的接受、傳送或交換,並可作為該處理器10、20據以分別控制該無人車1與該無人機2的基礎。該定位單元12、22可為一全球定位系統,分別用於獲取該無人車1、該無人機2的當前位置。該攝像模組13、23可例如是一攝影機,用以拍攝周圍環境影像或地圖影像。該熱成像模組14、24係用於偵測/取得一物體溫度及/或一環境溫度,可採用例如是MELEXIS公司產品型號MLX90640紅外線熱像儀。該氣體偵測模組15、25可用於偵測一氧化碳(CO)、二氧化碳(CO2)、烴類混合物氣體(LPG)、氨氣(NH3)、二氧化氮(NO2)、甲烷(CH4)、丙烷(C3H8)、丁烷(C4H10)、氫氣(H2)及酒精氣體中的至少一個。該懸浮微粒偵測模組16、26係可用於偵測PM2.5。較佳,各該無人載具另具一經預訓練的人臉辨識模型,以用於自該攝像模組13、23或該熱成像模組14、24中辨識人臉,較佳可將取得對應人臉的溫度分布。應注意的是,上述有關無人載具之間的處理器/控制器、訊號交換、自動避障、影像攝影、熱成像感應、氣體偵測、懸浮微粒偵測、人臉辨識等技術與功能係屬本發明所屬技術領域的通常知識,係本領域人員可以理解,故於此不再贅述。
該電腦3具有一影像處理模組31,該影像處理模組31包含一影像辨識模組32及一路徑規劃模型33。該影像處理模組31係用於接收來自該無人機2所拍攝的具有一第一解析度(Resolution)的一影像,該影像辨識模組32用以判斷辨識該地圖影像中的至少一障礙物,並經路徑規劃模型33產生一路徑規劃結果,以供該無人車1於對應該路徑規劃的一地區運行。應注意的是,該電腦3可為裝設於該無人車1或無人機2的本機配置方式,或該電腦3可為一雲端/遠端伺服器的遠端配置方式,以對應該無人車1或該無人機2的資料進行接收、處理、及/或回饋。較佳地,為增加該無人車1與
該無人機2的機動性與續航力,該電腦3是一雲端伺服器並分別與該無人車1及該無人機2耦接,以減輕該無人車1與該無人機2的重量。
在一範例中,該影像辨識模組32係為一物件偵測模型,用以執行對應的影像辨識功能。該物件偵測模型係建立在Path Planning Node工作站上,Path Planning Node可定期從一資料庫檢查是否有觸發執行物件偵測、影像辨識及路徑規劃之需求。較佳地,Path Planning Node使用Windows 10系統,利用Anaconda建置研究所需的Python環境、物件偵測模型所需的Pytorch訓練框架及用於建立自定義資料集的影像標註工具,並使用Visual C++建置Darknet用於計算自定義模型則需要的anchors參數。
自定義模型使用的訓練集可來自網路免費素材及自行拍攝的影像。同一個物件透過不同的拍攝角度、距離、大小、方向等調整有助於提升訓練後的模型準確率。在一單一類別障礙物/物件的訓練範例中,訓練集總共有500多張影像,所有影像皆使用Labelimg工具標註影像中的辨識物件,每一張標註過的影像會產生標註物件座標的文件;並可基於該單一類別障礙物訓練,拓展至多種類別障礙物/物件辨識的效果。
自定義訓練集以80%資料集及20%資料集分別區分成訓練集與驗證集,並產生對應的兩份路徑檔案。產生路徑檔案後,再建立訓練模型用的yaml檔及names檔。yaml檔案內容為訓練集、驗證集路徑檔案的檔案存取位置及辨識物件的類別數量,names檔案內容為類別名稱。使用Darknet提供的聚類分析功能,將訓練集計算出3組用於不同尺度的anchors。要訓練自定義模型需修改cfg文件的參數配置。需要修改的參數有width、height、filters、anchors。在一範例中,物件偵測模型可使用608 x 608像素(Pixels)解析度及一個辨識類別,因此width與height設為608、filters數量設為18以及填入由Darknet所計算出來的anchors,並經過300個epochs後完成訓
練,以輸出訓練過程的記錄。惟,各種影像辨識/物件偵測的技術已為本領域所廣泛應用,本發明所應用之技術並不以上述內容為限。
另,在一範例中,該路徑規劃模型33係利用A*搜尋演算法(A* Search Algorithm),以執行對應的路徑規劃功能。A*搜尋演算法主要運作於平面網格圖;在運用A*搜尋演算法的一例子中,首先將輸入的二值化PNG影像轉換為佔用網格地圖(OGM),以滿足執行A*搜尋演算法進行路徑規劃所需的條件;在網格地圖中,數值1代表該節點被占用,數值0代表該節點可以行走。進行路徑規劃前,會先從獲取一起點座標與一終點座標,座標也會隨著輸入影像不同的解析度做適當的調整;亦即,輸入的圖片解析度若經過縮放,則座標也會進行縮放的調整,避免起點與終點的座標產生誤差。當前述網格地圖的轉換及獲取起點與終點的座標後,便能執行A*搜尋演算法。A*的移動方式可為八向移動(上、下、左、右、上左、上右、下左、下右)或四向移動(上、下、左、右),且較佳是以較流暢及完整的八向移動進行路徑規劃。路徑規劃完成後使用matplotlib工具將路徑資料繪製成一路徑軌跡並輸出一路徑影像。惟,各種路徑規劃的技術已為本領域所廣泛應用,本發明所應用之技術並不以上述內容為限。
該操作模組4係分別與該無人車1、無人機2、電腦3耦接,用以控制該無人車1、該無人機2,並接收該無人車1、該無人機2及/或該電腦3的資訊。換言之,該操作模組4可為控制平台,具體可為具有顯示畫面、產生訊號及進行無線傳輸等功能的裝置,例如智慧型手機、平板、筆記型電腦(Laptop Computer)或桌上型電腦(Desktop Computer)。各單元(該無人車1、該無人機2、該電腦3及該操作模組4)間的資料傳輸型態可以是直接傳輸或間接傳輸,或可依各單元的連線狀態或資料處理能力而對應變化。以無人車1與該操作模組4之間的資料傳輸或接收為例,若為直接傳輸型態,
該操作模組4可發出一指令至該無人車1,以使該無人車1產生一對應反饋(例如是控制該無人車移動或停止);若為間接傳輸型態,該操作模組4所發出的指令先傳輸至該無人機2或該電腦3,再由該無人機2或該電腦3發出相應的前述指令至該無人車1,以使該無人車1產生一對應反饋。又,在其他可行範例中,該操作模組4亦可僅係耦接該電腦3的一操作面板,用以達成本發明中所述的內容。
該操作模組4可具有一顯示裝置41用以顯示一操作介面或對應影像,該操作介面具有對應的數個操作按鈕(可為實體按鈕、虛擬按鈕或其組合),以分別對應產生控制指令,特別是用於操作對應載具(無人車1或無人機2)上述模組或單元中的各種功能或作動。在一實施範例中,該操作模組4為一行動裝置,操作介面較佳為該行動裝置的一應用程式(APP)視窗,該應用程式視窗可包含數個虛擬按鈕,該數個虛擬按鈕對應產生的控制指令可包含一方向控制指令、一拍攝控制指令、一定位指令。詳言之,該方向控制指令用以控制使用者所選擇載具(無人車1或無人機2)移動;舉例而言,該方向控制指令係可包含一停止指令、一前進指令、一後退指令、一左轉指令及一右轉指令,以分別控制對應無人載具產生對應的動作。該拍攝控制指令用以控制使用者所選擇載具之攝像模組13或23運作;舉例而言,該拍攝控制指令係可包含拍照指令、錄影指令、停止拍照指令及/或停止錄影指令,以分別控制對應攝像模組13或23產生對應的功能。該定位指令用以控制使用者所選擇載具之定位單元12或22運作,以取得對應載具當下或即時的位置資訊,例如是可量化的座標。
根據本發明上述系統,在一具體實施例中,在該無人車1位在一預定位置時,特別是該電腦3缺乏對應該預定位置的預建立或即時的一地圖影像時,而無法有效率的跨越障礙物或抵達一目標位置時,該電腦3根據
該無人車1的一當前位置(基於其定位單元12),發出一支援指令(包含該無人車1的當前位置資訊)以控制該無人機2至該預定位置,特別是使該無人機2的定位單元22的位置資訊與該無人車1的該當前位置吻合,以拍下該預定位置的一地圖影像;該地圖影像是較佳是一俯視圖。在另一實施範例中,對應前述預定位置,使用者透過該操作模組4操控該無人機2至該預定位置拍攝該地圖影像。
詳言之,請參照第2圖,係顯示基於本發明上述系統的該影像處理流程,並藉由該電腦3執行以下各步驟:
影像接收步驟S1:接收無人機2所拍攝的地圖影像,該地圖影像具有一第一解析度。較佳地,該第一解析度可為1280 x 960像素,該地圖影像具有一預設影像長寬比例為4:3。
影像降階步驟S2:用以將所接收影像的容量降低,如此以便於整體電腦運行效率,該影像降階的具體步驟包含:
降低解析度步驟S21:降低所接收的該地圖影像的一解析度;特別是將所接收該地圖影像的該第一解析度降低為一第二解析度。
在該預設解析度規則中,經降低後的該解析度係與該地圖影像的拍攝高度呈正相關;較佳地,該預設調整規則係如表一所示:
其中,根據本發明之實驗,所述拍攝高度與降階後解析度的關係,係可在不影響路徑規劃正確性的情況下,使解析度降到最低的規則。該影像處理工具OpenCV、pillow係基於Python程式語言架構所提供的開源工具(Open Source Tool)。該平均效率係表示對應該地圖影像解析度的降低程度,而能提升後續路徑規劃步驟(包含障礙物辨識及產生路徑軌跡)的處理速度(與影像處理工具OpenCV所處理的參考模式相比),如此,本發明所提出的預設調整規則,可在不影響路徑規劃正確性的情況下,提昇該電腦及整體系統運算、處理及反應的速度,以改善習知技術中在影像處理及生成具有路徑規劃之地圖影像時運算速度過慢的問題;特別是,該平均效率係顯根據本案上述步驟S21及下述步驟S31、S32、S33、S41、S42的優化效果。
可選的降低彩度步驟S21A:降低該地圖影像的一彩度(Saturation);特別是降低具有該第二解析度的該影像的彩度。
路徑規劃步驟S3:用以分析處理該地圖影像以產生對應的路徑軌跡,該路徑規劃的具體步驟(請參照第3圖)包含:
障礙物辨識步驟S31:針對前一步驟(可為步驟S21或S21A)經處理的該地圖影像進行影像辨識(特別是透過該影像辨識模組32),若經辨識判斷有一障礙物,附加一障礙物邊界以標示該地圖影像中的該障礙物。
二值化步驟S32:將前一步驟(步驟S31)經處理的該影像進行二值化處理。
可選的影像長寬比例調整步驟S32A:藉由一比例正規化程序,將前一步驟(步驟S32)經處理的該地圖影像的影像長寬比例自一預設影像長寬比例調整為1:1。
路徑軌跡生成步驟S33:載入該影像的一預定的一起點資訊/座標與一終點資訊/座標,並針對前一步驟(步驟S32或S32A)經處理的該地圖影像進行路徑規劃(特別是透過該路徑規劃模型33),以產生具有一路徑軌跡的一路徑影像。較佳地,該路徑軌跡包含該起點資訊與該終點資訊。
其中,前述的起點資訊/座標與終點資訊/座標,係可由該電腦3依一預定義方式而設定的資訊。該起點資訊可定義為該無人車1的該當前位置;該終點資訊可以該無人車1移動至該當前位置前的一位置與該當前位置的一向量方向,並以該當前位置朝該向量方向延伸至對應的該地圖影像的一邊界或距離該邊界一距離的一位置;該終點資訊亦可以是該當前位置對應的該地圖影像的幾何中心點對稱映射的一位置。詳言之,該起點資訊與該終點資訊係該電腦依據該無人車的該當前位置及該地圖影像所定義。惟,各種預定義方式可根據使用者所需而調整,並可包含對應判斷條件以避免該起點或該終點設置於不可行的位置(例如設置於障礙物、湖泊等該無人車1無法移動的位置),本發明所應用之技術並不以上述內容為限。在另一實施範例中,該起點資訊與該終點資訊的資訊系可由使用者透過該操作模組4設置,例如是該操作模組4接受該地圖影像以顯示於該顯示裝置41,並透過該使用者設定對應的起點資訊與終點資訊。
可選的提升路徑影像解析度步驟S33A:提升前一步驟(步驟S33)的該路徑影像的一路徑影像解析度。
可選的比例還原步驟S33B:若該影像經該比例正規化程序(步驟S32A)處理,將透過一比例還原步驟,將該路徑影像的長寬比例調整為該地圖影像的該預設長寬比例。
可選的影像合併步驟S4:用以將所獲得的該路徑軌跡與該地圖影像合併,該影像合併的具體步驟包含:
消除背景步驟S41:將前一步驟(步驟S33、S33A或S33B)經處理的該路徑影像經一去背(消除背景)程序,以去除該路徑影像中對應該路徑軌跡以外的背景影像,使該路徑影像僅包含該路徑軌跡的影像;詳言之,對應該路徑軌跡以外的背景影像係為透明的。
可選的解析度一致化步驟S41A:提升前一步驟(步驟S41)經處理的該路徑影像的該路徑影像解析度,使該路徑影像解析度與該地圖影像的該第一解析度一致。
合併步驟S42:將前一步驟(步驟S41或S41A)經處理的該路徑影像與具有該第一解析度的該地圖影像進行對位合併,特別是基於相同的尺寸比例及相同參考點的方式進行合併,以獲得一合併影像,使該地圖影像具有該路徑影像中的該路徑軌跡。
控制無人車移動步驟S5:根據前述含有該路徑軌跡的任一步驟(如前述步驟S33、S33A、S33B、S41、S41A或S42)中的一路徑軌跡,控制該無人車1移動,以避開該地圖中的障礙物。在一較佳實施例中,該無人車1的控制,係透過該電腦3依據該路徑軌跡與該無人車1的一當前位置,產生對應的控制指令以控制該無人車1沿該路徑軌跡移動;詳言之,此時該電腦3會將該無人車1的一當前位置與該路徑規跡轉換為可量化的座標資訊,以產生對應的路徑軌跡控制指令(特別是透過內建預定義的程式碼生成/轉換資料庫,可對應不同無人載具規格產生適當的程式指令),並由該無人車1的處理器10接收該路徑軌跡指令,以控制該無人車1進行對應的移動。其中,該當前位置可基於其定位單元12所定義;特別地,該當前位置即是該預定位置。在另一可行範例中,特別是在獲取該合併影像的一狀態(對應前述步驟S42),使用者可透過該操作模組4依據該合併影像控制該無人車1移動;例如是,可透過該操作模組4的一顯示裝置41顯示該合併影像與該無人
車1對應該合併影像中的即時位置(基於其定位單元12可定義精確的位置座標/資訊),以便該使用者進行操作。如此,透過前述無人機2拍攝的該地圖影像,及前述電腦3對該地圖影像進行處理的結果,將關聯至該無人車1,並藉以控制該無人車1移動。
較佳地,該路徑規軌跡的產生係與該無人車1的規格資訊中的最大長度與最大寬度(特別是從俯視面所定義的)等資訊關聯;更佳地,該路徑規軌跡的產生係與該無人車1的規格資訊中的最大長度、最大寬度、最小迴轉半徑等資訊關聯。如此,該路徑軌跡的規劃係符合該無人車1的規格,以避免該無人車1依該路徑軌跡移動時產生非預期的碰撞或阻礙。在一較佳實施範例中,在前述步驟S33進行路徑規劃程序時,該電腦3會載入該無人車1的前述規格資訊以產生該路徑軌跡。在另一實施範例中,亦可在透過前述步驟S33獲得該路徑規軌跡後,於後續的步驟或額外程序中,考量該無人車1的前述規格資訊以修正該路徑軌跡。或者,在另一實施範例中,該路徑軌跡的顯示或呈現係可選地為被修正或未被修正,且該電腦3將考量一對應控制無人車1的最大長度、最大寬度、及可選的最小迴轉半徑以產生一對應路徑軌跡控制指令。換言之,該電腦3可根據的一對應無人車1的一最大長度與一最大寬度產生一對應修正路徑軌跡或一對應路徑軌跡控制指令;其中,所述對應無人車1可以是原本的無人車1或另一無人車1,且該另一無人車1的規格資訊可與原本的無人車1不同或相同。上述考量各該無人車1之規格資訊的路徑軌跡或路徑軌跡控制指令,另可特別適用於不同規格無人車1的選用,以當原本的無人車1無法進行任務時,該電腦3可控制不同規格之無人車1續行原本任務,不需再重複拍攝地圖影像,而可簡化路線規劃的作業,並增進整體系統的即時性與適用性。
據由前述系統與影像處理流程,本發明可實施一種二無人載具
協同導航方法,特別是在該無人車1位在一預定位置且該無人機2拍取該預定位置的一地圖影像的一狀態下,包含如下步驟:
對應前述步驟S1,該電腦3接收該地圖影像。
對應前述步驟S2,該電腦3依據一預設調整解析度規則降低該地圖影像的一解析度,在該預設解析度規則中,經降低後的該解析度係與該地圖影像的拍攝高度呈正相關。其中,該方法可包含前述步驟S21及可選的步驟S21A。
對應前述步驟S3,該電腦3接收一起點資訊與一終點資訊,並根據該起點資訊、該終點資訊及該地圖影像進行分析以產生具有一路徑軌跡的一路徑影像。較佳地,該路徑軌跡包含該起點資訊與該終點資訊。其中,該方法可包含前述步驟S31、S32、S33及可選的步驟S32A、S33A、S33B,並可另包含前述步驟S4中的步驟S41、S42及其中可選的步驟S41A。
對應前述步驟S5,該電腦3依據該路徑軌跡與該無人車的一當前位置,產生對應的控制指令以控制該無人車1沿該路徑軌跡移動。可選地,在獲取該合併影像的一狀態(對應前述步驟S32),一使用者可透過該操作模組4依據該合併影像控制該無人車1移動。
綜上所述,本發明的二無人載具協同導航方法與系統,透過無人機拍攝地圖影像,及電腦對該地圖影像進行處理所產生的路徑軌跡,可關聯至無人車並藉以控制無人車移動,大幅縮短單純由無人車於地圖中緩慢搜尋路徑的缺點,提升無人車跨越障礙物及/或執行任務的效率。另,透過將電腦設置為一雲端伺服器,可提升無人載具的機動性與續航力。另,透過預設解析度規則,根據拍攝高度調整地圖影像解析度,可提升整體影像處理速度,以快速產生路徑規劃結果。另,透過電腦可根據路徑軌跡與無人車當前位置資訊產生對應路徑軌跡控制指令,可達成控制無人車沿路徑軌跡自動化的移
動。另,最終還原影像解析度形成合併影像的技術手段,可有效率的獲得路徑規劃結果,並獲得高品質的合併影像,以便於使用者觀察合併影像或據以操作無人車移動。另,根據無人車規格資訊中的最大長度、最大寬度等資訊關聯(可選地包含最小轉彎半徑),可使路徑軌跡優化,避免無人車依路徑軌跡移動時產生非預期的碰撞或阻礙。
雖然本發明已利用上述較佳實施例揭示,然其並非用以限定本發明,任何熟習此技藝者在不脫離本發明之精神和範圍之內,相對上述實施例進行各種更動與修改仍屬本發明所保護之技術範疇,因此本發明之保護範圍當包含後附之申請專利範圍所記載的文義及均等範圍內之所有變更。
S1:影像接收步驟
S2:影像降階步驟
S21:降低解析度步驟
S21A:降低彩度步驟
S3:路徑規劃步驟
S4:影像合併步驟
S41:消除背景步驟
S41A:解析度一致化步驟
S42:合併步驟
S5:控制無人車移動步驟
Claims (8)
- 一種二無人載具協同導航方法,該二無人載具分別為一無人車與一無人機,在該無人車位在一預定位置且該無人機拍取該預定位置的一地圖影像的一狀態下,包含:一電腦接收該地圖影像,該地圖影像具有一第一解析度;該電腦依據一預設調整解析度規則降低該第一解析度為一第二解析度,在該預設解析度規則中,經降低後的該第二解析度係與該地圖影像的拍攝高度呈正相關;及該電腦接收一起點資訊與一終點資訊,並根據該起點資訊、該終點資訊及該地圖影像進行分析,以產生具有一路徑軌跡的一路徑影像,且該路徑軌跡包含該起點資訊與該終點資訊;該起點資訊及該終點資訊是該電腦依據該無人車的一當前位置及該地圖影像所定義,或是由一使用者透過一操作模組所定義,該操作模組接收並顯示該地圖影像於一顯示裝置,以供該使用者設定對應的該起點資訊與該終點資訊;該電腦根據該路徑軌跡與該無人車的一當前位置,產生對應的一路徑軌跡控制指令,以控制該無人車沿該路徑軌跡移動。
- 如請求項1之二無人載具協同導航方法,其中,該地圖影像的該第一解析度為1280 x 960像素,該預設解析度規則係定義為:在該拍攝高度超過50公尺但未滿60公尺的一狀態,該第二解析度為1280 x 960像素;在該拍攝高度超過40公尺但未滿50公尺的一狀態,該第二解析度為640 x 480像素;在該拍攝高度超過30公尺但未滿40公尺的一狀態,該第二解析度為320 x 240像素;在該拍攝高度超過20公尺但未滿30公尺的一狀態,該第二解析度為256 x 192像素;在該拍攝高度超過10公尺但未滿20公尺的一狀 態,該第二解析度為128 x 96像素;在該拍攝高度為10公尺以下的一狀態,該第二解析度為128 x 96像素。
- 如請求項1之二無人載具協同導航方法,其中,該電腦是一雲端伺服器。
- 如請求項1之二無人載具協同導航方法,其中,該電腦去除該路徑影像中對應該路徑軌跡以外的背景影像,使該路徑影像僅包含該路徑軌跡的影像,並將該路徑影像與具有該地圖影像進行對位合併,以獲得一合併影像。
- 如請求項4之二無人載具協同導航方法,其中,一操作模組的一顯示裝置接受並顯示該合併影像與該無人車對應該合併影像中的一即時位置。
- 如請求項1~3之二無人載具協同導航方法,其中,該電腦可根據的一對應無人車的一最大長度與一最大寬度產生一對應修正路徑軌跡。
- 如請求項1~3中任一項之二無人載具協同導航方法,其中,該電腦根據該路徑軌跡與一對應無人車的一當前位置、一最大長度及一最大寬度,產生一對應路徑軌跡控制指令,以控制該對應無人車沿該路徑軌跡移動。
- 一種二無人載具協同導航系統,包含:一無人車,具有一定位單元,用於獲取該無人車的一當前位置;一無人機,具有另一定位單元與一攝像模組,該另一定位單元用於獲取該無人機的一當前位置,該攝像模組用於拍攝一地圖影像;及一電腦,與該無人車及該無人機耦接,並執行如請求項1~7中任一項之二無人載具協同導航方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW111110880A TWI812102B (zh) | 2022-03-23 | 2022-03-23 | 二無人載具協同導航方法與系統 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW111110880A TWI812102B (zh) | 2022-03-23 | 2022-03-23 | 二無人載具協同導航方法與系統 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI812102B true TWI812102B (zh) | 2023-08-11 |
TW202338301A TW202338301A (zh) | 2023-10-01 |
Family
ID=88585571
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111110880A TWI812102B (zh) | 2022-03-23 | 2022-03-23 | 二無人載具協同導航方法與系統 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI812102B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008186146A (ja) * | 2007-01-29 | 2008-08-14 | Konica Minolta Business Technologies Inc | 画像形成装置 |
US20150022656A1 (en) * | 2013-07-17 | 2015-01-22 | James L. Carr | System for collecting & processing aerial imagery with enhanced 3d & nir imaging capability |
KR20170126637A (ko) * | 2016-05-10 | 2017-11-20 | 팅크웨어(주) | 무인 비행체 항로 구축 방법 및 시스템 |
US10082803B2 (en) * | 2016-02-29 | 2018-09-25 | Thinkware Corporation | Method and system for providing route of unmanned air vehicle |
US20190043370A1 (en) * | 2017-08-02 | 2019-02-07 | Microsoft Technology Licensing, Llc | En route product delivery by unmanned aerial vehicles |
US20190206044A1 (en) * | 2016-01-20 | 2019-07-04 | Ez3D, Llc | System and method for structural inspection and construction estimation using an unmanned aerial vehicle |
WO2020205597A1 (en) * | 2019-03-29 | 2020-10-08 | Intel Corporation | Autonomous vehicle system |
CN114115287A (zh) * | 2021-12-06 | 2022-03-01 | 西安航空学院 | 一种无人车-无人机空地协同巡逻和引导系统 |
-
2022
- 2022-03-23 TW TW111110880A patent/TWI812102B/zh active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008186146A (ja) * | 2007-01-29 | 2008-08-14 | Konica Minolta Business Technologies Inc | 画像形成装置 |
US20150022656A1 (en) * | 2013-07-17 | 2015-01-22 | James L. Carr | System for collecting & processing aerial imagery with enhanced 3d & nir imaging capability |
US20190206044A1 (en) * | 2016-01-20 | 2019-07-04 | Ez3D, Llc | System and method for structural inspection and construction estimation using an unmanned aerial vehicle |
US10082803B2 (en) * | 2016-02-29 | 2018-09-25 | Thinkware Corporation | Method and system for providing route of unmanned air vehicle |
KR20170126637A (ko) * | 2016-05-10 | 2017-11-20 | 팅크웨어(주) | 무인 비행체 항로 구축 방법 및 시스템 |
US20190043370A1 (en) * | 2017-08-02 | 2019-02-07 | Microsoft Technology Licensing, Llc | En route product delivery by unmanned aerial vehicles |
WO2020205597A1 (en) * | 2019-03-29 | 2020-10-08 | Intel Corporation | Autonomous vehicle system |
CN113508066A (zh) * | 2019-03-29 | 2021-10-15 | 英特尔公司 | 自主交通工具系统 |
CN114115287A (zh) * | 2021-12-06 | 2022-03-01 | 西安航空学院 | 一种无人车-无人机空地协同巡逻和引导系统 |
Also Published As
Publication number | Publication date |
---|---|
TW202338301A (zh) | 2023-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022170742A1 (zh) | 目标检测方法、装置、电子设备和存储介质 | |
WO2020098076A1 (zh) | 跟踪目标的定位方法、装置、设备及存储介质 | |
US20170206227A1 (en) | Method and apparatus for processing image | |
CN109447326B (zh) | 无人机迁移轨迹生成方法、装置、电子设备和存储介质 | |
CN102708355A (zh) | 信息处理装置、信息处理方法及程序 | |
US8149281B2 (en) | Electronic device and method for operating a presentation application file | |
CN111652072A (zh) | 轨迹获取方法、轨迹获取装置、存储介质和电子设备 | |
Li et al. | Relative geometry-aware siamese neural network for 6dof camera relocalization | |
US11069086B2 (en) | Non-transitory computer-readable storage medium for storing position detection program, position detection method, and position detection apparatus | |
TWI768776B (zh) | 室內定位系統及室內定位方法 | |
Yin et al. | Overview of robotic grasp detection from 2D to 3D | |
Zhang et al. | A posture detection method for augmented reality–aided assembly based on YOLO-6D | |
Chen et al. | Design and Implementation of AMR Robot Based on RGBD, VSLAM and SLAM | |
JP2022081613A (ja) | 自動運転特徴の特定方法、装置、設備、媒体及びコンピュータプログラム | |
TWI812102B (zh) | 二無人載具協同導航方法與系統 | |
US20230377307A1 (en) | Method for detecting an object based on monocular camera, electronic device, and non-transitory storage medium storing the method | |
CN115565072A (zh) | 一种道路垃圾识别和定位方法、装置、电子设备及介质 | |
CN108416044B (zh) | 场景缩略图的生成方法、装置、电子设备及存储介质 | |
CN112529984B (zh) | 绘制多边形的方法、装置、电子设备及存储介质 | |
Li et al. | A vision-based end pose estimation method for excavator manipulator | |
Zhang et al. | Recent Advances in Robot Visual SLAM | |
Horng et al. | Building an Adaptive Machine Learning Object-Positioning System in a Monocular Vision Environment | |
CN116295507B (zh) | 一种基于深度学习的激光惯性里程计优化方法、系统 | |
US20230351755A1 (en) | Processing images for extracting information about known objects | |
US20230230384A1 (en) | Image annotation tools |