TW202335655A - 智慧整合型行走輔助系統及其方法 - Google Patents
智慧整合型行走輔助系統及其方法 Download PDFInfo
- Publication number
- TW202335655A TW202335655A TW111109104A TW111109104A TW202335655A TW 202335655 A TW202335655 A TW 202335655A TW 111109104 A TW111109104 A TW 111109104A TW 111109104 A TW111109104 A TW 111109104A TW 202335655 A TW202335655 A TW 202335655A
- Authority
- TW
- Taiwan
- Prior art keywords
- environment sensing
- obstacle
- image
- information
- global
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000005192 partition Methods 0.000 claims description 61
- 238000000926 separation method Methods 0.000 claims description 28
- 230000008447 perception Effects 0.000 claims description 8
- 230000007613 environmental effect Effects 0.000 claims description 5
- 230000001351 cycling effect Effects 0.000 claims 1
- 230000001771 impaired effect Effects 0.000 description 30
- MOVRNJGDXREIBM-UHFFFAOYSA-N aid-1 Chemical compound O=C1NC(=O)C(C)=CN1C1OC(COP(O)(=O)OC2C(OC(C2)N2C3=C(C(NC(N)=N3)=O)N=C2)COP(O)(=O)OC2C(OC(C2)N2C3=C(C(NC(N)=N3)=O)N=C2)COP(O)(=O)OC2C(OC(C2)N2C3=C(C(NC(N)=N3)=O)N=C2)COP(O)(=O)OC2C(OC(C2)N2C(NC(=O)C(C)=C2)=O)COP(O)(=O)OC2C(OC(C2)N2C3=C(C(NC(N)=N3)=O)N=C2)COP(O)(=O)OC2C(OC(C2)N2C3=C(C(NC(N)=N3)=O)N=C2)COP(O)(=O)OC2C(OC(C2)N2C3=C(C(NC(N)=N3)=O)N=C2)COP(O)(=O)OC2C(OC(C2)N2C(NC(=O)C(C)=C2)=O)COP(O)(=O)OC2C(OC(C2)N2C3=C(C(NC(N)=N3)=O)N=C2)COP(O)(=O)OC2C(OC(C2)N2C3=C(C(NC(N)=N3)=O)N=C2)COP(O)(=O)OC2C(OC(C2)N2C3=C(C(NC(N)=N3)=O)N=C2)COP(O)(=O)OC2C(OC(C2)N2C(NC(=O)C(C)=C2)=O)COP(O)(=O)OC2C(OC(C2)N2C3=C(C(NC(N)=N3)=O)N=C2)COP(O)(=O)OC2C(OC(C2)N2C3=C(C(NC(N)=N3)=O)N=C2)COP(O)(=O)OC2C(OC(C2)N2C3=C(C(NC(N)=N3)=O)N=C2)CO)C(O)C1 MOVRNJGDXREIBM-UHFFFAOYSA-N 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 239000011521 glass Substances 0.000 description 12
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 241000282472 Canis lupus familiaris Species 0.000 description 3
- 241000283070 Equus zebra Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Rehabilitation Tools (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本發明係為一種智慧整合型行走輔助系統及其方法,包括第一環境感測輔具、第二環境感測輔具及控制裝置,其中第一環境感測輔具擷取使用者所面對的第一區段的景物而產生第一環境感知資訊,第二環境感測輔具擷取使用者所面對的第二區段的景物而產生第二環境感知資訊,第一區段與第二區段之間有部分重疊,控制裝置將第一環境感知資訊與第二環境感知資訊予以整合形成全域環境感知資訊,控制裝置從第一環境感知資訊、第二環境感知資訊及全域環境感知資訊交叉比對排除使用者所面對的景物中的障礙物,而產生安全行走路徑。
Description
本發明係有關於行走輔助系統及其方法,尤指一種整合多個環境感測輔具進行環境感測,並據以規劃產生安全行走路徑的行走輔助系統及其方法。
視障者在戶外行動時,最常採用白手杖或導盲犬協助,但是白手杖無法提供重要的訊息,例如障礙物位置、類型、距離,這些資訊對於視障者的環境感知和移動安全是很重要的。導盲犬雖可協助視障人士避開障礙物,然而飼養和訓練導盲犬的成本非常高。
因此,有許多研究人員或業者,針對此些問題設計出各種形式的視障輔具,例如:為了解決視障者使用白手杖無法辨識腰部高度到接近地面的障礙物的問題,有業者研發出產品名稱為WEWALK智慧手杖,此智慧手杖為物聯網(Internet of Things,簡稱: IoT)裝置,包括把手及白手杖,且把手可以連接或分離白手杖。且可以為視障者提供地圖導航、障礙物檢測報警、LED燈安全警示、語音助理和麥克風、揚聲器等便利功能。又此智慧手杖也有申請土耳其專利註冊號為TR2016/15742(請參考網址:https://www.mordagdesign.com/en-us/patents/1909)。
又,例如為了解決視障者前方障礙危害的問題,尤其是位於視障者腰部以上使用白手杖無法觸及空中障礙物的問題,有研究人員研究出一種視障人士使用的可穿戴的戶外行動輔助系統,此系統包含一個嵌入式設備由輝達(NVIDIA)公司出產的人工智慧運算平台(Jetson AGX Xavier),一個立體3D深度攝影機(ZED 2),以提供影像的物件深度檢測和120度廣角視野,人工智慧運算平台中還安裝了一個語音提示管理器,在人工智慧運算平台和耳機之間連接了一個語音卡,可以產生語音指令會輸出給視障者,以語音指引視障者行走,可以在環境中辨識出人行道與斑馬線,指引視障者安全地行走在人行道或斑馬線上,辨識並避開人行道上的常見障礙物,如機車、汽車、行人等。若有其他障礙物,雖不在人工智慧運算平台的軟體(YOLOv5)之辨識範圍內,但也會指引視障者去避開它,換句話說就是以語音指引視障者可以安全前進的方向、障礙物的種類、以及如何避開障礙物等。(資料來源:https://www.scimonth.com.tw/archives/5567)
另外,還有奧地利新創公司 Tec-Innovation 設計了一款「InnoMake 智慧鞋」,在鞋頭加裝了攝影鏡頭和超音波感測器,當超音波感測發現障礙物時,相機影像可辨識前方障礙物是坑洞、牆壁或是石頭,進而給予不同的警示方式。,希望藉此讓盲人外出更加安全。(請參考網址:https://www.tec-innovation.com/en/home-2/)。此外,也有其他研究人員智慧鞋墊的產品,此鞋墊搭配手機上的應用程式及電子地圖的圖資,讓其利用聲音或震動,提醒使用者該在何時轉彎,藉以引導到目的地,且這種智慧鞋墊也適用在一般人身上(請參考網址:https://crunchwear.com/bluetooth-shoes-offer-independence-for-the-visually-impaired/)。
但是前述的智慧手杖感測視障者腰部以下的障礙物,戶外行動輔助系統腰部以上的空中障礙物,智慧鞋則是感測地面的障礙物,且智慧手杖、戶外行動輔助系統、智慧鞋及智慧鞋墊,都可以引導視障者行動,換言之,前述的各種視障輔助器材彼此之間並未整合,假若視障者同時使用任何一種以上的產品時,可能多個視障輔助器材同時產生指示給視障者,此時,視障者接收到多重指示,而且不同的指示可能是要視障者採取不同的行動,這樣嚴重干擾視障者的感知,讓視障者無所適進而手足無措,反而造成視障者的困擾。
有鑑於先前技術的問題,本發明之目的係整合智慧手杖、穿戴式智慧眼鏡、智慧鞋及智慧鞋墊,使得各種視障輔助器材彼此之間利用聯合感測技術,正確的提供行動提示給視障者,且進一步能據以規劃出適當的安全路徑,藉以改善各種視障輔助器材彼此之間並未整合而衍生的各種問題。此外也不排除一般人可以也利用安全路徑,提高一般人行走的安全性。
根據本發明之目的,提供一種智慧整合型行走輔助系統,包括第一環境感測輔具、第二環境感測輔具及控制裝置,其中第一環境感測輔具擷取使用者所面對的第一區段的景物而產生第一環境感知資訊,第二環境感測輔具擷取使用者所面對的第二區段的景物而產生第二環境感知資訊,第一區段與第二區段之間有部分重疊,控制裝置將第一環境感知資訊與第二環境感知資訊予以整合形成全域環境感知資訊,控制裝置從第一環境感知資訊、第二環境感知資訊及全域環境感知資訊交叉比對排除使用者所面對的景物中的障礙物,而產生安全行走路徑。
其中,第一環境感知資訊包括第一高度影像及第一深度資訊,第一深度資訊具有第一高度影像的景物深度值,並且第一環境感測輔具從第一高度影像辨識出各種障礙物分別作為第一障礙物件,第二環境感知資訊包括第二高度影像及第二深度資訊,第二深度資訊具有第二高度影像的景物深度值,並且第一環境感測輔具從第二高度影像中辨識各種障礙物分別作為第二障礙物件,第一高度影像與第二高度影像之間具有部分重疊影像,控制裝置將第一高度影像與第二高度影像予以影像融合形成全域影像,從全域影像辨識所有障礙物作為全域障礙物件,而全域影像與全域障礙物件即為全域環境感知資訊,控制裝置將第一障礙物件、第二障礙物件、全域障礙物件以及第一深度資訊、第二深度資訊進行交叉比對,用以確認障礙物位置,並產生迴避障礙物的安全行走路徑。
其中,更包括第三環境感測輔具,第三環境感測輔具擷取使用者所面對的第三區段的景物而產生第三環境感知資訊,第三環境感知資訊包括第三高度影像及第三深度資訊,第三深度資訊具有第三高度影像的景物深度值,並且辨識第三高度影像中的各種障礙物分別作為第三障礙物件,第三高度影像與第二高度影像之間具有部分重疊影像,控制裝置將第一高度影像、第二高度影像及第三高度影像予以影像融合形成全域影像,並將第一環境感知資訊、第二環境感知資訊及第三環境感知資訊予以整合形成全域環境感知資訊,且控制裝置從第一環境感知資訊、第二環境感知資訊、第三環境感知資訊、全域環境感知資訊以及第一深度資訊、第二深度資訊進行交叉比對,確認使用者所面對的景物中的障礙物,而產生迴避障礙物的安全行走路徑。
其中,第一環境感測輔具包括有第一影像擷取模組、第一深度擷取模組、第一提示模組及定位接收模組,第一影像擷取模組擷取第一高度影像,第一深度擷取模組擷取第一深度資訊,而第一提示模組係發出第一提示訊息。
其中,第二環境感測輔具包括有第二影像擷取模組、第二深度擷取模組、第二提示模組及定位發射模組,第二影像擷取模組係擷取第二高度影像,第二深度擷取模組擷取第二深度資訊,而第二提示模組發出第二提示訊息。而定位接收模組係接收定位發射模組所傳出的定位訊號,且第一環境感測輔具從定位接收模組接收定位訊號的訊號特徵,計算出第一環境感測輔具與第二環境感測輔具之間的相對位置資訊,控制裝置根據相對位置資訊進一步規範出第二環境感測輔具的保護範圍,且於第一環境感測輔具與第二環境感測輔具之間的相對位置超出保護範圍的邊界之狀態,第二環境感測輔具的第二提示模組發出第二提示訊息。
其中,第三環境感測輔具包括有第三影像擷取模組、第三深度擷取模組、第三提示模組及路面感測模組,第三影像擷取模組係擷取第三高度影像,第三深度擷取模組係擷取第三深度資訊,而第三提示模組係發出第三提示訊息,路面感測模組係感測路面的平整度。
其中,控制裝置係將全域影像由上至下分隔成第一分隔區、第二分隔區及第三分隔區,分別在第一分隔區、第二分隔區及第三分隔區中利用各第一障礙物件、各第二障礙物件、各全域障礙物件以及第一深度資訊、第二深度資訊進行交叉比對,而將全域影像中的全域障礙物件於第一分隔區部分定義為第一區障礙物件、於第二分隔區部分定義為第二區障礙物件,以及於第三分隔區定義出第三區障礙物件,當第一區障礙物件為最接近使用者則啟動第一提示模組,當第二區障礙物件為最接近使用者則啟動第二提示模組,當第三區障礙物件為最接近使用者則啟動第三提示模組。
其中,控制裝置係由全域影像底緣往上辨識第一區障礙物件、第二區障礙物件或第三區障礙物件的何者為最接近使用者的障礙物,並作為第一基準物件。
其中,控制裝置係由第一基準物件的相同水平區間離全域影像底緣次高的第一區障礙物件、第二區障礙物件或第三區障礙物件做為第二基準物件,且控制裝置依據第一基準物件與第二基準物件相鄰的邊緣產生安全行走範圍,並依此循環建立安全行走路徑。
根據本發明之目的,提供一種智慧整合型行走輔助方法,係應用第一環境感測輔具、第二環境感測輔具及控制裝置之間,並包括下列步驟,控制裝置接收第一環境感測輔具所擷取的第一環境感知資訊及第二環境感測輔具的第二環境感知資訊,控制裝置將第一環境感知資訊與第二環境感知資訊予以整合形成全域環境感知資訊,控制裝置從第一環境感知資訊、第二環境感知資訊及全域環境感知資訊交叉比對排除使用者所面對的景物中的障礙物,而產生安全行走路徑。
其中,在智慧整合型行走輔助方法中,產生迴避障礙物的安全行走路徑的步驟進一步包括,第一環境感測輔具所設的第一影像擷取模組及第一深度擷取模組分別擷取第一高度影像及第一深度資訊,將第一高度影像及第一深度資訊整合成第一環境感知資訊,並且第一環境感測輔具從第一高度影像及第一深度資訊辨識出各種障礙物分別作為第一障礙物件,第二環境感測輔具所設的第二影像擷取模組及第二深度擷取模組分別擷取第二高度影像及第二深度資訊,將第二高度影像及第二深度資訊整合成第二環境感知資訊,並且第二環境感測輔具從第二高度影像及第二深度資訊辨識出各種障礙物分別作為第二障礙物件,第一高度影像與第二高度影像之間具有部分重疊影像,控制裝置接收第一環境感知資訊與第二環境感知資訊,並將第一高度影像與第二高度影像予以影像融合形成全域影像,且辨識全域影像所有障礙物作為全域障礙物件,控制裝置將第一高度影像中的所有第一障礙物件、第二高度影像中的所有第二障礙物件及全域影像中的所有全域障礙物件利用第一深度資訊、第二深度資訊進行交叉比對,用以確認障礙物位置,並產生迴避障礙物的安全行走路徑。
其中,前述方法更進一步在產生的安全行走路徑中設定保護範圍,其步驟包括,第一環境感測輔具所設的定位接收模組係接收第二環境感測輔具所設的定位發射模組所傳出的定位訊號,第一環境感測輔具根據定位訊號計算出第一環境感測輔具與第二環境感測輔具之間的相對位置資訊,控制裝置接收並根據相對位置資訊,進一步規範出第二環境感測輔具的保護範圍,且於第一環境感測輔具與第二環境感測輔具之間的相對位置超出保護範圍的邊界之狀態,第二環境感測輔具所設的第二提示模組發出第二提示訊息。
其中,控制裝置將第一高度影像中的所有第一障礙物件、第二高度影像中的所有第二障礙物件及全域影像中的所有全域障礙物件利用第一深度資訊、第二深度資訊進行交叉比對,用以確認障礙物位置,並產生迴避障礙物的安全行走路徑的步驟,進一步包括,控制裝置係將全域影像由上至下分隔成第一分隔區及第二分隔區,分別在第一分隔區及第二分隔區中利用各第一障礙物件、各第二障礙物件、各全域障礙物件以及第一深度資訊、第二深度資訊進行交叉比對,而將全域影像中的全域障礙物件於第一分隔區部分定義為第一區障礙物件、於第二分隔區部分定義為第二區障礙物件,控制裝置係由全域影像底緣往上辨識第一區障礙物件、第二區障礙物件的何者為最接近使用者的障礙物,並作為第一基準物件,控制裝置係由第一基準物件的相同水平區間離全域影像底緣次高的第一區障礙物件或第二區障礙物件做為第二基準物件,且控制裝置依據第一基準物件與第二基準物件相鄰的邊緣產生安全行走範圍,並依此循環建立安全行走路徑。
其中,當第一區障礙物件為最接近使用者則啟動第一提示模組,當第二區障礙物件為最接近使用者則啟動第二提示模組。
據上所述,本發明可以整合第一環境感測輔具係為穿戴式眼鏡,則第二環境感測輔具為智慧手杖,而規劃出安全行走路徑,或者整合第一環境感測輔具係為智慧手杖,而第二環境感測輔具為智慧鞋,而規劃出安全行走路徑,甚至是第一環境感測輔具係為穿戴式眼鏡,第二環境感測輔具為智慧手杖,第三環境感測輔具係為智慧鞋,而規劃出更安全行走路徑,且可分別依據各障礙物所在的水平高度位置,而分別給予提示,讓視障者可以更安全地在戶外行動,此外,一般人也可以利用整合第一環境感測輔具係為穿戴式眼鏡,則第二環境感測輔具為智慧鞋,而規劃出安全行走路徑。
為了使本發明的目的、技術方案及優點更加清楚明白,下面結合附圖及實施例,對本發明進行進一步詳細說明。應當理解,此處所描述的具體實施例僅用以解釋本發明,但並不用於限定本發明。
請參閱圖1所示,本發明係一種智慧整合型行走輔助系統,包括第一環境感測輔具1、第二環境感測輔具2及控制裝置3,其中第一環境感測輔具1擷取使用者所面對的第一區段的景物而產生第一環境感知資訊,第二環境感測輔具2擷取使用者所面對的第二區段的景物而產生第二環境感知資訊,第一區段與第二區段之間有部分重疊,控制裝置3將第一環境感知資訊與第二環境感知資訊予以整合形成全域環境感知資訊,控制裝置3從第一環境感知資訊、第二環境感知資訊及全域環境感知資訊交叉比對排除使用者所面對的景物中的障礙物,而產生安全行走路徑。
在本發明中,請參閱圖2及圖3所示,第一環境感測輔具1包括有第一影像擷取模組10、第一深度擷取模組12、第一提示模組14及定位接收模組16,第一影像擷取模組10係擷取第一高度影像100,第一深度擷取模組12係擷取第一深度資訊,而第一提示模組14係發出第一提示訊息。
在本發明中,第二環境感測輔具2包括有第二影像擷取模組20、第二深度擷取模組22、第二提示模組24及定位接收模組26,第二影像擷取模組20係擷取第二高度影像200,第二深度擷取模組22擷取第二深度資訊,而第二提示模組24係發出第二提示訊息。
在本發明中,請參閱圖4所示,定位接收模組16係接收定位接收模組26所傳出的定位訊號,且第一環境感測輔具1從定位接收模組16接收定位訊號的訊號特徵,計算出第一環境感測輔具1與第二環境感測輔具2之間的相對位置資訊,控制裝置3根據相對位置資訊進一步規範出第二環境感測輔具2的保護範圍5,且於第一環境感測輔具1與第二環境感測輔具2之間的相對位置超出保護範圍5的邊界之狀態,第二環境感測輔具2的第二提示模組24發出第二提示訊息。
在本發明中,請參閱圖5所示,第一環境感知資訊包括第一高度影像100及第一深度資訊,第一深度資訊具有第一高度影像100的景物深度值,並且第一環境感測輔具1從第一高度影像100辨識出各種障礙物分別作為第一障礙物件102。
再者,第二環境感知資訊包括第二高度影像200及第二深度資訊,第二深度資訊具有第二高度影像200的景物深度值,並且第一環境感測輔具1從第二高度影像200中辨識各種障礙物分別作為第二障礙物件202。再者,第一高度影像100與第二高度影像200之間具有部分重疊影像。
又,控制裝置3將第一高度影像100與第二高度影像200予以影像融合形成全域影像300,從全域影像300辨識所有障礙物作為全域障礙物件3000,而全域影像300與全域障礙物件3000即為全域環境感知資訊,控制裝置3將第一障礙物件102、第二障礙物件202、全域障礙物件3000以及第一深度資訊、第二深度資訊進行交叉比對,用以確認障礙物位置,並產生迴避障礙物的安全行走路徑。
本發明之第一實施例,請參閱圖1及3所示:
第一環境感測輔具1係為穿戴式眼鏡,第二環境感測輔具2為智慧手杖,第一影像擷取模組10係設在穿戴式眼鏡的兩個鏡框之間的連接部上,第一深度擷取模組12係設在穿戴式眼鏡的兩個鏡框的外側,而第一提示模組14係設在穿戴式眼鏡的鏡腿。第二影像擷取模組20係設在智慧手杖的握把處,第二深度擷取模組22設在智慧手杖的握把處,而第二提示模組24也設在智慧手杖的握把處。另外,定位接收模組16設在穿戴式眼鏡內,定位接收模組26設在智慧手杖內。
本發明之第二實施例,請參閱圖1及5所示:
第一環境感測輔具1係為智慧手杖,第二環境感測輔具2為智慧鞋,第一影像擷取模組10係設在智慧手杖的握把處,第一深度擷取模組12係設在智慧手杖的握把處,而第一提示模組14亦設在智慧手杖的握把處。第二影像擷取模組20係設在智慧鞋的鞋頭,第二深度擷取模組22係設在智慧鞋的鞋頭於第二影像擷取模組20旁,而第二提示模組24係設在智慧鞋的鞋墊的一面,路面感測模組46係設在智慧鞋的鞋墊的另一面或者設在智慧鞋的鞋底。
在本發明第一實施例與第二實施例中,請參閱圖6所示,控制裝置3係將全域影像300由上至下分隔成第一分隔區304及第二分隔區306,並分別在第一分隔區304及第二分隔區306中利用各第一障礙物件102、各第二障礙物件202、各全域障礙物件3000以及第一深度資訊、第二深度資訊進行交叉比對,而將全域影像300中的全域障礙物件3000於第一分隔區304部分定義為第一區障礙物件3040,及於第二分隔區306部分定義為第二區障礙物件3060,當第一區障礙物件3040為最接近使用者則啟動第一提示模組14,當第二區障礙物件3060為最接近使用者則啟動第二提示模組24。
為了規劃出安全行走路徑,請參閱圖7所示,控制裝置3係由全域影像300底緣往上辨識第一區障礙物件3040或第二區障礙物件3060的何者為最接近使用者的障礙物,並作為第一基準物件。再者,請參閱圖8所示,控制裝置3係由第一基準物件的相同水平區間離全域影像300底緣次高的第一區障礙物件3040或第二區障礙物件3060做為第二基準物件,請參閱圖9~10所示,控制裝置3依據第一基準物件與第二基準物件相鄰的邊緣產生安全行走範圍,並依此循環建立安全行走路徑。
在本發明的第三實施例,請參閱圖11所示:
除了第一環境感測輔具1係為穿戴式眼鏡,第二環境感測輔具2為智慧鞋,第三實施例與第一實施例雷同,兩者的差異在於,第二影像擷取模組20係設在智慧鞋的鞋頭,第二深度擷取模組22係設在智慧鞋的鞋頭於第二影像擷取模組20旁,而第二提示模組24係設在智慧鞋的鞋墊的一面,路面感測模組46係設在智慧鞋的鞋墊的另一面或者設在智慧鞋的鞋底。
請參閱圖1所示,在本發明中,更包括第三環境感測輔具4,第三環境感測輔具4包括有第三影像擷取模組40、第三深度擷取模組42、第三提示模組44及路面感測模組46,第三影像擷取模組40係擷取第三高度影像400,第三深度擷取模組42擷取第三深度資訊,而第三提示模組44能發出第三提示訊息,路面感測模組46係感測路面的平整度。
再者,請參閱圖12所示,第三環境感測輔具4擷取使用者所面對的第三區段的景物而產生第三環境感知資訊,第三環境感知資訊包括第三高度影像400及第三深度資訊,第三深度資訊具有第三高度影像400的景物深度值,並且辨識第三高度影像400中的各種障礙物分別作為第三障礙物件302,第三高度影像400與第二高度影像200之間具有部分重疊影像,控制裝置3將第一高度影像100、第二高度影像200及第三高度影像400予以影像融合形成全域影像300,並將第一環境感知資訊、第二環境感知資訊及第三環境感知資訊予以整合形成全域環境感知資訊,且控制裝置3從第一環境感知資訊、第二環境感知資訊、第三環境感知資訊、全域環境感知資訊以及第一深度資訊、第二深度資訊進行交叉比對,確認使用者所面對的景物中的障礙物,而產生迴避障礙物的安全行走路徑。
本發明之第四實施例,請參閱圖1所示:
第一環境感測輔具1係為穿戴式眼鏡,第二環境感測輔具2為智慧手杖,則第三環境感測輔具4係為智慧鞋,其中穿戴式眼鏡與智慧手杖的各元件設置與第一實施例相同,第三影像擷取模組40係設在智慧鞋的鞋頭,第三深度擷取模組42係設在智慧鞋的鞋頭於第三影像擷取模組40旁,而第三提示模組44係設在智慧鞋的鞋墊的一面,路面感測模組46係設在智慧鞋的鞋墊的另一面或者設在智慧鞋的鞋底。
請參閱圖12所示,在第四實施例中,控制裝置3係將全域影像300由上至下分隔成第一分隔區304、第二分隔區306及第三分隔區308,分別在第一分隔區304、第二分隔區306及第三分隔區308中利用各第一障礙物件102、各第二障礙物件202、各第三障礙物件302、各全域障礙物件3000以及第一深度資訊、第二深度資訊及第三深度資訊進行交叉比對,而將全域影像300中的全域障礙物件3000於第一分隔區304部分定義為第一區障礙物件3040、於第二分隔區306部分定義為第二區障礙物件3060,以及於第三分隔區308定義出第三區障礙物件3080,當第一區障礙物件3040為最接近使用者則啟動第一提示模組14,當第二區障礙物件3060為最接近使用者則啟動第二提示模組24,當第三區障礙物件3080為最接近使用者則啟動第三提示模組44。
請參閱圖13所示,為了規劃出安全行走路徑,控制裝置3係由全域影像300底緣往上辨識第一區障礙物件3040、第二區障礙物件3060或第三區障礙物件3080的何者為最接近使用者的障礙物,並作為第一基準物件。控制裝置3係由第一基準物件的相同水平區間離全域影像300底緣次高的第一區障礙物件3040、第二區障礙物件3060或第三區障礙物件3080做為第二基準物件,且控制裝置3依據第一基準物件與第二基準物件相鄰的邊緣產生安全行走範圍,並依此循環建立安全行走路徑。
本發明一種智慧整合型行走輔助方法,請參閱圖14所示,係應用第一環境感測輔具1、第二環境感測輔具2及控制裝置3之間,並包括下列步驟:
(S101)控制裝置3接收第一環境感測輔具1所擷取的第一環境感知資訊及第二環境感測輔具2的第二環境感知資訊;
(S102)控制裝置3將第一環境感知資訊與第二環境感知資訊予以整合形成全域環境感知資訊;
(S103)控制裝置3從第一環境感知資訊、第二環境感知資訊及全域環境感知資訊交叉比對排除使用者所面對的景物中的障礙物,而產生安全行走路徑。
在本發明中,請參閱圖15所示,產生安全行走路徑的步驟進一步包括:
(S201)第一環境感測輔具1所設的第一影像擷取模組10擷取第一高度影像100及第一深度擷取模組12擷取第一深度資訊;
(S202)第一環境感測輔具1將第一高度影像100及第一深度資訊整合成第一環境感知資訊;
(S203)第一環境感測輔具1從第一高度影像100及第一深度資訊辨識出各種障礙物分別作為第一障礙物件102;
(S204)第二環境感測輔具2所設的第二影像擷取模組20及第二深度擷取模組22分別擷取第二高度影像200及第二深度資訊;
(S205)第二環境感測輔具2將第二高度影像200及第二深度資訊整合成第二環境感知資訊;
(S206)第二環境感測輔具2從第二高度影像200及第二深度資訊辨識出各種障礙物分別作為第二障礙物件202,而第一高度影像100與第二高度影像200之間具有部分重疊影像;
(S207)控制裝置3接收第一環境感知資訊與第二環境感知資訊;
(S208)控制裝置3將第一高度影像100與第二高度影像200予以影像融合形成全域影像300;
(S209)控制裝置3辨識全域影像300所有障礙物作為全域障礙物件3000;
(S210)控制裝置3將第一高度影像100中的所有第一障礙物件102、第二高度影像200中的所有第二障礙物件202及全域影像300中的所有全域障礙物件3000利用第一深度資訊、第二深度資訊進行交叉比對,用以確認障礙物位置,並產生迴避障礙物的安全行走路徑。
在本發明中,請參閱圖16所示,進一步在安全行走路徑中設定保護範圍5,其步驟包括:
(S301)第一環境感測輔具1所設的定位接收模組16係接收第二環境感測輔具2所設的定位接收模組26所傳出的定位訊號;
(S302)第一環境感測輔具1根據定位訊號計算出第一環境感測輔具1與第二環境感測輔具2之間的相對位置資訊;
(S303)控制裝置3接收並根據相對位置資訊,進一步規範出第二環境感測輔具2的保護範圍5;
(S304)控制裝置3於第一環境感測輔具1與第二環境感測輔具2之間的相對位置超出保護範圍5的邊界之狀態,第二環境感測輔具2所設的第二提示模組24發出第二提示訊息。
在本發明中,請參閱圖17所示,控制裝置3將第一高度影像100中的所有第一障礙物件102、第二高度影像200中的所有第二障礙物件202及全域影像300中的所有全域障礙物件3000利用第一深度資訊、第二深度資訊進行交叉比對,用以確認障礙物位置,並產生迴避障礙物的安全行走路徑的步驟,進一步包括:
(S401)控制裝置3係將全域影像300由上至下分隔成第一分隔區304及第二分隔區306,分別在第一分隔區304及第二分隔區306中利用各第一障礙物件102、各第二障礙物件202、各全域障礙物件3000以及第一深度資訊、第二深度資訊進行交叉比對,而將全域影像300中的全域障礙物件3000於第一分隔區304部分定義為第一區障礙物件3040、於第二分隔區306部分定義為第二區障礙物件3060;
(S402)控制裝置3係由全域影像300底緣往上辨識第一區障礙物件3040、第二區障礙物件3060的何者為最接近使用者的障礙物,並作為第一基準物件;
(S403)控制裝置3係由第一基準物件的相同水平區間離全域影像300底緣次高的第一區障礙物件3040或第二區障礙物件3060做為第二基準物件;
(S404)控制裝置3依據第一基準物件與第二基準物件相鄰的邊緣產生安全行走範圍,並依此循環建立安全行走路徑。
在本發明中,當使用者行走在安全行走路徑,第一區障礙物件3040為最接近使用者則啟動第一提示模組14,當第二區障礙物件3060為最接近使用者則啟動第二提示模組24,用以提醒使用者障礙物位在哪個位置。
本發明另一種智慧整合型行走輔助方法,請參閱圖18所示,係應用第一環境感測輔具1、第二環境感測輔具2、第三環境感測輔具4及控制裝置3之間,並包括下列步驟:
(S501)控制裝置3接收第一環境感測輔具1所擷取的第一環境感知資訊、第二環境感測輔具2的第二環境感知資訊及第三環境感測輔具4所擷取的第三環境感知資訊;
(S502)控制裝置3將第一環境感知資訊、第二環境感知資訊及第三環境感知資訊予以整合形成全域環境感知資訊;
(S503)控制裝置3從第一環境感知資訊、第二環境感知資訊、第三環境感知資訊及全域環境感知資訊交叉比對排除使用者所面對的景物中的障礙物,而產生安全行走路徑。
在本發明中,請參閱圖19所示,產生安全行走路徑的步驟進一步包括:
(S601)第一環境感測輔具1所設的第一影像擷取模組10及第一深度擷取模組12分別擷取第一高度影像100及第一深度資訊;
(S602)第一環境感測輔具1將第一高度影像100及第一深度資訊整合成第一環境感知資訊;
(S603)第一環境感測輔具1從第一高度影像100及第一深度資訊辨識出各種障礙物分別作為第一障礙物件102;
(S604)第二環境感測輔具2所設的第二影像擷取模組20及第二深度擷取模組22分別擷取第二高度影像200及第二深度資訊;
(S605)第二環境感測輔具2將第二高度影像200及第二深度資訊整合成第二環境感知資訊;
(S606)第二環境感測輔具2從第二高度影像200及第二深度資訊辨識出各種障礙物分別作為第二障礙物件202,而第一高度影像100與第二高度影像200之間具有部分重疊影像;
(S607)第三環境感測輔具4所設的第三影像擷取模組40及第三深度擷取模組42分別擷取第三高度影像400及第三深度資訊;
(S608)第三環境感測輔具4將第三高度影像400及第三深度資訊整合成第三環境感知資訊;
(S609)第三環境感測輔具4從第三高度影像400及第三深度資訊辨識出各種障礙物分別作為第三障礙物件302,而第三高度影像400與第二高度影像200之間具有部分重疊影像;
(S610)控制裝置3接收第一環境感知資訊、第二環境感知資訊及第三環境感知資訊;
(S611)控制裝置3將第一高度影像100、第二高度影像200及第三高度影像400予以影像融合形成全域影像300;
(S612)控制裝置3辨識全域影像300所有障礙物作為全域障礙物件3000;
(S613)控制裝置3將第一高度影像100中的所有第一障礙物件102、第二高度影像200中的所有第二障礙物件202、第三高度影像400中的所有第三障礙物件302及全域影像300中的所有全域障礙物件3000利用第一深度資訊、第二深度資訊及第三深度資訊進行交叉比對,用以確認障礙物位置,並產生迴避障礙物的安全行走路徑。
在本發明中,請參閱圖20所示,控制裝置3將第一高度影像100中的所有第一障礙物件102、第二高度影像200中的所有第二障礙物件202及全域影像300中的所有全域障礙物件3000利用第一深度資訊、第二深度資訊進行交叉比對,用以確認障礙物位置,並產生迴避障礙物的安全行走路徑的步驟,進一步包括:
(S701)控制裝置3係將全域影像300由上至下分隔成第一分隔區304、第二分隔區306及第三分隔區308,分別在第一分隔區304、第二分隔區306及第三分隔區308中分別利用各第一障礙物件102、各第二障礙物件202、各第三障礙物件302、各全域障礙物件3000以及第一深度資訊、第二深度資訊及第三深度資訊進行交叉比對,而將全域影像300中的全域障礙物件3000於第一分隔區304部分定義為第一區障礙物件3040、於第二分隔區306部分定義為第二區障礙物件3060及於第三分隔區308部分定義為第三區障礙物件3080;
(S702)控制裝置3係由全域影像300底緣往上辨識第一區障礙物件3040、第二區障礙物件3060及第三區障礙物件3080的何者為最接近使用者的障礙物,並作為第一基準物件;
(S703)控制裝置3係由第一基準物件的相同水平區間離全域影像300底緣次高的第一區障礙物件3040、第二區障礙物件3060或第三區障礙物件3080做為第二基準物件;
(S704)控制裝置3依據第一基準物件與第二基準物件相鄰的邊緣產生安全行走範圍,並依此循環建立安全行走路徑。
在本發明中,在第一高度影像100辨識出各第一障礙物件102、第二高度影像200辨識出各第二障礙物件202以及第三高度影像400辨識出各第三障礙物件302的方法係通過類神經網絡ANN(Artificial neural networks)的物件辨識方式,例如:R-CNN (Region-based Convolutional Neural Networks)、Fast R-CNN (Fast region-based convolutional neural network) 、Faster R-CNN(Faster region-based convolutional neural network)及Mask R-CNN (Mask Region-based Convolutional Neural Network),這些方法可以將第一高度影像100、第二高度影像200及第三高度影像400裡面的物體識別出來,並標出物體的位置,通常是以矩形框將物體框住,用以作為各第一障礙物件102、各第二障礙物件202以及各第三障礙物件302。
再者,控制裝置3係定義第一基準物件的方法,即以各第一障礙物件102、各第二障礙物件202以及各第三障礙物件302的矩形框之底緣相距全域影像300底緣的高度最小者,以及以第一基準物件矩形框之底緣向上找到另一個矩形框作第二基準物件。
此外,第一環境感測輔具1、第二環境感測輔具2、第三環境感測輔具4各自以Linux系統作為基礎,驅動第一環境感測輔具1的第一影像擷取模組10、第一深度擷取模組12、第一提示模組14及定位接收模組16,驅動第二環境感測輔具2的第二影像擷取模組20、第二深度擷取模組22、第二提示模組24及定位接收模組26,驅動第三環境感測輔具4的第三影像擷取模組40、第三深度擷取模組42、第三提示模組44及路面感測模組46,探測前方第一高度影像100、第二高度影像200及第三高度影像400的深度並進行運算,且第一環境感測輔具1、第二環境感測輔具2、第三環境感測輔具4及控制裝置3之間透過無線傳輸模組(例如:低功耗藍牙模組(BTLE))將資料分享至控制裝置3所設的應用程式,或是接收應用程式的指令進行驅動震動第一提示模組14、第二提示模組24或第二提示模組24,以及開關機、參數調整等命令。
在本發明中,第一影像擷取模組10、第二影像擷取模組20及第三影像擷取模組40係可為攝影機,第一深度擷取模組12、第二深度擷取模組22及第三深度擷取模組42係可為光達(Lidar)、雷達或紅外線測距儀…等。
再者,控制裝置3係可為智慧型行動電話,而智慧型行動電話的應用程式為一個系統中樞,扮演訊息傳遞者的角色,會透過無線模組與第一環境感測輔具1、第二環境感測輔具2、第三環境感測輔具4通訊,搜集來自第一環境感測輔具1、第二環境感測輔具2、第三環境感測輔具4各模組的資料外,還可以連動智慧型行動電話其他應用程式(如:導航、等公車、尋找物件等),將第一環境感測輔具1、第二環境感測輔具2、第三環境感測輔具4蒐集到的資料分享予其他應用程式進行運算,再協助其他應用程式將欲傳達之訊息透過第一環境感測輔具1、第二環境感測輔具2、第三環境感測輔具4上的第一提示模組14、第二提示模組24及第三提示模組44傳遞給使用者。而第一提示模組14、第二提示模組24及第三提示模組44係為震動馬達。
另外,在第一環境感測輔具1、第二環境感測輔具2、第三環境感測輔具4同時連動的情況下,若發生指令衝突,會以第一環境感測輔具1優先,第二環境感測輔具2次之,第三環境感測輔具4則為最後,或以時間差作為區分。
據上所述,第一環境感測輔具1、第二環境感測輔具2、第三環境感測輔具4所建構的環境數據透過融合影像技術大幅提升可視範圍,以及增加穩定性及安全性,搭配第三環境感測輔具4可以利用路面感測模組46(例如:雷達或紅外線測距裝置)進行地面狀態的多重確認,解決傳統穿戴式眼鏡、智慧手杖及智慧鞋之單一影像所提供的視角範圍不敷使用的問題,換言之,使用者遇到不規則、甚至是懸空之障礙物及路面不平整時,藉由本發明將解決此些問題。
另外本發明的使用者,並不侷限於視障者,一般人也可以使用,例如:第一環境感測輔具1為智慧型眼鏡或胸前攝影機,而第二環境感測輔具2為智慧鞋,如此當使用者行走的同時低頭看手機時,若遇到障礙物,則可由第一環境感測輔具1或第二環境感測輔具2提醒使用者,或者是可以使用者利用導航軟體步行時,也可以利用第一環境感測輔具1或第二環境感測輔具2提醒使用者。
上列詳細說明係針對本發明的可行實施例之具體說明,惟前述的實施例並非用以限制本發明之專利範圍,凡未脫離本發明技藝精神所為之等效實施或變更,均應包含於本案之專利範圍中。
1:第二環境感測輔具
10:第一影像擷取模組
100:第一高度影像
102:第一障礙物件
12:第一深度擷取模組
14:第一提示模組
16:定位接收模組
2:第二環境感測輔具
20:第二影像擷取模組
200:第二高度影像
202:第二障礙物件
22:第二深度擷取模組
24:第二提示模組
26:定位接收模組
3:控制裝置
300:全域影像
3000:全域障礙物件
302:第三障礙物件
304:第一分隔區
3040:第一區障礙物件
306:第二分隔區
3060:第二區障礙物件
308:第三分隔區
3080:第三區障礙物件
4:第三環境感測輔具
40:第三影像擷取模組
400:第三高度影像
42:第三深度擷取模組
44:第三提示模組
46:路面感測模組
圖1係本發明的智慧整合型行走輔助系統的架構示意圖;
圖2係本發明的第二環境感測輔具、第二環境感測輔具及第二環境感測輔具的架構示意圖;
圖3係本發明之第一實施例之使用狀態示意圖;
圖4係本發明保護範圍示意圖;
圖5係本發明之第二實施例之使用狀態示意圖;
圖6係本發明之全域影像分隔成第一分隔區及第二分隔區之示意圖;
圖7係本發明之由全域影像辨識第一基準物件之示意圖;
圖8係本發明之由全域影像辨識第二基準物件之示意圖;
圖9係本發明之由第一基準物件辨識到第二基準物件之最近側邊示意圖;
圖10係本發明之由第一基準物件與第二基準物件之最近側邊之間規劃安全路徑示意圖;
圖11係本發明之第三實施例之使用狀態示意圖;
圖12係本發明之第四實施例之使用狀態示意圖;
圖13係本發明之第四實施例規劃安全路徑示意圖;
圖14係本發明之一智慧整合型行走輔助方法之處理流程示意圖;
圖15係本發明之產生安全行走路徑的步驟流程示意圖;
圖16係本發明在安全行走路徑中設定保護範圍的步驟流程示意圖;
圖17係本發明產生迴避障礙物的安全行走路徑的步驟流程示意圖;
圖18本發明之另一智慧整合型行走輔助方法之處理流程示意圖;
圖19本發明之另一智慧整合型行走輔助方法產生安全行走路徑的步驟流程示意圖;
圖20本發明之另一智慧整合型行走輔助方法產生迴避障礙物的安全行走路徑的步驟流程示意圖。
1:第二環境感測輔具
10:第一影像擷取模組
12:第一深度擷取模組
2:第二環境感測輔具
20:第二影像擷取模組
22:第二深度擷取模組
3:控制裝置
4:第三環境感測輔具
40:第三影像擷取模組
42:第三深度擷取模組
44:第三提示模組
Claims (23)
- 一種智慧整合型行走輔助系統,包括: 一第一環境感測輔具,該第一環境感測輔具擷取使用者所面對的一第一區段的景物而產生一第一環境感知資訊; 一第二環境感測輔具,該第二環境感測輔具擷取使用者所面對的一第二區段的景物而產生一第二環境感知資訊,其中該第一區段與該第二區段之間有部分重疊;及 一控制裝置,該控制裝置將該第一環境感知資訊與該第二環境感知資訊予以整合形成一全域環境感知資訊,該控制裝置從該第一環境感知資訊、該第二環境感知資訊及該全域環境感知資訊交叉比對排除使用者所面對的景物中的障礙物,而產生安全行走路徑。
- 如請求項1所述的智慧整合型行走輔助系統,其中該第一環境感測輔具包括有一第一影像擷取模組、一第一深度擷取模組及一第一提示模組,該第一影像擷取模組係擷取第一高度影像,該第一深度擷取模組係擷取第一深度資訊,而該第一提示模組係發出一第一提示訊息。
- 如請求項2所述的智慧整合型行走輔助系統,其中該第二環境感測輔具包括有一第二影像擷取模組、一第二深度擷取模組及一第二提示模組,該第二影像擷取模組係擷取第二高度影像,該第二深度擷取模組擷取第二深度資訊,而該第二提示模組係發出一第二提示訊息。
- 如請求項3所述的智慧整合型行走輔助系統,其中該第一環境感測輔具更包括定位接收模組,而該第二環境感測輔具更包括一定位發射模組,該定位接收模組係接收該定位發射模組所傳出的定位訊號,且該第一環境感測輔具從該定位接收模組接收該定位訊號的訊號特徵,計算出該第一環境感測輔具與該第二環境感測輔具之間的相對位置資訊。
- 如請求項4所述的智慧整合型行走輔助系統,其中該控制裝置根據相對位置資訊進一步規範出該第二環境感測輔具的一保護範圍,且於該第一環境感測輔具與該第二環境感測輔具之間的相對位置超出保護範圍的邊界之狀態,該第二環境感測輔具的該第二提示模組發出該第二提示訊息。
- 如請求項5所述的智慧整合型行走輔助系統,其中該第一環境感測輔具將該第一高度影像及該第一深度資訊整合為該第一環境感知資訊,並且該第一環境感測輔具從該第一高度影像辨識出各種障礙物分別作為一第一障礙物件。
- 如請求項6所述的智慧整合型行走輔助系統,其中該第二環境感測輔具將該第二高度影像及該第二深度資訊整合為該第二環境感知資訊,並且該第二環境感測輔具從該第二高度影像辨識出各種障礙物分別作為一第二障礙物件,且該第一高度影像與該第二高度影像之間具有部分重疊影像。
- 如請求項7所述的智慧整合型行走輔助系統,其中該控制裝置將該第一高度影像與該第二高度影像予以影像融合形成一全域影像,從該全域影像辨識所有障礙物分別作為一全域障礙物件,而該全域影像與該全域障礙物件即為該全域環境感知資訊,該控制裝置將該第一障礙物件、該第二障礙物件、該全域障礙物件以及該第一深度資訊、該第二深度資訊進行交叉比對,用以確認障礙物位置,並產生迴避障礙物的安全行走路徑。
- 如請求項8所述的智慧整合型行走輔助系統,其中該控制裝置係將該全域影像由上至下分隔成一第一分隔區及一第二分隔區,並分別在該第一分隔區及該第二分隔區中利用各該第一障礙物件、各該第二障礙物件、各該全域障礙物件以及該第一深度資訊、該第二深度資訊進行交叉比對,而將該全域影像中的該全域障礙物件於該第一分隔區部分定義為一第一區障礙物件,及於該第二分隔區部分定義為一第二區障礙物件,當該第一區障礙物件為最接近使用者則啟動第一提示模組,當該第二區障礙物件為最接近使用者則啟動第二提示模組。
- 如請求項8所述的智慧整合型行走輔助系統,其中該控制裝置係由該全域影像底緣往上辨識各該第一區障礙物件或各該第二區障礙物件的何者為最接近使用者的障礙物,並作為一第一基準物件,該控制裝置係由該第一基準物件的相同水平區間離全域影像底緣次高的該第一區障礙物件或該第二區障礙物件做為一第二基準物件,且該控制裝置依據該第一基準物件與該第二基準物件相鄰的邊緣產生安全行走範圍,並依此循環建立安全行走路徑。
- 如請求項6所述的智慧整合型行走輔助系統,其中更包括一第三環境感測輔具,該第三環境感測輔具擷取使用者所面對的一第三區段的景物,而產生一第三環境感知資訊,該第三區段與該第二區段之間具有部分重疊,且該控制裝置將該第一環境感知資訊、該第二環境感知資訊及該第三環境感知資訊予以整合形成該全域環境感知資訊,並從該第一環境感知資訊、該第二環境感知資訊、該第三環境感知資訊、該全域環境感知資訊,確認使用者所面對的景物中的障礙物,而產生迴避障礙物的該安全行走路徑。
- 如請求項11所述的智慧整合型行走輔助系統,其中該第三環境感知資訊包括一第三高度影像及一第三深度資訊,該第三深度資訊具有該第三高度影像的景物深度值,並且辨識該第三高度影像中的各種障礙物分別作為一第三障礙物件,控制裝置將該第一高度影像、該第二高度影像及該第三高度影像予以影像融合形成該全域影像。
- 如請求項12所述的智慧整合型行走輔助系統,其中該第三環境感測輔具包括有一第三影像擷取模組、一第三深度擷取模組、一第三提示模組及一路面感測模組,該第三影像擷取模組係擷取一第三高度影像,該第三深度擷取模組擷取一第三深度資訊,而該第三提示模組能發出一第三提示訊息,該路面感測模組係感測路面的平整度。
- 如請求項12所述的智慧整合型行走輔助系統,其中該控制裝置係將該全域影像由上至下分隔成一第一分隔區、一第二分隔區及一第三分隔區,分別在該第一分隔區、該第二分隔區及該第三分隔區中利用各該第一障礙物件、各該第二障礙物件、各該第三障礙物件、各該全域障礙物件以及該第一深度資訊、該第二深度資訊及該第三深度資訊進行交叉比對,而將該全域影像中的各該全域障礙物件於該第一分隔區部分定義為一第一區障礙物件、於該第二分隔區部分定義為一第二區障礙物件,以及於該第三分隔區定義出一第三區障礙物件,當該第一區障礙物件為最接近使用者則啟動該第一提示模組,當該第二區障礙物件為最接近使用者則啟動該第二提示模組,當該第三區障礙物件為最接近使用者則啟動該第三提示模組。
- 如請求項12所述的智慧整合型行走輔助系統,其中該控制裝置係由該全域影像底緣往上辨識各該第一區障礙物件、各該第二區障礙物件或各該第三區障礙物件的何者為最接近使用者的障礙物,並作為一第一基準物件,且該控制裝置係由該第一基準物件的相同水平區間離該全域影像底緣次高的該第一區障礙物件、該第二區障礙物件或該第三區障礙物件做為一第二基準物件,且該控制裝置依據該第一基準物件與該第二基準物件相鄰的邊緣產生安全行走範圍,並依此循環建立安全行走路徑。
- 一種智慧整合型行走輔助方法,係應用一第一環境感測輔具、一第二環境感測輔具及一控制裝置之間,並包括下列步驟: 該控制裝置接收該第一環境感測輔具所擷取的一第一環境感知資訊及該第二環境感測輔具的一第二環境感知資訊; 該控制裝置將該第一環境感知資訊與該第二環境感知資訊予以整合形成一全域環境感知資訊; 該控制裝置從該第一環境感知資訊、該第二環境感知資訊及該全域環境感知資訊交叉比對排除使用者所面對的景物中的障礙物,而產生一安全行走路徑。
- 如請求項16所述的智慧整合型行走輔助方法,其中產生該安全行走路徑的步驟進一步包括: 該第一環境感測輔具所設的一第一影像擷取模組及一第一深度擷取模組分別擷取一第一高度影像及一第一深度資訊; 該第一環境感測輔具將該第一高度影像及該第一深度資訊整合成一第一環境感知資訊; 該第一環境感測輔具從該第一高度影像及該第一深度資訊辨識出各種障礙物分別作為一第一障礙物件; 該第二環境感測輔具所設的一第二影像擷取模組及一第二深度擷取模組分別擷取一第二高度影像及一第二深度資訊; 該第二環境感測輔具將該第二高度影像及該第二深度資訊整合成一第二環境感知資訊; 該第二環境感測輔具從該第二高度影像及該第二深度資訊辨識出各種障礙物分別作為一第二障礙物件,而該第一高度影像與該第二高度影像之間具有部分重疊影像; 該控制裝置接收該第一環境感知資訊與該第二環境感知資訊; 該控制裝置將該第一高度影像與該第二高度影像予以影像融合形成一全域影像; 該控制裝置辨識該全域影像所有障礙物作為一全域障礙物件; 該控制裝置將該第一高度影像中的所有該第一障礙物件、該第二高度影像中的所有該第二障礙物件及該全域影像中的所有該全域障礙物件,利用該第一深度資訊、該第二深度資訊進行交叉比對,用以確認障礙物位置,並產生迴避障礙物的該安全行走路徑。
- 如請求項16所述的智慧整合型行走輔助方法,其中進一步在該安全行走路徑中設定一保護範圍,其步驟包括: 該第一環境感測輔具所設的一定位接收模組係接收該第二環境感測輔具所設的一定位發射模組所傳出的一定位訊號; 該第一環境感測輔具根據定位訊號計算出該第一環境感測輔具與該第二環境感測輔具之間的一相對位置資訊; 該控制裝置接收並根據該相對位置資訊,進一步規範出該第二環境感測輔具的一保護範圍; 該控制裝置於該第一環境感測輔具與該第二環境感測輔具之間的相對位置超出該保護範圍的邊界之狀態,該第二環境感測輔具所設的一第二提示模組發出一第二提示訊息。
- 如請求項16所述的智慧整合型行走輔助方法,其中該控制裝置將該第一高度影像中的所有該第一障礙物件、該第二高度影像中的所有該第二障礙物件及該全域影像中的所有該全域障礙物件利用該第一深度資訊、該第二深度資訊進行交叉比對,用以確認障礙物位置,並產生迴避障礙物的該安全行走路徑的步驟,進一步包括: 該控制裝置係將該全域影像由上至下分隔成一第一分隔區及一第二分隔區,分別在該第一分隔區及該第二分隔區中利用各該第一障礙物件、各該第二障礙物件、各該全域障礙物件以及該第一深度資訊、該第二深度資訊進行交叉比對,而將該全域影像中的該全域障礙物件於該第一分隔區部分定義為一第一區障礙物件、於該第二分隔區部分定義為該第二區障礙物件; 該控制裝置係由該全域影像底緣往上辨識該第一區障礙物件、該第二區障礙物件的何者為最接近使用者的障礙物,並作為一第一基準物件; 該控制裝置係由該第一基準物件的相同水平區間離該全域影像底緣次高的該第一區障礙物件或該第二區障礙物件做為一第二基準物件; 該控制裝置依據該第一基準物件與該第二基準物件相鄰的邊緣產生該安全行走範圍,並依此循環建立該安全行走路徑。
- 如請求項16所述的智慧整合型行走輔助方法,其中當使用者行走在安全行走路徑,第一區障礙物件為最接近使用者則啟動第一提示模組,當第二區障礙物件為最接近使用者則啟動第二提示模組。
- 一種智慧整合型行走輔助方法,係應用一第一環境感測輔具、一第二環境感測輔具、一第三環境感測輔具及一控制裝置之間,並包括下列步驟: 該控制裝置接收該第一環境感測輔具所擷取的一第一環境感知資訊、該第二環境感測輔具的一第二環境感知資訊及該第三環境感測輔具所擷取的一第三環境感知資訊; 該控制裝置將第一環境感知資訊、第二環境感知資訊及第三環境感知資訊予以整合形成一全域環境感知資訊; 該控制裝置從該第一環境感知資訊、該第二環境感知資訊、該第三環境感知資訊及該全域環境感知資訊交叉比對排除使用者所面對的景物中的障礙物,而產生一安全行走路徑。
- 如請求項21所述的智慧整合型行走輔助方法,其中產生該安全行走路徑的步驟進一步包括: 該第一環境感測輔具所設的一第一影像擷取模組擷取一第一高度影像,及該第一環境感測輔具所設的一第一深度擷取模組擷取一第一深度資訊; 該第一環境感測輔具將該第一高度影像及該第一深度資訊整合成一第一環境感知資訊; 該第一環境感測輔具從該第一高度影像及該第一深度資訊辨識出各種障礙物分別作為一第一障礙物件; 該第二環境感測輔具所設的一第二影像擷取模組擷取一第一高度影像,及該第二環境感測輔具所設的一第二深度擷取模組擷取一第二深度資訊; 該第二環境感測輔具將該第二高度影像及該第二深度資訊整合成一第二環境感知資訊; 該第二環境感測輔具從該第二高度影像及該第二深度資訊辨識出各種障礙物分別作為一第二障礙物件,而該第一高度影像與該第二高度影像之間具有部分重疊影像; 該第三環境感測輔具所設的一第三影像擷取模組擷取一第三高度影像,及該第三環境感測輔具所設的一第三深度擷取模組擷取一第三深度資訊; 該第三環境感測輔具將該第三高度影像及該第三深度資訊整合成一第三環境感知資訊; 該第三環境感測輔具從該第三高度影像及該第三深度資訊辨識出各種障礙物分別作為一第三障礙物件,而該第三高度影像與該第二高度影像之間具有部分重疊影像; 該控制裝置接收該第一環境感知資訊、該第二環境感知資訊及該第三環境感知資訊; 該控制裝置將該第一高度影像、該第二高度影像及該第三高度影像予以影像融合形成一全域影像; 該控制裝置辨識該全域影像所有障礙物分別作為一全域障礙物件; 該控制裝置將該第一高度影像中的所有該第一障礙物件、該第二高度影像中的所有該第二障礙物件、該第三高度影像中的所有該第三障礙物件及該全域影像中的所有該全域障礙物件利用該第一深度資訊、該第二深度資訊及該第三深度資訊進行交叉比對,用以確認障礙物位置,並產生迴避障礙物的該安全行走路徑。
- 如請求項22所述的智慧整合型行走輔助方法,其中該控制裝置將該第一高度影像中的所有該第一障礙物件、該第二高度影像中的所有該第二障礙物件及該全域影像中的所有該全域障礙物件利用該第一深度資訊、該第二深度資訊進行交叉比對,用以確認障礙物位置,並產生迴避障礙物的該安全行走路徑的步驟,進一步包括: 該控制裝置係將該全域影像由上至下分隔成一第一分隔區、一第二分隔區及一第三分隔區,分別在該第一分隔區、該第二分隔區及該第三分隔區中分別利用各該第一障礙物件、各該第二障礙物件、各該第三障礙物件、各該全域障礙物件以及該第一深度資訊、該第二深度資訊及該第三深度資訊進行交叉比對,而將該全域影像中的該全域障礙物件於該第一分隔區部分定義為一第一區障礙物件、於該第二分隔區部分定義為一第二區障礙物件及於該第三分隔區部分定義為一第三區障礙物件; 該控制裝置係由該全域影像底緣往上辨識該第一區障礙物件、該第二區障礙物件及該第三區障礙物件的何者為最接近使用者的障礙物,並作為一第一基準物件; 該控制裝置係由該第一基準物件的相同水平區間離該全域影像底緣次高的該第一區障礙物件、該第二區障礙物件或該第三區障礙物件做為一第二基準物件; 該控制裝置依據該第一基準物件與該第二基準物件相鄰的邊緣產生一安全行走範圍,並依此循環建立該安全行走路徑。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW111109104A TWI825619B (zh) | 2022-03-11 | 2022-03-11 | 智慧整合型行走輔助系統及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW111109104A TWI825619B (zh) | 2022-03-11 | 2022-03-11 | 智慧整合型行走輔助系統及其方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202335655A true TW202335655A (zh) | 2023-09-16 |
TWI825619B TWI825619B (zh) | 2023-12-11 |
Family
ID=88927259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111109104A TWI825619B (zh) | 2022-03-11 | 2022-03-11 | 智慧整合型行走輔助系統及其方法 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI825619B (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10908045B2 (en) * | 2016-02-23 | 2021-02-02 | Deka Products Limited Partnership | Mobility device |
CN105748265B (zh) * | 2016-05-23 | 2021-01-22 | 京东方科技集团股份有限公司 | 一种导航装置及方法 |
TWI637738B (zh) * | 2017-06-03 | 2018-10-11 | 國立臺北科技大學 | 步行輔助穿戴式裝置及步行輔助方法 |
CN111228090B (zh) * | 2020-01-14 | 2022-06-28 | 卡登米(珠海)智能科技有限公司 | 导盲寻路方法和装置 |
CN111437157B (zh) * | 2020-06-16 | 2020-09-08 | 深圳市品罗创新实业有限公司 | 一种智能可穿戴式通讯设备及其使用方法 |
-
2022
- 2022-03-11 TW TW111109104A patent/TWI825619B/zh active
Also Published As
Publication number | Publication date |
---|---|
TWI825619B (zh) | 2023-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230392944A1 (en) | Navigation methods and apparatus for the visually impaired | |
US7598976B2 (en) | Method and apparatus for a multisensor imaging and scene interpretation system to aid the visually impaired | |
Elmannai et al. | A highly accurate and reliable data fusion framework for guiding the visually impaired | |
Poggi et al. | A wearable mobility aid for the visually impaired based on embedded 3D vision and deep learning | |
JP2022191334A (ja) | パーソナルナビゲーションシステム | |
Islam et al. | Automated walking guide to enhance the mobility of visually impaired people | |
CN107341789B (zh) | 一种基于rgb-d相机和立体声的视障人士通路预知系统和方法 | |
WO2021128834A1 (zh) | 基于计算机视觉的导航方法、装置、计算机设备及介质 | |
JP2002065721A (ja) | 視覚障害者用環境認識支援装置及びその方法 | |
US10062302B2 (en) | Vision-assist systems for orientation and mobility training | |
CN109106563A (zh) | 一种基于深度学习算法的自动化导盲装置 | |
Sharma et al. | International journal of engineering sciences & research technology a review on obstacle detection and vision | |
Patel et al. | Multisensor-based object detection in indoor environment for visually impaired people | |
Díaz-Toro et al. | Vision‐Based System for Assisting Blind People to Wander Unknown Environments in a Safe Way | |
Wang et al. | An environmental perception and navigational assistance system for visually impaired persons based on semantic stixels and sound interaction | |
Ilag et al. | Design review of smart stick for the blind equipped with obstacle detection and identification using artificial intelligence | |
Madake et al. | A qualitative and quantitative analysis of research in mobility technologies for visually impaired people | |
Elmannai et al. | A novel obstacle avoidance system for guiding the visually impaired through the use of fuzzy control logic | |
TWI825619B (zh) | 智慧整合型行走輔助系統及其方法 | |
KR102081193B1 (ko) | 시각장애인 보행 보조기구 및 이를 구비한 보행시스템 | |
Patel et al. | Review of sensor-driven assistive device technologies for enhancing navigation for the visually impaired | |
CN214632899U (zh) | 智能引路拐杖 | |
CN117751393A (zh) | 利用视觉辅助装置检测障碍元素的方法和系统 | |
Tripathi et al. | Analysis of obstruction avoidance assistants to enhance the mobility of visually impaired person: A systematic review | |
Al-Shehabi et al. | An obstacle detection and guidance system for mobility of visually impaired in unfamiliar indoor environments |