TWI770779B - 行人導航方法、電子裝置及存儲介質 - Google Patents

行人導航方法、電子裝置及存儲介質 Download PDF

Info

Publication number
TWI770779B
TWI770779B TW110102210A TW110102210A TWI770779B TW I770779 B TWI770779 B TW I770779B TW 110102210 A TW110102210 A TW 110102210A TW 110102210 A TW110102210 A TW 110102210A TW I770779 B TWI770779 B TW I770779B
Authority
TW
Taiwan
Prior art keywords
pedestrian
obstacle
road
images
determined
Prior art date
Application number
TW110102210A
Other languages
English (en)
Other versions
TW202230299A (zh
Inventor
張粵
郭錦斌
Original Assignee
鴻海精密工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鴻海精密工業股份有限公司 filed Critical 鴻海精密工業股份有限公司
Priority to TW110102210A priority Critical patent/TWI770779B/zh
Application granted granted Critical
Publication of TWI770779B publication Critical patent/TWI770779B/zh
Publication of TW202230299A publication Critical patent/TW202230299A/zh

Links

Images

Landscapes

  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本發明提供一種行人導航方法，包括：回應來自用戶的移動終端的導航請求，每隔預設時間拍攝所述用戶所在道路的圖像；根據拍攝的複數圖像判斷所述道路上是否存在至少一個第一障礙物；識別所述複數圖像中的行人，並確定每個行人的移動軌跡；根據每個行人的移動軌跡判斷所述行人是否維持單一方向行走；當所述行人偏離所述單一方向行走時，確定所述道路上存在至少一個第二障礙物；及當確定所述道路上存在所述第一障礙物時及/或所述第二障礙物時，發送避障提示資訊至所述移動終端。本發明還提供一種電子裝置及存儲介質。

Description

行人導航方法、電子裝置及存儲介質
本發明涉及自動導航技術領域，尤其涉及一種行人導航方法、電子裝置及存儲介質。
隨著科學技術的發展，導航技術已廣泛應用於人們的日常生活。現有的導航技術通常涉及從始發地到目的地之間路線的導航，例如，用戶可以藉由地圖類應用程式進行駕車及步行的導航。然而，對於視覺障礙人士來說，現有技術中雖然有在道路上鋪設盲道而進行步行導航的手段，但仍缺乏對實際步行環境的導航，例如道路上障礙物的偵測等，從而給視覺障礙人士的日常出現造成不便。
有鑒於此，有必要提供一種行人導航方法、電子裝置及存儲介質，可以藉由攝像裝置對道路上的障礙物進行偵測，給視覺障礙人士提供導航。
本發明的第一方面提供一種行人導航方法，所述方法包括：回應來自用戶的移動終端的導航請求，每隔預設時間拍攝所述用戶所在道路的圖像；根據拍攝的多個圖像判斷所述道路上是否存在至少一個第一障礙物；識別所述多個圖像中的行人，並確定每個行人的移動軌跡；根據每個行人的移動軌 跡判斷所述行人是否維持單一方向行走；當所述行人偏離所述單一方向行走時，確定所述道路上存在至少一個第二障礙物；及當確定所述道路上存在所述第一障礙物時及/或所述第二障礙物時，發送避障提示資訊至所述移動終端。
優選地，所述方法還包括：當確定所述道路上存在所述第一障礙物時及/或所述第二障礙物時，判斷所述第一障礙物及所述第二障礙物是否位於所述用戶的行走路徑上；及當判定所述第一障礙物及所述第二障礙物位於所述用戶的行走路徑上時，發送所述避障提示資訊至所述移動終端。
優選地，所述根據拍攝的多個圖像判斷所述道路上是否存在至少一個第一障礙物包括：根據全卷積演算法及條件隨機場演算法對拍攝的所述多個圖像進行分割；判斷分割後的所述圖像中是否包含除道路輪廓之外的其他物體的輪廓；當分割後的所述圖像中包含除道路輪廓之外的其他物體的輪廓時，確定所述道路上存在所述第一障礙物；或當分割後的所述圖像中不包含除道路輪廓之外的其他物體的輪廓時，確定所述道路上不存在所述第一障礙物。
優選地，所述方法還包括：當確定所述道路上存在所述第一障礙物時，識別所述第一障礙物的類別，其中，所述避障提示資訊包含所述第一障礙物的類別。
優選地，所述識別所述多個圖像中的行人，並確定每個行人的移動軌跡包括：根據目標檢測演算法識別出每個圖像中的行人；對每個圖像中的每個行人以頭部為基準進行標記；及根據所述多個圖像中所述行人的頭部的位置改變生成每個行人的所述移動軌跡。
優選地，所述根據每個行人的移動軌跡判斷所述行人是否維持單一方向行走包括：根據拍攝的所述多個圖像中的第一個圖像中所述行人的朝向確定所述行人的預設行走路徑；設置位於所述預設行走路徑及所述行人的頭部兩側的兩條閾值線；在所述圖像中所述行人的頭部選取兩個基準點；判斷所述 多個圖像中的任意兩個圖像中相同基準點之間的兩條連線是否與所述閾值線相交；當判定所述多個圖像中的任意兩個圖像中相同基準點之間的至少一條連線與所述閾值線相交時，確定所述行人偏離所述單一方向行走；或當判定所述多個圖像中的任意兩個圖像中相同基準點之間的所述兩條連線都與所述閾值線不相交時，確定所述行人維持所述單一方向行走。
優選地，所述根據每個行人的移動軌跡判斷所述行人是否維持單一方向行走包括：根據拍攝的所述多個圖像中第一個圖像中所述行人的朝向確定所述行人的預設行走路徑；設置位於所述預設行走路徑及所述行人的頭部兩側的兩條閾值線；在所述圖像中所述行人的頭部選取兩個基準點；分別計算所述第一個圖像及其他任一圖像中所述兩個基準點與臨近閾值線之間的第一距離和與第二距離和；判斷所述第一距離和是否小於所述第二距離和；當判定所述第一距離和小於所述第二距離和時，確定所述行人維持所述單一方向行走；或當判定所述第一距離和大於或等於所述第二距離和時，確定所述行人偏離所述單一方向行走。
優選地，所述每隔預設時間拍攝所述用戶所在道路的圖像包括：當接收到所述導航請求時，確定距離所述移動終端最近的攝像裝置；及控制所述攝像裝置每隔所述預設時間拍攝所述用戶所在道路的圖像。
本發明的第二方面提供一種電子裝置，包括：處理器；以及記憶體，所述記憶體中存儲有多個程式模組，所述多個程式模組由所述處理器載入並執行上述的行人導航方法。
本發明的第三方面提供一種存儲介質，其上存儲有至少一條電腦指令，所述指令由處理器並載入執行上述的行人導航方法。
上述行人導航方法、電子裝置及存儲介質不僅可以藉由攝像裝置偵測可見的障礙物，還可以藉由拍攝行人的移動軌跡以偵測處於拍攝死角或較為隱蔽的障礙物，有效提高了障礙物的偵測精度，優化了導航效果。
1:電子裝置
10:處理器
100:行人導航系統
101:選取模組
102:拍攝模組
103:判斷模組
104:識別模組
105:確定模組
106:提示模組
20:記憶體
30:電腦程式
40:攝像裝置
2:移動終端
S601~S606:步驟
圖1是本發明較佳實施方式提供的行人導航方法的應用環境架構示意圖。
圖2是本發明較佳實施方式提供的電子裝置的結構示意圖。
圖3是本發明較佳實施方式提供的行人導航系統的結構示意圖。
圖4是本發明第一實施方式提供的行人移動軌跡示意圖。
圖5是本發明第二實施方式提供的行人移動軌跡示意圖。
圖6是本發明較佳實施方式提供的行人導航方法的流程圖。
為了能夠更清楚地理解本發明的上述目的、特徵和優點，下面結合附圖和具體實施例對本發明進行詳細描述。需要說明的是，在不衝突的情況下，本申請的實施例及實施例中的特徵可以相互組合。
在下面的描述中闡述了很多具體細節以便於充分理解本發明，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
除非另有定義，本文所使用的所有的技術和科學術語與屬於本發明的技術領域的技術人員通常理解的含義相同。本文中在本發明的說明書中所使用的術語只是為了描述具體的實施例的目的，不是旨在於限制本發明。
請參閱圖1所示，為本發明較佳實施方式提供的行人導航方法的應用環境架構示意圖。
本發明中的行人導航方法應用在電子裝置1中，所述電子裝置1與至少一個移動終端2藉由網路建立通信連接。所述網路可以是有線網路，也可以是無線網路，例如無線電、無線保真(Wireless Fidelity,WIFI)、蜂窩、衛星、廣播等。其中，蜂窩網路可以是4G網路，也可以是5G網路。
所述電子裝置1可以為安裝有行人導航程式的電子設備，例如個人電腦、伺服器等，其中，所述伺服器可以是單一的伺服器、伺服器集群或雲端伺服器等。
所述移動終端2可以是智慧手機、平板電腦或智慧穿戴式設備等。
請參閱圖2所示，為本發明較佳實施方式提供的電子裝置的結構示意圖。
所述電子裝置1包括，但不僅限於，處理器10、記憶體20、存儲在所述記憶體20中並可在所述處理器10上運行的電腦程式30及多個攝像裝置40。例如，所述電腦程式30為行人導航程式。所述處理器10執行所述電腦程式30時實現行人導航方法中的步驟，例如圖6所示的步驟S601~S606。或者，所述處理器10執行所述電腦程式30時實現行人導航系統中各模組/單元的功能，例如圖3中的模組101-106。
示例性的，所述電腦程式30可以被分割成一個或多個模組/單元，所述一個或者多個模組/單元被存儲在所述記憶體20中，並由所述處理器10執行，以完成本發明。所述一個或多個模組/單元可以是能夠完成特定功能的一系列電腦程式指令段，所述指令段用於描述所述電腦程式30在所述電子裝置1中的執行過程。例如，所述電腦程式30可以被分割成圖3中的選取模組101、拍攝 模組102、判斷模組103、識別模組104、確定模組105及提示模組106。各模組具體功能參見行人導航系統實施例中各模組的功能。
本領域技術人員可以理解，所述示意圖僅僅是電子裝置1的示例，並不構成對電子裝置1的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件，例如所述電子裝置1還可以包括輸入輸出設備、網路接入設備、匯流排等。
所稱處理器10可以是中央處理單元(Central Processing Unit，CPU)，還可以是其他通用處理器、數位訊號處理器(Digital Signal Processor，DSP)、專用積體電路(Application Specific Integrated Circuit，ASIC)、現成可程式設計閘陣列(Field-Programmable Gate Array，FPGA)或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。通用處理器可以是微處理器或者所述處理器10也可以是任何常規的處理器等，所述處理器10是所述電子裝置1的控制中心，利用各種介面和線路連接整個電子裝置1的各個部分。
所述記憶體20可用於存儲所述電腦程式30和/或模組/單元，所述處理器10藉由運行或執行存儲在所述記憶體20內的電腦程式和/或模組/單元，以及調用存儲在記憶體20內的資料，實現所述電子裝置1的各種功能。所述記憶體20可主要包括存儲程式區和存儲資料區，其中，存儲程式區可存儲作業系統、至少一個功能所需的應用程式(比如聲音播放功能、圖像播放功能等)等；存儲資料區可存儲根據電子裝置1的使用所創建的資料(比如音訊資料、電話本等)等。此外，記憶體20可以包括易失性記憶體，還可以包括非易失性記憶體，例如硬碟、記憶體、插接式硬碟，智慧存儲卡(Smart Media Card,SMC)，安全數位(Secure Digital,SD)卡，快閃記憶體卡(Flash Card)、至少一個磁碟記憶體件、快閃記憶體器件、或其他記憶體件。
在本實施方式中，所述攝像裝置40為攝像頭，裝設於道路附近，用於拍攝所述道路的圖像。
請參閱圖3所示，本發明較佳實施方式提供的行人導航系統的功能模組圖。
在一些實施方式中，行人導航系統100運行於所述電子裝置1中。所述行人導航系統100可以包括多個由程式碼段所組成的功能模組。所述行人導航系統100中的各個程式段的程式碼可以存儲於電子裝置1的記憶體20中，並由所述至少一個處理器10所執行，以實現行人導航功能。
本實施方式中，行人導航系統100根據其所執行的功能，可以被劃分為多個功能模組。參閱圖3所示，所述功能模組可以包括選取模組101、拍攝模組102、判斷模組103、識別模組104、確定模組105及提示模組106。本發明所稱的模組是指一種能夠被至少一個處理器所執行並且能夠完成固定功能的一系列電腦程式段，其存儲在記憶體20中。可以理解的是，在其他實施方式中，上述模組也可為固化於所述處理器10中的程式指令或韌體(firmware)。
所述選取模組101用於當所述電子裝置1接收到來自所述移動終端2的導航請求時，確定距離所述移動終端2最近的攝像裝置40。
在本實施方式中，當所述電子裝置1接收到來自所述移動終端2的導航請求時，確定所述移動終端2所在的地理位置資訊，根據所述地理位置資訊分別計算所述多個攝像裝置40與所述移動終端2之間的距離，然後根據計算的距離確定距離所述移動終端2最近的攝像裝置40。
在其他實施方式中，當所述電子裝置1接收到來自所述移動終端2的導航請求時，確定所述移動終端2所在的地理位置資訊，根據所述地理位置資訊確定所述移動終端2所在的道路，根據所述移動終端2所在的道路確定位於所述道路上的至少一個攝像裝置40，分別計算所述至少一個攝像裝置40與所述移 動終端2之間的距離，然後根據計算的距離確定距離所述移動終端2最近的攝像裝置40。
所述拍攝模組102用於回應來自用戶的移動終端2的所述導航請求，每隔預設時間拍攝所述用戶所在道路的圖像。
在本實施方式中，所述拍攝模組102控制距離所述移動終端2最近的所述攝像裝置40每隔所述預設時間拍攝所述用戶所在道路的圖像。在本實施方式中，所述預設時間為0.5秒。在其他實施方式中，所述預設時間也可以根據需求設置為其他合適的時間。
所述判斷模組103用於根據拍攝的多個圖像判斷所述道路上是否存在至少一個第一障礙物。
在本實施方式中，所述判斷模組103首先根據全卷積(Fully Convolutional Networks，FCN)演算法及條件隨機場(Conditional Random Field，CRF)演算法對拍攝的所述多個圖像進行分割。
具體的，所述判斷模組103將拍攝的所述圖像進行歸一化處理，然後輸入FCN網路，經過多個卷積及最大池化處理得到多個特徵值，輸出圖像的寬高為初始圖像的1/32，對所述特徵值進行上採樣得到對應的上採樣特徵，將所述上採樣特徵中的每個點輸入邏輯回歸預測(softmax prediction)函數得到所述圖像對應的分割圖。接著，所述判斷模組103將所述分割圖輸入CRF模型而對所述分割圖進行優化。在本實施方式中，所述分割圖包含所述圖像中每個物體的輪廓。
在本實施方式中，所述判斷模組103進一步判斷分割後的所述圖像中是否包含除道路輪廓之外的其他物體的輪廓。具體的，所述判斷模組103根據輪廓特徵識別判斷所述分割圖中是否包含除道路輪廓之外的其他物體的輪廓。
在本實施方式中，當所述判斷模組103判定分割後的所述圖像中包含除道路輪廓之外的其他物體的輪廓時，確定所述道路上存在所述第一障礙物。當所述判斷模組103判定分割後的所述圖像中不包含除道路輪廓之外的其他物體的輪廓時，確定所述道路上不存在所述第一障礙物。在本實施方式中，所述第一障礙物為明顯障礙物。
所述識別模組104用於當所述判斷模組103確定所述道路上存在所述第一障礙物時，識別所述第一障礙物的類別。
在本實施方式中，所述類別為所述第一障礙物的名稱，例如路燈、看板、變電箱、公車站站牌等。
所述識別模組104還用於識別所述多個圖像中的行人，並確定每個行人的移動軌跡。
在本實施方式中，所述識別模組104根據目標檢測演算法識別出每個圖像中的行人。優選地，所述目標檢測演算法為MobileNet-SSD模型，其中，所述MobileNet-SSD模型為已經過預訓練的模型。所述識別模組104將所述多個圖像輸入所述MobileNet-SSD模型，即可識別出每個圖像中的行人。在其他實施方式中，所述目標檢測演算法也可以是YOLOv3模型。
在本實施方式中，所述識別模組104進一步地對每個圖像中的每個行人以頭部為基準進行標記，並根據所述多個圖像中所述行人的頭部的位置改變生成每個行人的所述移動軌跡。
所述判斷模組103還用於根據每個行人的移動軌跡判斷所述行人是否維持單一方向行走。
請參閱圖4所示，在第一實施方式中，所述判斷模組103根據拍攝的第一個圖像中所述行人的朝向確定所述行人的預設行走路徑，設置位於所述預設行走路徑及所述行人的頭部兩側的兩條閾值線。所述兩條閾值線基於行人 的頭部位置設置，其中，一條閾值線位於頭部頂端附近，另一條閾值線位於頭部底端附近。圖4中以方框示意行人頭部，以箭頭示意行人的預設行走路徑，以兩條實線示意閾值線。
所述判斷模組103進一步在所述圖像中所述行人的頭部選取兩個基準點，例如圖4中的基準點A、B。所述判斷模組103進一步判斷所述多個圖像中的任意兩個圖像中相同基準點之間的兩條連線是否與所述閾值線相交，即所述判斷模組103判斷圖4中兩個基準點A之間的連線及兩個基準點B之間的連線是否與所述閾值線相交。當判定所述多個圖像中的任意兩個圖像中相同基準點之間的至少一條連線與所述閾值線相交時，所述判斷模組103確定所述行人偏離所述單一方向行走。當判定所述多個圖像中的任意兩個圖像中相同基準點之間的兩條連線都與所述閾值線不相交時，所述判斷模組103確定所述行人維持所述單一方向行走。
請參閱圖5所示，在第二實施方式中，所述判斷模組103根據拍攝的第一個圖像中所述行人的朝向確定所述行人的預設行走路徑，並設置位於所述預設行走路徑及所述行人的頭部兩側的兩條閾值線。所述兩條閾值線基於行人的頭部位置設置，其中，一條閾值線位於頭部頂端附近，另一條閾值線位於頭部底端附近。圖5中以方框示意行人頭部，以平行於閾值線的箭頭示意行人的預設行走路徑，以兩條實線示意閾值線。
所述判斷模組103進一步在所述圖像中所述行人的頭部選取兩個基準點，例如圖5中的基準點A、B。所述判斷模組103進一步分別計算所述多個圖像中的第一個圖像與其他任一圖像中所述兩個基準點與臨近閾值線之間的第一距離和與第二距離和。在本實施方式中，所述判斷模組103計算所述第一距離 和與第二距離和的公式為：
Figure 110102210-A0305-02-0013-1
。其中，距離和為2d=d1+d2， ax+by+c=0為閾值線的直線方程，(x1,y1)為A或B的座標。
具體的，所述判斷模組103根據所述圖像判斷所述行人遠離還是靠近所述攝像裝置40。例如，當所述判斷模組103確定所述圖像中包含行人臉部時，判定所述行人靠近所述攝像裝置40。當所述判斷模組103確定所述圖像中未包含行人臉部時，判定所述行人遠離所述攝像裝置40。當所述判斷模組103判定所述行人遠離所述攝像裝置40時，判斷所述第一距離和是否小於所述第二距離和。當所述第一距離和小於所述第二距離和時，所述判斷模組103確定所述行人維持所述單一方向行走。當所述第一距離和大於或等於所述第二距離和時，所述判斷模組103確定所述行人偏離所述單一方向行走。
當所述判斷模組103判斷所述行人靠近所述攝像裝置40時，判斷所述第一距離和是否大於所述第二距離和。當所述第一距離和大於所述第二距離和時，所述判斷模組103確定所述行人維持所述單一方向行走。當所述第一距離和小於或等於所述第二距離和時，所述判斷模組103確定所述行人偏離所述單一方向行走。
所述確定模組105用於當所述行人偏離所述單一方向行走時，確定所述道路上存在至少一個第二障礙物。所述確定模組105還用於當所述行人維持所述單一方向行走時，確定所述道路上不存在所述第二障礙物。在本實施方式中，所述第二障礙物為隱蔽障礙物，例如坑洞等。
所述提示模組106用於當確定所述道路上存在所述第一障礙物時及所述第二障礙物時，發送避障提示資訊至所述移動終端2。
在本實施方式中，所述避障提示資訊包含所述第一障礙物的類別、所述第一障礙物及所述第二障礙物相對於所述移動終端2，即用戶的位置。
進一步地，當確定所述道路上存在所述第一障礙物及/或所述第二障礙物時，所述判斷模組103判斷所述第一障礙物及/或所述第二障礙物是否位於所述用戶的行走路徑上，當判定所述第一障礙物及/或所述第二障礙物位於所述用戶的行走路徑上時，發送所述避障提示資訊至所述移動終端2。
請參閱圖6所示，是本發明較佳實施方式提供的行人導航方法的流程圖。根據不同的需求，所述流程圖中步驟的順序可以改變，某些步驟可以省略。
步驟S601，回應來自用戶的移動終端2的所述導航請求，每隔預設時間拍攝所述用戶所在道路的圖像。
在本實施方式中，所述步驟S601具體包括當所述電子裝置1接收到來自所述移動終端2的導航請求時，確定距離所述移動終端2最近的攝像裝置40。
在本實施方式中，當所述電子裝置1接收到來自所述移動終端2的導航請求時，確定所述移動終端2所在的地理位置資訊，根據所述地理位置資訊分別計算所述多個攝像裝置40與所述移動終端2之間的距離，然後根據計算的距離確定距離所述移動終端2最近的攝像裝置40。
在其他實施方式中，當所述電子裝置1接收到來自所述移動終端2的導航請求時，確定所述移動終端2所在的地理位置資訊，根據所述地理位置資訊確定所述移動終端2所在的道路，根據所述移動終端2所在的道路確定位於所述道路上的至少一個攝像裝置40，分別計算所述至少一個攝像裝置40與所述移動終端2之間的距離，然後根據計算的距離確定距離所述移動終端2最近的攝像裝置40。
在本實施方式中，所述步驟S601還包括控制距離所述移動終端2最近的所述攝像裝置40每隔所述預設時間拍攝所述用戶所在道路的圖像。在本 實施方式中，所述預設時間為0.5秒。在其他實施方式中，所述預設時間也可以根據需求設置為其他合適的時間。
步驟S602，根據拍攝的多個圖像判斷所述道路上是否存在至少一個第一障礙物。
在本實施方式中，首先根據全卷積(Fully Convolutional Networks，FCN)演算法及條件隨機場(Conditional Random Fields，CRF)演算法對拍攝的所述多個圖像進行分割。
具體的，將拍攝的所述圖像進行歸一化處理，然後輸入FCN網路，經過多個卷積及最大池化處理得到多個特徵值，輸出圖像的寬高為初始圖像的1/32，對所述特徵值進行上採樣得到對應的上採樣特徵，將所述上採樣特徵中的每個點輸入邏輯回歸預測(softmax prediction)函數得到所述圖像對應的分割圖。接著，將所述分割圖輸入CRF模型而對所述分割圖進行優化。在本實施方式中，所述分割圖包含所述圖像中每個物體的輪廓。
在本實施方式中，進一步判斷分割後的所述圖像中是否包含除道路輪廓之外的其他物體的輪廓。具體的，根據輪廓特徵識別判斷所述分割圖中是否包含除道路輪廓之外的其他物體的輪廓。
在本實施方式中，當判定分割後的所述圖像中包含除道路輪廓之外的其他物體的輪廓時，確定所述道路上存在所述第一障礙物。當判定分割後的所述圖像中不包含除道路輪廓之外的其他物體的輪廓時，確定所述道路上不存在所述第一障礙物。在本實施方式中，所述第一障礙物為明顯障礙物。
所述步驟S602還可包括當確定所述道路上存在所述至少一個第一障礙物時，識別所述第一障礙物的類別。
在本實施方式中，所述類別為所述第一障礙物的名稱，例如路燈、看板、變電箱、公交站站牌等。
步驟S603，識別所述多個圖像中的行人，並確定每個行人的移動軌跡。
在本實施方式中，根據目標檢測演算法識別出每個圖像中的行人。優選地，所述目標檢測演算法為MobileNet-SSD模型，其中，所述MobileNet-SSD模型為已經過預訓練的模型。將所述多個圖像輸入所述MobileNet-SSD模型，即可識別出每個圖像中的行人。在其他實施方式中，所述目標檢測演算法也可以是YOLOv3模型。
在本實施方式中，進一步地對每個圖像中的每個行人以頭部為基準進行標記，並根據所述多個圖像中所述行人的頭部的位置改變生成每個行人的所述移動軌跡。
步驟S604，根據每個行人的移動軌跡判斷所述行人是否維持單一方向行走。
如圖4所示，在第一實施方式中，根據拍攝的第一個圖像中所述行人的朝向確定所述行人的預設行走路徑，設置位於所述預設行走路徑及所述行人的頭部兩側的兩條閾值線。所述兩條閾值線基於行人的頭部位置設置，其中，一條閾值線位於頭部頂端附近，另一條閾值線位於頭部底端附近。圖4中以方框示意行人頭部，以箭頭示意行人的預設行走路徑，以兩條實線示意閾值線。
在第一實施方式中，進一步在所述圖像中所述行人的頭部選取兩個基準點，例如圖4中的基準點A、B。進一步判斷所述多個圖像中的任意兩個圖像中相同基準點之間的兩條連線是否與所述閾值線相交，即判斷圖4中兩個基準點A之間的連線及兩個基準點B之間的連線是否與所述閾值線相交。當判定所述多個圖像中的任意兩個圖像中相同基準點之間的至少一條連線與所述閾值線相交時，確定所述行人偏離所述單一方向行走。當判定所述多個圖像中的任意兩 個圖像中相同基準點之間的兩條連線都與所述閾值線不相交時，確定所述行人維持所述單一方向行走。
如圖5所示，在第二實施方式中，根據拍攝的第一個圖像中所述行人的朝向確定所述行人的預設行走路徑，並設置位於所述預設行走路徑及所述行人的頭部兩側的兩條閾值線。所述兩條閾值線基於行人的頭部位置設置，其中，一條閾值線位於頭部頂端附近，另一條閾值線位於頭部底端附近。圖5中以方框示意行人頭部，以平行於閾值線的箭頭示意行人的預設行走路徑，以兩條實線示意閾值線。
在第二實施方式中，進一步在所述圖像中所述行人的頭部選取兩個基準點，例如圖5中的基準點A、B。進一步分別計算所述多個圖像中的第一個圖像與其他任一圖像中所述兩個基準點與臨近閾值線之間的第一距離和與第二距離和。在本實施方式中，計算所述第一距離和與第二距離和的公式為：
Figure 110102210-A0305-02-0017-2
。其中，距離和為2d=d1+d2，ax+by+c=0為閾值線的直 線方程，(x1,y1)為A或B的座標。
具體的，根據所述圖像判斷所述行人遠離還是靠近所述攝像裝置40。例如，當確定所述圖像中包含行人臉部時，判定所述行人靠近所述攝像裝置40。當確定所述圖像中未包含行人臉部時，判定所述行人遠離所述攝像裝置40。當判定所述行人遠離所述攝像裝置40時，判斷所述第一距離和是否小於所述第二距離和。當所述第一距離和小於所述第二距離和時，確定所述行人維持所述單一方向行走。當所述第一距離和大於或等於所述第二距離和時，確定所述行人偏離所述單一方向行走。
當判斷所述行人靠近所述攝像裝置40時，判斷所述第一距離和是否大於所述第二距離和。當所述第一距離和大於所述第二距離和時，確定所述 行人維持所述單一方向行走。當所述第一距離和小於或等於所述第二距離和時，確定所述行人偏離所述單一方向行走。
步驟S605，當所述行人偏離所述單一方向行走時，確定所述道路上存在至少一個第二障礙物。
在本實施方式中，所述第二障礙物為隱蔽障礙物，例如坑洞等。
步驟S606，當確定所述道路上存在所述第一障礙物時及/或所述第二障礙物時，發送避障提示資訊至所述移動終端2。
在本實施方式中，所述避障提示資訊包含所述第一障礙物的類別、所述第一障礙物及所述第二障礙物相對於所述移動終端2，即用戶的位置。
在本實施方式中，當確定所述道路上存在所述第一障礙物時及/或所述第二障礙物時，判斷所述第一障礙物及/或所述第二障礙物是否位於所述用戶的行走路徑上，當判定所述第一障礙物及/或所述第二障礙物位於所述用戶的行走路徑上時，發送所述避障提示資訊至所述移動終端2。
所述電子裝置1集成的模組/單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個電腦可讀取存儲介質中。基於這樣的理解，本發明實現上述實施例方法中的全部或部分流程，也可以藉由電腦程式來指令相關的硬體來完成，所述的電腦程式可存儲於一電腦可讀存儲介質中，所述電腦程式在被處理器執行時，可實現上述各個方法實施例的步驟。其中，所述電腦程式包括電腦程式代碼，所述電腦程式代碼可以為原始程式碼形式、物件代碼形式、可執行檔或某些中間形式等。所述電腦可讀介質可以包括：能夠攜帶所述電腦程式代碼的任何實體或裝置、記錄介質、隨身碟、移動硬碟、磁碟、光碟、電腦記憶體、唯讀記憶體(ROM，Read-Only Memory)、隨機存取記憶體(RAM，Random Access Memory)、電載波信號、電信信號以及軟體分發介質等。
本發明所提供的行人導航方法、電子裝置及存儲介質不僅可以藉由攝像裝置偵測可見的障礙物，還可以藉由拍攝行人的移動軌跡以偵測處於拍攝死角或較為隱蔽的障礙物，有效提高了障礙物的偵測精度，優化了導航效果。
對於本領域技術人員而言，顯然本發明不限於上述示範性實施例的細節，而且在不背離本發明的精神或基本特徵的情況下，能夠以其他的具體形式實現本發明。因此，無論從哪一點來看，均應將實施例看作是示範性的，而且是非限制性的，本發明的範圍由所附申請專利範圍而不是上述說明限定，因此旨在將落在申請專利範圍的等同要件的含義和範圍內的所有變化涵括在本發明內。不應將申請專利範圍中的任何附圖標記視為限制所涉及的申請專利範圍。此外，顯然“包括”一詞不排除其他單元或步驟，單數不排除複數。裝置申請專利範圍中陳述的複數單元或裝置也可以由同一個單元或裝置藉由軟體或者硬體來實現。第一，第二等詞語用來表示名稱，而並不表示任何特定的順序。
綜上所述，本發明符合發明專利要件，爰依法提出專利申請。惟，以上所述者僅為本發明之較佳實施方式，舉凡熟悉本案技藝之人士，於爰依本發明精神所作之等效修飾或變化，皆應涵蓋於以下之申請專利範圍內。
S601~S606:步驟

Claims (9)

  1. 一種行人導航方法，應用於電子裝置，其中，所述方法包括：所述電子裝置回應來自用戶的移動終端的導航請求，確定所述移動終端所在的地理位置資訊，根據所述地理位置資訊確定所述移動終端所在的道路，每隔預設時間控制攝像裝置拍攝所述移動終端所在道路的圖像；根據拍攝的複數圖像判斷所述道路上是否存在至少一個第一障礙物；識別所述複數圖像中的行人，並確定每個行人的移動軌跡；根據每個行人的移動軌跡判斷所述行人是否維持單一方向行走；當所述行人偏離所述單一方向行走時，確定所述道路上存在至少一個第二障礙物；及當確定所述道路上存在所述第一障礙物時及/或所述第二障礙物時，判斷所述第一障礙物及/或所述第二障礙物是否位於所述用戶的行走路徑上；當判定所述第一障礙物及/或所述第二障礙物位於所述用戶的行走路徑上時，發送避障提示資訊至所述移動終端。
  2. 如請求項1所述之行人導航方法，其中，所述根據拍攝的複數圖像判斷所述道路上是否存在至少一個第一障礙物包括：根據全卷積演算法及條件隨機場演算法對拍攝的所述多個圖像進行分割；判斷分割後的所述圖像中是否包含除道路輪廓之外的其他物體的輪廓；當分割後的所述圖像中包含除道路輪廓之外的其他物體的輪廓時，確定所述道路上存在所述第一障礙物；或當分割後的所述圖像中不包含除道路輪廓之外的其他物體的輪廓時，確定所述道路上不存在所述第一障礙物。
  3. 如請求項2所述之行人導航方法，其中，所述方法還包括：當確定所述道路上存在所述第一障礙物時，識別所述第一障礙物的類別，其中，所述避障提示資訊包含所述第一障礙物的類別。
  4. 如請求項1所述之行人導航方法，其中，所述識別所述複數圖像中的行人，並確定每個行人的移動軌跡包括：根據目標檢測演算法識別出每個圖像中的行人；對每個圖像中的每個行人以頭部為基準進行標記；及根據所述多個圖像中所述行人的頭部的位置改變生成每個行人的所述移動軌跡。
  5. 如請求項1所述之行人導航方法，其中，所述根據每個行人的移動軌跡判斷所述行人是否維持單一方向行走包括：根據拍攝的所述多個圖像中的第一個圖像中所述行人的朝向確定所述行人的預設行走路徑；設置位於所述預設行走路徑及所述行人的頭部兩側的兩條閾值線；在所述圖像中所述行人的頭部選取兩個基準點；判斷所述多個圖像中的任意兩個圖像中相同基準點之間的兩條連線是否與所述閾值線相交；當判定所述多個圖像中的任意兩個圖像中相同基準點之間的至少一條連線與所述閾值線相交時，確定所述行人偏離所述單一方向行走；或當判定所述多個圖像中的任意兩個圖像中相同基準點之間的所述兩條連線都與所述閾值線不相交時，確定所述行人維持所述單一方向行走。
  6. 如請求項1所述之行人導航方法，其中，所述根據每個行人的移動軌跡判斷所述行人是否維持單一方向行走包括：根據拍攝的所述多個圖像中的第一個圖像中所述行人的朝向確定所述行人的預設行走路徑；設置位於所述預設行走路徑及所述行人的頭部兩側的兩條閾值線；在所述圖像中所述行人的頭部選取兩個基準點；分別計算所述第一個圖像及其他任一圖像中所述兩個基準點與臨近閾值線之間的第一距離和與第二距離和； 判斷所述第一距離和是否小於所述第二距離和；當判定所述第一距離和小於所述第二距離和時，確定所述行人維持所述單一方向行走；或當判定所述第一距離和大於或等於所述第二距離和時，確定所述行人偏離所述單一方向行走。
  7. 如請求項1所述之行人導航方法，其中，所述每隔預設時間拍攝所述用戶所在道路的圖像包括：當接收到所述導航請求時，確定距離所述移動終端最近的攝像裝置；及控制所述攝像裝置每隔所述預設時間拍攝所述用戶所在道路的圖像。
  8. 一種電子裝置，其中，所述電子裝置包括：處理器；以及記憶體，所述記憶體中存儲有複數程式模組，所述複數程式模組由所述處理器載入並執行如請求項1至7中任意一項所述之行人導航方法。
  9. 一種存儲介質，其上存儲有電腦指令，其中，所述指令由處理器載入並執行如請求項1至7中任意一項所述之行人導航方法。
TW110102210A 2021-01-20 2021-01-20 行人導航方法、電子裝置及存儲介質 TWI770779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW110102210A TWI770779B (zh) 2021-01-20 2021-01-20 行人導航方法、電子裝置及存儲介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110102210A TWI770779B (zh) 2021-01-20 2021-01-20 行人導航方法、電子裝置及存儲介質

Publications (2)

Publication Number Publication Date
TWI770779B true TWI770779B (zh) 2022-07-11
TW202230299A TW202230299A (zh) 2022-08-01

Family

ID=83439286

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110102210A TWI770779B (zh) 2021-01-20 2021-01-20 行人導航方法、電子裝置及存儲介質

Country Status (1)

Country Link
TW (1) TWI770779B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201434458A (zh) * 2013-03-07 2014-09-16 Univ Southern Taiwan Sci & Tec 盲人行動記錄分析與導航系統
CN107389065A (zh) * 2017-06-19 2017-11-24 深圳市冠旭电子股份有限公司 一种智能导盲方法、智能导盲装置及智能导盲系统
CN109993944A (zh) * 2018-01-02 2019-07-09 中国移动通信有限公司研究院 一种危险预警方法、移动终端及服务器
US20200043368A1 (en) * 2017-02-21 2020-02-06 Haley BRATHWAITE Personal navigation system
CN111904806A (zh) * 2020-07-30 2020-11-10 云知声智能科技股份有限公司 导盲系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201434458A (zh) * 2013-03-07 2014-09-16 Univ Southern Taiwan Sci & Tec 盲人行動記錄分析與導航系統
US20200043368A1 (en) * 2017-02-21 2020-02-06 Haley BRATHWAITE Personal navigation system
CN107389065A (zh) * 2017-06-19 2017-11-24 深圳市冠旭电子股份有限公司 一种智能导盲方法、智能导盲装置及智能导盲系统
CN109993944A (zh) * 2018-01-02 2019-07-09 中国移动通信有限公司研究院 一种危险预警方法、移动终端及服务器
CN111904806A (zh) * 2020-07-30 2020-11-10 云知声智能科技股份有限公司 导盲系统

Also Published As

Publication number Publication date
TW202230299A (zh) 2022-08-01

Similar Documents

Publication Publication Date Title
TWI686746B (zh) 識別車輛受損部件的方法、裝置、伺服器、客戶端及系統
JP7052663B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN110869936B (zh) 用于自动驾驶车辆中的分布式学习与适应的方法和系统
WO2017193933A1 (zh) 交通事故预警方法及交通事故预警装置
WO2021051601A1 (zh) 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质
JP5747549B2 (ja) 信号機検出装置及びプログラム
CN110785719A (zh) 在自动驾驶车辆中用于经由交叉时态验证的即时物体标记的方法和系统
CN110753953A (zh) 用于自动驾驶车辆中经由交叉模态验证的以物体为中心的立体视觉的方法和系统
KR101165415B1 (ko) 이미지내 생체 얼굴 인식 방법 및 인식 장치
JP5874831B2 (ja) 立体物検出装置
CN110991215B (zh) 车道线检测方法、装置、存储介质及电子设备
Khalifa et al. A novel multi-view pedestrian detection database for collaborative intelligent transportation systems
Karkera et al. Autonomous bot using machine learning and computer vision
CN112947419A (zh) 避障方法、装置及设备
CN114969221A (zh) 一种更新地图的方法及相关设备
Hosseinyalamdary et al. A Bayesian approach to traffic light detection and mapping
KR20200071655A (ko) 교통상황 정보 제공 장치 및 방법
JP2018073275A (ja) 画像認識装置
TWI770779B (zh) 行人導航方法、電子裝置及存儲介質
CN113902047B (zh) 图像元素匹配方法、装置、设备以及存储介质
WO2021047249A1 (zh) 数据预测方法、装置、设备及计算机可读存储介质
CN107844749B (zh) 路面检测方法及装置、电子设备、存储介质
CN116434156A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶系统
JP2020035439A (ja) 画像処理装置、警告システム、画像処理方法及びプログラム
WO2022151147A1 (zh) 一种路沿分割方法、装置、终端设备及可读存储介质