TW202226163A - 人行通道環境評估方法、裝置及電子設備 - Google Patents
人行通道環境評估方法、裝置及電子設備 Download PDFInfo
- Publication number
- TW202226163A TW202226163A TW109146979A TW109146979A TW202226163A TW 202226163 A TW202226163 A TW 202226163A TW 109146979 A TW109146979 A TW 109146979A TW 109146979 A TW109146979 A TW 109146979A TW 202226163 A TW202226163 A TW 202226163A
- Authority
- TW
- Taiwan
- Prior art keywords
- street view
- view image
- color
- neural network
- convolutional neural
- Prior art date
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本發明涉及一種人行通道環境評估方法、裝置及電子設備。所述方法包括：獲取待檢測地區的位置資訊；獲取與待檢測地區的位置資訊對應的街景圖像，其中所述街景圖像中包括多個目標物體；將所述街景圖像輸入到訓練好的卷積神經網路中，並藉由所述訓練好的卷積神經網路處理後輸出對所述街景圖像中的多個目標物體進行分類的特徵向量；及將街景圖像的特徵向量輸入到全卷積神經網路中以對所述特徵向量中屬於同一目標物體的圖元進行顏色標注，並輸出對多個所述目標物體進行顏色標注的街景圖像。
Description
本發明涉及深度學習領域，具體涉及一種人行通道環境評估方法、裝置及電子設備。
在評價宜居地區時，除了房屋本身的條件是重要的參考依據外，房屋周邊的設施與環境同樣是影響房屋選擇的重要因素。例如，房屋周邊的行人道路設施、交通環境、天氣狀況都會改變購房者的意願。因此，在買房預算有限制之下，如何在各個環境與設施之間作權衡則是非常重要的一環。在環境的評估當中，友善的人行通道環境無疑是對當地環境加分的重要指標。然而，目前，還沒有有效的方法輔助人們對人行通道環境是否有障礙物體進行評估。
鑒於以上內容，有必要提出一種人行通道環境評估方法、裝置及電子設備，説明人們對人行通道環境進行評估。
本申請的第一方面提供一種人行通道環境評估方法，所述方法包括：
獲取待檢測地區的位置資訊；
獲取與所述待檢測地區的位置資訊對應的街景圖像，其中所述街景圖像中包括多個目標物體；
將所述街景圖像輸入到訓練好的卷積神經網路中，並藉由所述訓練好的卷積神經網路處理後輸出對所述街景圖像中的多個目標物體進行分類的特徵向量；及
將所述街景圖像的特徵向量輸入到全卷積神經網路中以對所述特徵向量中屬於同一目標物體的圖元進行顏色標注，並輸出對多個所述目標物體進行顏色標注的街景圖像。
優選地，所述獲取待檢測地區的位置資訊包括：
獲取所述待檢測地區的經度與維度作為所述待檢測地區的位置資訊。
優選地，所述獲取與所述待檢測地區的位置資訊對應的街景圖像包括：
獲取分別以90度為旋轉角度取得的與所述待檢測地區的位置資訊對應的四張街景圖像，其中，所述四張街景圖像構成360度全景圖像。
優選地，所述藉由所述訓練好的卷積神經網路處理後輸出對所述街景圖像中的多個目標物體進行分類的特徵向量包括：
利用物件辨識與分割模型將所述卷積神經網路生成的特徵圖的每個點作為大小不同的框的中心點，將每個框與所述街景圖像進行對比確定所述街景圖像中目標物體，並輸出框著所述街景圖像中目標物體的目標框，及對所述目標物體進行分類得到所述特徵向量。
優選地，所述將所述街景圖像的特徵向量輸入到全卷積神經網路中以對所述特徵向量中屬於同一目標物體的圖元進行顏色標注並輸出對多個所述目標物體進行顏色標注的街景圖像包括：
將所述街景圖像的特徵向量輸入到全卷積神經網路中以對所述特徵向量中屬於同一目標物體的圖元進行顏色標注，將具有相同顏色標注的圖元框在一起且具有相同顏色標注的圖元構成同一目標物體，並輸出對每一所述目標物體進行顏色標注的街景圖像。
優選地，所述方法還包括：
從對每一所述目標物體進行顏色標注的街景圖像中識別出目標物體，並藉由文字資訊顯示所述目標物體。
本申請的第二方面提供一種人行通道環境評估裝置，所述裝置包括：
位置資訊獲取模組，用於獲取待檢測地區的位置資訊；
圖像資訊獲取模組，用於獲取與所述待檢測地區的位置資訊對應的街景圖像，其中所述街景圖像中包括多個目標物體；
分類模組，用於將所述街景圖像輸入到訓練好的卷積神經網路中，並藉由所述訓練好的卷積神經網路處理後輸出對所述街景圖像中的多個目標物體進行分類的特徵向量；及
顏色標注模組，用於將所述街景圖像的特徵向量輸入到全卷積神經網路中以對所述特徵向量中屬於同一目標物體的圖元進行顏色標注，並輸出對多個所述目標物體進行顏色標注的街景圖像。
優選地，所述圖像資訊獲取模組獲取分別以90度為旋轉角度取得的與所述待檢測地區的位置資訊對應的四張街景圖像，其中，所述四張街景圖像構成360度全景圖像。
優選地，所述顏色標注模組將所述街景圖像的特徵向量輸入到全卷積神經網路中以對所述特徵向量中屬於同一目標物體的圖元進行顏色標注，將具有相同顏色標注的圖元框在一起且具有相同顏色標注的圖元構成同一目標物體，並輸出對每一所述目標物體進行顏色標注的街景圖像。
本申請的第三方面提供一種電子設備，所述電子設備包括處理器及記憶體，所述處理器用於執行所述記憶體中存儲的電腦程式時實現所述人行通道環境評估方法。
本申請將所述街景圖像的特徵向量輸入到全卷積神經網路中以對所述特徵向量中屬於同一目標物體的圖元進行顏色標注，並輸出對多個所述目標物體進行顏色標注的街景圖像，從而可以從輸出的街景圖像中藉由顏色區分目標物體的分類，從而輔助人們識別人行通道環境中的障礙物體。
為了能夠更清楚地理解本發明的上述目的、特徵和優點，下面結合附圖和具體實施例對本發明進行詳細描述。需要說明的是，在不衝突的情況下，本申請的實施例及實施例中的特徵可以相互組合。
在下面的描述中闡述了很多具體細節以便於充分理解本發明，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
除非另有定義，本文所使用的所有的技術和科學術語與屬於本發明的技術領域的技術人員通常理解的含義相同。本文中在本發明的說明書中所使用的術語只是為了描述具體的實施例的目的，不是旨在於限制本發明。
優選地，本發明人行通道環境評估應用在一個或者多個電子設備中。所述電子設備是一種能夠按照事先設定或存儲的指令，自動進行數值計算和/或資訊處理的設備，其硬體包括但不限於微處理器、專用積體電路(Application Specific Integrated Circuit，ASIC)、可程式設計閘陣列(Field－Programmable Gate Array，FPGA)、數位訊號處理器(Digital Signal Processor，DSP)、嵌入式設備等。
所述電子設備可以是桌上型電腦、筆記型電腦、平板電腦及雲端伺服器等計算設備。所述設備可以與使用者藉由鍵盤、滑鼠、遙控器、觸控板或聲控設備等方式進行人機交互。
實施例1
圖1是本發明一實施方式中人行通道環境評估方法的流程圖。根據不同的需求，所述流程圖中步驟的順序可以改變，某些步驟可以省略。
參閱圖1所示，所述人行通道環境評估具體包括以下步驟：
步驟S11，獲取待檢測地區的位置資訊。
本實施方式中，所述待檢測地區的位置資訊為經度與維度。所述獲取待檢測地區的位置資訊包括：獲取待檢測地區的經度與維度作為所述待檢測地區的位置資訊。在一實施方式中，步驟S11藉由GPS定位裝置獲取待檢測地區的經度與維度作為所述待檢測地區的位置資訊。在另一實施方式中，所述步驟S11提供使用者介面並藉由所述使用者介面接收使用者輸入的位置資訊。本實施方式中，所述待檢測地區可以為商品房、街道周邊區域。
步驟S12，獲取與所述待檢測地區的位置資訊對應的街景圖像，其中所述街景圖像中包括多個目標物體。
本實施方式中，所述獲取與所述待檢測地區的位置資訊對應的街景圖像包括：藉由所述待檢測地區的位置資訊查詢圖片資料庫，並獲取與所述待檢測地區的位置資訊對應的街景圖像，其中，所述圖片資料庫中包括有與不同的位置相對應的街景圖像。本實施方式中，所述街景圖像中包括至少一個目標物體。所述目標物體至少包括公交站牌、路邊的樹、道路、人行道、電線杆、椅子、消防栓、變電箱中的至少一種。需要注意的是，本申請中目標物並不限定為上述的物體，任何出現在人行道上阻礙前進的設施或硬體物件都可以作為本申請中的目標物體。
本實施方式中，所述獲取與所述待檢測地區的位置資訊對應的街景圖像還包括：獲取分別以90度為旋轉角度取得的與所述待檢測地區的位置資訊對應的四張街景圖像，其中，所述四張街景圖像構成360度全景圖像。
步驟S13，將所述街景圖像輸入到訓練好的卷積神經網路中，並藉由所述訓練好的卷積神經網路處理後輸出對所述街景圖像中的多個目標物體進行分類的特徵向量。
本實施方式中，藉由所述訓練好的卷積神經網路處理後輸出對所述街景圖像中的多個目標物體進行分類的特徵向量包括：利用物件辨識與分割模型，將所述卷積神經網路生成的特徵圖的每個點作為大小不同的框的中心點，將每個框與所述街景圖像進行對比確定所述街景圖像中目標物體，並輸出框著所述街景圖像中目標物體的目標框，並對所述目標物體進行分類得到所述特徵向量。本實施方式中，所述卷積神經網路包括卷積層、池化層及全連接層。在具體實施方式中，所述卷積神經網路包括十個卷積層、三個池化層及三個全連接層。
本實施方式中，所述方法還包括對所述卷積神經網路進行訓練的步驟。所述對卷積神經網路進行訓練的步驟包括：利用多個訓練圖像以及每一訓練圖像中進行標記的目標物體建立訓練集；使用所述訓練集對所述卷積神經網路進行訓練得到所述訓練好的卷積神經網路。
本實施方式中，所述使用所述訓練集對所述卷積神經網路進行訓練得到所述訓練好的卷積神經網路包括：藉由卷積神經網路的卷積層將訓練集中的訓練圖像進行卷積運算輸出特徵圖；將卷積層輸出的特徵圖經過池化層進行降維處理，並將經過降維處理的圖像輸入給全連接層，其中全連接層被配置為將進行卷積運算後提取到的圖像特徵進行綜合並輸出所述卷積神經網路的訓練參數和特徵模型，其中，所述特徵模型為訓練圖像的一個抽象特徵表達；判斷所述卷積神經網路是否滿足收斂條件，即判斷特徵模型與預設的標準特徵模型是否一致，其中，當特徵模型與預設的標準特徵模型一致時確定卷積神經網路滿足收斂條件，否則確定卷積神經網路不滿足收斂條件，其中所述預設的標準特徵模型為所述訓練圖像中標記的目標物體；當特徵模型與預設的標準特徵模型相匹配時則輸出特徵模型；及當特徵模型不滿足結束條件時反向傳播調整卷積神經網路的權矩陣。
本實施方式中，在卷積神經網路的訓練過程中，若輸出的特徵模型與標準特徵模型之間存在誤差，則藉由反向傳播將誤差資訊沿原來的路徑反傳，從而修正各層(例如，卷積層和池化層)的訓練參數，訓練參數例如可以包括加權值和偏置，然後利用修正後的卷積層和池化層重新對訓練資料進行卷積運算，直到特徵模型滿足結束條件為止。本實施方式中，在進行卷積運算時，可以對所述訓練圖像應用多個特徵映射圖，從而獲取訓練圖像的特徵，其中，每個特徵映射圖提取出訓練圖像的一種特徵。
步驟S14，將所述街景圖像的特徵向量輸入到全卷積神經網路中以對所述特徵向量中屬於同一目標物體的圖元進行顏色標注，並輸出對多個所述目標物體進行顏色標注的街景圖像。
本實施方式中，所述將所述街景圖像的特徵向量輸入到全卷積神經網路中以對所述特徵向量中屬於同一目標物體的圖元進行顏色標注並輸出對多個所述目標物體進行顏色標注的街景圖像包括：將所述街景圖像的特徵向量輸入到全卷積神經網路中以對所述特徵向量中屬於同一目標物體的圖元進行顏色標注，將具有相同顏色標注的圖元框在一起且具有相同顏色標注的圖元構成同一目標物體，並輸出對每一所述目標物體進行顏色標注的街景圖像。
本實施方式中，所述方法還包括：從對每一所述目標物體進行顏色標注的街景圖像中識別出目標物體，並藉由文字資訊顯示所述目標物體。
本申請將所述街景圖像的特徵向量輸入到全卷積神經網路中以對所述特徵向量中屬於同一目標物體的圖元進行顏色標注，並輸出對多個所述目標物體進行顏色標注的街景圖像，從而可以從輸出的街景圖像中藉由顏色區分目標物體的分類，從而輔助人們識別人行通道環境中的障礙物體。
實施例2
圖2為本發明一實施方式中人行通道環境評估裝置30的結構圖。
在一些實施例中，所述人行通道環境評估裝置30可以包括多個由程式碼段所組成的功能模組。所述人行通道環境評估裝置30中的各個程式段的程式碼可以存儲於記憶體中，並由至少一個處理器所執行，以執行基於區塊鏈的交易功能。
本實施例中，所述人行通道環境評估裝置30根據其所執行的功能，可以被劃分為多個功能模組。參閱圖2所示，所述人行通道環境評估裝置30可以包括位置資訊獲取模組301、圖像資訊獲取模組302、分類模組303、訓練模組304、顏色標注模組305及顯示模組306。本發明所稱的模組是指一種能夠被至少一個處理器所執行並且能夠完成固定功能的一系列電腦程式段，其存儲在記憶體中。所述在一些實施例中，關於各模組的功能將在後續的實施例中詳述。
所述獲取模組301獲取待檢測地區的位置資訊。
本實施方式中，所述待檢測地區的位置資訊為經度與維度。所述獲取模組301獲取待檢測地區的經度與維度作為所述待檢測地區的位置資訊。在一實施方式中，所述獲取模組301藉由GPS定位裝置獲取待檢測地區的經度與維度作為所述待檢測地區的位置資訊。在另一實施方式中，所述獲取模組301提供使用者介面並藉由所述使用者介面接收使用者輸入的位置資訊。本實施方式中，所述待檢測地區可以為商品房、街道周邊區域。
所述圖像資訊獲取模組302獲取與所述待檢測地區的位置資訊對應的街景圖像，其中所述街景圖像中包括多個目標物體。
本實施方式中，所述圖像資訊獲取模組302藉由所述待檢測地區的位置資訊查詢圖片資料庫，並獲取與所述待檢測地區的位置資訊對應的街景圖像，其中，所述圖片資料庫中包括有與不同的位置相對應的街景圖像。本實施方式中，所述街景圖像中包括至少一個目標物體。所述目標物體至少包括公交站牌、路邊的樹、道路、人行道、電線杆、椅子、消防栓、變電箱中的至少一種。需要注意的是，本申請中目標物並不限定為上述的物體，任何出現在人行道上阻礙前進的設施或硬體物件都可以作為本申請中的目標物體。
本實施方式中，所述圖像資訊獲取模組302獲取分別以90度為旋轉角度取得的與所述待檢測地區的位置資訊對應的四張街景圖像，其中，所述四張街景圖像構成360度全景圖像。
所述分類模組303將所述街景圖像輸入到訓練好的卷積神經網路中，並藉由所述訓練好的卷積神經網路處理後輸出對所述街景圖像中的多個目標物體進行分類的特徵向量。
本實施方式中，所述分類模組303利用物件辨識與分割模型，將所述卷積神經網路生成的特徵圖的每個點作為大小不同的框的中心點，將每個框與所述街景圖像進行對比確定所述街景圖像中目標物體，並輸出框著所述街景圖像中目標物體的目標框，並對所述目標物體進行分類得到所述特徵向量。本實施方式中，所述卷積神經網路包括卷積層、池化層及全連接層。在具體實施方式中，所述卷積神經網路包括十個卷積層、三個池化層及三個全連接層。
本實施方式中，所述訓練模組304對卷積神經網路進行訓練。具體的，所述訓練模組304利用多個訓練圖像以及每一訓練圖像中進行標記的目標物體建立訓練集；使用所述訓練集對所述卷積神經網路進行訓練得到所述訓練好的卷積神經網路。
本實施方式中，所述訓練模組304使用所述訓練集對所述卷積神經網路進行訓練得到所述訓練好的卷積神經網路包括：藉由卷積神經網路的卷積層將訓練集中的訓練圖像進行卷積運算輸出特徵圖；將卷積層輸出的特徵圖經過池化層進行降維處理，並將經過降維處理的圖像輸入給全連接層，其中全連接層被配置為將進行卷積運算後提取到的圖像特徵進行綜合並輸出所述卷積神經網路的訓練參數和特徵模型，其中，所述特徵模型為訓練圖像的一個抽象特徵表達；判斷所述卷積神經網路是否滿足收斂條件，即判斷特徵模型與預設的標準特徵模型是否一致，其中，當特徵模型與預設的標準特徵模型一致時確定卷積神經網路滿足收斂條件，否則確定卷積神經網路不滿足收斂條件，其中所述預設的標準特徵模型為所述訓練圖像中標記的目標物體；當特徵模型與預設的標準特徵模型相匹配時則輸出特徵模型；及當特徵模型不滿足結束條件時反向傳播調整卷積神經網路的權矩陣。
本實施方式中，在卷積神經網路的訓練過程中，若輸出的特徵模型與標準特徵模型之間存在誤差，則藉由反向傳播將誤差資訊沿原來的路徑反傳，從而修正各層(例如，卷積層和池化層)的訓練參數，訓練參數例如可以包括加權值和偏置，然後利用修正後的卷積層和池化層重新對訓練資料進行卷積運算，直到特徵模型滿足結束條件為止。本實施方式中，在進行卷積運算時，可以對所述訓練圖像應用多個特徵映射圖，從而獲取訓練圖像的特徵，其中，每個特徵映射圖提取出訓練圖像的一種特徵。
所述顏色標注模組305將所述街景圖像的特徵向量輸入到全卷積神經網路中以對所述特徵向量中屬於同一目標物體的圖元進行顏色標注，並輸出對多個所述目標物體進行顏色標注的街景圖像。
本實施方式中，所述顏色標注模組305將所述街景圖像的特徵向量輸入到全卷積神經網路中以對所述特徵向量中屬於同一目標物體的圖元進行顏色標注，將具有相同顏色標注的圖元框在一起且具有相同顏色標注的圖元構成同一目標物體，並輸出對每一所述目標物體進行顏色標注的街景圖像。
所述顯示模組306從對每一所述目標物體進行顏色標注的街景圖像中識別出目標物體，並藉由文字資訊顯示所述目標物體。
本申請將所述街景圖像的特徵向量輸入到全卷積神經網路中以對所述特徵向量中屬於同一目標物體的圖元進行顏色標注，並輸出對多個所述目標物體進行顏色標注的街景圖像，從而可以從輸出的街景圖像中藉由顏色區分目標物體的分類，從而輔助人們識別人行通道環境中的障礙物體。
實施例3
圖3為本發明一實施方式中電子設備6的示意圖。
所述電子設備6包括記憶體61、處理器62以及存儲在所述記憶體61中並可在所述處理器62上運行的電腦程式63。所述處理器62執行所述電腦程式63時實現上述人行通道環境評估方法實施例中的步驟，例如圖1所示的步驟S11~S14。或者，所述處理器62執行所述電腦程式63時實現上述人行通道環境評估裝置實施例中各模組/單元的功能，例如圖2中的模組301~306。
示例性的，所述電腦程式63可以被分割成一個或多個模組/單元，所述一個或者多個模組/單元被存儲在所述記憶體61中，並由所述處理器62執行，以完成本發明。所述一個或多個模組/單元可以是能夠完成特定功能的一系列電腦程式指令段，所述指令段用於描述所述電腦程式63在所述電子設備6中的執行過程。例如，所述電腦程式63可以被分割成圖2中的位置資訊獲取模組301、圖像資訊獲取模組302、分類模組303、訓練模組304、顏色標注模組305及顯示模組306，各模組具體功能參見實施例2。
本實施方式中，所述電子設備6可以為電腦、伺服器等裝置。本領域技術人員可以理解，所述示意圖僅僅是電子設備6的示例，並不構成對電子設備6的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件，例如所述電子設備6還可以包括輸入輸出設備、網路接入設備、匯流排等。
所稱處理器62可以是中央處理模組(Central Processing Unit，CPU)，還可以是其他通用處理器、數位訊號處理器 (Digital Signal Processor，DSP)、專用積體電路 (Application Specific Integrated Circuit，ASIC)、現場可程式設計閘陣列 (Field-Programmable Gate Array，FPGA) 或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。通用處理器可以是微處理器或者所述處理器62也可以是任何常規的處理器等，所述處理器62是所述電子設備6的控制中心，利用各種介面和線路連接整個電子設備6的各個部分。
所述記憶體61可用於存儲所述電腦程式63和/或模組/單元，所述處理器62藉由運行或執行存儲在所述記憶體61內的電腦程式和/或模組/單元，以及調用存儲在記憶體61內的資料，實現所述電子設備6的各種功能。所述記憶體61可主要包括存儲程式區和存儲資料區，其中，存儲程式區可存儲作業系統、至少一個功能所需的應用程式（比如聲音播放功能、圖像播放功能等）等；存儲資料區可存儲根據電子設備6的使用所創建的資料（比如音訊資料、電話本等）等。此外，記憶體61可以包括高速隨機存取記憶體，還可以包括非易失性記憶體，例如硬碟、記憶體、插接式硬碟，智慧存儲卡（Smart Media Card, SMC），安全數位（Secure Digital, SD）卡，快閃記憶體卡（Flash Card）、至少一個磁碟記憶體件、快閃記憶體器件、或其他易失性固態記憶體件。
所述電子設備6集成的模組/單元如果以軟體功能模組的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個電腦可讀取存儲介質中。基於這樣的理解，本發明實現上述實施例方法中的全部或部分流程，也可以藉由電腦程式來指令相關的硬體來完成，所述的電腦程式可存儲於一電腦可讀存儲介質中，所述電腦程式在被處理器執行時，可實現上述各個方法實施例的步驟。其中，所述電腦程式包括電腦程式代碼，所述電腦程式代碼可以為原始程式碼形式、物件代碼形式、可執行檔或某些中間形式等。所述電腦可讀介質可以包括：能夠攜帶所述電腦程式代碼的任何實體或裝置、記錄介質、隨身碟、移動硬碟、磁碟、光碟、電腦記憶體、唯讀記憶體（ROM，Read-Only Memory）、隨機存取記憶體（RAM，Random Access Memory）、電載波信號、電信信號以及軟體分發介質等。需要說明的是，所述電腦可讀介質包含的內容可以根據司法管轄區內立法和專利實踐的要求進行適當的增減，例如在某些司法管轄區，根據立法和專利實踐，電腦可讀介質不包括電載波信號和電信信號。
在本發明所提供的幾個實施例中，應該理解到，所揭露的電子設備和方法，可以藉由其它的方式實現。例如，以上所描述的電子設備實施例僅僅是示意性的，例如，所述模組的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。
另外，在本發明各個實施例中的各功能模組可以集成在相同處理模組中，也可以是各個模組單獨物理存在，也可以兩個或兩個以上模組集成在相同模組中。上述集成的模組既可以採用硬體的形式實現，也可以採用硬體加軟體功能模組的形式實現。
對於本領域技術人員而言，顯然本發明不限於上述示範性實施例的細節，而且在不背離本發明的精神或基本特徵的情況下，能夠以其他的具體形式實現本發明。因此，無論從哪一點來看，均應將實施例看作是示範性的，而且是非限制性的，本發明的範圍由所附請求項而不是上述說明限定，因此旨在將落在申請專利範圍的等同要件的含義和範圍內的所有變化涵括在本發明內。不應將申請專利範圍中的任何附圖標記視為限制所涉及的申請專利範圍。此外，顯然“包括”一詞不排除其他模組或步驟，單數不排除複數。電子設備申請專利範圍中陳述的多個模組或電子設備也可以由同一個模組或電子設備藉由軟體或者硬體來實現。第一，第二等詞語用來表示名稱，而並不表示任何特定的順序。
綜上所述，本發明符合發明專利要件，爰依法提出專利申請。惟，以上所述僅為本發明之較佳實施方式，舉凡熟悉本案技藝之人士，在援依本案創作精神所作之等效修飾或變化，皆應包含於以下之申請專利範圍內。
30:人行通道環境評估裝置
301:位置資訊獲取模組
302:圖像資訊獲取模組
303:分類模組
304:訓練模組
305:顏色標注模組
306:顯示模組
6:電子設備
61:記憶體
62:處理器
63:電腦程式
S11~S14:步驟
圖1為本發明一實施方式中人行通道環境評估方法的流程圖。
圖2為本發明一實施方式中人行通道環境評估裝置的結構圖。
圖3為本發明一實施方式中電子設備的示意圖。
S11~S14:步驟
Claims (10)
- 一種人行通道環境評估方法，其改良在於，所述方法包括： 獲取待檢測地區的位置資訊； 獲取與所述待檢測地區的位置資訊對應的街景圖像，其中所述街景圖像中包括多個目標物體； 將所述街景圖像輸入到訓練好的卷積神經網路中，並藉由所述訓練好的卷積神經網路處理後輸出對所述街景圖像中的多個目標物體進行分類的特徵向量；及 將所述街景圖像的特徵向量輸入到全卷積神經網路中以對所述特徵向量中屬於同一目標物體的圖元進行顏色標注，並輸出對多個所述目標物體進行顏色標注的街景圖像。
- 如請求項1所述的人行通道環境評估方法，其中，所述獲取待檢測地區的位置資訊包括： 獲取所述待檢測地區的經度與維度作為所述待檢測地區的位置資訊。
- 如請求項1所述的人行通道環境評估方法，其中，所述獲取與所述待檢測地區的位置資訊對應的街景圖像包括： 獲取分別以90度為旋轉角度取得的與所述待檢測地區的位置資訊對應的四張街景圖像，其中，所述四張街景圖像構成360度全景圖像。
- 如請求項1所述的人行通道環境評估方法，其中，所述藉由所述訓練好的卷積神經網路處理後輸出對所述街景圖像中的多個目標物體進行分類的特徵向量包括： 利用物件辨識與分割模型將所述卷積神經網路生成的特徵圖的每個點作為大小不同的框的中心點，將每個框與所述街景圖像進行對比確定所述街景圖像中目標物體，並輸出框著所述街景圖像中目標物體的目標框，及對所述目標物體進行分類得到所述特徵向量。
- 如請求項1所述的人行通道環境評估方法，其中，所述將所述街景圖像的特徵向量輸入到全卷積神經網路中以對所述特徵向量中屬於同一目標物體的圖元進行顏色標注並輸出對多個所述目標物體進行顏色標注的街景圖像包括： 將所述街景圖像的特徵向量輸入到全卷積神經網路中以對所述特徵向量中屬於同一目標物體的圖元進行顏色標注，將具有相同顏色標注的圖元框在一起且具有相同顏色標注的圖元構成同一目標物體，並輸出對每一所述目標物體進行顏色標注的街景圖像。
- 如請求項1所述的人行通道環境評估方法，其中，所述方法還包括： 從對每一所述目標物體進行顏色標注的街景圖像中識別出目標物體，並藉由文字資訊顯示所述目標物體。
- 一種人行通道環境評估裝置，其改良在於，所述裝置包括： 位置資訊獲取模組，用於獲取待檢測地區的位置資訊； 圖像資訊獲取模組，用於獲取與所述待檢測地區的位置資訊對應的街景圖像，其中所述街景圖像中包括多個目標物體； 分類模組，用於將所述街景圖像輸入到訓練好的卷積神經網路中，並藉由所述訓練好的卷積神經網路處理後輸出對所述街景圖像中的多個目標物體進行分類的特徵向量；及 顏色標注模組，用於將所述街景圖像的特徵向量輸入到全卷積神經網路中以對所述特徵向量中屬於同一目標物體的圖元進行顏色標注，並輸出對多個所述目標物體進行顏色標注的街景圖像。
- 如請求項7所述的人行通道環境評估裝置，其中，所述圖像資訊獲取模組獲取分別以90度為旋轉角度取得的與所述待檢測地區的位置資訊對應的四張街景圖像，其中，所述四張街景圖像構成360度全景圖像。
- 如請求項7所述的人行通道環境評估裝置，其中，所述顏色標注模組將所述街景圖像的特徵向量輸入到全卷積神經網路中以對所述特徵向量中屬於同一目標物體的圖元進行顏色標注，將具有相同顏色標注的圖元框在一起且具有相同顏色標注的圖元構成同一目標物體，並輸出對每一所述目標物體進行顏色標注的街景圖像。
- 一種電子設備，其改良在於：所述電子設備包括處理器及記憶體，所述處理器用於執行所述記憶體中存儲的電腦程式時實現如請求項1至6中任一項所述人行通道環境評估方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109146979A TWI764489B (zh) | 2020-12-30 | 2020-12-30 | 人行通道環境評估方法、裝置及電子設備 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109146979A TWI764489B (zh) | 2020-12-30 | 2020-12-30 | 人行通道環境評估方法、裝置及電子設備 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI764489B TWI764489B (zh) | 2022-05-11 |
| TW202226163A true TW202226163A (zh) | 2022-07-01 |
Family
ID=82594098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109146979A TWI764489B (zh) | 2020-12-30 | 2020-12-30 | 人行通道環境評估方法、裝置及電子設備 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI764489B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI846614B (zh) * | 2023-04-27 | 2024-06-21 | 旺宏電子股份有限公司 | 全景感知系統、方法及其非暫態電腦可讀取媒體 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115359346B (zh) * | 2022-10-19 | 2023-03-07 | 北京市城市规划设计研究院 | 基于街景图片的小微空间识别方法、装置及电子设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI536280B (zh) * | 2015-06-17 | 2016-06-01 | 元智大學 | 街景影像之文字區域偵測系統及裝置 |
| CN105184260B (zh) * | 2015-09-10 | 2019-03-08 | 北京大学 | 一种图像特征提取方法及行人检测方法及装置 |
| WO2018017793A1 (en) * | 2016-07-21 | 2018-01-25 | Intelligent Technologies International, Inc. | System and method for creating, updating, and using maps generated by probe vehicles |
| TW201828166A (zh) * | 2017-01-24 | 2018-08-01 | 阿里巴巴集團服務有限公司 | 旅遊攻略產生方法和產生系統 |
| CN109002784B (zh) * | 2018-06-29 | 2021-04-13 | 国信优易数据股份有限公司 | 街景识别方法和系统 |
-
2020
- 2020-12-30 TW TW109146979A patent/TWI764489B/zh active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI846614B (zh) * | 2023-04-27 | 2024-06-21 | 旺宏電子股份有限公司 | 全景感知系統、方法及其非暫態電腦可讀取媒體 |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI764489B (zh) | 2022-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Majidifard et al. | Pavement image datasets: A new benchmark dataset to classify and densify pavement distresses | |
| JP6919743B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| WO2016199474A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| TWI764489B (zh) | 人行通道環境評估方法、裝置及電子設備 | |
| WO2021203882A1 (zh) | 姿态检测及视频处理方法、装置、电子设备和存储介质 | |
| CN112132032A (zh) | 交通标志牌检测方法、装置、电子设备及存储介质 | |
| Lu et al. | Multi-scale feature progressive fusion network for remote sensing image change detection | |
| Taşyürek | ODRP: a new approach for spatial street sign detection from EXIF using deep learning-based object detection, distance estimation, rotation and projection system | |
| US20240037911A1 (en) | Image classification method, electronic device, and storage medium | |
| Yuan et al. | Using street view images and a geographical detector to understand how street-level built environment is associated with urban poverty: A case study in Guangzhou | |
| CN114663871A (zh) | 图像识别方法、训练方法、装置、系统及存储介质 | |
| CN116977248A (zh) | 图像处理方法、装置、智能设备、存储介质及产品 | |
| US20220207879A1 (en) | Method for evaluating environment of a pedestrian passageway and electronic device using the same | |
| Strain et al. | Computer vision for rapid updating of the highway asset inventory | |
| Li et al. | Urban infrastructure audit: an effective protocol to digitize signalized intersections by mining street view images | |
| CN110287350A (zh) | 图像检索方法、装置及电子设备 | |
| Hong et al. | Mapping built environments from UAV imagery: a tutorial on mixed methods of deep learning and GIS | |
| Tian et al. | Performance analysis of deep learning-based object detection algorithms on COCO benchmark: a comparative study | |
| Ito et al. | Translating street view imagery to correct perspectives to enhance bikeability and walkability studies | |
| Matouq et al. | AI-Driven Approach for Automated Real-Time Pothole Detection, Localization, and Area Estimation | |
| Li et al. | Protocol for assessing neighborhood physical disorder using the YOLOv8 deep learning model | |
| CN112132031B (zh) | 车款识别方法、装置、电子设备及存储介质 | |
| US20220044150A1 (en) | Systems, methods, and apparatus to classify personalized data | |
| CN113269730B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN107084728A (zh) | 用于检测数字地图的方法和装置 |