TWI758970B

TWI758970B - 可移動障礙物位置判斷方法、裝置、電子設備及系統

Info

Publication number: TWI758970B
Application number: TW109141218A
Authority: TW
Inventors: 張粵; 郭錦斌; 孫國欽
Original assignee: 鴻海精密工業股份有限公司
Priority date: 2020-11-24
Filing date: 2020-11-24
Publication date: 2022-03-21
Also published as: TW202221636A

Abstract

一種可移動障礙物位置判斷方法，包括獲取道路圖像，對道路圖像進行影像處理，輸出分割圖，判斷所述分割圖中的類別是否包括人行道類別，如是，判斷分割圖中的類別是否包括可移動障礙物類別，如是，確定分割圖上所述可移動障礙物類別周圍的鄰近圖元點，統計鄰近圖元點所屬物件的類別及鄰近圖元點上每個類別的圖元點數量，根據預設閾值、鄰近圖元點所屬物件的類別及鄰近圖元點上每個類別的圖元點數量確定可移動障礙物類別對應的可移動障礙物物件的位置。實現判斷出人行道上是否存在障礙物，本申請還提供一種裝置、電子設備及系統。

Description

可移動障礙物位置判斷方法、裝置、電子設備及系統

本發明涉及一種影像處理技術領域，尤其涉及一種可移動障礙物位置判斷方法、裝置、電子設備及系統。

行人安全日益成為社會普遍關注的問題，其中人行道上的障礙物是影響行人安全的重要因素之一。有一些城市，人行道上設有自行車道和盲人道，則在這樣的人行道上除了行人還有自行車，還有一些城市，人行道上除了行走的行人，還會存在一些可移動的障礙物，例如，小吃攤販車、摩托車等。對於老年人或視覺感官不良的行人，行走在上述的人行道都存在安全隱患。

針對現有技術存在的不足之處，本申請實施方式提供的一種可移動障礙物位置判斷方法、裝置、電子設備及系統，可以為行人排除安全隱患。

本申請一實施方式提供一種可移動障礙物位置判斷方法，包括：獲取道路圖像；對所述道路圖像進行影像處理，輸出分割圖，其中，所述分割圖包括所述道路圖像中各個圖元點所屬物件對應的類別；判斷所述分割圖中的類別是否包括人行道類別；若所述分割圖中的類別包括人行道類別，判斷所述分割圖中的類別是否包括可移動障礙物類別；若所述分割圖中的類別包括可移動障礙物類別，確定所述分割圖上所述可移動障礙物類別周圍的鄰近圖元點；統計所述鄰近圖元點所屬物件的類別及所述鄰近圖元點上每個類別的圖元點數量；以及，根據預設閾值、所述鄰近圖元點所屬物件的類別及所述鄰近圖元點上每個類別的圖元點數量確定所述可移動障礙物類別對應的可移動障礙物物件的位置。

根據本申請的一些實施方式，所述鄰近圖元點所屬物件的類別包括人行道物件對應的人行道類別和/或車行道物件對應的車行道類別和/或中間道類別，其中，所述中間道類別包括所述人行道物件和所述車行道物件之間的中間道物件所對應的類別。

根據本申請的一些實施方式，在所述根據預設閾值、所述鄰近像素點所屬物件的類別及所述鄰近圖元點上每個類別的圖元點數量確定所述可移動障礙物類別對應的可移動障礙物物件的位置之前，還包括：根據所述分割圖上所述可移動障礙物類別的狀態資訊獲取對應的預設閾值，其中，所述狀態資訊包括所述可移動障礙物物件的形狀和/或大小。

根據本申請的一些實施方式，所述根據預設閾值、所述鄰近圖元點所屬物件的類別及所述鄰近圖元點上每個類別的圖元點數量確定所述可移動障礙物類別對應的可移動障礙物物件的位置包括：在所述鄰近圖元點所屬物件的類別包括車行道類別時，判斷其像素點數量是否達到所述預設閾值；若車行道類別圖元點數量達到所述預設閾值，確定所述可移動障礙物對象所屬位置不包括所述人行道對象；和/或，在所述鄰近圖元點所屬物件的類別包括所述中間道類別時，判斷其圖元點數量是否達到所述預設閾值；若中間道類別圖元點數量達到所述預設閾值，確定所述可移動障礙物所屬位置不包括所述人行道對象。

根據本申請的一些實施方式，所述根據預設閾值、所述鄰近圖元點所屬物件的類別及所述鄰近圖元點上每個類別的圖元點數量確定所述可移動障礙物的位置包括：在所述鄰近圖元點所屬物件的類別包括所述人行道類別時，獲取所述預設閾值，其中所述預設閾值包括所述鄰近圖元點的數量；判斷所述人行道類別對應的圖元點數量是否達到所述預設閾值；若人行道類別圖元點數量達到所述預設閾值，確定所述可移動障礙物對象所屬位置包括所述人行道對象。

根據本申請的一些實施方式，所述確定所述分割圖上所述可移動障礙物周圍的鄰近圖元點包括：獲取所述分割圖上所述可移動障礙物邊緣的圖元點；根據所述可移動障礙物邊緣的圖元點，確定所述可移動障礙物周圍的鄰近圖元點。

根據本申請的一些實施方式，所述對所述道路圖像進行影像處理輸出分割圖包括：獲取根據訓練集訓練完成的圖像語義分割網路，其中，所述訓練集包括包含標注資訊的訓練圖像；將所述道路圖像輸入所述圖像語義分割網路進行圖像語義分割；獲取所述圖像語義分割網路輸出的分割圖。

本申請一實施方式提供一種可移動障礙物位置判斷裝置，包括：圖像獲取模組，用於獲取道路圖像；模型處理模組，用於對所述道路圖像進行影像處理，輸出分割圖，其中，所述分割圖包括所述道路圖像中各個圖元點所屬物件對應的類別；判斷模組，還用於判斷所述分割圖中的類別是否包括人行道類別，如是，判斷所述分割圖中的類別是否包括可移動障礙物類別，如是，確定所述分割圖上所述可移動障礙物類別周圍的鄰近圖元點；統計模組，還用於統計所述鄰近圖元點所屬物件的類別及所述鄰近圖元點上每個類別的圖元點數量；障礙確定模組，用於根據預設閾值、所述鄰近圖元點所屬物件的類別及所述鄰近圖元點上每個類別的圖元點數量確定所述可移動障礙物類別對應的可移動障礙物物件的位置。

本申請一實施方式提供一種電子設備，所述電子設備包括：一個或多個處理器；當一個或多個程式被所述一個或多個處理器執行，使得所述一個或多個處理器實現如上所述的可移動障礙物位置判斷方法。

本申請一實施方式提供一種可移動障礙物位置判斷系統，包括攝影裝置、輸出裝置和如上所述的電子設備；攝影裝置，用於對道路進行拍攝，以獲取道路圖像；所述電子設備，用於對所述道路圖像進行影像處理，以確定可移動障礙物物件的位置；輸出裝置，用於輸出所述可移動障礙物物件的位置。

本申請實施方式提供的可移動障礙物位置判斷方法、裝置、電子設備及系統，首先獲取道路圖像，對所述道路圖像進行影像處理，輸出分割圖，其中，所述分割圖包括所述道路圖像中各個圖元點所屬物件對應的類別，判斷所述分割圖中的類別是否包括人行道類別，如是，判斷所述分割圖中的類別是否包括可移動障礙物類別，如是，確定所述分割圖上所述可移動障礙物類別周圍的鄰近圖元點，統計所述鄰近圖元點所屬物件的類別及所述鄰近圖元點上每個類別的圖元點數量，根據預設閾值、所述鄰近圖元點所屬物件的類別及所述鄰近圖元點上每個類別的圖元點數量確定所述可移動障礙物類別對應的可移動障礙物物件的位置。實現判斷出人行道上是否存在障礙物，並準確判斷出可移動障礙物的位置，有助行人通行。

400:可移動障礙物位置判斷系統

100:電子設備

200:攝影裝置

300:輸出裝置

10:可移動障礙物位置判斷裝置

11:輸入裝置

12:處理器

圖1是根據本申請一實施方式的可移動障礙物位置判斷系統的方框圖。

圖2是根據本申請一實施方式的電子設備的示意圖。

圖3是根據本申請一實施方式的可移動障礙物位置判斷方法流程圖。

圖4是根據本申請一實施方式的影像處理方法流程圖。

圖5是根據本申請一實施方式的分割圖的示意圖。

圖6是根據本申請一實施方式的確定鄰近圖元點方法流程圖。

圖7是根據本申請一實施方式的可移動障礙物的位置示意圖。

圖8是根據本申請一實施方式的可移動障礙物位置判斷裝置的方框圖。

下面將結合本申請實施方式中的附圖，對本申請實施方式中的技術方案進行清楚、完整地描述，顯然，所描述的實施方式是本申請一部分實施方式，而不是全部的實施方式。

基於本申請中的實施方式，本領域普通技術人員在沒有付出創造性勞動前提下所獲得的所有其他實施方式，都是屬於本申請保護的範圍。

請參閱圖1，本申請的實施方式提供一種可移動障礙物位置判斷系統400，包括電子設備100、攝影裝置200及輸出裝置300。

所述攝影裝置200用於對道路進行拍攝，以獲取道路圖像。在本申請實施例中，所述攝影裝置200可以包括相機，通過相機週期性地(例如每隔約1毫秒至約200毫秒)拍攝前方的道路圖像並將所述道路圖像發送到所述電子設備100。

所述電子設備100用於對所述道路圖像進行影像處理，以確定可移動障礙物物件的位置。請參閱圖2，可移動障礙物位置判斷裝置10運行於電子設備100中。所述電子設備100包括，但不僅限於，輸入裝置11以及至少一個處理器12，上述元件之間可以通過匯流排連接。需要說明的是，圖2僅為舉例說明電子設備100。在其他實施方式中，電子設備100也可以包括更多或者更少的元件，或者具有不同的元件配置。所述電子設備100可以包括各種物聯網或互聯網終端或設備，可以包括手機、智慧手錶、可穿戴設備等等。

在一個實施方式中，所述輸入裝置11用於獲取道路圖像，所述可移動障礙物位置判斷裝置10與所述輸入裝置11邏輯相連，從而通過所述可移動障礙物位置判斷裝置10對輸入裝置11輸出的道路圖像進行處理。所述處理器12與所述輸入裝置11相連，對輸入的道路圖像進行影像處理。

本申請實施例中的所述可移動障礙物位置判斷裝置10可以實現為用戶端或外掛程式，用戶端可以包括至少一個應用程式，該用戶端能夠運行在電子設備100上，從而實現本申請實施例的可移動障礙物位置判斷方法。外掛程式可以包括運行在電子設備100的應用程式中，從而可以實現本申請實施例提供的可移動障礙物位置判斷方法。

所述輸出裝置300用於輸出所述可移動障礙物物件的位置。在本申請實施例中，所述輸出裝置300可以包括語音播放機、顯示器，以通過音訊或視頻輸出所述可移動障礙物位置判斷裝置10確定的所述可移動障礙物物件的位置，進而使得使用者根據所述輸出裝置300輸出的資訊確定行走路徑，為使用者排除安全隱患。

在其中一種可能實現方式中，所述輸出裝置300還可以根據所述可移動障礙物物件的位置輸出當前適於使用者行走的路徑，為使用者導航。

在其中一種可能實現方式中，所述可移動障礙物位置判斷系統中的電子設備100、攝影裝置200及輸出裝置300可以集成設置或分佈設置，例如，以電子設備100為可穿戴設備進行說明，在可穿戴設備上集成安裝有相機及語音播放機，使用者穿戴上所述可穿戴設備行走於路上時，所述相機拍攝前方道路，將拍攝到的道路圖像通過輸入裝置11傳輸給可移動障礙物位置判斷裝置10，所述可移動障礙物位置判斷裝置10進行影像處理，輸出可移動障礙物位置給所述語音播放機，所述語音播放機將可移動障礙物位置通過語音播放給使用者。

請參閱圖3，圖3為根據本申請一實施方式的可移動障礙物位置判斷方法的流程圖。其中，可移動障礙物位置判斷方法包括以下步驟：

步驟S00：獲取道路圖像。在本申請實施例中，所述道路圖像可以是通過相機拍攝得到的原始圖像，也可以是經過圖像預處理的圖像，本申請對此不作具體限定。

步驟S10：對所述道路圖像進行影像處理，輸出分割圖，其中，所述分割圖包括所述道路圖像中各個圖元點所屬物件對應的類別。在本申請實施例中，對所述道路圖像進行影像處理可以包括圖像預處理的操作及圖像語義分割處理的操作，或，對所述道路圖像進行影像處理僅包括圖像語義分割處理的操作，本申請對此不作具體限定。

根據本申請的一些實施方式，請參閱圖4，所述步驟S10對所述道路圖像進行影像處理，輸出分割圖包括：

步驟S11：獲取根據訓練集訓練完成的圖像語義分割網路，所述訓練集包括包含標注資訊的訓練圖像。在本申請實施例中，所述圖像語義分割網路進行特徵提取和物件分割，其中，實現特徵提取的網路包括，但不僅限於，VGG模型(Visual Geometry Group Network)、Mobilenet、殘差網路(Resnet)，實現物件分割的網路包括，但不限於全卷積網路(Fully Convolutional Networks)及全連接條件隨機場(Fully Connected/Dense CRF)，通過上述兩種操作配合可以實現對道路圖像不同物件的分割。通過訓練集及測試集對圖像語義分割網路進行訓練，獲得訓練好的圖像語義分割網路。

在本申請實施例中，所述訓練集中包含標注資訊的訓練圖像是人為對道路圖像進行標注，可以將道路圖像中人行道上不該出現的可移動的交通工具設置為可移動障礙物，例如，將自行車、摩托車及小吃攤販車標注為可移動障礙物，將道路圖像中人行道物件標注為人行道，將道路圖像中行車道物件標注為行車道，將道路圖像中行車道物件與人行道物件之間的中間道物件標注為中間道。

步驟S12：將所述道路圖像輸入所述圖像語義分割網路進行圖像語義分割。

在本申請實施例中，所述圖像語義分割指圖元級地識別圖像，即標注出圖像中每個圖元點所屬的物件的類別，目標是預測出圖像中每一個圖元的類標籤。

可以理解的是，所述道路圖像可以是RGB圖像或是灰度圖，將 RGB圖像或是灰度圖輸入所述圖像語義分割網路，輸出分割圖，其中，分割圖包括所述道路圖像中各個圖元點所屬物件對應的類別，例如，將人行道物件所對應的人行道類別以標籤1表示，中間道物件所對應的中間道類別設置以標籤2表示，行車道物件所對應的行車道類別設置以標籤3表示，可移動障礙物物件所對應的可移動障礙物類別以標籤4表示。

步驟S13：獲取所述圖像語義分割網路輸出的分割圖。

示例性地，請參閱圖5，所述分割圖中包括所述道路圖像中各個圖元點所屬物件對應的類別標籤，在A區域內對應的是人行道類別，包括了標籤1，在B區域對應的是中間道類別，包括了標籤2，在C區域對應的是行車道類別，包括了標籤3，在D區域對應的是所述可移動障礙物類別，包括了標籤4。

步驟S20：判斷所述分割圖中的類別是否包括人行道類別。

若所述分割圖中的類別包括人行道類別，則進入步驟S40，否則進入步驟S30，結束流程。在本申請實施例中，首先判斷所述分割圖中的類別是否包括人行道類別，以此判斷是否存在適於行人行走的區域。

可以理解，本申請的目的也在於輔助行走在人行道的行人行走。對於老年人或視覺感官不良的人群來說，不存在人行道時，其繼續行走就存在安全隱患，則不適合繼續使用本申請可移動障礙物位置判斷方法來進行出行輔助，結束流程。

步驟S40：判斷所述分割圖中的類別是否包括可移動障礙物類別。若所述分割圖中的類別包括可移動障礙物類別，則進入步驟S60，否則進入步驟S30，結束流程。

在本申請實施例中，基於使用者前方存在人行道，需要繼續判斷是否存在可移動障礙物，以此確定是否可以繼續行走，通過下述步驟確定障礙物的位置，避免將行車道或中間道上的可移動裝置錯誤識別為阻礙行人行走的可移動障礙物，可以保證輸出結果的準確性。可以理解，如不存在可移動障礙物時，將不存在可移動障礙結果輸出給用戶，行人可以按其原定計劃繼續行走。

步驟S50：確定所述分割圖上所述可移動障礙物類別周圍的鄰近圖元點。

根據本申請的一些實施方式，請參閱圖6，所述確定所述分割圖上所述可移動障礙物周圍的鄰近圖元點，具體可以通過以下步驟進行：

步驟S51：獲取所述分割圖上所述可移動障礙物邊緣的圖元點。

在其中一種可能實現方式中，可以先確定所述可移動障礙物邊緣的任一圖元點，將其設置為起始點，然後從所述起始點開始沿著所述可移動障礙物邊緣獲取所述分割圖上所述可移動障礙物邊緣的所有圖元點。可以通過以下方式獲取所述起始點，以所述道路圖像的左下角為原點，計算所述可移動障礙物各圖元點到原點的最小距離，根據所述最小距離獲得所述可移動障礙物的起始點。

可以理解，對於所述可移動障礙物，其週邊的邊緣圖元點就是與其它類別相鄰的圖元點，請參閱圖5，對於可移動障礙物類別對應的標籤4，靠近其它類別如1、2或3的標籤4所對應的圖元點就是所述可移動障礙物邊緣的圖元點。

步驟S52：根據所述可移動障礙物邊緣的圖元點，確定所述可移動障礙物周圍的鄰近圖元點。

在其中一種可能實現方式中，在確定所述可移動障礙物邊緣的像素點後，獲取所述邊緣圖元點的附近圖元點，將所述附近圖元點中不屬於可移動障礙物邊緣的圖元點設置為所述可移動障礙物周圍的鄰近圖元點。

示例性，請參閱圖5，靠近所述標籤4的標籤1、2或3就是鄰近圖元點標籤，可以將鄰近所述可移動障礙物邊緣圖元點的第一個圖元點設為鄰近圖元點。

步驟S60：統計所述鄰近圖元點所屬物件的類別及所述鄰近圖元點上每個類別的圖元點數量。

在其中一種可能實現方式中，在所述鄰近圖元點所屬物件的類別由人行道類別組成時，獲取所述鄰近圖元點上所述人行道類別的所有圖元點的數量。

在其中一種可能實現方式中，在所述鄰近圖元點所屬物件的類別由車行道類別組成時，獲取所述鄰近圖元點上所述車行道類別的所有圖元點的數量。

在其中一種可能實現方式中，在所述鄰近圖元點所屬物件的類別由中間道類別組成時，獲取所述鄰近圖元點上所述中間道類別的所有圖元點的數量。

在其中一種可能實現方式中，在所述鄰近圖元點所屬物件的類別由人行道類別及車行道類別組成時，獲取所述鄰近圖元點上所述人行道類別的所有圖元點的數量，和所述鄰近圖元點上所述車行道類別的所有圖元點的數量。

在其中一種可能實現方式中，在所述鄰近圖元點所屬物件的類別由人行道類別及中間道類別組成時，獲取所述鄰近圖元點上所述人行道類別的所有圖元點的數量，和所述鄰近圖元點上所述中間道類別的所有圖元點的數量。

在其中一種可能實現方式中，在所述鄰近圖元點所屬物件的類別由車行道類別及中間道類別組成時，獲取所述鄰近圖元點上所述車行道類別的所有圖元點的數量，和所述鄰近圖元點上所述中間道類別的所有圖元點的數量。

在其中一種可能實現方式中，在所述鄰近圖元點所屬物件的類別由人行道類別、車行道類別及中間道類別組成時，獲取所述鄰近圖元點上所述人行道類別的所有圖元點的數量，和獲取所述鄰近圖元點上所述車行道類別的所有圖元點的數量，和所述鄰近圖元點上所述中間道類別的所有圖元點的數量。

可以理解的是，在所述可移動障礙物在所述道路圖像中所佔的區域較大時，可以將該預設閾值設置更大，避免預設閾值過小，出現容易滿足閾值情況。其中，所述預設閾值的具體數值可以根據實際情況設置，本申請對此不作具體限定。

步驟S70：根據預設閾值、所述鄰近圖元點所屬物件的類別及所述鄰近圖元點上每個類別的圖元點數量確定所述可移動障礙物類別對應的可移動障礙物物件的位置。

根據本申請的一些實施方式，所述根據預設閾值、所述鄰近圖元點所屬物件的類別及所述鄰近圖元點上每個類別的圖元點數量確定所述可移動障礙物類別對應的可移動障礙物物件的位置，具體可以通過以下步驟進行：在所述鄰近圖元點所屬物件的類別包括車行道類別時，判斷其像素點數量是否達到所述預設閾值。如是，確定所述可移動障礙物對象所屬位置不包括所述人行道對象。和/或，在所述鄰近圖元點所屬物件的類別包括所述中間道類別時，判斷其圖元點數量是否達到所述預設閾值。如是，確定所述可移動障礙物所屬位置不包括所述人行道對象。請參閱圖7，所述可移動障礙物的位置可以包括人行道、行車道、中間道中的一種或多種。在本申請實施例中，判斷出所述可移動障礙物的位置是否在所述人行道上，如是在人行道上，則需要對行人發出警告提示，如不是在人行道上，則可以不對行人發出警告提示。通過判斷出所述可移動障礙物的位置包括人行道或不包括人行道，可以保證輸出結果的準確性。

在本申請實施例中，當所述車行道類別和/或所述中間道類別的圖元點數量滿足所述預設閾值時，則可以確定所述可移動障礙物的位置不在人行道上，可以給出判斷結果為所述可移動障礙物的位置不在人行道上，或是具體給出所述可移動障礙物的位置在車行道上或是中間道上。

在其中一種可能實現方式中，在所述鄰近圖元點所屬物件的類別由所述行車道類別組成時，判斷其圖元點數量是否達到所述預設閾值，其中，所述預設閾值包括所述鄰近圖元點的數量，如是，確定所述可移動障礙物物件所屬位置不包括所述人行道物件，所述可移動障礙物物件所屬位置為行車道。

在其中一種可能實現方式中，在所述鄰近圖元點所屬物件的類別由所述中間道類別組成時，判斷其圖元點數量是否達到所述預設閾值，其中，所述預設閾值包括所述鄰近圖元點的數量，如是，確定所述可移動障礙物物件所屬位置不包括所述人行道物件，所述可移動障礙物物件所屬位置為中間道。

根據本申請的一些實施方式，所述根據預設閾值、所述鄰近圖元點所屬物件的類別及所述鄰近圖元點上每個類別的圖元點數量確定所述可移動障礙物的位置包括：在所述鄰近圖元點所屬物件的類別包括所述人行道類別時，獲取所述預設閾值，其中所述預設閾值包括所述鄰近圖元點的數量，判斷所述人行道類別對應的圖元點數量是否達到所述預設閾值，如是，確定所述可移動障礙物對象所屬位置包括所述人行道對象。

在本申請實施例中，在所述可移動障礙物類別的鄰近圖元點均是所述人行道類別時，則可以判斷所述可移動障礙物物件的位置是人行道，由此可以保證輸出結果的準確。

在其中一種可能實現方式中，在所述可移動障礙物類別的鄰近像素點包括了人行道類別和車行道類別，或是包括了人行道類別中間道類別中，或是人行道類別、車行道類別和中間道類別，根據其各個類別對應的圖元點數量是否達到所述閾值，將達到所述預設閾值的類別所對應的物件確定為所述可移動障礙物物件所屬位置。存在兩個或三個類別對應的圖元點數量達到閾值時，將達到所述預設閾值的兩個或三個類別所對應的物件確定為所述可移動障礙物物件所屬位置。

在其中一種可能實現方式中，在所述可移動障礙物類別的鄰近像素點包括了道路圖像中不鄰近的類別時，例如，所述人行道類別和車行道類別所對應的圖元點數量均達到了所述閾值，判斷所述道路圖像中是否存在中間道類別，存在中間道類別時，可以確定所述可移動障礙物物件所屬位置包括人行道、車行道和中間道，或判斷所述人行道類別和所述車行道類別所對應的圖元點數量的最大值，將最大值的物件設置為所述可移動障礙物的位置。如所述道路圖像中不存在中間道類別時，則判斷確定所述可移動障礙物物件所屬位置包括人行道和車行道。在其中一種可能實現方式中，將確定可移動障礙物的位置輸出，可以通過語音或圖像顯示，也可以將結果直接輸出給控制器，由控制器控制電子設備以實現控制使用者的行走狀態。

請參閱圖8，本申請一實施方式提供一種可移動障礙物位置判斷裝置10，包括：圖像獲取模組101，用於獲取道路圖像。模型處理模組102，用於對所述道路圖像進行影像處理，輸出分割圖，其中，所述分割圖包括所述道路圖像中各個圖元點所屬物件對應的類別。判斷模組103，還用於判斷所述分割圖中的類別是否包括人行道類別，如是，判斷所述分割圖中的類別是否包括可移動障礙物類別，如是，確定所述分割圖上所述可移動障礙物類別周圍的鄰近圖元點。統計模組104，還用於統計所述鄰近圖元點所屬物件的類別及所述鄰近圖元點上每個類別的圖元點數量。障礙確定模組105，用於根據預設閾值、所述鄰近圖元點所屬物件的類別及所述鄰近圖元點上每個類別的圖元點數量確定所述可移動障礙物類別對應的可移動障礙物物件的位置。

在一實施方式中，所述處理器12可以是中央處理單元(Central Processing Unit，CPU)，還可以是其他通用處理器、數位訊號處理器(Digital Signal Processor，DSP)、專用積體電路(Application Specific Integrated Circuit，ASIC)、現成可程式設計閘陣列(Field-Programmable Gate Array，FPGA)或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。通用處理器可以是微處理器或者所述處理器12也可以是其它任何常規的處理器等。

所述可移動障礙物位置判斷裝置10中的模組如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個電腦可讀取存儲介質中。基於這樣的理解，本申請實現上述實施例方法中的全部或部分流程，也可以通過電腦程式來指令相關的硬體來完成，所述的電腦程式可存儲於一電腦可讀存儲介質中，所述電腦程式在被處理器執行時，可實現上述各個方法實施例的步驟。其中，所述電腦程式包括電腦程式代碼，所述電腦程式代碼可以為原始程式碼形式、物件代碼形式、可執行檔或某些中間形式等。所述電腦可讀介質可以包括：能夠攜帶所述電腦程式代碼的任何實體或裝置、記錄介質、U盤、移動硬碟、磁碟、光碟、電腦記憶體、唯讀記憶體(ROM，Read-Only Memory)、隨機存取記憶體(RAM，Random Access Memory)、電載波信號、電信信號以及軟體分發介質等。需要說明的是，所述電腦可讀介質包含的內容可以根據司法管轄區內立法和專利實踐的要求進行適當的增減，例如在某些司法管轄區，根據立法和專利實踐，電腦可讀介質不包括電載波信號和電信信號。

可以理解的是，以上所描述的模組劃分，為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。另外，在本申請各個實施例中的各功能模組可以集成在相同處理單元中，也可以是各個模組單獨物理存在，也可以兩個或兩個以上模組集成在相同單元中。上述集成的模組既可以採用硬體的形式實現，也可以採用硬體加軟體功能模組的形式實現。在另一實施方式中，所述電子設備100還可包括記憶體(圖未示)，所述一個或多個模組還可存儲在記憶體中，並由所述處理器12執行。所述記憶體可以是電子設備100的內部記憶體，即內置於所述電子設備100的記憶體。在其他實施例中，所述記憶體也可以是電子設備100的外部記憶體，即外接於所述電子設備100的記憶體。

在一些實施例中，所述記憶體用於存儲程式碼和各種資料，例如，存儲安裝在所述電子設備100中的可移動障礙物位置判斷裝置10的程式碼，並在電子設備100的運行過程中實現高速、自動地完成程式或資料的存取。

所述記憶體可以包括隨機存取記憶體，還可以包括非易失性存儲器，例如硬碟、記憶體、插接式硬碟、智慧存儲卡(Smart Media Card，SMC)、安全數位(Secure Digital，SD)卡、快閃記憶體卡(Flash Card)、至少一個磁碟記憶體件、快閃記憶體器件、或其他易失性固態記憶體件。

對於本領域技術人員而言，顯然本申請不限於上述示範性實施例的細節，而且在不背離本申請的精神或基本特徵的情況下，能夠以其他的具體形式實現本申請。因此，無論從哪一點來看，均應將本申請上述的實施例看作是示範性的，而且是非限制性的。

S00~S70:步驟

Claims

一種可移動障礙物位置判斷方法，其中，應用於電子設備，包括：獲取道路圖像；對所述道路圖像進行圖像語義分割，輸出分割圖，其中，所述圖像語義分割指圖元級地識別所述道路圖像；所述分割圖包括所述道路圖像中各個圖元點所屬物件對應的類別；判斷所述分割圖中的類別是否包括人行道類別；若所述分割圖中的類別包括人行道類別，判斷所述分割圖中的類別是否包括可移動障礙物類別；若所述分割圖中的類別包括可移動障礙物類別，確定所述分割圖上所述可移動障礙物類別周圍的鄰近圖元點；統計所述鄰近圖元點所屬物件的類別及所述鄰近圖元點上每個類別的圖元點數量；以及，根據預設閾值、所述鄰近圖元點所屬物件的類別及所述鄰近圖元點上每個類別的圖元點數量確定所述可移動障礙物類別對應的可移動障礙物物件的位置。
如請求項1所述的可移動障礙物位置判斷方法，其中，所述鄰近圖元點所屬物件的類別包括人行道物件對應的人行道類別和/或車行道物件對應的車行道類別和/或中間道類別，其中，所述中間道類別包括所述人行道物件和所述車行道物件之間的中間道物件所對應的類別。
如請求項2所述的可移動障礙物位置判斷方法，其中，在所述根據預設閾值、所述鄰近圖元點所屬物件的類別及所述鄰近圖元點上每個類別的圖元點數量確定所述可移動障礙物類別對應的可移動障礙物物件的位置之前，還包括：根據所述分割圖上所述可移動障礙物類別的狀態資訊獲取對應的預設閾值，其中，所述狀態資訊包括所述可移動障礙物物件的形狀和/或大小。
如請求項3所述的可移動障礙物位置判斷方法，所述根據預設閾值、所述鄰近圖元點所屬物件的類別及所述鄰近圖元點上每個類別的圖元點數量確定所述可移動障礙物類別對應的可移動障礙物物件的位置包括：在所述鄰近圖元點所屬物件的類別包括車行道類別時，判斷其圖元點數量是否達到所述預設閾值；若車行道類別圖元點數量達到所述預設閾值，確定可移動障礙物對象所屬位置不包括人行道對象；和/或，在所述鄰近圖元點所屬物件的類別包括所述中間道類別時，判斷其圖元點數量是否達到所述預設閾值；若中間道類別圖元點數量達到所述預設閾值，確定所述可移動障礙物所屬位置不包括所述人行道對象。
如請求項1所述的可移動障礙物位置判斷方法，所述根據預設閾值、所述鄰近圖元點所屬物件的類別及所述鄰近圖元點上每個類別的圖元點數量確定所述可移動障礙物的位置包括：在所述鄰近圖元點所屬物件的類別包括所述人行道類別時，獲取所述預設閾值，其中所述預設閾值包括所述鄰近圖元點的數量；判斷所述人行道類別對應的圖元點數量是否達到所述預設閾值；若人行道類別圖元點數量達到所述預設閾值，確定可移動障礙物對象所屬位置包括人行道對象。
如請求項2至5任一項所述的可移動障礙物位置判斷方法，其中，所述確定所述分割圖上所述可移動障礙物周圍的鄰近圖元點包括：獲取所述分割圖上所述可移動障礙物邊緣的圖元點；根據所述可移動障礙物邊緣的圖元點，確定所述可移動障礙物周圍的鄰近圖元點。
如請求項2至5任一項所述的可移動障礙物位置判斷方法，其中，所述對所述道路圖像進行影像處理，輸出分割圖包括：獲取根據訓練集訓練完成的圖像語義分割網路，其中，所述訓練集包括包含標注資訊的訓練圖像；將所述道路圖像輸入所述圖像語義分割網路進行圖像語義分割；獲取所述圖像語義分割網路輸出的分割圖。
一種可移動障礙物位置判斷裝置，其中，包括：圖像獲取模組，用於獲取道路圖像；模型處理模組，用於對所述道路圖像進行圖像語義分割，輸出分割圖，其中，所述圖像語義分割指圖元級地識別所述道路圖像；所述分割圖包括所述道路圖像中各個圖元點所屬物件對應的類別；判斷模組，還用於判斷所述分割圖中的類別是否包括人行道類別，如是，判斷所述分割圖中的類別是否包括可移動障礙物類別，如是，確定所述分割圖上所述可移動障礙物類別周圍的鄰近圖元點；統計模組，還用於統計所述鄰近圖元點所屬物件的類別及所述鄰近圖元點上每個類別的圖元點數量；障礙確定模組，用於根據預設閾值、所述鄰近圖元點所屬物件的類別及所述鄰近圖元點上每個類別的圖元點數量確定所述可移動障礙物類別對應的可移動障礙物物件的位置。
一種電子設備，其中，所述電子設備包括：一個或多個處理器；當一個或多個程式被所述一個或多個處理器執行，使得所述一個或多個處理器實現如請求項1至7任一項所述可移動障礙物位置判斷方法。
一種可移動障礙物位置判斷系統，其中，包括攝影裝置、輸出裝置和如請求項9所述的電子設備；攝影裝置，用於對道路進行拍攝，以獲取道路圖像；所述電子設備，用於對所述道路圖像進行影像處理，以確定可移動障礙物物件的位置；輸出裝置，用於輸出所述可移動障礙物物件的位置。