TWI803787B - 用於路面污損分類辨識之方法及系統 - Google Patents

Abstract

本發明揭露一種用於路面污損分類辨識之方法及系統，先對來自固定裝設道路旁的攝影機之道路影像做多區域局部路面框選，再排除被人車遮擋的區域，進而以訓練完成的路面污損分類辨識模型對未被人車遮擋的區域執行路面分類偵測辨識，藉以快速且精準地進行分類偵測辨識。

Description

用於路面污損分類辨識之方法及系統

本發明係關於一種影像辨識技術，詳而言之，係關於一種利用人工智慧對路面執行路面污損分類辨識之方法及系統。

路面常會因大型車載物過重、貨車未妥當安置固定貨物、過載、漏油及客車乘員亂丟雜物等，而造成路面有凹陷、凸起、坑洞、裂縫、碎石、油漬、雜物等，影響用路安全，如何即時處置污損路面，保障用路人車安全，舉報遏止不良用路人車污損路面，降低維護路面成本，成為地方政府重要的施政工作。

過去僅能以人工巡查、人工監看攝影機及用路人通報方式做管理，受限於人力及時段並無法全天候即時偵測處理。由於近年來AI影像偵測辨識技術，已大量應用於自動攝影監控上，採用AI影像偵測辨識技術做路面污損的偵測，可及早處置污損提高用路安全。更可依偵測到路面污損的時間，從錄影查看是否有不良用路人車污損路面，加以舉報處罰，以收遏止之效。

然而，由於道路場景多樣且複雜，人車來往頻繁，路面常被遮擋，若想以單一AI影像偵測辨識技術來對道路影像中的路面做污損偵測，誤辨率高，無法有效施行。

為了解決上述問題及其他問題，本發明揭示一種用於路面污損分類辨識之方法及系統，藉以快速且精準地進行分類偵測辨識。

本發明之用於路面污損分類辨識之方法，係包括：接收道路影像；對該道路影像利用物件影像偵測模型執行人車偵測，以偵測出人車區域；將該人車區域與用於該道路影像之多個局部路面區域相比對，以自該多個局部路面區域中擷取出與該人車區域沒有重疊者；以及對所述該多個局部路面區域中與該人車區域沒有重疊者，利用路面污損分類辨識模型執行路面污損分類辨識，以獲得路面污損分類辨識結果。

本發明之用於路面污損分類辨識之系統係包括：接收模組，係接收道路影像；人車偵測模組，對該道路影像執行人車偵測利用物件影像偵測模型，以偵測出人車區域；比對模組，將該人車區域與用於該道路影像之多個局部路面區域相比對，以自該多個局部路面區域中擷取出與該人車區域沒有重疊者；以及路面污損偵測模組，利用路面污損分類辨識模型，對所述該多個局部路面區域中與該人車區域沒有重疊者執行路面污損分類辨識，以獲得路面污損分類辨識結果。

簡言之，本發明使用固定裝設道路旁的攝影機之道路影像對其中的路面做多區域局部框選後，先以AI(Artificial Intelligence，人工智慧)的CNN (Convolutional Neural Network，卷積神經網絡)人車偵測模型，偵測框出有人車的區域後，再比對各框選區域是否與偵測框出的人車區域有重疊後，截取提供與人車區域無重疊的各局部框選路面區域影像，繼續執行路面污損分類辨識。

因此，本發明對固定架設的攝影機影像，以訓練完成的路面汙損分類辨識模型，配合物件影像偵測模型，直接對路面汙損影像做分類辨識，以大幅簡化辨識影像的複雜性及大幅提高辨識正確率，有效且快速的達成路面污損的偵測，及早處置，提高用路安全。更可依偵測到路面污損的時間，從錄影查看是否有不良用路人車污損路面，加以舉報處罰，以收遏止之效。

此外，路面污損分類辨識模型例如CNN分類辨識模型，諸如LeNet、AlexNet、VGGNet、GoogLeNet、ResNet及DenseNet等。另外，物件影像偵測模型可例如Faster R-CNN、Mask R-CNN、SSD、YOLO。

101:大量已分類辨識的路面影像標示樣本

102:與人車區域無重疊的局部路面區域

103:辨識有誤的路面影像標示樣本

104:局部路面區域之路面污損分類辨識結果

107:選用設定CNN分類辨識模型

21:接收模組

22:區域設定模組

23:人車偵測模組

203:物件影像偵測模型

24:比對模組

25:路面污損偵測模組

205:路面污損分類辨識模型

26:告警模組

27:CNN影像分類訓練程式模組

B1~B5:局部路面區域

S21~S26:步驟

S31~S37:步驟

請參閱有關本發明之詳細說明及其附圖，將可進一步瞭解本發明之技術內容。

圖1係為本發明之用於路面污損分類辨識之方法的流程圖。

圖2係為本發明之用於路面污損分類辨識之系統的示意圖。

圖3係本發明之用於路面污損分類辨識方法的具體實施步驟圖。

圖4A為本發明之對道路影像框選出多個局部路面區域的示意性圖像。

圖4B為兩個與人車區域無重疊的局部路面區域。

圖5為本發明之訓練路面污損分類實施模型的實施例。

圖6為本發明之路面污損偵測模組執行分類辨識的實施例。

圖7為本發明之以更新樣本來訓練路面污損分類辨識模型的實施例方法。

以下藉由特定的具體實施形態說明本發明之技術內容，熟悉此技藝之人士可由本說明書所揭示之內容輕易地瞭解本發明之優點與功效。然本發明亦可藉由其他不同的具體實施形態加以施行或應用。

首先參閱圖1所示的流程圖，係說明本發明之路面污損分類辨識之方法。

於步驟S21中，接收道路影像，其中該道路影像為自固定裝設於道路旁的IP攝影機(或是其他等效設備)所接收者，接著進至步驟S22。於步驟S22中，利用物件影像偵測模型執行人車偵測，以偵測出人車區域，接著進至步驟S23。於步驟S23中，比對人車區域與用於道路影像之多個局部路面區域，其中所述用於該道路影像之多個局部路面區域為預先設定且各自的區域大小可彈性調整者，接著進至步驟S24。於步驟S24中，自多個局部路面區域中擷取出與人車區域沒有重疊者，接著進至步驟S25。於步驟S25中，利用路面污損分類辨識模型執行路面污損分類辨識，其中該路面污損分類辨識模型是以大量已分類辨識的路面影像標示樣本，或者再加上辨識有誤的路面影像標示樣本，作為訓練樣本而完成訓練，接著進至步驟S26。於步驟S26中，獲得路面污損分類辨識結果，例如正常路面、凹陷路面、凸起路面、坑洞路面、裂縫路面、碎石路面、 油漬路面、雜物路面。另外，可根據該路面污損分類辨識結果發出對應的告警訊息。

接著參閱圖2所示的方塊圖，係示意本發明之路面污損分類辨識之系統，其包括接收模組21、區域設定模組22、人車偵測模組23、比對模組24、路面污損偵測模組25、告警模組26。

接收模組21係接收道路影像，其中該道路影像係為自固定裝設於道路旁的IP攝影機所接收者。區域設定模組22對該道路影像預先設定該多個局部路面區域，其中該多個局部路面區域之各自的區域大小係可彈性調整。人車偵測模組23對該道路影像執行人車偵測利用物件影像偵測模型，以偵測出人車區域。比對模組24將該人車區域與用於該道路影像之多個局部路面區域相比對，以自該多個局部路面區域中擷取出與該人車區域沒有重疊者。路面污損偵測模組25利用路面污損分類辨識模型，其中該路面污損分類辨識模型係以大量已分類辨識的路面影像標示樣本，或者再加上辨識有誤的路面影像標示樣本，作為訓練樣本而完成訓練，以對所述該多個局部路面區域中與該人車區域沒有重疊者執行路面污損分類辨識，俾獲得路面污損分類辨識結果。告警模組26根據該路面污損分類辨識結果以發出對應的告警訊息。

於一實施例中，為了能全天候24小時監控道路狀況，本發明採用固定裝設道路旁的IP攝影機來取得道路影像對該路段路面做污損偵測辨識。

如圖3所示，於步驟S31，經網路由一固定裝設道路旁的IP攝影機取得道路影像，並由人員對該道路影像做路面多區域局部框選，即框選出多個局部路面區域，範例可參看圖4A所示，圖4A為IP攝影機所取得之道路影像，其中五個大框線的局部路面區域B1、B2、B3、B4及B5內即為設定待偵測之路 面。本步驟框選方式，可由人員經電腦滑鼠介面輸入，直接在道路影像中框選需要偵測之單純路面區域。爾後便可在排除有人車遮擋路面區域後，截取出先前框選的單純路面區域影像以訓練完成的路面污損CNN分類辨識模型執行分類辨識，大幅簡化偵測的複雜度，而大幅提升偵測的速度及準確度。

當完成對該道路影像框選出多個局部路面區域，如圖4A中五個大框線的局部路面區域B1、B2、B3、B4及B5後，便可開始步驟S32，依排定時間經網路由固定裝設道路旁的IP攝影機取得道路影像，其中排定的時間，舉例來說，可為每隔3秒或30秒或3分鐘，或設定的特定時段。

當由步驟S32，依排定時間經網路由固定裝設道路旁的IP攝影機取得道路影像如圖4A後，便可執行步驟S33對該道路影像以AI的CNN物件影像偵測模型，偵測框出人車區域，如圖4A中小框線所框出的人車區域。此外，CNN物件影像偵測模型，可為Faster R-CNN、Mask R-CNN、SSD、YOLO等或更佳相關模型之一，基於效能考量，目前一般常使用YOLO V3或V4或Tiny YOLO的模型。

當於步驟S33中偵測框出人車區域後，便可執行步驟S34，比對多個局部路面區域與所偵測框出的人車區域是否有重疊，例如以電腦程式比對圖4A中各大框區域與各小框區域是否有重疊，其中僅局部路面區域B1及B2未與有人車的小框區域重疊。

當於步驟S34完成比對後，便可執行步驟S35截取與人車區域無重疊的各局部路面區域，也就是截取如圖4A中的局部路面區域B1及B2，成為圖4B中與人車區域無重疊的兩個局部路面區域B1及B2。

於步驟S35中，取得無重疊的局部路面區域B1及B2後，便可開始步驟S36，交付前述與人車區域無重疊的各局部路面區域B1及B2供路面污損CNN分類辨識模型做分類辨識，也就是，如圖4B中兩個局部路面區域B1及B2提供至訓練完成的路面污損分類辨識模型，其中，如圖5所示，路面污損分類辨識模型205的訓練則是經由CNN影像分類訓練程式模組27所執行，在選用設定CNN分類辨識模型107加入CNN影像分類訓練程式模組27後，再以大量已分類辨識的路面影像標示樣本101輸入，施行路面污損CNN分類辨識的訓練，便可產出完成訓練的路面污損分類辨識模型205。其中選用設定CNN分類辨識模型107使用的CNN分類辨識模型可為目前已公開並比較知名可用的CNN實作模型如LeNet、AlexNet、VGGNet、GoogLeNet、ResNet及DenseNet等或更適用的相關模型之一，而其輸出的辨識分類結果則可設為正常路面、凹陷路面、凸起路面、坑洞路面、裂縫路面、碎石路面、油漬路面、雜物路面等事項。

在取得完成訓練的路面污損分類辨識模型205後，便可依圖6執行步驟S36，交付前述與人車區域無重疊的各局部路面區域供路面污損偵測模組25執行分類辨識，如圖4B中兩個局部路面區域B1及B2，即與人車區域無重疊的局部路面區域102，輸入已加入完成訓練的路面污損分類辨識模型205的路面污損偵測25，執行路面污損CNN分類辨識，以取得各局部路面區域之路面污損分類辨識結果104。其結果可為正常路面、凹陷路面、凸起路面、坑洞路面、裂縫路面、碎石路面、油漬路面、雜物路面等事項之一種的分類結果。例如，局部路面區域B1的辨識結果應為正常路面，局部路面區域B2的辨識結果則應為裂縫路面。

當辨識結果出來後，便可執行步驟S37，依辨識路面污損結果，及告警設定，決定是否傳送或儲存相關告警訊息供相關人員處理。其中相關告警訊息包括取得影像之攝影機ID或位置、影像攝影時間、路面區域影像及辨識結果。當有偵測到新的污損區域，便可立即將相關告警訊息以簡訊或email通知相關人員處理，提升用路安全。並可依告警訊息內的影像攝影時間，查看該時段的錄影是否有不良用路人車污損路面，據以舉報開罰，以收遏止之效。

此外，於步驟S31中，經網路由一固定裝設道路旁的IP攝影機取得道路影像，並由人員對該道路影像框選出多個局部路面區域，其中框選的區域大小將影響路面污損偵測辨識的效率及精準度，較小的框選區域可降低路面圖像的複雜性，及減少被人車遮擋的機率，讓偵測準確度及可測性都變高，但會增加需分類辨識圖像的數量，而降低辨識效率，所以應依實際應用時對準確度及效能的要求，選擇適當的框選區域大小來做路面污損偵測。

另外，若發現辨識結果有誤，可利用更新樣本學習，提升路面污損CNN分類辨識模型的辨識率，如圖7所示，以先前辨識使用的路面污損分類辨識模型205加入CNN影像分類訓練程式模組27後，再以加入先前模型辨識有誤的路面影像標示樣本103輸入，施行路面污損CNN分類辨識模型的訓練，便可產出經更新樣本訓練的路面污損分類辨識模型205。有了更新樣本學習，路面污損分類辨識模型205辨識的準確度，便可因後續更多實際樣本的加入訓練，而持續精進。

綜上所述，本發明所提出一種使用固定裝設道路旁的IP攝影機，對道路影像做多區域局部路面框選後，以AI的CNN物件影像偵測模型偵測排除 被人車遮擋的區域，再以自行訓練的路面污損CNN分類辨識模型對路面污損做偵測辨識的方法，具備下列優點：

1.由於攝影區段視野固定，以局部框選單純的路面做分類辨識，可適用在各式多樣複雜道路影像中，達成精準快速的路面污損辨識。

2.由於以AI的CNN物件影像偵測模型來偵測框出人車出現的位置區域，若偵測出有人車出現的位置區域與局部框選的路面區域重疊，便不對該局部框選的路面區域做路面污損分類辨識，如此便可以單純的路面影像做分類辨識以提升路面污損辨識的準確度。

3.可隨時調整各局部框選區域，故可人工或自動方式排除對已造成路面污損區域做路面污損偵測，彈性的繼續對路面未污損區域做偵測。

4.當有偵測到新的污損區域，便可立即將相關告警訊息以簡訊或email通知相關人員處理，提升用路安全。並可依告警的攝影時間，查看該時段的錄影是否有不良用路人車污損路面，據以舉報開罰，以收遏止之效。

5.由於僅對單純的路面做影像分類辨識，複雜度低，可用較輕巧的CNN分類辨識模型來做快速精準的路面污損分類辨識。

6.可彈性的依實際應用需求，調整框選區域大小，讓路面污損偵測更有效率或更精準。

7.路面污損CNN分類辨識模型偵測的準確度，可因後續更多實際樣本的加入做更新樣本訓練，而持續精進。

上列詳細說明係針對本發明之一可行實施例之具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

S21~S26:步驟

Claims (10)

1. 一種用於路面污損分類辨識之方法，係包括：接收初始道路影像，其中，該初始道路影像係為自固定裝設於道路旁的IP攝影機所接收者；對該初始道路影像執行路面多區域局部框選，以在該初始道路影像的視野畫面上產生多個局部路面區域；依排定時間經由該固定裝設於道路旁的IP攝影機取得道路影像；對該道路影像利用物件影像偵測模型執行人車偵測，以偵測出人車區域；將該道路影像的該人車區域與該視野畫面上的該多個局部路面區域相比對，以判斷該人車區域與該多個局部路面區域是否重疊；自該多個局部路面區域中擷取出與該人車區域沒有重疊的局部路面區域；以及對與該人車區域沒有重疊的局部路面區域，利用路面污損分類辨識模型執行路面污損分類辨識，俾獲得路面污損分類辨識結果，而對與該人車區域有重疊的局部路面區域，則不執行該路面污損分類辨識。
2. 如請求項1所述之方法，其中，該路面污損分類辨識模型係以大量已分類辨識的路面影像標示樣本作為訓練樣本，而完成訓練。
3. 如請求項1所述之方法，其中，該路面污損分類辨識模型更以辨識有誤的路面影像標示樣本作為訓練樣本，而完成訓練。
4. 如請求項1所述之方法，其中，該路面污損分類辨識結果係包括：正常路面、凹陷路面、凸起路面、坑洞路面、裂縫路面、碎石路面、油漬路面、雜物路面。
5. 如請求項1所述之方法，更包括：根據該路面污損分類辨識結果，發出對應的告警訊息。
6. 如請求項1所述之方法，其中，所述用於該初始道路影像之多個局部路面區域係為預先設定且各自的區域大小可彈性調整者。
7. 一種用於路面污損分類辨識之系統，係包括：接收模組，係接收初始道路影像以及依排定時間接收道路影像，其中，該初始道路影像以及該道路影像係為自固定裝設於道路旁的IP攝影機所接收者，其中，對該初始道路影像執行多區域局部框選以在該初始道路影像的視野畫面上產生多個局部路面區域；人車偵測模組，對該道路影像利用物件影像偵測模型執行人車偵測，以偵測出人車區域；比對模組，將該道路影像的該人車區域與該視野畫面上的該多個局部路面區域相比對，以判斷該人車區域與該多個局部路面區域是否重疊，進而自該多個局部路面區域中擷取出與該人車區域沒有重疊的局部路面區域；以及路面污損偵測模組，利用路面污損分類辨識模型，對與該人車區域沒有重疊的局部路面區域執行路面污損分類辨識，俾獲得路面污損分類辨識結果，而對與該人車區域有重疊的局部路面區域，則不執行該路面污損分類辨識。
8. 如請求項7所述之系統，更包括告警模組及區域設定模組，該告警模組係根據該路面污損分類辨識結果以發出對應的告警訊息，而該區域設定模組係對該初始道路影像預先設定該多個局部路面區域。
9. 如請求項7所述之系統，其中，該路面污損分類辨識模型係以大量已分類辨識的路面影像標示樣本，或者再加上辨識有誤的路面影像標示樣本，作為訓練樣本而完成訓練。
10. 如請求項7所述之系統，其中，該多個局部路面區域之各自的區域大小係可彈性調整。

Images