TWI743637B - 號誌辨識系統及其方法 - Google Patents

Abstract

一種號誌辨識系統，包括一圖資、一定位模組、至少一影像擷取裝置以及一影像處理模組。圖資用以提供包含號誌的資訊。定位模組用以提供包含號誌的一定位資訊。至少一影像擷取裝置用以擷取包含號誌的一即時道路影像。影像處理模組結合圖資及定位模組所提供之號誌的定位資訊，於影像擷取裝置所擷取之即時道路影像中產生一關注區域，並辨識關注區域中的號誌，其中號誌包括燈箱及至少一燈號。

Description

號誌辨識系統及其方法

本發明是有關於一種辨識系統，且特別是有關於一種號誌辨識系統及其方法。

隨著社會的發展，汽車已經成為人類日常生活不可替代的交通工具。同時，隨著自駕或輔助駕駛的技術越來越成熟，不需要人類操作即能感測其環境及導航的自動駕駛車已是各車廠積極投入與開發的領域。然而，隨之而來的是日益突出的安全問題，尤其是交通號誌辨識度不佳的問題。因此，在自駕或輔助駕駛時，車控系統需要搭載號誌辨識系統，以遵守交通號誌的指示，並提供即時燈號資訊給車控系統，使之做出符合法規與安全之決策。因而，加強對交通號誌自動識別的準確率顯得十分重要。

本發明係有關於一種號誌辨識系統及其方法，透過定位資訊結合圖資產生一關注區域，並辨識關注區域中的號誌，以有效辨識號誌的狀態。

根據本發明之一方面，提出一種號誌辨識系統，包括一圖資、一定位模組、至少一影像擷取裝置以及一影像處理模組。圖資用以提供包含號誌的資訊。定位模組用以提供包含號誌的一定位資訊。至少一影像擷取裝置用以擷取包含號誌的一即時道路影像。影像處理模組結合圖資及定位模組所提供之號誌的定位資訊，於影像擷取裝置所擷取之即時道路影像中產生一關注區域，並辨識關注區域中的號誌，其中號誌包括燈箱及至少一燈號。

根據本發明之一方面，提出一種號誌辨識方法，包括下列步驟。取得包含號誌的資訊的一圖資。取得包含號誌的一定位資訊。取得包含號誌的一即時道路影像。結合圖資、定位資訊，於即時道路影像中產生一關注區域，並辨識關注區域中的號誌，其中號誌包括燈箱及至少一燈號。

為了對本發明之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：

100:號誌辨識系統

110:圖資

111:號誌

112:燈箱

113-115:燈號

116a-116c:箭頭圖案

120:定位模組

121:定位資訊

130:影像擷取裝置

131:即時道路影像

140:影像處理模組

141:燈箱位置偵測模組

142:燈號顏色偵測模組

143:箭頭分類模組

144:電腦視覺辨識演算法

145:機器學習演算法

150:視窗介面

151:燈號顯示區

ROI:關注區域

S11-S15、S141-S143:步驟

第1圖繪示依照本發明一實施例的號誌辨識系統的示意圖。

第2圖繪示依照本發明一實施例的即時道路影像的示意圖，其中關注區域對應即時道路影像中預先設定之號誌的位置。

第3圖繪示依照本發明一實施例的燈號排序與態樣的示意圖。

第4圖繪示依照本發明一實施例的燈號排序與態樣的示意 圖。

第5圖繪示依照本發明一實施例的號誌辨識方法的流程圖。

第6圖繪示依照本發明一實施例的辨識關注區域中的號誌的流程圖。

以下係提出實施例進行詳細說明，實施例僅用以作為範例說明，並非用以限縮本發明欲保護之範圍。以下是以相同/類似的符號表示相同/類似的元件做說明。以下實施例中所提到的方向用語，例如：上、下、左、右、前或後等，僅是參考所附圖式的方向。因此，使用的方向用語是用來說明並非用來限制本發明。

依照本發明之一實施例，提出一種號誌辨識系統，用以取得包含號誌的圖資、定位資訊及即時道路影像，並結合圖資及定位資訊，於即時道路影像中產生一關注區域，並辨識關注區域中的號誌，以提升系統辨識準確度與可辨識距離。本實施例的號誌辨識系統能用於車輛的車控系統中，以實現自駕或輔助駕駛時的號誌辨識。

請參照第1圖，其繪示依照本發明一實施例的號誌辨識系統100的示意圖。號誌辨識系統100可包括一圖資110、一定位模組120、至少一影像擷取裝置130以及一影像處理模組140。圖資110用以提供包含號誌111的資訊，例如號誌111的地圖座標或GPS座標(號誌111例如設置在市區街道交岔路口、平交道前、 收費車道上方、行人穿越道旁、交通分隔島等多處)。定位模組120用以提供包含號誌111的一定位資訊121，定位模組120例如包括一光達模組或一全球衛星定位系統(GPS)定位器，其設置於車輛上，用以偵測車輛與號誌111之間的相對位置或座標。

在一實施例中，光達模組發射雷射光，並利用時差測距(time-of-flight)技術擷取三維空間點雲資料，定位模組120根據三維空間點雲資料從圖資110中取得標記號誌111位置之地圖座標，再根據車輛的地圖座標及號誌111的地圖座標來計算車輛與號誌111之間的相對位置，如此車輛在行駛過程中，定位模組120可即時取得包含號誌111的定位資訊121。在另一實施例中，GPS定位器接收衛星不斷地發送自身的星歷參數和時間參數，以得知車輛的GPS座標，且定位模組120可從圖資110中取得標記號誌111位置之GPS座標，再根據車輛的GPS座標及號誌111之GPS座標來偵測車輛與號誌111之間的相對位置，如此車輛在行駛過程中，定位模組120可即時取得包含號誌111的定位資訊121。

請參照第2圖，影像擷取裝置130用以擷取包含號誌111的一即時道路影像131。影像擷取裝置130例如為相機，設置在車輛的前方或左右兩側，用以擷取車輛前方的即時道路影像131。如第1圖所示，上述的圖資110、定位資訊121及即時道路影像131可傳輸至影像處理模組140，並透過電腦視覺辨識演算法144或機器學習演算法145增加辨識準確率。如此車輛在行駛過程中，號誌辨識系統100能從即時道路影像131中準確地辨識號誌 111的位置及顯示的燈號113-115。

在一實施例中，號誌辨識系統100結合定位資訊121及內建的圖資110，取得圖資座標，並分析圖資座標，以判斷車輛前方的即時道路影像131是否包含號誌111(例如紅綠燈、行人穿越燈、或平交道號誌等)，並藉由圖資110確定號誌111之燈號113-115排序與態樣，以供號誌辨識系統100能即時辨識號誌111的狀態。例如：目前號誌顯示的燈號顏色(紅、黃、綠)或箭頭方向(上、左、右)、計時號誌顯示的數字、平交道專用的雙閃紅色燈號、行人穿越專用的雙閃黃色燈號、匝道儀控燈號等，但不限制。

請參照第2圖，影像處理模組140可於即時道路影像131中產生一關注區域ROI，並可辨識關注區域ROI中的號誌111。關注區域ROI對應即時道路影像131中預先設定之號誌111的位置。例如：影像處理模組140可結合選擇性搜尋、卷積神經網路(Convolutional Neural Network,CNN)模型、支援向量機(SVM)分類器或Yolov3演算法來進行機器學習，以找到即時道路影像131中號誌111所在的位置。其中，選擇性搜尋可考慮點雲的空間分布、距離相似度、尺寸相似度與填充相似度等相似度演算，將與號誌111相似的局部特徵從點雲資料中分割出來，以產生一關注區域ROI。同時，影像處理模組140只需針對號誌111位置所在的關注區域ROI進行數值分析，不需對全圖像進行數值分析，以相對減少演算時間。

請參照第1圖，在一實施例中，影像處理模組140包括一電腦視覺辨識演算法144及/或一機器學習演算法145，用以辨識關注區域ROI中的號誌111。此外，影像處理模組140可包括一燈箱位置偵測模組141，用以偵測關注區域ROI中號誌111的燈箱位置，如第2圖所示。另外，影像處理模組140可包括一燈號顏色偵測模組142，用以偵測燈箱位置中顯示的燈號顏色，如第3圖所示。再者，影像處理模組140可包括一箭頭分類模組143，用以判斷燈箱位置中顯示的箭頭方向，如第4圖所示。

一般而言，號誌111包括燈箱112及燈號113-115。如第3圖所示，燈箱112為長方形或方形，燈號113-115由不同顏色的燈面及發光元件組成，燈號113-115可為圓形或箭頭形，尺寸約為20公分至30公分，在無障礙遮蔽或正常天候狀況下，燈號113-115之照度能讓駕駛者於四百公尺距離清楚看見燈色。燈箱112可以具有一個或多個燈號113-115，燈號113-115可以包括單一種燈色、紅、綠兩種燈色或紅、黃、綠三種燈色，如第4圖所示，燈號亦可包括一種或多種箭頭圖案116a-116c，其可與上述的紅、黃、綠三種燈色的燈號113-115並列使用。

燈號113-115及箭頭圖案116a-116c之排列方式可為橫排或縱排，其排列方式按照各國的道路交通標誌的規定安裝。例如，橫排燈號由左至右，依次為圓形紅燈(113)，圓形黃燈(114)，圓形綠燈(115)，左轉箭頭綠燈(116a)，直行箭頭綠燈(116b)，右轉箭頭綠燈(116c)。縱排燈號由上至下， 依次為圓形紅燈(113)、圓形黃燈(114)、圓形綠燈(115)，直行箭頭綠燈(116b)，左轉箭頭綠燈(116a)，右轉箭頭綠燈(116c)。另外，圓形紅色燈號(113)旁得附設可顯示紅色數字燈號之方形行車倒數計時顯示器，或可附設於黃色燈面內，用以表示紅燈剩餘秒數。

在第1圖中，燈箱位置偵測模組141、燈號顏色偵測模組142及箭頭分類模組143可經由機器學習演算法145及/或電腦視覺辨識演算法144訓練而成。然而，當無機器學習演算法145的辨識結果時，可採用電腦視覺辨識演算法144的辨識結果並輸出，反之亦然。

在一實施例中，當電腦視覺辨識演算法144與機器學習演算法145同時使用時，影像處理模組140比對二者的辨識結果，並根據比對，決定輸出辨識的燈號。若二者的辨識結果相同，則輸出辨識的燈號。舉例而言，若二者的辨識結果不相同，將該二辨識結果的可信分數相加並取得平均分數，若平均分數大於一門檻值，輸出辨識的燈號。或是，選擇二者的辨識結果中較穩定的一辨識結果，然後輸出辨識的燈號。意即，燈號的變化狀態是持續穩定的，不會突然改變為黃燈、紅燈或綠燈，此時影像處理模組140會在電腦視覺辨識演算法144和機器學習演算法145中擇一穩定的辨識結果，輸出辨識的燈號。

上述的機器學習演算法145有多種實現方法，例如支援向量機(SVM)分類器、整體學習(Ensemble learning)分類器或卷積 神經網路(CNN)進行深度學習，以建立號誌111的分類模型。分類模型例如包括前述的燈號顏色偵測模組142及箭頭分類模組143。卷積神經網路由一個或多個卷積層和頂端的全連通層組成，同時也包括關聯權重和池化層(pooling layer)，使得卷積神經網路能夠利用輸入資料的二維結構進行演算。與其他深度學習結構相比，卷積神經網路在圖像和物件辨識方面具有更好的結果，且需要考量的參數更少，因此物件辨識準確率相對較高，例如大於95%。卷積神經網路亦有多種實現架構，例如區域卷積神經網路(R-CNN)、快速型區域卷積神經網路(Fast R-CNN)及更快速型區域卷積神經網路(Faster R-CNN)，透過對輸入資料分成多個區域，並將每個區域分到對應的類別中，再將所有的區域結合在一起，以完成目標物(號誌)的檢測。

在本實施例中，影像處理模組140可將即時道路影像131(RGB圖像)、光達定位資訊(點雲資料之座標)或GPS定位資訊(經緯度之座標)以及圖資110的座標進行疊加，以獲得如第2圖所示的包含號誌111之定位資訊121的RGB圖像，並以多個連續的包含號誌111定位資訊的RGB圖像建立資料集，輸入到卷積神經網路進行機器學習，建立號誌111的分類模型。最後，根據號誌111的分類模型對辨識結果輸出相對應的決策，以完成號誌111的自動辨識。

或者，可選擇地，影像處理模組140亦可將即時道路影像131(RGB圖像)、光達定位資訊(點雲資料之座標)或GPS定位資訊(經緯度之座標)以及圖資110的座標進行疊加，以獲得 如第2圖所示的包含號誌111之定位資訊121的RGB圖像，並輸入電腦中，以進行電腦視覺影像處理，以完成號誌111的自動辨識。電腦視覺影像處理方法如下。首先，進行RGB-HSV色彩空間轉換，在HSV色彩空間中能夠呈現影像當下的色彩明亮度，在HSV色彩空間中對燈號顏色(紅、黃、綠)找出對應的顏色區間進行分割並透過二值化處理以產生前景及背景，將前景各個相連部份標記為連通區域，而此區域即為包含號誌111的關注區域ROI，並從所述連通區域中利用型態學(morphology)、面積和形狀等進行辨識，以確定當前圖像的燈號資訊，並將所述燈號資訊提供給下一張圖像使用，所述燈號資訊包括燈箱112的位置，燈號113-115顏色資訊和箭頭圖案116a-116c資訊等，如第2圖至第4圖所示。此外，圖像進行二值化處理之時，由於受到號誌111本身顏色、亮度、氣候條件以及周圍環境光線的影響(例如逆光、下雨或起霧等)，可能會影響號誌111的辨識結果，因此可進一步對二值化圖像進行去雜訊、去背光等處理，以提高辨識準確率。

在一實施例中，當天候不佳時或極端狀況(例如逆光)下，可利用進階的電腦視覺影像處理方法來提高號誌111的辨識準確率。首先，利用HSV色彩空間中的顏色亮度來判定是否為極端狀況，若亮度低於一個門檻值則認為此時為極端狀況。接著，針對RBG圖像中的各燈號顏色做直方圖均值化(histogram equalization)處理及伽碼校正(gamma correction)處理，用來強化燈號顏色。利用型態學(morphology)影像處理來去除非 燈號的雜訊並在此同時能夠保留燈號113-115的外型。接著，切割燈箱內各個燈號113-115位置，計算重疊區域，若此重疊區域大於一個門檻值則認定此燈號有亮，藉此來判定燈號113-115的狀態。

在一實施例中，最遠可偵測距離例如為100m，最小可偵測燈箱解析度例如為6x14像素，下表列出可偵測距離由小到大時，辨識準確率及召回率的實驗數值。根據實驗結果可知，當可偵測距離小於100m時，準確率大於95%，召回率大於92%，符合遠距辨識的需求。

另外，上述實施例雖以定位資訊121結合圖資110來產生一關注區域ROI，但即使不結合圖資110，仍可產生一關注區域ROI。因此，本發明不限定結合圖資110。下表列出定位資訊121結合圖資110或不結合圖資110時，辨識準確率及召回率的實驗數值。根據實驗結果可知，當可偵測距離小於100m時，若未使用圖資110，準確率下降至85.91%，召回率下降至73.9%，可見定位資訊121結合圖資110，能有效提高遠距辨識的準確率與召回率。

如上所述，本發明上述實施例以定位資訊121結合圖資110產生一關注區域ROI，並結合機器學習之辨識結果以及電腦視覺影像處理之辨識結果，於關注區域ROI中辨識號誌111，以提升辨識準確率及達到遠距辨識的功效。因此，本發明之號誌辨識系統100可解決傳統影像辨識系統的解析度低、遠距辨識的準確率無法提高等問題，並且能解決傳統影像辨識系統在影像處理過程中需耗費大量電腦資源、運算時間長、以及容易受天候影響而發生誤判等問題。

請參照第5圖，其繪示依照本發明一實施例的號誌辨識方法的流程圖。根據上述的內容及圖式，號誌辨識方法可包括下列步驟S11-S15。在步驟S11中，取得包含號誌111的資訊的一圖資110。在步驟S12中，取得包含號誌111的一定位資訊121。在步驟S13中，取得包含號誌111的一即時道路影像131。在步驟S14中，結合圖資110、定位資訊121，於即時道路影像131中產生一關注區域ROI，並辨識關注區域ROI中的號誌111。在步驟S15中，此方法更可包括根據辨識結果，提供一訊號至一視窗介面150的一個或複數個燈號顯示區151，此些燈號顯示區151對應顯示號誌111的狀態，其中號誌111的狀態包括顯示的燈號顏色或箭頭方 向，以告知駕駛者目前顯示的燈號與其顏色。

在一實施例中，上述的號誌辨識方法可根據一光達模組或一GPS定位器提供的定位資訊121與圖資110產生一圖資座標。接著，分析圖資座標，於即時道路影像131中取得關注區域ROI，關注區域ROI對應即時道路影像131中預先設定之包含號誌111的位置，並藉由圖資110確定號誌111之燈號排序與態樣。

請參照第6圖，辨識關注區域ROI中的號誌111包括下列步驟S141-S143。在步驟S141中，辨識關注區域ROI中號誌的燈箱位置，如第2圖所示。在步驟S142中，辨識燈箱位置中顯示的燈號顏色，如第3圖所示。在步驟S143中，辨識燈箱位置中顯示的箭頭方向，如第4圖所示。上述步驟S141-S143例如經由電腦視覺辨識演算法144及/或機器學習演算法145訓練而成。透過比對電腦視覺辨識演算法144與機器學習演算法145的辨識結果，輸出正確的交通號誌111。或者，當無機器學習演算法145的辨識結果時，將電腦視覺辨識演算法144的辨識結果輸出，反之亦然。

本發明上述實施例所述的號誌辨識系統及其辨識方法，用以取得包含號誌的圖資、定位資訊及即時道路影像，並結合圖資及定位資訊，於即時道路影像中產生一關注區域，藉由辨識關注區域中的號誌，以提供即時燈號資訊給車控系統或顯示於視窗介面。本發明因結合機器學習之辨識結果以及電腦視覺影像處理之辨識結果，故能減少演算時間並減少天候不佳時或極端 狀況的干擾，加強對交通號誌自動識別的準確率，並達到遠距辨識的功效，進而實現自駕或輔助駕駛時的號誌辨識。

綜上所述，雖然本發明已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100:號誌辨識系統

110:圖資

111:號誌

120:定位模組

121:定位資訊

130:影像擷取裝置

131:即時道路影像

140:影像處理模組

141:燈箱位置偵測模組

142:燈號顏色偵測模組

143:箭頭分類模組

144:電腦視覺辨識演算法

145:機器學習演算法

150:視窗介面

Claims (21)

1. 一種號誌辨識系統，包括：一圖資，用以提供包含號誌的資訊；一定位模組，用以根據該圖資的該號誌的資訊提供包含該號誌的一定位資訊；至少一影像擷取裝置，用以擷取一即時道路影像；以及一影像處理模組，用以結合包含該號誌的該圖資及該定位模組所提供之該定位資訊，於該影像擷取裝置所擷取之該即時道路影像中產生一關注區域，並辨識該關注區域中的該號誌，其中該號誌包括燈箱及至少一燈號，該影像處理模組包括一箭頭分類模組，用以判斷該燈箱中顯示的箭頭方向。
2. 如申請專利範圍第1項所述之系統，其中該定位模組根據一光達模組或一GPS定位器提供的該定位資訊與該圖資產生一圖資座標。
3. 如申請專利範圍第2項所述之系統，其中該影像處理模組分析該圖資座標，於該即時道路影像中取得該關注區域，該關注區域對應該即時道路影像中預先設定之該號誌的位置，並藉由該圖資確定該號誌之該至少一燈號的排序與態樣。
4. 如申請專利範圍第1項所述之系統，其中該影像處理模組包括一燈箱位置偵測模組，用以偵測該關注區域中該號誌之燈箱位置。
5. 如申請專利範圍第4項所述之系統，其中該影像處理模組包括一燈號顏色偵測模組，用以偵測該燈箱位置中顯示的燈號顏色。
6. 如申請專利範圍第1項所述之系統，更包括一視窗介面，包括至少一燈號顯示區，該至少一燈號顯示區根據該影像處理模組的辨識結果，對應顯示該號誌的狀態，其中該號誌的狀態包括該至少一燈號顯示的燈號顏色或箭頭方向。
7. 如申請專利範圍第4至5項其中之一所述之系統，其中該燈箱位置偵測模組、該燈號顏色偵測模組及該箭頭分類模組係經由一電腦視覺辨識演算法或一機器學習演算法訓練而成。
8. 如申請專利範圍第1項所述之系統，其中該影像處理模組包括一電腦視覺辨識演算法或一機器學習演算法，用以辨識該號誌。
9. 如申請專利範圍第1項所述之系統，其中該影像處理模組包括一電腦視覺辨識演算法以及一機器學習演算法，用以辨識該號誌，該影像處理模組比對該電腦視覺辨識演算法與該機器學習演算法的辨識結果，並根據該比對，決定輸出辨識的該燈號。
10. 一種號誌辨識方法，包括：取得包含號誌的資訊的一圖資；根據該圖資的該號誌的資訊取得包含該號誌的一定位資訊；取得包含該號誌的一即時道路影像；以及 結合包含該號誌的該圖資及該定位資訊，於該即時道路影像中產生一關注區域，並辨識該關注區域中的該號誌，其中該號誌包括燈箱及至少一燈號，並判斷該燈箱中顯示的箭頭方向。
11. 如申請專利範圍第10項所述之方法，其中根據一光達模組或一GPS定位器提供的該定位資訊與該圖資產生一圖資座標。
12. 如申請專利範圍第11項所述之方法，其中分析該圖資座標，於該即時道路影像中取得該關注區域，該關注區域對應該即時道路影像中預先設定之包含該號誌的位置，並藉由該圖資確定該號誌之該至少一燈號的排序與態樣。
13. 如申請專利範圍第10項所述之方法，其中辨識該關注區域中的該號誌包括辨識該關注區域中該號誌之燈箱位置。
14. 如申請專利範圍第13項所述之方法，其中辨識該關注區域中的該號誌包括辨識該燈箱位置中顯示的燈號顏色。
15. 如申請專利範圍第10項所述之方法，更包括提供一訊號至一視窗介面的至少一燈號顯示區，該至少一燈號顯示區對應顯示該號誌的狀態，其中該號誌的狀態包括該至少一燈號顯示的燈號顏色或箭頭方向。
16. 如申請專利範圍第13至14項其中之一所述之方法，其中辨識該關注區域中的燈箱位置、辨識該燈箱位置中顯示的燈號顏色及辨識該燈箱位置中顯示的箭頭方向係經由一電腦視覺辨識演算法或一機器學習演算法訓練而成。
17. 如申請專利範圍第10項所述之方法，其中辨識該號誌包括一電腦視覺辨識演算法或一機器學習演算法。
18. 如申請專利範圍第10項所述之方法，其中辨識該號誌包括經由一電腦視覺辨識演算法以及一機器學習演算法，並比對該電腦視覺辨識演算法與該機器學習演算法的辨識結果，以及根據該比對，決定輸出辨識的該燈號。
19. 如申請專利範圍第18項所述之方法，其中若該電腦視覺辨識演算法與該機器學習演算法的辨識結果相同，輸出辨識的該燈號。
20. 如申請專利範圍第18項所述之方法，其中若該電腦視覺辨識演算法與該機器學習演算法的辨識結果不相同，選擇該二辨識結果中較穩定的一者輸出辨識的該燈號。
21. 如申請專利範圍第18項所述之方法，其中若該電腦視覺辨識演算法與該機器學習演算法的辨識結果不相同，將該二辨識結果的可信分數相加並取得平均分數，若該平均分數大於一門檻值，輸出辨識的該燈號。

Images