TW202013252A - 車牌辨識系統與方法 - Google Patents

Abstract

一種車牌辨識系統與方法，其中車牌辨識系統包括：擷取模組、判斷模組與輸出模組，該擷取模組用於擷取目標物之圖像；該判斷模組用於將該目標物之該圖像分為複數影像區塊；以及該判斷模組利用該複數影像區塊產生特徵資料，並將該特徵資料進行資料排序，並產生結果，並利用該輸出模組輸出該結果。

Description

車牌辨識系統與方法

本發明係關於一種辨識系統與方法，特別是關於一種車牌辨識系統與方法。

目前利用治安監控的路口監視器系統，其中最常見的做法便是廣泛的在各個交通路口設置路口監視器，再由人工監看監視器畫面，然而在長時間的監看下，會因疲勞造成疏失，因此監視器大部分的作用皆是事後的舉證，無法在當下做出立即的反應，甚至追蹤車輛移動的軌跡，也需大量的人力，耗費許多時間去檢視各路口的監視器畫面。

而現今可透過車牌辨識技術主動監控路口監視器畫面，可將畫面從無意義的數位訊號轉為有意義的資訊；然而，此技術未能普及的最大因素在於為了符合傳統車牌辨識技術對於車牌尺寸的需求，需要再加裝高成像品質的監視器，並限制其架設的角度，例如需架設在路口正上方或是一支監視機僅能拍攝一個車道，在建置初期需要大量的資源，且對後續維護造成困擾。

在傳統車牌辨識技術會有需多問題因素，例如取像因素或環境因素，而傳統車牌辨識技術是擷取出車牌後， 需進行切割車牌內的各車號字元，之後再就各車號字元進行辨識，而路口監視器畫面主要的目的是監控車道與車道周圍發生的事件，為了成本考量，通常一個十字路口會架設兩支攝影機涵蓋整個路口，在如此的條件之下，車牌的取像角度大且解析度不佳，使用傳統的方法無法在此條件下進行各車號字元分割，導致後續的辨識錯誤，此稱為取像因素；此外，在戶外的路口監視器，容易因光影變化導致字元分割錯誤，例如車燈加上煙霧造成的炫光、樹蔭下的陰影或天色昏暗等影響，此稱為環境因素。

由於上述取像因素與環境因素，使得傳統的車牌辨識系統無法有效地辨認出車牌號碼。

鑒於上述習知技術之缺點，本發明提出使用機器學習方法於車牌辨識，不同於傳統車牌辨識系統是使用人工訂定的策略來辨識車號。

為了達到上述目的，根據本發明所提出之一種車牌辨識系統，其中包括：一擷取模組，該擷取模組用於擷取一目標物之一圖像；一判斷模組，該判斷模組用於將該目標物之該圖像分為複數影像區塊；以及一輸出模組，該判斷模組利用該複數影像區塊產生一特徵資料，並將該特徵資料進行資料排序，並產生一結果，並利用該輸出模組輸出該結果。

本發明的車牌辨識系統，其中該判斷模組還包含 一車輛偵測模組、一車牌偵測模組與一車牌辨識模組。

本發明的車牌辨識系統，其中該車輛偵測模組是用於將該目標物之該圖像分為複數影像區塊，並將該複數影像區塊產生複數資訊，並透過該複數資訊獲取一影像；該車牌偵測模組是用於將該影像進行一特徵判斷獲取一圖片；以及該車牌辨識模組是用於將該圖片進行一特徵萃取獲取一特徵向量，並將該特徵向量進行分類產生一對應機率，並將該對應機率進行資料排序產生一結果。

本發明的車牌辨識系統，其中該車輛偵測模組包含一網格劃分與一網路輸出。

本發明的車牌辨識系統，其中該車牌辨識模組包含一特徵萃取模組與一字元辨識模組。

本發明的車牌辨識系統，其中該特徵判斷包含一特徵提取、一特徵合併與一輸出層。

本發明提出一種車牌辨識方法，其包含：利用一擷取模組擷取一目標物之一圖像；該目標物之該圖像利用一車輛偵測模組對該圖像進行一網格劃分來獲得複數影像區塊，而該複數影像區塊在進行計算並產生一複數資訊，該複數資訊進行排列從而獲取一影像；以及該影像透過一車牌偵測模組進行一特徵判斷獲取一圖片，而該圖片利用一車牌辨識模組進行一特徵萃取並獲取一特徵向量，並將該特徵向量進行分類產生一對應機率，並將該對應機率進行資料排序產生一 結果，並利用一輸出模組輸出該結果。

本發明的車牌辨識方法，其中該特徵判斷包含一特徵提取、一特徵合併與一輸出層。

本發明提出一種車牌辨識模組，包括：一特徵萃取模組，該特徵萃取模組用於將該圖片進行該特徵萃取並獲取一特徵圖，並將該特徵圖重新改造獲取一特徵向量；以及一字元辨識模組，該字元辨識模組將該特徵向量進行分類，並獲取該特徵向量的一對應機率，並將該對應機率進行資料排序產生一結果。

本發明的車牌辨識模組，其中該字元辨識模組包含一長短期記憶模型類神經網路(LSTM)與一連接時序分類(CTC)。

因此本發明是透過機器學習方法可利用路口監視器影像將獲得的車牌，對模型進行訓練；在模型訓練前，使用影像處理技巧產生不同車牌尺寸、角度與雜訊的車牌影像，模擬不同角度與解析度的影像，藉此解決取像因素；相較於人工設計的辨識機制，機器學習學習到的真實車牌圖片更可適用於各種環境，可解決環境因素，且為了適應各式路口監視器，將已訓練好的模型視為起始模型，而之後得到新的路口監視器影像時，透過主動學習，挑出信心指數較差的辨識結果，經由人工確認得出更正結果，再調整車號辨識模型，藉此提升辨識率。

以上之概述與接下來的詳細說明及附圖，皆是為了能進一步說明本創作達到預定目的所採取的方式、手段及功效。而有關本創作的其他目的及優點，將在後續的說明及圖式中加以闡述。

1‧‧‧擷取模組

2‧‧‧判斷模組

3‧‧‧輸出模組

21‧‧‧車輛偵測模組

22‧‧‧車牌偵測模組

23‧‧‧車牌辨識模組

231‧‧‧特徵萃取模組

232‧‧‧字元辨識模組

第一圖係為本發明一種車牌辨識系統之示意圖；第二圖係為本發明車牌辨識模組之示意圖。

以下係藉由特定的具體實例說明本創作之實施方式，熟悉此技藝之人士可由本說明書所揭示之內容輕易地了解本創作之優點及功效。

請參閱第一圖所示，為本發明一種車牌辨識系統之示意圖。如圖一所示，車牌辨識系統是由擷取模組1、判斷模組2與輸出模組3所組成，其中擷取模組1用於擷取目標物之圖像，判斷模組2用於將該目標物之該圖像分為複數影像區塊，且判斷模組2利用複數影像區塊產生特徵資料，並將該特徵資料進行資料排序並產生結果，再利用該輸出模組3輸出其結果；其中擷取模組1是在十字路口處架設攝影機攝影行經於路口複數的車輛，並將所拍攝到的影像進行存取或是後續車牌辨識。

在本發明的判斷模組2是由車輛偵測模組21、車牌偵測模組22與車牌辨識模組23所組成，該車輛偵測模組21是用於將目標物之圖像分為複數影像區塊，並將複數影像區塊產生複數資訊，並透過複數資訊獲取影像，而車牌偵測模組22是用於將影像進行特徵判斷產生圖片，以及車牌辨識模組23是用於將圖片進行特徵萃取獲取特徵向量，並將該特徵向量進行分類產生對應機率，並將該對應機率進行資料排序產生結果。

在一較佳實施例中，當擷取模組1在十字路口將所拍攝到的車輛影像輸入至判斷模組2中的車輛偵測模組21來判斷所輸入的各畫格(frame)圖像，其中車輛偵測模組21是使用深度學習的物件偵測(You Only Look Once,YOLO)網路架構來獲得各個車輛位置與範圍，再比較前後兩個畫格圖像的車輛位置，並追蹤每一個進入畫格的車輛，再利用時間戳記加上通用唯一識別碼(Universally Unique Identifier,UUID)給予編號。

在YOLO網路架構是將目標物檢測問題看成迴歸問題，分別給出bounding box的位置和對應的類別機率，對於給定的目標物之圖像，只需使用類神經網路計算一次，就能同時給出bounding box位置和類別的機率；其中YOLO網路架構具有網格劃分與網路輸出，其中網格劃分是將輸入圖像劃分為S×S個grid cell，每個grid cell同時預測B個bounding box 的位置和一個信心度(confidence)，這個信心度是該bounding box的待檢測目標的機率(Pr(Object))乘上該bounding box的真實位置(

)的乘積，如下式所示：

而網路輸出為每個bounding box對應5個輸出，則分別是x,y,w,h和信心度，其中x,y代表bounding box的中心離開其所在grid cell邊界的偏移，而w,h代表bounding box真實寬高相對於整幅圖像的比例，其中每個grid cell還產生C個條件機率Pr(Class_i|Object)；在不考慮B的大小情況下，每個grid cell只產生一組機率，而每個grid cell的機率與每個bounding box的confidence相乘，這乘積包含了bounding box中預測的類別(class)的可能性訊息，也反映了bounding box是否含有Object和bounding box坐標的準確度，如下式所示：

因此YOLO網路架構會顯示有複數資訊，而該複數資訊為19個卷積層(Convolutional)與5個最大值池化層(Max pool)，其中卷積層為萃取影像特徵，而最大值池化層的功能為縮減特徵參數保留重要特徵，如表一所示。

其中，Filters為卷積核個數、Size/Stride為卷積核大小與移動 步數以及Output為輸出圖像素，而該複數資訊進行排列從而獲取所要的車輛影像；在另一較佳實施例中，當目標物之圖像中顯示具有多個車輛圖像時，根據上述車輛偵測模組21的方式將複數資訊進行排列之後，從目標物之圖像中具有多個車輛圖像內進而來獲取所需要的車輛影像。

接著，當獲得車輛的影像後，將影像輸入至判斷模組2中的車牌偵測模組22來擷取影像中的車牌圖片，其中車牌偵測模組22是使用自然場景文本檢測(an Efficient and Accurate Scene Text Detector,EAST)深度學習網路架構擷取車輛影像中的車牌圖片，再藉由每輛車在進入畫面後的唯一編號，可以挑選此車輛在畫面中位置與解析度較佳的對應車牌圖片，進行車號辨識；其中EAST深度學習網路架構是一種從自然場景的影像中，偵測文字位置的技術，EAST深度學習網路架構包含兩種偵測方法，第一種為旋轉框(RBOX)，第二種為四邊形(QUAD)，透過整合兩種偵測方法找出文字所在位置的範圍；在第一種方法中，模型會分別預測車牌文字框的「長」、「寛」及「旋轉角度」；第二種方法中，模型會預測車牌文字框四個點，此四個點分別為四邊形的四個角，再由此組成一個四邊形，即車牌文字圖片框所在的位置。

而EAST深度學習網路架構進行特徵判斷，其中特徵判斷是由特徵提取、特徵合併及輸出層組成，該特徵提取部分是利用4層卷積層萃取不同解析度層次的影像特徵， 再經特徵合併步驟，彙整各種尺寸的特徵，進行特徵合併，最後再由輸出層得到最後的偵測結果，再利用旋轉框(RBOX)獲取車牌文字框的「長」、「寛」及「旋轉角度」以及利用四邊形(QUAD)獲取車牌文字框四個點之後進而獲取車牌圖片。

再接著，請參閱第二圖所示，而第二圖是根據第一圖的一種車牌辨識系統之示意圖再進一步說明車牌辨識模組之示意圖。當獲得車牌圖片後，將車牌圖片傳輸至判斷模組2中的車牌辨識模組23來辨識圖片中的文字，其中車牌辨識模組23是由特徵萃取模組231與字元辨識模組232組成；該特徵萃取模組231使用卷積類神經網路(Convolutional Neural Network,CNN)用於將圖片進行特徵萃取並獲取特徵圖(feature map)，並將特徵圖重新改造(reshape)獲取特徵向量，而字元辨識模組232是使用長短期記憶模型(Long Short-Term Memory,LSTM)將特徵向量進行分類，並獲取特徵向量的對應機率，再利用連結時序分類(Connectionist Temporal Classification,CTC)並將對應機率進行資料排序產生結果。

其中，車牌辨識模組23中的特徵萃取模組231是把經過使用EAST深度學習網路架構的車牌偵測模組22後獲得的車牌圖片當作輸入，送到車牌辨識模組23中的特徵萃取模組231，當輸入的車牌圖片在經過CNN對輸入影像進行轉換與映射，進而萃取出影像的文字特徵後，產生與輸入圖 片對應的特徵圖，但為了滿足接下來的車牌辨識模組23的字元辨識子模組232的輸入需求，會將特徵圖透過數學轉換，重新改造為一組特徵向量，作為字元辨識子模組的輸入。

而該車牌辨識模組23中的字元辨識模組232是從車牌辨識模組23的特徵萃取子模組231獲得車牌圖片對應的特徵向量後，輸入至車牌辨識模組23的字元辨識模組232的LSTM網路中，LSTM網路會將每一行特徵向量進行分類，推測出該行特徵向量是可能的文字的機率，再把每個特徵向量與文字的對應機率，透過CTC演算法計算出最大機率的序列預測結果，例如其預測結果為sstttt---eeeee-a----kk，而這些預測結果同時利用CTC演算法將預測結果序列進行去除分隔號與合併序列產生最終預測結果"steak"。

需陳明者，以上所述僅為本案之較佳實施例，並非用以限制本創作，若依本創作之構想所作之改變，在不脫離本創作精神範圍內，例如：對於構形或佈置型態加以變換，對於各種變化，修飾與應用，所產生等效作用，均應包含於本案之權利範圍內，合予陳明。

1‧‧‧擷取模組

2‧‧‧判斷模組

3‧‧‧輸出模組

21‧‧‧車輛偵測模組

22‧‧‧車牌偵測模組

23‧‧‧車牌辨識模組

Claims (10)

1. 一種車牌辨識系統，其中包括：一擷取模組，該擷取模組用於擷取一目標物之一圖像；一判斷模組，該判斷模組用於將該目標物之該圖像分為複數影像區塊；以及一輸出模組，該判斷模組利用該複數影像區塊產生一特徵資料，並將該特徵資料進行資料排序，並產生一結果，並利用該輸出模組輸出該結果。
2. 如申請專利範圍第1項該車牌辨識系統，其中該判斷模組還包含一車輛偵測模組、一車牌偵測模組與一車牌辨識模組。
3. 如申請專利範圍第2項該車牌辨識系統，其中該車輛偵測模組是用於將該目標物之該圖像分為複數影像區塊，並將該複數影像區塊產生複數資訊，並透過該複數資訊獲取一影像；該車牌偵測模組是用於將該影像進行一特徵判斷獲取一圖片；以及該車牌辨識模組是用於將該圖片進行一特徵萃取獲取一特徵向量，並將該特徵向量進行分類產生一對應機率，並將該對應機率進行資料排序產生一結果。
4. 如申請專利範圍第2項該車牌辨識系統，其中該車輛偵測模組包含一網格劃分與一網路輸出。
5. 如申請專利範圍第2項該車牌辨識系統，其中該車牌辨識模組包含一特徵萃取模組與一字元辨識模組。
6. 如申請專利範圍第3項該車牌辨識系統，其中該特徵判斷包含一特徵提取、一特徵合併與一輸出層。
7. 一種車牌辨識方法，其包含：利用一擷取模組擷取一目標物之一圖像；該目標物之該圖像利用一車輛偵測模組對該圖像進行一網格劃分來獲得複數影像區塊，而該複數影像區塊在進行計算並產生一複數資訊，該複數資訊進行排列從而獲取一影像；以及該影像透過一車牌偵測模組進行一特徵判斷獲取一圖片，而該圖片利用一車牌辨識模組進行一特徵萃取並獲取一特徵向量，並將該特徵向量進行分類產生一對應機率，並將該對應機率進行資料排序產生一結果，並利用一輸出模組輸出該結果。
8. 如申請專利範圍第1項該車牌辨識方法，其中該特徵判斷包含一特徵提取、一特徵合併與一輸出層。
9. 一種車牌辨識模組，係利用如請求項8所述之車牌辨識方法，包括：一特徵萃取模組，該特徵萃取模組用於將該圖片進行該特徵萃取並獲取一特徵圖，並將該特徵圖重新改造獲取一特徵向量；以及 一字元辨識模組，該字元辨識模組將該特徵向量進行分類，並獲取該特徵向量的一對應機率，並將該對應機率進行資料排序產生一結果。
10. 如申請專利範圍第9項該車牌辨識模組，其中該字元辨識模組包含一長短期記憶模型類神經網路(LSTM)與一連接時序分類(CTC)。

Images