TWI431559B

TWI431559B - 車牌偵測辨識方法及其系統

Info

Publication number: TWI431559B
Application number: TW099137175A
Authority: TW
Inventors: Jun Wei Hsieh; Sin Yu Chen
Original assignee: Univ Nat Chiao Tung
Priority date: 2010-10-29
Filing date: 2010-10-29
Publication date: 2014-03-21
Also published as: TW201218129A; US8509486B2; US20120106802A1

Description

車牌偵測辨識方法及其系統

本發明係有關一種車牌偵測辨識方法及其系統，特別是指一種可容忍不同角度的影像擷取及在任何環境變化下能夠快速偵測出車牌位置，並有效排除影像雜訊而提高車牌的辨識品質，以達到即時性偵測與高辨識率之功效。

近年來，在影像處理的應用領域中，車牌自動辨認技術已陸續被運用於自動收費、車庫管理、贓車查緝等特別監視用途上，對提昇社會安全及降低作業成本均有實質上之助益。

在實際的車牌辨識系統應用上，常由於取像系統拍攝地點的不同，因此導致所取得之影像會有不同的差異性產生，例如不同道路出現的交通號誌或廣告所產生的干擾等，甚至拍攝地點的光線環境(例如室外光源變化多端，白天、晚上、下雨等，都會影響光源照在車牌上的亮度，進而影響車牌影像的品質)以及車輛背景(例如車牌懸掛位置不一、不同車型係對應不同樣式與顏色車牌等)與其裝飾物都將造成車牌辨識系統在車牌辨識上的困難。以一張車輛影像而言，除了車牌部分之外，車燈、保險桿、車頭標誌、框架、螺絲或地區文字等許多其它的部分，都可能與車牌部分有相似特徵之處，因此，這些並不屬於車牌號碼的部分也會增加車牌辨識系統的困難度。再者，一般車牌辨識方法是對車牌影像進行二值化處理後，將其做字元切割，再把相關字元送入事先影像訓練分類器以輸出車牌字元結果，最後將辨識結果組合成完整的車牌號碼。然而，上述辨識方法很容易受到車牌本身污損或雜訊的影響，尤其是車牌區域在一張車輛影像中算是個小區域，偵測到的區域不只有車牌文字，也有可能會包含車牌旁邊的區域，在這樣的情況下，很容易得到不穩定的二值化文字，這樣帶有大量雜訊的二值化資訊會影響後續的辨識結果，使得影像的辨識率效果不好。

因此，如何使車牌辨識系統在實際應用上可以擁有良好的辨識率並具有快速運算將是現今車牌辨識系統所需要面臨的問題。

有鑑於此，本發明遂針對上述先前技術之缺失，提出一種車牌偵測辨識方法及其系統，以有效克服上述之該等問題。

本發明之主要目的在提供一種車牌偵測辨識方法，其利用邊緣偵測車輛影像，所產生之邊緣資訊加以重新編碼，可以快速且精準地找出車牌的所在位置，藉以節省先前技術中車輛影像需做事先的影像訓練之運算時間。

本發明之另一目的在提供一種車牌偵測辨識方法，其於車輛的灰階影像中進行文字切割後，再執行二值化處理，藉以獲得較佳和穩定之二值化影像，進而解決先前技術於二值化處理時，因其含有大量雜訊而導致辨識率低的問題。

為達上述之目的，本發明提供一種車牌偵測辨識方法，包括下列步驟：將輸入之影像轉換為一灰階影像，並計算其邊緣密度值，再依據邊緣密度值及一車牌規格條件，找出一車牌影像的位置；偵測車牌影像之文字區域，將其切割為複數字元影像後，並執行二值化處理以取得複數二值化字元影像；辨識此些二值化字元影像之複數字元；對此些字元重新組合為一車牌字串，並輸出之；及取下一個影像並取得下一個時間點的新車牌字串，並將車牌字串與新車牌字串之每一字元進行比對，以產生一比對結果，據以驗證比對結果之可信度。

本發明另提供一種車牌偵測辨識系統，包括：一車牌偵測模組，係偵測一影像並轉換為一灰階影像，計算其邊緣密度值，再依據邊緣密度值及一車牌規格條件，找出一車牌影像的位置；一文字切割模組，連接車牌偵測模組，係將此些車牌影像切割為複數字元影像後，並執行二值化處理以取得複數二值化字元影像；一文字辨識模組，連接文字切割模組，係分別辨識此些二值化字元影像之複數字元；一字串組合模組，連接文字辨識模組，係將此些字元進行重新組合為一車牌字串，並輸出之；及一投票模組，連接字串組合模組，係取下一個時間點的新車牌字串，並將車牌字串及新車牌字串之每一字元進行比對以產生一比對結果，據以驗證比對結果之可信度。

底下藉由具體實施例詳加說明，當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。

本發明提出一個在高速行駛下時的車輛，可以快速且準確偵測與辨識車牌號碼之方法及其系統，請一併參閱第1圖及第2圖，第1圖係為本發明之架構圖，第2圖係為本發明之步驟流程圖。當至少一個影像擷取裝置10，如攝影機或監視器取得一影像時，在步驟S10中，利用車牌偵測模組12偵測擷取裝置10所攝入之影像，由於影像擷取裝置10所攝入之影像多為RGB彩色影像，因此將其轉換為一灰階影像，例如將影像轉換8位元的灰階值，能有效簡化圖片資訊，為克服在光線較不明確的影像中找到車牌的邊緣，如第3(a)圖及第3(b)圖所示，利用一積分影像方式計算灰階影像中每一像素點之特徵值，若影像設定為f(x,y)，則積分影像設定為S(x,y)，則定義為從原點(0,0)到像素點(x,y)之特徵值並加以累積，特徵值之總和即為邊緣密度值，而積分影像之運算式(1)如下所示：

若將灰階影像分割為複數區域，例如分割為A、B、C、D區域，則可依據求出之積分影像S(x,y)的累加值，利用兩個減法及一個加法來運算出任一區域之邊緣密度值，在此以計算D區域的邊緣密度值為例，如下列運算式(2)：

D=S(4)+S(1)-S(2)-S(3).................................................(2)

其計算原理是為S(4)=A+B+C+D,S(3)=A+C,S(2)=A+B,S(1)=A，其中，點1的積分影像的值為A區域內所有像素的特徵總和值，點2的積分影像所對應的值為A+B區域內所有像素的特徵總和值，點3的積分影像所對應的值為A+C區域內所有像素的特徵總和值，點4的積分影像所對應的值為A+B+C+D區域內所有像素的特徵總和值，其中特徵總和值即為邊緣密度值；因此，可以用簡單的運算得到D區域的邊緣密度值，進而計算出每一個區域內的邊緣密度值。

一旦積分影像算出來以後，可將邊緣密度值較高的位置係利用一車牌候選區框選出，再藉由一預設邊緣密度門檻值，將低於預設邊緣密度門檻值之車牌候選區排除。再者，如第4圖所示，車牌候選區之邊緣密度值若高於預設邊緣密度門檻值，則依據一合併條件以找出複數合併車牌候選區，其中合併條件係為任兩個以上的車牌候選區範圍重疊，將其框選為合併車牌候選區，再將不符合車牌規格條件之合併車牌候選區排除，其中車牌規格條件係為一預設框的長寬比，如此便可以大量過濾掉不可能的車牌候選區，因此，依據邊緣密度值及車牌規格條件，即可找出一車牌影像的位置。在步驟(a)中，從偵測影像到找出一車牌影像的位置之影像處理過程，每秒速度約為150fps以上。

本發明在快速道路、貨櫃碼頭、還有停車場的環境下作測試，在偵測結果上都有很好的表現，跟其他訓練式的車牌偵測演算法比較起來，如Adaboost或是SVM，此發明所提出來的演算法，有下列的優點：(I)在有車牌出現的影像中，車牌沒偵測到的機率(miss rate)很低；(II)偵測速度快；(III)較能容忍不同角度的攝影機。經過測試，本發明所提出的演算法較能適應實際的車牌系統環境，主要是因為在產業界上的使用，並無法有太多時間去做影像的訓練，當車牌偵測如果利用Adaboost演算法來訓練車牌，此方法當資料量很高時，如上萬筆訓練影像，就需花了好幾天的時間去訓練，而且還要多花其他人力去做影像訓練和搜集，這是非常沒效率的。再來就是通常使用或是架設系統的人並不會是了解演算法的人，只要環境不是當初所訓練的影像環境，當效能沒預期的好，使用系統的人就會認為是系統的問題，所以系統對於環境變化的高容忍度對於業界來說是很重要也很需要的特性。

接續，在步驟S12中，偵測車牌影像之文字區域，車牌影像係以垂直投影取得正投影值及負投影值，根據其最大值以定義出文字區域之上下邊界，如第5(a)圖所示，車牌影像可分為上半部及下半部，垂直投影法係計算上半部及下半部之正投影值、負投影值間的最大差值，以找出文字區域為黑底白字或是白底黑字之上下邊界位置及其文字高度，例如文字區域為黑底白字時，上半部要找最小的「負」投影值(負值最多的部份)，下半部要找最大的「正」投影值，最後我們得到白底黑字的上下邊界位置和(下標w代表白底，上標t代表上邊界，上標b代表下邊界)，則我們可以得到白底黑字的文字高度為h _w =-。如果文字區域為黑底白字，上半部就要找最大的「正」投影值，下半部要找最小的「負」投影值，然後得到黑底白字的上下邊界位置和(下標b代表黑底，上標t代表上邊界，上標b代表下邊界)，則我們可以得到黑底白字的文字高度為h _b =-，因為至目前為止，我們都無法知道到底是黑底白字還是白底黑字的車牌，因此h _b 和h _w 兩個數值都會計算，然後利用下列的發明方法來判斷到底輸入車牌影像是黑底白字或白底黑字。

因為我們不知道車牌是白底黑字還是黑底白字，因此先利用前述的垂直投影技巧找出的上下邊界為y ^t 和y ^b (由於不知是黑底白字或白底黑字，兩個可能情況都去做)，然後對上下邊界範圍內的灰階影像，沿著水平線做灰階投影，其公式(3)如下：

如第5(b)圖所示再對上下邊界範圍作水平灰階投影以找出複數波峰(peak)位置，據以找出文字區域中每一字元影像之左右邊界，再根據上下邊界及左右邊界切割字元影像。其中，本發明所定義的波峰，係利用垂直灰階投影量當作依據，如果一個位置的投影量比它左右兩邊的投影量都大，這點就是波峰，左右兩邊的位置範圍此發明設定為文字高度(h =y ^t -y ^b )的六分之一，通常一個字是由三個垂直投影波峰所組成，有時會只有兩個垂直投影波峰，通常越多的垂直投影波峰就越表示是有車牌的文字存在，利用此特性，可以用來判斷到底文字區域為黑底白字或是白底黑字之車牌規格。若車牌規格為白底黑字，利用上下邊界和，則可得到白底黑字之車牌規格是沿著水平線的投影結果如下公式(4)：

若車牌規格為黑底白字，利用上下邊界和，則我們可得到黑底白字車牌沿著水平線的投影結果如下公式(5)：

其中，利用V _w (x )可以得到波峰數，利用V _b (x )可以得到波峰數，比較此兩個數值和的大小，即可判斷出車牌規格為黑底白字還是白底黑字，換言之，若大於，則車牌規格為白底黑字，反之，則車牌規格為黑底白字。一旦判斷出車牌規格為白底黑字或黑底白字後，利用兩個相鄰的波峰(不一定是相連)的距離當作字元影像的寬，字元影像的上下邊界差當做字元的高度(或長度)，利用長寬比來決定是否為字元，越接近系統設定的門檻值(例如長寬比為0.55)就越可能為字元。此外，文字區域中除了字元之外，更包含有一個破折號的符號，破折號會影響到切字跟辨識，為了有效增加辨識率，我們需針對破折號來處理，破折號判斷的方式為只要影像的中間三分之一有黑點，上半部的三分之一和下半部的三分之一為白點，中間的三分之一就會被視為破折號。對於破折號的掃描，在此，係採取兩種方式來掃描，一個是從左到右掃瞄，另一個則是從右到左掃瞄，在破折號掃描消除的過程中，只要有一個點不符合判斷式，此掃描方向就會停止尋找，如第6圖所示，從圖中的右邊開始往左邊找，“1”位置的破折號符合消除的條件就會往左邊開始消除，碰到「H」字的右邊就不符合條件然後就會停止，這時破折號就已經被消除了。如果不停止，「H」這個字的中間“2”位置的部份就會被削除，當破折號被消除以後，字元的比例就可被保持住了。最後，依據上述投影所找出的水平線當依據，做垂直投影，然後利用投影結果所找出的波峰，做字元影像左右邊界的定位，利用一文字切割模組14將文字區域切割為複數字元影像後，並執行二值化處理以取得複數二值化字元影像。其中此些字元影像之相鄰的波峰位置選取為一區塊，並將其進行二值化演算，接著利用這些二值化結果作投票，利用多篩選值來決定最佳的二值化字元影像結果，主要是希望可以減少雜訊的產生，如第7圖所示，總共會有三張影像包含「3」的右半邊影像，可利用這三張影像重疊的座標位置來投票，如果在同一個位置三張圖投票的結果都是前景物(黑點)，那就代表這個位置是前景物的點，並保存之，即可達到去除雜訊之功效，再者，可找出較佳二值化字元影像。

接續，在步驟S14中，係利用一文字辨識模組16依據一字元特徵辨識此些二值化字元影像之複數字元。文字辨識模組16可先將此些二值化字元影像縮放一預設字元尺寸(例如32x16)。字元特徵係為交叉掃瞄(Cross)、垂直投影直方圖(Histogram)、輪廓掃瞄(Profile)或區塊掃瞄(Zoning)，用以辨識出些二值化字元影像中之此些字元，為進一步說明這四種文字特徵的辨識方法，以辨識「6」的二值化字元影像為例說明，如第8(a)圖，Cross特徵是先水平去掃描「6」每一行有幾個黑白相間的點(黑點的下一個是白點，或是白點下一個是黑點)，然後再垂直去掃描，以辨識出二值化字元影像之字元為「6」。如第8(b)圖，Histogram特徵是計算水平、垂直的投影量，以辨識出二值化字元影像之字元為「6」。如第8(c)圖，Profile特徵是先水平去掃看到黑點時，有多少個白點(字的外輪廓)然後再垂直掃描，以辨識出二值化字元影像之字元為「6」。如第8(d)圖，Zoning特徵是將整個二值化字元影像切割成不同的區塊，計算每個區塊有多少個黑點，以辨識出二值化字元影像之字元為「6」。藉由上述之辨識方法即可逐一辨識出此些二值化字元影像之每一字元，其字元可為阿拉伯數字或英文字母。

接續，在步驟S16中，係利用一字串組合模組18對此些字元進行組合為一車牌字串。車牌影像經字元辨識後，為了讓本發明辨識車牌的準確率提高，可根據一車牌規則對車牌字串進行重新組合與校正，使得最後的車牌字串結果符合各國的車牌規則，例如依照台灣的車牌規則，會有六個字的車牌字串，如普通汽車、貨車等，和五個字的車牌字串，如計程車、公車、遊覽車、大型貨櫃車等。六個字的車牌字串會分成2-4或是4-2這樣的形式，其中2表示至少有一個是英文字母，4表示全數都是阿拉伯數字。舉例來說，這類型的車牌字串會有2D-4345、5435-D3、AY-5343、6345-HY等。五個字的車牌字串會分成2-3或是3-2這樣的形式，和前面所提到的六個字的車牌字串一樣，2表示至少有一個英文字母，3表示全部都是阿拉伯數字。所以會有3D-434、AD-323、736-D5、643-AT等。所以當一個辨識完成的車牌字串，可將其切割成符合台灣車牌規則的形式，只要符合上述的車牌規則，就會被切割出來，所以一個車牌字串出來，就會有可能有一個以上的可能車牌。

最後，在步驟S18中，取下一個畫面的影像並重複步驟(a)至步驟(d)，以得到下一個時間點的新車牌字串，並利用一投票模組20將車牌字串及新車牌字串之每一字元進行比對，以產生一比對結果，據以驗證比對結果之可信度。例如，當影像一張張輸入車牌偵測模組12，可利用在不同時間點的車牌影像之辨識結果來作投票，對辨識結果做進一步的準確率改善。當在第i張畫面偵測到車牌影像時，接著根據在i+1張畫面所偵測到的車牌影像，看是否與第i張畫面所偵測到車牌影像的位置重疊，據以作為投票依據，若有重疊，就作文字投票。投票的方法是當有一個符合車牌規則的車牌字串被取出來後，系統會先檢查車牌投票區有沒有完全一樣的字串，如果沒有就會把這段車牌字串存至車牌投票區，若車牌投票區只要有相似的車牌(字沒有完全一樣)就會給予車牌投票區一加權值，加權值就是車牌字串的辨識相似機率，例如車牌投票區中之一車牌字串為5D-4243，下一個時間點取得的新車牌字串為5D-4241，則在車牌投票區中建立該5D-4241的新車牌字串，然後再和5D-4243進行比對，只要同一個位置有相同的字元，就給予5D-4243一加權值，每一個字元都有對應的加權值，這些加權值的平均值即為驗證本發明偵測車牌字串的可信度。

本發明利用邊緣偵測車輛影像，所產生之邊緣資訊加以重新編碼，可以快速且精準地找出車牌的所在位置，藉以節省先前技術中車輛影像需做事先的影像訓練之運算時間。再者，於車輛的灰階影像中進行文字切割後，再執行二值化處理，藉以獲得較佳和穩定之二值化影像，進而解決先前技術於二值化處理時，因其含有大量雜訊而導致辨識率低的問題。因此，本發明不僅可容忍不同角度的影像擷取，且能在任何環境變化下快速偵測出車牌位置，並有效排除影像雜訊而提高車牌的辨識品質，以達到即時性偵測與高辨識率之功效。

唯以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍。故即凡依本發明申請範圍所述之特徵及精神所為之均等變化或修飾，均應包括於本發明之申請專利範圍內。

10‧‧‧影像擷取裝置

12‧‧‧車牌偵測模組

14‧‧‧文字切割模組

16‧‧‧文字辨識模組

18‧‧‧字串組合模組

20‧‧‧投票模組

第1圖為本發明之架構圖。

第2圖為本發明之步驟流程圖。

第3(a)圖為本發明之原始影像圖。

第3(b)圖為本發明之積分影像圖。

第4圖為本發明具有車牌候選區之灰階影像圖。

第5(a)圖為本發明車牌影像之垂直投影圖。

第5(b)圖為本發明車牌影像之水平灰階投影圖。

第6圖為本發明之消除破折號示意圖。

第7圖為本發明利用投票獲得較佳之二值化影像示意圖。

第8(a)圖為本發明利用交叉掃瞄特徵辨識字元之示意圖。

第8(b)圖為本發明利用垂直投影直方圖特徵辨識字元之示意圖。

第8(c)圖為本發明利用輪廓掃瞄特徵辨識字元之示意圖。

第8(d)圖為本發明利用區塊掃瞄特徵辨識字元之示意圖。

Claims

一種車牌偵測辨識方法，包括下列步驟：(a)將輸入之影像轉換為一灰階影像，且該灰階影像係分割複數區域，利用一積分影像方式計算出任一該區域之邊緣密度值，再依據該邊緣密度值及一車牌規格條件，找出一車牌影像的位置；(b)偵測該車牌影像之文字區域，將其切割為複數字元影像後，並執行二值化處理以取得複數二值化字元影像；(c)辨識該些二值化字元影像之複數字元；(d)對該些字元重新組合為一車牌字串，並輸出之；及(e)取下一個影像重複該步驟(a)至該步驟(d)以得到下一個時間點的新車牌字串，並將該車牌字串與該新車牌字串之每一該字元進行比對以產生一比對結果，據以驗證該比對結果之可信度。
如申請專利範圍第1項所述之車牌偵測辨識方法，其中該影像係由一影像擷取裝置所攝入。
如申請專利範圍第1項所述之車牌偵測辨識方法，其中該積分影像方式係計算該灰階影像中每一像素點之特徵值並加以累積，該特徵值之總和即為該邊緣密度值。
如申請專利範圍第1項所述之車牌偵測辨識方法，其中該邊緣密度值較高的位置係利用一車牌候選區框選出，再藉由一預設邊緣密度門檻值，將低於該預設邊緣密度門檻值之該車牌候選區排除。
如申請專利範圍第4項所述之車牌偵測辨識方法，其中該車牌候選區之該邊緣密度值若高於該預設邊緣密度門檻值，則依據一合併條件以找出複數合併車牌候選區，再將不符合該車牌規格條件之該合併車牌候選區排除。
如申請專利範圍第5項所述之車牌偵測辨識方法，其中該合併條件係為任兩個以上的該車牌候選區範圍重疊，將其框選為該合併車牌候選區。
如申請專利範圍第1項所述之車牌偵測辨識方法，其中該車牌規格條件係為一預設框的長寬比。
如申請專利範圍第1項所述之車牌偵測辨識方法，其中該車牌影像係以垂直投影取得正投影值及負投影值，根據其最大值以定義出該文字區域之上下邊界，並對該上下邊界範圍作水平灰階投影以找出複數波峰位置，據以找出該文字區域中每一該字元影像之左右邊界，再根據該上下邊界及該左右邊界切割該字元影像。
如申請專利範圍第8項所述之車牌偵測辨識方法，其中該車牌影像係分為上半部及下半部，該垂直投影法係計算該上半部及下半部之該正投影值、該負投影值間的最大差值，以找出該文字區域為黑底白字或是白底黑字之上下邊界位置及其文字高度，再根據該波峰位置，即可判斷出該文字區域為黑底白字或是白底黑字之車牌規格。
一種車牌偵測辨識系統，包括：一車牌偵測模組，係偵測一影像並轉換為一灰階影像，且將該灰階影像分割複數區域，並利用一積分影像方式計算出任一該區域之邊緣密度值，再依據該邊緣密度值及一車牌規格條件，找出一車牌影像的位置；一文字切割模組，連接該車牌偵測模組，係將該些車牌影像切割為複數字元影像後，並執行二值化處理以取得複數二值化字元影像；一文字辨識模組，連接該文字切割模組，係分別辨識該些二值化字元影像之複數字元；一字串組合模組，連接該文字辨識模組，係將該些字元進行重新組合為一車牌字串，並輸出之；及一投票模組，連接該字串組合模組，係取下一個時間點的新車牌字串，並將該車牌字串及該新車牌字串之每一該字元進行比對以產生一比對結果，據以驗證該比對結果之可信度。
如申請專利範圍第10項所述之車牌偵測辨識系統，其中該影像係由一影像擷取裝置所攝入，並將該影像傳送至該車牌偵測模組中處理。
如申請專利範圍第10項所述之車牌偵測辨識系統，其中該積分影像方式係計算該灰階影像中每一像素點之特徵值並加以累積，該特徵值之總和即為該邊緣密度值。
如申請專利範圍第10項所述之車牌偵測辨識系統，其中該車牌規格條件係為一預設框的長寬比。
如申請專利範圍第10項所述之車牌偵測辨識系統，其中該車牌偵測模組係以垂直投影取得正投影值及負投影值，根據其最大值以定義出該車牌影像之一文字區域之上下邊界，並對該上下邊界範圍作水平灰階投影以找出複數波峰位置，據以找出該文字區域中每一該字元影像之左右邊界，再根據該上下邊界及該左右邊界切割該字元影像。
如申請專利範圍第14項所述之車牌偵測辨識系統，其中該車牌影像係分為上半部及下半部，該垂直投影法係計算該上半部及下半部之該正投影值、該負投影值間的最大差值，以找出該文字區域為黑底白字或是白底黑字之上下邊界位置及其文字高度，再根據該波峰位置，即可判斷出該文字區域為黑底白字或是白底黑字之車牌規格。
如申請專利範圍第10項所述之車牌偵測辨識系統，其中該文字切割模組係將每一該字元影像相鄰之波峰位置選取為一區塊，將其進行二值化演算，以取得對應該字元影像之該二值化字元影像。