TWI498830B

TWI498830B - 不均勻光線下的車牌辨識方法及系統

Info

Publication number: TWI498830B
Application number: TW101140561A
Authority: TW
Inventors: Day Fann Shen; Ren Chau Shen
Original assignee: Univ Nat Yunlin Sci & Tech
Priority date: 2012-11-01
Filing date: 2012-11-01
Publication date: 2015-09-01
Also published as: TW201419168A

Description

不均勻光線下的車牌辨識方法及系統

本發明係關於一種車牌辨識方法及其系統，尤指可於不均勻照明狀況下，提升辨識率的一種技術範疇。

按，目前應用於道路、停車場、車輛檢驗等機制，其影像執法方式多為以錄影機持續拍錄車道影像，並在有需要時才調閱相關的錄影帶來檢視事發當時的畫面，或以傳統照相機方式存取影像。以上各種影像執法方式都無法做到即時進行車輛控管功能，並且對於影像中之車輛大都需進行人工判讀，以確定車輛的牌照號，造成人力浪費。

而如以車牌辨識方式進行車牌辨識，一般現有車牌辨識方法6如第25圖所示者，係對影像進行車牌影像切割，再做字元切割，完成後做二值化，再把相關字元送入事先取像訓練完成分類器如類神經網路等輸出車牌字元結果，並將辨識結果組合成完整之車牌號碼。以上方法常受影像品質不好、車牌本身污損、影像背景雜訊或光線不良、不平均等干擾時，會因影像切割與二值化引進更多之雜訊，而導致後續之辨識品質並不能提升進而降低原有之辨識率。

又一般常用影像的二值化處理方法有直方圖均化法(Histogram Equalization)、適應性門檻值法(Otsu法)、Niblack法及A multistage adaptive thresholding method(MAT)法，然前述幾種影像二值化處理方法對不均勻光線下的車輛車牌辨識效果差，容易造成車牌辨識失敗，例如直方圖均化法處理後的車牌四周較為暗，而Otsu法雖較直方圖均化法處理略為改善但仍不理想，而Niblack法對於全白的背景區域處理後容易產生椒鹽雜訊，另MAT 法雖然可以有效移除光線不均的問題，但處理過後的文字影像較為淡化，如第26圖所示者。

故，本發明的主要目的在於：提供一套不均勻光線下低運算量、高辨識率的車牌辨識的方法及其系統。

本發明人有鑑於此，為達上述目的，乃憑恃著長期對車牌辨識之構思與研究，而發明出一種不均勻光線下的車牌辨識方法，其中該方法係包含以下步驟：(a)輸入含車牌的灰階車輛影像；(b)對該灰階車輛影像定位出車牌位置；(c)將該車牌影像直方圖均化處理；(d)再將該車牌影像均佈成複數個方塊；(e)再對該複數個方塊作Otsu法二值化處理；(f)從該車牌影像作字元切割；(g)分別對各字元作正規化處理；(h)分別作各個字元辨識；藉由上述步驟，將複數個方塊作Otsu法二值化處理，目的是讓方塊內照明均勻，以解決不均勻光線所帶來二值化品質不佳的情形。

以上所述步驟(d)的複數個方塊係為4*8個，且從車牌影像均佈分割。

另一種不均勻光線下的車牌辨識系統，係包含有一車牌偵測模組，係該車牌偵測模組偵測一車輛影像並轉換成一灰階影像，計算其邊緣密度，在依據該邊緣密度值及車牌的規格條件，定位出車牌影像的位置，並取出該車牌影像；一影像二值化處理模組，係該影像二值化處理模組連接前述車牌偵測模組，並將車牌影像劃分複數個方塊，在對該複數個方塊作Otsu法二值化處理；一字元切割模組，係該文字切割模組連接前述影像二值化處理模組，並將車牌影像的字元分別切割出來；一正規化處理模組，係該正規化處理模組連接於前述字元切割模組，分別將切割出來的字元統一其像素大小；及一字元辨識模組，係該字元辨識模組連接於前述正規化處理模組，係針對切割出來且正規化的字元作辨視的工作；以上所述影像二值化處理模組係將車牌影像劃分成4*8個方塊影像。

茲由以上說明得知，本發明相較於先前技術，確可達到如下功效之增進：

使用本發明的車牌辨識方法及其系統，辨識率可以由現有的64%提升到86%，且縮短辨識時間，車牌辨識快速，同時確實可以解決不均勻光線下車牌辨識的問題。

為進一步說明本發明上述目的、所運用技術手段及其所達成功效，本發明人予以詳細說明如后：

本發明出一種不均勻光線下的車牌辨識方法，其中該方法係包含以下步驟：(a).輸入含車牌的灰階車輛影像；(b).對該灰階車輛影像定位出車牌位置；(c).將該車牌影像直方圖均化處理；(d).再將該車牌影像均佈成複數個方塊；(e).再對該複數個方塊作Otsu法二值化處理；(f).從該車牌影像作字元切割；(g).分別對各字元作正規化處理；(h).分別作各個字元辨識。

參照本發明圖表，茲進一步將本發明方法的各個步驟分別說明如下：

步驟(a)：輸入含車牌的灰階車輛影像

請參第1圖及第2圖所示者，本發明所要辨識的對象係為淺色底深色字的『白底黑字』的車牌。所要辨識的照片是離車牌後2.5公尺內拍攝，而照片的解析度通常設為640^＊ 320jpg格式的車輛影像1。若是該距離太遠(大於3公尺以上)，車牌較小，則會因為字元之間的分布太過於密集而造成解析度不夠、或太近因車牌過大而字元之間的間隔過大而造成定位失敗，而造成無法辨識。同時每張影像中車牌位置必須維持水平角度內，而拍攝角度則限制於車輛左右各5度內擷取之車牌影像。

而本發明所作的車牌辨識最主要係以灰階影像為主，若遇到車輛影像1係為彩色，尚須對該車輛影像1作色彩轉換。通常彩色影像格式係為RGB，每個影像像素(pixel)皆由三個位元所構成，分別為紅色(Red)、綠色(Green)、藍色(Blue)三種色彩資訊，每種色彩的分布範圍皆為0~255。為了後續影像處理過程的方便性考量，首先要將彩色影像轉換成一個只剩下亮度的影像，即灰階影像圖如第2圖所示者，灰階影像中每個pixel以亮度值表示，其範圍為0~255，以下為彩色影像轉灰階影像的公式(1-1) ，第2圖則為擷取之車輛影像1轉成灰階影像：Gray =0.299R +587G +0.114B (1-1)

另外本步驟(a)係進一步包含步驟(a1)及步驟(a2)，其中該步驟(a1)係為判斷車輛影像1是否為灰階，若是則續行下一個步驟(b)；若不是則進行步驟(a2)將該車輛影像1作如上所述的色彩轉換成灰階，然後續行下一個步驟(b)。

步驟(b)：對該灰階車輛影像定位出車牌位置

如第2圖所示者，車輛影像1擷取且經由影像處理後，影像中可能包含了車輛以及其他不相干的背景雜訊，因此必須經過定位車牌的動作將車牌框定出來以便於後續的字元辨識處理。而本發明步驟(b).更進一步包含下列步驟：(b1).對該車輛影像作邊緣偵測；(b2).對該車輛影像作侵蝕(erosion)運算處理；(b3).對該車輛影像作閉合(Closing)運算處理；(b4).篩選車牌區域；(b5).車牌影像2擷取；又該步驟(b2)係為使用prewitt垂直濾波器作為邊緣偵測的工具，對該車輛影像進行線性濾波，以增強影像中垂直邊緣的特性。

而該邊緣偵測的主要目的在找出物體與背景的分界，常用的方法大多是利用影像中鄰近像素之灰階值上的差距來決定，若灰階值落差很大則為邊緣，反之則否。由於在車牌區域內，車牌號碼的字元形成許多的邊緣，密集且規律的分布在車牌區域內，即使車牌有所變形，仍保有這個特性。因此該步驟(b1)即利用此特性，並將邊緣偵測範圍縮小，即只針對密集的垂直邊緣部份偵測，來對車牌區域進行搜尋。邊緣是指圖像局部亮度變化顯著的部分，是圖形、紋理特徵提取和形狀特徵提取等圖像分析的重要基礎。所以在此要對圖形進行邊緣檢測。圖形增強處理對車牌的可辨認度的改善和簡化後續的車牌定位和字元切割的難度都是很有必要的。增強圖象對比度的方法有：灰階線性變換、圖象平滑處理等。首先，如第3圖所示者，這步驟使用Prewitt垂直濾波器做為邊緣偵測的工具，對整張影像實作線性(linear)空間濾波，以增強影像中垂直邊緣特性，偵測影像中的垂直邊緣點。方法為取出影像中(x,y)為中心的3x3範圍內9個點，以Prewitt所定義的遮罩係數運算來代表點(x,y)的Prewitt遮罩運算結果，Prewitt(x,y) =f(x +1,y -1) +f(x +1,y) +f(x +1,y +1) -f(x -1,y -1) -f(x -1,y) -f(x -1,y +1) 。

另車牌區域的垂直邊緣點是密集的，現在將使用型態學影像中剩下的邊緣點利用結構元素[1 1 1]做Morphological侵蝕(erosion)如第4圖所示者，目的在於將物體的邊緣結構往內收縮，使細長狹窄的部分被截斷使。雖然經過Morphological侵蝕(erosion)後，很多雜訊可能都不會影響到所感興趣的車牌區域，但為了避免有可能在車牌區域附近的其他邊緣點(雜訊)，如車牌上方常出現車型廠商的標記…等，會在如第5圖所做Closing(閉合)過程時，因為其垂直邊緣點離車牌區域過近而導致被歸類為與車牌區域同一群組，以及群組化後車牌區域可能會有朝外的邊界不規則地方，或細突出物；同時也為了能方便後續篩選車牌後選區域。所以，將對群組化後的影像使用一次的形態學上的斷開(Morphological Opening)，目的在於希望有效的移除這些可能為非車牌區域的雜訊。將圖表使用上述方法運算處理後，如第5圖所示，可以明顯的發現對原圖裡群組化後的群組中，比結構元素(rectangle15*15)小的區域(就是小於字元最大高度與車牌寬度的1/3的區域)皆會被移除，如此即可以有效率的移除影像中不可能為車牌區域的群組點，背景雜訊也因此減少很多，而影像中剩下的區域即為有可能是車牌區域的群組，就是車牌的候選區域。

然而該車輛影像經過侵蝕(erosion)和Closing(閉合)運算處理後，一張影像通常會形成許多的區塊，可能有一個或一個以上的群組(密集邊緣點集結區)，有的是車牌，有的不是，接下來要做的便是要從當中搜尋最為可能為車牌的區塊。其分布的比例寬度與高度比例(寬度/高度)介於2.13間，而符合車牌比例的群聚區域，才有可能是車牌的可能區域。所以接下來將以這個條件為基礎並加上其它更嚴謹的條件：根據經驗，車牌下方的干擾物會比車牌上方的干擾物少，且車牌區域大部分出現在影像中的下方，來限制車牌可能區域的篩選，以下為所訂定出確認是否真為車牌區域的流程條件：確認是車牌區域的條件為：車牌的寬高比例：2.13(車牌寬度/車牌高度).....符合條件，且此車牌候選區域所在位置為所有車牌可能區域中最低其中，上述條件值『車牌的寬高比例』設定為根據實驗所得。

然而，為了能夠找出滿足上述車牌可能區域確認條件而篩選出車牌區域，首先必頇要先獲得有現在影像中所有車牌候選區域所有的區域特性，如上邊界、下邊界、左邊界、右邊界、寬度、高度、面積…等資訊，再藉由計算與條件篩選來找出最符合車牌條件的區域。接著就是依序將每個群組區域的位置座標(x,y)、寬、高、面積(pixel)取出計算並檢查是否有符合『車牌區域條件』，如此一來，可以去除因為背景過於複雜所產生的雜訊群組，或是其他非車牌區域的影像，從現有的車牌候選區中篩選出最有可能為車牌區域的區塊，達到精確定位的目的。經實驗結果篩選出車牌區域並對應至原圖中車牌的位置，如第6圖所示者。

步驟(c)：將該車牌影像直方圖均化處理

直方圖(Histogram)在這裡是指數位影像中，統計灰階(Gray level)的像素(Pixel)數目的直方圖分佈(如第7圖所示)，由於灰階即代表影像的亮度，所以，可以藉著改變直方圖的整體分布來達到影像強化的目的，也就是藉著擴展灰階的分布範圍來讓影像中，亮度陰暗的地方變得亮一點；影像中，明亮的地方變得暗一點。這種藉著均化灰階的直方圖分布來調整影像亮度的方法稱為直方圖均化(Histogram Equalization)。如果把每一個灰階視為一個隨機變數，則分布圖中的每一個長條(每一個灰階的像素數目的統計)即可視為一個離散的機率密度函數(probability density function)，其計算方法如公式(2-1) 所示，

其中，rk 是原始直方圖分布中的第k 種灰階的隨機變數r ；nk 是第k 種灰階的像素數目；n 是整張影像的像素數目；Pr(r _k ) 是隨機變數r _k 的離散機率密度函數。而直方圖等化的計算方法則如公式(2-2) 所示，其中，U _k 是第k 種灰階的隨機變數r 均勻化後的隨機變數值。接下來，以第7圖為範例來說明直方圖均化(Histogram Equalization)範例示意圖。其中(a)圖原始的直方圖分布；(b)圖均勻化後的直方圖分布。如第7圖的(a)圖所示，可知共有55個像素，因此，原始的直方圖分布中，每一個灰階的機率密度函數值Pr(rk) 為其中，不是0的函數值依序分布在灰階[0,9]之間。均勻化後的隨機變數U _k 如以下串列所示。

最後，將該串列正規化(分別乘以255)至[0,255]之間，其結果如第7圖的(b)圖或如以下串列所示。

46,88,125,158,185,209,227,241,250,255 (2-5)

儘管直方圖等化在計算轉換函數時有著低複雜度的優點，但是同時也存在著一些缺點。因為直方圖等化利用的是全域性的資訊，因此在處理之後，影像中某些區域的對比度可能反而會減低，而有些區域卻可能發生增強過度的現象。使得處理過後的影像看起來不自然。

步驟(d)：再將該車牌影像均佈成複數個方塊

對於不均勻光線車牌影像2，將車牌影像2均佈成如第8圖所示的若干複數個方塊21，以利下個步驟(e)再將每一方塊21作Otsu法二值化處理，不過這麼做還是會有問題，因為如果該方塊21取得太小，則無法壓抑掉背景中的微量起伏的雜訊，屆時這些微小的亮度起伏變化都可能變成物體，導致錯誤如第9圖的(d)圖所示者。如果將方塊21取得太大如第9圖的(a)圖所示者，則各方塊21間的臨界值可能產生陡升或陡降的現象，如此也造成在方塊與方塊二值化圖形邊緣處會有明顯不連續的現象。

由於方塊取的太小背景中的雜訊容易被放大，將方塊取得太大，各方塊間的臨界值可能產生陡升或陡降的現象，因此可用20張不均勻光線下的車牌，分別使用4種方塊大小(4*4)(4*8)(8*8)(8*16)對時間及辨識率作一個討論。將車牌分成4*4個方塊大小的辨識率為75%，時間為0.138秒，車牌影像2分成4*8個方塊大小辨識率為95%，執行時間為0.284秒，車牌分成8*8個方塊大小辨識率為80%，執行時間為0.512秒，車牌分成8*16個方塊大小辨識率為70%，執行時間為0.976秒，如第10圖所示的(4*4)(4*8)(8*8)(8*16)方塊大小辨識率及時間比較圖。

步驟(e)：再對該複數個方塊作Otsu法二值化處理

該Otsu法係由Otsu在1979年所提出的一種自動二值化的方法，其方法是藉著分群來最大化群間變異數(between class variance)或最小化群內變異數(with-in class variance)進而達到二值化的目的。Otsu演算法是從灰階影像的統計分布圖中如第12圖所示者，分別以1,2,…,254等灰階值來當門檻值(threshold value)，然後，根據公式(3-1 )各自算出一個f值，哪一個門檻值算出來的f值最大，那個門檻值就是所要的Otsu門檻值；根據公式(3-2 )各自算出一個f值，哪一個門檻值算出來的f值最小，那個門檻值就是所要的Otsu門檻值。

如果是以某一灰階值t來當門檻值，則會將所有的像素分成兩群，其中，第一群的灰階範圍為[0,t-1]，第二群的灰階範圍為[t,255]。假設第一群的機率值為ω₀ 、灰階平均值為μ₀ 、變異數為σ₀ ² ；假設第二群的機率值為ω₁ 、灰階平均值為μ₁ 、變異數為σ₁ ² 假設整個統計分布圖的灰階平均值為μ、變異數為σ₂ ，則在該門檻值t下，群間變異數(betweenclass variance)σ_b ² 與群內變異數(with-in class variance)σ₂ 的計算方式分別如公式(3-1 )與公式(3-2 )所示，Maximizef =σ _b ² =ω ₀ (μ ₀ -μ) ² +ω ₁ (μ ₁ -μ) ² (3-1 )

Minimizef =σ _w ² =ω ₀ σ ₀ ² +ω ₁ σ ₁ ² (3-2 ) 其中，μ、σ² 、ω₀ 、μ₀ 、σ₀ ² 、ω₁ 、μ₁ 、σ₁ ² 的計算方式如公式(3-3 )所示。

在公式(3-4 )中，Pi代表灰階值i在整張影像的機率值，其計算方式如公式(3-4 )所示，

其中，h (i )代表灰階值i 的像素數目；N 代表整張灰階影像的像素總數目。由於公式(3-1 )與公式(3-2 )的計算方式過於複雜，進而可以將其簡化成更簡單的計算方式，如公式(3-5 )所示，Maximizef =ω ₀ ω ₁ (μ ₀ -μ ₁ ) ² (3-5 )

亦即，ω ₀ 與ω ₁ 的數值愈接近，ω ₀ ω ₁ 的乘積就愈大；μ₀ 與μ₁ 的差異愈大，(μ₀ -μ₁ )就愈大。所以，Otsu演算法就變成了要在兩群像素數量愈接近、平均值差異愈大的情形下，找出最佳的門檻值t*。

然後，就可以根據此最佳的門檻值把像素灰階值大於t*者改為255(表示白色)；把像素灰階值小於t*者改為0(表示黑色)，如第13圖所示者。

步驟(f)：從該車牌影像作字元切割

如第14圖所示者，係為本步驟(f)的處理流程，在前述步驟中已經初步找出車牌的可能區域，但因為所得到的範圍不單只是完整的車牌影像2或車牌字元，還包括了一些背景雜訊、非車牌字元資訊『台灣省』或『台北市』或『高雄市』，以及上下四個螺絲孔...等，所以必須經過本步驟(f)的字元切割。本步驟(f)主要是要利用計算圖中每列黑點面積之總和投射線通過形體，向選定的投影面投射，並在該面上得到圖形之面積的方法叫投影法，而該投影法更進一步包含有水平投影及垂直投影的方法。

如第15圖所示者，該水平投影的方法係進行刪除該區域中多餘資訊，留下車牌字元區域，並擷取切割出區域中每個獨立的車牌字元3，以利於後續的字元辨識流程。

而垂直投影在進行車牌字元辨識之前，首先要經過車牌字串切割，就是將車牌字串上的車牌號碼，一個一個的切割下來，接著再進行字元正規化，以便於後續的字元辨識。車牌字串切割可以有很多種不同方式去達成，如連通物件法，但在整體系統執行時間效率的考量下，在本發明選擇使用『垂直投影法』來尋找字元間的切割點，該點具有相對最小的垂直像素值，即波谷區。

如第16圖所示者，垂直投影量切割法是在欲分割字元區域逐行統計字元的像素總值，其統計後的像素總值即為垂直投影量。對照原字元區域及垂直投影量分佈圖的數值變化，可知於字元分割處有一小段屬於背景顏色區域，其區域利於人類視覺區分。

所以，在字元分割處，其垂直投影量應該為相對最小值。於理想狀態下，字元區域影像之對比情況較為明顯；且無雜訊干擾時，分割處位置的垂直投影量為零，如第15圖的(a)圖所示之垂直投影量分佈圖，即為波谷位置。由該(a)圖得知，其每個字元間有一定量的空隙，吾人利用這些空隙之投影量為零的特性，以找出字元間的邊界點，即可順利分割出車牌中的每個字元，如第15圖的(b)圖所示。

步驟(g)：分別對各字元作正規化處理

在擷取車輛影像的過程中，車牌字元大小可能因車輛距離遠近而有所不同，所以在字元切割後，每個字元的大小也大都不同。如此大小不齊的字元對辨識會有一定的影響，所以進而將其正規化為20x40(寬x長)像素的標準大小，以方便後續的字元辨識工作。

字元正規化的方法有許多種，在此介紹本發明所使用的內插法。內插法就是利用相鄰四點的像素值，依照已知的非整數座標相鄰距離的遠近，根據比例求得取樣值。也就是接近哪個點就像那個點。距離近的取樣比例大，距離遠的取樣比例小。

步驟(h)：分別作各個字元辨識

車牌字元正規化之後，接下來就是進行字元辨識的工作，本步驟(h)所採用的方法是樣板比對法(Template matching)，將所有的標準圖像事先儲存成一個個標準樣板，當要辨識的影像時，便將資料庫中如第16圖所示的標準字元樣版圖4一一取出與之比對，比對結果最接近者即達到辨識之目的。

樣板比對顧名思義就是待辨圖樣與標準樣板之間，以某種相似性量測來決定像的程度。就幾何觀點而言，相似性可視為兩個圖樣在特徵空間中的距離。因為本發明所使用的樣板及車牌字元皆是二值化影像，所以使用公式(4-1) 來做樣板比對。其i(x,y)為輸入影像的數值，t(x,y)為標準的樣板的數值，w為標準樣板的寬度，h為標準樣板的長度，c為樣板比對的結果。當輸入樣板與標準樣板的差異越小，則樣板比對公式所計算的結果就會越大。所以將輸入字元與所有的樣板做一一比對，比對結果，其樣板比對所計算的結果最大的，即為比對的結果，也就是辨識出來的字元。

經由以上說明得知，本發明係針對傳統Otsu法所提出的改良方法基於方塊法進行實驗，並在時間上和效能上與傳統的Otsu法進行比較；同時也與其它能夠移除光影不均的直方圖等化(Histogram Equalization)及Niblack演算法，進行比較。而該實驗所使用的開發工具為MATLAB2008R，並且在Windows7的作業系統下執行，且其硬體環境為Intel(R)Celeron(R)3.8GHz的CPU與4GB的記憶體。

如第17圖及第18圖所示，本發明且經過該實驗測試，傳統的Otsu法在處理時間上每張需要0.119秒；方塊法+Otsu法在處理時間上則每張需要0.284秒；MAT則需要0.371秒。本發明另使用20張不均勻光線的車牌依序進行車牌辨識，經過直方圖等化的車牌影像，辨識率45%；使用Otsu法辨識車牌的辨識率為70%；經過Otsu法+方塊法的處理後辨識95%；而MAT法的辨識率為90%。

另本發明所使用的圖片大小對執行的效能有著一定的影響，本文探討不降低車牌辨識率識率的前提下，有效降低車牌圖片的大小以提升執行速度，如第19圖所示者。

本發明所使用20張車牌影像2如第20圖所示者，分別以PHOTOSHOP所提供的參數：環境光亮度及光源亮度製造每張5組共100張不均勻光線下的車牌影像，PHOTOSHOP參數：環境光亮度(0~80)光源亮度(0~80)實驗設計每張5組圖。Pattern： (1). Upper Left Light(UL)共20組，每組+2光源亮度範圍(22~60)，如第20圖的(b)圖；(2). Upper Left Light+Local Light(ULL)共20組，每組+2光源亮度範圍(22~60)，如第20圖的(c)圖；(3). Reduce Environment Light+Local light(REL)共20組，每組環境光亮度-1，光源亮度+2，環境光亮度範圍(20~1)光源亮度(22~60)，第一組實驗參數(20,22)第二組(19,24)第三組 (18,26)，如第20圖的(d)圖；(4). Enhance the Environment+Local light(EEL)每組環境光亮度+1，光源亮度+2，環境光亮度範圍(41~60)光源亮度(22~60)，第一組參數(22,41)第二組參數(24,42)第三組參數(26,43)，如第20圖的(e)圖；(5). Local Light+Local light(LL)光源亮度範圍(22~60)，如第20圖的(f)圖。

請參閱第22圖所示，可以發現區部光源及整體環境光源對比較為明顯時容易辨識失敗，但若將方塊取得太小，則無法壓抑掉背景中的微量起伏的雜訊，屆時這些微小的亮度起伏變化都可能變成物體，則會導致錯誤。

經上述該實驗如第23圖所示者，經過Niblack法處理後，在有文字區域作二值化後，可以得到較清晰的文字線條。在目標區域完全是背景區域，或是遠離文字區域時，所計算出的標準差很小，臨界值幾乎是等於區域平均值，對於全白的背景區域處理後容易產生椒鹽雜訊。另MAT法雖然可以有效地移除光線不均的問題，但處理過後的車牌字元影像跟本發明方法比較文字線條較為淡化。

因此，以本發明方法所處理過的車牌影像則不會有上述Niblack法及MAT法的缺失。而本發明所提出的方法步驟，在計算時間上雖然比傳統Otsu法慢0.165秒，但是如第22圖所示者，本發明的方法的辨識率可以由原本的64%提升到86%，證明本發明所使用的方法可以有效解決不均勻光線所帶來的問題。

請參閱第24圖所示者，係為參考上述本發明方法步驟流程所為的本發明系統架構6，以作為本發明方法的實施例之物。其包含有：一車牌偵測模組，係該車牌偵測模組偵測一車輛影像並轉換成一灰階影像，計算其邊緣密度，在依據該邊緣密度值及車牌的規格條件，定位出車牌影像的位置，並取出該車牌影像；一影像二值化處理模組，係該影像二值化處理模組連接前述車牌偵測模組，並將車牌影像劃分複數個方塊，在對該複數個方塊作Otsu法二值化處理；一字元切割模組，係該文字切割模組連接前述影像二值化處理模組，並將車牌影像的字元分別切割出來；一正規化處理模組，係該正規化處理模組連接於前述字元切割模組，分別將切割出來的字元統一其像素大小；及一字元辨識模組，係該字元辨識模組連接於前述正規化處理模組，係針對切割出來且正規化的字元作辨視的工作。其中再將該影像二值化處理模組進一步係將車牌影像劃分成4*8個方塊影像。特別一提，前述各模組中係可儲存於電子記憶裝置中。

綜合以上所述，本發明係關於一種『不均勻光線下的車牌辨識方法及其系統』，藉由本發明的方法及其系統，在不均勻光線下的車牌容易造成字元切割及字元辨識上的錯誤，是因為整體影像光線分佈不均所造成的，因此利用方塊內均勻的照明解決此問題，同時也發現方塊取的太小背景中的雜訊容易被放大，將方塊取得太大，各方塊間的臨界值可能產生陡升或陡降的現象，進而使本發明的方法及其系統的辨識率可以由原本的64%提升到86%，足以證明本發明的方法可以有效提升不均勻光線下的車牌辨識率，且其未曾見於書刊或公開使用，誠符合發明專利申請要件，懇請鈞局明鑑，早日准予專利，至為感禱；

需陳明者，以上所述乃是本發明之具體實施立即所運用之技術原理，若依本發明之構想所作之改變，其所產生之功能作用仍未超出說明書及圖式所涵蓋之精神時，均應在本發明之範圍內，合予陳明。

(a)、(a1)、(a2)、(b)、(c)、(d)、(e)、(f)、(g)、(h)‧‧‧本發明步驟流程

1‧‧‧車輛影像

2‧‧‧車牌影像

21‧‧‧方塊

3‧‧‧車牌字元

4‧‧‧標準字元樣版圖

5‧‧‧本發明系統架構

6‧‧‧一般現有車牌辨識方法

第1圖：係為本發明方法的步驟流程圖。

第2圖：係為本發明方法步驟(a)中將彩色車輛影像轉換成灰階的車輛影像。

第3圖：係為本發明方法步驟(b)中使用Prewitt的垂直遮罩進行線性濾波。

第4圖：係為本發明方法步驟(b)中運用型態學影像中剩下的邊緣點利用結構元素[1 1 1]做Morphological侵蝕(erosion)過程之示意圖。

第5圖：係為本發明方法步驟(b)中做Morphological閉合(closing)過程之示意圖。

第6圖：係為本發明方法步驟(b)中車輛影像擷取車牌過程之示意圖。

第7圖：係為本發明方法步驟(c)中直方圖均化(Histogram Equalization)範例示意圖；其中該圖的(a)圖為原始的直方圖分布；該圖的(b)圖為均勻化後的直方圖分布。

第8圖：係為本發明方法步驟(d)中畫分不同方塊大小的灰階車牌影像的示意圖；其中該圖的(a)圖係為4*4方塊的灰階車牌影像；該圖的(b)圖係為4*8方塊的灰階車牌影像；該圖的(c)圖係為8*8方塊的灰階車牌影像；該圖的(d)圖係為8*16方塊的灰階車牌影像。

第9圖：係為本發明方法步驟(d)中不同方塊大小的灰階車牌影像的二值化圖；其中該圖的(a)圖係為車牌影像4*4方塊的二值化圖；該圖的(b)圖係為車牌影像4*8方塊的二值化圖；該圖的(c)圖係為車牌影像8*8方塊的二值化圖；該圖的(d)圖係為車牌影像8*16方塊的二值化圖。

第10圖：係為本發明方法步驟(d)中該車牌影像的(4*4)(4*8)(8*8)(8*16)方塊大小辨識率及處理時間比較圖。

第11圖：係為本發明方法步驟(e)中該車牌影像的灰階與其像素數目的統計分布示意圖。

第12圖：係為本發明方法步驟(e)中該車牌影像的Otsu法二值化示意圖。

第13圖：係為本發明方法步驟(f)中該車牌影像字元切割流程圖。

第14圖：係為本發明方法步驟(f)中該車牌影像字元切割的水平投影法切割之示意圖。

第15圖：係為本發明方法步驟(f)中該車牌影像字元切割的垂直投影法切割之示意圖。

第16圖：係為本發明方法步驟(h)中該車牌影像的各個字元辨識資料庫中標準字元樣版圖。

第17圖：係為本發明方法作驗證實驗中所選用原始20張車牌影像圖。

第18圖：係為本發明方法針對不均勻光線下的車牌影像，分別進行Otsu法+方塊法、Otsu法、MAT及Niblack進行二值化處理後所得到的時間和車牌辨識率的數據表。

第19圖：係為本發明方法作驗證實驗中的20張不均勻光線車牌影像大小時間及辨識率探討比較圖。

第20圖：係為本發明使用20張車牌影像分別以PHOTOSHOP所提供的參數：環境光亮度及光源亮度製造每張5組共100張樣品的不均勻光線下的車牌影像；其中該PHOTOSHOP參數：環境光亮度(0~80)光源亮度(0~80)實驗設計每張5組圖；又其中該圖的(a)圖為Original；該圖的(b)圖為UL；該圖的(c)圖為ULL；該圖的(d)圖為REL；該圖的(e)圖為EEL；該圖的(f)圖為LL。

第21圖：係為第20圖PHOTOSHOP軟體所製作100張作為試驗樣品，以各種影像二值化方法、時間及辨識率比較之比較圖。

第22圖：係為第20圖PHOTOSHOP軟體所製作100張不均勻光線下的車牌，各種方法時間和辨識率的數據圖。

第23圖：係為各種車牌辨識方法的辨識結果比較圖；其中本圖的 (a)圖為原始影像；本圖的(b)圖經直方圖均化法作二值化處理；本圖的(c)圖經Otsu法作二值化處理；本圖的(d)圖經Niblack法作二值化處理；本圖的(e)圖經過MAT法作二值化處理；本圖的(f)圖經本發明方法的(4*8方塊)作二值化處理。

第24圖：係為本發明方法的系統架構圖。

第25圖：係為一般現有的車牌辨識方法步驟流程。

第26圖：係為現有車牌辨識方法的直方圖均化法、Ostu法、Niblack法、MAT法等辨識結果的缺失示意圖。

Claims

一種不均勻光線下的車牌辨識方法，其施行步驟至少包含有：(a)輸入含車牌的灰階車輛影像；(b)對該灰階車輛影像定位出車牌位置；(c)將該車牌影像直方圖均化處理；(d)再將該車牌影像均佈規劃成複數個方塊；(e)再對該複數個方塊作Otsu二值化處理；(f)從該車牌影像作字元切割；(g)分別對分割後各字元作正規化處理；(h)分別作各個字元辨識；藉由上述步驟，將該複數個方塊作Otsu二值化處理，目的是讓方塊內照明均勻，以解決不均勻光線所帶來二值化品質不佳的情形。
如申請專利範圍第1項所述之不均勻光線下的車牌辨識方法，其中該步驟(a)進一步包含步驟(a1)及步驟(a2)，其中該步驟(a1)係為判斷車輛影像是否為灰階，若是則續行下一個步驟(b)；若不是則進行步驟(a2)將該車輛影像作色彩轉換成灰階，然後續行下一個步驟(b)。
如申請專利範圍第2項所述之不均勻光線下的車牌辨識方法，其中該步驟(a2)的色彩轉換公式係為：Gray：0.299R +587G +0.114B 。
如申請專利範圍第1項所述之不均勻光線下的車牌辨識方法，其中該步驟(b)係更進一步包含下列步驟：(b1)對該車輛影像作邊緣偵測；(b2)對該車輛影像作侵蝕(erosion)運算處理；(b3) 對該車輛影像作閉合(Closing)運算處理；(b4)篩選車牌區域；(b5)車牌影像擷取；又該步驟(b2)係為使用prewitt垂直濾波器作為邊緣偵測的工具，對該車輛影像進行線性濾波，以增強影像中垂直邊緣的特性。
如申請專利範圍第4項所述之不均勻光線下的車牌辨識方法，其中該步驟(b2)運用prewitt垂直濾波器的方法為取出影像中(x，y)為中心的3x3範圍內9個點，以prewitt所定義的遮罩係數運算來代表點(x，y)的prewitt遮罩運算結果，Prewitt(x,y) =f(x +1,y -1) +f(x +1,y) +f(x +1,y +1) -f(x -1,y -1) -f(x -1,y) -f(x -1,y +1) 。
如申請專利範圍第1項所述之不均勻光線下的車牌辨識方法，其中該步驟(d)的複數個方塊係為4*8個，且從車牌影像均佈分割。
如申請專利範圍第1項所述之不均勻光線下的車牌辨識方法，其中該步驟(h)字元辨識係採用樣板比對法，當要辨識字元影像時，將資料庫中字元的標準樣版圖一一取出比對，以比對結果為最接近者即達到辨識之目的。
如申請專利範圍第7項所述之不均勻光線下的車牌辨識方法，其中所使用的字元的標準樣版圖及車牌字元皆為二值化影像，且運用下列比對公式：其中i(x,y) 為輸入影像的數值，t(x,y) 為標準的樣板的數值，w 為標準樣板的寬度，h 為標準樣板的長度，c 為樣板比對的結果。
一種不均勻光線下的車牌辨識系統，係包含：一車牌偵測模組，係該車牌偵測模組偵測一車輛影像並轉換成一灰階影像，計算其邊緣密度，在依據該邊緣密度值及車牌的規格條件，定位出車牌影像的位置，並取出該車牌影像；一影像二值化處理模組，係該影像二值化處理模組連接前述車牌偵測模組，並將車牌影像劃分複數個方塊，在對該複數個方塊作Otsu二值化處理；一字元切割模組，係該文字切割模組連接前述影像二值化處理模組，並將車牌影像的字元分別切割出來；一正規化處理模組，係該正規化處理模組連接於前述字元切割模組，分別將切割出來的字元統一其像素大小；及一字元辨識模組，係該字元辨識模組連接於前述正規化處理模組，係針對切割出來且正規化的字元作辨視的工作。
如申請專利範圍第9項所述之不均勻光線下的車牌辨識系統，其中該影像二值化處理模組係將車牌影像劃分成4*8個方塊影像。