TW201218129A - A vehicle registration-plate detecting method and system thereof - Google Patents

Description

201218129 六、發明說明： 【發明所屬之技術領域】 本發明係有關-種車職測辨識方法及其系統，特別是指—種可容忍 不同角度的影像擷取及在任何環境變化下能夠快速偵·車牌位置，= 效排除魏雜誠提高車牌的賴品質’輯_時_曝高辨識率之 功效。 【先前技術】 近年來，在影像處理的應用領域中，車牌自動辨認技術已陸續被運用 於自動收費、車庫管理、贓車查緝等特雜視用途上，對提昇社會安全及 降低作業成本均有實質上之助益。 2致所取得之影像會細喝性產生，例如不同道路出現的交通號 p廣告所產生的干擾等’甚至拍攝地點的光線環境（例如室外光源變化 2白天、晚上、下轉，__難轉上_，進而影響 牌衫像的品質）以及車柄背景（例如車牌懸掛位置不_、不同車型係對 上的Z麵㈣_纟輸嶋鱗咖咖在車牌辨識 Γ魏樹許多其它崎，都可能與車牌部分有 統__ A A 4蝴蝴^物糾㈣加車賴系 、’ a。再者，一般車牌辨識方法是對車牌 將其做字元_，再w 1 *牌娜進仃二航處理後， 社果，最输袖 "^私事先錄崎分類n讀ώ車牌字元 ° 觀吻纖她碼。絲，墻識方絲容 201218129 ==身污損或雜訊的影響，尤其是車牌區域在-張車輛影像中算 I域，在^蝴的區域咐車敎字，也有可峨含車牌旁邊的 雜 Γ樣輪下，絲㈣微㈣⑽，卿有大量 雜訊的二值化資崎雜_的辨·果，使得影像_識輪果不好。 因此，如何使車牌辨識系統在實際應用上可以擁有良好的辨識率並具 有快速運詩是現今車牌辨勒騎需要面臨的問題。 識方去及Μ本發月遂針對上述先前技術之缺失，提出—種車牌侧辨 識法及其錢，財效克服上述之該等問題。 【發明内容】 ^明之主要目的在提供—種車牌_辨識方法，其利用邊緣伽車 〜，所產生之邊崎訊加以重新編碼，可以快敍精準地找出車牌的 所在位置，藉以節省先前技術中車_像該事先的影像訓練之運算時間。 2發明之另-目的在提供一種車牌侧辨識方法，其於車輛的灰階影 象進行文字切割後，再執行二值化處理，藉以獲得較佳和穩定之二值化 影像’進而解決先前技術於二值化處理 率低的問題。 肖队有大她《導致辨識 為達上述之目的，本發_—___，下列步驟： 將輸入之影像轉換為-灰階影像，並計算其邊緣密度值，再依據邊緣密度 值及一車牌規格條件，找出-車牌影像的位置，·_車牌影像之文字區域， 將其切割為辦元_ 彻 f，辨識越二脉字元縣之魏字H缝衫重触合為一車牌 予串’並輸出之，·及取下，影像並取得τ_個時間點的新車牌字事並 201218129 將車牌推新車物之每—字元概對，以產生-纖果，據以 驗證比對結果之可信度。 發另提供種車牌伯測辨識系統，包括：一車牌侧模組，係傾 測-影像並轉換為-灰階影像，計算其邊緣密度值，再依據邊緣密度值及 -車牌規格條件，㈣―她細位置；___獅，連接糊 測I且係將此些車牌影像切割為複數字元影像後，並執行二值化處理以 取得複數二值化字綠像；—文字辨識模組，連接文字_肋係分別 辨識此些二值峨觀權衫；，組恤，繼字辨識模 ，係將此二子7〇進仃重新組合為—車牌字串並輸出之；及—投票模組， 連接料組合模組’係取下一個時間點的新車牌字串，並將車牌字串及新 牌子串之每子χ進行比對以產生一比對結果，據以驗證比對結果之可 信度。 底下藉由具體實施例詳加說明，當更容易瞭解本發明之目的、技術内 容、特點及其所達成之功效。 【實施方式】 本發月提出―個在高速行駛下時醇輛可以快速且準確侧與辨識 牌柄之方法及其系統，請一併參閱第i圖及第2圖，第^圖係為本發 明之架構圖，帛2圖係為本發明之步驟流程圖。當至少一個影像操取裝置 ’如攝_输晴-綱，卿S1G巾，_她貞測模組 12偵測練裝置1G所攝人之影像，由於影像齡裝置1G所攝人之影像多 ^色影像’因此將其轉換為—灰階影像，例如將影像轉換S位元的 灰階值^有效簡化圖片資訊，為克服在光線較不明確的影像中找到車牌 201218129 的邊緣’如第3(a)圖及第3(b)圖所示，利用一積分影像方式計算灰階影像中 每-像素點之繼值，絲像設定為f(x，y)，職分f彡像奴為s㈣，則 定義為從原點(0,0)到像素點(X，y)之特徵值並加以累積，特徵值之總和即為邊 緣密度值’而積分影像之運算式（1)如下所示： s(x>y) = Hf^J)................................ (λ \ 若將灰階影像分割為複數區域’例如分割為A、B、c、D區域，則可依據 求出之積分影像S(x，y)的累加值’利用兩個減法及一個加法來運算出任一區 域之邊緣紐值，在歧計算D^_邊職餘為例，如下舰算式⑵： D=S(4) + S(1)-S(2)-S(3)................................................. 其計算原理是為 S(4) = A+B+C+D，S(3) = A+C，S(2)= A+B，S(l) = A，其中， 點1的積分影像的值為A區域内所有像素的特徵總和值，點2的積分影像 所對應的值為A+B區域⑽有像素的特徵總和值，點3的積分影像所對應 的值為A+C區域⑽有像素的特徵總和值，點4雜分影像所對應的值為 A+B+C+D區域⑽有像素的特輯和值’其巾特徵總和值即為邊緣密度 值，因此’可以用簡單的運算得到D區域的邊緣密度值 ，進而計算出每一 個區域内的邊緣密度值。 -旦積分影像算出來以後’可將邊緣密度錄高的位置係· 一車牌 候選區框勒’再藉由__預設邊緣密度門魏，將低於預設邊緣密度門植 值之車牌候選區排除。再者，如第*圖所示，車牌候選區之邊緣密度值若 高於預設姐密朗雛，舰據_合併餅以㈣減合併車牌候選 區，其中合併條件係為任兩個以上的車牌候縣顯重疊將其框選為合 201218129 併車牌候選區，再料符合轉規格餅之合併車雜選區騎，其中車 牌規格條件係為-預設框的長寬比，如此便可以大量喊掉不可能的車牌 候選區’ s此’依據絲紐值及轉規格條件，即可找丨—車牌影像的 位置。在步驟(a)中，從横測影像到找出一車牌影像的位置之影像處理過程， 每秒速度約為150fys以上。 本發明在快速道路、龍碼頭、還有停車場的魏下侧試，在細 結果上都·好的表現’跟其他爾式的車牌侧演算紐較起來，如

Adaboost或是SVM，此發明所提出來的演算法，有下列的優點：①在有車 牌出現的影像中’車牌沒偵测到的機率（missrate)很低；⑼偵測速度快： (ΠΙ)較能容忍不同角度的攝影機。經過測試，本發明所提出的演算法較能適 應實際的車牌系統環境’主要是因為在產業界上的侧，並無法有太多時 間去做影像_練’當車牌_如果_ AdabG()st演算法來.車牌，此 方法田資料量很冋時’如上萬筆訓練影像，就需花了好幾天的時間去訓練， 而且還要Μ其他人力去郷像爾和搜集，這是非纽鱗的。再來就 是通常個献架設祕的人並持是了解演算法的人，只要環境不是當

初所訓練的影像環境’當效能沒職的好，使料顧人就會認為是系I 的門題所以系統對於環境變化的高容忍度對於業界來說是很重要也很需 要的特性。 接續在步驟S12巾，躺車牌影像之文字區域，車牌影像係以垂直 投影取得·似_值，轉其最纽叹義出_域之上下邊 界，如第5(撕心轉謝分紅她™，蝴驅係計算 上半部及下半敎正鄉值、貞投倾_最大絲，以邮文字區域為 201218129 黑餘字或是白底黑字之上下邊界位置及其文字高度，例如文字區域為黑 底白字時，上半部要找最小的「負」投影值（負值最多的彻，下半部要 找最大的「正」投影值，最__白底黑字的上下邊界位以和以下 標W代―表白底，上標t代表上邊界，上標b代表下邊界），則我們可以得到 白底黑字的文字高度為。如果文字區域為黑底白字，上半部就要 «大的「正」投影值’下半部要找最小的「負」投影值，然後得到黑底 白子的上下邊界位置#Z (下^代表黑底，上標〖代表上邊界，上標b 代表下邊界），則我們可以得到黑底白字的文字高度為K十因為至目 則為止’我們都無法知道到底是黑底白字還是白底黑字的車牌，因此化和心 兩個數值齡§t算’雜彻下觸發财絲觸職輸人車牌影像是 黑底白字或白底黑字》 因為我們不知道轉是自底黑字還是黑底白字，·先前述的垂 直投影技巧找出的上下邊界為#σ/(由於不知是黑底白字或自底黑字， 兩個可能情況都去做）’然後對上下邊界範圍内的灰階影像，沿著水平線做 灰階投影，其公式（3)如下： ν(χ) = ^Ι(χ,ι).............. 〜， ........................................................ 如第5(b)圖所示再對上下邊界範圍作水平灰階投影以找出複數波峰（ρ⑷ 位置’據以找出文字區域十每―字元影像之左右邊界，再根據上下邊界及 左右邊界切割字元影像。其中，本發明所定義的波峰，係利用垂直灰階投 影量當作依據，如果一個位置的投影量比它左右兩邊的投影量都大，這點 就是波峰，左右兩邊的位置範圍此發明設定為文字高度(/i=y_〆)的六分之 201218129 -，通常-辨是ι㈣麵錢♦所城，有 鱗，通常越麵妓郷解就越絲是有 〃 _垂直投影 性’可以錄獅嫩觸物此特 若車牌規格為白底黑字，利用上下邊界心’則可=白=字之 車牌規格是沿著水平制投騎果如下公式⑷： - K(x) = Σ, f(x,i)....................... Λ .............................. ( 4 ) 若車牌規格為黑底白字，利用上邊

下邊界少X則我們可得到黑底白 子車牌沿著水平線的投影結果如下公式（5): .......(5) W = f/(功..................... ^ylb 其中’利_可刪鱗數心軌(相得職峰數_，比 較此兩健值❼心大小，柯職她格峨白字還是白 底黑字換言之’㈣大於^，曝規格椒黑字，反之，則車 牌規格為黑底自π靖料肖自就彳m自字後，利用 兩個相鄰的波峰（不—定是相連）的雜當作字元影像喊，字元影像的 上下邊界差當財元的高度（或長度），_長統來妓是轉字元越 财系統設定的門檻值（例如長寬比為〇.55)就越可能為字元。此外，文 子區域中除了子7〇之外’更包含有__個破折號的符號，破折號會影響到切 子跟辨識，為了纽增加職率，我們騎触減來處理，破折銳判斷 的方式為只要錄的中間三分之—有黑點，上半部的三分之—和下半部的 二分之-為白點’中_三分之—就倾視為破折號。對於破折號的掃描， 在此係採取兩種方式來掃描，一個是從左到右掃瞒，另一個則是從右到 201218129 左掃猫，在破㈣掃描消_職巾，只要有—個點不符合觸式，此掃 描方向就會停止尋找’如第6圖所示，從圖中的右邊開始往左邊找，丫 位置的破折號符合消除的條件就會往左邊開始消除，碰到「H」字的右邊就 不符合條件然後就會停止，這時破折號就已經被消除了。如果不停止，⑴」 k個字的巾間2位置的部份就會被獅，當破折號被消除赠，字元的 比例就可健持住了 H雜上述郷職出的水平線#依據，做垂 直投影，紐_投糖果職出的齡，做字元影像左右邊界的定位， 利用-文字切割模組14將文字區域切割為複數字祕像後並執行二值化 處理以取得概二飢字元。其巾此些字元影像之相_波峰位置選 取為-區塊，並將其進行二值化演算，接著糊這些二值化結果作投票， 利用㈣選值來蚊最佳的二值化字元影像結果，主要是希望可以減少雜 訊的產生，如第7圖所示’總共會有三張影像包含「3」的右半邊影像，可 利用這三張影像重㈣鋪位置來投票，如果在同—個位置三張圖投票的 結果都是鮮物（無），職代表這條置是前景_點，聽存之，即 可達到去_訊之功效’再者，可找出較佳二值化字元影像。 接續，在步驟S14中’係利用一文字辨識模組16依據一字元特徵辨識 此些二值化字元之複數字元。文字顺模組16可先將駄匕值化字元 影像縮放-預設字元尺寸（例如32x16)。字元特徵係為交又掃猫（Cr〇ss)、 垂直投影直謂（Histogram)、輪雜_ (ρ_〇或區塊御（如⑽， 用以辨識出些二值化字元影像中之此些字元，為進―步說明這四種文字特 徵的辨識綠，_識「6」的二航字你像為舰明，如料綱，C_ 特徵是先水平去掃描「6」每-行錢個黑自相間的點（黑闕下—個是白 201218129 以糊咖細投影量， 去掃看到里 ”、'」如第8(e)圖’P_e特徵是先水平 出二值化字元景n ,「子的卜輪廊）然後再垂直掃描，以辨識 化字元1 」。如第8(侧，Ζ〇_特徵是將整個二值 成不_區塊，計算每_财多少鋪點，靖識出二 ΓΓ字元為「6」。藉由上述之辨識方法即可逐-辨識出此此二 值化子喊叙每―字元’其料可為阿拉錄字錢文字母。 續在步驟S16中，係利用一字串組合模组對此些字元進行组合 =車牌字串，影像經字謂識後，為了讓本發明辨識車牌的準確率 “ ’可轉—轉朗對車牌字串進行重新組合與校正，使得最後的車 牌字串_合各_車_，例如紐台灣的車_，會有六個字 的車牌字串，如普通汽車、貨料，和五個字的車牌字串，如計程車、公 車、遊覽車、大型貨櫃車等。六個字的車牌字串會分成Μ或是W這樣的 形式，其中2表示至少有一個是英文字母，4表示全數都是阿拉伯數字。舉 例來說’這類型的車牌字串#有瓜4345、543细、Αγ彻 ' 伽避 等。五辨的車牌字串會分成Μ或是Μ這樣的形式，和前輯提到的六 個字的車牌字串一樣，2表示至少有一個英文字母，3表示全部都是阿拉伯 數字。所以會有3D-434、AD-323、736-D5、643-ΑΤ等。所以當一個辨識 完成的車牌字串，可將其切誠符合台灣車牌酬的形式，只要符合上述 的車牌規則’就會被切割出來’所以-個車牌字Φ出來，就會有可能有一 個以上的可能車牌。 201218129 "最後，麵驟s财，取下-個畫_影像並重複轉⑻至步驟⑼， w寻】下個時間點的新車牌字串，並利用一投票模組2〇將車牌字串及新 車牌字_之每—字元進行比對，以產生_比對結果，據以驗證比對結果之 °度例如’當影像一張張輸入車牌楨測模組12，可利用在不同時間點 、車牌I像之辨識結果來作投票，對辨識結果做進—步的準確率改善。當 在第（張晝面偵測到車牌影像時’接著根據在i+1綠面所偵測到的車牌影 像看疋否與第i張畫面所侧到車牌影像的位置重疊，據以作為投票依 據’若有重疊，就作文字投^投票的方法是綠-㈣合轉規則的車 牌字争被取φ來後’祕會先檢查車牌投票區有沒有完全—樣的字串，如 果沒有就會把這段轉字串存至車牌投票區，若車牌投票區只要有相似的 車牌(字沒有完全-樣)就會給予車牌投票區一加權值，加權值就是車牌字串 的辨識相似機率，例如車牌投票區中之一車牌字串為5D_伽，下一個時間 點取得_車牌字串為51)_4241’職車牌投票區巾建立該职241的新車 牌字串，紐再和5D_伽進行比對，只·—條置有相_字元，就 、。予5D_4243 -加權值，每—個字元都有職的加權值，這些加權值的平 均值即為驗證本發明_車牌字串的可信度。 本發明利用邊緣偵測車姉像，所產生之邊緣資訊加以重新編碼，可 以决速且精準地找出轉的所在位置，藉以節省先前麟巾車姉像需做 事先的影像猶之運算日_。再者，於車輛的灰階影像中進行文字切割後， 再執行一值化處理’藉以獲得較佳和穩定之二值化影像，躺解決先前技 術於一值化處理時’因其含有大量雜訊而導致辨識率低的問題。因此，本 發明不僅可谷忍不同肖度的影像触，且能在任何環化下快速侦測出 12 201218129 車牌位置’並有效排除影像雜訊而提高車牌的辨識品質，以達到即時性偵 測與高辨識率之功效。 唯以上所述者’僅為本發明之較佳實施例而已，並非用來限定本發明 貫施之範圍。故即凡依本發明申請範圍所述之特徵及精神所為之均等變化 或修飾，均應包括於本發明之申請專利範圍内。 【圖式簡單說明】 第1圖為本發明之步驟流程圖。 ^ 第2圖為本發明之架構圖。 第3(a)圖為本發明之原始影像圖。 第3(b)圖為本發明之積分影像圖。 第4圖為本發明具有車牌候選區之灰階影像圖。 第5(a)圖為本發明車牌影像之垂直投影圖。 第5(b)圖為本發明車牌影像之水平灰階投影圖。 第6圖為本發明之消除破折號示意圖。 鲁第7圖為本發明利用投票獲得較佳之二值化影像示意圖。 第8⑻圖為本發明利用交叉掃猫特徵辨識字元之示意圖。 第8(b)圖為本發明利用垂直投影直方圖特徵辨識字元之示意圖。 第％)圖為本發明利用輪廟掃晦特徵辨識字元之示意圖。 第8(d)圖為本發明利用區鱗晦特徵辨識字元之示意圖。 【主要元件符號說明】 10影像擷取裝置 12車牌偵測模組 13 201218129 14文字切割模組 16文字辨識模組 18字串組合模組 20投票模組

Claims (1)

1. 201218129 七、申請專利範圍： !· 一種車牌侧_方法，包括下列步驟： _輸人之影_縣—錄鱗，料算其雜密度值，再依據該邊 緣密度值及-轉規格條件，灿—車牌轉的位置’· _測該轉之文字_，將其_騎數字元轉後，並執行二 值化處理以取得複數二值化字元影像； (C)辨識該些二航料職之概字元；

   ⑼對該些字元重新組合為__車牌字串，並輸出之·及 (雜下―悔像«辭驟(a)至够卵⑽制τ—辦間點的新車 牌字串，並將該車牌字串與簡車牌字串之每—該字元進行比對以產

   生一比對結果，據以驗證該比對結果之可信度。 如申請專利細第丨項所述之車牌偵測辨識方法，其中該影像係由 像擷取裝置所攝入。 如申請專_第i _述之車__法，射_影像係分 割複數區域，顧-積分影像方式計算出任—賴域之該邊緣密度值。 如申請專娜圍第3酬狀車牌__方法，其中該積分影像方式 係計算該灰階影像巾每_像素點之特難並加以累積，鱗徵值之總和 即為該邊緣密度值。 如申請專繼M _狀車職_齡法，其巾騎緣密度錄 高的值置係綱-車雜選區框如，再藉由—預設邊緣密度門植值， 將低於該預設邊緣密度門檻值之該車牌候選區排除。 如申請專利細第5 _狀車牌__雜，其中财牌候選區之 15 201218129 排除 該邊緣密度值料於娜爾_贿，職據—合併條件以找出 複數合併車義，再料符合該轉祕條叙齡料牌候選區 7. 如申請專利麵第6補述之車牌侧辨識方法，其巾該合併條件係為 任兩個以上_車賴魏細錢，將其框選為該合併車牌候選區。 8. 如申請專利顧第丨賴狀車牌_職紐，其巾該轉規格條件 係為一預設框的長寬比。 9. 如申請__丨_料__物，㈣轉影像係以 垂直投影取得正郷似貞郷值，根·最域崎義出該文字 之上下邊界，並對該上下邊界範圍作水平灰階投影以找出複數波峰位 二據以找出該文字’每—該字元影像之左右邊界，再根據該上下 邊界及該左右邊界切割該字元影像。 瓜如申請專概圍第9稿述之車牌翻辨識方法，其中該車牌影像係八 為上切及W，_投__上半部及下半_正妙 值^亥負投影值間的最大差值，以找出該文字區域為黑底白字或是 黑^上下邊界·及其文字高度，再根_解位置，柯判斷出該 文子區域為,t底自字或是*底黑字之車牌規格。 11.一種車牌偵測辨識系統’包括： 一車牌偵_ ’ _卜_轉換為_灰_，計算其邊緣密度 值，再依據該邊緣密度值及-車牌規格條件，找出—車牌影像的位置. 一Γ刀賴㈣瓣牌，她物切割為複數 子几影像後，並執行二值化處理以取得複數二值化字元聲像. 201218129 一文字辨識· ’連文細賴組，係相觸雜二值化字元影 像之複數字元； .一字•合輸’連接敎字__，翁該些字元進行重新組合為 一車牌字串，並輸出之；及 -投雜組’連接該字串組合模組，係取下—個時間點的新車牌字串， 並職車牌字Φ及簡車牌Μ之每，字元進行比如產生一比對 結果’據以驗證該比對結果之可信度。 籲12.如申請專利範圍第η項所述之車牌偵測辨識系統，其中該影像係由一影 像擷取裝置所攝人，並將該影像傳送至該車牌_模組中處理。 a如申請補細第η猶毅轉_韻线，其巾鱗㈣測模組 係將該灰階影像分割複數區域，利用一積分影像方式計算出任一該區域 之該邊緣密度值。 R如申請專利細第D項所述之她貞測辨齡統，其中該積分影像方式 係計算該灰階影像巾每-像餘之特紐並純累積，該舰值之總和 # 即為該邊緣密度值。' 15. 如申請專利細第U酬狀轉伽_^統，其愧轉規格條件 係為一預設框的長寬比。 16. 如申請專利範圍第u項所述之車牌_辨齡統，其中該車義測模組 係以垂直投影取得正投影值及負投影值，根據其最大值以定義出該車牌 影像之-文字區域之上下邊界，並對該上下邊界範圍作水平灰階投影以 找出複數波峰位置’據以找出該文字區域中每_該字元影像之左右邊 界，再根據該上下邊界及該左右邊界_該字元影像。 17 201218129 17.如申請專利範圍第i6項所述之車牌偵測辨識系統，其中該車牌影像係分 為上半部及下半部，触直郷法係計算該上半部及下半部之該正投影 值、該負投影值間的最大差值’以找出該文字區域為黑底白字或是白底 黑字之上下邊界位置及其文字高度，再«該波峰位置，㈣判斷出兮 文予區域為黑底白字或是白底黑字之車牌規格。 X 认如申請專·圍第U項所述之車牌伽猶齡統，其中 係將每一該字娜像相鄰之波峰位置選取為—區塊，、切割模組 算’以取得對應該宇元影像之該二值化字。 '進行二值化演