TWI381321B - 重組多張影像與辨識方法以及影像擷取與辨識系統 - Google Patents

重組多張影像與辨識方法以及影像擷取與辨識系統 Download PDF

Info

Publication number
TWI381321B
TWI381321B TW098114328A TW98114328A TWI381321B TW I381321 B TWI381321 B TW I381321B TW 098114328 A TW098114328 A TW 098114328A TW 98114328 A TW98114328 A TW 98114328A TW I381321 B TWI381321 B TW I381321B
Authority
TW
Taiwan
Prior art keywords
image
feature
images
interest
region
Prior art date
Application number
TW098114328A
Other languages
English (en)
Other versions
TW201039247A (en
Inventor
Ya Hui Tsai
Kuo Tang Huang
Chun Lung Chang
Lai Sheng Chen
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW098114328A priority Critical patent/TWI381321B/zh
Priority to US12/512,628 priority patent/US20100278389A1/en
Publication of TW201039247A publication Critical patent/TW201039247A/zh
Application granted granted Critical
Publication of TWI381321B publication Critical patent/TWI381321B/zh
Priority to US14/561,604 priority patent/US9286533B2/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/26Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

重組多張影像與辨識方法以及影像擷取與辨識系統
本發明係有關一種影像辨識技術,尤其是指一種利用複數張影像進行疊合重組而辨識出影像內容之一種重組多張影像與辨識方法以及影像擷取與辨識系統。
每年因交通事故造成人員死亡人數近3000人,驅車偷竊或行搶案也層出不窮,肇事逃逸或犯案之車牌因監視錄影系統不佳而無法辨識之事層出不窮,乃因該類監視系統多半存在著解析度不佳(320×240 Pixels)、影像擷取單元之架設取像角度過於偏斜使得成影像資訊殘缺或模糊連人眼也無法正確辨識,每每會因無法正確識別車號而讓犯案或肇事逃逸車輛得以逍遙法外。
在習用技術中,例如中華民國專利第197752號,名稱為“從車輛影像中擷取車牌區域及矯正車牌歪斜的方法及裝置”。該專利係由搭配鏡頭的CCD攝影機及影像擷取卡對車道攝取車輛影像,並由車輛影像讀取單元將影像擷取卡所擷取的影像讀取出來,接著由對數灰階值運算單元來對車輛影像中的各個像素計算出其對數灰階值,小波分解運算單元則接著將對數灰階值影像分解成粗影像、水平差異影像、垂直差異影像、對角差異影像,接著由影像二值化運算單元將水平差異影像各像素之對數灰階值由實數值(Real number)轉為0或1的二元值。然後由車牌區域粗切割單元依照預設的車牌長寬約略值來尋找整張車輛影像中那個區域的二元值總和最高,並將該區域初步切出為車牌區域的所在;接著利用車牌歪斜矯正單元來矯正車牌區域影像的歪斜,使之不歪斜,最後由車牌區域細切割單元來切除車牌粗區域中非屬於車牌的部分。
另外,如中華民國公告專利第I286027號,名稱為“整合接圖式多車道自由車流影像執法系統”。該專利為一種整合接圖式多車道自由車流影像執法系統(Integrated Multiple Lane Free Flow Vehicle Enforcement System),也就是說影像執法點建置門架式設備,且車道無實體分隔,系統可以讓車輛以正常車速通過影像執法點並允許自由變換車道之情形下,仍能正確對各類車種進行影像執法的動作。
此外,又如中華民國公開申請號第200802137號,名稱為“串聯式車牌辨識系統”。該專利提供一種串聯式車牌辦識系統,係藉由車牌字元區域偵測模組接收一影像,並搜尋出影像中每一個近似車牌範圍,接著找出每一個近似車牌範圍中所有具有連續相同像素之序列,並將這些序列經過塗抹、濾除與連接區塊擷取處理後,取得每一個近似車牌範圍的車牌字元區域影像,而在驗證後輸出已確認之車牌字元區域影像,再來已確認之區域影像送入車牌字元切割與辨識模組中,以取得所有獨立字元影像,並在獨立字元影像經過字元驗證辨識後,獲得所有車牌字元資訊。
其他相關技術如中華民國公告號第221193號所揭露的一種停車場車牌辨識輔助監控裝置,其係何車輛通過一預設之取像定點時,則通知控制主機由雙工影像擷取器下令攝影裝置攝取車輛車牌影像,而由辨識程序將車牌中之各數碼字元予以辨識,以作為停車場之車輛管制、停車資料管理、贓車查緝及防止車輛失竊等強化之管理。或者是如中華民國公告號第226454號所揭露的一種車牌自動辨認方法,其係在辨識過程上,先以群組邏輯關係及字元筆劃特性分析在輸入的數位影像中尋找正確的車牌位置,再利用三值化差分及模糊推論原理框取車牌字串外緣,並結合調適性二值化方法切割出各個字元之上下左右邊界,最後,經特徵融合中間值運算類神經網路之處理而得到辨識結果。又如,中華民國公告號第191905號所揭露的一種行動式車牌自動辨識系統,係包括有取像裝置及影像處理主機,其可裝設於汽車車体內,以針對靜止或是行進間之被測汽車車牌執行自動辨識。其取像裝置係用以攝取車牌之影像,並將攝得之影像送入影像處理主機中,影像處理主機即對該影像訊號以模糊推論法則進行車牌字元之精確框取,並以字元結構分析類神經網路對框取出之字元進行字元之辨識,如此可避免因車牌污損、字元變形或污損、偏斜等而造成辨識之錯誤。而在中華民國公告第123259號所揭露的一種設置於車輛行經處,用以自動辨認車輛車牌號碼之裝置,其係利用取像裝置攝取含有車牌部份之車輛影像。再利用一影像處理單元,依據車牌號碼特徵,檢查該數位化影像資料,以尋找車牌位置,框取號碼範圍,切出個別字碼,及達成各字碼特徵值之辨認。
另外,如美國專利US.Pat.No.4,817,166亦揭露出一種讀取車牌的方法,其係擷取車牌內字元的邊緣特徵,尋找出邊緣長度、字元高度與字元寬度。有了字元的相關特徵資訊,再分析字元的幾何特徵,如:凸包(convex hull)、彎部之形狀與位置以及洞的形狀與位置等。再根據前述之參數,進行結構分析車牌上的每一個字元。此外,又如美國專利US.Pat.No.6,553,131所揭露的一種利用智慧型影像擷取裝置進行車牌辨識的技術,其係在影像擷取裝置內設置處理器以進行以車牌資訊辨識。在該技術中,影像辨識的方式係先根據車牌影像的亮度、位置以及模糊區域來決定出基準線。然後利用投影的方式對具有該基準線的影像進行處理以得到車牌內各字元的位置。然後利用統計分類的方法使得每一個字元都具有一個信心指數,最後根據該信心指數決定出該車牌內的字元組合資訊。另外,如美國專利US.Pat.No.5,425,108揭露了一種影像車牌辨識技術,其係將擷取到的車牌影像進行模糊干擾(fuzzy interfere)運算處理,並且藉由類神經網路特徵結構分析對車牌影像所具有的特徵進行辨識。此外,又如美國專利US.Pat.No.6,473,517所揭露的一種車牌辨識技術,其係利用字元分割(character segmentation)的方式對車牌影像進行辨識。在該技術中,將車牌影像分割成複數個區域,並將其轉換成可能字元區域(suspected character region),然後對該可能特徵區域進行辨識而得到一信賴指數(confidence index),然後根據信賴指數判斷可能之影像結果。又如美國專利US. Pat. No. 5,081,685所揭露的一種車牌辨識技術,其係利用影像強度資訊(image intensity transition information)來進行辨識車牌內的號碼。在該技術中,其係將車牌中的字元與背景隔離,然後利用尋跡演算的方式找出分離出字元的外部輪廓軌跡。
本發明提供一種重組多張影像與辨識方法以及影像擷取與辨識系統,其係對特定目標物之多張影像進行重組以彌補個別影像中殘缺之資訊進而形成一重組影像以增加影像的辨識度。
本發明提供一種重組多張影像與辨識方法以及影像擷取與辨識系統,其係對利用多張影像進行重組而形成一重組影像進行辨識,配合資料庫內所建立之多種已知之資訊,產生辨識之結果,並且根據相似度之程度予以排序而提供複數種可能之結果組合,以供辨識人員進行辨識與篩選,以增加辨識之速度與準確度。
本發明提供一種重組多張影像與辨識方法以及影像擷取與辨識系統,其係可應用於載具識別號碼之辨識,透過對識別號碼進行文字特徵強化,再搭配多視角車牌辨識技術,可協助辨識人員辨識可疑或肇事之載具車輛,以期降低意外肇事率或偵破重大刑案,維護國家社會安定。
在一實施例中,本發明提供一種重組多張影像方法,包括有下列步驟:取得複數張影像;於該複數張影像中之一張影像選擇一興趣區域以及擷取該興趣區域之特徵;根據擷取之特徵於其他影像中擷取對應該興趣區域之一特徵區域;以及根據該複數個特徵區域以及該興趣區域進行一影像重組程序以形成一重組影像。
在另一實施例中,本發明提供一種影像辨識方法,包括有下列步驟:取得複數張影像;於該複數張影像中之一張影像選擇一興趣區域以及擷取該興趣區域之特徵;根據擷取之特徵於其他影像中擷取對應該興趣區域之一特徵區域;根據該複數個特徵區域以及該興趣區域進行一影像重組程序以形成一重組影像;以及辨識該重組影像。
在另一實施例中,本發明提供一種影像擷取與辨識系統,包括:一影像輸入單元,其係提供輸入複數張影像;一影像處理單元,其係與該影像輸入單元偶接,該影像處理單元更具有:一特徵擷取單元,其係擷取一標準影像內所具有之一興趣區域內所具有的特徵以及根據擷取之特徵於其他影像中擷取對應該興趣區域之一特徵區域;以及一重組單元,根據該複數個特徵區域以及該興趣區域進行一影像重組程序以形成一重組影像。
為使 貴審查委員能對本發明之特徵、目的及功能有更進一步的認知與瞭解,下文特將本發明之裝置的相關細部結構以及設計的理念原由進行說明,以使得審查委員可以了解本發明之特點,詳細說明陳述如下:
請參閱圖一所示,該圖係為本發明之重組多張影像方法實施例流程示意圖。在本實施例中,該方法2首先進行步驟200,取得複數張影像。在本步驟中,取得複數張影像的方式有很多種,例如:可以利用直接輸入複數張的影像,或者是利用照相機、CCD或者是CMOS之影像擷取單元、但不以此為限,在不同時間點拍攝所得到的多張影像或者是利用影像擷取器由攝影機所拍攝的連續影像中取出複數張具有時間序列關係的影像。以圖二A與圖二B所示來說明,在圖二A中車輛90正進行一轉彎移動,在不同時間點利用影像擷取單元25(攝影機或者是照相機)對於車輛90進行影像擷取,即可以得到多張影像。又如在圖二B中,在車輛行駛的過程中擷取不同位置的影像,例如在位置91時可以得到如圖三A之影像,而在位置92時可以得到如圖三B之影像。至於影像張數,係根據需要而定,並無一定之限制。而步驟200之影像在本實施例中,係為車輛影像,但不以此為限。
再回到圖一所示,取得影像之後,接著以步驟201,載入複數張影像。然後以步驟212將影像儲存在儲存媒體內,例如:硬碟或記憶體等。接著進行步驟202,於該複數張影像中決定其中一張影像為一標準影像。至於選擇的方式可以選擇影像較清楚的影像作為標準影像,本實施例係以圖三B作為標準影像。接著以步驟203於該標準影像中選擇一興趣區域(Region of interest,ROI)。該興趣區域內係涵蓋有該車輛之車牌的影像,如圖三B中的區域93所示。接著再以步驟204擷取該興趣區域內之影像特徵。在本實施例中係指學習特徵區域內之車牌影像中的文字與數字之外型輪廓所具有之對比或者是灰階值。
然後以步驟205根據步驟204所擷取到的特徵,分別於其他的影像內擷取對應到興趣區域之一特徵區域。擷取的方式係可為操作者手動擷取或者是利用軟體自動搜尋以擷取。該特徵區域之決定是根據要辨識的物件而定,在本實施例中係以車輛之識別號碼為例,因此所尋找到的特徵區域即為對應識別號碼之區域。在步驟205中包含兩個程序,首先讀取在步驟212中儲存的待搜尋之影像,然後載入步驟204所擷取到的特徵,然後對載入之影像進行特徵搜尋。例如:根據圖三B中的區域91內所擷取到的特徵,在圖三A中的影像進行搜尋,而得到特徵區域94。在步驟205除了尋找特徵區域之外,更包括有尋找特徵區域與興趣區域間的旋轉角度關係以及比例關係。例如:如圖三C所示,在尋找出對應之特徵區域94之後,步驟25會更進一步利用幾何比對法在特徵區域94中尋找出對應到興趣區域上一點930之位置940。然後根據該位置940建立關於該特徵區域94之座標系以得到角度關係。取得特徵區域94與興趣區域93間的角度θ關係以及比例(scale)關係,以作為將來正規化處理之依據。
再回到圖一所示,接著再利用206反覆對其他的影像搜尋出特徵區域。搜尋完畢之後,再進行步驟207,對所搜尋的特徵區域進行正規化處理。所謂正規化的步驟主要是根據步驟205中所得到之角度與比例之關係將每一個特徵區域調整至與興趣區域同樣的大小或者是將特徵區域與興趣區域調整至特定比例大小。由於步驟200所擷取的多張影像可能因為影像擷取的視角與距離的緣故,而使得目標物(本實施例為車輛)有不同的大小,如圖三A與圖三B所示。因此當步驟205所搜尋到的特徵區域93、94也會因為車輛的遠近而有大小的差異。所以透過步驟207將每一個特徵區域調整至同樣的大小,本實施例為130畫素(pixels)x130畫素(pixels)。
接著進行步驟208,分別對該複數個特徵區域以及興趣區域內之像素進行反轉運算。所謂反轉運算即為將影像中亮處變暗,暗處變亮。因為人的眼睛敏感曲線在明亮處易呈飽和狀態,亦即無法分辨亮區的細部結構,此時如果將整個影像實施反轉運算,亮區轉換至暗區再來觀察,自然比較容易辨別一些微細的差別。然後,再進行步驟209,將該複數張影像中所分別對應之特徵區域以及興趣區域內相互對應之畫素相加以形成重組影像。由於特徵區域以及興趣區域已經經過了正視化的處理而有相同的影像大小,因此將區域中相對應的像素所具有的灰度值相加。再以步驟210將該重組影像進行反轉運算。隨後再進行步驟211對該重組影像進行影像強化的處理。影像強化的處理包括有對比度與亮度的提整等。如圖四A與圖四B所示,其中圖四A係分別為多張(本實施例為三張)影像中所具有的特徵區域示意圖,該三張影像為重組前之影像,其影像特徵模糊不清。而圖四B係為利用圖一之實施例所得到之重組影像示意圖,亦即將圖四A之三張影像經過重組演算所得到的特徵清晰之影像。
請參閱圖五所示,該圖係為本發明之重組多張影像方法另一實施例流程示意圖。在本實施例中,該方法3中的步驟300與307基本上與圖一之步驟200至207相同,在此不作贅述。而本實施例與圖一之差異在於得到重組影像運算方式不同。當在步驟307正規化之後,隨後以步驟308對該複數張影像中的特徵區域進行一平均值演算以得到一重組影像。所謂平均值演算,係為將特徵區域與興趣區域中的每一個畫素相加求取平均值,而形成一重組影像。然後再進行步驟309對重組影像進行一長條圖等化處理。所謂長條圖等化處理之目的係為要增加重組影像中的對比。例如,圖六A所示為三張原始影像所具有之特徵區域,每一張影像畫面所具有之特徵模糊且不清楚。經過步驟308重組與步驟309等化處理之後的結果,如圖六B所示,以形成清楚之影像。而在圖七A與圖七B中,所示係為長條圖等化處理差異示意圖。根據圖中所示之結果,可以發現如果還沒有進行步驟309的等化處理時,影像的對比度範圍d差異並不大,如圖七A所示。但是經過了步驟309之等化處理之後,則可以發現對比範圍D的差異增加,有利於後續影像辨識,如圖七B所示。再回到圖五所示,重組完畢之影像,可以再進行步驟310強化處理的演算以強化重組影像之特徵,以利後續影像辨識。
請參閱圖八所示,該圖係為本發明影像辨識流程示意圖。利用圖一與圖五所產生的重組影像可以進行影像辨識的流程,以對該重組影像產生辨識結果。也就是說,利用圖一的流程或者是圖五之流程所形成的重組影像,在與複數個已知樣品影像進行比較,而尋找出可能的資訊。該方法4首先以步驟40,提供一資料庫,該資料庫內建立有複數個已知標準樣品影像。如圖九A所示,該圖係為已知樣品影像大小示意圖。該已知樣品影像5之大小以使用者需要而定,例如:130(pixels)x130(pixels),但不以此為限。在該已知樣品影像5內之像素上形成標準影像區域50。該標準影像區域50係由複數個像素500與501所構成,以形成該已知樣品影像所要代表之字元、數字、文字或者是圖案。請參閱圖九B所示,在本實施例中係以數字1來作說明,利用在該已知樣品影像5區域內給予每一個像素500與501一適當之灰度值以形成標準影像區域50,而勾勒出數字1的外形。然後在該標準影像區域50內決定特定的像素501(斜線區域的像素)以給予特定的權值。灰度值,權值之大小係可根據需要而定並無一定限制,也就是說每一個權值大小可以不相同或者是相同,在本實施例中該權值係為正值。前述該標準影像區域50內之每一個像素500與501所具有之灰度值以及權值即為該第一特徵值。
如圖九C所示,在該已知樣品影像內決定一非標準影像區域51。所謂非標準影像區域51是表示該標準影像區域50所形成之文字容易被誤認的文字內容。例如,數字「1」在影像中容易被誤認為英文字母「I」或者是「L」甚至是字母「E」等。因此對於可能造成被誤認的相關像素位置510(點區域的像素)及給予適當的灰度值以及權值以作為對應像素510之第二特徵值。在本實施例中,構成該非標準影像區域51之像素510位置係可根據該標準影像區域50容易被誤認的字元、數字或文字等來決定,並無一定之規則。而灰度值與權值之大小係可根據需要而定,本實施例中,該非標準影像區域內51之權值係為負值。
如圖九D所示,該圖係為另一已知標準影像示意圖。該圖係為根據數字0所建立之已知樣品影像5a。該已知樣品影像5a,也同樣具有一標準影像區域以及一非標準影像區域。該標準影像區域中的每一個像素所構成之圖案即為數字「0」。同樣地,該非標準影像區域中的每一個像素所構成之圖案,則代表數字「0」容易被誤認的文字,例如:字母「Q」或數字「8」。至於建立已知標準影像之非標準區域之方式,係可藉由影像軟體,例如:小畫家來處理,但不以此為限。前述為本發明所謂標準影像的產生過程,根據前述之方式依序建立不同文字或數字所代表之已知樣品影像,例如:0~9、A~Z以及a~z等,存入資料庫內。
再回到圖八所示,接著進行步驟41,於重組影像中擷取一特徵影像。例如:以圖十A為例,重組影像95(本實施例為圖六B之影像)中的每一個未辨識的文字所對應的區域即為該特徵影像。在步驟41中,所擷取的特徵影像96為該車輛識別資訊之第一碼文字。然後進行步驟42將該特徵影像中每一個像素之一第三特徵值分別與在資料庫中該複數個已知樣品影像中每一個像素所對應的第一特徵值或第二特徵值進行一演算以得到該特徵影像對應該複數個已知樣品影像所分別具有之一相似度值。
請參閱圖十B所示,該圖係為特徵影像96示意圖。利用該特徵影像即可與每一個已知樣品影像進行演算而得到對應之相似度值Cuv 。該演算方式係為正規相關比對法,但不以此為限,該正規相關比對法之演算式如下式(1)所示。正視相關比對法(normalized correlation matching)主要是計算特徵影像和與已知樣品影像間之關係,將每個影像中之內灰度值之標準偏差視為一向量在與權值進行乘積,用以決定何者為最佳的匹配位置,標準化互相關係數介於-1到1之間,越接近於1表示相似性越高;當Cuv 為最高時,其為最佳匹配位置。
其中,ui 係為該已知標準影像中之每一個像素所具有之灰度值,vi 係為該特徵影像中之每一個像素所具有之灰度值。係為該已知標準影像中所有像素所具有之灰度平均值,係為該特徵影像中所有像素之灰度平均值。wi 係為該已知樣品影像中標準影像區域中以及非標準影像區域中像素所代表的權值,至於其他區域之像素其權值為1。
根據式(1)將圖十B之每一像素與已知樣品影像之每一像素進行演算。例如:將圖十B之影像與圖九C之已知樣品影像(代表數字1)以及圖九D之已知樣品影像(代表數字0)分別進行演算,即可得到圖十B之特徵影像關於圖九C與圖九D之相似度值Cuv 。再回到圖八所示,得到相似度值之後,再以步驟43與44將重組影像95中的所有文字逐一擷取成特徵影像,然後重複步驟42進行比對。接著以步驟45彙整關於該特徵影像與該複數個已知樣品影像比對所產生之複數個相似度值。在本步驟中,可以對相似度值進行排序,由可能性最高之辨識結果排序至最低的結果。最後再以步驟46將該複數個相似度值排序輸出可能之複數種辨識比對結果,以圖三B之識別資訊具有七碼,因此經過辨識方法4的流程之後,即可得到如圖十一之排序結果。在圖十一中,總共輸出了四種可能的結果,每一種可能結果代表車牌內容可能的字元組合。第一種可能結果的每一碼所具有的相似度最高,然後依序排列形成第二、第三以及第四種可能的結果。以第一可能結果為例,經過分析出來的可能車牌為6095-0A,其中第1碼”6”其經過演算後的相似度為72,第2碼”0”其經過演算後的相似度為52,第3碼”9”其經過演算後的相似度為67,第4碼”5”其經過演算後的相似度為72,第5碼為”-”,第6碼”0”其經過演算後的相似度為63,第7碼”A”其經過演算後的相似度為76。當然,使用者亦可以根據圖十一的結果,再根據目視該待辨識影像,自行決定出其他可能的車牌號碼組合以供相關單位進行確認。
在比對過程中,更可以根據不同種類之識別號碼組合事先排除不可能之字元。例如:在一實施例中,識別號碼之組合可能是四碼數字與兩碼英文字母之組合(如圖三A所示),而在四碼數字與兩碼英文之間有一個”-“符號為區隔。在另一種辨識號碼組合中可以是兩碼英文字母與四碼數字的組合,而在前四碼數字與後兩碼字母之間以符號”-“做區隔。由於在本實施例中,已經可以歸納有兩種車牌之組合,因此可以根據該特徵影像於該識別號碼中之相對位置,事先排除不可能字元或數字之影像,以增加比對之速度。
請參閱圖十二所示,該圖係為本發明之影像辨識與輸出系統示意圖。該系統6係可以執行前述圖一、圖五與圖八之流程,以進行影像辨識與輸出。該系統6包括有一資料庫60、一影像處理單元61、一辨識輸出單元輸出62、複數個影像擷取單元63以及一影像輸入單元64。該資料庫60,其內建立有複數個已知樣品影像,其係如同前面所述,在此不作贅述。該複數個影像擷取單元63,其係與該影像處理單元61電訊連接,每一個影像擷取單元63係可擷取物體之影像而將該影像傳遞至該影像處理單元61內進行辨識處理。在本實施例中,該影像擷取單元63係可擷取關於該物體之動態或者是靜態之影像。該影像上具有可提供識別該載具之一識別區域,該識別區域內具有一識別資訊。該影像擷取單元係為CCD或者是CMOS等影像擷取元件,但不以此為限。該物體係可為載具,其係具有識別號碼,例如:車輛之車牌號碼。另外,該物體亦可直接為文字、字元、數字或者是前述之任意組合。
該影像輸入單元64係接收該影像擷取單元63所產生之複數張影像而傳輸至該影像處理單元61。該影像處理單元61內具有一特徵擷取單元610、重組單元611、強化單元612以及一辨識比對單元613。該特徵擷取單元610其係擷取一標準影像內所具有之一興趣區域內所具有的特徵以及根據擷取之特徵於其他影像中擷取對應該興趣區域之一特徵區域。該標準影像之產生方式係由該複數張影像中選取一張而得之。隨後,該重組單元611根據該複數個特徵區域以及該興趣區域進行一影像重組程序以形成一重組影像。形成重組影像之方式係如圖一以及圖五所示,在此不作贅述。該強化單元612更可對該重組影像進行影像強化的動作以強化該重組影像之對比或亮度或邊緣特徵。
該辨識比對單元613,其係與該強化單元612相偶接,以辨識該重組影像,該辨識比對單元613係利用圖八之流程將每一個特徵影像中之每一個像素分別與該複數個已知樣品影像中每一個像素進行一演算以得到該特徵影像對應該複數個已知樣品影像所分別具有之一相似度值,再彙整關於該特徵影像與該複數個已知樣品影像比對所產生之複數個相似度值。該輸出單元62,其係與該運算處理單元61電訊連接,以輸出該運算處理單元61辨識之結果。
惟以上所述者,僅為本發明之實施例,當不能以之限制本發明範圍。即大凡依本發明申請專利範圍所做之均等變化及修飾,仍將不失本發明之要義所在,亦不脫離本發明之精神和範圍,故都應視為本發明的進一步實施狀況。
綜合上述,本發明提供之影像處理與辨識方法以及影像擷取與辨識系統,由於具有提高辨識效率以及準確度之效果。因此已經可以提高該產業之競爭力以及帶動週遭產業之發展,誠已符合發明專利法所規定申請發明所需具備之要件,故爰依法呈提發明專利之申請,謹請 貴審查委員允撥時間惠予審視,並賜准專利為禱。
2...影像處理方法
200~212...步驟
3...影像處理方法
300~309...步驟
4...影像辨識方法
40~46...步驟
5...樣品影像
50...標準影像區域
500、501...像素
51...非標準影像區域
510...像素
6...影像辨識與輸出系統
60...資料庫
61...影像處理單元
610...特徵擷取單元
611...重組單元
612...強化單元
613...辨識比對單元
62...辨識輸出單元輸出
63...影像擷取單元
64...影像輸入單元
90...車輛
91、92...位置
93、94...區域
930、940...位置
95...重組影像
96...特徵影像
圖一係為本發明之重組多張影像方法實施例流程示意圖。
圖二A與圖二B係為車輛移動示意圖。
圖三A與圖三B係為車輛在不同位置時所擷取到的影像示意圖。
圖三C係為尋找特徵區域與興趣區域間的角度關係示意圖。
圖四A與圖四B係為分別為多張影像以及重組影像示意圖。
圖五係為本發明之重組多張影像方法另一實施例流程示意圖。
圖六A與圖六B係為分別為多張影像以及重組影像示意圖。
圖七A至七B係為分別為未經過長條圖等化處理以及經過長條圖等化處理結果示意圖。
圖八係為本發明之影像辨識流程示意圖。
圖九A至圖九D係為產生已知標準影像示意圖。
圖十A係為重組影像及其特徵影像示意圖。
圖十B係為特徵影像示意圖。
圖十一係為本發明之關於載具識別號碼可能之輸出結果排序示意圖。
圖十二係為本發明之影像擷取與辨識系統示意圖。
2...影像處理方法
200~212...步驟

Claims (18)

  1. 一種重組多張影像方法,包括有下列步驟:取得複數張影像;於該複數張影像中之一張影像選擇一興趣區域以及擷取該興趣區域之特徵;根據擷取之特徵於其他影像中擷取對應該興趣區域之一特徵區域;以及根據該複數個特徵區域以及該興趣區域進行一影像重組程序以形成一重組影像,其中該影像重組程序係包括有下例步驟:對該複數個特徵區域以及興趣區域內相對應之像素進行運算,該運算之方式係更包括有分別對該複數個特徵區域以及興趣區域內之像素進行反轉運算,將該複數個特徵區域以及興趣區域內相互對應之畫素相加以形成該重組影像;以及該重組影像進行一反轉運算。
  2. 如申請專利範圍第1項所述之重組多張影像方法,其係更包括有對該重組影像進行影像強化處理之步驟。
  3. 如申請專利範圍第1項所述之重組多張影像方法,選擇該興趣區域之方式係為於複數張影像中決定其中一張影像為一標準影像,再從該標準影像中選擇一區域作為該興趣區域。
  4. 如申請專利範圍第1項所述之重組多張影像方法,其係更包括有對該複數張影像進行正規化之一步驟。
  5. 一種影像辨識方法,包括有下列步驟: 取得複數張影像;於該複數張影像中之一張影像選擇一興趣區域以及擷取該興趣區域之特徵;根據擷取之特徵於其他影像中擷取對應該興趣區域之一特徵區域;根據該複數個特徵區域以及該興趣區域進行一影像重組程序以形成一重組影像;以及辨識該重組影像,其中辨識該重組影像更包括有下列步驟:於該重組影像內擷取至少一特徵影像;提供一資料庫,其內具有複數個已知樣品影像,每一個已知樣品影像分別具有一標準影像區域以及至少一非標準影像區域,其中該標準影像區域內之像素分別具有對應之一第一特徵值,而該非標準影像區域內的像素則分別對應有一第二特徵值;將每一個特徵影像中之每一個像素之一第三特徵值分別與該複數個已知樣品影像中每一個像素所對應的第一特徵值或第二特徵值進行一演算以得到該特徵影像對應該複數個已知樣品影像所分別具有之一相似度值;彙整關於該特徵影像與該複數個已知樣品影像比對所產生之複數個相似度值;以及將該複數個相似度值排序輸出可能之複數種辨識比對結果。
  6. 如申請專利範圍第5項所述之影像辨識方法,其中該演算係為正規相關比對法。
  7. 如申請專利範圍第5項所述之影像辨識方法,其中於該影像中擷取一特徵影像之後進行比對之前更包括有將該特徵影像進行正規化以調整該特徵影像之尺寸大小以及角度,使得該特徵影像之大小與該已知樣品影像之大小一致之步驟。
  8. 如申請專利範圍第5項所述之影像辨識方法,其中於每一已知樣品影像係對應到一數字或者是字元之影像。
  9. 如申請專利範圍第5項所述之影像辨識方法,其中該第一特徵值與該第二特徵值係分別為權值與灰度值之組合,該第三特徵值係為灰度值。
  10. 如申請專利範圍第5項所述之影像辨識方法,其中該重組影像內具有關於一載具上之一辨識號碼之資訊。
  11. 如申請專利範圍第5項所述之影像辨識方法,其中該影像重組程序係包括有下例步驟:對該複數個特徵區域以及興趣區域內相對應之像素進行運算;以及組合運算後形成該重組影像。
  12. 如申請專利範圍第11項所述之影像辨識方法,其中該運算之方式係為對複數個相對應之畫素取平均值運算。
  13. 如申請專利範圍第12項所述之影像辨識方法,其係更包括有對該重組影像進行一長條圖等化處理之步驟。
  14. 如申請專利範圍第11項所述之影像辨識方法,其中該運算之方式係更包括有下列步驟:分別對該複數個特徵區域以及興趣區域內之像素進行反轉運算; 將該複數個特徵區域以及興趣區域內相互對應之畫素相加以形成該重組影像;以及該重組影像進行一反轉運算。
  15. 一種影像擷取與辨識系統,包括:一影像輸入單元,其係提供輸入複數張影像;一影像處理單元,其係與該影像輸入單元偶接,該影像處理單元更具有:一特徵擷取單元,其係擷於該複數張影像中之一張影像內所具有之一興趣區域內所具有的特徵以及根據擷取之特徵於其他影像中擷取對應該興趣區域之一特徵區域;一重組單元,根據該複數個特徵區域以及該興趣區域進行一影像重組程序以形成一重組影像;一資料庫,其係儲存有複數個已知樣品影像,每一個已知樣品影像分別具有一標準影像區域以及至少一非標準影像區域,其中該標準影像區域內之像素分別具有對應之一第一特徵值,而該非標準影像區域內的像素則分別對應有一第二特徵值;以及一辨識比對單元,其係與該重組單元相偶接,以辨識該重組影像,該辨識比對單元係將每一個特徵影像中之每一個像素分別與該複數個已知樣品影像中每一個像素進行一演算以得到該特徵影像對應該複數個已知樣品影像所分別具有之一相似度值,再彙整關於該特徵影像與該複數個已 知樣品影像比對所產生之複數個相似度值。
  16. 如申請專利範圍第15項所述之影像擷取與辨識系統,其中該影像處理單元更連接有一輸出單元,其係將該複數個相似度值排序輸出可能之複數種辨識比對結果。
  17. 如申請專利範圍第15項所述之影像擷取與辨識系統,其中該重組單元更偶接有一強化單元,以強化該重組影像。
  18. 如申請專利範圍第15項所述之影像擷取與辨識系統,其中該重組單元係將該複數張影像進行正規化以進行重組運算。
TW098114328A 2009-04-30 2009-04-30 重組多張影像與辨識方法以及影像擷取與辨識系統 TWI381321B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW098114328A TWI381321B (zh) 2009-04-30 2009-04-30 重組多張影像與辨識方法以及影像擷取與辨識系統
US12/512,628 US20100278389A1 (en) 2009-04-30 2009-07-30 Method for image recombination of a plurality of images and image identification and system for image acquiring and identification
US14/561,604 US9286533B2 (en) 2009-04-30 2014-12-05 Method for image recombination of a plurality of images and image identification and system for image acquiring and identification

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098114328A TWI381321B (zh) 2009-04-30 2009-04-30 重組多張影像與辨識方法以及影像擷取與辨識系統

Publications (2)

Publication Number Publication Date
TW201039247A TW201039247A (en) 2010-11-01
TWI381321B true TWI381321B (zh) 2013-01-01

Family

ID=43030372

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098114328A TWI381321B (zh) 2009-04-30 2009-04-30 重組多張影像與辨識方法以及影像擷取與辨識系統

Country Status (2)

Country Link
US (2) US20100278389A1 (zh)
TW (1) TWI381321B (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI578305B (zh) * 2011-05-30 2017-04-11 宏達國際電子股份有限公司 影像縮圖之版面產生方法及系統,及其電腦程式產品
US8731244B2 (en) * 2011-07-28 2014-05-20 Xerox Corporation Systems and methods for improving image recognition
TWI462027B (zh) * 2011-12-02 2014-11-21 Hon Hai Prec Ind Co Ltd 圖像處理裝置及圖像處理方法
US9122928B2 (en) 2013-04-11 2015-09-01 International Business Machines Corporation Determining images having unidentifiable license plates
US10733471B1 (en) 2014-06-27 2020-08-04 Blinker, Inc. Method and apparatus for receiving recall information from an image
US10579892B1 (en) 2014-06-27 2020-03-03 Blinker, Inc. Method and apparatus for recovering license plate information from an image
US10540564B2 (en) 2014-06-27 2020-01-21 Blinker, Inc. Method and apparatus for identifying vehicle information from an image
US9600733B1 (en) 2014-06-27 2017-03-21 Blinker, Inc. Method and apparatus for receiving car parts data from an image
US9589202B1 (en) 2014-06-27 2017-03-07 Blinker, Inc. Method and apparatus for receiving an insurance quote from an image
US10867327B1 (en) 2014-06-27 2020-12-15 Blinker, Inc. System and method for electronic processing of vehicle transactions based on image detection of vehicle license plate
US9563814B1 (en) 2014-06-27 2017-02-07 Blinker, Inc. Method and apparatus for recovering a vehicle identification number from an image
US9558419B1 (en) 2014-06-27 2017-01-31 Blinker, Inc. Method and apparatus for receiving a location of a vehicle service center from an image
US9589201B1 (en) 2014-06-27 2017-03-07 Blinker, Inc. Method and apparatus for recovering a vehicle value from an image
US9594971B1 (en) 2014-06-27 2017-03-14 Blinker, Inc. Method and apparatus for receiving listings of similar vehicles from an image
US9892337B1 (en) 2014-06-27 2018-02-13 Blinker, Inc. Method and apparatus for receiving a refinancing offer from an image
US9818154B1 (en) 2014-06-27 2017-11-14 Blinker, Inc. System and method for electronic processing of vehicle transactions based on image detection of vehicle license plate
US9607236B1 (en) 2014-06-27 2017-03-28 Blinker, Inc. Method and apparatus for providing loan verification from an image
US10515285B2 (en) 2014-06-27 2019-12-24 Blinker, Inc. Method and apparatus for blocking information from an image
US9773184B1 (en) 2014-06-27 2017-09-26 Blinker, Inc. Method and apparatus for receiving a broadcast radio service offer from an image
US9754171B1 (en) 2014-06-27 2017-09-05 Blinker, Inc. Method and apparatus for receiving vehicle information from an image and posting the vehicle information to a website
US9760776B1 (en) 2014-06-27 2017-09-12 Blinker, Inc. Method and apparatus for obtaining a vehicle history report from an image
US10572758B1 (en) 2014-06-27 2020-02-25 Blinker, Inc. Method and apparatus for receiving a financing offer from an image
US9779318B1 (en) 2014-06-27 2017-10-03 Blinker, Inc. Method and apparatus for verifying vehicle ownership from an image
CN105093167B (zh) * 2015-04-01 2016-04-13 国家电网公司 室外电能表故障自动检验终端
CN105760884B (zh) * 2016-02-22 2019-09-10 北京小米移动软件有限公司 图片类型的识别方法及装置
CN108694399B (zh) * 2017-04-07 2021-01-26 杭州海康威视数字技术股份有限公司 车牌识别方法、装置及系统
CN107578407A (zh) * 2017-09-08 2018-01-12 桂林加宏汽车修理有限公司 一种自动检测贴片质量的方法及系统
TWI622018B (zh) * 2017-09-13 2018-04-21 緯創資通股份有限公司 影片編輯方法、裝置及系統
CN107680249B (zh) * 2017-09-29 2020-01-14 深圳怡化电脑股份有限公司 古巴纸币面向识别方法及装置
CN110163820A (zh) * 2019-05-07 2019-08-23 平顶山学院 一种医学图像调整方法及数字病理切片浏览系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200509673A (en) * 2003-07-22 2005-03-01 Omnivision Tech Inc CMOS image sensor using high frame rate with frame addition and movement compensation
TW200731144A (en) * 2006-02-10 2007-08-16 Univ Chung Yuan Christian License plate recognition method and system for moving vehicles
TW200915240A (en) * 2007-09-27 2009-04-01 Univ Nat Yunlin Sci & Tech Intelligent vehicle surveillance, video recording and search system

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4817166A (en) * 1986-05-05 1989-03-28 Perceptics Corporation Apparatus for reading a license plate
US5081685A (en) * 1988-11-29 1992-01-14 Westinghouse Electric Corp. Apparatus and method for reading a license plate
US5332968A (en) * 1992-04-21 1994-07-26 University Of South Florida Magnetic resonance imaging color composites
US5425108A (en) * 1992-09-04 1995-06-13 Industrial Technology Research Institute Mobile type of automatic identification system for a car plate
TW226454B (en) 1993-11-02 1994-07-11 Ind Tech Res Inst Pattern recognition method for car plate
US5657362A (en) * 1995-02-24 1997-08-12 Arch Development Corporation Automated method and system for computerized detection of masses and parenchymal distortions in medical images
US5917928A (en) 1997-07-14 1999-06-29 Bes Systems, Inc. System and method for automatically verifying identity of a subject
DE60037360T2 (de) * 1999-05-28 2008-12-04 Nippon Telegraph And Telephone Corp. Verfahren und Vorrichtung zur Geschwindigkeitsmessung von Fahrzeugen mit ein Bildverarbeitungssystem
US6473517B1 (en) * 1999-09-15 2002-10-29 Siemens Corporate Research, Inc. Character segmentation method for vehicle license plate recognition
US6553131B1 (en) * 1999-09-15 2003-04-22 Siemens Corporate Research, Inc. License plate recognition with an intelligent camera
US6985612B2 (en) * 2001-10-05 2006-01-10 Mevis - Centrum Fur Medizinische Diagnosesysteme Und Visualisierung Gmbh Computer system and a method for segmentation of a digital image
TWI286027B (en) 2003-09-10 2007-08-21 Chunghwa Telecom Co Ltd Integrated image-registration multiple lane free flow vehicle law enforcement system
US7676091B2 (en) * 2004-01-07 2010-03-09 Ramot At Tel Aviv University Ltd. Method and apparatus for analysing ultrasound images
JP4396376B2 (ja) * 2004-04-22 2010-01-13 日本電気株式会社 図形読み取り方法及びその装置並びに主要色抽出方法及びその装置
ATE501487T1 (de) * 2004-12-21 2011-03-15 Canon Kk Segmentierung eines digitalen bildes und herstellung einer kompakten repräsentation
US7689038B2 (en) * 2005-01-10 2010-03-30 Cytyc Corporation Method for improved image segmentation
US7613328B2 (en) * 2005-09-09 2009-11-03 Honeywell International Inc. Label detection
US7623683B2 (en) * 2006-04-13 2009-11-24 Hewlett-Packard Development Company, L.P. Combining multiple exposure images to increase dynamic range
TW200802137A (en) 2006-06-16 2008-01-01 Univ Nat Chiao Tung Serial-type license plate recognition system
US20090022403A1 (en) * 2007-07-20 2009-01-22 Fujifilm Corporation Image processing apparatus, image processing method, and computer readable medium
JP2009082463A (ja) * 2007-09-28 2009-04-23 Fujifilm Corp 画像分析装置、画像処理装置、画像分析プログラム、画像処理プログラム、画像分析方法、および画像処理方法
US8441535B2 (en) * 2008-03-05 2013-05-14 Omnivision Technologies, Inc. System and method for independent image sensor parameter control in regions of interest
US8948513B2 (en) * 2009-01-27 2015-02-03 Apple Inc. Blurring based content recognizer

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200509673A (en) * 2003-07-22 2005-03-01 Omnivision Tech Inc CMOS image sensor using high frame rate with frame addition and movement compensation
TW200731144A (en) * 2006-02-10 2007-08-16 Univ Chung Yuan Christian License plate recognition method and system for moving vehicles
TW200915240A (en) * 2007-09-27 2009-04-01 Univ Nat Yunlin Sci & Tech Intelligent vehicle surveillance, video recording and search system

Also Published As

Publication number Publication date
US9286533B2 (en) 2016-03-15
TW201039247A (en) 2010-11-01
US20150086135A1 (en) 2015-03-26
US20100278389A1 (en) 2010-11-04

Similar Documents

Publication Publication Date Title
TWI381321B (zh) 重組多張影像與辨識方法以及影像擷取與辨識系統
TWI384408B (zh) 影像辨識以及輸出方法與其系統
KR101979654B1 (ko) 차량번호 인식 장치 및 그 방법
Raghunandan et al. Riesz fractional based model for enhancing license plate detection and recognition
TWI410879B (zh) 影像辨識與輸出方法以及其系統
CN111401372B (zh) 一种扫描文档图文信息提取与鉴别的方法
US6339651B1 (en) Robust identification code recognition system
CN110008909B (zh) 一种基于ai的实名制业务实时稽核系统
CN102509112A (zh) 车牌识别方法及其识别系统
CN108319958A (zh) 一种基于特征融合匹配的行驶证检测和识别方法
Gilly et al. A survey on license plate recognition systems
KR101794632B1 (ko) 전기차 번호판 로고 패턴 인식 방법
Islam et al. Bangla license plate detection, recognition and authentication with morphological process and template matching
WO2017116226A1 (en) System and method to identify identification plate characters using background estimation binarization
CN110766001B (zh) 基于cnn和rnn的银行卡卡号定位与端到端识别方法
CN110378337B (zh) 金属切削刀具图纸标识信息视觉输入方法及系统
CN101882219A (zh) 图像辨识以及输出方法及其系统
CN108647679B (zh) 一种基于车窗粗定位的车标识别方法
Ghofrani et al. Farsi license plate detection and recognition based on characters features
Satish et al. Edge assisted fast binarization scheme for improved vehicle license plate recognition
CN101882224B (zh) 重组多张图像与辨识方法以及图像撷取与辨识系统
Thaiparnit et al. Tracking vehicles system based on license plate recognition
Chandra et al. An automated system to detect and recognize vehicle license plates of Bangladesh
JP2005250786A (ja) 画像認識方法
Basil et al. Comparative analysis of MSER and DTW for offline signature recognition