TWI603271B - 自動化電動機車識別與車體瑕疵檢測之方法及其系統 - Google Patents

自動化電動機車識別與車體瑕疵檢測之方法及其系統 Download PDF

Info

Publication number
TWI603271B
TWI603271B TW105133934A TW105133934A TWI603271B TW I603271 B TWI603271 B TW I603271B TW 105133934 A TW105133934 A TW 105133934A TW 105133934 A TW105133934 A TW 105133934A TW I603271 B TWI603271 B TW I603271B
Authority
TW
Taiwan
Prior art keywords
image
license plate
algorithm
original body
region
Prior art date
Application number
TW105133934A
Other languages
English (en)
Other versions
TW201816661A (zh
Inventor
陳敦裕
陳怡均
Original Assignee
元智大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 元智大學 filed Critical 元智大學
Priority to TW105133934A priority Critical patent/TWI603271B/zh
Application granted granted Critical
Publication of TWI603271B publication Critical patent/TWI603271B/zh
Publication of TW201816661A publication Critical patent/TW201816661A/zh

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

自動化電動機車識別與車體瑕疵檢測之方法及其系統
本發明係有關一種自動化電動機車識別與車體瑕疵檢測之方法及其裝置，其提出一套自動化電動機車外部瑕疵檢測模組結合車輛辨識模組，能分辨電動機車身分，並在檢測出瑕疵後，釐清責任歸屬，對該車輛進行求償。
按，隨著人口增長與地球資源的飽與地球造成極大的負擔，而隨著科技的發展，智慧城市是透過創新之科技管理城市基礎設施與透過分析城市基礎設施有效率應用與管理能量資源；智慧城市能增進城市之發展，且限縮之能源能更有效被應用，在智慧城市中，智慧交通(ITS)一直是很被重視的一塊，為了響應全球暖化，綠色交通工具十份被提倡，像是大眾運輸工具、電動機車租賃系統或是電動自行車租賃系統，如YouBike，都非常盛行。
次按，在公共租賃系統中，車體會因為重複性的使用而造成多處損傷，進而導致車輛無法騎乘，造成車體維護成本之提高。在人工檢測系統上通常無法提供固定標準之檢測系統且會因為人為的疏失造成之誤判。
本發明之主要目的，係在提供一種自動化電動機車識別與車體瑕疵檢測之方法，可以透過行動拍攝裝置拍攝當下即時計算拍攝視角是否為最適合自動化瑕疵檢測系統，進而提高使用者在拍攝的效率，也能確保使用 者拍攝出來之影像，待測物不會被遮蔽，並且透過特徵點定位之方法找出瑕疵可能的位置，避免處理整張影像，以利提高效率。也提供透過字元投影計算傾斜角度用以校正傾斜之車牌，並透過支持向量機所學習之字源分類器進行自動化車牌辨識。
為達上述目的，本發明之自動化電動機車識別與車體瑕疵檢測之方法，係包括：a).拍攝一待測影像，該待測影像具有一原始車身部件影像及一車牌影像，並設定一相對應該原始車身部件影像之第一感興趣區域與一相對應該車牌影像之第二感興趣區域；b).使用一特徵提取演算法係轉換該待測影像之原始車身部件影像成一特徵值，該特徵值被一最鄰近搜索演算法所利用，並以該最鄰近搜索演算法係建立在該待測影像之原始車身部件影像與一樣板影像間，而可產生一組獨特之二維碼，並透過各該二維碼之差距係判斷該待測影像之原始車身部件影像與該樣板影像間的相似程度，形成一個影像相似度單元；c).該待測影像之原始車身部件影像上具有複數個定位點，並抓取各該定位點之顏色特徵，形成一個車身部件定位單元；d).該待測影像之車牌影像附近具有複數個車燈，並轉換成一二值化車燈影像，並在該二值化車燈影像找出各該車燈之成對特徵，形成一個成對車燈單元；e).經該影像相似度單元、車身部件定位單元及成對車燈單元組合後，而計算出一最佳化檢視模組，令該第一感興趣區域擷取該原始車身部件影像與該第二感興趣區域擷取該車牌影像；f).提供一車體瑕疵檢驗模組，其使用一特徵瑕疵定位演算法係搜尋該第一感興趣區域所擷取該原始車身部件影像上的瑕疵特徵，並配合一非原始車身部件影像，又其使用一瑕疵檢測演算法係比對該原始車身部件影像與該非原始車身部件影像之差異，而找出該非原始車身部件影像在該原始車身部件影像所未呈現的瑕疵特徵；以及g).提供一車輛身分識別模組，其使用一校正車牌影像演算法、分割字元演算法及辨識字元演算 法係辨識該第二感興趣區域所擷取該車牌影像上的身分。
依據前揭特徵，該最鄰近搜索演算法為KD-ferns演算法；該特徵提取演算法為HOG演算法步驟包括：輸入該原始車身部件影像；轉換該原始車身部件影像為灰階影像；計算該灰階影像之梯度方向；分割該灰階影像為複數格；統計各該格之梯度方向直方圖；組合鄰近格成為區塊，使該區塊內所形成該特徵值為HOG特徵值。
依據前揭特徵，抓取各該定位點之顏色特徵步驟包括：轉換該原始車身部件影像從RGB色彩空間至YCbCr色彩空間；經轉換成該YCbCr色彩空間之原始車身部件影像係縮至預定大小；經縮至該預定大小之原始車身部件影像上的像素點係以預定大小之遮罩進行掃描後，並過濾出部分像素點為複數個區域最大值；該區域最大值係設定距離範圍，並以該區域最大值為中心，且在距離範圍內而向外與其他區域最大值進行比較，若該區域最大值大於該其他區域最大值，則該區域最大值係設定為範圍最大值，反之，若該區域最大值小於該其他區域最大值，則濾除該區域最大值，而選出複數個範圍最大值；各該範圍最大值係配合各該定位點所設定相對位置，可從各該範圍最大值中而找出各該定位點所在位置。
依據前揭特徵，該特徵瑕疵定位演算法為SURF演算法；該瑕疵檢測演算法為一投影轉換演算法。
依據前揭特徵，該校正車牌影像演算法步驟包括：輸入一具有傾斜角度之車牌影像；轉換該車牌影像成一二值化車牌影像；過濾出該二值化車牌影像上所設定複數個獨立區域內的字元；計算各該獨立區域之傾斜角度，而校正該傾斜角度之車牌影像，並計算校正後之各該獨立區域之傾斜角度；若傾斜角度維持在-1~+1之間，則輸出校正後之車牌影像，形成一校正車牌影像；反之，若傾斜角度非在-1~+1之間，則該車牌影像重新產生欲校 正之傾斜角度；重新校正該車牌影像所新產生之傾斜角度。
依據前揭特徵，該分割字元演算法步驟包括：轉換該校正車牌影像成一二值化校正車牌影像，該二值化校正車牌影像上的字元係以預定大小之遮罩進行填補，形成一填補影像；判斷該填補影像上的符號-能否獨立被切割；若符號-能獨立被切割，則移除符號-位置，而將該填補影像係分成兩個部分影像；反之，若符號-不能獨立被切割，則統計該填補影像中點的前後位置之垂直直方圖，並給定閥值，移除低於閥值之像素，並依中點位置，而將該填補影像係分成兩個部分；統計該填補影像之垂直直方圖，並判斷是否有字元1的存在；若是有該字元1的存在，則在該字元1的前後給予適當留白空間進行切割；反之，若是無該字元1的存在，則將該兩個部分影像進行三等分切割，而獨立出不同字元；計算各該字元特徵，又該辨識字元演算法為SVM分類器演算法步驟包括：使用事先學習好之SVM分類器進行各該字元辨識。
依據前揭特徵，該車牌影像係以左視角之拍攝視角傾斜度容忍度為46°~65°之偏擺(yaw)、23°~41°之翻滾(roll)及21°~37°之俯仰(pitch)進行拍攝。
為達上述目的，本發明之自動化電動機車識別與車體瑕疵檢測之系統，係包括：一拍攝模組，其拍攝一待測影像，該待測影像具有一原始車身部件影像及一車牌影像，並設定一相對應該原始車身部件影像之第一感興趣區域與一相對應該車牌影像之第二感興趣區域；一最佳化檢視模組，係由一影像相似度單元、車身部件定位單元及成對車燈單元組合後所計算而成，可令該第一感興趣區域擷取該原始車身部件影像與該第二感興趣區域擷取該車牌影像，且該影像相似度單元係使用一特徵提取演算法係轉換該待測影像之原始車身部件影像成一特徵值，該特徵值被一最鄰近搜索演算法所利 用，並以該最鄰近搜索演算法係建立在該待測影像之原始車身部件影像與一樣板影像間，而可產生一組獨特之二維碼，並透過各該二維碼之差距係判斷該待測影像之原始車身部件影像與該樣板影像間的相似程度，又該車身部件定位單元係在該待測影像之原始車身部件影像上具有複數個定位點，並抓取各該定位點之顏色特徵，再該成對車燈單元係在該待測影像之車牌影像附近具有複數個車燈，並轉換成一二值化車燈影像，並在該二值化車燈影像找出各該車燈之成對特徵；一車體瑕疵檢驗模組，其使用一特徵瑕疵定位演算法係搜尋該第一感興趣區域所擷取該原始車身部件影像上的瑕疵特徵，並配合一非原始車身部件影像，又其使用一瑕疵檢測演算法係比對該原始車身部件影像與該非原始車身部件影像之差異，而找出該非原始車身部件影像在該原始車身部件影像所未呈現的瑕疵特徵；以及一車輛身分識別模組，其使用一校正車牌影像演算法、分割字元演算法及辨識字元演算法係辨識該第二感興趣區域所擷取該車牌影像上的身分。
藉助上揭技術手段，本發明中提出方法可以針對電動機車外部瑕疵之自動化檢測，並針對大傾斜角度之車牌進行自動化車牌辨識。在進行瑕疵檢測之前，系統會在拍攝當下計算即時影像資訊，確保拍攝角度在最佳視角的情況下，該最佳化視角模組包含三部分：影像相似度單元、車身部件定位單元(以定位貼紙作為定位目標)及成對車燈單元。在自動化瑕疵檢測，利用特徵定位法定位出瑕疵之處，並比較使用前後之影像差異來進行瑕疵之判讀。在自動化車牌辨識係以投影為基礎之字元傾斜角度進行校正，而將傾斜之車牌進行轉正，並利用訓練好之字元辨識分類器，而將切割好之字元進行辨識。
S1~S7‧‧‧步驟
S21~S26‧‧‧步驟
S711~S718‧‧‧步驟
S721~S729‧‧‧步驟
A‧‧‧待測影像
B1‧‧‧第一感興趣區域
B2‧‧‧第二感興趣區域
C1‧‧‧原始車身部件影像
C2‧‧‧原始車身部件影像
D‧‧‧車牌影像
D1‧‧‧Cb影像
D2‧‧‧Cr影像
E‧‧‧定位點
F、U‧‧‧遮罩
G‧‧‧區域最大值
H‧‧‧範圍最大值
I‧‧‧車燈
J‧‧‧二值化車燈影像
K‧‧‧SURF特徵點
L‧‧‧黃色小框
N‧‧‧瑕疵特徵
O‧‧‧二值化車牌影像
P‧‧‧獨立區域
Q‧‧‧旋轉影像
R‧‧‧二值化旋轉車牌影像
S‧‧‧切割二值化車牌影像
T‧‧‧校正車牌影像
V‧‧‧填補影像
W‧‧‧二值化校正車牌影像
X‧‧‧樣本影像
Y‧‧‧資料庫
r‧‧‧傾斜角度
θ rotation ‧‧‧旋轉角度
up0‧‧‧上半部投影範圍之中點
down0‧‧‧下半部投影範圍之中點
up1、up2‧‧‧上半部投影範圍
down1、down2‧‧‧下半部投影範圍
10‧‧‧自動化電動機車識別與車體瑕疵檢測之系統
11‧‧‧拍攝模組
12‧‧‧最佳化檢視模組
121‧‧‧影像相似度單元
122‧‧‧車身部件定位單元
123‧‧‧成對車燈單元
13‧‧‧車體瑕疵檢驗模組
14‧‧‧車輛身分識別模組
圖1係本發明之流程圖。
圖2係本發明拍攝之示意圖。
圖3A係本發明KD-fern演算法搜尋之示意圖。
圖3B係本發明HOG描述元之示意圖。
圖4A係本發明原始車身部件影像轉換色彩空間之示意圖。
圖4B係本發明原始車身部件影像縮至預定大小之示意圖。
圖4C係本發明區域最大值定義之示意圖。
圖4D係本發明區域最大值搜尋結果之示意圖。
圖4E係本發明範圍最大值搜尋結果之示意圖。
圖4F係本發明定位點搜尋結果之示意圖。
圖4G係本發明原始車身部件影像檢測結果之示意圖。
圖5A本發明車牌影像於Cr通道與Cr通道之示意圖。
圖5B本發明車牌影像轉換成二值化車燈影像之示意圖。
圖5C本發明成對車燈搜尋之示意圖。
圖6係本發明擷取原始車身部件影像及車牌影像之示意圖。
圖7A係本發明非原始車身部件影像所定位SURF特徵結果之示意圖。
圖7B係本發明對應非原始車身部件影像與原始車身部件影像之示意圖。
圖7C係本發明瑕疵比較步驟之示意圖。
圖7D係本發明瑕疵比較結果之示意圖。
圖8A係本發明校正車牌影像之流程圖。
圖8B係本發明車牌影像與及字元位置之示意圖。
圖8C係本發明旋轉角度及旋轉影像之示意圖。
圖8D係本發明旋轉二值化車牌影像及切割二值化車牌影像之示意圖。
圖8E係本發明字元投影之示意圖。
圖8F係本發明各獨立區域所呈現傾斜角度之示意圖。
圖8G係本發明校正車牌影像之示意圖。
圖9A係本發明車牌辨識之流程圖。
圖9B係本發明填補影像之之示意圖。
圖10係本發明之使用狀態圖。
首先，本發明自動化電動機車識別與車體瑕疵檢測之方法較佳可行實施例之步驟，請參閱圖1之流程圖，並分別配合圖2、圖3A~3B、圖4A~4G、圖5A~5C、圖6、圖7A~7D、圖8A~8G及圖9A~圖9B所示。
步驟S1：拍攝一待測影像(A)，該待測影像(A)具有一原始車身部件影像(C1)及一車牌影像(D)，並設定一相對應該原始車身部件影像(C1)之第一感興趣區域(B1)與一相對應該車牌影像(D)之第二感興趣區域(B2)，配合圖2所示。
步驟S2：使用一特徵提取演算法係轉換該待測影像之原始車身部件影像(C1)成一特徵值，該特徵值被一最鄰近搜索(Nearest Neighbor Search,NNS)演算法所利用，並以該最鄰近搜索演算法係建立在該待測影像(A)之原始車身部件影像(C1)與一樣板影像(X)間，而可產生一組獨特之二維碼，並透過各該二維碼之差距係判斷該待測影像(A)之原始車身部件影像(C1)與該樣板影像(X)間的相似程度，形成一個影像相似度單元121，如圖3A所示，其利用資料庫(Y)儲存複數個樣板影像(X)，且該最鄰近搜索演算法為KD-ferns演算法，用以找出在該資料庫之各該樣板影像(X)，與該原始車身部件影像(C1)最相似，乃為該影像相似度單元121之搜尋相似態樣，而KD-ferns演算法之特性，在於同一層分類底下，所有節點有相同支分割值與分割維，而於每一層分類選擇，亦能使整筆資料產生最大差異之維度，並 從維度中選出在分割後能產生最大熵之數值，且KD-ferns演算法乃參考“Fast multiple-part based object detection using KD-Ferns”文獻，係為先前技術，非本發明之專利標的，容不贅述。該特徵提取演算法為HOG演算法包括：步驟S21：輸入該原始車身部件影像(C1)；步驟S22：轉換該原始車身部件影像(C1)為灰階影像；步驟S23：計算該灰階影像之梯度方向；步驟S24：分割該灰階影像為複數格；步驟S25：統計各該格之梯度方向直方圖；步驟S26：組合鄰近格成為區塊，使該區塊內所形成該特徵值為HOG特徵值，配合圖3B所示，如此一來，形成該區塊中統計之各區方向數值串接成影像的描述元，而該HOG演算法乃參考“Histograms of oriented gradients for human detection”文獻，係為先前技術，非本發明之專利標的，容不贅述。
步驟S3：該待測影像(A)之原始車身部件影像(C1)上具有複數個定位點(E)，並抓取各該定位點(E)之顏色特徵，形成一個車身部件定位單元122；本實施例中，抓取各該定位點(E)之顏色特徵步驟包括：轉換該原始車身部件影像(C1)從RGB色彩空間至YCbCr色彩空間，配合圖4A所示；經轉換成該YCbCr色彩空間之原始車身部件影像(C1)係縮至預定大小，配合圖4B所示；經縮至該預定大小之原始車身部件影像(C1)上的像素點係以預定大小之遮罩(F)進行掃描後，並過濾出部分像素點為複數個區域最大值(G)，配合圖4C~4D所示；該區域最大值(G)係設定距離範圍，並以該區域最大值(G)為中心，且在距離範圍內而向外與其他區域最大值進行比較，若該區域最大值(G)大於該其他區域最大值，則該區域最大值(G)係設定為範圍最大值(H)，反之，若該區域最大值(G)小於該其他區域最大值，則濾除該區域最大值(G)，而選出複數個範圍最大值(H)，配合圖4E所示；各該範圍最大值(H)係配合各該定位點(E)所設定相對位置，可從各該範圍最大值(H)中而找出各該定位點(E)所在位置，配合圖4F所示，最後，如圖4G所示，乃為該 車身部件定位單元122之定位態樣。
步驟S4：該待測影像(A)之車牌影像(D)附近具有複數個車燈(I)，並轉換成一二值化車燈影像(J)，並在該二值化車燈影像(J)找出各該車燈(I)之成對特徵，形成一個成對車燈單元123，本實施例中，以YCbCr色彩空間中的Cb與Cr兩通道產生Cb與Cr影像(D1、D2)，配合圖5A所示，亦透過給予閥值，而產生該二值化車燈影像(J)，亦找出車燈(I)所在位置，配合圖5B所示，接著，以該二值化車燈影像(J)中聯通區域之面積大小進行過濾，最後，如圖5C所示，透過車燈(I)之相對應空間關係，而抓取出車燈(I)位置，乃為該成對車燈單元123之搜尋態樣。
步驟S5：經該影像相似度單元121、車身部件定位單元122及成對車燈單元123組合後，而計算出一最佳化檢視模組12，令該第一感興趣區域(B1)擷取該原始車身部件影像(C1)與該第二感興趣區域(B2)擷取該車牌影像(D)，若符合最佳化視角之條件，則該第一感興趣區域(B1)、第二感興趣區域(B2)係轉換為黃色，配合圖6所示。
步驟S6：提供一車體瑕疵檢驗模組13，其使用一特徵瑕疵定位演算法係搜尋該第一感興趣區域(B1)所擷取該原始車身部件影像(C1)上的瑕疵特徵(N)，本實施例中，該特徵瑕疵定位演算法為SURF演算法，使該原始車身部件影像(C1)以積分影像、海森矩陣、哈爾小波轉換，偵測出SURF特徵點(K)，配合圖7A所示，且該SURF演算法乃參考Speeded-Up Robust Features(SURF),”文獻，係為先前技術，非本發明之專利標的，容不贅述，同時，並配合一非原始車身部件影像(C2)，又其使用一瑕疵檢測演算法係比對該原始車身部件影像(C1)與該非原始車身部件影像(C2)之差異，本實施例中，該瑕疵檢測演算法為一投影轉換(Homography)演算法，並對應出該原始車身部件影像(C1)與該非原始車身部件影像(C2)之相對位置，配合 圖7B所示，進一步，找出該原始車身部件影像(C1)與該非原始車身部件影像(C2)之不同SURF特徵點(K)相對應位置，而將在不同時間點所拍攝之影像造成的視角變化固定成同一視角，令該非原始車身部件影像(C2)轉換成與該原始車身部件影像(C1)相同視角之轉換影像(M)，並以預定大小之黃色小框(L)係框出不同SURF特徵點(K)之周圍進行比較，而找出該非原始車身部件影像(C2)在該原始車身部件影像(C1)所未呈現的瑕疵特徵(N)，配合圖7C所示，且該非原始車身部件影像(C2)之瑕疵特徵(N)，乃利用HOG特徵來對欲比較之範圍內的影像進行描述，而決定該瑕疵特徵(N)有以下兩步驟：(1).比較兩相對應之欲比對範圍區域之差異，並給予閥值，亦決定出第一階段符合瑕疵之候選人，但無法找出非常精準之定位點中心進行轉換矩陣，而產生些許誤差，該誤差易在第一階段導致大量的誤判；(2).統計該比較區域中的方向性，且計算該方向性的差異，給予閥值，從第一階對所給予的候選人中，亦決定該瑕疵特徵(N)，配合圖7D所示，且該投影轉換演算法係為先前技術，非本發明之專利標的，容不贅述。
步驟S7：提供一車輛身分識別模組14，其使用一校正車牌影像演算法、分割字元演算法及辨識字元演算法係辨識該第二感興趣區域(B2)所擷取該車牌影像(D)上的身分，本實施例中，如8A圖所示，該校正車牌影像演算法步驟包括：步驟S711：輸入一具有傾斜角度之車牌影像(D)；步驟S712：轉換該車牌影像(D)成一二值化車牌影像(O)；步驟S713：過濾出該二值化車牌影像(O)上所設定複數個獨立區域(P)內的字元，如此一來，在最佳視角的拍攝視角下，而抓取車燈(I)位置，並從車燈(I)位置向下延伸預定範圍，能找出車牌約略位置，亦得出該車牌影像(D)，再者，將該車牌影像(D)轉換成灰階影像，並給予亮的閥值而產生該二值化車牌影像(O)，接著，依八個方向連結成該獨立區域(P)，計算連結該獨立區域(P)之面積大小 與長寬比，亦得出字元所在位置，配合圖8B所示；步驟S714：計算各該獨立區域(P)之傾斜角度(r)，而校正該傾斜角度之車牌影像(D)，並計算校正後之各該獨立區域(P)之傾斜角度，如此一來，計算第一個字元與最後一個字元間的旋轉角度(θ rotation )，令灰階車牌影像經旋轉角度(θ rotation )形成旋轉影像(Q)，配合圖8C所示，並給予旋轉的閥值，形成一二值化旋轉車牌影像(R)，且以第一個字元決定進行切割，形成一切割二值化車牌影像(S)，配合圖8D所示，接著，尋找在該切割二值化車牌影像(S)中各字元傾斜角度(r)，且一字元被劃分為三部分，如圖8E所示，將上半部與下半部係分別投影在水平軸上，對於沒有傾斜之車牌影像(D)，而上半部投影範圍之中點(up0)與下半部投影範圍之中點(down0)，則位於相同位置上，並分別設定上半部投影範圍(up1、up2)與下半部投影範圍(down1、down2)，若字元為傾斜，則上半部及下半部之投影中點(up0、down0)之投影線傾斜，並透過八方向之聯通區域法找出該切割二值化車牌影像(S)中之獨立區域(P)，並計算各個獨立區域(P)之傾斜角度(r)，配合圖8F所示；步驟S715、S716：若傾斜角度(r)維持在-1~+1之間，選擇傾斜角度(r)中之眾數來當作該切割二值化車牌影像(S)之旋轉角度(θ rotation )，則輸出校正後之車牌影像(D)，形成一校正車牌影像(T)，配合圖8G所示；反之，步驟S715、S717：若傾斜角度(r)非在-1~+1之間，則該車牌影像(D)重新產生欲校正之傾斜角度；步驟S718：重新校正該車牌影像(D)所新產生之傾斜角度。
本實施例中，如圖9A所示，該分割字元演算法步驟包括：步驟S721：轉換該校正車牌影像(T)成一二值化校正車牌影像(W)，該二值化校正車牌影像(W)上的字元係以預定大小之遮罩(U)進行填補，形成一填補影像(V)，並配合圖9B所示；步驟S722：判斷該填補影像(V)上的符號-能否獨立 被切割；步驟S723：若符號-能獨立被切割，則移除符號-位置，而將該填補影像(V)係分成兩個部分影像；反之，步驟S724：若符號-不能獨立被切割，則統計該填補影像(V)中點的前後位置之垂直直方圖，並給定閥值，移除低於閥值之像素，並依中點位置，而將該填補影像(V)係分成兩個部分；步驟S725：統計該填補影像(V)之垂直直方圖，並判斷是否有字元1的存在；步驟S726：若是有該字元1的存在，則在該字元1的前後給予適當留白空間進行切割；反之，步驟S727：若是無該字元1的存在，則將該兩個部分影像進行三等分切割，而獨立出不同字元；步驟S728：計算各該字元特徵，接下來決定字元影像之特徵。經過校正與切割過後的字元影像並沒有固定之形狀，將切割後之字元切割成小區域，並計算各小區域之像素平均值，將各小區域平均值串接後做為該字元之影像特徵。又該辨識字元演算法為SVM分類器演算法步驟包括：步驟S729：使用事先學習好之SVM分類器進行各該字元辨識，該SVM分類器演算法係為先前技術，非本發明之專利標的，容不贅述。此外，該車牌影像(D)係以左視角之拍攝視角傾斜度容忍度為46°~65°之偏擺(yaw)、23°~41°之翻滾(roll)及21°~37°之俯仰(pitch)進行拍攝。
上述自動化電動機車識別與車體瑕疵檢測之方法乃應用於自動化電動機車識別與車體瑕疵檢測之系統10，如圖10所示，其包括：一拍攝模組11，其拍攝一待測影像(A)，該待測影像(A)具有一原始車身部件影像(C1)及一車牌影像(D)，並設定一相對應該原始車身部件影像(C1)之第一感興趣區域(B1)與一相對應該車牌影像(D)之第二感興趣區域(B2)；一最佳化檢視模組12，係由一影像相似度單元121、車身部件定位單元122、及成對車燈單元123組合後所計算而成，可令該第一感興趣區域(B1)擷取該原始車身部件影像(C1)與該第二感興趣區域(B2)擷取該車牌影像(D)；一車體瑕疵檢驗模組13，其使用一特徵瑕疵定位演算法係搜尋該第一感興趣區域所擷取 該原始車身部件影像(C1)上的瑕疵特徵(N)，並配合一非原始車身部件影像(C2)，又其使用一瑕疵檢測演算法係比對該原始車身部件影像(C1)與該非原始車身部件影像(C2)之差異，而找出該非原始車身部件影像(C2)在該原始車身部件影像(C1)所未呈現的瑕疵特徵(N)；以及一車輛身分識別模組14，其使用一校正車牌影像演算法、分割字元演算法及辨識字元演算法係辨識該第二感興趣區域(B2)所擷取該車牌影像(D)上的身分。
是以，該自動化電動機車識別與車體瑕疵檢測之系統10實作至租賃電動機車之損害賠償責任，當使用者在使用之前先進行取像，如未使用(使用前)之定義為：使用者剛完成租借手續，尚未使用，即拍照存證，而該自動化電動機車識別與車體瑕疵檢測之系統10會在使用者取像時即時計算最佳化視角，等待使用者拍攝完成後進行車牌辨識，待使用者確認後，根據車牌辨識結果進行歸檔，完成租借手續，以利與使用者歸還時的再取之影像作比對；使用者要歸還時需要進行第二次取像，如使用過(使用後)之定義為：使用者欲將租借物進行歸還，此時由該自動化電動機車識別與車體瑕疵檢測之系統10透過未使用時所拍攝之影像來進行瑕疵檢測，該自動化電動機車識別與車體瑕疵檢測之系統10一樣會再拍攝當下即時計算最佳化視角，等待取向完成進行車牌辨識，待使用者確認後，則根據車牌辨識結果至資料庫中讀進相對應之租借前所拍攝之影像(也就是第一部分所歸檔之影像)，再進行後續之自動化瑕疵檢測，完成歸還手續。
基於如此之構成，本發明之主要貢獻如下：(1)即時性最佳視角判讀；(2)高效能之特徵定位自動化瑕疵檢測；(3)基於字元投影之傾斜車牌校正暨自動化車牌辨識系統。為了維護基礎騎乘功能，自動化瑕疵檢測系統是非常重要的，自動化瑕疵檢測系統不只能顯著的降低車體維護成本，也能減少人為判讀之錯誤。
綜上所述，本發明所揭示之構造，為昔所無，且確能達到功效之增進，並具可供產業利用性，完全符合發明專利要件，祈請 鈞局核賜專利，以勵創新，無任德感。
惟，上述所揭露之圖式、說明，僅為本發明之較佳實施例，大凡熟悉此項技藝人士，依本案精神範疇所作之修飾或等效變化，仍應包括在本案申請專利範圍內。
S1~S7‧‧‧步驟

Claims (10)

  1. 一種自動化電動機車識別與車體瑕疵檢測之方法，係包含：a).拍攝一待測影像，該待測影像具有一原始車身部件影像及一車牌影像，並設定一相對應該原始車身部件影像之第一感興趣區域與一相對應該車牌影像之第二感興趣區域，該第一感興趣區域與該第二感興趣區係呈現一第一顏色；b).使用一特徵提取演算法係轉換該待測影像之原始車身部件影像成一特徵值，該特徵值被一最鄰近搜索演算法所利用，並以該最鄰近搜索演算法係建立在該待測影像之原始車身部件影像與一樣板影像間，而可產生一組獨特之二維碼，並透過各該二維碼之差距係判斷該待測影像之原始車身部件影像與該樣板影像間的相似程度，形成一個影像相似度單元；c).該待測影像之原始車身部件影像上具有複數個定位點，並抓取各該定位點之顏色特徵，形成一個車身部件定位單元；d).該待測影像之車牌影像附近具有複數個車燈，並轉換成一二值化車燈影像，並在該二值化車燈影像找出各該車燈之成對特徵，形成一個成對車燈單元；e).經該影像相似度單元、車身部件定位單元及成對車燈單元組合後，而計算出一最佳化檢視模組，形成該第一感興趣區域與該第二感興趣區域係由該第一顏色轉換成一第二顏色，令該第一感興趣區域擷取該原始車身部件影像與該第二感興趣區域擷取該車牌影像；f).提供一車體瑕疵檢驗模組，其使用一特徵瑕疵定位演算法係搜尋該第一感興趣區域所擷取該原始車身部件影像上的瑕疵特徵，並配合一非原始車身部件影像，又其使用一瑕疵檢測演算法係比對該原始車身部件影像與該非原始車身部件影像之差異，而找出該非原始車身部件影像在該原始車 身部件影像所未呈現的瑕疵特徵；以及g).提供一車輛身分識別模組，其使用一校正車牌影像演算法、分割字元演算法及辨識字元演算法係辨識該第二感興趣區域所擷取該車牌影像上的身分。
  2. 如申請專利範圍第1項所述之自動化電動機車識別與車體瑕疵檢測之方法，其中，該最鄰近搜索演算法為KD-ferns演算法；該特徵提取演算法為HOG演算法步驟包括：輸入該原始車身部件影像；轉換該原始車身部件影像為灰階影像；計算該灰階影像之梯度方向；分割該灰階影像為複數格；統計各該格之梯度方向直方圖；組合鄰近格成為區塊，使該區塊內所形成該特徵值為HOG特徵值。
  3. 如申請專利範圍第2項所述之自動化電動機車識別與車體瑕疵檢測之方法，其中，抓取各該定位點之顏色特徵步驟包括：轉換該原始車身部件影像從RGB色彩空間至YCbCr色彩空間；經轉換成該YCbCr色彩空間之原始車身部件影像係縮至預定大小；經縮至該預定大小之原始車身部件影像上的像素點係以預定大小之遮罩進行掃描後，並過濾出部分像素點為複數個區域最大值；該區域最大值係設定距離範圍，並以該區域最大值為中心，且在距離範圍內而向外與其他區域最大值進行比較，若該區域最大值大於該其他區域最大值，則該區域最大值係設定為範圍最大值，反之，若該區域最大值小於該其他區域最大值，則濾除該區域最大值，而選出複數個範圍最大值；各該範圍最大值係配合各該定位點所設定相對位置，可從各該範圍最大值中而找出各該定位點所在位置。
  4. 如申請專利範圍第3項所述之自動化電動機車識別與車體瑕疵檢測之方法，其中，該特徵瑕疵定位演算法為SURF演算法；該瑕疵檢測演算法為一投影轉換演算法。
  5. 如申請專利範圍第1至4項任一項所述之自動化電動機車識別與車體瑕疵檢測之方法，其中，該校正車牌影像演算法步驟包括：輸入一具有傾斜角度之車牌影像；轉換該車牌影像成一二值化車牌影像；過濾出該二值化車牌影像上所設定複數個獨立區域內的字元；計算各該獨立區域之傾斜角度，而校正該傾斜角度之車牌影像，並計算校正後之各該獨立區域之傾斜角度；若傾斜角度維持在-1~+1之間，則輸出校正後之車牌影像，形成一校正車牌影像；反之，若傾斜角度非在-1~+1之間，則該車牌影像重新產生欲校正之傾斜角度；重新校正該車牌影像所新產生之傾斜角度。
  6. 如申請專利範圍第5項所述之自動化電動機車識別與車體瑕疵檢測之方法，其中，該分割字元演算法步驟包括：轉換該校正車牌影像成一二值化校正車牌影像，該二值化校正車牌影像上的字元係以預定大小之遮罩進行填補，形成一填補影像；判斷該填補影像上的符號-能否獨立被切割；若符號-能獨立被切割，則移除符號-位置，而將該填補影像係分成兩個部分影像；反之，若符號-不能獨立被切割，則統計該填補影像中點的前後位置之垂直直方圖，並給定閥值，移除低於閥值之像素，並依中點位置，而將該填補影像係分成兩個部分；統計該填補影像之垂直直方圖，並判斷是否有字元1的存在；若是有該字元1的存在，則在該字元1的前後給予適當留白空間進行切割；反之，若是無該字元1的存在，則將該兩個部分影像進行三等分切割，而獨立出不同字元；計算各該字元特徵，又該辨識字元演算法為SVM分類器演算法步驟包括：使用事先學習好之SVM分類器進行各該字元辨識。
  7. 如申請專利範圍第6項所述之自動化電動機車識別與車體瑕疵 檢測之方法，其中，該車牌影像係以左視角之拍攝視角傾斜度容忍度為46°~65°之偏擺(yaw)、23°~41°之翻滾(roll)及21°~37°之俯仰(pitch)進行拍攝。
  8. 一種自動化電動機車識別與車體瑕疵檢測之系統，係包括：一拍攝模組，其拍攝一待測影像，該待測影像具有一原始車身部件影像及一車牌影像，並設定一相對應該原始車身部件影像之第一感興趣區域與一相對應該車牌影像之第二感興趣區域，該第一感興趣區域與該第二感興趣區係呈現一第一顏色；一最佳化檢視模組，係由一影像相似度單元、車身部件定位單元及成對車燈單元組合後所計算而成，形成該第一感興趣區域與該第二感興趣區域係由該第一顏色轉換成一第二顏色，可令該第一感興趣區域擷取該原始車身部件影像與該第二感興趣區域擷取該車牌影像，且該影像相似度單元係使用一特徵提取演算法係轉換該待測影像之原始車身部件影像成一特徵值，該特徵值被一最鄰近搜索演算法所利用，並以該最鄰近搜索演算法係建立在該待測影像之原始車身部件影像與一樣板影像間，而可產生一組獨特之二維碼，並透過各該二維碼之差距係判斷該待測影像之原始車身部件影像與該樣板影像間的相似程度，又該車身部件定位單元係在該待測影像之原始車身部件影像上具有複數個定位點，並抓取各該定位點之顏色特徵，再該成對車燈單元係在該待測影像之車牌影像附近具有複數個車燈，並轉換成一二值化車燈影像，並在該二值化車燈影像找出各該車燈之成對特徵；一車體瑕疵檢驗模組，其使用一特徵瑕疵定位演算法係搜尋該第一感興趣區域所擷取該原始車身部件影像上的瑕疵特徵，並配合一非原始車身部件影像，又其使用一瑕疵檢測演算法係比對該原始車身部件影像與該非 原始車身部件影像之差異，而找出該非原始車身部件影像在該原始車身部件影像所未呈現的瑕疵特徵；以及一車輛身分識別模組，其使用一校正車牌影像演算法、分割字元演算法及辨識字元演算法係辨識該第二感興趣區域所擷取該車牌影像上的身分。
  9. 如申請專利範圍第8項所述之種自動化電動機車識別與車體瑕疵檢測之系統，其中，該最鄰近搜索演算法為KD-ferns演算法；該特徵提取演算法為HOG演算法步驟包括：輸入該原始車身部件影像；轉換該原始車身部件影像為灰階影像；計算該灰階影像之梯度方向；分割該灰階影像為複數格；統計各該格之梯度方向直方圖；組合鄰近格成為區塊，使該區塊內所形成該特徵值為HOG特徵值，又抓取各該定位點之顏色特徵步驟包括：轉換該原始車身部件影像從RGB色彩空間至YCbCr色彩空間；經轉換成該YCbCr色彩空間之原始車身部件影像係縮至預定大小；經縮至該預定大小之原始車身部件影像上的像素點係以預定大小之遮罩進行掃描後，並過濾出部分像素點為複數個區域最大值；該區域最大值係設定距離範圍，並以該區域最大值為中心，且在距離範圍內而向外與其他區域最大值進行比較，若該區域最大值大於該其他區域最大值，則該區域最大值係設定為範圍最大值，反之，若該區域最大值小於該其他區域最大值，則濾除該區域最大值，而選出複數個範圍最大值；各該範圍最大值係配合各該定位點所設定相對位置，可從各該範圍最大值中而找出各該定位點所在位置，再該特徵瑕疵定位演算法為SURF演算法；該瑕疵檢測演算法為一投影轉換演算法。
  10. 如申請專利範圍第9項所述之自動化電動機車識別與車體瑕疵檢測之系統，其中，該校正車牌影像演算法步驟包括：輸入一具有傾 斜角度之車牌影像；轉換該車牌影像成一二值化車牌影像；過濾出該二值化車牌影像上所設定複數個獨立區域內的字元；計算各該獨立區域之傾斜角度，而校正該傾斜角度之車牌影像，並計算校正後之各該獨立區域之傾斜角度；若傾斜角度維持在-1~+1之間，則輸出校正後之車牌影像，形成一校正影像；反之，若傾斜角度非在-1~+1之間，則該車牌影像重新產生欲校正之傾斜角度；重新校正該車牌影像所新產生之傾斜角度，又該分割字元演算法步驟包括：轉換該校正車牌影像成一二值化校正車牌影像，該二值化校正車牌影像上的字元係以預定大小之遮罩進行填補，形成一填補影像；判斷該填補影像上的符號-能否獨立被切割；若符號-能獨立被切割，則移除符號-位置，而將該填補影像係分成兩個部分影像；反之，若符號-不能獨立被切割，則統計該填補影像中點的前後位置之垂直直方圖，並給定閥值，移除低於閥值之像素，並依中點位置，而將該填補影像係分成兩個部分；統計該填補影像之垂直直方圖，並判斷是否有字元1的存在；若是有該字元1的存在，則在該字元1的前後給予適當留白空間進行切割；反之，若是無該字元1的存在，則將該兩個部分影像進行三等分切割，而獨立出不同字元；計算各該字元特徵，又一該辨識字元演算法為SVM分類器演算法步驟包括：使用事先學習好之SVM分類器進行各該字元辨識，再該車牌影像係以左視角之拍攝視角傾斜度容忍度為46°~65°之偏擺(yaw)、23°~41°之翻滾(roll)及21°~37°之俯仰(pitch)進行拍攝。
TW105133934A 2016-10-20 2016-10-20 自動化電動機車識別與車體瑕疵檢測之方法及其系統 TWI603271B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW105133934A TWI603271B (zh) 2016-10-20 2016-10-20 自動化電動機車識別與車體瑕疵檢測之方法及其系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105133934A TWI603271B (zh) 2016-10-20 2016-10-20 自動化電動機車識別與車體瑕疵檢測之方法及其系統

Publications (2)

Publication Number Publication Date
TWI603271B true TWI603271B (zh) 2017-10-21
TW201816661A TW201816661A (zh) 2018-05-01

Family

ID=61011029

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105133934A TWI603271B (zh) 2016-10-20 2016-10-20 自動化電動機車識別與車體瑕疵檢測之方法及其系統

Country Status (1)

Country Link
TW (1) TWI603271B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639645A (zh) * 2020-06-03 2020-09-08 北京首汽智行科技有限公司 一种车牌号识别方法
TWI710967B (zh) * 2018-08-31 2020-11-21 開曼群島商創新先進技術有限公司 用於輔助車輛定損影像拍攝的方法、裝置及設備

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI697425B (zh) * 2019-02-26 2020-07-01 國立臺灣科技大學 車體修復系統及其方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201123097A (en) * 2009-12-23 2011-07-01 Gorilla Technology Inc Automatic traffic violation detection system and method of the same
US20130088578A1 (en) * 2011-10-06 2013-04-11 Yuhko UMEZAWA Image processing apparatus and vehicle
CN103903005A (zh) * 2012-12-25 2014-07-02 财团法人交大思源基金会 车牌影像辨识系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201123097A (en) * 2009-12-23 2011-07-01 Gorilla Technology Inc Automatic traffic violation detection system and method of the same
US20130088578A1 (en) * 2011-10-06 2013-04-11 Yuhko UMEZAWA Image processing apparatus and vehicle
CN103903005A (zh) * 2012-12-25 2014-07-02 财团法人交大思源基金会 车牌影像辨识系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI710967B (zh) * 2018-08-31 2020-11-21 開曼群島商創新先進技術有限公司 用於輔助車輛定損影像拍攝的方法、裝置及設備
CN111639645A (zh) * 2020-06-03 2020-09-08 北京首汽智行科技有限公司 一种车牌号识别方法

Also Published As

Publication number Publication date
TW201816661A (zh) 2018-05-01

Similar Documents

Publication Publication Date Title
CN107203990B (zh) 一种基于模板匹配与图像质量评估的标贴破损检测方法
TWI381321B (zh) 重組多張影像與辨識方法以及影像擷取與辨識系統
CN105488492B (zh) 一种彩色图像预处理方法、道路识别方法及相关装置
CN112686812B (zh) 银行卡倾斜矫正检测方法、装置、可读存储介质和终端
TWI603271B (zh) 自動化電動機車識別與車體瑕疵檢測之方法及其系統
Mishra et al. Segmenting “simple” objects using RGB-D
Hu et al. A multi-modal system for road detection and segmentation
KR101182173B1 (ko) 차량 번호판 인식 방법 및 시스템
WO2012017650A1 (ja) 物体検出装置、物体検出方法及びプログラム
EP4128027A1 (en) Arrangements for digital marking and reading of items, useful in recycling
WO2008065729A1 (fr) Système et procédé de détection d'objet
JP7024736B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN113269267B (zh) 目标检测模型的训练方法、目标检测方法和装置
CN109146859A (zh) 一种基于机器视觉的路面裂缝检测系统
JP5423764B2 (ja) 移動体検出装置、コンピュータプログラム及び移動体検出方法
US20230030689A1 (en) Systems and methods for quantifying light flares in images
Barrera et al. Birdnet+: two-stage 3d object detection in lidar through a sparsity-invariant bird’s eye view
JP5691834B2 (ja) 画像識別装置及びプログラム
CN110516527B (zh) 一种基于实例分割的视觉slam回环检测改进方法
CN114898153A (zh) 一种结合分类和检测的两阶段表面缺陷识别方法
CN104766043A (zh) 一种选票图像快速识别的方法
Yang et al. Vehicle detection from low quality aerial LIDAR data
WO2022021687A1 (zh) 快速响应码区域定位方法、电子设备及存储介质
CN112766046A (zh) 一种目标检测方法及相关装置
JP4784932B2 (ja) 車両判別装置及びそのプログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees