TWI772174B

TWI772174B - 竊車行為偵測之影像辨識方法

Info

Publication number: TWI772174B
Application number: TW110133581A
Authority: TW
Inventors: 廖奕雯; 蘇家輝; 楊承斌; 簡光偉; 鄭奷妤; 鄭文娟
Original assignee: 正修學校財團法人正修科技大學
Priority date: 2021-09-09
Filing date: 2021-09-09
Publication date: 2022-07-21
Also published as: TW202312018A

Abstract

一種竊車行為偵測之影像辨識方法，包含：提供一欲辨識串流影像，從該欲辨識串流影像中取得複數待辨識影像圖片，並從該複數待辨識影像圖片中，找出目標物並進行目標分類，其中，各第一目標物均為車輛，各第二目標物均為人；分別給予各目標物一目標物代碼及四組二維座標，其中，該四組二維座標之位置形成一矩形；分別對各該第一目標物與各該第二目標物之矩形進行重疊度計算，並判斷各該第二目標物是否靜止或移動位置是否在一特定區域範圍內，若均符合條件，則啟動各該第二目標物之停留時間計時；及當某一該第二目標物之停留時間達一警示時間閾值時，則判斷為有竊車行為發生。

Description

竊車行為偵測之影像辨識方法

本發明係關於一種影像辨識方法，尤其是一種結合目標物影像分析及目標物位置狀態來判斷是否有竊車情況之竊車行為偵測之影像辨識方法。

目前普遍來說室內或是一般停車場停車位不足的情況下，大多數車主會將車輛停在路邊停車格或是沒有停車格的路邊，因此成為偷車賊的目標。

習知技術中華民國公告第I658728號係一種智慧型影像辨識防竊告警之系統及方法，透過身處公共場合所架設之攝影機，依各攝影機影像辨識蒐集之數據與個人財物特徵值，計算出個人財物是否遭竊取，並結合影像辨識技術與定位技術，透過個人財物的特徵於歷史影像中的辨識結果與定位資訊，分析物品被竊路線與被竊物目前可能。

惟，上述習知技術並未揭露結合目標物影像分析及目標物位置狀態來判斷是否有竊車行為之情況，且上述習知技術主要是用於個人隨身物品的失竊進行判斷，與本案之目的及使用技術手段亦不相同，無法達成本案用於車輛偷竊行為之判斷，因此有必要開發一套針對車輛偷竊與否的影像辨識方法。

本發明之一目的在提供一種竊車行為偵測之影像辨識方法，具有從影像中分析辨識出特定目標物後進行分類，並透過目標物動態狀況來進行竊車行為判斷的功能。

本發明之再一目的在提供一種種竊車行為偵測之影像辨識方法，具有將竊車狀況訊息透過社群媒體傳送給車主及監管單位的功能。

為達成上述及其他目的，本發明之竊車行為偵測之影像辨識方法，包含：提供一欲辨識串流影像，從該欲辨識串流影像中取得複數待辨識影像圖片，並從該複數待辨識影像圖片中進行各預定目標影像標的搜尋及目標影像特徵擷取，然後對各預定目標影像進行相似度歸類運算，其中，各預定目標影像分別為車輛及人；當各該預定目標影像相似度達到一相似度閾值時，則判斷各該預定目標影像卻實為欲偵測之目標物；將各該目標物分類成一第一目標物群組及一第二目標物群組，其中，該第一目標物群組至少有一第一目標物，該第二目標物群組至少有一第二目標物，各該第一目標物均為車輛，各該第二目標物均為人，並分別給予各目標物一目標物代碼及四組二維座標，其中，該四組二維座標之位置形成一矩形，且該矩形範圍涵蓋該目標物整體範圍；分別對各該第一目標物與各該第二目標物間進行重疊度計算，取得各重疊度，其中，

，P為該第一目標物之矩形範圍，Q為該第二目標物之矩形範圍；當某一重疊度I達到一重疊度閾值時，透過從待辨識影像圖片中前一張圖片與下一張圖片的比對，判斷各該第二目標物是否靜止或移動位置是否在一特定區域範圍內，若符合條件，則判斷各該第二目標物為停留狀態且持續判斷是否維持在停留狀態，並啟動各該第二目標物之停留時間計時；及當某一該第二目標物之停留時間達一警示時間閾值時，則判斷為有竊車行為發生。

在本發明的一些實施例中，該相似度閾值為0.7~0.9。

在本發明的一些實施例中，該重疊度閾值為0.6~0.9。

在本發明的一些實施例中，該警示時間閾值為50~120秒。

在本發明的一些實施例中，當某一該第二目標物之停留時間尚未達該警示時間閾值時，且判斷該第二目標物已非處於停留狀態，則取消該次停留時間計時，並將該次停留時間歸零從新計算。

在本發明的一些實施例中，當判斷為有竊車行為發生時，另將一警示訊息透過一社群軟體平台或是遠端監控系統傳送至車主或管理單位之智慧裝置或監控主機，如智慧手機、平板電腦或監控電腦等。

在本發明的一些實施例中，當某一該第二目標物之停留時間尚未達該警示時間閾值但已達一標記時間時，則將該第二目標物進行一可疑標記次數累加，當判斷該第二目標物已非處於停留狀態，則取消該次停留時間計時，但當該第二目標物之可疑標記次數累加至一可疑設定值時，則判斷有竊車行為發生。

在本發明的一些實施例中，另包含一目標物之矩形範圍擴展步驟，假設某一目標物形成之矩形之四組二維座標分別為右上座標RU(XR,YU)、左上座標LU(XL,YU)、左下座標LD(XL,YD)及右下座標RD(XR,YD)，則座標RU~LU之距離為Xd，座標RU~RD之距離為Yd，擴展範圍後之矩形座標為右上座標RUex(XRex,YUex)、左上座標LUex(XLex,YUex)、左下座標LDex(XLex,YDex)及右下座標RDex(XRex,YDex)，其中，XR<XRex

XR+0.3Xd，XL-0.3Xd

XLex<XL，YU<YUex

YU+0.3Yd，YD-0.3Yd

YDex<YD，其中，Xd及Yd為影像圖片中之單位長度。

在本發明的一些實施例中，另包含一警示時間記錄步驟，當各該第二目標物之停留時間計時啟動或當判斷有竊車行為發生時，將自動紀錄當下發生的日期及時間。

在本發明的一些實施例中，自動紀錄當下發生的日期及時間後，將該次停留時間長度的該段影片鎖定或備份。

S0:影像擷取步驟

S1:目標辨識步驟

S2:目標標籤及定位步驟

S3:重疊度分析步驟

S4:停留時間計時步驟

S50:第一竊車行為判斷步驟

S51:第二竊車行為判斷步驟

S6:警示訊息傳送步驟

圖1為本發明之竊車行為偵測之影像辨識方法之一實施例流程圖；圖2為本發明之竊車行為偵測之影像辨識方法之目標標籤及定位示意圖；圖3為本發明之竊車行為偵測之影像辨識方法之重疊度分析示意圖；圖4為本發明之竊車行為偵測之影像辨識方法之另一實施例流程圖；圖5為本發明之竊車行為偵測之影像辨識方法之另一實施例流程圖；圖6為本發明之竊車行為偵測之影像辨識方法之另一實施例之目標物矩形範圍擴展示意圖。

圖1為本發明之竊車行為偵測之影像辨識方法之一實施例流程圖，請參考圖1。本發明之竊車行為偵測之影像辨識方法，包含：一影像擷取步驟(S0)，提供一欲辨識串流影像，從該欲辨識串流影像中取得複數待辨識影像圖片，例如將停車場裡面的攝影機或對準路邊停車格的攝影機中所取的影像進行畫面擷取，並從該複數待辨識影像圖片中進行各預定目標影像標的搜尋及目標影像特徵擷取，然後對各預定目標影像進行相似度歸類運算，其中，各預定目標影像分別為「車輛」及「人」。因為要從該複數待辨識影像圖片找出車輛及人，所以事先進行車輛及人的人工智慧學習取得一學習模型最為辨識依歸，例如使用類神經網路訓練模型，把車輛與人從該複數待辨識影像圖片中透過相似度歸類運算方式分類出來，即計算圖片中之「車輛」是否為「真車輛」的近似程度，圖片中之「人」是否為「真人」的近似程度，在本實施例中，所指「車輛」為汽車，本發明中之「車輛」可為汽車、機車或腳踏車，本發明不加以限制。本發明係透過一影像辨識監控系統執行，包含有攝像裝置、網路設備、監控主機、顯示器及資料庫等。

一目標辨識步驟(S1)，當各該預定目標影像之相似度達到一相似度閾值時，則判斷各該預定目標影像卻實為欲偵測之目標物。在本實施例中該相似度閾值為0.7，即當圖片中之「車輛」或「人」相似度達0.7以上則判斷為真，較佳地，該相似度閾值為0.6~0.9，可以依據狀況調整較佳值。藉此，判斷出人或車。

一目標標籤及定位步驟(S2)，將各該目標物分類成一第一目標物群組及一第二目標物群組，其中，該第一目標物群組至少有一第一目標物，該第二目標物群組至少有一第二目標物，各該第一目標物均為車輛，各該第二目標物均為人，並分別給予各目標物一目標物代碼及四組二維座標，其中，該四組二維座標之位置形成一矩形，從一個二維平面來看，該矩形四端點座標即右上點、左上點、左下點及右下點四個座標，假設該目標物之X軸最大距離為Dx，該目標物之Y軸最大距離為Dy，則該矩形面積為Dx×Dy，且該矩形範圍涵蓋該目標物整體範圍，由各待辨識影像圖片可能包含數台「車輛」或是數個「人」，因此先將「車輛」及「人」分群可以方便給定目標物代碼及定位物標物，以利後續的辨識比對。藉此，以標籤及定位人或車。

圖2為本發明之竊車行為偵測之影像辨識方法之目標標籤及定位示意圖，請參考圖2。例如「車輛」之目標物代碼為C01、C02...，「人」之目標物代碼為H01、H02...，而每一目標物均會透過其四組二維座標標示出其範圍，且該目標物範圍為利用該四組二維座標之位置形成之矩形，用該矩形來代表該目標物，以進行後續「車輛」與「人」之重疊度的分析，作為竊車行為之預先判斷條件，在本實施例中，以Cr1、Cr2、Cr3及Cr4四點座標從右上至右下依序代表某一「車輛」的矩形四端點，以Hu1、Hu2、Hu3及Hu4四點座標從右上至右下依序代表某一「人」的矩形四端點。藉此，配合後續步驟，進行人與車的重疊度計算。

一重疊度分析步驟(S3)，分別對各該第一目標物與各該第二目標物間進行重疊度計算，取得各重疊度，其中，

，P為該第一目標物(車輛)之矩形範圍，即P由(Cr1,Cr2,Cr3,Cr4)組成，Q為該第二目標物(人)之矩形範圍，即Q由(Hu1,Hu2,Hu3,Hu4)組成，P ∪ Q代表聯集，P ∩ Q代表交集。圖3為本發明之竊車行為偵測之影像辨識方法之重疊度分析示意圖，請參考圖3。

假設P之左下點座標為(Px0,Py0)，右上點座標為(Px1,Py1)。

假設Q之左下點座標為(Qx0,Qy0)，右上點座標為(Qx1,Qy1)。

假設H=min(Px1,Qx1)-max(Px0,Qx0)，K=min(Py1,Qy1)-max(Py0,Qy0)。

假設SP=(Py1-Py0)×(Px1-Px0)，SQ=(Qy1-Qy0)×(Qx1-Qx0)。

假設It=H×K，Ui=SP+SQ-It，則

。

一停留時間計時步驟(S4)，當某一重疊度達到一重疊度閾值時，在本實施例中，該重疊度閾值為0.7，即當某一重疊度達到0.7時，透過從待辨識影像圖片中前一張圖片與下一張圖片的比對中去判斷各該第二目標物是否靜止或移動位置是否在一特定區域範圍內，若符合條件，則判斷各該第二目標物為停留狀態且持續判斷是否維持在停留狀態，並啟動各該第二目標物之停留時間計時。較佳地，該重疊度閾值為0.6~0.9，可以依據環境狀況或車輛種類進行適度的調整，以符合實際應用狀況。

最後，一第一竊車行為判斷步驟(S50)，當某一該第二目標物之停留時間達一警示時間閾值時，則判斷為有竊車行為發生。在本實施例中，該警示時間閾值為60秒，較佳地，該警示時間閾值為50~120秒。藉此，可完成竊車行為偵測。

此外，較佳地，當某一該第二目標物之停留時間尚未達該警示時間閾值時，且判斷該第二目標物已非處於停留狀態，則取消該次停留時間計時，並將該次停留時間歸零從新計算，為了避免誤判，當該第二目標物非處於靜止狀態，或位移位置已超出設定範圍，則表示當下該第二目標物(人)可能只是剛好暫時位於某一該第一目標物(車輛)旁，例如該第二目標物之停留時間計算至20秒後即離開。

圖4為本發明之竊車行為偵測之影像辨識方法之另一實施例流程圖，請參考圖4。較佳地，本發明另包含一警示訊息傳送步驟(S6)，當判斷為有竊車行為發生時，另將一警示訊息透過一社群軟體平台或是遠端監控系統傳送至車主或管理單位之智慧裝置或監控主機，如智慧手機、平板電腦或監控電腦等，可以讓車主或監管人員即時收到訊息，可以提早進行預防動作，該警示訊息包含通知文字或竊車行為發生時之影像片段或竊車行為發生時前後所截取之複數照片。

圖5為本發明之竊車行為偵測之影像辨識方法之另一實施例流程圖，請參考圖5，並續參考圖1，較佳地，本發明另包含一第二竊車行為判斷步驟(S51)，當某一該第二目標物之停留時間尚未達該警示時間閾值但已達一標記時間時，則將該第二目標物進行一可疑標記次數累加，當判斷該第二目標物已非處於停留狀態，則取消該次停留時間計時，但當該第二目標物之可疑標記次數累加至一可疑警示值時，則判斷有竊車行為發生，較佳地，該標記時間為25~49秒，該可疑警示值為4~10，在本實施例中，該標記時間為30秒，該可疑警示值為5，舉例來說，當某一該第二目標物之第一次停留時間總時間為35秒，已超過30秒但尚未達到50，因此該第二目標物之可疑標記次數則從0變為1，而該第二目標物之第一次停留時間總時間為40秒，已超過30秒但尚未達到50，因此該第二目標物之可疑標記次數則從1變為2，當其可疑標記次數達到該可疑警示值時則斷竊車行為發生，透過此方式可以利用停留次數來進行竊車行為的判斷。

圖6為本發明之竊車行為偵測之影像辨識方法之另一實施例之目標物矩形範圍擴展示意圖，請參考圖6，並參考圖2。較佳地，本發明之竊車行為偵測之影像辨識方法另包含一目標物之矩形範圍擴展步驟，先進行目標物之矩形範圍擴展後再進行該重疊度分析步驟(S3)，假設某一目標物形成之矩形之四組二維座標分別為右上座標RU(XR,YU)、左上座標LU(XL,YU)、左下座標LD(XL,YD)及右下座標RD(XR,YD)，則座標RU~LU之距離為Xd，座標RU~RD之距離為Yd，擴展範圍後之矩形座標為右上座標RUex(XRex,YUex)、左上座標LUex(XLex,YUex)、左下座標LDex(XLex,YDex)及右下座標RDex(XRex,YDex)，其中，XR<XRex

XR+0.3Xd，XL-0.3Xd

XLex<XL，YU<YUex

YU+0.3Yd，YD-0.3Yd

YDex<YD，其中，Xd及Yd為影像圖片中之單位長度。

為了讓某一目標物之矩形範圍方便進行重疊度計算，所以不管是第一目標物「車輛」或第二目標物「人」的矩形範圍可以適度擴大，比實際在圖片畫面中所佔之比例範圍更大一些，例如將某一該第一目標物(車輛)原本之矩形範圍四個座標點右上座標RU、左上座標LU、左下座標LD及右下座標RD從(45,30)、(15,30)、(15,10)及(45,10)分別各擴展0.1倍，則擴展後分別為(48,32)、(12,32)、(12,8)及(48,8)，如此可以避免某些位置或角度下，「車輛」與「人」之矩形邊界無法重疊，但實際上「車輛」與「人」是緊靠的狀況，而造成沒有發覺到的誤判情況發生。

較佳地，本發明之竊車行為偵測之影像辨識方法另包含一警示時間記錄步驟，當各該第二目標物之停留時間計時啟動或當判斷有竊車行為發生時，將自動紀錄當下發生的日期及時間。由於影像紀錄內容可能紀錄時間較長，若要重頭到尾觀看找尋可疑或是竊車行為的影像片段將非常耗費時間，透過紀錄當下發生可疑或是竊車行為的時間點，可以讓使用者如監控人員或是警察人員可以直接觀看，省去檢視全部影片的時間，或是當監控人員或是警察人員輸入一區間時段，則系統會出現顯示出所有可疑或是竊車行為發生的時間點供使用者直選取要觀看的影片時間點。

較佳地，當自動紀錄當下發生的日期及時間後，將該次停留時間長度的該段影片鎖定或備份，可以作為後續或日後快速觀看比對是否有固定或特定人士經常出現，藉以提高警覺確認是否為竊車集團。

以上所述之實施例僅係為說明本發明之技術思想及特徵，其目的在使熟習此項技藝之人士均能了解本發明之內容並據以實施，當不能以此限定本發明之專利範圍，凡依本發明之精神及說明書內容所作之均等變化或修飾，皆應涵蓋於本發明專利範圍內。