TWI804748B - 利用ｐｔｚ攝影機偵測違停車牌的方法 - Google Patents

Abstract

本發明揭露一種利用平移傾斜變焦(pan-tilt-zoom，PTZ)攝影機偵測違停車牌的方法，主要利用AI物件偵測技術及PTZ攝影機的可調控功能，以分段式的方法來偵測辨識紅線違停車輛的車牌，包括設定違停區域與違停判定秒數，以在車輛停留於該違停區域內持續超過該違停判定秒數時，判定該車輛違停並進一步擷取車牌號碼，透過上述方法，可達成以一部PTZ攝影機架設，做遠處大範圍多車輛車牌的紅線違停偵測辨識，直接對該違停車輛做自動偵測開罰，以提高其效率。

Description

利用PTZ攝影機偵測違停車牌的方法

本發明係關於一種人工智慧(AI)物件偵測技術，特別是指一種利用PTZ攝影機偵測違停車牌的方法。

過去警方對紅線違停車輛的開罰，總要有配合警力巡邏做違停車輛錄影存證開罰，但對有駕駛人在車上的紅線違停車輛，頂多在有充足警力時，可在特定時段前往站崗，做勸導或驅趕，除大量浪費警力外，在缺乏警力時，則對紅線違停車輛無可耐何。

在有人工智慧(AI)技術的現今，可以利用AI物件偵測技術在影像中劃定區域，偵測車輛位置是否有在該區域超過違停的時間，而啟動廣播告警驅趕違停車輛，或錄影後再由人工開單舉發，此方式雖可節省警力前往處置，但仍需使用人力觀看錄影開單，如此不僅無法降低人力成本，也進而導致執行效率低落。

因此，為能全自動的完成紅線違停車輛的偵測以及該車輛車牌自動偵測及辨識，若能找出一種人工智慧物件偵測技術，完全免除警力前往 處置及觀看錄影開單的人力，此將成為本技術領域人員急欲追求解決方案之目標。

本發明之目的即在於提供一種人工智慧物件偵測技術，主要是透過平移傾斜變焦(pan-tilt-zoom，PTZ)攝影機特性來執行科技執法，亦即利用PTZ攝影機以對紅線違停車牌進行偵測與辨識。

為達到上述目的與其他目的，本發明提出一種利用PTZ攝影機偵測違停車牌的方法，包括下列步驟：調整PTZ攝影機之視野影像並記錄該PTZ攝影機之初始狀態；由該PTZ攝影機之擷取影像中框定出違停區域以及設定違停判定秒數；判斷車輛停留於該違停區域內持續超過該違停判定秒數時，判定該車輛違停；框出該車輛之車牌所在位置及大小；調整該PTZ攝影機指向該車牌之中心以放大擷取該車牌之車牌影像；以及辨識該車牌影像之車牌號碼。

於上述方法中，復包括將所辨識出之該車牌號碼、標示該車輛之違停時間之存證影像以及對應該違停區域之偵測區域代碼的資料傳送至雲端伺服器。

於上述方法中，復包括於傳送該資料至該雲端伺服器後，令該PTZ攝影機自動回復到該初始狀態。

於上述方法中，該框定出違停區域之步驟復包括設定對應該違停區域之偵測區域代碼。

於上述方法中，於該判斷車輛停留於該違停區域內持續超過該違停判定秒數之前，復包括框出該違停區域內之該車輛，以記錄所偵測到之該車輛之框選大小及位置。另外，復包括記錄該違停區域內該車輛最先被偵測到之時間並持續記錄該車輛仍有被偵測到之時間，藉此判斷是否持續超過該違停判定秒數。

於上述方法中，該判定該車輛違停之步驟復包括標示該車輛之違停時間於存證影像中以作存證。

於上述方法中，該框定出違停區域之步驟係包括由該PTZ攝影機拍攝取得紅線路邊影像，以於該紅線路邊影像中框定出該違停區域。另外，該違停區域係透過滑鼠圖形介面軟體於該紅線路邊影像中所框定出者。

於上述方法中，該調整PTZ攝影機之視野影像之步驟係指調整該PTZ攝影機之視野影像以含蓋欲偵測之該違停區域。

綜上可知，本發明提出之利用PTZ攝影機偵測違停車牌的方法，先將PTZ攝影機調整視野，使其包含整個欲偵測違停的紅線旁區域，再適當設定沿紅線旁的區域為偵測區域，接著偵測是否有車輛出現在設定的偵測區域內，當有車輛持續出現在偵測區域內固定位置且超過設定之違停判定秒數，即可控制PTZ攝影機移向車牌中心，再對車牌影像作放大與擷取，並對放大的車牌影像作車牌辨識，最後，將車牌號碼、車輛違停取證影像及違停位置等資訊，交付雲端伺服器，因此，本發明之方法透過PTZ攝影機和影像偵測與辨識技術，解決過去紅線違停車輛的取締及嚇阻需大量警力執行的問題，且本發明能完全免除警力前往處置及觀看錄影開單的人力，故能提升違停車輛的處理效率。

S11~S16:步驟

201~212:流程

請參閱有關本發明之詳細說明及其附圖，將可進一步瞭解本發明之技術內容，相關附圖說明如下。

圖1係本發明之利用PTZ攝影機偵測違停車牌的方法的步驟圖。

圖2係本發明所述之方法於一應用實施例的流程圖。

以下藉由特定的具體實施形態說明本發明之技術內容，熟悉此技藝之人士可由本說明書所揭示之內容輕易地瞭解本發明之優點與功效。然本發明亦可藉由其他不同的具體實施形態加以施行或應用。

圖1為本發明之利用PTZ攝影機偵測違停車牌的方法的步驟圖。如圖所示，於步驟S11，調整PTZ攝影機之視野影像並記錄該PTZ攝影機之初始狀態。本步驟係說明先調整PTZ攝影機之視野影像，使能拍攝到偵測區域全景，且透過焦距調整使影像清晰，此時PTZ攝影機的設定狀態會被記錄下來，待後續PTZ攝影機為了影像擷取而作位移、傾斜或對焦等動作後，可回復到初始狀態，以便繼續監控要偵測之區域。

於一實施例中，調整PTZ攝影機之視野影像之步驟係指調整該PTZ攝影機之視野影像以含蓋欲偵測之該違停區域，也就是令PTZ攝影機之視野影像必需含蓋要監測的範圍。

於步驟S12，由該PTZ攝影機之擷取影像中框定出違停區域以及設定違停判定秒數。本步驟係說明在PTZ攝影機調整後的初始狀態下擷取影像，接著由所擷取之影像中框定出違停區域，換言之，本步驟即劃定出影像中那 些區域屬於違停區域，例如道路兩側的紅線邊，另外，本步驟還包括設定違停判定秒數，也就是車輛在違停位置待超過一定秒數後，才會判斷該車輛屬於違停。

於一實施例中，前述設定違停區域之步驟，復包括設定對應該違停區域之偵測區域代碼，簡言之，在框定出每一個違停區域時，可順便給予給一個違停區域一個偵測區域代碼，如此在有車輛違停時，方便記錄下該車輛所在之違停位置為何，因而前述除了違停判定秒數之設定外，在框定出每一個違停區域時，可同時設定給予對應之偵測區域代碼。

於另一實施例中，前述設定違停區域之步驟，係包括由該PTZ攝影機拍攝取得紅線路邊影像，以於該紅線路邊影像中框定出該違停區域。也就是說，由PTZ攝影機所拍攝之紅線路邊影像中，劃定出紅線所在位置，以便於紅線路邊影像中框定出違停區域的範圍。具體實施時，可透過滑鼠圖形介面軟體以於該紅線路邊影像中進行該違停區域之框定。

於步驟S13，判斷車輛停留於該違停區域內持續超過該違停判定秒數時，判定該車輛違停。本步驟係說明當車輛停留於該違停區域內且持續超過所設定之違停判定秒數時，判定該車輛違停，具體來說，車輛可能移動靠近紅線側但未違停，因而本發明是於該車輛在違停區域內持續超過違停判定秒數之情況下，才判定該車輛為違停。

於一實施例中，在判斷車輛停留於該違停區域內是否持續超過該違停判定秒數之前，復包括框出該違停區域內之該車輛，以記錄所偵測到之該車輛之框選大小及位置。簡單來說，要決定車輛是否違停之前，要先確定該違停區域內是否出現車輛，若有，則記錄所偵測到之車輛的框選大小及位置，也就是該車輛在整個影像中的位置與大小，如此才方便作後續持續監測。

另外，除了前述先確認車輛在整個影像中的位置與大小之外，本步驟還包括記錄該違停區域內該車輛最先被偵測到之時間並持續記錄該車輛仍有被偵測到之時間，藉此判斷是否持續超過該違停判定秒數，也就是記錄該車輛最先被偵測到之時間以及後續持續待在該違停區域的時間，如此才能判斷該車輛是否停留超過違停判定秒數。

於另一實施例中，復包括於判定該車輛違停時，標示該車輛之違停時間於存證影像中以作存證，也就是於影像中標示該車輛違停的記錄，以作為後續查核使用。

於步驟S14，框出該車輛之車牌所在位置及大小。本步驟係說明確定車輛是違停情況下，進一步要取得該車輛資訊，此時，可由PTZ攝影機之擷取影像中，框出該車輛之車牌所在位置及大小，也就是由整個影像中，確定車輛之車牌位置以及大小，以利後續擷取車牌號。於一實施例中，可透過物件偵測技術，來偵測出紅線違停區域之車輛其車牌位置及大小。

於步驟S15，調整該PTZ攝影機指向該車牌之中心以放大擷取該車牌之車牌影像。本步驟係說明調整PTZ攝影機來擷取影像，亦即令PTZ攝影機指向該車牌之中心位置，接著進行影像放大以擷取該車牌之車牌影像。

於步驟S16，辨識該車牌影像之車牌號碼。本步驟係說明依據擷取的影像來辨識車牌號碼，於一實施例中，可透過車牌辨識技術來完成本步驟。

於一實施例中，在步驟S16之後，復包括將所辨識出之該車牌號碼、標示該車輛之違停時間之存證影像以及對應該違停區域之偵測區域代碼等資料傳送至雲端之開設罰單伺服器。上述即是將違停車輛的相關資料回傳到雲端之開設罰單伺服器，而相關資料可包括但不限於所辨識出之車牌號碼、標 示有車輛之違停時間之存證影像以及對應該違停區域之偵測區域代碼，以利雲端之開設罰單伺服透過上述資料進行車輛違停之罰單開立。

另外，在將違停車輛的相關資料回傳到雲端之開設罰單伺服器之後，復包括令該PTZ攝影機自動回復到初始狀態，如前所述，PTZ攝影機為了擷取較清楚的影像，可能會有位移、傾斜或對焦等動作，因而在PTZ攝影機擷取完影像且將影像回送後，可設定令PTZ攝影機自動回復到初始狀態，也就是步驟S11所設定之經調整後的初始狀態，使PTZ攝影機能繼續執行監控。

於前述方法中，可同時監控範圍內的多個違停事件，也就是說，步驟S11仍是調整PTZ攝影機之視野影像，接著步驟S12則框定出擷取影像中的違停區域，此時可劃定多個違停區域，而於步驟S13，可針對不同違停區域分別進行監測，以判斷該些違停區域內是否有車輛違停，此時，在有車輛違停下，選擇一個違停區域來執行步驟S14到步驟S16等程序，接著，再針對其他違停區域，同樣執行步驟S14到步驟S16等程序，藉此逐一監測出各個違停區域的違停情況。

綜上可知，本發明利用PTZ攝影機以執行紅線違停車牌偵測辨識，其中包含利用AI車輛物件偵測技術以及AI車牌物件偵測技術，其中，AI車輛物件偵測技術可以AI車輛物件偵測模組來實現，AI車牌物件偵測技術可以AI車牌物件偵測模組來實現，AI車輛物件偵測模組和AI車牌物件偵測模組可以軟體或韌體方式呈現，可運行於具有處理器和記憶體的電腦設備或伺服器中，該電腦設備或伺服器與PTZ攝影機連結，並接收來自PTZ攝影機所擷取之影像，經由AI車輛物件偵測模組，偵測出紅線違停區域之各車輛位置及大小，接著，再以AI車牌物件偵測模組一一框出各車輛之車牌位置及大小，以自動控制PTZ 攝影機一一指向到各車輛所在位置做放大，再一一對各車輛的車牌做偵測辨識，而達成本發明所述以一部PTZ攝影機架設，執行遠處大範圍多車輛車牌的紅線違停偵測辨識，最後將相關違停資訊回傳至開設罰單伺服器，以進一步自動完成罰單開設。

圖2說明本發明於一應用實施例的流程圖。

於流程201中，架設PTZ攝影機並儲存初始設定參數。本流程係調整PTZ攝影機的視野影像能適當的含蓋欲偵測的紅線違停區域，並使PTZ攝影機有好的焦距而能有清晰的影像，並儲存此初始設定參數，供爾後可自動依此參數回復此最佳的調整狀態。

於流程202中，取得紅線路邊影像。在前述最佳架設PTZ攝影機調整狀態下，拍攝取得紅線路邊影像，以供滑鼠圖形介面軟體直接在紅線路邊影像中定義出判斷車輛違停所需的相關資訊。

於流程203中，框定違停區域、設定違停判定秒數及輸入偵測區域代碼。本流程承接流程202，由紅線路邊影像中定義出判斷車輛違停所需的相關資訊，包括框定違停區域、設定違停判定秒數及輸入偵測區域代碼，框定違停區域用於判斷車輛是否違停，設定違停判定秒數即用於判斷車輛是否停在違停區達一定時間，輸入偵測區域代碼即是讓違停區域與偵測區域代碼建立關係，以利後續違停事件的資料建立。

於流程204中，以AI車輛物件偵測模組框出在違停區域內之各車輛。其中，透過車輛物件偵測技術框出在違停區域內之各車輛，且在框出在違停區域內之各車輛後，還會依序記錄所偵測到各車輛之框選大小及位置。

於流程205中，是否有在框定違停區域內的各該車輛有持續出 現超過設定之秒數。本流程是依序記錄區域內各車輛最先被偵測到之時間，並持續記錄仍有各該車輛被偵測到的時間，以供判定是否有在框定違停區域內的各該車輛有持續出現超過設定之秒數。當判定為是時，前進至流程206，反之，則回到至流程204。

於流程206中，標示車輛違停時間於該影像中做存證。本流程除了前述標示車輛違停時間於該影像中做存證外，還可依前述流程205之判定結果得知有幾部車輛持續出現超過設定之秒數。

於流程207中，依序選取尚未取得車牌辨識之違停車輛所在區域。本流程是說明當所擷取之影像中有許多車輛違停時，會逐一對每一個違停車輛進行辨識。

於流程208中，以AI車牌物件偵測模組框出該車輛車牌所在位置及大小。本流程是說明透過物件偵測技術，由所擷取之影像中選取出該車輛之車牌的所在位置及大小。

於流程209中，調整PTZ攝影機指向該車牌中心並放大擷取該車牌影像。本流程係指令PTZ攝影機針對車牌之中心進行放大並擷取影像，以取得車牌影像，在取得車牌影像後可前進至流程212，即重設PTZ攝影機回初始設定參數，以繼續執行車輛違停之監控，此時除了重設PTZ攝影機外，還可前進至流程210，以進行後續的車牌影像之辨識。

於流程210中，辨識該車牌影像之車牌號碼。本流程即利用車牌辨識技術，例如透過一AI車牌辨識模組進行車牌辨識，以取得違停車輛之車牌號碼。

於流程211中，將該車牌號碼、標示車輛違停時間之存證影像及 偵測區域代碼，經網路傳送至開設罰單伺服器。本流程即是將違停車輛的相關資訊回傳至開設罰單伺服器，其包括含有車牌號碼和違停時間之存證影像以及該車輛所在違規區域之偵測區域代碼，偵測區域代碼係利於資料記錄與後續罰單開設。

由上可知，在流程209中取得車牌影像後，可同時進行PTZ攝影機之重設並另將車牌影像進行辨識及上傳伺服器，亦即流程209後除至流程212重覆流程外，另至流程210判讀結果並至流程211送出結果，如此在流程212後，再回到流程204，即繼續以AI車輛物件偵測模組框出在違停區域內之各車輛，持續以上偵測、判定、控制、辨識、傳送及回復重設步驟，如此便可利用PTZ攝影機持續對遠處大範圍的紅線區域做多部車輛紅線違停的車牌偵測與辨識。

據上可知，本發明先調整PTZ攝影機之視野，使其包含整個欲偵測違停的紅線旁區域並儲存初始設定參數，接著，再設定沿紅線旁的區域為偵測區域，以AI車輛偵測軟體模組進行偵測，藉以偵測是否有車輛出現在設定的偵測區域內，當有車輛持續出現在偵測區域內固定位置並且超過設定之秒數，便再以AI車牌偵測軟體模組取得該車輛的車牌位置中心，並控制PTZ攝影機移向車牌中心並做車牌影像放大處理，以對放大車牌影像內的車牌做辨識，最後，將車牌號碼、車輛違停取證影像及違停位置等資訊，回傳至開設罰單伺服器。

綜上，本發明提出之利用PTZ攝影機偵測違停車牌的方法，具備下列優點：(1)除能全天候自動的完成紅線違停車輛的偵測告警，另可對違停車輛做車牌自動偵測及辨識，將違停車牌號碼、標示車輛違停時間之存證影像及偵測區域代碼，經網路傳送至開設罰單伺服器，完全免除警力前往處置及觀看錄影開單的人力；以及(2)當對遠處大範圍紅線違停區域做監看時，由於使用PTZ 攝影機，便可利用AI物件偵測技術，框定遠處多車輛的大小及位置，自動控制PTZ攝影機一一指向到各車輛所在位置做放大，一一對各車輛的車牌做偵測辨識，如此可達成以一部攝影機架設，自動達成對遠處大範圍多車輛做紅線違停的科技執法。

上列詳細說明係針對本發明之一可行實施例之具件說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

S11~S16:步驟

Claims (8)

1. 一種利用平移傾斜變焦(pan-tilt-zoom，PTZ)攝影機偵測違停車牌的方法，包括下列之步驟：調整PTZ攝影機之視野影像並記錄該PTZ攝影機之初始狀態；由該PTZ攝影機之擷取影像中框定出違停區域以及設定違停判定秒數，其中，該框定出違停區域之步驟係由該PTZ攝影機拍攝取得紅線路邊影像，以於該紅線路邊影像中框定出該違停區域；對該PTZ攝影機之擷取影像框出該違停區域內之複數車輛，以記錄所框出之各該車輛在整個該擷取影像中之車輛框選大小及位置；於判斷各該車輛停留於該違停區域內持續超過該違停判定秒數時，判定各該車輛違停；對該PTZ攝影機之擷取影像依序框出違停的各該車輛之車牌，以記錄所框出之違停車輛在整個該擷取影像中之車牌所在位置及大小；調整該PTZ攝影機依序指向違停的各該車輛之各該車牌之中心以放大擷取各該車牌之車牌影像；以及依序辨識各該車牌影像之車牌號碼。
2. 如請求項1所述之利用PTZ攝影機偵測違停車牌的方法，復包括將所辨識出之該車牌號碼、標示各該車輛之違停時間之存證影像以及對應該違停區域之偵測區域代碼的資料傳送至雲端伺服器。
3. 如請求項2所述之利用PTZ攝影機偵測違停車牌的方法，復包括於傳送該資料至該雲端伺服器後，令該PTZ攝影機自動回復到該初始狀態。
4. 如請求項1所述之利用PTZ攝影機偵測違停車牌的方法，其中，該框定出違停區域之步驟復包括設定對應該違停區域之偵測區域代碼。
5. 如請求項1所述之利用PTZ攝影機偵測違停車牌的方法，復包括記錄該違停區域內各該車輛最先被偵測到之時間並持續記錄各該車輛仍有被偵測到之時間，藉此判斷是否持續超過該違停判定秒數。
6. 如請求項1所述之利用PTZ攝影機偵測違停車牌的方法，其中，該判定各該車輛違停之步驟復包括標示各該車輛之違停時間於存證影像中以作存證。
7. 如請求項1所述之利用PTZ攝影機偵測違停車牌的方法，其中，該違停區域係透過滑鼠圖形介面軟體於該紅線路邊影像中所框定出者。
8. 如請求項1所述之利用PTZ攝影機偵測違停車牌的方法，其中，該調整PTZ攝影機之視野影像之步驟係指調整該PTZ攝影機之視野影像以含蓋欲偵測之該違停區域。

Images