TW202207083A

TW202207083A - 車種辨識方法及系統

Info

Publication number: TW202207083A
Application number: TW109127655A
Authority: TW
Inventors: 劉治君; 林多常
Original assignee: 中華電信股份有限公司
Priority date: 2020-08-14
Filing date: 2020-08-14
Publication date: 2022-02-16
Also published as: TWI739548B

Abstract

本發明提供一種車種辨識方法及系統。所述方法包括：透過攝影機取得車道的車道影像；反應於判定車道影像中出現車輛，透過攝影機對車道連續拍攝多個影像，並基於透視變換矩陣將前述影像轉換為多個待拼接影像；將前述待拼接影像進行兩兩比對，以取得前述待拼接影像兩兩之間的移動向量；採用非線性影像融合方法以基於前述待拼接影像兩兩之間的移動向量將前述待拼接影像拼接為對應於車輛的全車拼接影像；基於全車拼接影像辨識車輛的車種。

Description

車種辨識方法及系統

本發明是有關於一種車輛辨識技術，且特別是有關於一種車種辨識方法及系統。

在貨櫃場及港口海關等場所，車輛出入管制是一非常重要的工作，過去常以設門哨由專人駐點登記出入車輛資料並管制出入，耗時費工，因此，自動化門哨成為現代貨櫃場及港口海關重要的建設需求。其中有關自動化門哨車型辨識器，目前已有西克(SICK LMS 5XX)提供雷達掃瞄車型辨識器技術，但每個門哨另需SICK雷達、鋼架及土建等硬體建置，耗費成本。

另外，某些門哨處雖配置有用於進行車牌辨識的攝影機，但由於其取像範圍及視角有限，只能拍攝車輛局部特徵，故若直接用於進行車種辨識將導致較低的準確率。

有鑑於此，本發明提供一種車種辨識方法及系統，其可用於解決上述技術問題。

本發明提供一種車種辨識方法，適於一車種辨識系統，所述方法包括：透過一攝影機取得一車道的一車道影像；反應於判定車道影像中出現一車輛，透過攝影機對車道連續拍攝多個影像，並基於一透視變換矩陣將前述影像轉換為多個待拼接影像，其中各影像包括對應於車輛的一部分的影像區域；將前述待拼接影像進行兩兩比對，以取得前述待拼接影像兩兩之間的一移動向量；採用一非線性影像融合方法以基於前述待拼接影像兩兩之間的移動向量將前述待拼接影像拼接為對應於車輛的一全車拼接影像；基於全車拼接影像辨識車輛的一車種。

本發明提供一種車種辨識系統，包括攝影機、儲存電路及處理器。儲存電路儲存多個模組。處理器耦接攝影機、儲存電路及處理器，並存取前述模組以執行下列步驟：控制攝影機取得一車道的一車道影像；反應於判定車道影像中出現一車輛，控制攝影機對車道連續拍攝多個影像，並基於一透視變換矩陣將前述影像轉換為多個待拼接影像，其中各影像包括對應於車輛的一部分的影像區域；將前述待拼接影像進行兩兩比對，以取得前述待拼接影像兩兩之間的一移動向量；採用一非線性影像融合方法以基於前述待拼接影像兩兩之間的移動向量將前述待拼接影像拼接為對應於車輛的一全車拼接影像；基於全車拼接影像辨識車輛的一車種。

概略而言，考量單一影像無法取得進門哨車輛的完整影像供正確辨識，有別於既有的靜態多視角影像拼接技術，本發明以電腦視覺技術將車子進入柵門前的多張連續的動態局部影像透過動態單視角影像拼接技術生成一張車輛的全車拼接影像，供AI影像辨識模型做正確分類辨識，此方法將可大幅提升車種辨識率，並免除額外的硬體建置成本。

請參照圖1，其是依據本發明之一實施例繪示的車種辨識系統示意圖。在圖1中，車種辨識系統100包括攝影機101、儲存電路102及處理器104。在本發明的實施例中，攝影機101例如是一車牌辨識攝影機，其可固定地設置於一車道（例如是位於門哨口的車道）附近，並可用於對進入此車道的車輛進行車牌拍攝，但可不限於此。

儲存電路102例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或其他類似裝置或這些裝置的組合，而可用以記錄多個程式碼或模組。

處理器104耦接於儲存電路102，並可為一般用途處理器、特殊用途處理器、傳統的處理器、數位訊號處理器、多個微處理器（microprocessor）、一個或多個結合數位訊號處理器核心的微處理器、控制器、微控制器、特殊應用積體電路（Application Specific Integrated Circuit，ASIC）、現場可程式閘陣列電路（Field Programmable Gate Array，FPGA）、任何其他種類的積體電路、狀態機、基於進階精簡指令集機器（Advanced RISC Machine，ARM）的處理器以及類似品。

在本發明的實施例中，處理器104可存取儲存電路102中記錄的模組、程式碼來實現本發明提出的車種辨識方法，其細節詳述如下。

請參照圖2，其是依據本發明之一實施例繪示的車種方法流程圖。本實施例的方法可由圖1的車種辨識系統100執行，以下即搭配圖1所示的元件說明圖2各步驟的細節。此外，為使本案概念更易於理解，以下將另輔以圖3作說明，其中圖3是依據本發明之一實施例繪示的對車道所拍攝的多個影像的示意圖。

首先，在步驟S210中，處理器104可控制攝影機101取得車道的車道影像。在一實施例中，處理器104可偵測所取得的車道影像中是否出現車輛。

在步驟S220中，反應於判定車道影像中出現車輛，處理器104可控制攝影機101對車道連續拍攝多個影像301~318，並基於透視變換（perspective transformation）矩陣將影像301~318轉換為多個待拼接影像。在一實施例中，在判定車道影像中出現車輛時，處理器104例如可控制攝影機101每1/4秒即拍攝一張影像，直至所拍攝影像的總數達到一預設數量（例如18張）為止，但本發明可不限於此。亦即，攝影機101將在取像範圍固定的情況下，對行進中的車輛連續拍攝多張影像。

一般而言，當攝影機101被實現為車牌辨識攝影機時，其取像範圍一般僅限於常規車輛車牌附近的區域。在此情況下，攝影機101於步驟S220中所拍攝的各影像301~318將包括對應於車輛的一部分的影像區域。換言之，當攝影機101被實現為車牌辨識攝影機時，上述各影像皆未拍攝到上述車輛的全貌。舉例而言，影像301~311個別僅拍攝到車輛399車頭的一部分，影像312、313僅部分地拍攝到車輛399的車頂及尾部，影像314~318僅拍攝到車輛399的尾部，但本發明可不限於此。

在一實施例中，以透視變換矩陣將影像301~318轉換為待拼接影像的目的是為使各影像301~318中的遠近車形影像可在寬度相同的情況下以直圖的形式拼接。在一實施例中，可先以人工方式選取車道影像中遠端及近端實際同寬的四點轉變為相對應近端同寬到遠端的矩形四頂點座標（例如取其中影像有一近端車頂前沿兩端點及其中影像有一遠端車頂前沿兩端點共四點座標轉變為相對應近端同寬到遠端的矩形四頂點座標），來求解三維度的透視變換矩陣之各參數，進而得到步驟S220中所使用的透視變換矩陣，但本發明可不限於此。

在一實施例中，在取得透視變換矩陣之後，處理器104可基於此透視變換矩陣將影像301~318投影映射（projective mapping）為上述待拼接影像，但可不限於此。

之後，在步驟S230中，處理器104可將待拼接影像進行兩兩比對，以取得待拼接影像兩兩之間的移動向量。在一實施例中，處理器104例如可基於樣板匹配（template matching）的方式取得待拼接影像兩兩之間的移動向量。舉例而言，對於上述待拼接影像中的第i個待拼接影像而言，處理器104可在所述第i個待拼接影像中取出一特定區塊（例如是對應於車輛399的部分車體的某個影像區域）作為第一特徵樣板，其中

，N為上述待拼接影像的數量（例如18）。之後，對於上述待拼接影像中的第i+1個待拼接影像而言，處理器104可在所述第i+1個待拼接影像中找出匹配於上述第一特徵樣板的第二特徵樣板，並基於此第二特徵樣板與上述第一特徵樣板之間的位移定義所述第i+1個待拼接影像與所述第i個待拼接影像之間的移動向量，但本發明可不限於此。有關於樣板匹配技術的細節可參考相關的現有技術文獻，於此不另贅述。

接著，在步驟S240中，處理器104可採用非線性影像融合方法以基於待拼接影像兩兩之間的移動向量將待拼接影像拼接為對應於車輛的全車拼接影像。在不同的實施例中，上述非線性影像融合方法例如是指數型函數或其類似者，但可不限於此。在本發明的實施例中，連續的兩個影像可能具有不同的曝光條件，進而可能造成影像拼接疊加後出現明顯的交接邊界。為使有上述待拼接影像可經拼接為一平順的全車拼接影像，遂透過非線性影像融合方法（例如指數型函數）進行改善。

請參照圖4，其是依據圖3繪示的全車拼接影像示意圖。在本實施例中，全車拼接影像400例如是處理器104在將圖3的影像301~318轉換為對應的待拼接影像之後，將這些待拼接影像依據上述教示拼接而成，但可不限於此。

請再次參照圖2，在步驟S250中，處理器104可基於全車拼接影像400辨識車輛399的車種。在一實施例中，處理器104可將全車拼接影像400輸入經預訓練的一車種辨識模型，其中此車種辨識模型可反應於全車拼接影像400而輸出車輛399的車種。

在一實施例中，上述車種辨識模型例如是一卷積神經網路（convolutional neural network，CNN），其可經一定的訓練過程而具備基於全車拼接影像400而辨識車輛399的車種的能力。

舉例而言，在訓練此車種辨識模型時，可先收集對應於各種車輛類型之車輛的全車拼接影像作為訓練資料，藉以讓此車種辨識模型學習對應於各式車種之車輛的特徵。藉此，在完成車種辨識模型的訓練之後，此車種辨識模型即可在接收到對應於某未知車輛的全車拼接影像時，相應地辨識此未知車輛的車種，但本發明可不限於此。

在不同的實施例中，上述車種辨識模型可實現為有LeNet、AlexNet、VGGNet、GoogLeNet、ResNet及DenseNet等，但本發明可不限於此。

綜上所述，本發明至少具備以下特點：（1）可與車牌辨識系統共用一攝影機，免除需另外架設額外相關設備及硬體之成本；（2）由於可取得完整的全車拼接影像且攝影機的取像範圍固定，可令所產生的全車拼接影像具有單純且相似的視野，因而可大幅提高車種辨識模型學習的準確度與辨識率；（3）若與車牌辨識系統共用攝影機，則由於此類攝影機的架設高度及角度有一統一標準，故日後可由各處架設之車牌辨識攝影機取得大量視野類同的全車拼接影像以供車種辨識模型做訓練，在日後可更加提升車種辨識率。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:車種辨識系統 101:攝影機 102:儲存電路 104:處理器 301~318:影像 399:車輛 400:全車拼接影像 S210~S250:步驟

圖1是依據本發明之一實施例繪示的車種辨識系統示意圖。圖2是依據本發明之一實施例繪示的車種方法流程圖。圖3是依據本發明之一實施例繪示的對車道所拍攝的多個影像的示意圖。圖4是依據圖3繪示的全車拼接影像示意圖。

S210~S250:步驟

Claims

一種車種辨識方法，適於一車種辨識系統，所述方法包括：透過一攝影機取得一車道的一車道影像；反應於判定該車道影像中出現一車輛，透過該攝影機對該車道連續拍攝多個影像，並基於一透視變換矩陣將該些影像轉換為多個待拼接影像，其中各該影像包括對應於該車輛的一部分的影像區域；將該些待拼接影像進行兩兩比對，以取得該些待拼接影像兩兩之間的一移動向量；採用一非線性影像融合方法以基於該些待拼接影像兩兩之間的該移動向量將該些待拼接影像拼接為對應於該車輛的一全車拼接影像；基於該全車拼接影像辨識該車輛的一車種。
如請求項1所述的方法，其中該攝影機為一車牌辨識攝影機。
如請求項1所述的方法，其中該些待拼接影像的至少其中之一包括對應於該車輛的尾部的一影像區域。
如請求項1所述的方法，其中將該些待拼接影像進行兩兩比對，以取得該些待拼接影像兩兩之間的該移動向量的步驟包括：對於該些待拼接影像中的第i個待拼接影像而言，在所述第i個待拼接影像中取出一特定區塊作為一第一特徵樣板，其中
，N為該些待拼接影像的數量；對於該些待拼接影像中的第i+1個待拼接影像而言，在所述第i+1個待拼接影像中找出匹配於該第一特徵樣板的一第二特徵樣板；基於該第二特徵樣板與該第一特徵樣板之間的一位移定義所述第i+1個待拼接影像與所述第i個待拼接影像之間的該移動向量。
如請求項1所述的方法，其中基於該全車拼接影像辨識該車輛的該車種的步驟包括：將該全車拼接影像輸入經預訓練的一車種辨識模型，其中該車種辨識模型反應於該全車拼接影像而輸出該車輛的該車種。
一種車種辨識系統，包括：一攝影機；一儲存電路，儲存多個模組；以及一處理器，其耦接該攝影機、該儲存電路及該處理器，並存取該些模組以執行下列步驟：控制該攝影機取得一車道的一車道影像；反應於判定該車道影像中出現一車輛，控制該攝影機對該車道連續拍攝多個影像，並基於一透視變換矩陣將該些影像轉換為多個待拼接影像，其中各該影像包括對應於該車輛的一部分的影像區域；將該些待拼接影像進行兩兩比對，以取得該些待拼接影像兩兩之間的一移動向量；採用一非線性影像融合方法以基於該些待拼接影像兩兩之間的該移動向量將該些待拼接影像拼接為對應於該車輛的一全車拼接影像；基於該全車拼接影像辨識該車輛的一車種。
如請求項6所述的系統，其中該攝影機為一車牌辨識攝影機。
如請求項6所述的系統，其中該些待拼接影像的至少其中之一包括對應於該車輛的尾部的一影像區域。
如請求項6所述的系統，其中將該些待拼接影像進行兩兩比對，以取得該些待拼接影像兩兩之間的該移動向量的步驟包括：對於該些待拼接影像中的第i個待拼接影像而言，在所述第i個待拼接影像中取出一特定區塊作為一第一特徵樣板，其中
，N為該些待拼接影像的數量；對於該些待拼接影像中的第i+1個待拼接影像而言，在所述第i+1個待拼接影像中找出匹配於該第一特徵樣板的一第二特徵樣板；基於該第二特徵樣板與該第一特徵樣板之間的一位移定義所述第i+1個待拼接影像與所述第i個待拼接影像之間的該移動向量。
如請求項6所述的系統，其中基於該全車拼接影像辨識該車輛的該車種的步驟包括：將該全車拼接影像輸入經預訓練的一車種辨識模型，其中該車種辨識模型反應於該全車拼接影像而輸出該車輛的該車種。