TWM618607U - 自動化交通轉向量化調查報告產出系統 - Google Patents

Abstract

一種自動化交通轉向量化調查報告產出系統，包括至少一影像擷取裝置及至少一主機。影像擷取裝置擷取一量測區域之路口影像後，傳送到主機進行分析，主機在該量測區域設定路口之判定線及進階判定區，接著訓練一深度學習模型以分析車輛的類別及位置；主機計算車輛之軌跡資訊後，利用判定線判斷車輛之行進方向，當軌跡資訊出現連續斷幀時，更利用進階判定區修正車輛的進出方向，並將此進出方向及軌跡資訊進行資料處理，產生轉向量報表。藉由本創作可即時產生報表，並提高物件追蹤的精準度。

Description

自動化交通轉向量化調查報告產出系統

本創作係有關一種交通狀態分析，特別是指一種自動化交通轉向量化調查報告產出系統。

道路路口因為車流交會、車輛轉彎、機車待轉等情況，容易發生各種意外狀況，因此政府交通單位需針對各大路口進行交通轉向量調查。然而，傳統人工調查因人工極限，只做短時間交通調查，無法全面提供整體性資料蒐集，且物件分類只侷限幾項，如大型車、小型車、機車，無法提供細節總類分類。

另有一種利用攝影機擷取道路影像進行分析的方法，但目前是採用魚眼攝影機，其雖可拍攝360度影像視角，但因魚眼攝影機採用之魚眼鏡頭其光學成像之限制，在影像的邊緣區域容易產生變形及成像品質不佳等問題，難以進行完整車輛行越路口行為分析之影像辨識與追蹤。且魚眼攝影機無法涵蓋大型交岔路口所有物件行為，特別是機車兩段式左轉偵測便可能超出影像範圍而無法偵測。

有鑑於此，本創作針對上述習知技術之缺失及未來之需求，提出一種自動化交通轉向量化調查報告產出系統，以有效解決上述該等問題，具體架構及其實施方式將詳述於下：

本創作之主要目的在提供一種自動化交通轉向量化調查報告產出系統，其在路口設置判定線及進階判定區，解決判定線被大型物件遮擋或物件偵測失效等問題。

本創作之另一目的在提供一種自動化交通轉向量化調查報告產出系統，其搭配深度學習模型及軌跡演算法，可使分析效果更好，達到準確度高、速度快的優點。

本創作之再一目的在提供一種自動化交通轉向量化調查報告產出系統，其在路口採用超廣角攝影機擷取影像，可看到路口全貌之位置，解決過往不易觀測完整車輛行越路口之行為。

為達上述目的，本創作提供一種自動化交通轉向量化調查報告產出系統，包括：至少一影像擷取裝置，擷取一量測區域之複數路口影像；以及至少一主機，訊號連接影像擷取裝置，接收路口影像並進行分析，以產生一轉向量報表，主機中包括：一深度學習模型模組，利用一深度學習模型資料訓練出一深度學習模型，再將路口影像輸入到深度學習模型中，分析至少一車輛的類別及位置；一軌跡運算模組，連接深度學習模型模組，依照時序從深度學習學習模組讀取車輛之類別及位置，並計算出車輛之軌跡資訊，包括識別序號、類別及位置；一車輛轉向分析模組，連接軌跡運算模組，利用車輛之軌跡資訊及判定線判斷車輛之行進方向，當軌跡資訊出現連續斷幀時，利用進階判定區修正車輛進出進階判定區之方向，車輛轉向分析模組並輸出車輛之進出方向及軌跡資訊；以及一報表產出模組，連接車輛轉向分析模組，對車輛之進出方向及軌跡資訊進行資料處理，產生轉向量報表。

依據本創作之實施例，更包括一初始化模組，連接該深度學習模型模組及該車輛轉向分析模組，提供該深度學習模型資料、該至少一判定線及該至少一進階判定區。

依據本創作之實施例，初始化模組係利用cv2函數連接影像擷取裝置的輸出，讀取路口影像。

依據本創作之實施例，初始化模組載入之深度學習模型資料包括深度學習模型之參數及相關演算法。

依據本創作之實施例，深度學習模型模組訓練深度學習模型之步驟包括：收集不同種類之車輛的至少一公開資料集；收集路口之複數需求資料；利用一影像標註工具對需求資料進行資料標註，及利用公開資料集定義車輛之類別；將已標註的需求資料輸入一深度學習神經網路中進行模型訓練，輸出一深度學習初始模型；以及針對不同路口之特徵進行模型優化，產生深度學習模型。

依據本創作之實施例，軌跡運算模組讀取車輛之類別及位置後，更包括下列步驟：利用一線性速度模型及一卡爾曼濾波器對第n個時間點的車輛之類別及位置進行預測，預測第n+1個時間點的車輛之類別及位置；利用一匈牙利演算法對第n個時間點及第n+1個時間點的車輛進行關聯連結；以及計算出關聯連結後的車輛之軌跡資訊，包括識別序號、類別及位置。

依據本創作之實施例，車輛轉向分析模組讀取軌跡運算模組所傳送的車輛之軌跡資訊後，更包括下列步驟：判斷是否有車輛之軌跡資訊中之任一者出現連續斷幀超過一預設值，若是，則判定出現連續斷幀的車輛為異常軌跡且已離開量測區域，並產生車輛進出量測區域的一起點資訊及一終點資訊，若否，則繼續偵測；利用判定線結合起點資訊及終點資訊，判斷出現連續斷幀的車輛的行進方向；以及利用進階判定區對出現連續斷幀的車輛之進出方向進行修正，再輸出出現連續斷幀的車輛之進出方向、類別及軌跡資訊。

依據本創作之實施例，報表產出模組根據不同量測區域，對車輛之進出方向、類別及軌跡資訊做不同種類的數據處理。

依據本創作之實施例，報表產出模組根據需求對輸出轉向量報表的輸出格式做客製化調整，包括調整輸出轉向量報表中的小客車當量（passenger car unit, PCU）、類別參數。

本創作提供一種自動化交通轉向量化調查報告產出系統，用以即時、快速處理大數據的路口影像，並產出高精準度的交通轉向量報表，達到即時大數據分析的目的。

請參考第1圖，其為本創作自動化交通轉向量化調查報告產出系統之方塊圖。本創作之自動化交通轉向量化調查報告產出系統10包括至少一影像擷取裝置12及至少一主機20，此主機20設在路燈、交通號誌或路口的其他裝置上，可近距離與影像擷取裝置12連線。在一實施例中，主機20為小體積的機盒，可進行影像處理及資料運算。影像擷取裝置12可為攝影機或其它可連續擷取影像畫面的機器，擷取道路路口一量測區域之複數路口影像，在一最佳實施例中，本創作採用的影像擷取裝置12是超廣角攝影機，單一個超廣角攝影機中就包括至少兩個鏡頭，故可達到超廣角度擷取影像畫面的目的。在一實施例中，若為大型路口，可同時使用兩個影像擷取裝置12對立拍攝，以確保整個路口都有拍攝到；主機20與影像擷取裝置12訊號連接，接收路口影像並進行分析，以產生一轉向量報表。主機20中包括一初始化模組202、一深度學習模型模組204、一軌跡運算模組206、一車輛轉向分析模組208及一報表產出模組209。深度學習模型模組204連接初始化模組202，軌跡運算模組206連接深度學習模型模組204，車輛轉向分析模組208連接初始化模組202及軌跡運算模組206，報表產出模組209連接車輛轉向分析模組208。以下藉由第2圖至第7圖詳細說明該些模組之做動流程。

請同時參考第2圖，其為本創作自動化交通轉向量化調查報告產出系統10中初始化模組202之流程圖。首先，於步驟S10中，初始化模組202連接影像擷取裝置12的輸出，讀取路口影像，特別的是，本創作係利用cv2函數連接影像擷取裝置12的輸出，以利於未來讀取影像的速度快速方便。接著步驟S12中，初始化模組202載入系統所需的預設值，如一深度學習模型資料，其中包括深度學習模型之參數及相關演算法。接著步驟S14中，針對路口方向的量測區域設定至少一判定線，以方便偵測車流進出位置及計數。再於步驟S16中，針對路口方向的量測區域設定至少一進階判定區，例如斑馬線後的區塊、十字路口中央平分成四等分區域等等，以優化判定線的判定結果。步驟S14的判定線及步驟S16的進階判定區亦可由外部設定完成後再匯入初始化模型202中。

接著進入深度學習模型模組204的流程，請同時參考第3、4圖，其分別為本創作自動化交通轉向量化調查報告產出系統10中深度學習模型模組204之流程圖及訓練深度學習模型模組204之前置作業流程圖，且此前置作業是在一後端伺服器（圖中未示）中進行，當前置作業完成後，後端伺服器再將訓練好的深度學習模型提供給主機20中的深度學習模型模組204。首先於步驟S20先訓練一深度學習模型模組204，訓練方法請參考第4圖。第4圖之步驟S202中，收集不同種類之車輛的至少一公開資料集；接著於步驟S204中進一步收集路口之複數需求資料。步驟S206中，利用一影像標註工具（如Labelimage）對需求資料進行資料標註，及利用公開資料集定義車輛之類別，如卡車、小卡車、小客車、公車等；步驟208中，將已標註的需求資料輸入一深度學習神經網路中進行模型訓練，訓練後輸出一深度學習初始模型；最後於步驟S209，因應不同路口之特徵進行客製化的模型優化，例如三叉路口、停車場、雪地路口等特殊情況會有特殊的特徵，有別於一般的路口特徵，因此客製化的模型可提高精準度或提高運算速度，產生自動化交通轉向量化調查報告產出系統10所需要的深度學習模型，並將此優化後的深度學習模型佈署到主機20。

當深度學習模型的前置作業步驟S20完成後，請回到第3圖之步驟S22，深度學習模型模組204讀取路口影像，接著於步驟S24中將路口影像輸入到深度學習模型中，分析至少一車輛的類別及位置，如步驟S26所述。特別是步驟S26還採用了邊緣運算，將路口影像的資料運算成統計資料，不但可提供即時分析數據，更無須使用大量網路頻寬將高畫質影像傳輸回後端伺服器運算分析，使資料傳輸量大幅減小。

第5圖為本創作自動化交通轉向量化調查報告產出系統10中軌跡運算模組206之流程圖。步驟S30中，軌跡運算模組206依照時序從深度學習學習模組204讀取車輛之類別及位置。接著步驟S32中，利用包含一線性速度模型及一卡爾曼濾波器的模型對第n個時間點的車輛之類別及位置進行預測，預測第n+1個時間點的車輛之類別及位置。步驟S34中，再利用一種關於多目標追蹤（Multiple Object Tracking, MOT）的演算法對第n個時間點及第n+1個時間點的車輛進行關聯連結，較佳實施例為匈牙利演算法，雖然還有比匈牙利演算法精準度更好的其他演算法，但由於本創作的系統裝設在小體積精簡式的主機20中，所以相較於大型主機來說，運算能力較為受限。因此，採用匈牙利演算法能夠在追蹤的效率和準確率兩者上可取得平衡，是多目標追蹤演算法中的較佳選擇。最後於步驟S36中，將關聯連結後的車輛之軌跡資訊進行整理，得到包括識別序號、類別及位置等資訊，其中，每一時間點取得的路口影像為一幀，會得到一個識別序號，連續軌跡就會有連續的識別序號。若有障礙物遮擋導致軌跡中斷，例如大型車擋住了目標車輛，則就會發生斷幀的情況。

接著請參考第6圖，其為本創作自動化交通轉向量化調查報告產出系統10中車輛轉向分析模組208之流程圖。首先於步驟S40中，車輛轉向分析模組208讀取軌跡運算模組206所傳送的車輛之軌跡資訊，接著於步驟S41判斷是否有車輛之軌跡資訊中之任一者出現連續斷幀超過一預設值，例如是否有哪一台車輛的識別序號連續中斷30個號碼，等於連續斷幀達到30幀。若有，則判定出現連續斷幀的車輛為異常軌跡且已離開量測區域，產生車輛進出量測區域的一起點資訊及一終點資訊並進入步驟S42；若否，則回到步驟S40繼續偵測。步驟S42中利用判定線結合起點資訊及終點資訊，判斷出現連續斷幀的車輛的行進方向；接著，步驟S44中分析連續斷幀的該車輛穿過了哪些進階判定區，再於步驟S46利用進階判定區演算法對出現連續斷幀的車輛進出方向進行修正。最後，便可於步驟S48輸出出現連續斷幀的該車輛之進出方向、類別及軌跡資訊。

接著請參考第7圖，其為本創作自動化交通轉向量化調查報告產出系統10中報表產出模組209之流程圖。步驟S50中報表產出模組209從車輛轉向分析模組208接收對車輛之進出方向及軌跡資訊，接著於步驟S52根據不同量測區域，對車輛之進出方向、類別及軌跡資訊做不同種類的數據處理，舉例而言，大型路口需要兩個影像擷取裝置12對立拍攝，其中一台影像擷取裝置12需做鏡像處理，影像的方向才會一致。接著步驟S54依據使用者的需求對輸出轉向量報表的輸出格式做客製化調整，包括調整輸出轉向量報表中的小客車當量（Passenger Car Unit, PCU）、類別參數等。最後步驟S56輸出轉向量報表。

第8A圖及第8B圖分別為本創作中設置判定線及輔助設置進階判定區之示意圖。一般而言，十字路口的上、右、下、左四個路口會分別以A、B、C、D代表，如第8A圖所示。在車輛進出路口的位置設置合適的感應線段做為判定線，例如D方向的判定線30和C方向的判定線31。圖中雖未標出A方向和B方向的判定線，但仍可有判定線存在A、B方向的二路口。判定線的判斷方法是，只要車輛通過二條判定線，系統10便可以依照線段的位置來判斷車輛的進出路口方向。舉例而言，假設車輛通過一判定線30後，若再通過另一判定線，便可判斷車輛不是直走，並進一步判斷車輛是右轉或左轉。例如若車輛通過判定線30後，接著通過判定線31，便可判定車輛是從D方向向右轉到C方向。此方法相當直觀，但當面對斷軌的目標物，例如目標車輛被大型車輛28遮擋或物件偵測失效時，需要依照距離去尋找距離最接近的判定線。此做法會因為2D畫面角度的問題導致目標物位置偏移，使距離有誤差，進而影響判斷。

因此，在第8B圖中另外設置進階判定區34、36，在判定線判斷的基礎上，輔助預測結果。當目標車輛的軌跡線被大型物件遮擋（如第8A圖所示之大型車輛28）而使軌跡中斷時，面對斷軌的軌跡線，本創作藉由特別的對應矩陣，達到仿人的智慧來做到精確判斷斷軌的目標車輛。如第8B圖所示，假設目標車輛由D往B方向移動，因為被大型車輛28遮擋而導致起始點在點S而終點在點E。若單純只使用判定線的方式判斷車輛轉向，起點會因為角度問題而導致距離A方位的判定線較近，起點會被判定為A，但事實上目標車輛的起點為D。若增加進階判定區34、36輔助判斷，可以事先讓電腦學習當點S在進階判定區34、點E在進階判定區36時的目標車輛移動軌跡為何，間接輔助電腦判斷結果。增加進階判定區輔助判斷的準確度較好、速度較快。單純使用判定線與增加進階判定區輔助判斷的效能分析如下表一：

	卡車	公車	小卡車	汽車	計程車	機車	加權平均
判定線	41.21%	76.41%	47.75%	69.50%	29.03%	62.48%	69.19%
判定線+判定區域	31.60%	85.82%	40.02%	76.39%	31.92%	81.69%	76.06%
前後差異	-9.61%	9.41%	-7.73%	6.89%	2.89%	19.22%	6.87%

表一

從實驗結果可知，使用進階判定區輔助的判斷效能是較好的，僅有卡車、小卡車（pickup-truck）在準確率上有下降情況。但因為卡車與小卡車在訓練集與測試集中占比非常少（0.63%、2.06%），訓練樣本不足導致偵測錯誤。在僅使用判定線的情況下，卻意料之外將判斷錯誤的結果對應到了正確的方向，並非判定線的準確率較高所致。其餘車種的表現都有不錯的提升，占比很高（39.60%）的機車更是有接近20%的準確率提升。由於機車體積小，在畫面上常會因為被體積較大的車種（如公車、卡車、小客車等）遮擋導致軌跡演算法追蹤失敗，而使軌跡線斷軌，若僅使用判定線判斷車輛軌跡會造成判斷錯誤。而使用進階判定區輔助，會讓電腦事先學習有關斷軌的判斷方法，從而解決這個問題。藉由效能評估可得出進階判定區對於輔助電腦判斷轉向量有很大的功用。雖然表一中計程車的提升幅度有限，僅提升2.89%，但那是受限於系統本身偵測效能的準確率還有待調整。若系統的樣本數增加，深度學習模型經過更多訓練，將使偵測效能提升，從而使進階判定區對於準確率的影響漸趨明顯。

本創作另具有一去識別化模組（圖中未示）。去識別化的目的是為了隱藏路口影像中的個人資訊，例如臉孔、車牌等，本創作之系統會使用定界框（bounding box）框出目標物體，對定界框內部的圖像進行馬賽克之類的模糊處理，達到去識別化的功能。本創作之系統所產出的結果只針對目標物的類別，例如車種、行人、腳踏車等，做相關數據分析，最終輸出的轉向量報表不會留下有關個資的數據。

本創作還具有一天候分析因子模組（圖中未示）。天氣分析系統將分為兩階段進行。第一階段會致力於區分出晴天與雨天，使用方法為將雨滴物件投入深度學習模型中進行訓練與建立模型，對路口影像進行雨滴的物件偵測，若偵測超過一定閥值，則判斷天氣為雨天。在一實施例中，深度學習模型可間隔N分鐘（N=30）進行一次雨滴偵測，以降低偵測時間來降低對原轉向量系統的影響。第二階段則針對陰天的部分，需要擷取到天空中的畫面，並不適用於所有路口的情況，且陰天在交通上影響的情況較小，所以優先度放在較後的階段。陰天的判別方法在一實施例中使用自動偵測路口影像中的天空部分，對天空的區塊進行RGB分析或者直接投入深度學習模型中，判斷天氣是否為陰天。

綜上所述，本創作所提供之一種自動化交通轉向量化調查報告產出系統，採用超廣角攝影機，外接即時分析AI主機，搭配深度學習模型、軌跡演算法等分析工具，提供全自動輸出交通轉向量報表，並具有去識別化功能與天候分析因子功能。因此，較之先前技術不論是人工調查或利用判定線分析，本創作進一步結合了進階判定區的設置，可使分析效果更好，達到準確度高、速度快的優點。

唯以上所述者，僅為本創作之較佳實施例而已，並非用來限定本創作實施之範圍。故即凡依本創作申請範圍所述之特徵及精神所為之均等變化或修飾，均應包括於本創作之申請專利範圍內。

10:自動化交通轉向量化調查報告產出系統 12:影像擷取裝置 20:主機 202:初始化模組 204:深度學習模型模組 206:軌跡運算模組 208:車輛轉向分析模組 209:報表產出模組 28:大型車輛 30、31:判定線 34:進階判定區 36:進階判定區

第1圖為本創作自動化交通轉向量化調查報告產出系統之方塊圖。 第2圖為本創作自動化交通轉向量化調查報告產出系統中初始化模組之流程圖。 第3圖為本創作自動化交通轉向量化調查報告產出系統中深度學習模型模組之流程圖。 第4圖為本創作自動化交通轉向量化調查報告產出系統中深度學習模型模組的前置作業之訓練流程圖。 第5圖為本創作自動化交通轉向量化調查報告產出系統中軌跡運算模組之流程圖。 第6圖為本創作自動化交通轉向量化調查報告產出系統中車輛轉向分析模組之流程圖。 第7圖為本創作自動化交通轉向量化調查報告產出系統中報表產出模組之流程圖。 第8A圖及第8B圖為本創作中設置判定線及進階判定區之示意圖。

10:自動化交通轉向量化調查報告產出系統

12:影像擷取裝置

20:主機

202:初始化模組

204:深度學習模型模組

206:軌跡運算模組

208:車輛轉向分析模組

209:報表產出模組

Claims (9)

1. 一種自動化交通轉向量化調查報告產出系統，包括： 至少一影像擷取裝置，擷取一量測區域之複數路口影像；以及 至少一主機，訊號連接該至少一影像擷取裝置，接收該等路口影像並進行分析，以產生一轉向量報表，該至少一主機中包括： 一深度學習模型模組，接收一深度學習模型資料以訓練出一深度學習模型，再將該等路口影像輸入到該深度學習模型中，分析至少一車輛的類別及位置； 一軌跡運算模組，連接該深度學習模型模組，依照時序從該深度學習學習模組讀取該至少一車輛之類別及位置，並計算出該至少一車輛之軌跡資訊，包括識別序號、類別及位置； 一車輛轉向分析模組，連接該軌跡運算模組，利用該車輛之軌跡資訊及至少一判定線判斷該至少一車輛之行進方向，並在當該軌跡資訊出現連續斷幀時，再利用至少一進階判定區修正該至少一車輛進出該至少一進階判定區之方向，該車輛轉向分析模組並輸出該至少一車輛之進出方向及軌跡資訊；以及 一報表產出模組，連接該車輛轉向分析模組，對該至少一車輛之進出方向及軌跡資訊進行資料處理，產生該轉向量報表。
2. 如請求項1所述之自動化交通轉向量化調查報告產出系統，更包括一初始化模組，連接該深度學習模型模組及該車輛轉向分析模組，提供該深度學習模型資料、該至少一判定線及該至少一進階判定區。
3. 如請求項2所述之自動化交通轉向量化調查報告產出系統，其中該初始化模組係利用cv2函數連接該至少一影像擷取裝置的輸出，讀取該等路口影像。
4. 如請求項2所述之自動化交通轉向量化調查報告產出系統，其中該初始化模組載入之該深度學習模型資料包括該深度學習模型之參數及相關演算法。
5. 如請求項1所述之自動化交通轉向量化調查報告產出系統，其中該深度學習模型模組訓練該深度學習模型之步驟包括： 收集不同種類之車輛的至少一公開資料集； 收集該路口之複數需求資料； 利用一影像標註工具對該等需求資料進行資料標註，及利用該至少一公開資料集定義車輛之類別； 將已標註的該等需求資料輸入一深度學習神經網路中進行模型訓練，輸出一深度學習初始模型；以及 針對不同路口之特徵進行模型優化，產生該深度學習模型。
6. 如請求項1所述之自動化交通轉向量化調查報告產出系統，其中該軌跡運算模組讀取該至少一車輛之類別及位置後，更包括下列步驟： 利用一線性速度模型及一卡爾曼濾波器對第n個時間點的該至少一車輛之類別及位置進行預測，預測第n+1個時間點的該至少一車輛之類別及位置； 利用一匈牙利演算法對第n個時間點及第n+1個時間點的該至少一車輛進行關聯連結；以及 計算出關聯連結後的該至少一車輛之軌跡資訊，包括識別序號、類別及位置。
7. 如請求項1所述之自動化交通轉向量化調查報告產出系統，其中該車輛轉向分析模組讀取該軌跡運算模組所傳送的該至少一車輛之軌跡資訊後，更包括下列步驟： 判斷是否有該至少一車輛之軌跡資訊中之任一者出現連續斷幀超過一預設值，若是，則判定出現連續斷幀的該車輛為異常軌跡且已離開該量測區域，並產生該車輛進出該量測區域的一起點資訊及一終點資訊，若否，則繼續偵測； 利用該至少一判定線結合該起點資訊及該終點資訊，判斷出現連續斷幀的該車輛的行進方向；以及 利用該至少一進階判定區對出現連續斷幀的該車輛之進出方向進行修正，再輸出出現連續斷幀的該車輛之進出方向、類別及軌跡資訊。
8. 如請求項1所述之自動化交通轉向量化調查報告產出系統，其中該報表產出模組根據不同量測區域，對該至少一車輛之進出方向、類別及軌跡資訊做不同種類的數據處理。
9. 如請求項1所述之自動化交通轉向量化調查報告產出系統，其中該報表產出模組根據需求對該輸出轉向量報表的輸出格式做客製化調整，包括調整該輸出轉向量報表中的小客車當量（passenger car unit, PCU）、類別參數。

Images