TWI705016B - 行車預警系統、行車預警方法及使用所述方法的電子裝置 - Google Patents

行車預警系統、行車預警方法及使用所述方法的電子裝置 Download PDF

Info

Publication number
TWI705016B
TWI705016B TW108125821A TW108125821A TWI705016B TW I705016 B TWI705016 B TW I705016B TW 108125821 A TW108125821 A TW 108125821A TW 108125821 A TW108125821 A TW 108125821A TW I705016 B TWI705016 B TW I705016B
Authority
TW
Taiwan
Prior art keywords
driving
vehicle
electronic device
matrix
driving trajectory
Prior art date
Application number
TW108125821A
Other languages
English (en)
Other versions
TW202103993A (zh
Inventor
范家銓
葉啟祥
何孟佳
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW108125821A priority Critical patent/TWI705016B/zh
Priority to CN201910777533.3A priority patent/CN112258878B/zh
Priority to US16/568,211 priority patent/US10991252B2/en
Application granted granted Critical
Publication of TWI705016B publication Critical patent/TWI705016B/zh
Publication of TW202103993A publication Critical patent/TW202103993A/zh

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/123Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/182Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/012Measuring and analyzing of parameters relative to traffic conditions based on the source of data from other sources than vehicle or roadside beacons, e.g. mobile networks
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0133Traffic data processing for classifying traffic situation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means

Abstract

提供一種行車預警系統、行車預警方法及使用所述方法的電子裝置。行車預警方法包括:取得前方交通工具的行車軌跡;根據行車軌跡產生行車軌跡矩陣;以及根據危險等級發出警示訊息。

Description

行車預警系統、行車預警方法及使用所述方法的電子裝置
本發明是有關於一種預警系統和方法,且特別是有關於一種行車預警系統、行車預警方法及使用所述方法的電子裝置。
目前,新上市的車輛大多配備了多種類型的行車輔助設備,其中又以追撞緩衝(forward collision mitigation,FCM)系統以及主動式定速巡航(adaptive cruise control,ACC)系統最為普及。ACC系統能夠通過安裝於車輛前方的距離感測器取得車輛與前車的距離。當所述距離過小時,ACC系統可例如通過控制制動系統來減低車輛的速度,從而使車輛與前車保持安全的距離。然而,ACC系統並無法輔助駕駛來判斷前方或側面的車輛是否正進行危險駕駛。
有鑑於此,本發明提供一種行車預警系統、行車預警方法 及使用所述方法的電子裝置,可用以輔助駕駛判斷前方或側面的車輛是否正進行危險駕駛或具有危險駕駛紀錄。
本發明的行車預警方法,適用於交通工具中的本地電子裝置。行車預警方法包括:取得前方交通工具的行車軌跡;根據行車軌跡產生行車軌跡矩陣;以及根據行車軌跡矩陣對應的危險等級發出警示訊息。
本發明的行車預警系統,包括本地電子裝置以及遠程電子裝置。本地電子裝置取得前方交通工具的行車軌跡,根據行車軌跡產生行車軌跡矩陣,並且上傳行車軌跡矩陣至遠程電子裝置,其中遠程電子裝置根據行車軌跡矩陣以及神經網路判斷前方交通工具的危險等級,並且根據危險等級發出警示訊息或危險等級至本地電子裝置。
本發明的用於行車預警的電子裝置,包括收發器、輸出裝置、資料收集裝置以及處理器。處理器耦接收發器、輸出裝置以及資料收集裝置。處理器經配置以執行:通過資料收集裝置取得前方交通工具的行車軌跡;根據行車軌跡產生行車軌跡矩陣;通過收發器上傳行車軌跡矩陣,並且接收對應於前方交通工具的危險等級或警示訊息;以及通過輸出裝置輸出危險等級或警示訊息。
基於上述,本發明的行車預警方法可使交通工具通過前方交通工具的行車軌跡辨識出前方交通工具的危險等級,從而在危險等級過高時發出警示訊息給交通工具的駕駛,提醒駕駛與前方交通工具保持適當的距離。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
10:行車預警系統
100:本地電子裝置
110、210:處理器
120、220:儲存媒體
130、230:收發器
140:資料收集裝置
141:攝影機
142:全球定位系統裝置
150:輸出裝置
200:遠程電子裝置
221:神經網路
300:交通工具
40:偵測區域
41、42、43:車牌影像
400:前方交通工具
51:行車軌跡矩陣
52、81、82:卷積核
53、54:特徵矩陣
55、551、552:一維特徵矩陣
61、62、63、64:子區域
B1、B2、B3、4、B5:車道
T1、T2、T3、T4、T5:時間點
S101、S102、S103、S104、S901、S902、S903、S904:步驟
圖1根據本發明的實施例繪示使用行車預警系統之交通工具的示意圖。
圖2根據本發明的實施例繪示本地電子裝置的示意圖。
圖3根據本發明的實施例繪示遠程電子裝置的示意圖。
圖4A根據本發明的實施例繪示偵測區域的示意圖。
圖4B根據本發明的實施例繪示前方交通工具之行車軌跡的示意圖。
圖5根據本發明的實施例繪示由神經網路將行車軌跡矩陣轉換為特徵矩陣(feature map)的示意圖。
圖6根據本發明的實施例繪示由神經網路對特徵矩陣進行池化(pooling)和平坦化(flattening)的示意圖。
圖7根據本發明的實施例繪示由神經網路判斷前方交通工具是否正進行危險駕駛的示意圖。
圖8A根據本發明的實施例繪示對應於危險行車軌跡之卷積核的示意圖。
圖8B根據本發明的實施例繪示對應於正常行車軌跡之卷積核的示意圖。
圖9根據本發明的實施例繪示一種行車預警方法的流程圖。
圖10根據本發明的實施例繪示一種行車預警方法的流程圖。
為了使本發明之內容可以被更容易明瞭,以下特舉實施例做為本發明確實能夠據以實施的範例。另外,凡可能之處,在圖式及實施方式中使用相同標號的元件/構件/步驟,係代表相同或類似部件。
圖1根據本發明的實施例繪示使用行車預警系統10之交通工具300的示意圖。行車預警系統10包括本地電子裝置100以及遠程電子裝置200,其中本地電子裝置100可安裝於交通工具300之中。本地電子裝置100可上傳前方交通工具400的相關資訊至遠程電子裝置200。遠程電子裝置200可根據由本地電子裝置100所上傳以及由安裝於其他交通工具中的其他本地電子裝置所上傳的前方交通工具400的相關資訊來判斷前方交通工具400的危險等級。若前方交通工具400的危險等級超出一閾值,則行車預警系統10可指示交通工具300的駕駛前方交通工具400正進行危險駕駛。
圖2根據本發明的實施例繪示本地電子裝置100的示意圖。本地電子裝置100包括處理器110、儲存媒體120、收發器130、資料收集裝置140以及輸出裝置150。
處理器110例如是中央處理單元(central processing unit, CPU),或是其他可程式化之一般用途或特殊用途的微控制單元(micro control unit,MCU)、微處理器(microprocessor)、數位信號處理器(digital signal processor,DSP)、可程式化控制器、特殊應用積體電路(application specific integrated circuit,ASIC)、圖形處理器(graphics processing unit,GPU)、算數邏輯單元(arithmetic logic unit,ALU)、複雜可程式邏輯裝置(complex programmable logic device,CPLD)、現場可程式化邏輯閘陣列(field programmable gate array,FPGA)或其他類似元件或上述元件的組合。處理器110耦接儲存媒體120、收發器130、資料收集裝置140以及輸出裝置150。
儲存媒體120例如是任何型態的固定式或可移動式的隨機存取記憶體(random access memory,RAM)、唯讀記憶體(read-only memory,ROM)、快閃記憶體(flash memory)、硬碟(hard disk drive,HDD)、固態硬碟(solid state drive,SSD)或類似元件或上述元件的組合,而用於儲存可由本地電子裝置100或處理器110執行的多個模組或各種應用程式。
收發器130以無線方式傳送或接收訊號。收發器130還可以執行例如低噪聲放大、阻抗匹配、混頻、向上或向下頻率轉換、濾波、放大以及類似的操作。本地電子裝置100可通過收發器130與遠程電子裝置200進行通訊。
資料收集裝置140包括安裝於交通工具300前方的攝影機141。攝影機141用以擷取位於交通工具300前方之前方交通工 具400的影像。在一實施例中,資料收集裝置140還包括全球定位系統(global positioning system,GPS)裝置142。全球定位系統裝置142用以取得交通工具300或前方交通工具400的地理位置資訊。
輸出裝置150例如是顯示器(例如:抬頭顯示器或液晶顯示器)或揚聲器,本發明不限於此。當行車預警系統10判斷位於交通工具300之前方交通工具400的危險等級超出一閾值時,本地電子裝置100的處理器110可通過輸出裝置150顯示或播放警示訊息,以指示交通工具300的駕駛保持與前方交通工具400之間的距離。
圖3根據本發明的實施例繪示遠程電子裝置200的示意圖。遠程電子裝置200例如是一雲端伺服器,並可包括處理器210、儲存媒體220以及收發器230。
處理器210例如是中央處理單元,或是其他可程式化之一般用途或特殊用途的微控制單元、微處理器、數位信號處理器、可程式化控制器、特殊應用積體電路、圖形處理器、算數邏輯單元、複雜可程式邏輯裝置、現場可程式化邏輯閘陣列或其他類似元件或上述元件的組合。處理器210耦接儲存媒體220以及收發器230。
儲存媒體220例如是任何型態的固定式或可移動式的隨機存取記憶體、唯讀記憶體、快閃記憶體、硬碟、固態硬碟或類似元件或上述元件的組合,而用於儲存可由遠程電子裝置200或處理器210執行的多個模組或各種應用程式。儲存媒體220還可儲 存用以辨識一交通工具是否正進行危險駕駛的神經網路221。在本實施例中,神經網路221為卷積神經網路(convolutional neural network,CNN),但本發明不限於此。
收發器230以無線方式傳送或接收訊號。收發器230還可以執行例如低噪聲放大、阻抗匹配、混頻、向上或向下頻率轉換、濾波、放大以及類似的操作。遠程電子裝置200可通過收發器230與本地電子裝置100進行通訊。
本地電子裝置100可安裝於交通工具300中。本地電子裝置100的處理器110可通過攝影機141來取得前方交通工具400的行車軌跡。具體來說,處理器110可通過影像處理技術從攝影機141所取得的影像中識別出前方交通工具400的車牌影像,並且通過攝影機141的偵測區域來持續地追蹤所述車牌影像,從而產生對應於前方交通工具400的行車軌跡。
圖4A根據本發明的實施例繪示偵測區域40的示意圖。在本實施例中,攝影機141的偵測區域40包括五個車道,分別為車道B1、車道B2、車道B3、車道B4和車道B5。處理器110可根據一交通工具的車牌影像在偵測區域40中的位置來判斷所述交通工具所在的車道。舉例來說,若一交通工具對應於車牌影像41,則處理器110可響應於車牌影像41位於車道B3內而判斷所述交通工具位於車道B3內。若一交通工具對應於車牌影像42,則處理器可響應於車牌影像42的大部分都位於車道B5內而判斷所述交通工具位於車道B5內。需注意的是,偵測區域40中的車道數量 可與交通工具300所在地的實際車道數量相同或相異,本發明不限於此。
在一實施例中,處理器110可響應於一交通工具的車牌影像不在偵測區域40內而判斷最接近車牌影像的車道為所述交通工具所在的車道。舉例來說,若一交通工具對應於車牌影像43,則處理器110可響應於車牌影像43不在偵測區域40內而判斷所述交通工具位於最接近車牌影像43的車道B1內。
圖4B根據本發明的實施例繪示前方交通工具400之行車軌跡的示意圖,其中行車軌跡指出由較早的時間點T1至較晚的時間點T5期間,前方交通工具400所位於的車道。本地電子裝置100的處理器110可通過攝影機141的偵測區域40偵測前方交通工具400在不同時間點所位於的車道(即:車道B1、B2、B3、B4以及B5)而取得如圖4B所示之前方交通工具400的行車軌跡。具體來說,在時間點T1時,處理器110根據攝影機141所擷取的影像判斷前方交通工具400位在車道B3。基於類似的方法,處理器110可判斷:在時間點T2時,前方交通工具400從車道B3切換到車道B4。在時間點T3時,前方交通工具400從車道B4切換到車道B5。在時間點T4時,前方交通工具400從車道B5切換到車道B4。在時間點T5時,前方交通工具400從車道B4切換到車道B3。假設時間點T1~T5是一短的時間段,則前方交通工具400之行車軌跡指出前方交通工具400在短時間內多次切換車道。換句話說,前方交通工具400正進行危險駕駛。
在取得前方交通工具400的行車軌跡後,本地電子裝置100的處理器110可根據行車軌跡產生行車軌跡矩陣。接著,本地電子裝置100可通過收發器130將行車軌跡矩陣上傳至遠程電子裝置200,從而遠程電子裝置200得以根據行車軌跡矩陣判斷前方交通工具400的危險等級。行車軌跡矩陣關聯於多個時間點以及前方交通工具400在所述多個時間點所在的車道。舉例來說,如圖4B所示的行車軌跡可被處理器110轉換為如圖5所示的行車軌跡矩陣51。在本實施例中,行車軌跡矩陣51的第i列(row)對應於圖4B的時間點T(|i-(m+1)|),且行車軌跡矩陣51的第j行(column)對應於圖4B的車道B(j),其中m代表行車軌跡矩陣51的列數(即:m=5)。舉例來說,在時間點T1時,前方交通工具400位於車道B3。因此,處理器110在行車軌跡矩陣51的第5列(對應於時間點T1)第3行(對應於車道B3)填入代表前方交通工具400所在的「1」,並且對行車軌跡矩陣51的第5列的其他行進行填零(zerofill)。
行車軌跡矩陣51的尺寸可被動態地調整。若行車預警系統10想要遠程電子裝置200根據更長期的資訊來判斷前方交通工具400的危險等級,則本地電子裝置100的處理器110可增加行車軌跡矩陣51的列,使得行車軌跡矩陣51關聯於更多的時間點。換句話說,處理器110可將用於取樣行車軌跡矩陣51中的元素的時間窗格加大。相對來說,若行車預警系統10想要遠程電子裝置200根據更短期的資訊來判斷前方交通工具400的危險等級,則本 地電子裝置100的處理器110可減少行車軌跡矩陣51的列,使得行車軌跡矩陣51關聯於更少的時間點。換句話說,處理器110可將用於取樣行車軌跡矩陣51中的元素的時間窗格減小。舉例來說,處理器110可減少行車軌跡矩陣51的列以將行車軌跡矩陣51調整為如表1所示的4×5的行車軌跡矩陣。如此,則行車軌跡矩陣51僅包括時間點T2~T5的資訊,而不包括最早的時間點T1的資訊。
Figure 108125821-A0305-02-0012-1
另一方面,行車軌跡矩陣51的行數即為偵測區域40包括的車道數量。換句話說,當偵測區域40的預設尺寸不同時,處理器110所產生行車軌跡矩陣51的行數也會不同。
在產生完行車軌跡矩陣51後,本地電子裝置100的處理器110可通過收發器130將行車軌跡矩陣51連同相關資訊上傳至遠程電子裝置200,其中所述相關資訊可包括前方交通工具400的車牌資訊、對應行車軌跡矩陣51所關聯之時間點的時間戳記、交通工具300或前方交通工具400的地理位置資訊,以及本地電子裝置100的識別碼等資訊。由於遠程電子裝置200可接收來自不同本地電子裝置所上傳的資料,因此遠程電子裝置200需通過本地電子裝置100的識別碼來判斷行車軌跡矩陣51的上傳者為本地 電子裝置100。為了保護前方交通工具400的隱私,前方交通工具400之的車牌資訊需要以一雜湊值的形式呈現。本地電子裝置100的處理器110需根據前方交通工具400之車牌影像建立對應的雜湊值。本地電子裝置100可通過將所述雜湊值上傳至遠程電子裝置200以在不侵犯前方交通工具400之隱私的情況下指出前方交通工具400的身分。
遠程電子裝置200的處理器210可通過收發器230接收行車軌跡矩陣51以及前述的相關資訊。接著,處理器210可根據行車軌跡矩陣51以及神經網路221判斷前方交通工具400的危險等級。更具體來說,除了行車軌跡矩陣51之外,處理器210更根據對應於前方交通工具400但不同於行車軌跡矩陣51的其他行車軌跡矩陣來判斷前方交通工具400的危險等級。所述其他行車軌跡矩陣例如是由安裝於不同於交通工具300之交通工具中的本地電子裝置所上傳。
處理器210可根據行車軌跡矩陣51以及神經網路221判斷前方交通工具400是否正進行危險駕駛。圖5根據本發明的實施例繪示由神經網路221將行車軌跡矩陣51轉換為特徵矩陣53的示意圖。神經網路221的卷積層(convolution layer)可利用卷積核(convolution kernel)52對行車軌跡矩陣51進行卷積以產生特徵矩陣53。卷積核52例如是代表危險行車軌跡的其中之一種態樣的矩陣,但本發明不限於此。舉例來說,卷積核52可以是代表正常(安全)行車軌跡的其中之一種態樣的矩陣。在本實施例中, 特徵矩陣53的第(i,j)個元素C(i,j),如公式(1)所示:
Figure 108125821-A0305-02-0014-4
其中「m」為卷積核52的列數(即:m=3),「n」為卷積核52的行數(即:n=3),「A(x,y)」代表行車軌跡矩陣51的第(x,y)個元素,並且「B(x,y)」代表卷積核52的第(x,y)個元素。
在取得特徵矩陣53後,神經網路221可降低特徵矩陣53的維度以使計算過程更有效率。圖6根據本發明的實施例繪示由神經網路221對特徵矩陣53進行池化和平坦化的示意圖。神經網路221的池化層(pooling layer)可對特徵矩陣53實施最大池化(max pooling)以降低特徵矩陣53的維度。舉例來說,池化層可將特徵矩陣53區分成數個子區域,分別為子區域61、子區域62、子區域63以及子區域64。接著,池化層可取出每個子區域中的最大數值以產生維度較低的特徵矩陣54。在將特徵矩陣54輸入至神經網路221的全連接層之前,神經網路221可對特徵矩陣54實施平坦化(flattening),以產生一維特徵矩陣55。
圖7根據本發明的實施例繪示由神經網路221判斷前方交通工具400是否正進行危險駕駛的示意圖。神經網路221可將一維特徵矩陣55輸入至全連接層,藉以利用全連接層的判斷結果將前方交通工具400的行車軌跡分類為危險行車軌跡或正常行車軌跡,進而計算出前方交通工具400的危險等級。於另一實施例 中,全連接層中有多層的多個神經元,全連接層藉由每個神經元分類一維特徵矩陣55其為危險駕駛軌跡或是正常駕駛軌跡。於一實施例中,每個神經元可判斷一維特徵矩陣55與危險駕駛軌跡或是正常駕駛軌跡的相似程度,並給予相似分數,並經由相似分數而分類,於此實施例中,全連接層中的多個神經元可事先訓練為自一維特徵矩陣55抽取相關特徵而判斷前方交通工具400的行車軌跡是否與危險駕駛軌跡相像的神經元,於另一實施例中,多個神經元可事先訓練為自一維特徵矩陣55抽取相關特徵而判斷前方交通工具400的行車軌跡是否與正常駕駛軌跡相像的神經元。
值得注意的是,一維特徵矩陣55僅對應於單一個卷積核52。換句話說,神經網路221僅能根據一維特徵矩陣55識別出單一種危險行車軌跡。若要使神經網路221的判斷結果更加準確,則神經網路221需要利用代表不同危險行駛軌跡之態樣的卷積核來對行車軌跡矩陣51進行卷積,以產生多個相對應的一維特徵矩陣。
圖8A根據本發明的實施例繪示對應於危險行車軌跡之卷積核的示意圖。舉例來說,神經網路221可利用如圖8A所示的對應於危險行車軌跡的多個卷積核81中的兩個來對行車軌跡矩陣51進行卷積以分別產生一維特徵矩陣551以及一維特徵矩陣552。圖8B根據本發明的實施例繪示對應於正常行車軌跡之卷積核的示意圖。在一實施例中,神經網路221可利用如8B所示的對應於正常行車軌跡的多個卷積核82中的三個來對行車軌跡矩陣51進 行卷積以分別產生一維特徵矩陣55、一維特徵矩陣551以及一維特徵矩陣552。
神經網路221可根據由不同的本地電子裝置(包括本地電子裝置100以及與本地電子裝置100具有相同功能的其他本地電子裝置)所上傳的多個行車軌跡矩陣來產生分別對應於所述多個行車軌跡矩陣的多個判斷結果。而後,神經網路221可根據所述多個判斷結果來計算前方交通工具400的危險等級。換句話說,神經網路221是根據由不同交通工具所觀察到之前方交通工具400的多個行車軌跡來判斷前方交通工具400的危險等級。神經網路221可根據公式(2)來計算前方交通工具400的危險等級。
Figure 108125821-A0305-02-0016-5
其中DL為危險等級,DT為對應於危險行車軌跡之判斷結果的數量,並且DN為所有判斷結果的數量(包括對應於危險行車軌跡或正常行車軌跡的判斷結果)。
舉例來說,假設除了接收由交通工具300中的本地電子裝置100所上傳的行車軌跡矩陣51外,遠程電子裝置200還接收了由其他交通工具中的本地電子裝置所上傳的行車軌跡矩陣,則遠程電子裝置200可通過神經網路221產生分別對應於不同行車軌跡矩陣的多個判斷結果,如表2所示。
表2
Figure 108125821-A0305-02-0017-3
遠程電子裝置200的處理器210可根據預設的時間窗口來決定用以計算危險等級的判斷結果的數量。舉例來說,假設時間窗口被預設為「3」,則處理器210根據最新上傳的三個判斷結果(即:分別對應於時間戳記09:11、09:12以及09:13的判斷結果)來計算前方交通工具400的危險等級DL,如公式(3)所示。
Figure 108125821-A0305-02-0017-6
其中「2」代表分別對應於時間戳記09:11和09:13的判斷結果(即:對應於危險行車軌跡的判斷結果)的數量,並且「3」代表分別對應於時間戳記09:11至09:13的判斷結果的數量。
遠程電子裝置200的處理器210可基於危險等級DL超過一閾值(例如:50%)而通過收發器230發送警示訊息給本地電子裝置100。在一實施例中,遠程電子裝置200的處理器210可通過收發器230發送危險等級DL給本地電子裝置100。
在一實施例中,時間窗口內可能包括對應於相同上傳者的判斷結果。舉例來說,若時間窗口被預設為「5」,則時間窗口中對應於時間戳記09:09和09:12的上傳者均為交通工具C,其中 對應於時間戳記09:09的判斷結果根據由交通工具C較早上傳的行車軌跡矩陣計算而得,並且對應於時間戳記09:12的判斷結果是根據交通工具C較晚上傳的行車軌跡矩陣計算而得。在這種情況下,處理器210會將較早上傳的行車軌跡矩陣或其對應的判斷結果視為無效的資料,而優先以產生時間點較晚的行車軌跡矩陣計算危險等級。因此,在計算前方交通工具400的危險等級之前,處理器210會先判斷時間窗口中對應於09:09的判斷結果為無效的資料。據此,處理器210將僅根據四個判斷結果(即:分別對應於時間戳記09:10、09:11、09:12和09:13的判斷結果)來計算危險等級。
在一實施例中,遠程電子裝置200的儲存媒體220可預存關於前方交通工具400的歷史駕駛紀錄。當遠程電子裝置200的處理器210需要計算前方交通工具400的危險等級時,處理器210可根據歷史駕駛紀錄計算危險等級,使得所計算的危險等級更加準確。另一方面,處理器210也可以直接從前方交通工具400的歷史駕駛紀錄判斷前方交通工具400的危險等級。如此,可省略計算危險等級的流程,而使處理器210更加快速地判斷出前方交通工具400的危險等級。
在一實施例中,在遠程電子裝置200自本地電子裝置100接收到對應於前方交通工具400的地理位置資訊後,遠程電子裝置200可響應於前方交通工具400對應的所述地理位置資訊具有關聯於前方交通工具400的危險駕駛紀錄而通過收發器230發出 警示訊息至本地電子裝置100。而後,本地電子裝置100的處理器110可通過輸出裝置150輸出警示訊息以提示駕駛注意前方交通工具400。換句話說,行車預警系統10可根據前方交通工具400的危險等級或危險駕駛記錄等多種因素來判斷是否發出警示訊息。在一實施例中,處理器110會基於危險等級的不同而使用不同的方式輸出警示訊息。舉例來說,若危險等級較高(例如:高於75%),則輸出裝置150可發出紅色的燈號來提示駕駛注意前方交通工具400。若危險等級較低(例如:介於25%至75%之間),則輸出裝置150可發出黃色的燈號來提示駕駛注意前方交通工具400。
圖9根據本發明的實施例繪示一種行車預警方法的示意圖,其中所述行車預警方法可由如圖1所示的行車預警系統10、本地電子裝置100或遠程電子裝置200中的至少其中之一實施。在步驟S901中,由本地電子裝置取得前方交通工具的行車軌跡。在步驟S902中,由本地電子裝置根據行車軌跡產生行車軌跡矩陣。在步驟S903中,由遠程電子裝置根據行車軌跡矩陣以及神經網路判斷前方交通工具的危險等級。在步驟S904中,由遠程電子裝置根據危險等級發出警示訊息或危險等級至本地電子裝置。
圖10根據本發明的實施例繪示一種行車預警方法的流程圖,其中所述行車預警方法可由如圖2所示的本地電子裝置100實施。在步驟S101中,取得前方交通工具的行車軌跡。在步驟S102中,根據行車軌跡產生行車軌跡矩陣。在步驟S103中,根據行車軌跡對應的危險等級發出警示訊息。
綜上所述,本發明的行車預警方法可使交通工具通過影像辨識技術準確地判斷前方交通工具的行車軌跡,並將與行車軌跡相關的資訊上傳至遠程電子裝置(例如:雲端伺服器)。遠程電子裝置可通過神經網路以及所述資訊來判斷前方交通工具的危險等級,並且在危險等級過高時發出警示訊息給交通工具的駕駛,提醒駕駛與前方交通工具保持適當的距離。行車軌跡相關的資訊可以簡易的用矩陣的形式呈現。如此,不僅交通工具中的本地電子裝置與遠程電子裝置可以更快的速率交換行車軌跡相關的資訊,遠程電子裝置也可以使用較少的運算量而快速地計算出危險等級。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S901、S902、S903、S904:步驟

Claims (20)

  1. 一種行車預警方法,適用於交通工具中的本地電子裝置,包括: 取得前方交通工具的行車軌跡; 根據所述行車軌跡產生行車軌跡矩陣;以及 根據所述行車軌跡矩陣對應的危險等級發出警示訊息。
  2. 如申請專利範圍第1項所述的行車預警方法,其中所述行車軌跡矩陣關聯於多個時間點以及所述前方交通工具在所述多個時間點時所在的車道。
  3. 如申請專利範圍第1項所述的行車預警方法,更包括: 由遠程電子裝置根據所述行車軌跡矩陣判斷所述前方交通工具的所述危險等級,包括: 用卷積核對所述行車軌跡矩陣進行卷積,以產生特徵矩陣; 根據所述特徵矩陣計算所述危險等級;以及 傳送所述危險等級或所述警示訊息至所述本地電子裝置。
  4. 如申請專利範圍第2項所述的行車預警方法,其中取得所述前方交通工具的所述行車軌跡的步驟包括: 響應於所述前方交通工具的車牌影像不在偵測區域之中而判斷最接近所述車牌影像的車道為所述前方交通工具所在的第一車道。
  5. 如申請專利範圍第3項所述的行車預警方法,其中由所述遠程電子裝置根據所述行車軌跡矩陣判斷所述前方交通工具的所述危險等級的步驟更包括: 取得對應於所述前方交通工具的第二行車軌跡矩陣;以及 根據所述行車軌跡矩陣、所述第二行車軌跡矩陣以及神經網路判斷所述前方交通工具的所述危險等級。
  6. 如申請專利範圍第5項所述的行車預警方法,其中根據所述行車軌跡矩陣、所述第二行車軌跡矩陣以及所述神經網路判斷所述前方交通工具的所述危險等級的步驟包括: 由所述神經網路產生分別對應於多個行車軌跡矩陣的多個判斷結果,其中所述多個行車軌跡矩陣包括所述行車軌跡矩陣以及所述第二行車軌跡矩陣,並且所述第二行車軌跡矩陣對應於不同於所述交通工具的第二交通工具; 計算對應於危險行車軌跡之判斷結果的數量以作為所述危險等級的分子;以及 計算所述多個判斷結果的數量以作為所述危險等級的分母。
  7. 如申請專利範圍第5項所述的行車預警方法,其中根據所述行車軌跡矩陣、所述第二行車軌跡矩陣以及所述神經網路判斷所述前方交通工具的所述危險等級的步驟包括: 響應於所述行車軌跡矩陣以及所述第二行車軌跡矩陣於相同的所述交通工具產生,優先以產生時間點較晚的所述行車軌跡矩陣或所述第二行車軌跡矩陣計算所述危險等級。
  8. 如申請專利範圍第1項所述的行車預警方法,更包括: 響應於所述前方交通工具對應的地理位置資訊具有關聯的危險駕駛紀錄而發出所述警示訊息。
  9. 如申請專利範圍第1項所述的行車預警方法,更包括: 取得所述前方交通工具的車牌影像; 建立對應於所述車牌影像的雜湊值;以及 將所述雜湊值上傳至遠程電子裝置以辨識所述前方交通工具。
  10. 如申請專利範圍第1項所述的行車預警方法,其中取得所述前方交通工具的所述行車軌跡的步驟包括: 追蹤所述前方交通工具的車牌影像以產生所述行車軌跡。
  11. 一種行車預警系統,包括: 本地電子裝置;以及 遠程電子裝置,其中 所述本地電子裝置取得前方交通工具的行車軌跡,根據所述行車軌跡產生行車軌跡矩陣,並且上傳所述行車軌跡矩陣至遠程電子裝置,其中 所述遠程電子裝置根據所述行車軌跡矩陣以及神經網路判斷所述前方交通工具的危險等級,並且根據所述危險等級發出警示訊息或所述危險等級至所述本地電子裝置。
  12. 如申請專利範圍第11項所述的行車預警系統,其中所述遠程電子裝置用卷積核對所述行車軌跡矩陣進行卷積,以產生特徵矩陣,根據所述特徵矩陣計算所述危險等級,並且傳送所述危險等級或所述警示訊息至所述本地電子裝置。
  13. 如申請專利範圍第12項所述的行車預警系統,其中所述遠程電子裝置取得對應於所述前方交通工具的第二行車軌跡矩陣,並且根據所述行車軌跡矩陣、所述第二行車軌跡矩陣以及所述神經網路判斷所述前方交通工具的所述危險等級。
  14. 如申請專利範圍第11項所述的行車預警系統,其中所述本地電子裝置取得所述前方交通工具的車牌影像,建立對應於所述車牌影像的雜湊值,將所述雜湊值上傳至所述遠程電子裝置以辨識所述前方交通工具,並且響應於所述前方交通工具對應的地理位置資訊具有關聯的危險駕駛紀錄而發出所述警示訊息。
  15. 一種用於行車預警的電子裝置,包括: 收發器; 輸出裝置; 資料收集裝置;以及 處理器,耦接所述收發器、所述輸出裝置以及所述資料收集裝置,其中所述處理器經配置以執行: 通過所述資料收集裝置取得前方交通工具的行車軌跡; 根據所述行車軌跡產生行車軌跡矩陣; 通過所述收發器上傳所述行車軌跡矩陣,並且接收對應於所述前方交通工具的危險等級或警示訊息;以及 通過所述輸出裝置輸出所述危險等級或所述警示訊息。
  16. 如申請專利範圍第15項所述的電子裝置,其中所述行車軌跡矩陣關聯於多個時間點以及所述前方交通工具在所述多個時間點時所在的車道。
  17. 如申請專利範圍第16項所述的電子裝置,其中所述處理器響應於所述前方交通工具的車牌影像不在偵測區域之中而判斷最接近所述車牌影像的車道為所述前方交通工具所在的第一車道。
  18. 如申請專利範圍第15項所述的電子裝置,其中所述處理器響應於所述前方交通工具對應的地理位置資訊具有關聯的危險駕駛紀錄而通過所述輸出裝置發出所述警示訊息。
  19. 如申請專利範圍第15項所述的電子裝置,其中所述處理器更經配置以執行: 通過所述資料收集裝置取得所述前方交通工具的車牌影像; 建立對應於所述車牌影像的雜湊值;以及 通過所述收發器將所述雜湊值上傳至遠程電子裝置以辨識所述前方交通工具。
  20. 如申請專利範圍第15項所述的電子裝置,其中所述處理器通過所述資料收集裝置追蹤所述前方交通工具的車牌影像以產生所述行車軌跡。
TW108125821A 2019-07-22 2019-07-22 行車預警系統、行車預警方法及使用所述方法的電子裝置 TWI705016B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW108125821A TWI705016B (zh) 2019-07-22 2019-07-22 行車預警系統、行車預警方法及使用所述方法的電子裝置
CN201910777533.3A CN112258878B (zh) 2019-07-22 2019-08-22 行车预警系统、行车预警方法及使用所述方法的电子装置
US16/568,211 US10991252B2 (en) 2019-07-22 2019-09-11 Driving alarm system, driving alarm method and electronic device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108125821A TWI705016B (zh) 2019-07-22 2019-07-22 行車預警系統、行車預警方法及使用所述方法的電子裝置

Publications (2)

Publication Number Publication Date
TWI705016B true TWI705016B (zh) 2020-09-21
TW202103993A TW202103993A (zh) 2021-02-01

Family

ID=74091477

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108125821A TWI705016B (zh) 2019-07-22 2019-07-22 行車預警系統、行車預警方法及使用所述方法的電子裝置

Country Status (3)

Country Link
US (1) US10991252B2 (zh)
CN (1) CN112258878B (zh)
TW (1) TWI705016B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113276765A (zh) * 2020-01-31 2021-08-20 神达数位股份有限公司 行车警示方法及系统与计算机程序产品
FR3131260A1 (fr) * 2021-12-24 2023-06-30 Renault Dispositif et procédé d’évaluation d’un système d’aide à la conduite pour véhicule automobile, le système d’aide à la conduite mettant en œuvre un réseau neuronal artificiel

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5966074A (en) * 1996-12-17 1999-10-12 Baxter; Keith M. Intruder alarm with trajectory display
US8369967B2 (en) * 1999-02-01 2013-02-05 Hoffberg Steven M Alarm system controller and a method for controlling an alarm system
CN107862287A (zh) * 2017-11-08 2018-03-30 吉林大学 一种前方小区域物体识别及车辆预警方法
CN108597251A (zh) * 2018-04-02 2018-09-28 昆明理工大学 一种基于车联网的交通路口分布式车辆碰撞预警方法
TWM570495U (zh) * 2018-08-31 2018-11-21 關貿網路股份有限公司 行車環境風險預測與告警系統
CN109375245A (zh) * 2018-11-08 2019-02-22 中交第公路勘察设计研究院有限公司 基于高精度定位的风险短临预警车载终端

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6832153B2 (en) * 2002-11-27 2004-12-14 Mobilearia Method and apparatus for providing information pertaining to vehicles located along a predetermined travel route
US7729857B2 (en) * 2005-08-18 2010-06-01 Gm Global Technology Operations, Inc. System for and method of detecting a collision and predicting a vehicle path
EP2085279B1 (en) * 2008-01-29 2011-05-25 Ford Global Technologies, LLC A system for collision course prediction
CN102295004B (zh) * 2011-06-09 2013-07-03 中国人民解放军国防科学技术大学 一种车道偏离预警方法
DE102011081892A1 (de) * 2011-08-31 2013-02-28 Robert Bosch Gmbh Verfahren zur Fahrspur-Überwachung und Fahrspur-Überwachungssystem für ein Fahrzeug
KR101581188B1 (ko) * 2013-12-31 2016-01-11 경희대학교 산학협력단 차선변경 경보 장치
CN104751678B (zh) * 2013-12-31 2017-09-15 中国移动通信集团公司 一种对故障车辆引发的交通冲突进行监测的方法和设备
CN103871242B (zh) * 2014-04-01 2015-09-09 北京工业大学 一种驾驶行为综合评价系统与方法
CN103942960B (zh) * 2014-04-22 2016-09-21 深圳市宏电技术股份有限公司 一种车辆变道检测方法及装置
CN104200689A (zh) * 2014-08-28 2014-12-10 长城汽车股份有限公司 一种道路预警方法及装置
JP6289669B2 (ja) * 2014-11-27 2018-03-07 日立オートモティブシステムズ株式会社 車両走行制御装置
EP3141926B1 (en) * 2015-09-10 2018-04-04 Continental Automotive GmbH Automated detection of hazardous drifting vehicles by vehicle sensors
US10460600B2 (en) * 2016-01-11 2019-10-29 NetraDyne, Inc. Driver behavior monitoring
DE102016000943B4 (de) * 2016-01-28 2023-09-07 Zf Automotive Germany Gmbh Steuerungssystem und Steuerungsverfahren zum Ermitteln einer Wahrscheinlichkeit einer bevorstehenden Kollision eines Fahrzeugs
CN106184220B (zh) * 2016-06-30 2018-08-21 南京航空航天大学 一种基于车辆定位轨迹的车道内异常驾驶检测方法
CN107798749A (zh) * 2016-09-07 2018-03-13 国民技术股份有限公司 车辆及其识别系统、方法及智能管理系统
CN106553655B (zh) * 2016-12-02 2019-11-15 深圳地平线机器人科技有限公司 危险车辆检测方法和系统以及包括该系统的车辆
CN107341441B (zh) * 2017-05-16 2020-05-08 开易(北京)科技有限公司 应用于高级驾驶辅助系统内的行人碰撞警告系统及方法
CN107672551B (zh) * 2017-09-20 2020-07-17 杭州奥腾电子股份有限公司 一种前车防撞预警系统及其控制方法
CN107862268A (zh) * 2017-10-30 2018-03-30 深圳市易成自动驾驶技术有限公司 环视车道线识别方法、装置及计算机可读存储介质
CN107826118B (zh) * 2017-11-01 2019-08-30 南京阿尔特交通科技有限公司 一种判别异常驾驶行为的方法及装置
WO2019099413A1 (en) * 2017-11-14 2019-05-23 AWARE Technologies Systems and methods for moving object predictive locating, reporting, and alerting
CN111226269A (zh) * 2017-11-17 2020-06-02 爱信艾达株式会社 车辆驾驶辅助系统、车辆驾驶辅助方法以及车辆驾驶辅助程序
KR102031635B1 (ko) * 2017-12-07 2019-10-14 (주)캠시스 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
CN108229338B (zh) * 2017-12-14 2021-12-21 华南理工大学 一种基于深度卷积特征的视频行为识别方法
JP6973930B2 (ja) * 2017-12-18 2021-12-01 日産自動車株式会社 運転支援方法及び運転支援装置
US11189171B2 (en) * 2018-03-13 2021-11-30 Nec Corporation Traffic prediction with reparameterized pushforward policy for autonomous vehicles
CN110033621B (zh) * 2019-05-22 2021-01-29 北京经纬恒润科技股份有限公司 一种危险车辆检测方法、装置及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5966074A (en) * 1996-12-17 1999-10-12 Baxter; Keith M. Intruder alarm with trajectory display
US8369967B2 (en) * 1999-02-01 2013-02-05 Hoffberg Steven M Alarm system controller and a method for controlling an alarm system
CN107862287A (zh) * 2017-11-08 2018-03-30 吉林大学 一种前方小区域物体识别及车辆预警方法
CN108597251A (zh) * 2018-04-02 2018-09-28 昆明理工大学 一种基于车联网的交通路口分布式车辆碰撞预警方法
TWM570495U (zh) * 2018-08-31 2018-11-21 關貿網路股份有限公司 行車環境風險預測與告警系統
CN109375245A (zh) * 2018-11-08 2019-02-22 中交第公路勘察设计研究院有限公司 基于高精度定位的风险短临预警车载终端

Also Published As

Publication number Publication date
US10991252B2 (en) 2021-04-27
CN112258878A (zh) 2021-01-22
US20210027630A1 (en) 2021-01-28
CN112258878B (zh) 2022-03-01
TW202103993A (zh) 2021-02-01

Similar Documents

Publication Publication Date Title
US10740658B2 (en) Object recognition and classification using multiple sensor modalities
US10540554B2 (en) Real-time detection of traffic situation
US20210232147A1 (en) Trajectory representation in behavior prediction systems
US9180814B2 (en) Vehicle rear left and right side warning apparatus, vehicle rear left and right side warning method, and three-dimensional object detecting device
US10269242B2 (en) Autonomous police vehicle
US11673550B2 (en) Agent prioritization for autonomous vehicles
EP4152204A1 (en) Lane line detection method, and related apparatus
CN106255899B (zh) 用于将对象用信号通知给配备有此装置的车辆的导航模块的装置
WO2021063006A1 (zh) 驾驶预警方法、装置、电子设备和计算机存储介质
US20170200061A1 (en) Driver behavior monitoring
TWI705016B (zh) 行車預警系統、行車預警方法及使用所述方法的電子裝置
US10336252B2 (en) Long term driving danger prediction system
KR20210038852A (ko) 조기 경보 방법, 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체 및 컴퓨터 프로그램
WO2021059714A1 (ja) 占有グリッドマップ生成装置、占有グリッドマップ生成システム、占有グリッドマップ生成方法、およびプログラム
JP4521642B2 (ja) 車両周辺監視装置、車両、車両周辺監視プログラム
US11538343B2 (en) Automatic warning of atypical audio indicating a transport event
JP2020077414A (ja) シーン検出装置及び方法
JP7051424B2 (ja) 異常検出装置
Alpar et al. Intelligent collision warning using license plate segmentation
US20210323577A1 (en) Methods and systems for managing an automated driving system of a vehicle
TWI646000B (zh) 自動駕駛接管之安全警示系統及其方法
Das et al. Multivariate analysis on dynamic car-following data of non-lane-based traffic environments
US20240001935A1 (en) Driving skill evaluation system, information processing device, vehicle, and non-transitory computer-readable storage medium
US20220126865A1 (en) Layered architecture for availability of advanced driver assistance features
JP5747593B2 (ja) 規範車速算出装置及びプログラム