TWI803329B - 駕駛輔助系統以及駕駛輔助方法 - Google Patents

Abstract

本發明是有關於一種駕駛輔助系統以及駕駛輔助方法。駕駛輔助系統包括多個影像擷取裝置、壅塞運算模組以及判斷模組。所述多個影像擷取裝置擷取目標車道的多個路段的多個區域影像。壅塞運算模組依據所述多個區域影像運算出對應於所述多個路段的多個壅塞程度。判斷模組依據所述多個壅塞程度提供車輛車道切換訊息。

Description

駕駛輔助系統以及駕駛輔助方法

本發明是有關於一種駕駛輔助系統以及駕駛輔助方法，且特別是有關於一種依據實際路況來對車輛進行導航的駕駛輔助系統以及駕駛輔助方法。

現行用於車輛的駕駛輔助系統可分為半自動駕駛系統（如，Level 2、Level 3駕駛系統）以及自動駕駛系統（如，Level 4駕駛系統）。關於半自動駕駛系統，在車輛變換至目標車道時，仍需要駕駛者來目測目標車道的壅塞狀況來判斷是否能夠將車輛由目前車道切換至目標車道。

自動駕駛系統能夠自行控制自駕車由目前車道行駛至目標車道。然而，自駕車系統會因為目標車道過於壅塞而無法使自駕車順利更換車道，從而錯失原定較短的行駛路徑並重新規劃較長的行駛路徑。

由此可知，不論駕駛輔助系統的類別，目標車道的壅塞狀況會影響車輛更換車道的結果。因此，如何依據目標車道的壅塞狀況來提供車輛及早由目前車道行駛至目標車道的訊息，是本領域技術人員的研究重點之一。

本發明提供一種依據目標車道的壅塞狀況來對車輛進行導航的駕駛輔助系統以及駕駛輔助方法。

本發明的駕駛輔助系統用於導航車輛。駕駛輔助系統包括多個影像擷取裝置、壅塞運算模組以及判斷模組。所述多個影像擷取裝置擷取目標車道的多個路段的多個區域影像。壅塞運算模組從所述多個影像擷取裝置接收所述多個區域影像，並依據所述多個區域影像運算出對應於所述多個路段的多個壅塞程度。判斷模組從壅塞運算模組接收所述多個壅塞程度，並依據所述多個壅塞程度提供車輛車道切換訊息。

本發明的駕駛輔助方法用於導航車輛。駕駛輔助方法包括：由多個影像擷取裝置擷取目標車道的多個路段的多個區域影像；依據所述多個區域影像運算出對應於所述多個路段的多個壅塞程度；以及依據所述多個壅塞程度對車輛提供車道切換訊息。

基於上述，本發明的駕駛輔助系統以及駕駛輔助方法依據所述多個區域影像運算出對應於所述多個路段的多個壅塞程度，依據所述多個壅塞程度來對車輛提供車道切換訊息。如此一來，依據車道切換訊息，所述車輛能夠在壅塞狀況較不嚴重的路段由目前車道行駛至目標車道。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

請參考圖1，圖1是依據本發明一實施例所繪示的情境示意圖。在本實施例中，駕駛輔助系統100用於對車輛VH進行導航。駕駛輔助系統100包括影像擷取裝置110_1~110_4、壅塞運算模組120以及判斷模組130。影像擷取裝置110_1~110_4擷取目標車道TL的路段RG1~RG4的區域影像RM1~RM4。以本實施例為例，目標車道TL是快速道路或高速公路的出口車道。影像擷取裝置110_1被設置於不同的多個路旁位置。各個路旁位置互相距離數十公尺至數百公尺。舉例來說，影像擷取裝置110_1擷取路段RG1的區域影像RM1，影像擷取裝置110_2擷取路段RG2的區域影像RM2，影像擷取裝置110_3擷取路段RG3的區域影像RM3，影像擷取裝置110_4擷取路段RG4的區域影像RM4。

在本實施例中，壅塞運算模組120與影像擷取裝置110_1~110_4進行通訊以從影像擷取裝置110_1~110_4接收區域影像RM1~RM4。壅塞運算模組120依據區域影像RM1~RM4運算出對應於路段RG1~RG4的壅塞程度MG1~MG4。判斷模組130與壅塞運算模組120進行通訊以從壅塞運算模組120接收壅塞程度MG1~MG4。判斷模組130依據壅塞程度MG1~MG4提供車輛VH車道切換訊息CMG。

在此值得一提的是，駕駛輔助系統100接收目標車道TL的路段RG1~RG4的區域影像RM1~RM4。駕駛輔助系統100依據區域影像RM1~RM4運算出對應於路段RG1~RG4的壅塞程度MG1~MG4，並依據壅塞程度MG1~MG4提供車輛VH車道切換訊息CMG。也就是說，車輛VH所接收到的車道切換訊息CMG關聯於目標車道TL的路段RG1~RG4的實際壅塞狀況。駕駛輔助系統100能夠依據目標車道TL的壅塞狀況來提供車輛VH車道切換訊息CMG，藉此及早由目前車道CL行駛至目標車道TL。如此一來，基於車道切換訊息CMG，車輛VH能夠在壅塞狀況較不嚴重的路段由目前車道CL行駛至目標車道TL，而提高行車安全。

以本實施例為例，壅塞運算模組120依據區域影像RM1運算出對應於路段RG1的壅塞程度MG1；壅塞運算模組120依據區域影像RM2運算出對應於路段RG2的壅塞程度MG2；壅塞運算模組120依據區域影像RM3運算出對應於路段RG3的壅塞程度MG3。此外，壅塞運算模組120還依據區域影像RM4運算出對應於路段RG4的壅塞程度MG4。在本發明實施例中，路段RG1、RG2發生塞車的壅塞狀況，路段RG3、RG4並沒有發生塞車的壅塞狀況。判斷模組130反應於壅塞程度MG1~MG4對車輛VH提供車道切換訊息CMG。因此，車輛VH能夠依據車道切換訊息CMG而及早在路段RG3、RG4的其中之一由目前車道CL行駛至目標車道TL。

在本實施例中，影像擷取裝置110_1~110_4可以被設置於不同的路側設施（Road Side Unit，RSU，或稱路側單元）RSU1~RSU4。舉例來說，影像擷取裝置110_1被設置於路側設施RSU1；影像擷取裝置110_2被設置於路側設施RSU2，依此類推。路側設施RSU1~RSU4分別例如是設置於路旁的路燈、交通訊號燈、任意路標以及交通號誌的其中之一。影像擷取裝置110_1~110_4分別例如以照相機以及攝影機的其中之一來實現。

在本實施例中，駕駛輔助系統100以4個影像擷取裝置110_1~110_4來示例。然本發明的影像擷取裝置的數量並不以本實施例為限。本發明的影像擷取裝置的數量可以是多個。本發明的影像擷取裝置的數量可基於實際的使用需求來設計。

在本實施例中，壅塞運算模組120可以被設置於路側設施以及判斷模組130的外部。壅塞運算模組120以及判斷模組130分別例如是至少一個中央處理單元（Central Processing Unit，CCU），或是其他可程式化之一般用途或特殊用途的至少一個微處理器（Microprocessor）、至少一個數位訊號處理器（Digital Signal Processor，DSP）、至少一個可程式化控制器、至少一個特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、至少一個可程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似裝置或這些裝置的組合，其可載入並執行電腦程式。

在一些實施例中，壅塞運算模組120可以是第一伺服器或第一主機。判斷模組130可以是第二伺服器或第二主機。

在一些實施例中，壅塞運算模組120可以被設置於路側設施RSU1~RSU4的至少其中之一的內部。

請同時參考圖1以及圖2，圖2是依據本發明一實施例所繪示的駕駛輔助方法的流程圖。在本實施例中，駕駛輔助方法S100用於對車輛VH進行導航。駕駛輔助方法S100適用於駕駛輔助系統100。駕駛輔助方法S100包括步驟S110~S130。在步驟S110中，由影像擷取裝置110_1~110_4擷取目標車道TL的路段RG1~RG4的區域影像RM1~RM4。在步驟S120中，依據區域影像RM1~RM4運算出對應於路段RG1~RG4的壅塞程度MG1~MG4。在步驟S130中，依據壅塞程度MG1~MG4對車輛VH提供車道切換訊息CMG。在本實施例中，步驟S110~S130的實施細節可以在圖1的實施例中獲得足夠的教示，故不在此重述。

請同時參考圖1以及圖3，圖3是依據本發明一實施例所繪示的駕駛輔助系統的示意圖。在本實施例中，駕駛輔助系統200包括影像擷取裝置210_1~210_4、壅塞運算模組220以及判斷模組230。影像擷取裝置210_1~210_4擷取目標車道TL的路段RG1~RG4的區域影像RM1~RM4。影像擷取裝置210_1~210_4的設置方式以及實施細節相似於圖1的影像擷取裝置110_1~110_4的設置方式以及實施細節，故不再此重述。

在本實施例中，壅塞運算模組220依據區域影像RM1~RM4來產生光流（optical flow）資訊OFM1~OFM4。光流資訊OFM1對應於區域影像RM1；光流資訊OFM2對應於區域影像RM2；光流資訊OFM3對應於區域影像RM3；光流資訊OFM4對應於區域影像RM4。壅塞運算模組220依據區域影像RM1~RM4以及光流資訊OFM1~OFM4來計算出壅塞程度MG1~MG4。

在本實施例中，壅塞運算模組220包括運算單元221_1~221_4。運算單元221_1~221_4分別耦接於影像擷取裝置210_1~210_4。以本實施例為例，運算單元221_1耦接於影像擷取裝置210_1；運算單元221_2耦接於影像擷取裝置210_2，依此類推。運算單元221_1接收區域影像RM1，依據區域影像RM1來產生光流資訊OFM1，並依據區域影像RM1以及光流資訊OFM1來運算出壅塞程度MG1；運算單元221_2接收區域影像RM2，依據區域影像RM2來產生光流資訊OFM2，並依據區域影像RM2以及光流資訊OFM2來運算出壅塞程度MG2，依此類推。

運算單元221_1會依據區域影像RM1的紋理來判斷在目標車道TL的路段RG1上的車輛數量，並依據光流資訊OFM1來判斷在目標車道TL的路段RG1上的車速。運算單元221_1還依據紋理的複雜度以及OFM1的光流量來運算出壅塞程度MG1的壅塞值。運算單元221_2會依據區域影像RM2的紋理來判斷在目標車道TL的路段RG2上的車輛數量，並依據光流資訊OFM2來判斷在目標車道TL的路段RG2上的車速。運算單元221_2還依據紋理的複雜度以及OFM2的光流量來運算出壅塞程度MG2的壅塞值，依此類推。

路段RG1~RG4的紋理的複雜度與在目標車道TL的對應路段上的車輛數量呈正相關。光流量與在目標車道TL的對應路段上的車速呈正相關。因此，如果紋理的複雜度越高並且光流量越低，則對應的壅塞程度越高。在另一方面，如果紋理的複雜度越低並且光流量越高，則對應的壅塞程度就越低。

進一步來說明，請同時參考圖3以及圖4，圖4是依據本發明一實施例所繪示的運算單元的示意圖。在本實施例中，運算單元221_1包括光流資訊產生模組2211以及壅塞程度產生模組2212。光流資訊產生模組2211接收區域影像RM1，並依據區域影像RM1來計算出光流資訊OFM1。

舉例來說，光流資訊產生模組2211會擷取區域影像RM1中最近期的多幀圖片（如，區域影像RM1中最晚產生的90幀圖片，本發明並不以幀數為限）。光流資訊產生模組2211利用所述多幀圖片計算出對應所述多幀圖片的光流資訊OFM1。光流資訊產生模組可以是將區域影像RM1轉換為光流資訊OFM1的轉換電路或軟體。

壅塞程度產生模組2212耦接於光流資訊產生模組2211。壅塞程度產生模組2212接收區域影像RM1以及光流資訊OFM1。壅塞程度產生模組2212例如包括深度學習模型或類神經網路。深度學習模型例如是分類模型（如，AlextNet、Googlenet、Resnet、Mobilenet等模型）或物件偵測模型（如，Mask RCNN, SSD, Yolo4，Yolo5等模型）。

壅塞程度產生模組2212會擷取區域影像RM1的紋理來識別出在目標車道TL的路段RG1上的車輛數量。區域影像RM1的紋理關聯於在路段RG1上的車輛的輪廓以及顏色。因此，區域影像RM1的紋理越單純，壅塞程度產生模組2212會判斷出在路段RG1上的車輛越少。區域影像RM1的紋理越複雜，壅塞程度產生模組2212會判斷出在路段RG1上的車輛越多。

光流資訊OFM1的光流量關聯於在路段RG1上的車輛的移動速度。因此，光流資訊OFM1的光流量越小，壅塞程度產生模組2212會判斷出在路段RG1上的車速越慢。光流資訊OFM1的光流量越大，壅塞程度產生模組2212會判斷出在路段RG1上的車速越快。詳細地來說，壅塞程度產生模組2212依據紋理的複雜度以及光流資訊OFM1的光流量來運算出關聯於在路段RG1上的壅塞程度MG1的壅塞值。壅塞值例如是百分比值（如，0%~100%）。壅塞值越大，在路段RG1上的擁擠程度越嚴重。

在一實施例中，壅塞程度產生模組2212可以透過卷積（Convolution）網路來提取出區域影像RM1以及光流資訊OFM1的多個特徵，將所述多個特徵饋入Fully Connected Layer來進行分類，並進行Loss Function運算來獲得壅塞值。

請回到圖1以及圖3的實施例，以運算單元221_1為例，運算單元221_1與影像擷取裝置210_1可以被設置在路側設施RSU1中。在一些實施例中，運算單元221_1可以被設置在影像擷取裝置210_1。

在本實施例中，判斷模組230接收壅塞程度MG1~MG4。判斷模組230依據壅塞程度MG1~MG4的多個壅塞值來提供車道切換訊息CMG。判斷模組230能夠依據壅塞程度MG1~MG4的多個壅塞值來識別出路段RG1~RG4的當前壅塞程度，並據以提供車道切換訊息CMG。判斷模組230會基於一閾值來判斷壅塞程度MG1~MG4的多個壅塞值。舉例來說，閾值被設定為40%。壅塞程度MG1的壅塞值是90%。壅塞程度MG2的壅塞值是85%。壅塞程度MG3的壅塞值是10%。壅塞程度MG4的壅塞值是10%。壅塞程度MG1、MG2的壅塞值都高於閾值。壅塞程度MG3、MG4的壅塞值都低於閾值。因此，判斷模組230所提供的車道切換訊息CMG能夠通知車輛VH在路段RG3、RG4切換至目標車道TL。

在一些實施例中，判斷模組230還基於壅塞程度MG1~MG4來判斷出車輛VH在最接近壅塞路段的指定非壅塞路段，並通知車輛VH在指定非壅塞路段切換至目標車道TL。舉例來說，壅塞程度MG1、MG2的壅塞值都高於閾值。壅塞程度MG3、MG4的壅塞值都低於閾值。因此，判斷模組230會判斷出路段RG1、RG2是壅塞路段，路段RG3、RG4則是非壅塞路段。判斷模組230會將最接近壅塞路段的路段RG3作為指定非壅塞路段，並通知車輛VH在路段RG3切換至目標車道TL。

判斷模組230例如包括深度學習模型或類神經網路。深度學習模型例如是分類模型（如，AlextNet、Googlenet、Resnet、Mobilenet等模型）或物件偵測模型（如，Mask RCNN, SSD, Yolo4，Yolo5等模型）。

應注意的是，駕駛輔助系統100、200可適用於支援行車導航軟體、Level 2駕駛輔助系統、Level 3半自動駕駛系統以及自駕車系統的車道切換決策。駕駛輔助系統100、200透過在目標車道TL的路段RG1~RG4上的實際壅塞狀況來透過車道切換訊息CMG通知車輛VH在非壅塞的路段切換至目標車道TL。如此一來，車輛VH不會錯失原定的行駛路徑。

綜上所述，本發明的駕駛輔助系統以及駕駛輔助方法依據所述多個區域影像運算出對應於所述多個路段的多個壅塞程度，依據所述多個壅塞程度來提供車輛車道切換訊息。依據車道切換訊息，所述車輛能夠在壅塞狀況較不嚴重的路段由目前車道行駛至目標車道。如此一來，車輛不會有因為路段的壅塞而發生錯失原定的行駛路徑的狀況。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100、200:駕駛輔助系統

110_1~110_4、210_1~210_4:影像擷取裝置

120、220:壅塞運算模組

130、230:判斷模組

221_1~221_4:運算單元

2211:光流資訊產生模組

2212:壅塞程度產生模組

CL:目前車道

CMG:車道切換訊息

MG1~MG4:壅塞程度

OFM1~OFM4:光流資訊

RG1~RG4:目標車道的路段

RM1~RM4:區域影像

RSU1~RSU4:路側設施

S100:駕駛輔助方法

S110~S130:步驟

TL:目標車道

VH:車輛

圖1是依據本發明一實施例所繪示的駕駛輔助系統的使用情境示意圖。 圖2是依據本發明一實施例所繪示的駕駛輔助方法的流程圖。 圖3是依據本發明一實施例所繪示的駕駛輔助系統的示意圖。 圖4是依據本發明一實施例所繪示的運算單元的示意圖。

100:駕駛輔助系統

110_1~110_4:影像擷取裝置

120:壅塞運算模組

130:判斷模組

CL:目前車道

CMG:車道切換訊息

MG1~MG4:壅塞程度

RG1~RG4:目標車道的路段

RM1~RM4:區域影像

RSU1~RSU4:路側設施

TL:目標車道

VH:車輛

Claims (15)

1. 一種駕駛輔助系統，用於導航一車輛，包括：多個影像擷取裝置，經配置以擷取一目標車道的多個路段的多個區域影像；一壅塞運算模組，經配置以從該些影像擷取裝置接收該些區域影像，並依據該些區域影像運算出對應於該些路段的多個壅塞程度；以及一判斷模組，經配置以從該壅塞運算模組接收該些壅塞程度，並依據該些壅塞程度提供該車輛一車道切換訊息。
2. 如請求項1所述的駕駛輔助系統，其中該些影像擷取裝置被設置於不同的多個路側設施。
3. 如請求項1所述的駕駛輔助系統，其中該壅塞運算模組產生對應於該些區域影像的多個光流資訊，並依據該些區域影像以及該些光流資訊計算出該些壅塞程度。
4. 如請求項1所述的駕駛輔助系統，其中該壅塞運算模組包括：多個運算單元，分別耦接於該些影像擷取裝置，其中各該些運算單元依據該些區域影像當中的對應區域影像產生對應光流資訊，並依據該對應區域影像以及該對應光流資訊來運算出對應壅塞程度。
5. 如請求項4所述的駕駛輔助系統，其中各該些運算單元依據該對應區域影像的一紋理來判斷在該目標車道的對應路段 上的車輛數量，依據該對應光流資訊來判斷在該目標車道的對應路段上的車速，並依據該紋理的複雜度以及該對應光流資訊的一光流量來運算出該對應壅塞程度的一壅塞值。
6. 如請求項5所述的駕駛輔助系統，其中：該紋理的複雜度與在該目標車道的對應路段上的車輛數量呈正相關，並且該光流量與在該目標車道的對應路段上的車速呈正相關。
7. 如請求項6所述的駕駛輔助系統，其中該紋理的複雜度越高並且該光流量越低，該壅塞值越高。
8. 如請求項1所述的駕駛輔助系統，其中當該些壅塞值的至少一壅塞值低於一閾值時，該判斷模組提供該車道切換訊息以通知該車輛在對應於該至少一壅塞值的路段切換至目標車道。
9. 一種駕駛輔助方法，用於導航一車輛，包括：由多個影像擷取裝置擷取一目標車道的多個路段的多個區域影像；依據該些區域影像運算出對應於該些路段的多個壅塞程度；以及依據該些壅塞程度對該車輛提供一車道切換訊息。
10. 如請求項9所述的駕駛輔助方法，其中依據該些區域影像運算出對應於該些路段的該些壅塞程度的步驟包括：依據該些區域影像產生對應於該些區域影像的多個光流資訊；以及 依據該些區域影像以及該些光流資訊計算出該些壅塞程度。
11. 如請求項9所述的駕駛輔助方法，其中該壅塞運算模組包括多個運算單元，其中該些運算單元分別耦接於該些影像擷取裝置當中的一對應影像擷取裝置，其中依據該些區域影像運算出對應於該些路段的該些壅塞程度的步驟包括：由各該些運算單元依據該些區域影像當中的對應區域影像產生對應光流資訊，並依據該對應區域影像以及該對應光流資訊來運算出對應壅塞程度。
12. 如請求項11所述的駕駛輔助方法，其中依據該對應區域影像以及該對應光流資訊來運算出該對應壅塞程度的步驟包括：依據該對應區域影像的一紋理來判斷在該目標車道的對應路段上的車輛數量；依據該對應光流資訊來判斷在該目標車道的對應路段上的車速；以及依據該紋理的複雜度以及該對應光流資訊的一光流量來運算出該對應壅塞程度的一壅塞值。
13. 如請求項12所述的駕駛輔助方法，其中：該紋理的複雜度與在該目標車道的對應路段上的車輛數量呈正相關，並且該光流量與在該目標車道的對應路段上的車速呈正相關。
14. 如請求項13所述的駕駛輔助方法，其中該紋理的複雜度越高並且該光流量越低，該壅塞值越高。
15. 如請求項9所述的駕駛輔助方法，其中依據該些壅塞程度對該車輛提供該車道切換訊息的步驟包括：當該些壅塞值當中的至少一壅塞值低於一閾值時，提供該車道切換訊息以通知該車輛在對應於該至少一壅塞值的路段切換至目標車道。

Images