TWI549102B - 車道偏離警示系統與車道辨識裝置以及相關方法 - Google Patents

Description

車道偏離警示系統與車道辨識裝置以及相關方法

本發明係關於影像處理，尤指一種運用車道辨識技術以及特定判斷策略來偵測是否車輛偏離於當前車道的車道偏離警示系統與方法，以及其中的車道辨識方法與相關裝置。

車道偏離警示系統(Lane departure warning system)是一種用來偵測車輛是否偏離當前車道的主動行車安全技術。當駕駛者因精神不濟或疏忽，在未打下變換車道的方向燈訊號的情況下，將車輛行駛偏離於當前車道，車道偏離警示系統會偵測出這種異常狀況，發出警示訊號以提醒駕駛者將車輛駛回當前車道。

現有車道偏離警示系統在架構上可分為以下幾種類型：影像感測類型、雷射感測類型以及紅外線感測類型。目前常見的類型為影像感測器類型，這種類型的車道偏離警示系統會先記錄行車影像，再透過演算法分析行車影像，並根據道路平面的影像來辨別出當前所行駛的車道，依此判斷車輛是否偏離當前車道。

然而，道路平面上通常劃設著各種不同形狀的車道線(例如：實線、虛線、穿越虛線、雙實線、雙虛線、虛實線並列、槽化線等)，也同時標示著各種標誌與圖形，使得車道辨識的流程相當複雜。舉例來說，車道偏離警示系統需藉由複雜的演算法將行車影像中的路面標示與各種形狀之車道線進行比對，這通常需要進行大量的運算才能完成。此外，車道辨識的準確度亦受到環境因素的影響。在夜間、雨天等各種天色不佳或氣候惡劣的環境中，由於能見度不佳的關係，車道偏離警示系統很難取得清晰的行車影像，進而影響車道辨識的準確度，如此一來，將導致車道偏離警示系統發出非必要的偏離警告誤判，造成駕駛者的困擾。因此，提升車道辨識的準確度以及車道偏離警示系統的可靠度，是該領域中重要的課題。

為解決習知技術所面臨的問題，本發明之一目的在於提供一種車道偏離警示系統與相關方法，其藉由偵測車輛目前是否行駛於路面標示難以辨別的環境，進而自動切換車道偏離警示系統的敏感度，避免駕駛者遭受到誤判的干擾，得到可靠度較佳的車道偏離警示。另外，本發明之另一目的在於提供一種車道辨識方法與相關裝置，該方法與裝置藉由偵測路面標誌的內側邊緣來判斷是否為車道線，以簡化複雜的車道辨識流程，並且進一步提升車道辨識的準確度。

本發明之一實施例提供一種車道偏離警示系統，包含：一影像感測裝置，用以產生一影像；一辨識模組，耦接於該影像感測裝置，用以依據該影像來辨識至少一車道所對應之複數條車道線，產生一辨識結果，其中該辨識結果基於該些車道線之特定邊緣所產生；以及一判斷模組，耦接於該辨識模組，依據一車速資訊來決定一判斷策略，並基於該判斷策略以及該辨識結果來產生一判斷結果；其中該車道偏離警示系統依據該判斷結果來決定是否發出一警示；其中該車道偏離警示系統於剎車過程中不會發出該警示。

本發明之另一實施例提供一種車道偏離警示方法，包含：依據一行車影像來辨識一車道所對應之複數條車道線，以產生一辨識結果，其中該辨識結果基於該些車道線之特定邊緣所產生；依據一車速資訊來決定一判斷策略，並基於該判斷策略以及該辨識結果來產生指出是否偏離車道偏的一判斷結果；以及依據該判斷結果來決定是否發出一警示；其中該車速資訊係由一車體訊號與一衛星導航系統中之一者所提供。

本發明之又一實施例提供一種車道偏離警示方法，包含：依據一行車影像來辨識一車道所對應之複數條車道線，以產生一辨識結果，其中該辨識結果基於該些車道線之特定邊緣所產生；依據一車速資訊來決定一判斷策略，並基於該判斷策略以及該辨識結果來產生指出是否偏離車道偏的一判斷結果；以及依據該判斷結果來決定是否發出一警示，其中於剎車過程中該警示不會被發出。

本發明之再一實施例提供一種車道偏離警示方法，包含：依據一行車影像來辨識一車道所對應之複數條車道線，以產生一辨識結果，其中該辨識結果基於該些車道線之特定邊緣所產生；依據一車速資訊以及一駕駛者輸入資訊來決定一判斷策略，並基於該判斷策略以及該辨識結果來產生指出是否偏離車道偏的一判斷結果；以及依據該判斷結果來決定是否發出一警示。

本發明之更一實施例提供一種車道辨識方法，用以辨識一車輛當前所行駛之一車道，包含：提供一行車影像；依據該行車影像來辨識該車道所對應之複數條車道線，產生一辨識結果，其中該辨識結果基於該些車道線之內側邊緣所產生，包含：產生包含複數個物件之一處理後行車影像，包含：對該行車影像進行一前置處理，其中該前置處理選出該行車影像中符合一特定亮度要求以及一特定幾何形狀要求之該些物件；以及依據該辨識結果來確定該車道。

本發明之還一實施例提供一種車道辨識裝置，用以辨識一車輛當前所行駛之一車道，包含：一辨識模組，用以依據一行車影像來辨識該車道所對應之複數條車道線，產生一辨識結果，其中該辨識結果基於該些車道線之內側邊緣所產生；以及一判定模組，耦接於該辨識模組，用以依據該辨識結果來確定該車道；以及一影像處理模組，依據該行車影像來產生包含複數個物件之一處理後行車影像，其中該影像處理模組對該行車影像進行一前置處理，以選出該行車影像中符合一特定亮度要求以及一特定幾何形狀要求之該些物件來產生該處理後行車影像。

以下將同時說明本發明車道偏離警示系統與方法的設計原理與操作細節。請參考第1圖，其繪示本發明之一實施例的車道偏離警示系統的功能方塊圖。如圖所示，車道偏離警示系統100包含：影像感測裝置110、辨識模組120以及判斷模組130。影像感測裝置110用以產生影像S_Video。辨識模組120耦接於影像感測裝置110，依據影像S_Video來辨識至少一車道所對應之複數條車道線，產生辨識結果S_IDTF，其中辨識結果S_IDTF係基於該些車道線之特定邊緣所產生。判斷模組130耦接於辨識模組120，依據車速資訊SPD_INFO來決定一判斷策略，並基於該判斷策略以及辨識結果S_IDTF來產生判斷結果S_DEP。車道偏離警示系統100依據判斷結果S_DEP來決定是否發出一警示S_WARN。其中，該特定邊緣可為一車道線相對於駕駛者所駕駛之車輛的內側邊緣。

以下將先說明判斷模組130的細節，至於辨識模組120的基本原則與操作說明則於後敘。請參考第2圖所示的流程圖，於步驟210中，判斷模組130先根據車速資訊SPD_INFO來選定判斷策略。當車速資訊SPD_INFO指出駕駛者所駕駛之車輛的車速介於第一速度範圍I之間，判斷模組130選擇一積極性判斷策略(步驟240)。當積極性判斷策略被選擇時，在辨識模組120辨識出較少車道線時，判斷模組130便會產生指出車輛偏離車道的判斷結果S_DEP(步驟250)。例如，當辨識模組120只辨識出第3圖所示行車影像中之車道310的右側車道線330，判斷模組130也能根據這樣的資訊以及利用計算車道偏離的演算法，產生指出車輛已偏離車道的判斷結果S_DEP。而當防禦性判斷策略被選擇時(步驟220)，則必須在辨識模組120辨識出較多車道線時，判斷模組130才會產生指出車輛偏離車道的判斷結果S_DEP。例如，當辨識模組120辨識出第3圖所示車道310的右側車道線330以及左側車道線320，判斷模組130才會依據辨識結果S_IDTF以及依據用以計算車道偏離的演算法來產生指出車輛已偏離車道的判斷結果S_DEP。

以上目的在於區隔對於車道辨識與車道偏離判斷的信心程度。一般來說，當車速較高時，往往代表車輛行駛於路面情況較為單純的環境，例如：高速公路，快速道路等等，此時車道辨識的準確度較高。而當車輛行駛於路面情況相對複雜的環境中，例如：市區街道、車道交會處等，道路平面上有較多的標線以及標誌。過多的標誌線可能會造成辨識模組120在辨識車道線的階段產生不正確的辨識結果，例如將非車道線辨識為車道線，進而導致車道偏離演算法產生錯誤的結果。因此，本發明在車輛高速行駛時，提高車道偏離警示系統100的敏感度，而在車輛低速行駛時，降低車道偏離警示系統100的敏感度。當車速處於較高的第一速度範圍I中(例如：時速60km以上)，利用積極性判斷策略來計算車道偏離。此外，這個判斷策略可能影響車道偏離演算法的參數設定。例如，建立一些較為寬鬆的條件來研判是否車道偏離，只要稍有可能，便判定車輛偏離車道。而且在此判斷策略中，即便只辨識出一條車道線，也會進行車輛偏離判斷。但在車速處於較低的第二速度範圍II中(例如：時速低於60km)，則利用防禦性的判斷策略來產生計算車道偏離。防禦性判斷策略會設計一些較為嚴格的條件來計算車道偏離，除非非常肯定，否則不會輕易判定車輛偏離車道。而且在此判斷策略中，必須要辨識出多條車道線，才有可能判定車輛偏離車道。

另外，除了透過車速資訊來決定判斷策略之外，在本發明其他實施例中，判斷策略亦可藉由駕駛者來決定。此時，本發明的車道偏離警示系統可能提供一駕駛者操作介面，駕駛者可以透過這個介面來選擇防禦性判斷策略或者是積極性判斷策略，當駕駛者自覺精神不濟或者是注意力不佳時，可將車道偏離警示系統由防禦性判斷策略切換至積極性判斷策略。如此一來，雖然可能會得到較高的誤判率，但確可換來更好的偵測率，減少任何可能風險，維持較佳的行車安全。

另外，本發明的車道偏離警示系統可用於任何車輛中，並且透過車輛本身的車體訊號或者是裝設於車輛上的衛星導航系統中來提供車速資訊。

透過以上的方式，本發明車道偏離警示系統100依據判斷模組130的判斷結果S_DEP來決定是否發出警示S_WARN。然而，若是當本發明車道偏離警示系統100從車體訊號中接收到剎車訊號或者是方向燈訊號時，即便判斷結果S_DEP指出車輛已偏離車道，車道偏離警示系統100也不會發出任何警示，因為此時代表駕駛者已經意識到車輛偏離車道，或者是駕駛者正在變換車道。

於一實施例中，辨識模組120可為一車道線辨識模組，其至少具備辨識車道線的功能，而判斷模組130則可為一車道偏離判斷模組，並且至少具備判斷車輛是否偏離車道的功能。再者，辨識模組120以及判斷模組130可分別用多種方式來加以實現，例如：透過處理器來執行對應的軟體、透過純硬體電路或者是透過兩者的組合。其中，處理器可為通用處理器(general-purpose processor)，或者是如數位訊號處理器(digital signal prcoessor)之類的特定處理器。軟體可能儲存於電腦可讀取媒體(例如：光碟機(optical disk drive)、硬碟機(hard disk drive)、快閃記憶體(flash memory)、各種隨機存取記體(random-access memory, RAM)、各種唯讀記體(read-only memory, ROM)或者是任何可被處理器所辨別的儲存裝置中，並且包含各種程式邏輯(programming logic)、指令，或者是用以實現本發明的必要資料。此外，在純硬體電路的架構中，辨識模組120以及判斷模組130可能包含有硬體邏輯 (hard-wired logic)，可程式化邏輯(如：現場可程式邏輯閘陣列（Field Programmable Gate Array, FPGA）或者是複雜可程式邏輯裝置（Complex Programmable Logic Device, CPLD）、特殊應用積體電路（Application-specific integrated circuit, ASIC）。此外，在本發明不同實施例中，辨識模組120以及判斷模組130可能透過相同或不同的電路元件來加以實現。

本發明之另一實施例提供一種車道辨識方法，該方法用以辨識一車輛當前所行駛之一車道，請參考第4圖所示之流程圖。在步驟410中，提供一行車影像，該行車影像可由一影像感測裝置所提供。接著，在步驟420中，依據該行車影像來辨識該車道所對應之複數條車道線，產生一辨識結果，其中該辨識結果基於該些車道線之內側邊緣所產生。舉例來說，以第3圖為例，為了找出車輛當前所行駛之車道310的正確位置，必須於行車影像中辨識出車道310之左側車道線320與右側車道線330至少一者。而車道線的辨識可藉由車道線的內側邊緣來確定。之後，在步驟430中，根據辨識結果來確定車道310。

於一實施例中，步驟420又包含：產生包含複數個物件之一處理後行車影像，以下內容將解釋如何產生包含複數個物件之處理後行車影像。請一併參考第3圖與第5圖，其中，第3圖代表一原始行車影像，而第5圖則為處理後行車影像。首先，當接收到第3圖所示的原始行車影像後，將對原始行車影像進行前置處理。前置處理係針對原始行車影像中之組成物進行刪選，刪選的條件為組成物本身的亮度與幾何形狀。由於路面誌線的主要成分為油漆，因此，不論環境的照射程度為何(日間或夜間)，不同路面誌線的會具有類似亮度，因而落在特定的亮度區間。再者，車道線一般來說為實直線或虛直線，因此在行車影像中會呈現特定的幾何形狀。基於這些原則，前置處理可以把不符合特定亮度要求以及特定幾何形狀要求的組成物濾除。舉例來說，第3圖所示的原始行車影像中，車輛380與390的顏色與漆面材質與車道線的顏色與漆面材質不同，所以不會滿足特定亮度要求，而且其幾何形狀要求也與車道線的幾何形狀相差甚遠，因此前置處理將會把車輛380與390濾除。再者，雖然箭頭標誌350與360的顏色與漆面材質與車道線雷同，因而呈現相近的亮度。但其幾何形狀與車道線可能的幾何形狀卻不相同，所以最後還是會在前置處理階段被濾除。最後，前置處理會得到包含有物件322、324、326、332、334、336、342、344、372與374的處理後行車影像。

得到第5圖所示的處理後行車影像，接下來就是要辨識其中所包含的物件322、324、326、332、334、336、342、344、372與374，是否為車道線或者是車道線的一部份。第6圖所示的流程圖解釋如何基於處理後行車影像來產生辨識結果。首先，在步驟610中，決定處理後行車影像之一影像中心軸，如第5圖所示的影像中心軸C。接著，在步驟620中，依據影像中心軸C決定物件中322、324、326、332、334、336、342、344、372與374何者為候選車道線區段，其中，候選車道線區段則代表可能為車道線或者是車道線的一部份的物件。最後，在步驟630，依據步驟620中所選出的複數個候選車道線區段來產生辨識結果。

於一實施例中，由處理後行車影像所包含的複數個物件中選出候選車道線區段的步驟又包含：當該些物件中一特定物件之一內側邊緣與該影像中心軸之間不存在其他物件時，將該特定物件判斷為該些候選車道線區段之一者。首先，在此先解釋影像中心軸的意義以及內側邊緣的定義。影像中心軸C代表車輛的行駛中心位置，內側邊緣係為物件的輪廓線中，相對靠近車輛的邊緣。因此，內側邊緣需以影像中心軸C為基準來決定。若是當物件位於影像中心軸C之左側時，則其右側邊緣會被當作內側邊緣，而當物件位於影像中心軸C之右側時，則其左側邊緣會被當作內側邊緣。在決定每個物件的內側邊緣後，若是物件位於影像中心軸C之右側時，且該物件之左側邊緣與影像中心軸C之間不存在其他物件，則該物件為候選車道線區段。同樣的，當物件位於影像中心軸C之左側時，且該物件之右側邊緣與影像中心軸C之間不存在其他物件，則該物件為候選車道線區段。這樣的過程有助於排除不屬於當前所行駛之車道310的車道線。舉例來說，在第5圖的處理後行車影像中，由於作為右側的雙黃線340之一部份的物件342與344的左側邊緣，與影像中心軸C之間存在物件332、334與336，故物件342與344不會被當作是候選車道線區段。同樣的，左側車道311的車道線370中的物件372與374的右側邊緣，與影像中心軸C之間存在物件322、324與326，故物件372與374不會被當作是當前車道310的候選車道線區段。因此，最後只有物件322、324、326、332、334以及336會當作為候選車道線區段。

當候選車道線區段決定後，接著需判斷候選車道線區段是否足以構成一條車道線。這部份必須依據候選車道線區段之間是否具有特定幾何關係。雖然在第5圖所示的處理後行車影像中，候選車道線區322、324、326、332、334以及336並非呈現一直線。但實質上能構成完整車道線的候選車道線區段之間必定具有一幾何關係。舉例來說，構成車道線320的候選車道線區段322、324與326實際上平行於一參考直線L’，以及構成車道線330的候選車道線區段332、334與336實際上平行於一參考直線L。並且，候選車道線區段322、324與326相鄰且間隔距離適中，而候選車道線區段332、334與336相鄰且間隔距離適中。滿足這些條件的候選車道線區段，將被視為是一車道線。第7圖的範例說明在怎樣的條件下，候選車道線區段不會被視為車道線。如圖所示，由於物件720~760位於影像中心軸的右側，且與影像中心軸之間不存在其他物件，因此物件720~760均為候選車道線區段。然而，由於其中的物件750與760並未平行於參考直線L，而僅有物件720、730、740平行於參考直線L。因此，物件750與760並非與物件720、730、740同屬於一條車道線。另外，由於物件740與物件720、730的間隔距離過大，並非鄰近，因此物件740並非與物件720、730同屬於一條車道線。最後結果可知，只有物件720與730才屬於同一條車道線。

透過以上的步驟所產生的辨識結果，將可決定當前車道的左右兩側車道線，例如，在第3圖的範例中，可決定當前車道310的左右兩側車道線320與330，因此，當前車道310的具體位置便可被鎖定，達到車道辨識的目的。以上的流程方法可整合至前述的車道偏離警示系統與方法，也就是辨識模組120可運用以上的流程來辨識出車道線，依據處理後行車影像來找出候選車道線區段，進而辨識出當前車道所對應之車道線，產生辨識結果。接著，再根據判斷策略的不同，來產生指出是否偏離車道的判斷結果。請注意，隨著車道偏離警示系統與方法所採用的判斷策略不同，並非所有的車道線320與330都需被辨識出來，才能進行車道偏離判斷。

基於以上所述之車道辨識方法，本發明之又一實施例提供一種車道辨識裝置，請參考第8圖所示的功能方塊示意圖，其繪示本發明車道辨識裝置之一實施例。如圖所示，本發明車道辨識裝置800包含：一辨識模組810以及一判定模組820。辨識模組810用以依據一行車影像S_video(可能為經過前置處理後或者未經前置處理之行車影像)來辨識車道所對應之複數條車道線，產生一辨識結果S_IDFT，其中辨識結果S_IDFT基於該些車道線之內側邊緣所產生。辨識模組820會依照前述的流程，選定行車影像之影像中心軸，再根據影像中心軸，從行車影像中選出候選車道線區段，最後決定當前車道之車道線，進而產生辨識結果S_IDFT。判定模組820耦接於辨識模組810，用以依據辨識結果S_IDFT來確定當前車道的具體位置。

以上的車道偏離警示方法與車道辨識方法可基於純軟體架構或純硬體架構，或者是兩者混合的架構來實現，例如：透過處理器來執行對應的軟體、透過純硬體電路，或者是透過兩者的組合。其中，處理器可為通用處理器(general-purpose processor)，或者是如數位訊號處理器(digital signal processor)之類的特定處理器。軟體可能儲存於電腦可讀取媒體(例如：光碟機(optical disk drive)、硬碟機(hard disk drive)、快閃記憶體(flash memory)、各種隨機存取記體(random-access memory, RAM)、各種為唯讀記體(read-only memory, ROM)或者是任何可被處理器所辨別的儲存裝置)中，並且包含各種程式邏輯(programming logic)、指令，或者是用以實現本發明的必要資料。此外，在純硬體電路的架構中，可能包含基於硬體邏輯 (hard-wired logic)，可程式化邏輯(如：現場可程式邏輯閘陣列（Field Programmable Gate Array, FPGA）或者是複雜可程式邏輯裝置（Complex Programmable Logic Device, CPLD）、或者特殊應用積體電路（Application-specific integrated circuit, ASIC）所實現的特定電路。

綜上所述，本發明藉由對路面誌線的內側邊緣進行偵測，判斷其是否為車道線或者是車道線的一部份，簡化車道線辨識的流程，提升車道線辨識的準確度。另外，在本發明車道偏離警示系統中，可藉由車速資訊來決定判斷策略，在不同判斷策略下，本發明車道偏離警示系統具備不同等級的敏感度，使得偏離警示更為可靠。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

100‧‧‧車道偏離警示系統

110‧‧‧影像感測裝置

120‧‧‧辨識模組

130‧‧‧判斷模組

210~250、410~430、610~630‧‧‧步驟

310、311‧‧‧車道

320、330、340、370‧‧‧車道線

322、324、326、332、334、336、342、344、372、374、720~760‧‧‧物件

350、360‧‧‧標示

380、390‧‧‧車輛

800‧‧‧車道辨識裝置

810‧‧‧辨識模組

820‧‧‧判定模組

第1圖為本發明車道偏離警示系統之一實施例的功能方塊示意圖。 第2圖為本發明車道偏離警示系統中判斷模組用以選擇判斷策略的流程圖。 第3圖為一行車影像。 第4圖為本發明車道辨識方法之一實施例的流程圖。 第5圖為一處理後行車影像。 第6圖為產生關於車道線辨識的辨識結果之流程圖。 第7圖解釋如何依據幾何關係來辨識車道線。 第8圖為本發明車道辨識裝置之一實施例的功能方塊示意圖。

100‧‧‧車道偏離警示系統

110‧‧‧影像感測裝置

120‧‧‧辨識模組

130‧‧‧判斷模組

Claims (2)

1. 一種車道辨識方法，用以辨識一車輛當前所行駛之一車道，包含：提供一行車影像；依據該行車影像來辨識該車道所對應之複數條車道線，產生一辨識結果，其中該辨識結果基於該些車道線所產生，包含：產生包含複數個物件之一處理後行車影像，包含：對該行車影像進行一前置處理，其中該前置處理選出該行車影像中符合一特定亮度要求以及一特定幾何形狀要求之該些物件；以及依據該辨識結果來確定該車道。
2. 一種車道辨識裝置，用以辨識一車輛當前所行駛之一車道，包含：一辨識模組，用以依據一行車影像來辨識該車道所對應之複數條車道線，產生一辨識結果，其中該辨識結果基於該些車道線所產生；以及一判定模組，耦接於該辨識模組，用以依據該辨識結果來確定該車道；以及一影像處理模組，依據該行車影像來產生包含複數個物件之一處理後行車影像，其中該影像處理模組對該行車影像進行一前置處理，以選出該行車影像中符合一特定亮度要求以及一特定幾何形狀要求之該些物件來產生該處理後行車影像。