TWI600558B - Dynamic lane detection system and method - Google Patents

Description

動態車道線偵測系統及方法

本發明係有關一種車輛四周外部影像偵測之技術，特別是一種整合廣角鏡頭將所擷取之扭曲畫面轉換成非扭曲畫面，且配合車輛訊號提供動態車道線之偵測系統及方法。

現今多數車輛安裝許多車用安全性裝置，如全景影像偵測系統、後方障礙物偵測系統、停車輔助系統及車道偏移之偵測系統等，主要提供駕駛人行車時多一分安全保護。藉由額外加裝在車輛前、後、左及右方鏡頭，同時搭配車用主機以偵測車身外四周之景像，再透過車機程式將全景影像轉換成鳥瞰畫面供駕駛人參考；後方鏡頭則可搭配車用主機偵測車輛正後方之障礙物，並且也可透過後方鏡頭與車機程式執行停車輔助之功能，且於車機之螢幕顯示倒車時之車道線預測功能；前方鏡頭則可以擷取車輛正前方之影像，透過車機程式於螢幕顯示車道偏移之偵測功能。

部分前案所提供車用安全性裝置之技術特徵，可將所有車用安全性裝置同時整合於一系統中，但因為車道線偏移偵測及停車輔助系統皆需搭配專用鏡頭，其與一般全景畫面使用之鏡頭不同，障礙物偵測系統因可搭配車道偏移及停車輔助系統使用，故僅限於前方或後方的行車影像中才擁有此障礙物偵測之功效，所以未能偵測到車輛兩側之障礙物，且需 額外加裝鏡頭於車輛上才能達到障礙物偵測及車道線預測之功效，使車輛上若同時擁有全景畫面、前後方車道線及障礙物偵測，需要加裝至六顆不同功能之鏡頭。目前仍未有僅須一般廣角鏡頭即可涵蓋上述四種技術特徵的裝置，即便可一次將所有車用安全性裝置安裝於車輛上，亦未有一系統可有效整合四顆廣角鏡頭且於轉換各車用安全性裝置，尤其在硬體設備上也因為多加裝鏡頭而增加製造成本，因此造成目前市面上所推出之車款僅提供部分技術支援。

因此，本發明在針對上述之困擾，提供一種動態車道線偵測系統及方法，藉由透過廣角鏡頭及車用影像整合單元中之影像校正方法將車道線偏移技術整合至影像顯示裝置中之方法，更有效整合各車用安全性裝置於同一系統之中。

本發明之主要目的係在提供一種動態車道線偵測系統及方法，其係可根據一般廣角鏡頭所擷取之扭曲畫面經由車用影像整合單元中之影像校正方法轉換成一般的平面影像，再透過車身訊號接收裝置主動接收自車身訊號，則可透過本發明自動執行車道線偵測，主動警示駕駛人車道偏移之危險，不需要額外再搭配車道偏移專用之鏡頭，可減少車輛之負擔及硬體安裝體積變小。

本發明之另一目的係在提供一種動態車道線偵測系統及方法，其係可藉由行駛車輛時之不同的車輛排檔訊號及行駛中之車速訊號，依照駕駛人於不同的行車環境時，提供最有效的自動安全偵測方式，因此使駕駛人可以於行駛時不需要分心及手動進行車用安全性裝置之調整，藉 由車身訊號可以自動轉換車用安全性裝置以即時了解車輛四周環境之行車狀況。

為了達到上述之目的，本發明係揭露一種動態車道線偵測系統，其係由一車用影像整合單元連接於安裝在車輛前、後、左及右方位置之四個廣角鏡頭，且電性連接車身訊號接收裝置及影像顯示裝置，車用影像整合裝置可整合各廣角鏡頭所擷取之扭曲畫面與車身訊號接收裝置所接收之各種車輛訊號，如車輛排檔訊號、車速訊號及方向盤轉角訊號，再根據車用影像整合裝置中之影像校正方法及前方廣角鏡頭所擷取的扭曲畫面校正成一般平面影像，提供車道偏移偵測於影像顯示裝置上；由後方廣角鏡頭執行平行停車與倒車入庫之車道線路徑預測畫面；由前、後、左及右方之廣角鏡頭執行全景畫面影像偵測及四周障礙物偵測。

此外，本發明亦揭露一種動態車道線偵測方法，透過安裝在車輛四周廣角鏡頭擷取之扭曲畫面，根據影像校正方法校正各扭曲畫面。接著，再判斷車身訊號接收裝置所接收之排檔訊號係為非倒車檔，且車速訊號高於預設之速度數值時，進行車道線偏移偵測，接著將校正後之平面影像傳送至影像顯示裝置並搭配車道線位置及提供警示音效，最後再判斷車身訊號接收裝置所接收之排檔訊號若為倒車檔或該車速訊號低於預設之速度數值時，則可選擇性進行四周障礙物偵測、全景影像偵測及或平行停車與倒車入庫之停車路線路徑預測畫面。

底下藉由具體實施例配合所附的圖式詳加說明，當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。

10‧‧‧動態車道線偵測系統

12‧‧‧車用影像整合單元

14a~d‧‧‧廣角鏡頭

16‧‧‧車身訊號接收裝置

18‧‧‧影像顯示裝置

20‧‧‧車輛排檔訊號

22‧‧‧車速訊號

24‧‧‧方向盤轉角訊號

26‧‧‧扭曲畫面

28‧‧‧平面影像

第一圖為本發明之系統方塊示意圖。

第二圖為本發明使用之車輛廣角鏡頭位置示意圖。

第三圖為本發明之車道線偏移偵測方法流程圖。

第四圖為本發明之扭曲影像轉換示意圖。

第五圖為本發明使用之影像校正原理示意圖。

第六圖為本發明同時整合停車與障礙物偵測的流程圖。

第七圖為本發明之車道偏移照片圖。

第八a圖至第八d圖為本發明之停車及倒車路徑照片圖。

第九a圖及第九b圖為本發明之全景影像及障礙偵測照片圖。

本發明之主要技術手段係有關車道線偵測系統及方法，透過車用影像整合單元整合廣角鏡頭、車身訊號接收裝置及影像校正方法，經由轉換廣角鏡頭所擷取之扭曲畫面成一般平面影像，且同時顯示前方車道線位置於影像顯示裝置上，若車身訊號接收裝置所接收之訊號並非用以作為車道線偏移偵測之方式時，則會自動選擇四周障礙物偵測、全景影像偵測及平行停車或倒車入庫停車之車道線路徑預測畫面。

首先，請同時參照第一圖與第二圖所示，一種動態車道線偵測系統10，包括一車用影像整合單元12，其係包含數位訊號處理(DSP)、場式可程式閘陣列(FPGA)、車用電腦(Car PC)或系統級晶圓(SoC)，皆可執行數位化訊號處理。車用影像整合單元12電性連接被安裝於車輛前、後、左及右方位置之複數個廣角鏡頭14a~d，其中包含前方廣角鏡頭 14a、左側廣角鏡頭14b、後方廣角鏡頭14c及右側廣角鏡頭14d；車用影像整合單元12亦電性連接至一車身訊號接收裝置16及一影像顯示裝置18，影像顯示裝置18於本實施例中係為發光二極體顯示器(LED display)或液晶顯示器(LCD)顯示影像，且透過喇叭或蜂鳴器產生音效，車身訊號接收裝置16可接收自車輛所傳送之車輛排檔訊號20、車速訊號22及方向盤轉角訊號24。

在說明完本發明之偵測系統之連接關係後，接續說明本發明動態車道線偵測方法之各步驟，首先澄明，在本實施例中，駕駛人行駛時車輛排檔至非倒車(R)檔及車輛時速高於六十公里時，可在本實施例中界定車用影像整合單元12中之預設車速為時速六十公里，而預設車速則可依駕駛人駕駛習慣不同作調整，當不能以此為限。請同時參照第一圖、第三圖及第四圖所示，如步驟S10所示，安裝於車輛前方之廣角鏡頭14a可擷取車輛前方之扭曲畫面26；如步驟S12所示，再將所擷取之扭曲畫面26傳送至車用影像整合單元12中，利用影像校正方法校正扭曲畫面26成一般平面影像28，且不需要經過視角轉換；由於車身訊號接收裝置16會接收之車輛排檔訊號20、車速訊號22及方向盤轉角訊號24傳送至車用影像整合單元12，當所接收之車輛排檔訊號20為非R檔及車速訊號22高於預設速度時，如步驟S14所示進行車道線偏移偵測，本實施例預設速度設為時速六十公里；接著如步驟S16所示，車用影像整合單元12再將轉換後的平面影像28傳送至影像顯示裝置18；如步驟S18所示，將平面影像28搭配車道線位置並顯示於顯示影像裝置18上，並可進一步地由影像顯示裝置18以警示音效提供即時偏移之警示。

其中，在上述步驟S12中所使用之影像校正方法可參照第五圖所示，此影像校正方法的原理係利用從一凸形畫面上一弧長之長度取得兩個點座標(u,v)，且兩個點座標(u,v)以非平行線交叉投射至一平面上，產生兩個新的點座標，而兩個新點座標之長度則以該非平行線交叉入射角θ與折射角Φ比例及該弧長之長度相比計算得出。上述原理可再經由下列之公式(1)、公式(2)及公式(3)計算出： 其中，(u,v)為扭曲座標點，(u ₀,v ₀)為扭曲畫面之中心之點座標，為校正後之新的點座標，ω為曲率半徑，為扭曲畫面之半徑長及r為校正後之新二點座標距離長度。

接著，請同時參閱第六圖及第一圖所示，首先，如步驟S22所示，車輛四周之複數廣角鏡頭14a~d所擷取之複數扭曲畫面26訊號傳送至該車用影像整合單元12；如步驟S24所示，根據所擷取之那些扭曲畫面26透過公式(1)、公式(2)及公式(3)可將那些扭曲畫面26轉換成一般平面影像28；如步驟S26所示，車身訊號接收裝置16接收車輛排檔訊號20與車速訊號22，並將該些訊號傳送至車用影像整合單元12；如步驟S28所示，車用影像整合單元12則判斷車輛排檔訊號20是否為非R檔，若否，則表示車輛排檔訊號20此時係為R擋，就可進行步驟S34執行平行停車與倒車入庫之車道線路徑預 測畫面、全景影像偵測與四周障礙物偵測，若是，則表示車輛排檔訊號20可係為1檔、2檔、3檔或D檔等車輛前進檔位，就可進行步驟S30判斷車速訊號22是否高於預設速度，於本實施例設定預設速度為時速六十公里，若否，則表示車輛時速低於預設速度時速六十公里，就可進行步驟S36執行全景影像偵測與四周障礙物偵測，若是，則表示車輛時速高於預設速度時速六十公里，則可進行步驟S32執行車道線偏移偵測。

以下再配合上述之步驟提供實驗照片供參考及同時參閱第一圖所示，請參閱第七圖係為上述步驟S32中提及之車道線偏移偵測，其係顯示於影像顯示裝置18，並於車輛偏移車道線時會提供駕駛人警示音效且於螢幕上顯示危險警示字樣，如Danger字樣，藉由警示功能降低行車危險之風險性；接著，請再參閱本發明之第八a圖至第八d圖所示，此些畫面係為平行停車或倒車入庫之停車之車道線路徑預測畫面之圖式，車身訊號接收裝置16所接收之車輛排檔訊號20為R檔及又接收一方向盤轉角訊號24時，請同時參照第八a圖所示，此為車輛準備平行停車前之畫面照片，請再同時參閱第八b圖所示，透過影像顯示裝置18顯示車輛後方之畫面，並於畫面上顯示欲停之停車線，請參照第八c圖所示，此為車輛準備倒車入庫前之畫面照片，請同時參閱第八d圖所示，再搭配方向盤轉角訊號24以供駕駛人能夠透過預測之車道線位置安全停車。

最後，請參閱本發明之第九a圖、第九b圖及同時參閱第一圖所示此些畫面係全景影像偵測及車輛四周障礙物之偵測之圖式，車用影像整合單元12將所整合後之四個不同方向的平面影像28畫面組成一全景畫面並轉換成鳥瞰視圖於影像顯示裝置18，車身訊號接收裝置16所接收之車速 訊號22低於預設速度值時速六十公里時，如第九a圖所示，一旦車輛排檔訊號20係為R檔或車速低於預設速度值皆可執行全景影像偵測及可同時進行車輛四周障礙物偵測，包含車輛前、後、左及右方之位置；如第九b圖所示，於車身訊號接收裝置16所接收之車輛排檔訊號20為R檔時，準備執行平行停車與倒車入庫之停車之車道線路徑畫面預測時，同時執行四周障礙物偵測，可偵測車輛後方之障礙物位置。在影像顯示裝置18提供障礙物影像與警示音效提供駕駛人於車輛行駛狀況較低速或倒車時，以避免車輛四周之碰撞機率。

經由上述之說明，可見本發明可有效整合一般廣角鏡頭於車道線偏移偵測中，不需要再另外多安裝車道線偏移偵測所搭配的特殊鏡頭，亦或安裝可轉換擷取畫面之鏡頭直接將所擷取之扭曲畫面轉換成一般平面影像，更可直接整合於車用影像整合單元中，且又可以透過安裝於車輛前、後、左及右方之四個廣角鏡頭、各車身訊號及車用影像整合單元將車道線偏移、平行停車與倒車入庫之車道線路徑預測畫面、全景影像偵測及四周動態障礙物偵測，經由車用影像整合單元搭配不同車身訊號及廣角鏡頭之畫面，可自動轉換車輛行車之安全偵測，保障駕駛人之行車安全。

以上所述之實施例僅係為說明本發明之技術思想及特點，其目的在使熟習此項技藝之人士能夠瞭解本發明之內容並據以實施，當不能以之限定本發明之專利範圍，即大凡依本發明所揭示之精神所作之均等變化或修飾，仍應涵蓋在本發明之專利範圍。

10‧‧‧動態車道線偵測系統

12‧‧‧車用影像整合單元

14a~d‧‧‧廣角鏡頭

16‧‧‧車身訊號接收裝置

18‧‧‧影像顯示裝置

20‧‧‧車輛排檔訊號

22‧‧‧車速訊號

24‧‧‧方向盤轉角訊號

Claims (17)

1. 一種動態車道線偵測系統，包含：至少四廣角鏡頭，其係安裝於一車輛之前、後、左及右方之位置；一車身訊號接收裝置，其係接收車輛排檔訊號、車速訊號及方向盤轉角訊號；一影像顯示裝置，其係提供影像畫面或音效輸出；及一車用影像整合單元，其係連接該至少四廣角鏡頭且電性連接該車身訊號接收裝置、該影像顯示裝置，該車用影像整合單元係整合該至少四廣角鏡頭所擷取之扭曲畫面與該車身訊號接收裝置所接收之該車輛排檔訊號、該車速訊號及該方向盤轉角訊號，並利用一影像校正方法以根據該車輛前方廣角鏡頭所擷取之畫面校正該車輛前方之扭曲畫面，該影像校正方法係有在一凸形畫面上一弧長之長度取得二點座標，該二點座標以非平行線交叉投射產生新二點座標於一平面上，該平面上之該新二點座標之長度係透過該非平行線交叉之入射角與折射角比例及該弧長之長度相比計算出，該車用影像整合單元再透過該車用影像整合單元整合校正後之平面影像並顯示前方車道線於該影像顯示裝置上。
2. 如請求項1所述之動態車道線偵測系統，其中該影像校正方法係可表示為： ；以及 其中，以上述方法表示之各參數分別為：(u ₀,v ₀)代表扭曲畫面中心點座標，(u,v)代表扭曲畫面之點座標，(,)代表校正後之新點座標，ω則為曲率半徑，代表扭曲畫面之半徑及r代表校正後之新二點座標距離。
3. 如請求項1所述之動態車道線偵測系統，其中該車用影像整合單元整合該車身訊號接收裝置中之該排檔訊號及該車輛前、後、左及右方之該廣角鏡頭所擷取之該扭曲畫面，經由該車用影像整合單元校正該扭曲畫面後，傳送該平面影像至該影像顯示裝置，其係顯示車輛之全景。
4. 如請求項1所述之動態車道線偵測系統，其中該車用影像整合單元整合車身訊號接收裝置中之該車速訊號與該排檔訊號及該車輛左、右、前及後方四廣角鏡頭所擷取之該扭曲畫面，經由該車用影像整合單元校正該扭曲畫面後，傳送該該平面影像至該影像顯示裝置，其係提供四周障礙物偵測。
5. 如請求項1所述之動態車道線偵測系統，其中該車用影像整合單元整合該車身訊號接收裝置中之該排檔訊號與該方向盤轉角訊號及該車輛後方之廣角鏡頭所擷取之該扭曲畫面，經該車用影像整合單元校正該扭曲畫面後，傳送該平面影像至該影像顯示裝置，其係顯示平行停車或倒車入庫之車道線路徑預測畫面。
6. 如請求項1所述之動態車道線偵測系統，其中該至少四廣角鏡頭係為190 度廣角鏡頭。
7. 如請求項1所述之動態車道線偵測系統，其中該廣角鏡頭係為互補金氧半導體感測元件(CMOS)或電荷耦合元件(CCD)。
8. 如請求項1所述之動態車道線偵測系統，其中該影像顯示裝置之影像處理係為發光二極體顯示器(LED display)或液晶顯示器(LCD)。
9. 如請求項1所述之動態車道線偵測系統，其中該影像顯示裝置之音效輸出係為喇叭或蜂鳴器。
10. 如請求項1所述之動態車道線偵測系統，其中該車用影像整合單元係為數位訊號處理(DSP)、場式可程式閘陣列(FPGA)、車用電腦(Car PC)或系統級晶圓(SoC)。
11. 一種動態車道線偵測方法，其步驟包含：透過安裝於車輛前、後、左及右方之廣角鏡頭擷取扭曲畫面；根據一影像校正方法校正該等扭曲畫面，係分別透過在一凸形畫面上一弧長之長度取得二點座標，該二點座標以非平行線交叉投射產生新二點座標於一平面上，該平面上之該新二點座標之長度係透過該非平行線交叉之入射角與折射角比例及該弧長之長度相比計算出，並各對應產生一平面影像；判斷一車身訊號接收裝置所接收之排檔訊號係為非倒車檔且車速訊號高於預設之速度數值時，進行車道線偏移偵測；以及將該平面影像傳送至一影像顯示裝置，以顯示車道線影像並提供警示音效。
12. 如請求項11所述之動態車道線偵測方法，其中在判斷該車身訊號接收裝 置所接收之該排檔訊號若為倒車檔或該車速訊號低於該預設之速度數值時，則可選擇性進行四周障礙物偵測、全景影像偵測或平行停車與倒車入庫之車道線路徑預測畫面。
13. 如請求項12所述之動態車道線偵測方法，其中若該車身訊號接收裝置所接收之該排檔訊號為該倒車檔時，或所接收之該排檔訊號非為該倒車檔但該車速訊號低於該預設之速度值時，皆可選擇該全景影像偵測。
14. 如請求項12所述之動態車道線偵測方法，其中若該車身訊號接收裝置所接收之該排檔訊號為該倒車檔時，或所接收之該排檔訊號非為該倒車檔時但該車速訊號低於該預設之速度值時，皆可選擇該四周障礙物偵測。
15. 如請求項12所述之動態車道線偵測方法，其中若該車身訊號接收裝置所接收之該排檔訊號為該倒車檔及又接收一方向盤轉角訊號時，可選擇該平行停車與倒車入庫之車道線路徑預測畫面。
16. 如請求項11所述之動態車道線偵測方法，其中該影像校正方法係可表示為、及，其中上述公式之各參數分別為：(u ₀,v ₀)代表扭曲畫面中心點座標，(u,v)代表扭曲畫面之點座標，(,)代表校正後之新點座標，ω則為曲率半徑，代表扭曲畫面之半徑及r代表校正後之新二點座標距離。
17. 如請求項11所述之動態車道線偵測方法，其中該預設速度數值係為該車用影像整合單元所預設之車速。