TWI455074B - Vehicle image display system and its correction method - Google Patents

Description

車用影像顯示系統及其校正方法

本發明係有關一種車用影像顯示系統及其校正方法，特別是指一種可投影出與實際道路影像完全疊合的大面積顯示投影資訊之車用影像顯示系統及其校正方法。

隨著科技進展，生活富裕，機動車輛日益普及至每個家庭，交通的方便性由於車輛科技的進步而不斷提昇。然而隨著車輛使用的頻繁，其交通事故隨之增加，肇事原因大多以追撞案例佔大宗。為提高車輛行駛安全，抬頭顯示裝置已是許多車輛的基本配備，可將行車資訊，例如一般儀表板顯示的資訊投影於車輛的前擋玻璃，使駕駛者在行駛中可同時透過前擋玻璃注意車前路況，而不需要再低頭分心觀看車內儀表板而發生意外，以增加行車安全。

此外，如第1圖所示，更高階的抬頭顯示器可顯示導航資訊及安全警示資訊等行車資訊10於車輛的前擋玻璃12上，例如顯示簡易車速、小箭頭的導引資訊、前車資訊(如車距)及車道資訊(如車道寬、偏移量)；並於本車與前車間的距離過近時、或車速過快等有安全之虞的情況下提出警示訊號，警告駕駛者作出適當處置，如減低車速等等，以避免事故的發生，亦可降低交通事故發生機率。

然而，必須在車內有限的空間安裝抬頭顯示器，其大多為小型化設計，相對的只能侷限於小區域投影顯示畫面。因此所顯示的資訊與實際看到的道路影像，仍無法直覺性判斷出實際路況，此外，也會因駕駛者的行駛習 慣，例如身高、距離前擋玻璃位置，或行駛軌跡等原因而產生景深視角變化，故無法讓駕駛者切確的掌握與前車的相對距離關係、寬度及可行駛的路徑。

有鑑於此，本發明遂針對上述先前技術之缺失，提出一種車用前方影像顯示系統及其校正方法，以有效克服上述之該等問題。

本發明之主要目的在提供一種車用影像顯示系統及其校正方法，其能整合前方安全影像警示及投影出與實際道路影像疊合之顯示投影資訊於前擋風玻璃上，使駕駛者看到的視覺如同在實際上的車道線跟前方障礙物位置畫出明顯的標記，可真實且即時地呈現給駕駛者以掌握精確的路況，進而提高行車安全性。

本發明之另一目的在提供一種車用影像顯示系統及其校正方法，其可視駕駛者動態、以及車輛動態等狀態來校正顯示投影資訊，以修正與實際道路影像的疊合誤差，讓駕駛者能更主觀性的用眼獲得直覺式的距離感、寬度及可行駛的路徑。

為達上述之目的，本發明提供一種車用影像顯示系統，其設於一車輛上，車用影像顯示系統包括至少一第一影像擷取單元、一影像處理單元、一投影單元及一馬達控制單元。影像處理單元電性連接第一影像擷取單元、投影單元及馬達控制單元。可利用第一影像擷取單元來擷取至少一前方道路影像，影像處理單元根據前方道路影像以取得一車道線及一前方障礙物位置，並經校正後計算出可疊合實際車道上的車道線及前方障礙物位置之一顯示投影資訊及根據駕駛人動態產生一控制訊號和警示訊號。投影 單元係將顯示投影資訊投射經至少一可視平板或車輛的擋風玻璃上；及馬達控制單元，電性連接影像處理單元、投影單元及可視平板，馬達控制單元係根據影像處理單元之控制訊號以調整投影單元之焦段轉換或傾角、或調整該可視平板之傾角，以產生一疊合誤差修正值來修正顯示投影資訊。

本發明另提供一種車用影像顯示系統之校正方法，應用於一車輛以進行顯示，顯示方法包括下列步驟：擷取至少一前方道路影像；根據前方道路影像以取得一車道線及一前方障礙物位置，並轉換車道線及前方障礙物位置為一顯示投影資訊，為能讓顯示投影資訊與實際道路路況的影像完全疊合，讓駕駛者可直覺式的判斷車輛是否偏移車道、車輛是否跟前車過近及可行駛路徑，因此，可搭配調整顯示投影資訊之顯示條件，並產生一疊合誤差修正值，例如顯示條件為調整一投影單元之焦段轉換或傾角以產生；顯示條件為調整可視平板之傾角以產生疊合誤差修正值，可視需求以自動或手動來調整投影單元或可視平板或上述兩者同時進行調整。根據疊合誤差修正值對顯示投影資訊進行校正；及將顯示投影資訊投射經至少一可視平板或車輛的擋風玻璃上，即可呈現完整且低誤差的顯示資訊。

底下藉由具體實施例詳加說明，當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。

基於行車安全與駕駛環境等考量，為提高車輛的可靠性與駕駛視認性的安全輔助裝置，請同時參閱第2圖及第4圖，第2圖為本發明之系統方塊圖；第4圖為本發明之多座標轉換示意圖。車用影像顯示系統設於一車輛上，車用影像顯示系統14包括至少一第一影像擷取單元16、一影像處理 單元18、一投影單元20、一馬達控制單元22及至少一可視平板24。第一影像擷取單元16電性連接影像處理單元18，第一影像擷取單元16可為電耦合裝置(CCD)、互補式金屬氧化半導體(CMOS)等感測元件或紅外線攝影裝置，設於車輛的前擋風玻璃25內，用來擷取至少一前方道路影像。影像處理單元18根據前方道路影像，辨識行駛中的道路資訊，以取得一車道線及一前方障礙物位置，例如前方障礙物位置可為前車位置，並利用一校正座標轉換模型(容後介紹)對車道線及前方障礙物位置進行校正後，據以計算出可疊合實際車道上的車道線及前方障礙物位置之一顯示投影資訊及產生一控制訊號，當然，顯示投影資訊可為虛像投影資訊或是實像投影資訊。

可視平板24可為反射率光學薄膜，設於車輛之擋風玻璃25及投影單元20之間，可透過投影單元20係將顯示投影資訊投射至可視平板24或車輛的擋風玻璃25上。投影單元20可為投影光機，其具有變焦系統，由於第一影像擷取單元16之擷取影像轉換為顯示投影資訊後，會因駕駛者的預視點或影像擷取、投影影像位置的不同，而無法與實際道路影像完全疊合。因此，可透過影像處理單元18自動進行顯示投影資訊的校正，舉例來說，影像處理單元18可輸出調整顯示條件之一控制訊號予馬達控制單元22。其中馬達控制單元22電性連接影像處理單元18、投影單元20及可視平板24，馬達控制單元22係根據影像處理單元18之控制訊號來調整投影單元20之焦段轉換或傾角、或調整可視平板24之傾角，以產生一疊合誤差修正值來修正顯示投影資訊，即可呈現出顯示投影資訊與實際道路影像疊合之功效，進而集中駕駛者的注意力、以及可直覺式的掌握行駛道路狀態，進而 提高行車安全性。

由於先前技術會因影像擷取裝置在不同車型上，擷取影像區域隨著影像擷取裝置所設置之位置不同而有所差異，使得安裝人員需要時常進行調整而造成相當地不便，再者，也有可能因為安裝人員手動設定造成人為的誤差，而使辨識率降低等風險。為此，本發明提出一種可藉由手動或自動校正方式調整第一影像擷取單元16，使其進行前方道路影像擷取時，能更符合安全警示系統所需的偵測影像。舉例來說，駕駛者若將車輛行駛至一特定場地，影像處理單元18可依據至少一預設場地之校正參數，將第一影像擷取單元16自動校正其校正參數，以自動獲得第一影像擷取單元16之高度、傾角、位置及距離修正等參數。因此，可有效降低安裝人員所要承擔的風險，以及解決需反覆調整影像擷取裝置之不便性。

其中，車用影像顯示系統14更包括至少一第二影像擷取單元26，其電性連接影像處理單元18及馬達控制單元22。第二影像擷取單元26較佳係設置於車輛內的駕駛座前方，用來擷取一駕駛者的動態，例如駕駛者頭部及眼睛資訊等動態資訊，再由影像處理單元18根據動態估測出駕駛者之一預視點，以輸出控制訊號予馬達控制單元22，藉由馬達控制單元22來控制第二影像擷取單元26之傾角角度，以符合駕駛者之預視點，可輔助校正顯示投影資訊的準確性。

其中，車用影像顯示系統14更包括一車輛動態偵測單元28，其電性連接影像處理單元18，車輛動態偵測單元28係偵測車輛之一行駛資訊，例如車速、車輛偏移量或方向盤轉向等，影像處理單元18根據相關行駛資訊估測出駕駛者之一預視點，以輸出控制訊號予馬達控制單元22，據以調整投 影單元20之焦段轉換或傾角、或調整可視平板24之傾角，以產生一疊合誤差修正值來修正顯示投影資訊，最後再將修正後的車道線、前方障礙物位置的顯示投影資訊，以及將行駛資訊投射至可視平板或車輛的擋風玻璃25上。

其中，車用影像顯示系統14更包括一操控介面30及一警示單元32，操控介面30及警示單元32電性連接影像處理單元18。操控介面30係供使用手動控制，可提供使用者進行一參數設定，影像處理單元18根據參數設定以輸出調整投影單元20之焦段轉換或傾角、或調整可視平板24之傾角的控制訊號予馬達控制單元22、或根據參數設定以控制第一影像擷取單元16自動調整高度、傾角、位置及距離修正參數等。影像處理單元18可根據影像辨識結果及行車資訊來判斷出現行車輛與前方障礙物位置間的距離是否超出安全範圍，或是車輛本身車況是否低於一預設安全值等，以決定是否傳送一警示訊號予警示單元32，藉由警示單元32發出一警報提示，例如警示單元32可結合蜂鳴器、LED、語音播放等，以聲光警報方式來提醒駕駛者，或是配合投影單元20來投影顯示警示畫面，藉此避免危險事故發生。

瞭解上述之系統架構之後，為進一步說明本發明確實能建構出更直覺式的大面積顯示投影資訊，並能完全與實際道路資訊疊合之功效，請同時參閱第2圖及第3圖，第3圖為本發明之步驟流程圖。本發明可適用於不同車型上，於啟動車用影像顯示系統14之後，先由影像處理單元18判斷是否為第一次調校模式，例如第一影像擷取單元16、投影單元20及可視平板24之安裝位置、傾角是否符合對應車型的影像擷取理想區域以及顯示投影顯示位置；若否，由影像處理單元18根據一預設校正參數值進行第一影 像擷取單元16、投影單元20及可視平板24之校正；若是，則開始執行步驟S10，利用第一影像擷取單元16來擷取至少一前方道路影像，其中，為了能擷取全天候之影像，故第一影像擷取單元16可為紅外線影像擷取單元(紅外線攝影機)。如步驟S12，影像處理單元18根據前方道路影像以取得一車道線及一前方障礙物位置；再如步驟S14，影像處理單元18係利用一校正座標轉換模型對車道線及前方障礙物位置轉換為一顯示投影資訊，請同時配合第4圖，其中，校正座標轉換模型如下列公式(1)、公式(2)：

其中，u _p 為投影單元20之u座標(橫座標)，v _p 為投影單元20之v座標(縱座標)，m _θc 為第一影像擷取單元16之傾斜斜率(θc 為第一影像擷取單元16與地面之夾角)，H _c 為第一影像擷取單元16之離地高度，u _c 為第一影像擷取單元16之影像平面u座標(橫座標)，v _c 為第一影像擷取單元16之影像平面v座標(縱座標)，e _uc 為第一影像擷取單元16之u焦距為第一影像擷取單元16中的鏡頭至影像平面u軸的距離，e _vc 為第一影像擷取單元16之v焦距為第一影像擷取單元16中的鏡頭至影像平面v軸 的距離，t 為駕駛視線之參數，，其中a、b、c、d為顯示平面D，可以是可視平板24(如圖中所示，可視平板座標為X _D ，Y _D ，Z _D )或車輛的擋風玻璃25的參數，、、為P點在人眼座標(X _E ，Y _E ，Z _E )的位置)，(X _W ，Y _W ，Z _W )為世界座標，A _P 為投影單元20的內部參數(如投影焦段、光軸中心位置等參數)，T _WE3x1 此為世界座標(X _W ，Y _W ，Z _W )到人眼座標(X _E ，Y _E ，Z _E )的平移矩陣，T _EP3x1 此為人眼座標(X _E ，Y _E ，Z _E )到投影單元20座標(X _P ，Y _P ，Z _P )的平移矩陣，R _WE3x3 此為世界座標(X _W ，Y _W ，Z _W )到人眼座標(X _E ，Y _E ，Z _E )的旋轉矩陣，R _EP3x3 此為人眼座標(X _E ，Y _E ，Z _E )到投影單元20座標(X _P ，Y _P ，Z _P )的轉旋矩陣。

利用校正座標轉換模型將車道線及前方障礙物位置轉換為顯示投影資訊之後，如步驟S16，調整顯示投影資訊之顯示條件，並產生一疊合誤差修正值。其中，顯示條件可為調整投影單元20之焦段轉換(如參數A _P )或傾角以產生疊合誤差修正值；詳言之，投影單元20之調整步驟可根據顯示投影資訊中的車道線左上、左下、右上、右下之頂點座標值，如第5a圖所示，將其代入上述公式(1)及公式(2)，以計算出調整傾角之疊合誤差修正值；再如步驟S18，根據疊合誤差修正值對顯示投影資訊進行校正。最後執行步驟S20，將經校正後計算出可疊合實際車道上車道線及前方障礙物位置之顯示投影資訊，投影單元20可分別將顯示投影資訊投射經至一可視平板24上，如第5b圖所示，讓駕駛者看到的視覺如同在實際上的車道線與前方障礙物位置劃出明顯的標記，有助駕駛者集中需要的視野。

其中，顯示條件亦可為調整可視平板24之傾角以產生疊合誤差修正 值，再執行步驟S18至S20，將疊合誤差修正值對顯示投影資訊進行校正後予以投影顯示。

更進一步而言，亦可同時調整投影單元20及可視平板24來對顯示投影資訊進行即時微調校正。舉例來說，投影單元20可根據車輛動態偵測單元28所偵測車輛之車速、車輛偏移量或方向盤轉向等行駛資訊，並估測出駕駛者之預視點，藉由馬達控制單元22調整投影單元20之焦段轉換，如景深視角的轉換，或調整傾角，讓駕駛者可以更清楚地觀看所顯示的投影資訊及實際行駛路況，以有效提升駕駛者對實際路況的視認性及安全性。同時，可視平板24可搭配第二影像擷取單元26進行調整，例如可視平板24可根據第二影像擷取單元26所擷取駕駛者之頭部及眼睛資訊等動態資訊，據以估測駕駛者之預視點，再藉由馬達控制單元22調整可視平板24之傾角角度。如此一來，本發明可以藉由搭配軟體與硬體上的調整，將實際上的道路影像與顯示投影像資訊完全疊合，不僅可提升行車安全性，又能解決習知侷限於軟體上的影像校正，而無法達到大面積投影顯示以及精準影像校正之缺失。

綜上所述，本發明能整合前方安全影像警示及投影出與實際道路影像疊合之顯示投影資訊於可視平板24上，使駕駛者看到的視覺如同在實際上的車道線跟前方障礙物位置畫出明顯的標記，可真實且即時地呈現給駕駛者以掌握精確的路況，進而提高行車安全性。

唯以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍。故即凡依本發明申請範圍所述之特徵及精神所為之均等變化或修飾，均應包括於本發明之申請專利範圍內。

10‧‧‧行車資訊

12‧‧‧前擋玻璃

14‧‧‧車用影像顯示系統

16‧‧‧第一影像擷取單元

18‧‧‧影像處理單元

20‧‧‧投影單元

22‧‧‧馬達控制單元

24‧‧‧可視平板

25‧‧‧擋風玻璃

26‧‧‧第二影像擷取單元

28‧‧‧車輛動態偵測單元

30‧‧‧操控介面

32‧‧‧警示單元

第1圖為先前技術之抬頭顯示器之顯示示意圖。

第2圖為本發明之系統方塊圖。

第3圖為本發明之步驟流程圖。

第4圖為本發明之多座標轉換示意圖。

第5a圖為本發明調整前顯示投影資訊之示意圖。

第5b圖為本發明調整後顯示投影資訊之示意圖。

14‧‧‧車用影像顯示系統

16‧‧‧第一影像擷取單元

18‧‧‧影像處理單元

20‧‧‧投影單元

22‧‧‧馬達控制單元

24‧‧‧可視平板

26‧‧‧第二影像擷取單元

28‧‧‧車輛動態偵測單元

30‧‧‧操控介面

32‧‧‧警示單元

Claims (10)

1. 一種車用影像顯示系統，其設於一車輛上，該車用影像顯示系統包括：至少一第一影像擷取單元，係擷取至少一前方道路影像；一影像處理單元，電性連接該第一影像擷取單元，根據該前方道路影像以取得一車道線及一前方障礙物位置，並經校正後計算出可疊合實際車道上該車道線及該前方障礙物位置之一顯示投影資訊及產生一控制訊號、一警示訊號；一投影單元，電性連接該影像處理單元，係將該顯示投影資訊投射到至少一可視平板或該車輛的擋風玻璃上；及一馬達控制單元，電性連接該影像處理單元、該投影單元及該可視平板，該馬達控制單元係根據該影像處理單元之該控制訊號以調整該投影單元之焦段轉換或傾角、或調整該可視平板之傾角，以產生一疊合誤差修正值來修正該顯示投影資訊。
2. 如請求項1所述之車用影像顯示系統，其中該可視平板係為反射率光學薄膜，設於該車輛之檔風玻璃及該投影單元之間。
3. 如請求項1所述之車用影像顯示系統，更包括至少一第二影像擷取單元，電性連接該影像處理單元，該第二影像擷取單元係擷取一駕駛者的動態，該影像處理單元根據該動態估測出該駕駛者之一預視點，以輸出該控制訊號予馬達控制單元。
4. 如請求項1所述之車用影像顯示系統，更包括一車輛動態偵測單元，電性連接該影像處理單元，該車輛動態偵測單元係偵測該車輛之一行駛資訊，該影像處理單元根據該行駛資訊估測出該駕駛者之一預視點，以輸 出該控制訊號予該馬達控制單元，以及將該行駛資訊投射至該可視平板或該車輛的擋風玻璃上。
5. 如請求項1所述之車用影像顯示系統，其中該影像處理單元係利用一校正座標轉換模型對該車道線及該前方障礙物位置進行校正後，據以計算出可疊合實際車道上該車道線及該前方障礙物位置之該顯示投影資訊，該校正座標轉換模型包含下列公式： ；及 其中，u _p 為該投影單元之橫座標，v _p 為該投影單元之縱座標，m _θc 為該第一影像擷取單元之傾斜斜率，H _c 為該第一影像擷取單元之離地高度，u _c 為該第一影像擷取單元之影像平面橫座標，v _c 為該第一影像擷取單元之影像平面縱座標，e _uc 為該第一影像擷取單元中的鏡頭至影像平面u軸的距離，e _vc 為該第一影像擷取單元中的該鏡頭至影像平面v軸的距離，t 為駕駛視線之參數；其中a、b、c、d為該可視平板的參數，、、為P點在人眼座標(X _E ，Y _E ，Z _E )的位置，(X _W ，Y _W ，Z _W )為世界座標，A _P 為該投影單元的內部參數，T _WE3x1 為該世界座標到該人眼座標的平移矩陣，T _EP3x1 為該人眼座標到該投影單元座標的平移矩陣，R _WE3x3 為該世界座標到該人眼座標的旋轉矩陣，R _EP3x3 為該人眼座標到該投影單元座標的轉旋矩陣。
6. 如請求項1所述之車用影像顯示系統，更包括一操控介面，電性連接該影像處理單元，該操控介面係供使用者進行一參數設定，該影像處理單元根據該參數設定以輸出調整該投影單元之焦段轉換或傾角、或調整該可視平板之傾角的該控制訊號予該馬達控制單元、或根據該參數設定以控制該第一影像擷取單元自動調整高度、傾角、位置及距離修正參數。
7. 一種車用影像顯示系統之校正方法，應用於一車輛以進行車輛資訊顯示及車輛安全警示，該校正方法包括下列步驟：擷取至少一前方道路影像；根據該前方道路影像以取得一車道線及一前方障礙物位置；轉換該車道線及該前方障礙物位置為一顯示投影資訊；調整該顯示投影資訊之顯示條件，並產生一疊合誤差修正值；根據該疊合誤差修正值對該顯示投影資訊進行校正；及將該顯示投影資訊投射經一可視平板。
8. 如請求項7所述之車用影像顯示系統之校正方法，其中該前方道路影像係經由一第一影像擷取單元所擷取，可利用一影像處理單元依據至少一預設場地之校正參數，控制該第一影像擷取單元自動校正其該校正參數，以自動獲得該第一影像擷取單元之高度、傾角、位置及距離修正等 參數。
9. 如請求項7所述之車用影像顯示系統之校正方法，其中該顯示條件為調整一投影單元之焦段轉換或傾角以產生該疊合誤差修正值，或為調整該可視平板之傾角以產生該疊合誤差修正值。
10. 如請求項9所述之車用前方影像系統之校正方法，其中該投影單元之調整步驟可根據該顯示投影資訊中該車道線左上、左下、右上、右下之頂點以計算出該傾角之該疊合誤差修正值，或可根據一駕駛者之預視點計算出該傾角之該疊合誤差修正值，以及該可視平板之調整步驟可根據一駕駛者之預視點計算出該傾角之該疊合誤差修正值。