TWI605963B

TWI605963B - 行車輔助方法及裝置

Info

Publication number: TWI605963B
Application number: TW106102348A
Authority: TW
Inventors: 吳旻璋; 林冠廷
Original assignee: 威盛電子股份有限公司
Priority date: 2017-01-23
Filing date: 2017-01-23
Publication date: 2017-11-21
Also published as: TW201827271A

Description

行車輔助方法及裝置

本發明是有關於一種影像處理方法及裝置，且特別是有關於一種行車輔助方法及裝置。

現今的倒車顯影系統是利用配置於車輛後方的相機擷取車輛後方影像（包含地面及景物），並根據方向盤轉角估測車輛倒車時後輪的移動軌跡，從而將此移動軌跡繪製於所擷取的影像中。而藉由在倒車時顯示由前方往後方看包含後輪移動軌跡的後方影像，可輔助駕駛確認目前方向盤所打的角度是否適合並進行調整，最終可準確地將車輛倒車至所欲停放的位置。

然而，由於相機的視野有限，即便使用視野較廣的廣角或魚眼鏡頭來拍攝影像，由前方往後方看的傳統倒車顯影系統仍舊只能顯示有限視野的影像，無法完整或清楚顯示出車輛周圍的景物或其他物體。結果，使用者在基於由前方往後方看的傳統倒車顯影系統所顯示的倒車軌跡進行倒車的過程中，仍得小心提防周遭景物或物體進入倒車區域。

本發明提供一種行車輔助方法及裝置，藉由計算車輛行進軌跡並繪製於視角為車輛上後方往下前方觀看的影像中，藉此可輔助駕駛了解車輛行進路線與周圍地面及景物的關係。

本發明的行車輔助方法適用於配置於車輛上的電子裝置。此電子裝置連接配置於車輛上的多個相機。此方法計算車輛行進時車輪於車輛周圍之行進軌跡。接著，利用相機拍攝車輛周圍多個透視視野（perspective view）的影像，並分別將這些影像的視野由透視視野轉換為俯視視野（top view）。之後，根據透視視野及俯視視野的影像產生車輛周圍的合成影像。最後，將合成影像及行進軌跡映射（map）並結合至車輛周圍之物件空間的三維模型，而使用三維模型在車輛倒車時提供視角為由車輛之上後方往下前方觀看的包含行進軌跡的行進影像。

本發明的行車輔助裝置包括連接裝置、儲存裝置及處理器。其中，連接裝置是用以耦接配置於車輛上的多個相機。儲存裝置是用以儲存多個模組。處理器耦接連接裝置及儲存裝置，用以載入並執行儲存裝置中的模組，這些模組包括軌跡計算模組、影像拍攝模組、視野轉換模組、影像拼接模組及三維模型模組。其中，軌跡計算模組是用以計算車輛行進時車輪於車輛周圍之行進軌跡。影像拍攝模組利用相機拍攝車輛周圍多個透視視野的影像。視野轉換模組是用以將透視視野的影像分別轉換為俯視視野的影像。影像拼接模組是用以根據透視視野及俯視視野的影像產生車輛周圍的合成影像。三維模型模組是用以將合成影像及行進軌跡映射並結合至車輛周圍的三維模型，並使用三維模型在車輛倒車時提供視角為由車輛之上後方往下前方觀看的包含行進軌跡的行進影像。

基於上述，本發明的行車輔助方法及裝置藉由計算車輛行進時車輪於車輛周圍之行進軌跡，並將此行進軌跡與車輛環景影像映射並結合至三維模型，之後再利用此三維模型在車輛倒車時提供視角為由車輛之上後方往下前方觀看的包含行進軌跡的行進影像。藉此，可輔助使用者在行車時可清楚看到行進軌跡與周圍景物或物體的變化，從而適當地調整行進操作。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明係根據方向盤轉角計算車輛的行進軌跡，並將此行進軌跡應用在車輛環景系統所建構的環景影像。其中，本發明藉由將行車軌跡經轉換融入環景影像後再將環景影像映射於車輛周圍空間的三維模型，或是直接將行車軌跡與環景影像一同映射於三維模型，最後再利用三維模型在倒車時提供視角為由車輛上後方往下前方觀看的包含行進軌跡的行進影像(本發明中所稱的前方與後方分別對應車輛的車頭與車尾)。藉此，可輔助使用者在行車過程中可清楚看到車輛周圍景物的位置或變化，從而調整行車操作。

圖1是依照本發明一實施例所繪示之行車輔助裝置的方塊圖。本實施例的行車輔助裝置10例如是車用電腦，或是具備運算功能的手機、平板電腦或個人電腦或其他裝置，其中至少包括連接裝置12、儲存裝置14及處理器16，其功能分述如下：

連接裝置12例如是通用序列匯流排（Universal Serial Bus，USB）、RS232、藍芽、無線相容認證（Wireless fidelity，Wi-Fi）等有線或無線的傳輸介面，其可用以耦接配置於車輛上的相機，從而接收相機所拍攝的影像。

儲存裝置14例如是任何型態的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）或類似元件或上述元件的組合。在本實施例中，儲存裝置14係用以記錄軌跡計算模組141、影像拍攝模組142、視野轉換模組143、影像拼接模組144及三維模型模組145。

處理器16例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似裝置或這些裝置的組合，其係與連接裝置12及儲存裝置14耦接。

在本實施例中，儲存在儲存裝置14中的模組例如是電腦程式，而可由處理器16載入，據以執行本實施例的行車輔助方法。以下即舉實施例說明此方法的詳細步驟。

圖2是依照本發明一實施例所繪示之行車輔助方法的流程圖。請同時參照圖1及圖2，本實施例的方法適用於上述圖1的行車輔助裝置10，以下即搭配圖1中行車輔助裝置10的各項裝置，說明本實施例行車輔助方法的詳細步驟：

首先，由處理器16執行軌跡計算模組141以計算車輛行進時車輪於該車輛周圍之行進軌跡（步驟S202）。詳言之，軌跡計算模組141例如是利用轉角感知器偵測車輛的方向盤轉角，並查詢方向盤轉角與車輪轉向角度的對應表，以找出方向盤轉角所對應的車輪轉向角度，從而依據此轉向角度以及車輛的車輪配置，估測車輛的行進軌跡。上述的方向盤轉角與車輪轉向角度的對應表例如是由軌跡計算模組141預先建立並記錄在儲存裝置14中，以便在實際計算行進軌跡時可查詢使用。

舉例來說，車輛倒車時，左輪軌跡( x _rL , y _rL )及右輪軌跡( x _rR , y _rR )例如可利用下列公式計算：

左輪：；

右輪：。

其中， l為前後輪軸距、 w為後輪距、 v為前軸中心點速度(也就是車速)、 t為行進時間、為前軸中心點轉向角。上述的前軸中心點轉向角主要是透過左右前輪的轉向角來推算，而左右前輪的轉向角則與方向盤轉角有關，其對應關係可利用配置於方向盤的轉角感知器來偵測方向盤轉角，同時利用四輪定位儀偵測該方向盤轉角下，左右前輪的轉向角度，而藉由重複上述步驟，逐步轉動方向盤以偵測並記錄不同方向盤轉角所對應的左右前輪的轉向角度，進而建立方向盤轉角與車輪轉向角度的對應表。

接著，由處理器16執行影像拍攝模組142以利用連接裝置12所耦接的相機拍攝車輛周圍多個透視視野的影像（步驟S204）。上述的相機可以包括配置於車輛前、後、左、右四個位置的相機，用以拍攝車身前方、後方、左方、右方等透視視野的影像，但不限於此。本領域技術人員可視實際需要，在車輛的其他位置額外配置相機，以增加所拍攝影像的涵蓋範圍。

舉例來說，圖3是本發明一實施例所繪示之拍攝車輛周圍影像的範例。請參照圖3，本實施例是在車輛30的前、後、左、右四個位置分別配置相機32、34、36、38。其中，相機32、34、36、38分別用以拍攝車身前方、後方、左方、右方等透視視野的影像32a、34a、36a、38a。

需說明的是，在上述實施例中，配置在車輛上的相機例如是使用魚眼鏡頭，其具有接近180度的視角，而可拍攝涵蓋範圍較廣的影像。基於使用魚眼鏡頭拍攝的影像會產生變形（例如影像32a、34a、36a、38a所示的圓形扭曲），故本申請實施例可額外由處理器16執行魚眼校正模組（未繪示），從而對這些影像進行魚眼校正。

魚眼校正模組例如會依據各個相機的外部參數例如相機的位移、旋轉，以及內部參數例如鏡頭的焦距、中心點、中心解析度、邊緣解析度、扭曲參數(distortion parameter)等參數，對相機所拍攝的影像進行裁切或/及校正，以將魚眼鏡頭的中心移動至影像中心。詳言之，由魚眼鏡頭拍攝的景物僅會出現在影像中心的圓形區域中，其周圍則會是黑邊。若左右黑邊的寬度不同，則代表鏡頭中心已偏離影像中心。此時魚眼校正模組例如會裁切影像，以使影像兩邊黑邊的寬度一致，從而將魚眼鏡頭的中心移動至影像中心，確保後續執行魚眼校正時影像可還原為原始形狀。在其他實施例中，若配置在車輛上的相機不是使用魚眼鏡頭，可以不進行魚眼校正或進行對應於相機鏡頭的其他種類校正。

在校正影像中心之後，魚眼校正模組還會分別依據各個相機的上述參數，對相機所拍攝的影像執行魚眼校正，而從影像的中心開始向外校正影像，使得原本扭曲變形的影像可還原為所拍攝景物的原始形狀。

詳言之，在魚眼校正模組的一第一實施例中，假設所拍攝魚眼影像的寬度為 dw、高度為 dh，校正後原始影像的寬度為 sw、高度為 sh；假設為校正前魚眼影像的像素位置，而為校正後的來源影像的像素位置；假設魚眼鏡頭的去魚眼（de-fish）係數為 f。其中，像素與影像中心的距離的關係為：

；

校正後的來源影像（即去魚眼影像）的像素位置為：

，其中

，其中，其中為歐式距離（Euclidean distance）。

舉例來說，圖4是本發明一實施例所繪示之魚眼校正的範例。請參照圖4，本實施例是針對配置於車輛前方的相機使用魚眼鏡頭所拍攝的魚眼影像42執行魚眼校正。魚眼影像42中像素的位置可經由上述公式轉換至去魚眼影像44中的對應位置，從而獲得無變形失真的去魚眼影像44。其中，而由於魚眼鏡頭的限制，去魚眼影像44的上部中間與下部中間將出現黑邊。

在魚眼校正模組的一第二實施例中，來源影像在真實的三維世界中的位置與目標影像中的像素位置具有如下對應關係：

；

。

其中， R和 t為分別為外部參數中代表旋轉與位移的矩陣、 k ₁ ~ k ₅ 為內部參數中的扭曲參數、 f _x 及 f _y 為內部參數中的焦距、 c _x 及 c _y 為內部參數中的中心點位置。魚眼校正模組可根據做為來源影像的校正參考物件的多個空間位置與目標影像中的多個像素位置解出上述多個外部參數與內部參數，以便在魚眼影像與去魚眼影像間進行轉換。在一實施例中，在車輛的不同位置的各個相機可以使用相同或不同的內部參數及外部參數。在一實施例中，可以預先根據上述內部參數及外部參數建立來源影像映射（map）至目標影像之一對應表（mapping table），再由查表的方式在魚眼影像與去魚眼影像間進行轉換。

在步驟S204中，處理器16還包括執行視野轉換模組144以將透視視野的影像分別轉換為俯視視野的影像（步驟S204）。其中，視野轉換模組144例如會利用一個預先建立的視野轉換矩陣，將透視視野影像中的多個像素的位置轉換至俯視視野影像中的對應位置。

關於上述的視野轉換矩陣，視野轉換模組144例如是使用上述的相機分別拍攝包括參考物件（例如是繪製地面上的定位格線或圖案）在內的透視視野的第一影像，並使用配置於參考物件上方的另一獨立相機拍攝包括相同參考物件在內的真實俯視視野的第二影像。然後，視野轉換模組144會擷取第一影像中參考物件的多個像素的位置做為目標位置，並擷取第二影像中相同參考物件的多個對應像素的位置做為來源位置，據以解出視野轉換矩陣中的多個轉換係數。

舉例來說，假設為來源影像（即上述俯視視野的第二影像）中的像素位置；為目標影像（即上述透視視野的第一影像）中的像素位置。在來源影像中取預先決定的4個像素並在目標影像中取預先決定的4個對應像素帶入下列算式：

；

藉由解出上列線性系統中的係數C _ij(i,j = 0~2，其中C ₂₂= 1)可得到一對應之3´3矩陣C，即可由C之反矩陣獲得本實施例用來將透視視野影像轉換為俯視視野影像的視野轉換矩陣。得到上述將透視視野影像轉換為俯視視野影像的視野轉換矩陣後，便可將車輛的相機所拍攝的透視視野影像畫素之對應向量乘以視野轉換矩陣得到俯視視野影像畫素之對應向量。雖然本實施例中以4個像素計算視野轉換矩陣，但在其他實施例中可以使用其他數目的像素來計算視野轉換矩陣。在一實施例中，在車輛的不同位置的各個相機所拍攝的影像可以使用相同或不同的視野轉換矩陣來轉換，以配合各相機的角度與鏡頭參數。在一實施例中，可以預先根據上述視野轉換矩陣建立各透視視野影像畫素映射（map）至各俯視視野影像畫素之一對應表（mapping table），再由查表的方式進行轉換。回到圖2的流程，在獲得轉換後的俯視視野影像後，影像拼接模組146即會根據透視視野及俯視視野的影像產生車輛周圍的合成影像（步驟S206）。其中，影像拼接模組146例如是利用俯視視野的影像拼接地面側影像，而利用透視視野影像拼接牆面側影像，或是同時利用透視視野及俯視視野的影像拼接合成影像，在此不設限。

詳言之，影像拼接模組144例如會在轉換後俯視視野的各個影像的其中一行像素中，找出由至少一個預設數目的連續多個空洞像素構成的區間，而根據此區間在影像中的高度，將透視視野及俯視視野的影像切割為地面側影像及牆面側影像。上述的一行像素例如是位於影像中線上的一行像素或是位於影像中特定物件上的一行像素，而上述的預設數目例如為10或是其他依據解析度等影像參數而定的數目，在此不設限。

詳言之，由於透視視野影像中各像素的資料在轉換為俯視視野後會集中於影像下方（即地面側影像），並且會隨著影像高度的增加（即與影像下方的距離拉長）而遞減。因此，俯視視野影像中會留下許多無影像資料的空洞像素，且這些空洞像素會隨著影像高度的增加而遞增。

本申請實施例即根據此特性，為此空洞像素的分佈設定一個數量上的預設值，若俯視視野影像在縱向上的連續空洞像素的數量超過此預設值時，即代表此區間上方的影像中的空洞像素會過多而導致影像失真。據此，影像拼接模組144即根據此區間在影像中的高度，將透視視野影像切割為地面側影像及牆面側影像，藉以保留較為清楚的地面側影像。其中，影像拼接模組144例如會使用此區間中點的高度，或是使用位於此區間上端或下端具有影像資料的像素的高度，決定分割線的位置。

舉例來說，圖5是依照本發明一實施例所繪示之車輛周圍影像處理方法的範例。請參照圖5，影像52是經過魚眼校正後的車輛左側影像，將影像52的視角轉換至俯視視角後，則可獲得影像54。由影像54可知，影像資料主要集中於地面側影像，而隨著影像高度的增加，空洞像素（位於影像上部橫線之間的黑色區域）也逐漸增多。據此，本發明即取影像54中線上的一行像素56來決定切割影像54的分割線位置。請參照影像54右側的該行像素56的放大圖，該行像素56包括高度為297至317的多個像素，其中像素A、B為具有影像資料的像素，而其他像素則為不具有影像資料的空洞像素。基於這些空洞像素的數量達到10個，本發明即利用這些空洞像素形成的區間58來決定切割影像54的分割線位置。其中，本發明可使用區間58的中點在影像54中的高度，或是使用像素A或B在影像54中的高度，做為分割線的高度。

在將透視視野及俯視視野的影像切割為地面側影像及牆面側影像之後，影像拼接模組144即會將切割後的地面側影像及牆面側影像拼接起來，以產生車輛周圍的合成影像。其中，影像拼接模組144例如會對相同視野的地面側及牆面側的清晰影像進行合併，然後再對相鄰視野的合併影像進行拼接，並適當地調整其中牆面側影像的高度，使得所拼接影像中牆面側影像的高度對應一致，最後即可產生可環繞車輛周圍360度的合成影像。

詳言之，圖6是依照本發明一實施例所繪示之拼接不同視野影像以獲得車輛周圍合成影像的方法流程圖。請同時參照圖1及圖6，本實施例的方法適用於上述圖1的電子裝置10，以下即搭配圖1中電子裝置10的各項裝置，說明本實施例影像拼接方法的詳細步驟：

首先，由影像拼接模組144針對各個透視視野的影像及其對應的俯視視野的影像，將切割後的透視視野的牆面側影像及切割後的俯視視野的地面側影像合併，以產生該透視視野的合併影像（步驟S602）。其中，基於俯視視野的地面側影像較為清晰且接近真實影像，而透視視野的牆面側影像較為清晰且接近真實影像，故影像拼接模組144在將兩者合併後，即可獲得地面側及牆面側影像均為清晰且接近真實影像的合併影像。

舉例來說，圖7是依照本發明一實施例所繪示之合併透視視野的牆面側影像及俯視視野的地面側影像的範例。請參照圖7，影像74是車輛前方相機所拍攝影像經魚眼校正後所得的透視視野影像，影像72則是對影像74進行視野轉換所得的俯視視野影像。基於前述實施例的分割線決定方法，可得到適於切割影像72、74的分割線。利用此分割線，可將俯視視野影像72切割為牆面側影像722及地面側影像724，以及將透視視野影像74切割為牆面側影像742及地面側影像744。據此，本實施例係將影像較為清晰的俯視視野影像72的地面側影像724以及透視視野影像74的牆面側影像742合併，以獲得合併影像76。其中，本實施例在合併地面側影像724與牆面側影像742時，還可進一步根據地面側影像724及牆面側影像742中的對應特徵（例如可透過習知的影像辨識方法來辨識對應特徵），縮放地面側影像724與牆面側影像742，而獲得位置相對應的地面側影像764與牆面側影像762。本實施例的牆面側影像762即是由牆面側影像742縮放而得。

需說明的是，本實施例的牆面側影像是取自經過魚眼校正後的透視視野影像，但即便經過魚眼校正，透視視野影像中的牆面側影像的物件仍有可能會有偏斜的情形，且離影像中線愈遠，偏斜的情形愈明顯。對此，本實施例在將牆面側影像與地面側影像合併之前，例如還會針對牆面側影像進行偏斜調整，使得調整後牆面側影像中的物件能夠對齊。

舉例來說，圖8A及圖8B是依照本發明一實施例所繪示之調整牆面側影像的範例。請參照圖8A，影像80是車輛前方相機所拍攝影像經魚眼校正後所得的透視視野影像。其中，本實施例係取用影像80中位於區域82內的多個像素的位置做為來源位置，並預設將區域82轉換為區域84，藉以調整區域82內偏斜的物件，使其在轉換至區域84內後可彼此對齊。

由轉換後影像80a中的柱子可知，轉換後影像80a中的柱子仍然向左偏斜。據此，本實施例將轉換所取用像素的區域82調整至區域86，即向左擴大所取用像素的區域，並預設轉換後區域88，此區域88的尺寸與形狀是與區域84相同的。由轉換後影像80b中的柱子可知，轉換後影像80b中的柱子彼此對齊，也與影像的軸線（垂直線）方向一致。藉由上述的調整方式，即可解決透視視野影像的牆面側影像中物件偏斜的問題。

回到圖6的流程，接著由影像拼接模組144針對相鄰透視視野的合併影像，調整這些合併影像中的牆面側影像的高度，使得這些合併影像中的牆面側影像的高度一致（步驟S604）。詳言之，由於相鄰的透視視野會有重疊，故相鄰透視視野影像中的部分區域會有重疊，但由於視野方向的不同，這些重疊區域的高度不一定相同。若直接將相鄰透視視野影像拼接在一起，上述高度不一致的問題將造成拼接影像的不連續。據此，本申請實施例即藉由比對相鄰透視視野的合併影像中的對應特徵，據以調整合併影像的高度，使其一致。

舉例來說，圖9是依照本發明一實施例所繪示之調整牆面側影像高度的範例。請參照圖9，影像92是車輛左方相機所拍攝影像經過上述實施例的魚眼校正、切割及合併後所得的左方透視視野的合併影像，影像94則是車輛前方相機所拍攝影像經過魚眼校正、切割及合併後所得的前方透視視野的合併影像，由影像92、94的上方區域可知，其中的牆面有重疊。然而，影像92中的牆面高度（向右箭頭）顯然比影像94的牆面高度（向左箭頭）為高，因此若直接合併影像92與影像94，勢必會產生牆面高度不一致的情形。對此，本實施例可藉由上述圖8A與圖8B的調整方式，將影像92中的牆面側影像減少高度（等同於減少牆面高度），而獲得調整後的影像92a，以及將影像94中的牆面側影像增加高度（等同於增加牆面高度），而獲得調整後的影像94a。由於調整後的影像92a與影像94a中的牆面高度相同，故即便將影像92與影像94合併，其中的牆面高度也會是一致的，而不會產生上述影像不連續的情況。調整後的影像可以比照前述方法建立另一轉換矩陣，使透視視野影像中的牆面側影像乘上該轉換矩陣後即完成影像調整。在另一實施例中，也可比照前述方法透過使用上述的相機分別拍攝包括參考物件（例如是繪製牆面上的定位格線或圖案）在內的牆面側影像，並使用配置於參考物件前方的另一獨立相機拍攝包括相同參考物件在內的真實牆面側影像，以相同方式據以解出牆面側影像之轉換矩陣。

最後，由影像拼接模組144根據相鄰透視視野的合併影像中的多個對應特徵，將這些合併影像拼接，以產生合成影像（步驟S606）。上述的對應特徵例如是在相鄰透視視野的兩張合併影像中均有出現的物件的特徵。影像拼接模組148例如可對應車輛的方向，將車輛的前方、後方、左方、右方四張影像進行旋轉，然後再根據上述合併影像中的物件特徵對這些合併影像進行平移及/或縮放，使得這些合併影像可以拼接為同一張合成影像。

舉例來說，圖10是依照本發明一實施例所繪示之拼接合併影像的範例。圖10左方的影像102、104、106、108例如分別是車輛前方、後方、左方及右方的合併影像。在進行拼接時，除了車輛前方的影像102維持原方向外，車輛左方的影像會逆時針旋轉90度；車輛右方的影像會順時針旋轉90度；車輛後方的影像則會旋轉180度。其中，由於影像102、104、106、108中有出現柱子、停車格線、電燈等相同物件，故本實施例的裝置即可根據這些相同物件所在位置及大小，對旋轉後的影像102、104、106、108進行拼接，從而獲得包括車輛周圍地面與景物的合成影像100。拼接後的影像可以比照前述方法對車輛前方、後方、左方及右方的合併影像建立對應之轉換矩陣以完成影像拼接。

回到圖2的流程，基於上述影像拼接模組144所拼接的車輛周圍的合成影像包括清楚的車輛周圍各方向上的牆面側與地面側影像，處理器16即執行三維模型模組145，以將清晰的合成影像以及行進軌跡映射並結合至車輛周圍空間的三維模型（步驟S208）。其中，三維模型模組145例如會先定義三維模型的長、寬、高，再將合成影像中的每一個像素映射至三維模型中的對應位置。在三維模型模組的一第一實施例中，因為行進軌跡僅會出現在地面側影像中而不會出現在牆面側影像中，行進軌跡可先與俯視視野的地面側影像結合以產生包含行進軌跡的車輛周圍的合成影像，再將包含行進軌跡的合成影像映射至三維模型。其中行進軌跡可以是先轉換成魚眼影像(例如通過前述魚眼校正模組的反轉換)再與魚眼鏡頭所拍攝的魚眼影像結合，或是直接與視野轉換模組以及影像拼接模組所產生的俯視視野的地面側影像結合。在三維模型模組的一第二實施例中，行進軌跡及合成影像是分別映射至三維模型，三維模型模組145亦會將軌跡計算模組141所計算的行進軌跡中的每一個像素映射至三維模型中的對應位置，之後映射至三維模型的行進軌跡及映射至三維模型的合成影像結合使得三維模型中不僅包括車輛周圍的地面和景物資訊，也包括車輛的行進軌跡資訊。

舉例來說，圖11是依照本發明一實施例所繪示之建立三維模型的範例。圖11的影像110例如是由上述實施例的方法所產生的車輛周圍的合成影像(未包含行進軌跡)。其中，本實施例的裝置例如會先建立車輛周圍空間的三維模型112，從而將此影像110中的各個像素映射至三維模型112中的對應位置。需說明的是，本實施例的影像110是由配置於車輛前、後、左、右等四個相機所拍攝影像經過處理所獲得，所以當影像110被映射至三維模型112時，這些由車輛前、後、左、右等四個相機所拍攝的透視視野影像的合併影像中的各個像素將會對應至三維模型中的其中一個像素。據此，本實施例的裝置即可針對上述四個相機所拍攝影像中的像素，找出其在三維模型中的對應位置，從而建立一個對應表。藉此，每當裝置接收到這四個相機所拍攝的影像時，即可藉由查表直接將這些影像中的像素轉換至三維模型中的對應位置，從而快速地建立車輛周圍空間的三維模型。在前述的三維模型模組的第二實施例中，同樣也可針對行進軌跡找出其在三維模型中的對應位置，從而建立一個對應表，並藉由查表直接將行進軌跡中的像素轉換至三維模型中的對應位置。在圖11的實施例中，車輛前方、後方、左方及右方的影像所各自對應的三維模型112中的各平面彼此以接近直角的方式相接；在其他實施例中，各平面可以用其他角度相接或是以弧面的方式彼此相接。

最後，由處理器16執行三維模型模組145以使用上述的三維模型在倒車時提供視角為由車輛之上後方往下前方觀看的包含行進軌跡的行進影像（步驟S210）。其中，三維模型模組145例如是取三維模型中位於車輛之上後方的像素點作為眼點，取位於三維模型中心的像素點作為視線參考點，據以建立視角轉換矩陣，而將此視角轉換矩陣乘上映射至三維模型的合成影像及行進軌跡的各個頂點（Vertex）座標，最終即可獲得視角為由車輛之上後方往下前方觀看的包含行進軌跡的行進影像。

詳言之，在一實施例中，三維模型在z方向(車身長軸方向)上的長度設定為4 (+2.0~-2.0，任意單位；z方向上的長度對應車身長度)，而車寬(x方向)、車高(y方向)的部分則可根據合成影像的比例做調整；假設( x _c , y _c , z _c )為三維模型中視線所看向的像素點（設定為視線參考點c）的座標、( x _e , y _e , z _e )為三維模型中位於車輛之上後方的像素點（設定為眼點e）的座標、則為相機指向正上方(即車高的y方向)的向量。據此，視角轉換矩陣M可依下列公式求得：

；

。

舉例來說，圖12則是依照本發明一實施例所繪示之使用三維模型提供包含行進軌跡的行進影像的範例。本實施例的裝置例如可將上述眼點e的座標設為(0.0, 2.0, 2.0)，將上述視線參考點的座標設為(0.0, -0.2, 0.7)，而藉由將上述座標帶入上述公式，即可計算出視角轉換矩陣 M，最後再將視角轉換矩陣 M乘上映射至三維模型的合成影像及行進軌跡的各個頂點座標，即可獲得如圖12所繪示的視角為由車輛之上後方往下前方觀看的包含行進軌跡121的行進影像120。

需說明的是，在上述實施例中，軌跡計算模組141所計算的行進軌跡是由三維模型模組145直接映射至三維模型中的對應位置，而在另一實施例中，軌跡計算模組141所計算的行進軌跡也可由魚眼處理模組（未繪示）依據相機的內部參數及外部參數，對行進軌跡進行魚眼處理，以將行進軌跡轉換成魚眼影像，從而將轉換後的行進軌跡繪製於魚眼鏡頭所拍攝的透視視野的影像中。例如，可將倒車軌跡繪製於車輛後方魚眼鏡頭所拍攝的透視視野影像中，並顯示於行車輔助裝置10的顯示器（未繪示）上，以提供使用者在觀看視角為由前方看向後方影像的同時也可看到倒車軌跡。

舉例來說，圖13A及圖13B是依照本發明一實施例所繪示之將行進軌跡轉換成魚眼影像的範例。請參照圖13A，行進影像132是車輛周圍之物件空間的影像，其中包含利用上述實施例方法所計算出的車輛行進時車輪於車輛周圍之行進軌跡132a。而藉由魚眼處理，行進軌跡132a將轉換成魚眼影像，而轉換後的行進軌跡134a將繪製於魚眼鏡頭所拍攝的透視視野影像134中。

需說明的是，在又一實施例中，上述包括行進軌跡的透視視野影像，亦可直接應用在圖2所繪示的影像處理流程中。詳言之，藉由將此透視視野影像與其他相機所拍攝的透視視野影像一同轉換為俯視視野影像並拼接為合成影像後，再映射至三維模型中，最後所得的三維模型將如同前述實施例所述的三維模型，不僅包括車輛周圍的地面和景物資訊，也包括車輛的行進軌跡資訊，而可提供類似於圖12所繪示的視角為由車輛之上後方往下前方觀看的包含行進軌跡121的行進影像120。

在一實施例中，行進軌跡更新計算的頻率可以低於行進影像的畫面更新頻率(frame rate)。例如鏡頭所拍攝的影像以及行車輔助裝置10的顯示器所顯示的影像的畫面更新率可以都是30 fps，即每秒更新30次；而由於行進軌跡隨時間變化的速度較慢，更新行進軌跡的頻率可以比較低，例如是每秒更新5或10次，以節省處理器16的運算資源。在另一實施例中，若要求顯示的行進軌跡具有高準確度，行進軌跡更新計算的頻率可以等於行進影像的畫面更新頻率。此外，雖然本發明以在倒車時提供視角為由車輛上後方往下前方觀看的包含行進軌跡的行進影像進行說明，同樣的方法亦可通過取三維模型中位於車輛之上前方的像素點作為眼點，取三維模型中位於車輛之下後方的像素點作為視線參考點，使三維模型在車輛前進時提供視角為由車輛之上前方往下後方觀看的包含行進軌跡的行進影像。此一做法可以在例如車輛向前行駛進行停車時清楚看到車輛周圍景物的位置或變化。此外，本發明可以是在偵測到車輛倒車時自動在行車輔助裝置10的顯示器顯示視角為由車輛之上後方往下前方觀看的包含該行進軌跡的行進影像，也可以是由使用者自行手動選擇顯示。

綜上所述，本發明的行車輔助方法及裝置藉由將車輛周圍以多個不同視野拍攝的影像轉換為俯視視野影像，並拼接為可清楚顯露車輛周圍景物的合成影像。而在拍攝影像的同時，本發明也計算車輛行進時車輪於車輛周圍之行進軌跡，而藉由將此行進軌跡與合成影像映射至車輛周圍空間的三維模型，可在車輛倒車時提供視角為由車輛之上後方往下前方觀看的包含行進軌跡的行進影像。藉此，使用者將可清楚看到車輛周圍景物的位置或變化，從而調整行車操作。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

10‧‧‧行車輔助裝置
12‧‧‧連接裝置
14‧‧‧儲存裝置
141‧‧‧軌跡計算模組
142‧‧‧影像拍攝模組
143‧‧‧視野轉換模組
144‧‧‧影像拼接模組
145‧‧‧三維模型模組
16‧‧‧處理器
30‧‧‧車輛
32、34、36、38‧‧‧相機
32a、34a、36a、38a、74‧‧‧透視視野影像
42‧‧‧魚眼影像
44‧‧‧去魚眼影像
52、54、80、92、94、110‧‧‧影像
56‧‧‧一行像素
58‧‧‧區間
72‧‧‧俯視視野影像
76、102、104、106、108‧‧‧合併影像
722、742、762‧‧‧牆面側影像
724、744、764‧‧‧地面側影像
80a、80b‧‧‧轉換後影像
82、84、86、88‧‧‧區域
92a、94a‧‧‧調整後影像
100‧‧‧合成影像
112‧‧‧三維模型
120‧‧‧行進影像
121、132a、134a‧‧‧行進軌跡
122、124、126、128、130、132、134‧‧‧車輛周圍影像
S202~S210‧‧‧本發明一實施例之行車輔助方法的方法步驟
S602~S606‧‧‧本發明一實施例之拼接不同視野影像以獲得車輛周圍合成影像的方法步驟

圖1是依照本發明一實施例所繪示之行車輔助裝置的方塊圖。圖2是依照本發明一實施例所繪示之行車輔助方法的流程圖。圖3是本發明一實施例所繪示之拍攝車輛周圍影像的範例。圖4是本發明一實施例所繪示之魚眼校正的範例。圖5是依照本發明一實施例所繪示之車輛周圍影像處理方法的範例。圖6是依照本發明一實施例所繪示之拼接不同視野影像以獲得車輛周圍合成影像的方法流程圖。圖7是依照本發明一實施例所繪示之合併透視視野的牆面側影像及俯視視野的地面側影像的範例。圖8A及圖8B是依照本發明一實施例所繪示之調整牆面側影像的範例。圖9是依照本發明一實施例所繪示之調整牆面側影像高度的範例。圖10是依照本發明一實施例所繪示之拼接合併影像的範例。圖11是依照本發明一實施例所繪示之建立三維模型的範例。圖12是依照本發明一實施例所繪示之使用三維模型提供包含行進軌跡的行進影像的範例。圖13A及圖13B是依照本發明一實施例所繪示之將行進軌跡由物件空間轉換至魚眼空間的範例。

S202~S210‧‧‧本發明一實施例之行車輔助方法的步驟

Claims

一種行車輔助方法，適用於配置於車輛上的電子裝置，該電子裝置耦接配置於該車輛上的多個相機，該方法包括下列步驟：計算該車輛行進時車輪於該車輛周圍之行進軌跡；利用所述相機拍攝該車輛周圍多個透視視野（perspective view）的影像，並分別將所述影像的該視野由該透視視野轉換為俯視視野（top view）；根據該透視視野及該俯視視野的所述影像產生該車輛周圍的一合成影像；映射（map）並結合該合成影像及該行進軌跡至該車輛周圍的三維模型；以及使用該三維模型在該車輛倒車時提供視角為由該車輛之上後方往下前方觀看的包含該行進軌跡的行進影像。
如申請專利範圍第1項所述的方法，其中使用該三維模型在該車輛倒車時提供該視角為由該車輛之該上後方往該下前方觀看的包含該行進軌跡的該行進影像的步驟包括：取該三維模型中位於該車輛之該上後方的像素點作為眼點（eye point），取該三維模型中位於該車輛之該下前方的像素點作為視線參考點（reference point），據以建立視角轉換矩陣；以及將該視角轉換矩陣乘上映射至該三維模型的該合成影像及該行進軌跡的頂點（Vertex）座標，以獲得該視角為由該車輛之該上後方往該下前方觀看的包含該行進軌跡的該行進影像。
如申請專利範圍第2項所述的方法，其中該行進軌跡及該俯視視野的所述影像結合以產生包含該行進軌跡的該車輛周圍的該合成影像後，包含該行進軌跡的該合成影像映射至該三維模型以獲得包含該行進軌跡的該行進影像。
如申請專利範圍第2項所述的方法，其中該行進軌跡及該合成影像分別映射至該三維模型後，映射至該三維模型的該行進軌跡及映射至該三維模型的該合成影像結合以獲得包含該行進軌跡的該行進影像。
如申請專利範圍第1項所述的方法，其中根據該透視視野及該俯視視野的所述影像產生該車輛周圍的該合成影像的步驟包括：切割該透視視野及該俯視視野的所述影像為地面側影像及牆面側影像；以及拼接切割後的所述地面側影像及所述牆面側影像，以產生該車輛周圍的該合成影像。
如申請專利範圍第5項所述的方法，其中切割該透視視野及該俯視視野的所述影像為該地面側影像及該牆面側影像的步驟包括：在轉換後該俯視視野的各所述影像的其中一行像素中，找出由至少一預設數目的連續多個空洞像素構成的區間，而根據該區間在該影像中的高度，切割該透視視野及該俯視視野的所述影像為地面側影像及牆面側影像。
如申請專利範圍第1項所述的方法，其中計算該車輛行進時該車輪於該車輛周圍之該行進軌跡的步驟包括：偵測該車輛的方向盤轉角；以及查詢該方向盤轉角所對應的該車輪的轉向角度，並依據該轉向角度以及該車輛的車速，估測該車輛的該行進軌跡。
如申請專利範圍第1項所述的方法，其中該行進軌跡更新計算的頻率低於該行進影像的畫面更新頻率。
如申請專利範圍第1項所述的方法，所述方法更包括：使用該三維模型在車輛前進時提供視角為由該車輛之上前方往下後方觀看的包含該行進軌跡的行進影像。
如申請專利範圍第9項所述的方法，其中使用該三維模型在車輛前進時提供該視角為由該車輛之該上前方往該下後方觀看的包含該行進軌跡的該行進影像的步驟包括：取該三維模型中位於該車輛之該上前方的像素點作為眼點，取該三維模型中位於該車輛之該下後方的像素點作為視線參考點，據以建立視角轉換矩陣；以及將該視角轉換矩陣乘上映射至該三維模型的該合成影像及該行進軌跡的頂點座標，以獲得該視角為由該車輛之該上前方往該下後方觀看的包含該行進軌跡的該行進影像。
一種行車輔助裝置，包括：連接裝置，耦接配置於車輛上的多個相機；儲存裝置，儲存多個模組；以及處理器，耦接該連接裝置及該儲存裝置，載入並執行該儲存裝置中的所述模組，所述模組包括：軌跡計算模組，計算該車輛行進時車輪於該車輛周圍之行進軌跡；影像拍攝模組，利用所述相機拍攝該車輛周圍多個透視視野的影像；視野轉換模組，分別轉換所述透視視野的影像為俯視視野的影像；影像拼接模組，根據該透視視野及該俯視視野的所述影像產生該車輛周圍的一合成影像；以及三維模型模組，映射並結合該合成影像及該行進軌跡至該車輛周圍的三維模型，並使用該三維模型在該車輛倒車時提供視角為由該車輛之上後方往下前方觀看的包含該行進軌跡的行進影像。
如申請專利範圍第11項所述的裝置，其中該三維模型模組包括取該三維模型中位於該車輛之該上後方的像素點作為眼點，取該三維模型中位於該車輛之該下前方的像素點作為視線參考點，據以建立視角轉換矩陣，而將該視角轉換矩陣乘上映射至該三維模型的該合成影像及該行進軌跡的頂點座標，以獲得該視角為由該車輛之該上後方往該下前方觀看的包含該行進軌跡的該行進影像。
如申請專利範圍第12項所述的裝置，其中該行進軌跡及該俯視視野的所述影像結合以產生包含該行進軌跡的該車輛周圍的該合成影像後，包含該行進軌跡的該合成影像映射至該三維模型以獲得包含該行進軌跡的該行進影像。
如申請專利範圍第12項所述的裝置，其中該行進軌跡及該合成影像分別映射至該三維模型後，映射至該三維模型的該行進軌跡及映射至該三維模型的該合成影像結合以獲得包含該行進軌跡的該行進影像。
如申請專利範圍第11項所述的裝置，其中所述模組更包括：影像切割模組，切割該透視視野及該俯視視野的所述影像為地面側影像及牆面側影像，而由該影像拼接模組拼接切割後的所述地面側影像及所述牆面側影像，以產生該車輛周圍的該合成影像。
如申請專利範圍第15項所述的裝置，其中該影像切割模組包括在轉換後該俯視視野的各所述影像的其中一行像素中，找出由至少一預設數目的連續多個空洞像素構成的區間，而根據該區間在該影像中的高度，切割該透視視野及該俯視視野的所述影像為地面側影像及牆面側影像。
如申請專利範圍第11項所述的裝置，其中該軌跡計算模組包括偵測該車輛的方向盤轉角，查詢該方向盤轉角所對應的該車輪的轉向角度，並依據該轉向角度以及該車輛的車速，估測該車輛的該行進軌跡。
如申請專利範圍第11項所述的裝置，其中該行進軌跡更新計算的頻率低於該行進影像的畫面更新頻率。
如申請專利範圍第11項所述的裝置，其中所述三維模型模組更使用該三維模型在車輛前進時提供視角為由該車輛之上前方往下後方觀看的包含該行進軌跡的行進影像。
如申請專利範圍第19項所述的裝置，其中該三維模型模組包括取該三維模型中位於該車輛之該上前方的像素點作為眼點，取該三維模型中位於該車輛之該下後方的像素點作為視線參考點，據以建立視角轉換矩陣，而將該視角轉換矩陣乘上映射至該三維模型的該合成影像及該行進軌跡的頂點座標，以獲得該視角為由該車輛之該上前方往該下後方觀看的包含該行進軌跡的該行進影像。