TW201537510A - 以機率方式計算爲基礎之３ｄ環車影像系統及其獲得方法 - Google Patents

Abstract

本發明係一種以機率方式計算為基礎之3D環車影像系統及其獲得方法，適用於車輛上，包含：擷取單元及處理單元。其中擷取單元係用以擷取車輛周邊之多方位之複數個鳥瞰影像，並傳送些鳥瞰影像，而處理單元具有校正模組、拼接模組及運算模組，處理單元係用以接收鳥瞰影像，藉由校正模組將鳥瞰影像之座標校正為同一座標系統，並利用拼接模組將鳥瞰影像轉換為虛擬平面影像以拼接成鳥瞰環景影像，再將拼接後之鳥瞰環景影像藉由運算模組利用演算法以得到3D環車影像，藉由上述之方式讓車輛駕駛觀看3D環車影像時可如同由車輛外觀看般真實。

Description

以機率方式計算為基礎之3D環車影像系統及其 獲得方法

本發明係一種3D環車影像，特別係有關於利用改良式機率神經網路架構進行演算以得到3D環車影像。

先進駕駛輔助系統已成為世界各國重要且急迫的研究課題之一。根據調查2014年全球汽車出貨量上看8500萬輛，車用視訊安全輔助產品安裝率將上看6,300萬套。在車輛安全領域中，運用機器視覺取得環境影像資訊，在行徑間或倒車時分析路面狀況及車輛四周環境，以做到各種最佳化的動態反應效果，這也是視覺式智慧型運輸系統(Vision-based intelligent transportation system)的發展目標。

早期停車輔助系統常採用超音波或攝影鏡頭，採用聲音報警或顯示車輛後方攝像頭視訊的方式，幫助駕駛人判斷盲角處車輛與障礙物距離。採用超音波警報方式，距離的提示並不直觀，無法準確判定實際障礙物距離。採用後置攝影機的方式，傳統的車用影像監控系統受到攝影機取像範圍的限制，車用顯示器所呈現之畫面往往無法有效涵蓋車輛四周監控範圍，因此只能針對車輛後方或車輛兩側發展不同的盲點監控顯示。

有鑑於上述習知技藝之問題，本發明之目的就是在提供 一種以機率方式計算為基礎之3D環車影像系統及其獲得方法，以解決目前車輛內的車用顯示器無法有效地監控車輛四周之問題。

本發明係一種以機率方式計算為基礎之3D環車影像系 統，適用於車輛上，包含擷取單元及處理單元。其中，擷取單元用以擷取車輛周邊之多方位之複數個鳥瞰影像，並傳送鳥瞰影像，處理單元具有校正模組、拼接模組及運算模組，處理單元係用以接收鳥瞰影像，藉由校正模組將鳥瞰影像之座標校正為同一座標系統，並利用拼接模組將鳥瞰影像轉換為虛擬平面影像以拼接成鳥瞰環景影像，再將拼接後之鳥瞰環景影像藉由運算模組利用演算法以得到3D環車影像。

較佳者，本發明之以機率方式計算為基礎之3D環車影 像系統之擷取單元可例如為廣角攝影機。

較佳者，本發明之以機率方式計算為基礎之3D環車影 像系統之擷取單元可例如設置於車輛上之前方車體、後方車體及二倒車鏡上。

較佳者，本發明之以機率方式計算為基礎之3D環車影 像系統之演算法可例如為改良式機率神經網路架構(Modified Probabilistic Neural Network,MPNN)。

較佳者，本發明之以機率方式計算為基礎之3D環車影 像系統之改良式機率神經網路架構可例如分別具有輸入層、類別層、總和層及輸出層，其中c={c ₁,c ₂,...,c _m }，m為類別c的數量，對於 輸入x而言，其最接近類別c _i 的有一個對應的輸出向量y _i ，其可表示為y={y ₁,y ₂,...,y _m }，其中m為類別y的數量，該改良式機率神經網路架構所使用的機率密度函數為 ，其中σ為高斯函數之平滑係數，絕對 輸出為 ，其中z _i 為類別向量c _i 內樣本數的數量、網路輸 出之向量、與分別代表點之X軸與Y軸座標。

本發明係一種以機率方式計算為基礎之3D環車影像之獲得方法，包含下列步驟：藉由擷取單元擷取車輛周邊之多方位之複數個鳥瞰影像，並傳送鳥瞰影像；將所接收到之鳥瞰影像之座標校正為同一座標系統；將鳥瞰影像轉換為虛擬平面影像以拼接成鳥瞰環景影像；以及將拼接後之鳥瞰環景影像藉由演算法運算以得到3D環車影像。

較佳者，本發明之以機率方式計算為基礎之3D環車影像之獲得方法之擷取單元可例如為廣角攝影機。

較佳者，本發明之以機率方式計算為基礎之3D環車影像之獲得方法之擷取單元可例如設置於車輛上之前方車體、後方車體及二倒車鏡上。

較佳者，本發明之以機率方式計算為基礎之3D環車影像之獲得方法之演算法可例如為改良式機率神經網路架構。

較佳者，本發明之以機率方式計算為基礎之3D環車影像之獲得方法之改良式機率神經網路架構可例如分別具有輸入 層、類別層、總和層及輸出層，其中c={c ₁,c ₂,...,c _m }，m為類別c的數量，對於輸入x而言，其最接近類別c _i 的有一個對應的輸出向量y _i ，其可表示為y={y ₁,y ₂,...,y _m }，其中m為類別y的數量，該改良式機率神經網路架構所使用的機率密度函數為 ，其中σ為高斯函數之平滑係數，絕對 輸出為 ，其中z _i 為類別向量c _i 內樣本數的數量、網路輸 出之向量、與分別代表點之X軸與Y軸座標。

綜上所述，本發明之以機率方式計算為基礎之3D環車影像系統及其獲得方法具有下列優點：

(1)本發明之處理單元之校正模組可將相機所擷取之鳥瞰影像校正為同一座標系統，使得擷取之鳥瞰影像進行校正後可以達到完整還原之效果。

(2)本發明之處理單元之拼接模組係將鳥瞰影像係先將鳥瞰影像轉換投影至虛擬影像平面後再進行拼接之動作，以確保校正後之鳥瞰影像可以精確地拼接縫合。

(3)本發明之以機率方式計算為基礎之3D環車影像系統及其獲得方法主要係藉由改良目前鳥瞰影像之缺點，以立體3D環車方式呈現障礙物與車輛的相對位置，提供使用者車輛實際的立體動態，不會因障礙物的方位及高度而造成鳥瞰車體之角度失準。

9‧‧‧車輛

10‧‧‧擷取單元

20‧‧‧處理單元

21‧‧‧校正模組

22‧‧‧拼接模組

23‧‧‧運算模組

101‧‧‧前方車體之鳥瞰影像

102‧‧‧後方車體之鳥瞰影像

103‧‧‧倒車鏡之鳥瞰影像

104‧‧‧倒車鏡之鳥瞰影像

S10~S40‧‧‧步驟

第1圖係為本發明之以機率方式計算為基礎之3D環車影像系統之系統方塊圖。

第2圖係為本發明之以機率方式計算為基礎之3D環車影像系統及其獲得方法之第一示意圖。

第3圖係為本發明之以機率方式計算為基礎之3D環車影像系統及其獲得方法之第二示意圖。

第4圖係為本發明之以機率方式計算為基礎之3D環車影像系統及其獲得方法之第三示意圖。

第5圖係為本發明之以機率方式計算為基礎之3D環車影像系統及其獲得方法之座標校正之示意圖。

第6圖係為本發明之以機率方式計算為基礎之3D環車影像系統及其獲得方法之步驟流程圖。

請參閱第1圖，並進一步參閱第2圖至第5圖。本發明之以機率方式計算為基礎之3D環車影像系統，適用於車輛上，包含複數個擷取單元10及處理單元20。其中，擷取單元10用以擷取車輛9周邊之多方位之複數個鳥瞰影像(如第2圖所示)，並傳送鳥瞰影像，此擷取單元10可例如為廣角攝影機，於此並不設限只要係可擷取到車輛9周邊之影像皆適合本發明，且擷取單元可例如設置於車輛9上之前方車體、後方車體及二倒車鏡上，用以擷取車輛9之前方車體之鳥瞰影像101、後方車體之鳥瞰影像102及二倒車鏡之鳥瞰影像103、104。

承上述，本發明之處理單元20具有校正模組21、拼接 模組22及運算模組23，處理單元20係用以接收鳥瞰影像，藉由校正模組21將鳥瞰影像之座標校正為同一座標系統，並利用拼接模組22將鳥瞰影像轉換為虛擬平面影像(如第5圖所示)以拼接縫合(Image Stitching)成鳥瞰環景影像(如第3圖所示)，再將拼接後之鳥瞰環景影像藉由運算模組利用演算法以得到3D環車影像(如第4圖所示)。上述之座標校正方式係將圖像平面座標轉換為世界座標平面後，再此世界座標平面轉換成虛擬平面座標。

上述之演算法可例如為改良式機率神經網路架構，其中，改良式機率神經網路架構分別具有輸入層、類別層、總和層及輸出層，其中c={c ₁,c ₂,...,c _m }，m為類別c的數量，對於輸入x而言，其最接近類別c _i 的有一個對應的輸出向量y _i ，其可表示為y={y ₁,y ₂,...,y _m }，其中m為類別y的數量，該改良式機率神經網路架構所使用的機率密度函數為 ，其中σ為高斯函數之平滑係數，絕對 輸出為 ，其中z _i 為類別向量c _i 內樣本數的數量、網 路輸出之向量、與分別代表點之X軸與Y軸座標。

請參閱第6圖，其係為本發明之以機率方式計算為基礎之3D環車影像系統及其獲得方法之步驟流程圖。本發明包含下列步驟：首先，進行(S10)擷取車輛周邊之多方位之複數個鳥瞰影像，並傳送鳥瞰影像，且此擷取單元可例如為廣角攝影機，而擷取單元可例如設置於車輛上之前方車體、後方車體及二倒車鏡 上。接著進行(S20)將所接收到之鳥瞰影像之座標校正為同一座標系統，此座標校正方式係將圖像平面座標轉換為世界座標平面後，再此世界座標平面轉換成虛擬平面座標(如第5圖所示)。

再進行(S30)將鳥瞰影像轉換為虛擬平面影像以拼接成鳥瞰環景影像，舉例來說，可例如利用將複數個分開擷取之影像中找尋相似的特徵點，當特徵點匹配的數量及座標位置符合門檻值時，就會以對應之角度及距離進行影像拼接縫合，且可例如藉由Open CV影像處理函式庫進行影像拼接縫合。最後進行(S40)將拼接後之鳥瞰環景影像藉由演算法運算以得到3D環車影像。S40中之演算法可例如為改良式機率神經網路架構。

總言之，透過本發明之以機率方式計算為基礎之3D環車影像系統及其獲得方法於設計上之巧思，藉由校正模組、拼接模組及運算模組對鳥瞰影像分別依序進行影像校正、拼接縫合以及利用改良式機率神經網路架構進行運算以得到3D環車影像，此3D環車影像可供車輛上之使用者更真實地了解車輛之車體與障礙物之相對距離。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

10‧‧‧擷取單元

20‧‧‧處理單元

21‧‧‧校正模組

22‧‧‧拼接模組

23‧‧‧運算模組

Claims (10)

1. 一種以機率方式計算為基礎之3D環車影像系統，適用一車輛上，該3D環車影像系統包含：複數個擷取單元，用以擷取該車輛周邊之多方位之複數個鳥瞰影像，並傳送該些鳥瞰影像；以及一處理單元，該處理單元具有一校正模組、一拼接模組及一運算模組，該處理單元係用以接收該些鳥瞰影像，藉由該校正模組將該些鳥瞰影像之座標校正為同一座標系統，並利用該拼接模組將該些鳥瞰影像轉換為虛擬平面影像以拼接成一鳥瞰環景影像，再將拼接後之該鳥瞰環景影像藉由該運算模組利用一演算法以得到一3D環車影像。
2. 如申請專利範圍第1項所述之以機率方式計算為基礎之3D環車影像系統，其中該些擷取單元為廣角攝影機。
3. 如申請專利範圍第1項所述之以機率方式計算為基礎之3D環車影像系統，其中該些擷取單元設置於該車輛上之前方車體、後方車體及二倒車鏡上。
4. 如申請專利範圍第1項所述之以機率方式計算為基礎之3D環車影像系統，其中該演算法為改良式機率神經網路架構(Modified Probabilistic Neural Network,MPNN)。
5. 如申請專利範圍第4項所述之以機率方式計算為基礎之3D環車影像系統，其中該改良式機率神經網路架 構分別具有輸入層(Input)、類別層(Pattern layer)、總和層(Summing layer)及輸出層(Output layer)，其中c={c ₁,c ₂,...,c _m }，m為類別c的數量，對於輸入x而言，其最接近類別c _i 的有一個對應的輸出向量y _i ，其可表示為y={y ₁,y ₂,...,y _m }，其中m為類別y的數量，該改良式機率神經網路架構所使用的機率密度函數為 ，其中σ為高斯函數之平滑係 數，絕對輸出為 ，其中z _i 為類別向量c _i 內樣本數的數 量、網路輸出之向量、與分別代表點之X軸與Y軸座標。
6. 一種以機率方式計算為基礎之3D環車影像之獲得方法，包含下列步驟：藉由一擷取單元擷取一車輛周邊之多方位之複數個鳥瞰影像，並傳送該些鳥瞰影像；將所接收到之該些鳥瞰影像之座標校正為同一座標系統；將該些鳥瞰影像轉換為虛擬平面影像以拼接成一鳥瞰環景影像；以及將拼接後之該鳥瞰環景影像藉由一演算法運算以得到一3D環車影像。
7. 如申請專利範圍第6項所述之以機率方式計算為基礎 之3D環車影像之獲得方法，其中該些擷取單元為廣角攝影機。
8. 如申請專利範圍第6項所述之以機率方式計算為基礎之3D環車影像之獲得方法，其中該些擷取單元設置於該車輛上之前方車體、後方車體及二倒車鏡上。
9. 如申請專利範圍第6項所述之以機率方式計算為基礎之3D環車影像之方法，其中該演算法為改良式機率神經網路架構。
10. 如申請專利範圍第9項所述之以機率方式計算為基礎之3D環車影像之獲得方法，其中該改良式機率神經網路架構分別具有輸入層、類別層、總和層及輸出層，其中c={c ₁,c ₂,...,c _m }，m為類別c的數量，對於輸入x而言，其最接近類別c _i 的有一個對應的輸出向量y _i ，其可表示為y={y ₁,y ₂,...,y _m }，其中m為類別y的數量，該改良式機率神經網路架構所使用的機率密度函數為 ，其中σ為高斯函數之平滑係 數，絕對輸出為 ，其中z _i 為類別向量c _i 內樣本數的數 量、網路輸出之向量、與分別代表點之X軸與Y軸座標。