TWI417639B

TWI417639B - 全周鳥瞰影像無縫接合方法與系統

Info

Publication number: TWI417639B
Application number: TW098145942A
Authority: TW
Inventors: Hsin Liang Shen; Kuo Hsiang Cheng; Tung Chuan Wu; Din Chang Tseng
Original assignee: Ind Tech Res Inst
Priority date: 2009-12-30
Filing date: 2009-12-30
Publication date: 2013-12-01
Also published as: US20110156887A1; US8242895B2; TW201122714A

Description

全周鳥瞰影像無縫接合方法與系統

本發明是有關於一種影像處理技術，尤其是指一種全周鳥瞰影像無縫接合方法與系統。

影像輔助駕駛的技術以經行之有年，然而習用的影像輔助駕，駛的技術中，多半是擷取影像之後，直接顯示給使用者。雖然有可取之處，但是隨著影像擷取單元的數量增加，在一個顯示器中顯示多個影像，對於駕駛者而言反而是一種視覺負擔。因此，鳥瞰影像的重組技術便應運而生。在先進安全車輛的設計中，以利用架設於載具周遭的相機發展影像式的全周鳥瞰輔助駕駛系統，為近年來各車廠及車輛系統商的主要研發技術。藉由影像轉換與處理，將一般影像擷取單元所擷取的影像進行鳥瞰轉換，再予以拼接組合以形成的全周鳥瞰影像，可以提供駕駛者參考，進而提昇駕駛的安全性。

然而要將各個位置的環境影像重組形成鳥瞰影像的其中之一要件就是要如何決定在相鄰的兩的影像擷取單元所擷取的影像中共同重疊的區域所形成的影像。在習用技術中，如美國公開號US.Pub.No.2007/0003108揭露一種鳥瞰影像處理技術，在該技術中對於兩相鄰影像的結合之間則具遮罩線作為相鄰影像間的區隔。因此在該技術中，對於影像無縫接合的技術並無相關的揭露。對於這類的技術，由於載具各方向所取得的影像沒有做完整的接合動作，因此可能需要在兩兩影像重疊區域範圍內，輔以車用超音波雷達感測器來達到警示效果，但如此可能在成本上是一額外負擔。

此外在美國公開號US.Pat.No.2006/0202984則教導針對相機架設高度來決定採用的俯角，產生單一鳥瞰影像後，根據取得的重疊區域去裁切出全周鳥瞰影像，最後利用載具移動關係去模擬出較大的全周鳥瞰畫面進行佈局。日本特開平2008-048317則教導一種當兩影像組合時，特徵物體重疊的處理方式，該技術根據重疊區域內所出現之物體所佔的比重，來決定該重疊區塊採用的相機資訊進行佈局。也就是說，該技術以權重比高的影像作為重疊區域的影像，也就是保留權重比高的影像，而刪除權重比低影像中的重疊區域部分，最後拼接成全區域鳥瞰影像。又在美國公開號US.Pat.No.2009/0097708則教導一種針對不同的相機架設模式，參考一對應平面後，判斷重疊區域的多寡，利用拼接的方式產生接縫式的全周鳥瞰影像。又如日本特開平2006-121587也揭露一種針對不同相機的視野涵蓋範圍，去找出重疊區域的位置後，改變不同模式的接縫式的顯示模式，進而產生全周鳥瞰影像。前述這四個專利技術內容主要針對相機的架設位置資訊來轉換鳥瞰影像後，參考重疊區域去做接合動作或是用顯示模式的選擇來決定全周鳥瞰畫面的四周資訊。

另外，又如美國專利US.Pat.No.7,161,616則揭露一種合成鳥瞰影像之技術，該技術對於重疊區域的影像處理是利用各影像中的對應像素所具有的特徵乘上一權值，再除以權值的總和。

本發明提供一種全周鳥瞰影像無縫接合方法與系統，其係針對不同載具搭配不同視野涵蓋範圍的相機，利用校正技術和鳥瞰轉換演算法法則，輔以已知的地平面特徵點資訊，達到全周鳥瞰無接縫式的畫面呈現技術，讓使用者完整掌握載具移動時，載具的運動方向狀態和周遭環境完整的對應關係，以避免接縫處造成使用者在駕駛時的誤判。

在一實施例中，本發明提供一種全周鳥瞰影像無縫接合方法，其係包括有下列步驟：提供複數張環境影像；對該複數張環境影像進行視角轉換以形成複數張鳥瞰影像；取得相鄰兩鳥瞰影像所具有之一重疊區域；藉由複數次之權重運算以得到每一相鄰兩鳥瞰影像間之一疊合影像，每一次之權重運算更包括有下列步驟：求得每一疊合影像中之每一疊合像素與該重疊區域中關於該兩相鄰重疊影像之一邊界距離；根據該邊界距離決定關於該每一疊合影像之兩相鄰鳥瞰影像所分別具有之一第一權重以及一第二權重；以及將該兩相鄰鳥瞰影像中對應該疊合像素之像素所分別具有之一影像特徵以及該第一權重以及該第二權重進行運算以得到關於該疊合像素之一疊合特徵；以及將該複數張鳥瞰影像中所具有之非重疊影像以及相鄰鳥瞰影像間之疊合影像進行組合以得到一全周鳥瞰影像訊號。

在另一實施例中，本發明更提供一種全周鳥瞰影像無縫接合系統，包括：複數個影像擷取單元，其係分別設置於一載具之不同位置上，每一影像擷取單元係產生一環境影像；一控制單元，其係接收該複數張環境影像，該控制單元係對該複數張環境影像進行視角轉換以形成複數張鳥瞰影像，並取得相鄰兩鳥瞰影像所具有之一重疊區域，再藉由一權重運算以得到每一相鄰兩鳥瞰影像間之一疊合影像，該控制單元求得每一疊合影像中之每一疊合像素與該重疊區域中關於該兩相鄰重疊影像之一邊界距離，然後根據該邊界距離決定關於該每一疊合影像之兩相鄰鳥瞰影像所分別具有之一第一權重以及一第二權重，再將該兩相鄰鳥瞰影像中對應該疊合像素之像素所分別具有之一影像特徵以及該第一權重以及該第二權重進行運算以得到關於該疊合像素之一疊合特徵，再將該複數張鳥瞰影像中所具有之非重疊影像以及相鄰鳥瞰影像間之疊合影像進行組合以得到一全周鳥瞰影像訊號；以及一顯示單元，其係設置於該載具內並與該控制單元相耦接，該顯示單元係接收該全周鳥瞰影像訊號，並顯示對應之全周鳥瞰影像。

為使　貴審查委員能對本發明之特徵、目的及功能有更進一步的認知與瞭解，下文特將本發明之裝置的相關細部結構以及設計的理念原由進行說明，以使得　審查委員可以了解本發明之特點，詳細說明陳述如下：請參閱圖一所示，該圖係為本發明之全周鳥瞰影像無縫接合方法實施例流程示意圖。該方法首先以步驟20提供複數張環境影像。該環境影像係為可以為關於一載具之周圍環境影像。該載具係可以為可動之移動載具，例如：車輛。而產生該複數張環境影像的方式，可以在該載具之不同位置上分別設置複數個影像擷取單元，例如：電耦合感測元件(charged coupled device,CCD)或者是金屬互補式金屬-氧化層-半導體(complementary metal oxide semiconductor,CMOS)的感光元件。藉由該複數個影像擷取單元分別擷取該載具周圍的環境影像。以形成如圖二A之狀態，圖二A係為各個影像擷取單元所擷取之影像示意圖。在圖二A中，載具90上的前、後、左與右各設置有一影像擷取單元900~903，其分別所擷取環境影像91~94。

再回到圖一所示，接著進行步驟21，對該複數張環境影像進行視角轉換以形成複數張鳥瞰影像。在本步驟中，主要是為由架設於不同位置之影像擷取單元所取得的環境影像後，利用校正技術消除魚眼或者是變形的效應，然後將各個環境影像轉換成鳥瞰平面之鳥瞰影像，以形成圖二B所示之狀態。在圖二B中，鳥瞰影像91a~94a，分別對應該載具之前、後，左與右側之環境影像91~94。至於消除與眼以及轉換成鳥瞰影像之影像處理技術係屬於習用之技術，在此不作贅述。

再回到圖一所示，接著進行步驟22，取得相鄰兩鳥瞰影像所具有之一重疊區域。如圖二A所示，以影像擷取單元900與903為例，影像擷取單元900與903所具有之影像擷取範圍95與96具有重疊的部分，也就是說，關於該載具之環境影像91與94中會具有重疊的物體。因此，在圖二B中，經過鳥瞰視角轉換所形成的相鄰的鳥瞰影像，例如：鳥瞰影像91a與93a、鳥瞰影像91a與94a、鳥瞰影像92a與93a以及鳥瞰影像92a與94a間會有重疊的區域。因此，藉由步驟22可以將重疊區域找出。請參閱圖三所示，該圖係為本發明之尋找重疊區域流程示意圖。首先以步驟220，決定一參考平面。在本步驟中，該參考平面係可以為地平面為主，但不以此為限。接著進行步驟221，於該相鄰之鳥瞰影像中尋找出，落於該參考平面上且相互對應之至少一特徵點。如圖二C所示，該圖係為鳥瞰影像中之特徵點示意圖。在圖二C中，於鳥瞰影像91a與94a中，分別具有對應之物體910與940，而物體910與940上則可以尋找出落於參考平面上的特徵點P1與P2以及P1’與P2’。要說明的是，該特徵點可為圖樣、線條、文字，但不以此為限。

個別尋找出對應之特徵點之後，再來進行步驟222，對該兩相鄰之鳥瞰影像進行影像之幾何調整，使兩相鄰之鳥瞰影像中相對應之該至少一特徵點之對應誤差最小。該誤差係為該兩相鄰之鳥瞰影像中相對應之至少一特徵點所具有之特徵資訊差值的平均平方和，其係可以表示成如下式(1)所示：

式(1)之中假設共有n 個特徵點，配合圖二C所示，其中 q _1i 為影像特徵點i 在鳥瞰影像91a之位置，而 p _2i 為影像特徵點i 在鳥瞰影像94a之位置。M _rigid ( x )是一影像轉換機制，在本實施例中包括影像旋轉、位移及縮放，I _j ( x )為第j 張鳥瞰影像中之在座標 x 的位置中所對應之特徵點所具有之特徵資訊，在本實施例中，該特徵資訊包括亮度及色彩。如圖二D所示，該圖係為相鄰兩鳥瞰影像調整示意圖。在不同的調整位置下，都會對應有一個err值，當該err值最小時，即是代表鳥瞰影像91a與94a的特徵點P1與P2以及P1’與P2’幾乎重疊在一起。在err最小時所對應之相鄰兩鳥瞰影像的疊合狀態則如圖二E所示。此時，需限區域即為相鄰兩鳥瞰影像91a與94a之重疊區域97。基於前述之方式，亦可以尋找出相鄰鳥瞰影像91a與93a、鳥瞰影像92a與93a以及鳥瞰影像92a與94a間的重疊區域。

請參閱圖一所示，界定出重疊區域之後，隨後進行步驟23，藉由複數次權重運算以得到每一相鄰兩鳥瞰影像間之一疊合影像。為了讓將來這些重疊區域在影像組合之後可以貼近反應載具周圍之狀態，並免死角的產生，藉由必須藉由步驟23利用權重運算的方式，將兩張鳥瞰影像相互重疊的區域整合成單一之重疊影像。如圖四所示，該圖係為本發明之權重運算流程示意圖。每一次之權重運算更包括有利用步驟230，求得每一疊合影像中之每一疊合像素與該重疊區域中關於該兩相鄰重疊影像之一邊界距離。本步驟之意義在於，假設重疊區域97為該疊合影像之範圍，因此重疊區域內的每一個像素與該重疊區域於該兩相臨鳥瞰影像間的邊界上可以求得一距離。如圖二E所示，該重疊區域97內的疊合像素P3與重疊區域97於鳥瞰影像91a與94a的邊界970與971間分別具有一距離d2與d1。

再回到圖四所示，接著進行步驟231，根據該邊界距離決定關於該每一疊合影像之兩相鄰鳥瞰影像所分別具有之一第一權重以及一第二權重。如下式(2)與(3)所示，

如圖二E所示，根據距離所決定的權重w₁ 係代表鳥瞰影像91a中對應疊合像素P3之像素對於形成像素P3之貢獻度；同理，權重w₂ 係代表鳥瞰影像94a中對應疊合像素P3之像素對於形成像素P3之貢獻度。

再回到圖四所示，決定權重之後，接著即以步驟232，將該兩相鄰鳥瞰影像中對應該疊合像素之像素所分別具有之一影像特徵以及該第一權重以及該第二權重進行運算以得到關於該疊合像素之一疊合特徵。如下式(4)所示：

根據式(4)可以得知，重疊區域內之每一個疊合像素的構成係為相鄰鳥瞰影像上對應該重疊區域中之疊合像素P3之像素P ₃ ^' 與P ₃ ^" 所具有之特徵資訊(顏色、亮度或對比度等)與權重值相乘的總和。如圖二E所示，圖二E中重疊區域97中其它疊合像素而言，也都是利用步驟230至232的演算方式得知。同樣地，對於圖二B中之其他相鄰之鳥瞰影像91a與93a、鳥瞰影像92a與93a以及鳥瞰影像92a與94a間的重疊影像亦是利用前述之方式計算而得。再回到圖一所示，最後進行步驟24，將該複數張鳥瞰影像中所具有之非重疊影像以及相鄰鳥瞰影像間之疊合影像進行組合以得到一全周鳥瞰影像訊號，以形成如圖二F所示之全周無接縫之鳥瞰影像98，其重疊合成區域981即如前述圖二E所示之結合狀態。由於本發明中對於相鄰之兩鳥瞰影像間的處理方式，是根據距離的關係來決定權重值，因此相鄰兩鳥瞰影像對於重疊區域內的每一個像素都有一定比例之貢獻，藉由此方式，不但不需要拼接影像而解除影像部連續之問題，而且在演算後可以形成平順而無接縫的全周鳥瞰影像。

請參閱圖五A與五B所示，該圖係為本發明之全周鳥瞰影像無縫接合系統實施例示意圖。該系統3包括有複數個影像擷取單元30、一控制單元31以及一顯示單元32。該複數個影像擷取單元30，其係分別設置於一載具90之不同位置上，每一影像擷取單元30係產生一環境影像。該載具90係可為一車輛，而該複數個影像擷取單元30，其係可為一照相機或動態影像攝影裝置，其可以設置在該載具90之前方、後方、左方(後視鏡的位置)與右方(後視鏡的位置)，但不以此為限制。該複數個影像擷取單元30之數量係根據需要而定，並不以本發明之圖示中之四個影像擷取單元為限制。每一個影像擷取單元30會擷取影像以形成環境影像。由於有複數個影像擷取單元30，因此可以產生複數張環境影像。

該控制單元31，其係與該複數個影像擷取單元30相耦接，以接收該複數張環境影像。該控制單元31係可以進行圖一、圖三與圖四之影像處理流程，以得到關於該載具之周圍環境之一全周鳥瞰影像訊號。在本實施例中，該控制單元31更包括有一影像接收介面310、一運算處理單元311、一影像輸出介面312以及一記憶模組313。該影像接收介面310，其係與該複數個影像擷取單元30相耦接，以接收該複數個環境影像。該運算處理單元311，其係接收該複數個環境影像，以進行圖一、圖三與圖四影像處理運算流程以對該複數個環境影像進行處理以形成該全周鳥瞰影像訊號。該記憶模組313，其係與該運算處理單元311相耦接。本實施例中，該記憶模組313更具有一靜態隨機存取記憶體3130(static random access memory,SRAM)模組以及一快閃記憶體3131(flash)模組。該影像輸出界面312，其係與該運算處理單元311以及該顯示單元32相耦接，以將該全周鳥瞰影像訊號傳給該顯示單元32。此外，該控制單元31更具有一電源介面314以接收電壓源以及載具訊號介面315以接收載具所產生之訊號。該顯示單元32，其係設置於該載具90內並與該控制單元31相耦接，該顯示單元32係接收該全周鳥瞰影像訊號，並顯示對應之全周鳥瞰影像。

惟以上所述者，僅為本發明之實施例，當不能以之限制本發明範圍。即大凡依本發明申請專利範圍所做之均等變化及修飾，仍將不失本發明之要義所在，亦不脫離本發明之精神和範圍，故都應視為本發明的進一步實施狀況。

2．．．全周鳥瞰影像無縫接合方法

20~25．．．步驟

220~222．．．步驟

230~232．．．步驟

3．．．全周鳥瞰影像無縫接合系統

30．．．影像擷取單元

31．．．控制單元

310．．．影像接收介面

311．．．運算處理單元

312．．．影像輸出介面

313．．．記憶模組

3130．．．靜態隨機存取記憶體

3131．．．快閃記憶體

314．．．電源介面

315．．．載具訊號介面

32．．．顯示單元

90．．．載具

900~903．．．影像擷取單緣

91~94．．．環境影像

91a~94a．．．鳥瞰影像

910、940．．．物體

95、96．．．影像擷取範圍

97．．．重疊區域

98．．．全周無接縫之鳥瞰影像

981．．．重疊合成區域

圖一係為本發明之全周鳥瞰影像無縫接合方法實施例流程示意圖。

圖二A係為各個影像擷取單元所擷取之影像示意圖。

圖二B係為各個環境影像轉換成鳥瞰影像示意圖。

圖二C係為鳥瞰影像中之特徵點示意圖。

圖二D係為相鄰兩鳥瞰影像調整示意圖。

圖二E係為相鄰兩鳥瞰影像根據權重疊合完成示意圖。

圖二F係經過影像處理之後所形成之全周鳥瞰影像示意圖。

圖三係為本發明之尋找重疊區域流程示意圖。

圖四係為本發明之權重運算流程示意圖。

圖五A與圖五B係為本發明之全周鳥瞰影像無縫接合系統實施例示意圖。

2‧‧‧全周鳥瞰影像無縫接合方法

20~25‧‧‧步驟

Claims

一種全周鳥瞰影像無縫接合方法，其係包括有下列步驟：提供複數張環境影像；對該複數張環境影像進行視角轉換以形成複數張鳥瞰影像；取得相鄰兩鳥瞰影像所具有之一重疊區域；藉由複數次之權重運算以得到每一相鄰兩鳥瞰影像間之一疊合影像，每一次權重運算更包括有下列步驟：求得每一疊合影像中之每一疊合像素與該重疊區域中關於該兩相鄰重疊影像之一邊界距離；根據該邊界距離決定關於該每一疊合影像之兩相鄰鳥瞰影像所分別具有之一第一權重以及一第二權重；以及將該兩相鄰鳥瞰影像中對應該疊合像素之像素所分別具有之一影像特徵以及該第一權重以及該第二權重進行運算以得到關於該疊合像素之一疊合特徵；以及將該複數張鳥瞰影像中所具有之非重疊影像以及相鄰鳥瞰影像間之疊合影像進行組合以得到一全周鳥瞰影像訊號。
如申請專利範圍第1項所述之全周鳥瞰影像無縫接合方法，其中該影像特徵係為亮度以及色彩。
如申請專利範圍第1項所述之全周鳥瞰影像無縫接合方法，其中決定該重疊區域更包括有下列步驟：決定一參考平面；於該相鄰之鳥瞰影像中尋找出，落於該參考平面上且相互對應之至少一特徵點；以及對相鄰之兩鳥瞰影像進行調整，使兩相鄰之鳥瞰影像中相對應之該至少一特徵點之對應誤差最小。
如申請專利範圍第3項所述之全周鳥瞰影像無縫接合方法，其中該特徵點係為該鳥瞰影像中之線條、圖樣或者是文字資訊。
如申請專利範圍第3項所述之全周鳥瞰影像無縫接合方法，其中該調整方式係為藉由旋轉、縮放或平移的方式進行調整。
如申請專利範圍第3項所述之全周鳥瞰影像無縫接合方法，其中該誤差係為該兩相鄰之鳥瞰影像中相對應之至少一特徵點所具有之特徵資訊差值的平均平方和。
如申請專利範圍第6項所述之全周鳥瞰影像無縫接合方法，其中該特徵資訊係為亮度或色彩。
如申請專利範圍第1項所述之全周鳥瞰影像無縫接合方法，其係更包括有將該全周鳥瞰影像訊號傳遞至一影像顯示單元以進行顯示之步驟。
如申請專利範圍第1項所述之全周鳥瞰影像無縫接合方法，其中該複數張環境影像係利用設置於一載具上不同位置之影像擷取單元擷取該載具周圍環境之影像而得。
如申請專利範圍第1項所述之全周鳥瞰影像無縫接合方法，其中該載具係為車輛。
一種全周鳥瞰影像無縫接合系統，包括：複數個影像擷取單元，其係分別設置於一載具之不同位置上，每一影像擷取單元係產生一環境影像；一控制單元，其係更包括有一影像接收介面、一運算處理單元、一記憶模組以及一影像輸出界面，該影像接收介面其係接收該複數個環境影像，該運算處理單元，其係接收該複數個環境影像，以對該複數個環境影像進行處理以形成一全周鳥瞰影像訊號，該記憶模組，其係與該運算處理單元相耦接，該影像輸出界面，其係與該運算處理單元以及該顯示單元相耦接，以輸出該全周鳥瞰影像訊號，該控制單元係接收該複數張環境影像，該控制單元係對該複數張環境影像進行視角轉換以形成複數張鳥瞰影像，並取得相鄰兩鳥瞰影像所具有之一重疊區域，再藉由一權重運算以得到每一相鄰兩鳥瞰影像間之一疊合影像，該控制單元求得每一疊合影像中之每一疊合像素與該重疊區域中關於該兩相鄰重疊影像之一邊界距離，然後根據該邊界距離決定關於該每一疊合影像之兩相鄰鳥瞰影像所分別具有之一第一權重以及一第二權重，再將該兩相鄰鳥瞰影像中對應該疊合像素之像素所分別具有之一影像特徵以及該第一權重以及該第二權重進行運算以得到關於該疊合像素之一疊合特徵，再將該複數張鳥瞰影像中所具有之非重疊影像以及相鄰鳥瞰影像間之疊合影像進行組合以得到該全周鳥瞰影像訊號；以及一顯示單元，其係設置於該載具內並與該控制單元相耦接，該顯示單元係接收該全周鳥瞰影像訊號，並顯示對應之全周鳥瞰影像。
如申請專利範圍第11項所述之全周鳥瞰影像無縫接合系統，其中該複數個影像擷取單元係分別設置於該載具之前、後、左與右側上。
如申請專利範圍第11項所述之全周鳥瞰影像無縫接合系統，其中該載具係為車輛。
如申請專利範圍第11項所述之全周鳥瞰影像無縫接合系統，其中該控制單元決定該重疊區域更包括有下列步驟：決定一參考平面；於該相鄰之鳥瞰影像中尋找出，落於該參考平面上且相互對應之至少一特徵點；以及對相鄰之兩鳥瞰影像進行調整，使兩相鄰之鳥瞰影像中相對應之該至少一特徵點之對應誤差最小。
如申請專利範圍第14項所述之全周鳥瞰影像無縫接合系統，其中該特徵點係為該鳥瞰影像中之線條、圖樣或者是文字資訊。
如申請專利範圍第14項所述之全周鳥瞰影像無縫接合系統，其中該調整方式係為藉由旋轉、縮放或平移的方式進行調整。
如申請專利範圍第14項所述之全周鳥瞰影像無縫接合系統，其中該誤差係為該兩相鄰之鳥瞰影像中相對應之至少一特徵點所具有之特徵資訊差值的平均平方和。
如申請專利範圍第17項所述之全周鳥瞰影像無縫接合系統，其中該特徵資訊係為亮度或色彩。
如申請專利範圍第11項所述之全周鳥瞰影像無縫接合系統，其中該控制單元更具有一電源介面以接收電壓源以及載具訊號介面以接收載具所產生之訊號。
如申請專利範圍第11項所述之全周鳥瞰影像無縫接合系統，其中該影像擷取單元係為照相機或動態影像攝影裝置。
如申請專利範圍第11項所述之全周鳥瞰影像無縫接合系統，其該記憶模組更具有一靜態隨機存取記憶體模組以及一快閃記憶體模組。