TW200933526A - An image synthesis system for a vehicle and the manufacturing method thereof - Google Patents

An image synthesis system for a vehicle and the manufacturing method thereof Download PDF

Info

Publication number
TW200933526A
TW200933526A TW097101954A TW97101954A TW200933526A TW 200933526 A TW200933526 A TW 200933526A TW 097101954 A TW097101954 A TW 097101954A TW 97101954 A TW97101954 A TW 97101954A TW 200933526 A TW200933526 A TW 200933526A
Authority
TW
Taiwan
Prior art keywords
image
vehicle
integration
point
points
Prior art date
Application number
TW097101954A
Other languages
English (en)
Other versions
TWI361396B (en
Inventor
Yong-Sheng Chen
Yu-Chih Liu
Kai-Ying Lin
Original Assignee
Univ Nat Chiao Tung
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Chiao Tung filed Critical Univ Nat Chiao Tung
Priority to TW097101954A priority Critical patent/TWI361396B/zh
Priority to US12/101,325 priority patent/US8150210B2/en
Publication of TW200933526A publication Critical patent/TW200933526A/zh
Application granted granted Critical
Publication of TWI361396B publication Critical patent/TWI361396B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/16Image acquisition using multiple overlapping images; Image stitching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Description

200933526 九、發明說明: - 【發明所屬之技術領域】 本發明係關於一種影像整合系統,特別是一種裝設於車輛上,產生一車輛 周邊景物360度俯視圖,以用來監控周圍環境之車用影像整合系統及其對應之 方法。 【先前技術】 根據車輛不同之造型設計,車輛週遭存在著許多範圍大小不等的視線死 ^角’對駕駛員的行車安全造成威脅’尤其是在較為複雜的環境當中,像是窄巷、 車庫,更容易因視線死角而造成車體的擦撞以及人員的受傷。習知的做法,是 在車輛後方架設攝影機並且建立後視系統,讓駕駛員得以在倒車時,可目視來 自車輛後方的影像,但駕駛員仍需分心監視左右兩邊的後照鏡以及前方區域, 在無法同時一覽無遺車輛四周的狀況下,駕駛員常會顧此失彼而造成行車意外。 由Nissan所申請之專利US7139412其揭露之車用監視系統,係安裝數台 =於車_上,拍攝該車輛顺環境之雜,並麟有拍攝之影像 二 。影像顯示於車卜螢幕上,而,其接合處並未做適當的處理,若二 ❹ 無雜时在接合糾兩糾贿料現象,而 2解虹频題,本發供—種車肖影錢合纽及其妓 的部得的周邊影像,整合於同—俯視畫面,使攝影機間重^ 能/ Τ靖起來平順無接缝,呈現—高品f之整合畫面,_良好的 200933526 【發明内容】 基於上述問題,本案遂提出一種車用影像整合系統及其對應之方法。 本發明之一目的在於提供一種車用影像整合系統,係將裝設於車輛上之攝 影機所取得的周邊影像,整合於同一俯視畫面,產生一高品質之整合畫面,達 到良好的監控功能。 本發明之另一目的在於提供一種車用影像整合方法,係將裝設於車輛上之 攝影機所取得的周邊影像整合於一俯視畫面,利用資訊領域之技術,使攝影機 間重疊的部分可以看起來平順無接縫。 ~ ❹ Ο 依據上述之目的,本發明提供一車用影像整合系統,主要包含:一第一攝 像裝置、-第二攝像裝置、—影像處理裝置、以及—顯示裝置;該影像處理裝 置又包含了以下元件:-定義耕一合成猶、—轉換耕、—影像對位元 件、以及-形變藉。第-攝像裝置裝設於—車輛上,用以取得該車辆周邊環 境之-第-影像;第二攝像裝置裝設於與該第__攝像裝置同—車輛上,用 付該車Μ圍環境之-第二影像,其中該第二影像與該第—影像具有_重叠區 ^,將上述之第-影像與第二影像彻影像處理裝置之轉換元件轉換成俯視 ^ ’並透過合成元件將第-影像與第二影像整合為—第三影像,該第三影像之 二影二影像透過定義元件,分別定義為複數個第-影像 點以及第—影像點,且母—影像點具有—纖誤差㈣ω咖) 像時’在第"'影像點與第二影像點重叠處,具有較低剩餘^差之影 顯示於該第三影像;由此,第—影像與該第二影像之重疊區域,會出 佳非平面物體通過該接合線,該物體分別位於該第一影 中的影像對位元件,對齊該物體位於接合線兩側之邊緣線i 車輛車用影像整合之方法,主要包括下辭驟··取得一 第-影像轉換為俯棚、提供—影像處理轉, 整2 200933526 。一第三影像、顯示第三影像;該影像處理步驟又包括以下步驟:將第一影像與 第二影像定義為複數個影像點、將第一影像與第二影像整合為一第三影彳^、二 影像對位步驟、一形變步驟。首先,使用裝設於一車輛之一第一攝像^置取得 該車輛周邊環境之一第一影像,再使用裝設於該車輛之一第二攝像裝置取得二 車輛周邊環境之一第二影像,其中該第二影像與該第一影像具有一重疊區域〔 將上述之第一影像與第二影像經由影像處理步驟之轉換步驟轉換成俯視圖,並 透過影像處理步驟之合成步驟將第一影像與第二影像整合為一第三影像,該第 三影像之合成,係先將第一影像與第二影像分別定義為複數個第一^像點二及 第一影像點’且每一影像點具有一剩餘誤差(residual error),當合成元件人成第 三影像時’在第-影像點與第二影像點重疊處’具有較低剩餘誤差之影像點將 ©會顯示於該第三影像;由此,第-影像與該第二影像之重昼區域,會出現一條 最佳接合線,若一非平面物體通過該接合線,該物體分別位於該第一影像與該 第二影像之邊緣線,會在接合線的兩側產生不連續的情況,因此,需透過影像 處理步驟中的影像對位步驟對齊該物體位於接合線兩側之邊緣線以使該物體 之邊緣線能平順地接合;並透過形變步驟,將上述之影像對位結果擴散至整張 影像,以產生一完整之第三影像。 、 本發明接著提供-種影像整合裝置’係將—第—影像與—第二影像整合, 其中該第-影像、第二影像為裝設車輛上之相鄰的攝像裝置所取得,該第二影 像與該第-影像具有-重疊區域,該影像整合裝置主要包括:—定義元件,^ ©將該第-影像以及第二影像定義為複數個影像點,且該影像點具有一剩餘誤 差;-合成S件’係將該第-影像與該第二影像整合為__第三影像,當該兩影 像點重疊時,具侧健差之職點賴示於鱗三娜。郷像整合裝 置亦包含-轉換元件,係將該第-影像與該第二影像轉換為一俯視圖。該第三 影像具有至少-接合線(seam)位於該第-影像與該第二影像之重疊區域若一非 平面物體通過該接合線’該物體分別位於該第_影像與該第二影像之邊緣線, 會在接合線的兩侧產生不連續的情況,因此,上述之影像整合裝置另包含一影 像對位元件,用以對齊該物體位於接合線兩侧之邊緣線,以使該物體之邊緣線 能平順地接合;同時,該影像整合裝置進_步包含一形變元件,係將上述之影 像對位結果,擴散至整張影像,而形成該第一影像與該第二影像之形變,以產 200933526 - 生一完整之第三影像。 係將一第一影像與一第二影像整 本發明進一步提供一種影像整合方法, 該第 合第一影像、第二影像為裝設車輛上^相鄰置寻景 區域,該影像整合方法主要包括:將該第-影 二影像整合為—第三影像’當兩影像之影像點重疊時,且^ 合線位於該第-影像與該第二影像之重叠區域,若一非平 〇、ί不ί==Γ 一影像與該第二影像之邊緣線,會在接合線的兩側產 ^連續的情況,因此’上述之影像整合方法另包含—影像對位步驟用以對 齊該物體位於接合線兩側之邊緣線,以使該物體之邊緣線能平順地接合;同時, 該影像整合方法進-步包含-形變步驟,係將上述之影像對位結果,擴散至整 張影像’而形成該第-影像與該第二影像之形變,以產生—完整之第三影像。 【實施方式】 請參見第-圖、第二圖以及第三圖。根據本發明之一實施例之車用影像整 合系統(100) ’其主要包含:-第一攝像裝置(110)、一第二攝像裝置⑽)、一影 Ο像處理裝置(130)、以及-顯示裝置(14〇);該影像處理裝置(13〇)又包含了以下元 件·一疋義元件(131)、一合成元件(133)、一轉換元件(135)、一影像對位元件 (137)、以及一形變元件(139) »第一攝像裝置(110)係裝設於一車輛上,用以取得 該車輛周邊環境之一第一影像(210);第二攝像裝置(12〇)裝設於與該第一攝像裝 置(110)同一車輛上’用以取得該車輛周圍環境之一第二影像(MO),其中該第二 影像(230)與該第一影像(210)具有一重疊區域(22〇);將上述之第一影像(21〇)與第 二影像(230)利用影像處理裝置之轉換元件(135)轉換成俯視圖,並透過合成元件 (133)將第一影像(210)與第二影像(230)整合為一第三影像(300),該第三影像 (300)之合成’係先將第一影像(210)與第二影像(230)透過定義元件(131),分別定 義為複數個第一影像點(211)以及第二影像點(231),且每一影像點具有一剩餘誤 8 200933526 差Residual error),當合成元件(133)合成第三影像(3〇〇)時,在第一影像點(2ιι)與 第二影像點(231)重叠處,具有較低雌誤差之影像點將會顯示於該第三影像 (300”由此,第一影像⑽)與該第二影像(23〇)之重疊區域(22〇),會出現至少一 條接合線(221) ’若-非平面物體通過該接合線(221),該物體分別位於該第一影 像(210)與該第二影像之邊緣線,會在該接合線(221)的兩側產生不連續的^ 況,因此’需透過影像處理裝置(13G)中的影像對位元件(137),對齊該物體位於 接合線(221)兩側之邊緣線,以使該物體之邊緣線能平順地接合;並透過形變元 件(139) ’將上述之$彡像對位結果紐至整張影像,以產生—完整之第三影像 ❹ f日月之另-具體實施例,請參見第四圖,為一車用影像整合之方法(), ^步^括·取得—車輛周邊魏之第—影像(41Q)、取 之第一衫像(420)、將第一影像與第二影像轉換為俯視圖(43〇)、提供一影像 2=40),將第-影像與第二影像整合為—第三影像、顯示第三影像, 理ΐΠΪίΐ以下步驟:將第一影像與第二影像定義為複數個影 像點(442)將第-影像與第二影像整合為一第三影像(444),其巾 ,第-影像點㈤)與該第二影像之第二影像點(231)重疊時,具有較低^ ^ 差之影像點將顯不於該第三影像_、一影像對位步驟(446)、一形變步驟㈣) UJ將逐步娜本實施狀詳細鱗,並㈣五目 明。請參見第五圖,首先,步驟5〇2,係將欲裝設於車輛上ϋ口說 並轉攝棘置之初勒在參數齡在參數(步驟5Q4);再雜台校傻 508), 51〇),得到-透視投影之影像(步驟犯)。事先 原(步驟 (步驟叫,麟縣置所轉㈣像與此麵轉作對面影像 -張俯視影像中(步驟518) ’步驟514〜518 將=結合於 像轉換為俯視圖之轉換步驟(步驟四圖將第—影像與第二影 會有-重疊區域,而在此重叠區域中,可找出一條目最裝所取得之影像 找出最佳接合線之步驟,須先將相鄰攝像裝置所取得“像影 200933526 像點(步驟442) ’每個影像點具有一剩餘誤差,選擇—條剩餘誤差最小之接合線 ⑽)將兩影像接合起來(步驟52〇),而合成為一第三影像(步驟44)。 經由上述的方法,已可將車細雌影機的影像平順地接合成—張完整的 =視影像,_使⑽是適驗平關轉換的單應性贿(H_graphy麻㈣ ,進打影雜換’因此’當有非平面橫跨接合_,财祕續的狀產生, ‘-、决此顺,須進-步包含一影像對位步驟(步驟446),於此實施例十,係 = Image Warping,DIW)來進行接合線上-維序列影 之,位。清參見第^—圖,設若有兩個一維序列影像:A與B,其中: -α”“2,,··,%,··.,% ⑴ ❹ Β - \,1)2,…,b”…,bn (2) 拓見Ϊ七圖’該二維平面可視為—個nXn矩陣C,平面上的節點可視為 、凡、而條路徑评可視為矩陣元素的集合,也是A與B的對應關係。 灰= n<m<2n-\ (3) 6 路徑上的某節.點* “7)’表示A中的某像素&對應到B中的某像素 。另外,W必須要滿足下面三個條件: 、 (1) 邊界條件(Boundary condition;) 路徑的起點為叫^1,1),故駐么ww=(„,„) ^ Λ陣的左上與右下角。換句妨ϋ 1 ’)’這兩個節點必須分別出現在矩 〇相對應。 換勺話說_一維序列影像Α與Β的起點與終點必須互 (2) 連續性(Continuity) 、I’V),其中必須滿足且ha 仏方向只能往相_節點移動,包括相鄰之對角線^ ( (3 )單調性(Monotonieity) 給定% =(M)、 制了路㈣中的點在二維平面中必須呈W,這限 接著定義矩陣C中元素的計算方式。 (4)200933526 C(i,j-1)+Pv C(i-l,j) + ph c(/, j) = D(a ,bj) + //(a ,bj) + min C(l,l) = 〇 其中A以及凡分別為A與B的標準差(standard deviation),另外D(a,.,\ )為 A與7差異的一種衡量方式,由兩個元素所組成’其中一個為兩者差的絕對值, 另一個為兩者一階微分(使用差分逼近微分)之角度的差,定義如下: D(<aA)-- = ί/(α.,67)+ί/'(α,ί>7) (5) © 料 ? bj)— ·(气,bj)2 (6) dXa^bj)-- =(ac tan(a,.) — flc tan(6;') ⑺ 其中 -2_. 2 (8>- 公式⑻來自於 Keogh et al.所提出的 Derivative Dynamic Time Warping(DDTW) ’ 其改善 Dynamic Time Warping (DTW),是考慮一維影像資料 Q的「形狀」(shaPe_level)來進行對位。公式⑺則是繼承了 DDTW的想法。上述公 式⑹與⑺之結果比需要常態化(normalized)到0〜1。另外也考慮歷史頁框(丘啦從) 所對應的記錄,故定義如下: β(α(,*/)= ·ϊ((ί· - /¾ (/,_/))+(_/- \ (/,’))2 ) 1 (9) 其中怂(/^,前f個頁框中,a的第丨個點與B相對應的點之在路徑w上 索引的平均。* 與之雷同。s為一純量積(scalar),當s增加時,公式(9)的 結果會較傾向於前幾次接合線所對應的結果,反之當s減少時,較不會傾向於前 幾次接合線對應的結果。 請參見第四圖與第五圖。經由上述步驟完成三維物件影像在接合線上之一 11 200933526 •維序列影像對位後’本方法進—步將此對對位結果擴散到整張影 對 確_效果,所以轉換函數W必—影像中的標記點A=(Pfe 精 應到目標影像中的標記點孓-(知,知)ei ,可以定義如下: T(Pi) = Qn i = 1,...,η (10) 其中η為標記點的數目,在轉換函數中的兩個座標可以分開計算,如下· (Π) Ο 其中认)與W分別為座標的轉換函數。在徑向基底函數中,此 由兩個部分所組成,如下: 、 t{x)~Rs[x)+Ls{x) (12) έ其中足⑷為非線性的部分,由數個加權式徑向基底函數(weighted rbFs)所 ,、且成。i㈡為線性的部分,由數個m元d次多項式所組成。 (13) 4Μ=ΣΜ(Χ) (14) Μ
Q 其中叫卜只丨丨)是以凡為中心的徑向基底函數,其值只與尤到凡的歐式距離 有關係,%與巧為係數。為了盡可能使影像看起來平順,%必須滿足以下條件: (15) 其中線性組合的系數《 =[βι··_α/及β=[Α···ΑΓ可以寫成下面矩陣的形式 —Κ Ρ' a V Ρτ 0 β. 0 12 (16) 200933526 素4八⑻為車’其元素& Pyll)。p為一 nxm之矩陣,其元 與前面定義相同,為目標影像中標記點的座標。 而」對=在影像上所造成的影響範圍, 此選擇的㈣編他下條線,所以在 (17) 〜*(’) = /* (1 -r),」+*+1 (r) 其中
〇^r<l r>l (18) (19) ^外Fomefeet.提出緊密支援(e〇mpact supp〇rt)的方法,他們使用 e: ancF-函數當作徑向基底函數來做彈性對位㈣加邮咖㈣,利用改變 參數r來進行調整,如下: …太々)=(20)
\s J 其中S疋在空間支持(Spatiai SUpp〇rt)的長度,將經由函數,標記 點的對應所4成之景彡響範圍限制在__個半徑為s的圓之内。. 由,f發明所處理的是二維影像,加上希望可以產生平順的影像形變故 採用來做為徑向基底函數,如下: ^2,iW = (l-r)'(4r + l) (21) 在完成形變步驟(步驟524) ’即對應第四圖之形變步驟(448)後,所有的接合 ,看起來都有平順的接起來,但由於車輛四周的攝影機拍攝的角度不同,容易 受光線的影響而使得接合線看起來很明顯,因此使用偏差值與增益模型(bias and gainmodel)來進行整體的曝光補償,該模型可以下列公式表示: 13 200933526 (22) /, =aiI+pi 其中#為偏差值(bias),《為增益(gain)。每張影像的偏差值與增益可以使用 下面的最小平方公式求得: ^=ΣΣ[^(^)+Α-/,(ΜΤ (23) 其中"與,為兩相鄰之影像,Ρ為兩影像重叠區域的點。在這種方法之下, 相鄰的兩張影像其曝光程度會很接近,但接合線仍然看的到,因此,本發明提 出一個以加權混合為基礎的影像融合法來處理這個問題,其中利用攝像裝置校 ©正時所用到的剩餘誤差來做為加權值。雖然沿著接合線加權值在兩張影像是相 等的,但加權值函數(weighting Unction)在非重疊區域以及重疊區域是不連續 的。所以將點到影像邊界的最小距離也考慮進來,提出以下的混合函數(b丨 function): Σε^ρΜη^ρ)ι^ρ) ㈦ ΣΜη^ρ)β(η,ρ) (24) 2u i¥i 2v ^ ^ width height (25) Ο 丑其中.為最終合成之影像。以.)為第i台攝影機校正時剩餘誤差的函數。 外^影像々與'之間的單應性矩陣。祕X細抑為各攝影機影像之解析度。 ·’·為加權函數’其值由影像中心到影像邊界分別為i與〇 ^使用上述之影像 融合步驟(步驟526) ’可以得到-無接縫的合成影像(步驟S28),最後將該影‘顯 不(步驟53G) ’即對應第_之顯示完整之第三影像(步驟45〇)。 請參見第八圖。本發明之另一具體實施例,係提供一種影像整合裝置,該 裝置係將裝設於-車輛上之相鄰攝像裝置所取得之第__影像㈣)與第二影 (230)整合,且兩影像具有一重疊區域(22〇),該裝置主要包含·一定義元件(、 -合成70件(I33)、-轉換元件⑽)、一影像對位元件⑴乃、以及一形變元件 ⑽)。其中定義讀(m),係將該第一影像⑽)以及第二影像(23〇)定義為複數 200933526 複數娜像點均具有—纖誤差;合成元件(133),係將該第一 二暴β#)Ί —影像(23°)整合為-第三影像_,其中,當該兩影像之影像 #番^^/、有較鋪鑛差之影像點賴示於該第三影像(3GG);郷像整合 y9 轉換70件(I35),係將該第一影像⑽)與該第二影像(23〇)與事先取 Ο 轉換為—俯姻;該第三影像(3gg)具有至少—接合線接合線 辞;&人」影像(210)與該第二影像(230)之重憂區域,若一非平面物體通過 =二,(221) ’該物體分別位於該第一影像(21〇)與該第二影像(23〇)之邊緣線, ^在接。線(221)的_產生不連續的情況,因此,上述之影像整合裝置進一步 像對位元件(137),用以對齊該物體位於接合線(221)兩侧之邊緣線,以 使〜物體之邊緣線能平順地接合;㈣,該雜整合裝置進—步包含一形變元 ’係將上述之影像對健果,擴散至整張影像,㈣賴第—影像㈣) 與該第一影像⑽)之形變,以產生—完整之第三影像(3〇〇)。 晴參見第九圖。本發明之另一具禮實施例,係提供一種影像整合方法,該 裝置係將裝設於-車輛上之相鄰攝像裝置所取得之第一影像(21〇)與第二影像 ⑽)整合’且兩影像具有〜重#區域(22G),該裝置主要包含:將第—影像與第 二影像轉換為俯視_〇)、將第—影像與第二影像定⑽複數個影像點(442')、 將第-影像與第二影像整合為-第三影像(444),其中,當該第__影像之第一影 像點與該第二影像之第二影像點重疊時,具有較低剩餘誤差之影像點將顯示於 該第三影像、-影騎位步驟(446)、一形變步驟_。由車輛上之攝像裝置取 ©得第-影像(210)與第二影像(23G)後,與事絲得知地面影像進行對位並結合 於-張俯視影像中(步驟430),由於兩兩相鄰的攝影置裝所取得之影像會有一重 叠區域,而在此重疊區域中,可找出至少—條接合線(221)以接合兩影像,而找 出最佳接合線之步驟,須先將相鄰攝像裝置所取得的兩影像定義為複數個影像 點(步驟442),每個影像點具有一剩餘誤差,沿接合線(221)將兩影像接合起來, 而合成為-第二影像(步驟44句。經由上述的方法,已可將車輛四周攝影機的影 像平順地接合成-張完整的俯視影像,然而,當有非平面橫跨接合線(Π)時, 仍有不連續的情況產生,為解決此-問題,須進一步包含一影像對位步驟(446), 用以對齊該物體位於接合線(22D兩側之邊緣線,以使該物體之邊緣線能平順地 接合,於此實施例中,係使用動態影像扭曲法(DynWc—ge w叫ing DIW)來 15 200933526 進行接合線(221)上-維序觸像之對位π實施例進—步包含—形變步驟 (448) 將上述之影像對位之結果,擴散至整張影像,而形成該第一影像㈣ 與該第-景/像(23〇)之形變,以產生一完整之第三影像();最後使用加權混合 法⑽ghtedblending)進行整體的曝光補償,最終產生一無接縫之合成影像。 通姑ϋΐΓ已藉由各個實施例及其相_式而清楚細。細,熟習該 ,技,者虽了解的是’本發明之各個實施例在此僅為例示性而非為限制性,亦 二精神及範圍之内,上述所述及之各元件_化例及修 正例均為本_賴蓋。緣此,摘作係峨社μ補範騎加以界定。 〇 〇 【圖式簡單說明】 第-圖:本發明之—種相影像整合系統方塊之示賴。 •影像、其重 第二圖:由第一攝像裝置與第二攝像裝置所取得之第一影像與第 疊區域與接合線。 ' 第二圖:第-影像與第二影像所整合而成之第三影像。 第四圖:本發明之一種車用影像整合方法之流程圖。 第五圖:本發明之一種車用影像整合方法之詳細流程圖。 第六圖:在接合線上兩張影像之一維序列資料的來源。 第七圖.一維序列影像對位之二維搜尋平面與路徑。 第八圖:本發明之一種影像整合系統方塊之示意圖。 第九圖:本發明之一種影像整合方法之流程圖。 【主要元件符號說明】 100 車用影像整合系統 110 第一攝像裝置 120 第二攝像裝置 130 影像處理裝置 131 定義元件 16 合成元件 轉換元件 影像對位元件 形變元件 顯示裝置 第一影像 重疊區域 接合線 第二影像 第三影像 車用影像整合方法 取得第一影像 取得第二影像 轉換步驟 影像處理步驟 將影像定義為影像點 將第一影像與第二影像整合為第三影像 影像對位步驟 形變步驟 顯示第三影像 校正攝像裝置 取得攝像裝置參數 架設校正後攝像裝置於車輛上 取得周邊影像 失真校正 產生透視投影之影像 17 200933526 - 514 取得地面影像 516 地面影像與攝取影像對位 518 產生一俯視影像 520 找出最佳接合線 522 三維物件影像對位 524 形變步驟 526 影像融合 528 產生無接縫之俯視影像 530 ❹ 顯示無接縫之俯視影像 18

Claims (1)

  1. 200933526 • 十、申請專利範圍: 1. 一種車用影像整合系統,主要包括: -第-攝像裝置’係裝置於-車輛上’輝得該車_邊_之__第一影像; -第一攝像裝置’係、裝置於該車_上,以取得該車輛·環境之—第二影像, 其中該第二影像與該第一影像具有一重疊區域; 一影像處理裝置,主要包括: -定義元件’係將該第-影像;^義為複數個第—影像點,該每―第一影像 點具有-第-剩餘誤^(residualerror),並將該第二影像定義為複數個第二 影像點,且該每一第二影像點具有-第二剩餘誤差㈣dual ; —合成元件,係將該第一影像與該第二影像整合為-第三影像,當該第一 影像之第-影像點與該第二影像之第二影像點重#時,具有較低剩餘誤差 之影像點將顯示於該第三影像;以及 一顯示裝置,係顯示該第三影像。 2·如申請補第1項所述之相影像整合纽,其巾該第三影像具有至少 一接合線(seam)位於該第一影像與該第二影像之重疊區域。 、 3. 如申請專利範圍第2項所述之車用影像整合纽,其中該接合線通過至少一 物體’該物體分躲於該第-影像與二影像之邊緣齡在接合線的兩側 〇 產生不連續的情況,因此,該影像處理裝置進-步包含-影像對位元件(image registration component),係對齊該物體位於接合線兩側之邊緣線。 4. 如申請專利範圍第3項所述之車用影像整合祕,該影像處理裝置進一步包 含-形變70件(deformationcomponent),係將該影像對位元件所產生之結果擴 散至整張影像,而形成該第一影像與該第二影像之形變。 5. 如申請專利範圍第1項所述之車用影像整合系統,其中該影像處理裝置進一 步包含-轉換兀件(transforming c〇mp〇nent),係將該第一影像與該第二影像轉 換為一俯視圖。 ’ ’ 6. -種車用影像整合之方法,主要包括下列步驟: 200933526 • 使用裝設於該車輛之一第一攝像裝置,以取得該車輛周邊環境之—第一影像; . 使用裝設於該車輛之一第二攝像裝置,以取得該車輛周邊環境之一第二影 像,其中該第二影像與該第一影像具有一重疊區域; 提供一影像處理步驟主要包括: 將該第一影像定義為複數個第一影像點,該每一第一影像點具有一第一剩 餘誤差(residual error),並將該第二影像定義為複數個第二影像點,且該每 一第一影像點具有一第一剩餘誤差(residualerror); 將該第一影像與該第二影像整合為一第三影像,當該第一影像之第一影像 Q 雜鱗二雜之第二影像點重疊時,具有較鋪餘誤差之轉點將顯示 於該第三影像;以及 顯不該第三影像。 7.如申請專利範圍第6項所述之車用影像整合之方法,其中該第三影像具有至 少一接合線(seam)位於該第一影像與該第二影像之重疊區域。 8·如申請專利範圍第7項所述之車用影像整合之方法,其中該接合線通過至少 —物趙,該物體分別位於該第-影像與該第二影像之邊緣線會在接合線的兩 側產生不連續的情況’因此,該影像處理步驟進一步包含一影像對位步驟, 係對齊該物體位於接合線兩側之邊緣線。 ❹9.如中請專利範„ 8項所述之車贿像整合之方法,該影像處理步驟進一步 包含-形變步驟,係將該影像對位步驟所產生之結果擴散至整張影像,而形 成該第一影像與該第二影像之形變。 10.如申請專利範圍第6項所述之車用影像整合之方法,進一步包含一機步 驟’係將該第-影像與該第二影像轉換為一俯視圖。 11·、-種影像整合裝置,係將-第—影像與一第二影像整合其中該第一影像是 、裝設於車輛上之第一攝像裝置取得,該第二影像是以一裝設於該車輛 j之第二攝像裝置取得,該第二影像與該第—影像 ,該影像 整合装置主要包括·· 20 200933526 •一定義元件,係將該第一影像定義為複數個第一影像點,該每一第一影像 ,點具有一第一剩餘誤差(residual error),並將該第二影像定義為複數個第二 影像點’且該每一第二影像點具有一第二剩餘誤差(residuaierr〇r);以及 一合成元件,係將該第一影像與該第二影像整合為一第三影像,當該第一 影像之第一影像點與該第二影像之第二影像點重疊時,具有較低剩餘誤差 之影像點將顯示於該第三影像。 12.如申請專利範圍第11項所述之影像整合裝置,其中該第三影像具有至少一 接合線(seam)位於該第一影像與該第二影像之重疊區域。 ❹13.如申請專利範圍第12項所述之影像整合裝置,其中該接合線通過至少一物 體,該物體分別位於該第一影像與該第二影像之邊緣線會在接合線的兩側產 生不連續的情況,因此,該影像處理裝置進一步包含一影像對位元件(image registration component),係對齊該物體位於接合線兩側之邊緣線。 14. 如申請專利範圍第13項所述之影像整合裝置,進一步包含一形變元件係 將該影像對位元件所產生之結果擴散至整張影像,而形成該第一影像與該第 二影像之形變。 、 15. 如申請專利範圍第U項所述之影像整合裝置,進一步包含一轉換元件,係 將該第一影像與該第二影像轉換為一俯視圖。 〇 16. —種影像整合方法’係將一第一影像與一第二影像整合,其中該第—影像是 以一裝設於一車輛上之第一攝像裝置取得,該第二影像是以一裝設於該車輛 上之第二攝像裝置取得,該第二影像與該第一影像具有一重疊區域該影像 整合裝置主要包括: 將該第一影像定義為複數個第—影像點,該每一第一影像點具有一第一剩 餘誤差(residualerror),並將該第二影像定義為複數個第二影像點,且該每 第一影像點具有一第二剩餘誤差(residual error);以及 將該第-影像與該第二影健合為一第三影像,當該第一影像之第一影像 點與該第二影像之第二影像點重疊時,具有較側餘誤差之影像點將顯示 21 200933526 、 於該第三影像。 17. 如申請專利範圍第16項所述之影像整合方法,其中該第三影像具有至少一 接合線(seam)位於該第一影像與該第二影像之重疊區域。 18. 如申請專利範圍第17項所述之影像整合方法,其中該接合線通過至少一物 體,該物體分別位於該第一影像與該第二影像之邊緣線會在接合線的兩側產 生不連續的情況,因此,該影像處理步驟進一步包含一影像對位步驟,係對 齊該物體位於接合線兩側之邊緣線。 19. 如申請專利範圍第18項所述之影像整合方法,進一步包含一形變步驟,係 將該影像對位步驟所產生之結果擴散至整張影像,而形成該第一影像與該第 〇 ^ 二影像之形變。 20. 如申請專利範圍第16項所述之影像整合方法,進一步包含一轉換步驟,係 將該第一影像與該第二影像轉換為一俯視圖。 ❹ 22
TW097101954A 2008-01-18 2008-01-18 Image synthesis system for a vehicle and the manufacturing method thereof mage synthesis device and method TWI361396B (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW097101954A TWI361396B (en) 2008-01-18 2008-01-18 Image synthesis system for a vehicle and the manufacturing method thereof mage synthesis device and method
US12/101,325 US8150210B2 (en) 2008-01-18 2008-04-11 Image synthesis system for a vehicle and the manufacturing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW097101954A TWI361396B (en) 2008-01-18 2008-01-18 Image synthesis system for a vehicle and the manufacturing method thereof mage synthesis device and method

Publications (2)

Publication Number Publication Date
TW200933526A true TW200933526A (en) 2009-08-01
TWI361396B TWI361396B (en) 2012-04-01

Family

ID=40844594

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097101954A TWI361396B (en) 2008-01-18 2008-01-18 Image synthesis system for a vehicle and the manufacturing method thereof mage synthesis device and method

Country Status (2)

Country Link
US (1) US8150210B2 (zh)
TW (1) TWI361396B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8823796B2 (en) 2011-04-01 2014-09-02 Industrial Technology Research Institute Adaptive surrounding view monitoring apparatus and method thereof
TWI595447B (zh) * 2013-10-22 2017-08-11 Metal Ind Res And Dev Centre Video bonding method

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009050368A1 (de) * 2008-10-24 2010-05-27 Magna Electronics Europe Gmbh & Co.Kg Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
GB2473247B (en) * 2009-09-04 2015-02-11 Sony Corp A method and apparatus for image alignment
TWI392366B (zh) * 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統
US10800329B2 (en) * 2010-04-19 2020-10-13 SMR Patents S.à.r.l. Rear view mirror simulation
US11256931B2 (en) * 2010-04-19 2022-02-22 SMR Patent S.à.r.l Rearview device simulation
US9900522B2 (en) 2010-12-01 2018-02-20 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
US10793067B2 (en) 2011-07-26 2020-10-06 Magna Electronics Inc. Imaging system for vehicle
US8718407B2 (en) * 2011-11-18 2014-05-06 Stmicroelectronics (Canada), Inc. High-quality single-frame superresolution training and reconstruction engine
US9242602B2 (en) 2012-08-27 2016-01-26 Fotonation Limited Rearview imaging systems for vehicle
US9087402B2 (en) * 2013-03-13 2015-07-21 Microsoft Technology Licensing, Llc Augmenting images with higher resolution data
DE102012219809A1 (de) * 2012-10-30 2014-04-30 Bayerische Motoren Werke Aktiengesellschaft Signalverarbeitungsverfahren für ein Fahrzeug
KR102124617B1 (ko) * 2013-09-03 2020-06-19 삼성전자주식회사 이미지 합성 방법 및 그 전자 장치
TWI552907B (zh) * 2013-10-30 2016-10-11 緯創資通股份有限公司 行車安全輔助系統和方法
US9767561B2 (en) * 2013-11-18 2017-09-19 Texas Instruments Incorporated Method and apparatus for a optimal seam for surround view synthesis
US9563953B2 (en) * 2014-08-28 2017-02-07 Qualcomm Incorporated Systems and methods for determining a seam
US10127463B2 (en) 2014-11-21 2018-11-13 Magna Electronics Inc. Vehicle vision system with multiple cameras
US10089538B2 (en) * 2015-04-10 2018-10-02 Bendix Commercial Vehicle Systems Llc Vehicle 360° surround view system having corner placed cameras, and system and method for calibration thereof
DE102015007673A1 (de) * 2015-06-16 2016-12-22 Mekra Lang Gmbh & Co. Kg Sichtsystem für ein Nutzfahrzeug zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
US10187590B2 (en) 2015-10-27 2019-01-22 Magna Electronics Inc. Multi-camera vehicle vision system with image gap fill
TWI613106B (zh) 2016-05-05 2018-02-01 威盛電子股份有限公司 車輛周圍影像處理方法及裝置
KR101844885B1 (ko) * 2016-07-11 2018-05-18 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
US10452076B2 (en) 2017-01-04 2019-10-22 Magna Electronics Inc. Vehicle vision system with adjustable computation and data compression
WO2019118319A1 (en) * 2017-12-15 2019-06-20 Gopro, Inc. High dynamic range processing on spherical images
DE102018108751B4 (de) * 2018-04-12 2023-05-04 Motherson Innovations Company Limited Verfahren, System und Vorrichtung zum Erhalten von 3D-Information von Objekten
SE1830320A1 (en) * 2018-11-03 2020-05-04 Tracy Of Sweden Ab Method and arrangement for identifying object

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US5982951A (en) 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US5680123A (en) 1996-08-06 1997-10-21 Lee; Gul Nam Vehicle monitoring system
JPH10117342A (ja) * 1996-10-11 1998-05-06 Yazaki Corp 車両周辺監視装置、障害物検出方法、及び障害物検出プログラムを記憶した媒体
US6249616B1 (en) * 1997-05-30 2001-06-19 Enroute, Inc Combining digital images based on three-dimensional relationships between source image data sets
JP3511892B2 (ja) 1998-05-25 2004-03-29 日産自動車株式会社 車両用周囲モニタ装置
US6434265B1 (en) * 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
JP3298851B2 (ja) * 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
DE19947766A1 (de) 1999-10-02 2001-05-10 Bosch Gmbh Robert Einrichtung zur Überwachung der Umgebung eines einparkenden Fahrzeugs
JP3297040B1 (ja) * 2001-04-24 2002-07-02 松下電器産業株式会社 車載カメラの画像合成表示方法及びその装置
US6895106B2 (en) * 2001-09-11 2005-05-17 Eastman Kodak Company Method for stitching partial radiation images to reconstruct a full image
JP2005191962A (ja) * 2003-12-25 2005-07-14 Sharp Corp 移動体周囲監視装置および移動体
JP4134939B2 (ja) * 2004-04-22 2008-08-20 株式会社デンソー 車両周辺表示制御装置
US7576639B2 (en) * 2006-03-14 2009-08-18 Mobileye Technologies, Ltd. Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle
KR100796849B1 (ko) * 2006-09-04 2008-01-22 삼성전자주식회사 휴대 단말기용 파노라마 모자이크 사진 촬영 방법
US20100194851A1 (en) * 2009-02-03 2010-08-05 Aricent Inc. Panorama image stitching

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8823796B2 (en) 2011-04-01 2014-09-02 Industrial Technology Research Institute Adaptive surrounding view monitoring apparatus and method thereof
TWI595447B (zh) * 2013-10-22 2017-08-11 Metal Ind Res And Dev Centre Video bonding method

Also Published As

Publication number Publication date
US20090175492A1 (en) 2009-07-09
TWI361396B (en) 2012-04-01
US8150210B2 (en) 2012-04-03

Similar Documents

Publication Publication Date Title
TW200933526A (en) An image synthesis system for a vehicle and the manufacturing method thereof
JP7054293B2 (ja) リアビュー可視化のためのリアスティッチされたビューパノラマ
TWI287402B (en) Panoramic vision system and method
TW201123897A (en) Method and system for generating surrounding seamless bird-view image with distance interface
JP2008187564A (ja) カメラ校正装置及び方法並びに車両
US9225942B2 (en) Imaging surface modeling for camera modeling and virtual view synthesis
JP4583883B2 (ja) 車両用周囲状況表示装置
US8134608B2 (en) Imaging apparatus
JP2009017462A (ja) 運転支援システム及び車両
CN101236654A (zh) 照相机校正装置和方法、以及车辆
WO2014034364A1 (ja) 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法、およびパラメータ取得方法
JP2008271308A (ja) 画像処理装置及び方法並びに車両
CN101836451A (zh) 照相机校正装置及方法、以及车辆
TW591247B (en) System, method and program for perspective projection image creation, and recording medium storing the same program
JP2008077628A (ja) 画像処理装置並びに車両周辺視界支援装置及び方法
TWI276905B (en) Method for inhibiting the projecting of a shadow of a presenter onto a projecting screen
TW200927537A (en) Automobile backup radar system that displays bird's-eye view image of automobile
CN106023080A (zh) 一种车载全景图像无缝拼接处理系统
JP2012156672A (ja) 車両周辺監視装置
CN106856000A (zh) 一种车载全景图像无缝拼接处理方法及系统
JP4679293B2 (ja) 車載パノラマカメラシステム
KR20180102420A (ko) 차량의 디스플레이 시스템 및 이의 구동 방법
CN104937634A (zh) 用于生成环绕视图的方法和系统
CN106056536A (zh) 一种车载全景图像无缝拼接处理方法
JP2013026801A (ja) 車両周辺監視システム