TWI699999B - 車載視覺輔助系統 - Google Patents

車載視覺輔助系統 Download PDF

Info

Publication number
TWI699999B
TWI699999B TW107140259A TW107140259A TWI699999B TW I699999 B TWI699999 B TW I699999B TW 107140259 A TW107140259 A TW 107140259A TW 107140259 A TW107140259 A TW 107140259A TW I699999 B TWI699999 B TW I699999B
Authority
TW
Taiwan
Prior art keywords
target
module
vehicle
lens
unit
Prior art date
Application number
TW107140259A
Other languages
English (en)
Other versions
TW202019152A (zh
Inventor
莫進忠
潘恭桐
郝慶凱
Original Assignee
勝捷光電股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 勝捷光電股份有限公司 filed Critical 勝捷光電股份有限公司
Priority to TW107140259A priority Critical patent/TWI699999B/zh
Priority to CN201811474846.3A priority patent/CN111169380A/zh
Publication of TW202019152A publication Critical patent/TW202019152A/zh
Application granted granted Critical
Publication of TWI699999B publication Critical patent/TWI699999B/zh

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Abstract

本發明提出一種車載視覺輔助系統,其系統架構包含:控制模組,控制車載視覺輔助系統的運作;感應器模組,偵測第一後方環境訊號;影像處理模組,耦接控制模組與感應器模組,將第一後方環境訊號轉換為第一影像訊號;以及,顯示模組,耦接影像處理模組,顯示第一影像訊號;此外,上述感應器模組包含數個攝影鏡頭,其中第一鏡頭的視角為40°-85°。

Description

車載視覺輔助系統
本發明涉及一種車載視覺輔助系統,更詳而言之,為一種透過複數個攝影鏡頭或聲學等各式感測器,擷取周遭環境資訊,並將該環境資訊進行處理後,以影像方式顯示予使用者,以達到改善行車安全的目的。
近年來得利於各類攝影鏡頭或感測器的元件體積日益縮小,使得眾多基於影像或各項環境資訊的應用愈發廣泛,如今,將攝影鏡頭應用於行車紀錄或行車安全也幾乎成為汽車、機車甚至自行車的標準配備。以汽車來說,目前習知應用的電子後視鏡利用在汽車尾部裝設攝影鏡頭,以提供倒車時汽車尾部的環境偵測,或經過後製處理的影像,以提供駕駛人相較於傳統後視鏡更為全面的態勢感知能力(Situation Awareness),大幅感善了傳統後視鏡的視覺死角,有效降低了行車意外的發生。
然則,目前時點上,現有的電子後視鏡則大多僅有一個攝影鏡頭,雖然使其具有成本低廉的優點,並確實提高了駕駛人對周遭環境的反應速度,但仍有不足之處:首先大部分的攝影鏡頭為了減少其占用的厚度、體積,以及在維持較大的縱向光學解析度(或稱:景深,Depth of Field,DOF)的前提下盡可能提升進光量,多採用固定焦點而缺乏變焦機構的攝影鏡頭,在此條件下,若採用焦距短的攝影鏡頭,雖然可得到較為廣角的視角(Field of View,FOV),但是物體的成像相對較小,駕駛人在行駛中若要對局部影像觀察將較為吃力(如某個位置有障礙物或有事故發生);相反的,若採用焦距較長的攝影鏡頭,則物體成像較大,雖對局部影像觀察比較輕鬆,但視角較窄,可能造成視覺上的死角,反而可能降低駕駛人態勢感知的能力。
先前技術中,以德國奧迪公司(Audi AG)於2012年提出的美國專利案US20150042803A1舉例,在該專利中,提到用以解決上述視角廣但成像小導致局部事件不易觀察,和視角窄易形成視覺盲點的方法,可分別透過駕駛人手動調整縮放電子後視鏡的影像,以及裝設馬達機構以調整攝影鏡頭的攝影方向獲得解決。然而,在上述解決問題的方法中,由於攝影鏡頭本身為固定焦距,若想以數位變焦(Digital Zoom)的方式對影像進行縮放,則在感光元件面積大小固定,像素點固定的情況下,局部影像放大時會同時犧牲影像的解析度,以2560 X 1920的影像解析度為例,在長寬比例不變以及影像大小不變的情況下放大2倍,放大後的局部影像解析度將會變為1280 X 960,局部影像的解析度實質上會變為原來的1/4,可能不利於觀察遠方的目標。而以馬達機構調整攝影方向來說,除了馬達機構有故障的風險以外,駕駛人於行車路況複雜時,能否騰出注意力透過手動方式,或車輛搭載的語音助理能否精準辨別駕駛人語音,以調整後視鏡的視角亦是一個問題。
除此之外,單個攝影鏡頭的所做的成像,在光學上比較難以精準測量物體的物距,若要針對所取得的影像作進一步的應用,則會因為缺乏物距的資訊,須以額外的硬體設計,或軟體演算法加以模擬,除了提高成本,且會浪費電子後視鏡不必要的運算效能。上述問題,請參閱圖1A,在成像時若有兩個以上的攝影鏡頭,則對同一個物體而言可經由測量視角(Angle of View)α的大小,透過「d=aCotα」的公式輕易計算出物距d;然則,在圖1B的情況中,單個攝影鏡頭無法藉由兩個以上攝影鏡頭對於同一個物體的視角α進行計算,除了所取得的影像較難應用外,所顯示予駕駛人的成像也會使駕駛人難以判斷物體與本身的車行距離,使得駕駛人在進行相對精細的車輛操控時,如在狹窄巷弄、裝卸貨碼頭、車況複雜的使用環境下,因距離感把握不足,影響僅具單一攝影鏡頭的電子後視鏡的裝置可靠度。
是以,有鑑於此,在現時時點上,有必要針對僅有一個攝影鏡頭的電子後視鏡實施改進,包含在盡可能縮小攝影鏡頭的體積下,能有盡可能廣闊的視角,同時在觀察局部影像時保持原來的影像解析度,使駕駛人能精確把握車況和路況,並使所得影像對周遭環境資訊的偵測完整不失真,且較為容易 進行後續的處理運用。
為解決上述問題,本發明提出了一種車載視覺輔助系統,包含:控制模組,控制車載視覺輔助系統的運作;感應器模組,耦接控制模組,偵測第一後方環境訊號;影像處理模組,耦接控制模組,將第一後方環境訊號轉換為第一影像訊號,其中,上述第一影像訊號可為未經影像處理模組處理的原始影像,或經過影像處理模組處理後製影像;以及,顯示模組,耦接該影像處理模組,顯示第一影像訊號;其中,感應器模組包含第一鏡頭及第二鏡頭,接收由影像構成的第一後方環境訊號,上述第一鏡頭視角的範圍為40°-85°,第二鏡頭視角的範圍為80°-180°。上述車載視覺輔助系統可安裝於車艙內後視鏡。
此外,上述車載視覺輔助系統包含外部資訊模組,耦接控制模組,傳輸第二後方環境訊號,影像處理模組將第二後方環境訊號轉換為第二影像訊號,饋入顯示模組,以顯示第二影像訊號,其中,上述第二影像訊號可為未經影像處理模組後製處理的原始影像,或經過影像處理模組後製處理的影像。
根據本發明內容,感應器模組更包含焦距調整單元,以調整上述第一鏡頭與第二鏡頭的焦距,其中,上述第一鏡頭與第二鏡頭可調整的焦距範圍,可為相等或不相等。
根據本發明內容,感應器模組更包含感應器單元,耦接控制模組,該感應器單元可為但不限於高感度麥克風、紅外線感應器、行車雷達,或以上的組合,以擷取周遭環境的聲音訊號、紅外線影像訊號,雷達訊號。
此外,在本發明內容中,車載視覺輔助系統更包含環境分析模組,透過影像處理模組所饋入的第一影像訊號,或外部資訊模組饋入的第二後方環境訊號或第二影像訊號,產生一車況與路況的分析資訊,並將分析資訊透過顯示模組顯示予駕駛人。
根據本發明內容,上述環境分析模組包含目標標記單元,以將行駛道路上的目標,如行人、汽車、機車、障礙物進行標記,並由影像處理模組將上述標記經數位編碼於第一影像訊號或第二影像訊號,並透過顯示模組顯示予駕駛人。
根據本發明內容,上述環境分析模組包含測距單元,透過感應器模組所含的第一鏡頭與第二鏡頭,進行上述由目標標記單元所標記的目標,如行人、車輛、障礙物進行測距。
根據本發明內容,上述環境分析模組包含目標分析單元,根據目標標記單元所標記的目標,與測距單元所獲得目標的運動參數,計算目標的運動軌跡。
以上所述係用以說明本發明之目的、技術手段以及其可達成之功效,相關領域內熟悉此技術之人可以經由以下實施例之示範與伴隨之圖式說明及申請專利範圍更清楚明瞭本發明。
200‧‧‧車載視覺輔助系統
201‧‧‧控制模組
203‧‧‧感應器模組
203G‧‧‧第一鏡頭
203E‧‧‧第二鏡頭
203A‧‧‧焦距調整單元
203C‧‧‧感應器單元
205‧‧‧影像處理模組
207‧‧‧環境分析模組
207A‧‧‧評估單元
207E‧‧‧目標標記單元
207G‧‧‧測距單元
207I‧‧‧目標分析單元
209‧‧‧顯示模組
211‧‧‧外部資訊模組
500‧‧‧基座
600‧‧‧汽車
如下所述之對本發明的詳細描述與實施例之示意圖,應使本發明更被充分地理解;然而,應可理解此僅限於作為理解本發明應用之參考,而非限制本發明於一特定實施例之中。
圖1A係說明複數個攝影鏡頭具有在測量物距與物體於空間中的位置的把握較為精準的物理特性。
圖1B係說明單一攝影鏡頭在測量物距與物體於空間中的位置的把握較為困難的物理特性。
圖2顯示本發明的系統架構。
圖3進一步說明本發明的感應器模組的系統架構。
圖4進一步說明本發明的環境分析模組的系統架構。
圖5顯示於本發明其中一實施例中複數個鏡頭的外觀。
圖6顯示於本發明其中一實施例中複數個鏡頭於實際交通工具的架設位置。
本發明將以較佳之實施例及觀點加以詳細敘述。下列描述提供本發明特定的施行細節,俾使閱者徹底瞭解這些實施例之實行方式。然該領域之熟習技藝者須瞭解本發明亦可在不具備這些細節之條件下實行。此外,本發明亦可藉由其他具體實施例加以運用及實施,本說明書所闡述之各項細節亦可基於不同需求而應用,且在不悖離本發明之精神下進行各種不同的修飾或變更。本發明將以較佳實施例及觀點加以敘述,此類敘述係解釋本發明之結構,僅用以說明而非用以限制本發明之申請專利範圍。以下描述中使用之術語將以最廣義的合理方式解釋,即使其與本發明某特定實施例之細節描述一起使用。
本發明之目的,在於試圖改善習知電子後視鏡在僅有一個攝影鏡頭且無變焦機構,或為維持影像的景深而使進光量偏低的情況下,一則為採用焦距短的攝影鏡頭,視角較廣角,但物體的成像相對小不易觀察;一則為採用焦距長的攝影鏡頭,物體成像大,但視角較窄,可能造成視覺上的死角;同時因進光量不足,容易造成在夜間行車影像模糊不清;目標距離與駕駛人的行車距離因單顆攝影鏡頭難以把握;以及因上述缺點使得所得影像後製或分析時應用困難的缺失,其具體的技術提案內容,將詳如下述。
在本發明中所述的第一後方環境訊號與第二後方環境訊號,乃指與攝影鏡頭所搭配的感光元件,在各個像素點上所偵測到入射光的強度資訊,但尚未經過數位編碼處理;在本發明中所述的第一影像訊號與第二影像訊號, 則指將第一後方環境訊號與第二後方環境訊號經過數位編碼處理後,轉換為顯示模組(209)可顯示的影像。上述說明同樣僅用以說明而非限制本發明之技術提案,相關領域內熟知技術者當可經以下實施例、圖式,及申請專利範圍更清楚明瞭本發明內容。
有鑑於上述,請參閱圖2,本發明提出了一種車載視覺輔助系統(200),包含:控制模組(201),控制車載視覺輔助系統(200)的運作;感應器模組(203),耦接控制模組(201),偵測第一後方環境訊號;影像處理模組(205),耦接控制模組(201),將第一後方環境訊號轉換為第一影像訊號,其中,上述第一影像訊號可為未經影像處理模組(205)後製處理的原始影像,或經過影像處理模組(205)後製處理的影像;以及,顯示模組(209),耦接該影像處理模組(205),顯示第一影像訊號;其中,感應器模組(203)具有複數個攝影鏡頭,包含第一鏡頭(203G)及第二鏡頭(203E),接收由影像構成的第一後方環境訊號,上述第一鏡頭(203G)的視角為40°-85°,第二鏡頭(203E)的視角為80°-180°。其中,根據本發明之內容,上述之控制模組(201),通常包含處理器、記憶體、暫存記憶體、顯示裝置、有線或無線網路卡、作業系統及應用程式等等,上述之影像處理模組(205)為顯示晶片或顯示卡,並以通常已知方式相互連接,提供車載視覺輔助系統(200)之運作與管理協調等功能,基於以上係屬通常已知架構,故在此不贅述。
根據車載視覺輔助系統(200)之一較佳的實施例,由於包含至少兩個攝影鏡頭,即,第一鏡頭(203G)與第二鏡頭(203E),分別具有長焦距與短焦距,因此車載視覺輔助系統(200)無論對於遠處的目標與近處的目標、範圍廣的視角或範圍窄的視角,均可便利的在顯示模組(209)上切換,或是依照應用需要,如利用第二鏡頭(203E)較廣的視角,在狹窄巷弄、裝卸貨碼頭、車況複雜,偵測特定的目標(如行人),提高行車安全。此外,第一鏡頭(203G)之特點在於由於其本身焦距較長,因而景深較第二鏡頭(203E)為大,因此即便為求進光量大使影像清晰,而略為犧牲景深的深度(景深與進光量成n次方反比,n值大小端看攝影鏡頭之光學架構),依然能有效觀察遠方的目標,此特點對夜間或雨天行車,視線不清時幫助尤大,此外,在本發明一實施例中,第一鏡頭(203G)的焦距與傳統 的後視鏡範圍相同,故可縮短駕駛人適應車載視覺輔助系統(200)的時間。
根據本發明實施例,上述顯示模組(209)可為一傳統車艙內的後視鏡、車艙外的左右後視鏡顯示器,或為車艙內的任意數量顯示器。
請參閱圖5,其顯示了第一鏡頭(203G)與第二鏡頭(203E)一實施例的外觀,其分別被設置於一基座(500)的孔槽上,並請參閱圖6,該基座(500)被裝置於汽車(600)的尾部,以偵測車尾部的第一後方環境訊號,在本發明另一實施例中,基座(500)上的攝影鏡頭不限於兩個,當可依應用上的需要設置多個,並可為同種或多種視角與焦距的組合;此外,其設置亦不限於車尾部,亦可被設置於左右後視鏡,車頭部、車底部或車頂部之上。
此外,上述車載視覺輔助系統(200)包含外部資訊模組(211),耦接控制模組(201),傳輸第二後方環境訊號,影像處理模組(205)將第二後方環境訊號轉換為第二影像訊號,饋入顯示模組(209),顯示第二影像訊號。其中,上述第二影像訊號可為未經影像處理模組(205)處理的原始影像,或經過影像處理模組(205)處理後製影像,在本發明的一實施例中,亦可不經由影像處理模組(205)轉換,而直接由外部資訊模組(211)中輸入車載視覺輔助系統(200)。
在本發明一實施例中,外部資訊模組(211)為先進駕駛輔助系統(Advanced Driver Assistance Systems;ADAS),以為駕駛人提供車輛的工作情形與車外環境變化等相關資訊進行分析。舉例而言,ADAS包括盲點偵測系統(Blind Spot Detection System)、支持型停車輔助系統(Backup Parking Aid System)、後方碰撞警示系統(Rear Crash Collision Warning System)、前方碰種警示系統(Forward Collision Warning System)、車道偏離警示系統(Lane Departure Warning System)、緩解撞擊煞車系統(Collision Mitigation System)、適路性車燈系統(Adaptive Front-lighting System)、夜視系統(Night Vision System)、主動車距控制巡航系統(Adaptive Cruise Control System)、碰撞預防系統(Pre Crash System)與停車輔助系統(Parking Aid System)、行人偵測警示(Pedestrian Detection Warning System)、移動物偵測警示(Moving Object Detection System),或以上系統的任意組合,以達 到本發明中,容易將車載視覺輔助系統(200)和外部資訊模組(211)整合,進行後續的處理運用,以達到提高駕駛人態勢感知能力的目的。而在本發明之另一實施例中,上述先進駕駛輔助系統所包含的各個系統,亦可被儲存於環境分析模組(207),以根據實際之需要進行應用。
承上述,根據本發明之較佳的實施例中,第一鏡頭(203G)之視角為40°-85°,可提供景深深度較大的影像,有利於偵測較遠處的車況或路況,因此能應用於追蹤遠處的車輛,或是行車軌跡的變化,例如後方碰撞警示系統,或車道偏離警示系統;第二鏡頭(203E)之視角為80°-180°,可提供較為廣角的影像,有利於偵測車輛四周的環境,因此有較大的應用在於偵測接近車輛的行人或環境物體(如坑道、車輛旁邊的機車、腳踏車等等),例如行人偵測警示、移動物偵測警示。
此外,外部資訊模組(211)在本發明另一實施例中,亦可為一雲端伺服器中心(未顯示於圖),或其它同樣裝備有車載視覺輔助系統(200)的車輛,透過該外部資訊模組(211),將所獲得的第一後方環境訊號,轉換為第二後方環境訊號或第二影像訊號,即時傳輸予駕駛人所駕駛的汽車(600),使駕駛人可以預先得知行車道路上的危險,增加閃避危險的反應時間。
根據本發明內容,請參閱圖3,感應器模組(203)更包含焦距調整單元(203A),以調整攝影鏡頭的焦距,其中,上述第一鏡頭(203G)與第二鏡頭(203E)可調整的焦距範圍,以及攝影鏡頭的口徑,可為相等或不相等。根據本發明一實施例,若為焦距範圍相同,但攝影鏡頭口徑不同,則第一鏡頭(203G)可為一單純只感應進光強弱的黑白鏡頭,第二鏡頭(203E)可為一具備有拜耳濾鏡(Bayer Filter)的彩色鏡頭,如此配置的特點,在於觀察距離長但窄範圍視角時,第一鏡頭(203G)由於並未由拜耳鏡頭過濾紅(Red,R)、綠(Green,G)、藍(Blue,B)的顏色,因此在影像的細節呈現上較為細膩,而RGB的顏色資訊則由第二鏡頭(203E)提供,如此可使在觀察較遠目標時得到更清晰的影像,以更為有效的改善夜間行車或視線不清時車載視覺輔助系統(200)的效能。
根據本發明內容,感應器模組(203)更包含感應器單元(203C),耦接控制模組(201),該感應器單元(203C)可為但不限於高感度麥克風、紅外線感應器、行車雷達(如毫米波雷達或超聲波雷達),或以上的組合,以擷取周遭環境的聲音訊號、紅外線影像訊號,雷達訊號,使第一後方環境訊號包含第一鏡頭(203G)與第二鏡頭(203E)的影像與上述資料,並經過影像處理模組(205)處理為後製影像,或未經後製處理的原始影像,透過顯示模組(209)顯示予駕駛人,以強化第一鏡頭(203G)與第二鏡頭(203E)的影像資訊,以使本發明具有感應器融合(Sensor Fusion)的效能。所謂的感應器融合,為組合感應器單元(203C)中不同種類感應器的資訊,並且使用組合在一起的資訊來更加準確地感知周圍的環境。相對於獨立的感應器類型,其資訊的來源更完全面。例如,毫米波雷達因使用的波長較可見光長,因此在穿透雨、雪、濃霧、煙塵方面具有較大優勢,而第一鏡頭(203G)與第二鏡頭(203E),以可見光偵測的方式,則因波長較短,可提供較好的影像解析度,紅外線感應器則提供夜間的偵測等等。故,透過上述感應器類型偵測資訊的互相補充,可增加感應器模組(203)的應用範圍,使行車環境的判斷能較為客觀的量化,以盡可能減少傳統的駕駛人僅能依賴自身的經驗法則或直覺等較為不精確的判斷。在本發明之一較佳的實施例中,感應器單元(203C)中具有紅外線感應器,搭配複數個攝影鏡頭,其偵測效果亦優於習知技術中的複數個倒車雷達,亦能減少設置難度,而因第一鏡頭(203G)與第二鏡頭(203E)分別具備40°-85°與80°-180°的視角(亦即,分別具有局部影像較為清晰,以及較為廣角的視角),因此在偵測各類物件、障礙物、行人的效能上可取代習知技術中,僅具有單個或複數個倒車雷達的系統架構。
此外,在本發明內容中,車載視覺輔助系統(200)更包含環境分析模組(207),透過影像處理模組所饋入的第一影像訊號,或外部資訊模組(211)饋入的第二後方環境訊號或第二影像訊號,產生一車況與路況的分析資訊,並將分析資訊透過顯示模組(209)顯示予駕駛人。上述分析資訊,包含在顯示模組(209)上標記出對汽車(600)較高機率產生碰撞的行人、障礙物、其它車輛、路標、坑道等高危險目標的目標位置或目標輪廓,或標記出上述高危險目標的運動軌跡,以協助駕駛人得以閃避危險。
根據本發明內容,上述環境分析模組(207)包含目標標記單元(207E),以將行駛道路上的目標,如行人、車輛、障礙物進行標記。在本發明一實施例中,目標標記單元(207E)標記上述目標位置或目標輪廓的方法,可為主動輪廓模型演算法(Active Contour Model Algorithm),在該演算法中,透過影像切割的方式將欲辨識的目標輪廓從背景中切割出來並予以標記,其具體的方法為,將影像中的每一個像素點,透過測距單元(207G)求出相對於汽車(600)尾部的距離,轉換為一與距離和時間相關的向量場,將目標輪廓切割問題轉換為一求取能量函數最小值的問題。其原理為利用變分法(Calculus of Variations Method)計算能量函數最小值,當目標的輪廓曲線逐漸向目標輪廓的邊緣逼近時,能量函數的值為最小,最終切割出目標。該能量函數可以下述式子表示:Jtot(S(t))=Jint(S(t))+Jext(S(t))+Jcons(S(t));其中Jtot(S(t))為向量場的總能量函數;Jint(S(t))為影像隨距離與時間變化的能量函數;Jext(S(t))為輪廓曲線朝目標輪廓逼近的能量函數;Jcons(S(t))為可依辨識目標或應用設置的限制條件;S為位置;t為時間。當總能量函數的值為最小時,輪廓曲線將收斂在目標的最大梯度位置處,而目標的最大梯度位置一般在目標的邊緣處,此即標記出了目標輪廓,接著,由影像處理模組(205)將上述目標輪廓的標記,經數位編碼於第一影像訊號或第二影像訊號,透過顯示模組(209)顯示予駕駛人。本實施例中最大的特點,是在高雜訊的情況下(如進光量不足、攝影鏡頭髒汙破損、夜間或雨天行車),依然能得到連續、光滑清晰的目標輪廓。
根據本發明內容,上述環境分析模組(207)包含測距單元(207G),透過感應器模組(203)所含的第一鏡頭(203G)與第二鏡頭(203E),進行上述由目標標記單元(207E)所標記的目標,如行人、車輛、障礙物進行測距,以精準得到目標三維空間的距離、速度、加速度、角速度、角加速度等運動參數,增加車載視覺輔助系統(200)於狹窄巷弄、裝卸貨碼頭、車況複雜的使用環境下的可靠度。根據本發明之一觀點,當攝影鏡頭越多的時候,其測距精度與準度則越高,當可依應用的需要選擇合適的攝影鏡頭數量,但在本發明的較佳實施例中,當採用兩顆攝影鏡頭時,可在測量的精準度、車載視覺輔助系統(200)的製造成本,以及環境分析模組(207)的運算速度中,取得最佳的平衡。
根據本發明內容,上述環境分析模組(207)包含目標分析單元(207I),根據目標標記單元(207E)所標記的目標,與測距單元(207G)所獲得目標當前的運動參數,計算目標未來一段時間間隔內,可能的運動軌跡(如,未來0.25-3秒內,秒數可依照應用所需調整),並將上述目標的可能的運動軌跡在顯示模組(209)上顯示予駕駛人。
根據本發明一實施例,上述環境分析模組(207)包含一評估單元(207A),耦接目標標記單元(207E)、測距單元(207G)與目標預測單元(207I),以將目標輪廓、目標位置、目標距離,以及目標可能的運動軌跡,整合為一車況與路況的分析資訊。其中,在本發明的較佳實施例中,評估單元(207A)透過上述的目標輪廓、目標距離、目標位置,以及目標可能的運動軌跡,計算出道路上複數個目標對汽車(600)發生危險的機率,並依照機率的高低,由高到低排出順序,當該機率大於一預設值時,根據複數個目標可能的運動軌跡,計算出一最佳化的閃避軌跡,並透過顯示模組(209),顯示予駕駛人參考,上述分析資訊,亦可為來自外部資訊模組(211)所傳輸的第二後方環境訊號。
以上敘述係為本發明之較佳實施例。此領域之技藝者應得以領會其係用以說明本發明而非用以限定本發明所主張之專利權利範圍。其專利保護範圍當視後附之申請專利範圍及其等同領域而定。凡熟悉此領域之技藝者,在不脫離本專利精神或範圍內,所作之更動或潤飾,均屬於本發明所揭示精神下所完成之等效改變或設計,且應包含在下述之申請專利範圍內。
200‧‧‧車載視覺輔助系統
201‧‧‧控制模組
203‧‧‧感應器模組
205‧‧‧影像處理模組
207‧‧‧環境分析模組
209‧‧‧顯示模組
211‧‧‧外部資訊模組

Claims (11)

  1. 一種車載視覺輔助系統,包含:一控制模組,控制該車載視覺輔助系統的運作;一感應器模組,偵測一第一後方環境訊號;一影像處理模組,耦接該控制模組與該感應器模組,將該第一後方環境訊號轉換為一第一影像訊號;一顯示模組,耦接該影像處理模組,顯示該第一影像訊號;其中,該感應器模組包含複數個攝影鏡頭,該複數個攝影鏡頭中的一第一鏡頭的視角之範圍為40°-85°,一第二鏡頭,其視角之範圍為80°-180°;以及,一外部資訊模組,傳輸一第二影像訊號予該顯示模組,其中,該第二影像訊號的來源,可為先進駕駛輔助系統。
  2. 如請求項1所述之車載視覺輔助系統,其中該感應器模組包含一第二鏡頭,該第二鏡頭的的視角之範圍為80°-180°。
  3. 如請求項1所述之車載視覺輔助系統,該感應器模組更包含一焦距調整單元,以調整該複數個攝影鏡頭的焦距,其中,該焦距調整單元可調整的焦距範圍,可為相等或不相等。
  4. 如請求項1所述之車載視覺輔助系統,該感應器模組更包含一感應器單元,耦接該控制模組,該感應器單元可為但不限於高感度麥克風、紅外線感應器、行車雷達,或以上的組合。
  5. 如請求項1所述之車載視覺輔助系統,更包含一外部資訊模組,耦接該控制模組,傳輸一第二後方環境訊號,或一第二影像訊號。
  6. 如請求項1所述之車載視覺輔助系統,更包含一環境分析模組,透過該影像處理模組所饋入的該第一後方環境訊號,或一外部資訊模組饋入的一第二後方環境訊號,產生一分析資訊,並透過該顯示模組顯示。
  7. 如請求項6所述之車載視覺輔助系統,該環境分析模組根據該分析資訊,其中,該分析資訊包含目標距離、目標位置,與目標可能的運動軌跡,計算出道路上目標對汽車發生危險的一機率,當該機率大於一預設值時,根據該分析資訊,計算出最佳化的一閃避軌跡,顯示予駕駛人參考。
  8. 如請求項6所述之車載視覺輔助系統,該環境分析模組包含一目標標記單元,以標記行駛道路上的目標,如行人、車輛、障礙物,或以上之組合。
  9. 如請求項8所述之車載視覺輔助系統,該環境分析模組包含一測距單元,透過該複數個攝影鏡頭,對目標標記單元所標記的目標進行測距,以得到目標的距離、速度、加速度、角速度、角加速度等運動參數。
  10. 如請求項9所述之車載視覺輔助系統,該環境分析模組包含一目標分析單元,根據該目標標記單元所標記的目標,與該測距單元所獲得目標當前的運動參數,計算目標未來一段時間間隔內,可能的運動軌跡。
  11. 如請求項10所述之車載視覺輔助系統,該環境分析模組包含一評估單元, 耦接目標標記單元、測距單元與目標預測單元,將目標輪廓、目標位置、目標距離,以及目標可能的運動軌跡,整合成該分析資訊。
TW107140259A 2018-11-13 2018-11-13 車載視覺輔助系統 TWI699999B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW107140259A TWI699999B (zh) 2018-11-13 2018-11-13 車載視覺輔助系統
CN201811474846.3A CN111169380A (zh) 2018-11-13 2018-12-04 一种车载视觉辅助系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107140259A TWI699999B (zh) 2018-11-13 2018-11-13 車載視覺輔助系統

Publications (2)

Publication Number Publication Date
TW202019152A TW202019152A (zh) 2020-05-16
TWI699999B true TWI699999B (zh) 2020-07-21

Family

ID=70646183

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107140259A TWI699999B (zh) 2018-11-13 2018-11-13 車載視覺輔助系統

Country Status (2)

Country Link
CN (1) CN111169380A (zh)
TW (1) TWI699999B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101665099A (zh) * 2008-09-05 2010-03-10 鸿富锦精密工业(深圳)有限公司 倒车摄影系统
TW201221390A (en) * 2010-11-18 2012-06-01 Yu-Ta Kan Real-time imaging system and method for vehicle rear viewing
TWM543803U (zh) * 2017-03-03 2017-06-21 Yu-Ming Lo 載具攝像裝置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4420011B2 (ja) * 2006-11-16 2010-02-24 株式会社日立製作所 物体検知装置
CN102685516A (zh) * 2011-03-07 2012-09-19 李慧盈 立体视觉主动安全辅助驾驶方法
CN102795174A (zh) * 2012-08-29 2012-11-28 深圳市航盛电子股份有限公司 车载倒车模拟系统
CN204119394U (zh) * 2014-10-17 2015-01-21 华创车电技术中心股份有限公司 具有切换比例功能的环景影像装置
KR102384175B1 (ko) * 2015-07-29 2022-04-08 주식회사 만도모빌리티솔루션즈 차량의 카메라 장치
CN108297793A (zh) * 2017-12-21 2018-07-20 成都钰月科技有限责任公司 3d车辆视觉侦测系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101665099A (zh) * 2008-09-05 2010-03-10 鸿富锦精密工业(深圳)有限公司 倒车摄影系统
TW201221390A (en) * 2010-11-18 2012-06-01 Yu-Ta Kan Real-time imaging system and method for vehicle rear viewing
TWM543803U (zh) * 2017-03-03 2017-06-21 Yu-Ming Lo 載具攝像裝置

Also Published As

Publication number Publication date
TW202019152A (zh) 2020-05-16
CN111169380A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
US10331963B2 (en) Camera apparatus and in-vehicle system capturing images for vehicle tasks
EP1961613B1 (en) Driving support method and driving support device
KR100414708B1 (ko) 화상합성장치 및 방법
US8089512B2 (en) Driving support device, driving support method and computer program
KR101030763B1 (ko) 이미지 획득 유닛, 방법 및 연관된 제어 유닛
EP1264734B1 (en) Vehicle surroundings monitoring apparatus
RU2702992C1 (ru) Система замещения зеркал и система помощи водителю
JP6307895B2 (ja) 車両用周辺監視装置
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
WO2018030319A1 (ja) 測距システム、および、移動体システム
CN104802710B (zh) 一种智能汽车倒车辅助系统及辅助方法
JP7163748B2 (ja) 車両用表示制御装置
US10750085B2 (en) Camera device for capturing a surrounding area of a driver's own vehicle and method for providing a driver assistance function
US20170061593A1 (en) System And Method For Visibility Enhancement
TWI585723B (zh) 車輛監控系統及其方法
US20090153662A1 (en) Night vision system for recording and displaying a surrounding area
JP5951785B2 (ja) 画像処理装置及び車両前方監視装置
WO2022062000A1 (zh) 一种基于透明a柱的辅助驾驶方法
JP4848644B2 (ja) 障害物認識システム
WO2020083318A1 (zh) 平视显示系统、显示方法和汽车
TWI699999B (zh) 車載視覺輔助系統
KR102552490B1 (ko) 차량용 영상 처리 장치 및 방법
KR20160050650A (ko) 차량용 보행자 알림시스템
KR101679017B1 (ko) Hud에서 가상이미지를 생성하는 장치 및 방법
JPWO2020031660A1 (ja) 車載カメラ、及びこれを用いた駆動制御システム