TWI600559B - 用於影像處理之系統及方法 - Google Patents
用於影像處理之系統及方法 Download PDFInfo
- Publication number
- TWI600559B TWI600559B TW105126779A TW105126779A TWI600559B TW I600559 B TWI600559 B TW I600559B TW 105126779 A TW105126779 A TW 105126779A TW 105126779 A TW105126779 A TW 105126779A TW I600559 B TWI600559 B TW I600559B
- Authority
- TW
- Taiwan
- Prior art keywords
- vehicle
- image
- image data
- processing circuit
- surrounding environment
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims description 66
- 238000000034 method Methods 0.000 title claims description 17
- 239000000872 buffer Substances 0.000 claims description 55
- 230000015654 memory Effects 0.000 claims description 50
- 238000003384 imaging method Methods 0.000 claims description 23
- 230000003111 delayed effect Effects 0.000 claims description 13
- 239000002131 composite material Substances 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000000903 blocking effect Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 4
- 238000012546 transfer Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 240000001307 Myosotis scorpioides Species 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
- B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Description
本發明係關於一種影像系統,特別是關於一種用於汽車車輛的影像系統。
一般車輛如汽車、卡車、或其他馬達驅動車輛,經常裝設擷取周圍環境影像或視訊的一或多個攝影機。舉例來說,後視攝影機可被安裝在汽車的後方,用來擷取汽車後方的環境的視訊。當汽車在倒退駕駛模式時,可對駕駛者或乘客顯示被擷取的視訊(例如,在中央操控顯示器)。這類的影像系統有助於輔助駕駛者操駕車輛,以增進車輛之安全性。舉例來說,來自後視攝影機所顯示的視訊影像數據,可幫助使用者識別以其他方式難以可視地識別(例如,通過車輛的後擋風玻璃、後視鏡或側後視鏡)行車路徑上的障礙物。
一般車輛亦或可裝設額外的攝影機於車輛各個位置。舉例來說,攝影機可安裝在車輛的前、側及後面,擷取周圍環境的各個區域的影像。然而,增加額外的攝影機可能所費不貲,且於各車輛裝設足夠數量的攝影機以擷取整體車輛周圍環境,可能是不切實際或造成成本過高。
本發明之影像系統可包含一或多個影像感測器,以擷取視訊數據(例如,即時連續的影像數據幀(frame))。此影像系統可為車載系統,其影像感測器可從車輛的周圍環境擷取影像。影像感測器可安裝在車輛的各個位置,如在前側與後側以及左側與右側相對設置。舉例來說,左影像感測器及右影像感測器可安裝在車輛的車側後視鏡。此影像系統可包含處理電路,從影像感測器接收影像數據幀並加以處理,以產生描繪車輛的周圍環境中被遮蔽部分的影像數據。舉例來說,車輛底盤或其他部分,可能遮蔽一或多個影像感測器的部分視野,此時處理電路在車輛的移動期間,可藉由結合來自感測器的時間延遲影像數據與當前影像數據,來產生前述描繪車輛的周圍環境及被遮蔽部分的影像數據。在本文中,產生的影像數據有時可被稱作為遮蔽補償影像,因為影像已經被處理,以補償影像感測器被障礙物擋住的視野。視需求,處理電路可在所擷取的影像數據上執行額外的影像處理,如對共同視角(common perspective)的座標轉換及透鏡失真校正。
本發明之處理電路,可基於車輛的移動,識別部分被擋住的目前車輛周圍環境,及識別可用來描繪車輛被擋住部分的先前擷取的影像數據。本發明之處理電路可利用由車載行車電腦所取得的行車數據,如車輛速度、轉向角、檔位模式及軸距長度等,以識別車輛的移動,並判定先前擷取的影像數據的哪部分,可以用來描繪車輛目前的周圍環境中被擋住的部分。
本發明的進一步特徵、其性質及各種優點,由所附的圖式及以下的較佳實施例的詳細描述後,將更加容易理解。
100、602、604、611‧‧‧影像
102、108、302、304、606、608、612‧‧‧區域
104、106、614‧‧‧影像部分
202、π‧‧‧平面
204‧‧‧向量
T、T-10、T-20、t-5n、t-4n、t-3n、t-2n、t-n、t‧‧‧時間
610‧‧‧影像緩衝記憶體部分
700‧‧‧流程圖
702、704、706、708、710、712、714、716‧‧‧步驟
1022‧‧‧影像緩衝記憶體
900‧‧‧車輛
904‧‧‧後攝影機
906‧‧‧前攝影機
908‧‧‧右攝影機
1000‧‧‧影像處理系統
1020‧‧‧處理電路
1040‧‧‧攝影機
1060‧‧‧影像感測器
1080‧‧‧鏡頭
1100‧‧‧車輛控制系統
1120、1160‧‧‧通訊路徑
1180‧‧‧顯示器
1300‧‧‧顯示緩衝記憶體
1302、1304‧‧‧顯示緩衝部分
1312‧‧‧路徑
1314‧‧‧位置
X1、Xπ‧‧‧點
V‧‧‧速度
L‧‧‧軸距長度
Φ‧‧‧轉向角
△yi‧‧‧移動
rxi、Lxi‧‧‧距離
第1圖為根據本發明實施例的所顯示的遮蔽補償影像的示意圖。
第2圖為根據本發明的實施例描繪之可用以結合不同透視視角的複數個攝影機影像的影像座標轉換示意圖。
第3圖為根據本發明的實施例繪示之周圍環境的攝影機被遮住的區域,如何可以基於轉向角及車輛速度資訊的時間延遲資訊而更新的示意圖。
第4圖為根據本發明的實施例繪示之在顯示車輛周圍環境的遮蔽補償影像中,影像緩衝記憶體如何可以結合當前及時間延遲影像數據來更新的示意圖。
第5圖為根據本發明的實施例繪示之顯示遮蔽補償影像的步驟的流程圖。
第6圖為根據本發明的實施例的具有擷取可結合以產生遮蔽補償視訊影像數據的影像數據的複數個攝影機的汽車車輛的示意圖。
第7圖為根據本發明實施例可用來處理攝影機影像數據以產生遮蔽補償視訊影像數據的示意影像系統的方塊圖。
第8圖為根據本發明實施例描繪在顯示車輛周圍環境的遮蔽補償影像中,複數個緩衝記憶體如何可連續更新以儲存目前及時間延遲攝影機影像數據的示意圖。
本發明係關於一種影像系統,且特別是關於一種藉由儲存及結合時間延遲影像數據與當前影像數據,而對攝影機視野被遮蔽部分作視覺補償的
影像系統。在本文中,補償攝影機遮蔽的影像系統將與汽車車輛一同描述,但這些實施例僅是示例性的。一般來說,此遮蔽補償方法及系統可實施於任何所需的影像系統,以顯示從攝影機視野中被遮住部分的環境影像。
第1圖係繪示使用時間延遲影像數據來產生遮蔽補償影像100的示意圖。在第1圖的實例中,影像100可由安裝在車輛各個位置的複數個攝影機的視訊影像數據所產生。舉例來說,攝影機可安裝在車輛的前、後及/或側面。影像100可包含第一影像部分104及第二影像部分106,各自由不同視角描繪周圍的環境。第一影像部分104可反映車輛的前透視圖及其周圍環境,而第二影像部分106可描繪由上往下的視圖(有時稱作為鳥瞰視圖,因為第二影像部分106看起來為從車輛上方的制高點所擷取)。
第一影像部分104及第二影像部分106可包含攝影機視野被遮蔽的周圍環境部分的遮蔽區域102。具體而言,車輛可包含車架或底盤,以支承各種組件及零件(例如,用於馬達、車輪、座椅等的支撐)。攝影機可直接或間接地安裝在車輛底盤,且底盤本身可能遮蔽攝影機對車輛周圍環境的部分視野。遮蔽區域102對應於在攝影機視野中被遮住的車輛底盤下方的部分,而其他區域108對應未被遮住的周圍環境。在第1圖的實例中,車輛在道路上移動,而遮蔽區域102顯示目前在車輛底盤下方的道路,此即安裝在車輛的前、側及/或後面的攝影機的視野中被遮住的部分。在遮蔽區域102中的影像數據,可使用從車輛攝影機接收的時間延遲影像數據來產生,而其他區域108中之影像數據,可使用來自車輛攝影機的當前影像數據來產生(例如,因其對應部分的周圍環境並未從攝影機的視野中被車輛底盤遮住)。
連續的影像100(例如,在連續時間產生的影像)可形成影像串流,有時稱作為視訊流或視訊數據。第1圖中,由第一影像部分104及第二影像部分106構成影像100的實例僅是示意性的。影像100可由來自攝影機的影像數據產生的前透視圖(例如,第一影像部分104)、鳥瞰視圖(例如,第二影像部分106)或任何所需的車輛的周圍環境的視圖的一或多個影像部分所構成。
安裝在車輛的攝影機,各自具有周圍環境的不同視野。有時可能需要將來自各攝影機的影像數據轉換為共同視角。舉例來說,來自複數個攝影機的影像數據,可各自被轉換為第一影像部分104的前透視圖及/或第二影像部分106的鳥瞰透視圖。第2圖繪示在第一平面202中的給定攝影機的影像數據,如何可被轉換為由正交的X、Y及Z軸所定義的期望座標平面π。作為實例,座標平面π可為延伸在汽車車輪下的地平面。從一個座標平面(例如,藉由攝影機所擷取的平面)至另一座標平面的影像數據的轉換,有時可被稱作為座標轉換或投影轉換。
如在第2圖中所示,藉由攝影機所擷取的影像,可包含在座標系中,如在攝影機平面202中沿著向量204的點X1的影像數據(例如,像素)。向量204延伸在平面202中的點X1與在目標平面π中的對應點Xπ之間。舉例來說,既然向量204被繪製於攝影機的平面202上的點與地平面的平面π之間,所以向量204可表示攝影機被安裝在車子上且朝向地面的角度。
在座標平面202上藉由攝影機所擷取的影像數據,可根據矩陣公式Xπ=H * X1而轉換(例如,投影)至座標平面π上。矩陣「H」可通過對於攝影機的校正程序來計算及決定。舉例來說,攝影機可安裝在車輛上的所需位置,且校正影像可用以產生已知環境的影像。在這種情況下,可以獲得複數對在平
面202及平面π中的對應點(例如,點X1及點Xπ可構成一對),而「H」可基於已知的點來計算。
作為實例,點X1可藉由平面202的座標系統而被定義為X1=(x i ,y i ,ω i ),而點Xπ可藉由平面π的座標系統而被定義為Xπ=(,,)。在這種情況下,矩陣「H」可被定義為如在方程式1中所示,點X1與點Xπ之間的關係可被定義為如在方程式2中所示。
安裝在車輛的各攝影機,可藉由計算攝影機安裝平面的座標轉換為期望座標平面的各個矩陣「H」,而校正轉換至所需座標平面上。舉例來說,在攝影機被安裝在車輛的前、後及側面的情況中,各攝影機可根據預先決定的各個轉換矩陣而加以校正,再藉由該等轉換矩陣將該攝影機所擷取的影像數據轉換為在共享的、共同的影像平面上的投影影像資料(例如,如第1圖的第二影像部分106所示的來自鳥瞰透視角的地面影像平面,或如第1圖的第一影像部分104所示之前透視圖的共同平面)。在顯示操作期間,來自各攝影機的影像數據可使用計算出的矩陣加以轉換後相結合,成為從期望之視角顯示周圍環境的影像。
時間延遲影像數據可基於行車數據來識別。行車數據可藉由控制及/或監測系統(例如,經通訊路徑如控制器區域網路匯流排,controller area
network bus,CAN bus)來提供。第3圖繪示未來車輛位置如何可基於包含轉向角Φ(例如,平均前輪角度)、車輛速度V及軸距長度L(亦即,在前及後輪之間的長度)的目前車輛數據而被計算的示意圖。未來車輛位置可用以識別目前擷取的影像數據的哪個部分應該在未來時間被使用,以模擬周圍環境中被擋住部分的影像。
車輛的角速度可基於目前的車輛速度V、軸距長度L及轉向角Φ(例如,如在方程式3中所示)來計算。
對於各位置,對應的未來位置可基於預測移動量△yi來計算。預測移動量△yi可基於距車輛的旋轉半徑的中心的位置的X軸距離rxi及Y軸距離Lxi以及車輛角速度來計算(例如,根據方程式4)。對於攝影機視野被遮住的區域304內的各位置,預測移動量可用以決定預測的未來位置是否落在車輛周圍環境的目前可見區域(例如,區域302)內。如果預測的位置是位於目前可見區域內,則目前影像數據在車輛移動至預測位置時,可模擬車輛周圍環境中被遮蔽區域的影像。
第4圖繪示原始攝影機影像數據如何被座標轉換及與時間延遲影像數據結合以顯示車輛周圍環境的示意圖。
在初始時間T-20,複數個攝影機可擷取且提供車輛的周圍環境的原始影像數據。原始影像602之數據幀可藉由例如安裝在車輛的前面的第一攝影
機而擷取,而額外的原始影像數據幀可藉由安裝在車輛的左側、右側及後面的攝影機(為了清楚從第4圖部分簡化)來擷取。各原始影像數據幀包含配置在水平列及垂直行的影像像素。
影像系統可處理來自各攝影機的原始影像數據幀,以將影像數據座標轉換為共同視角。在第4圖的實例中,來自各前、左、右及後面的攝影機的影像數據幀可從該攝影機的視角被座標轉換為共用鳥瞰、俯視視角(例如,如搭配第2圖的描述)。來自攝影機且經座標轉換的影像數據可互相組合,以形成車輛的周圍環境的目前即時取景的影像604。舉例來說,區域606可對應於從前方攝影機觀看及擷取為原始影像602的周圍環境區域,而其他區域可藉由其他攝影機來擷取並組合為影像604。俯視視角的影像604亦可被儲存在影像緩衝記憶體中。視需求,亦可執行額外的影像處理,如執行透鏡失真處理以校正攝影機聚焦透鏡的影像失真。
在一些情況下,安裝在車輛的攝影機的視角可重疊(例如,前及側面攝影機的視野可在區域606的邊界重疊)。視需求,影像系統可結合來自不同的攝影機的重疊影像數據,其可有助於增進在重疊區域的影像品質。
如在第4圖中所示,區域608可反映周圍環境的被遮住部分。舉例來說,區域608可對應於攝影機的視野中,被車輛底盤或車輛的其他部分所遮住之下方道路。被遮住的區域可基於安裝位置及車輛的實體參數(例如,車輛車架的尺寸及形狀)來判定。影像系統可將時間延遲影像數據保留在一部分的影像緩衝記憶體中,或是以獨立的影像緩衝記憶體保存與被遮住區域相對應的影像數據。在初始時間T-20,可能尚未有影像數據可保存,且影像緩衝記憶體部分610
可能是空的或充滿初始化數據。影像系統可顯示組合的目前攝影機影像數據與延遲影像緩衝數據,而成為組合影像611。
在隨後的時間T-10,車輛相對於時間T-20可能已經移動了。攝影機可在新的環境位置擷取不同的影像(例如,在時間T-10的原始影像602可能與在時間T-20的原始影像602不同),且因此俯視影像604反映車輛自時間T-20已經移動。基於車輛數據,如車輛速度、轉向角及軸距長度,影像處理系統可判定在時間T-20於可見區域606,但現在卻被車輛底盤遮住(例如,由於車輛在時間T-20與時間T-10之間的移動)之部分。影像處理系統可將所識別的影像數據,從先前的可見區域606轉移至影像緩衝記憶體部分610的對應區域612。所顯示的影像611包含在區域612中所轉移的影像數據,其作為現在從攝影機視野被遮住部分的車輛的周圍環境的時間延遲模擬影像。
在時間T-10,因為車輛還沒有移動足夠距離,部分區域尚不足以先前可見的周圍環境影像進行模擬,所以影像部分614對應之影像緩衝數據維持為空白的或以初始化數據填滿。在隨後的時間T,車輛可能已經充分地移動,使得基本上所有被遮住的周圍環境,可以從先前可見的周圍環境所擷取的時間延遲影像數據來模擬。
在第4圖的實例中,車輛在時間T-20與時間T-10之間向前移動,而時間延遲影像緩衝記憶體儲存了前方車輛攝影機來擷取的影像,這個實例僅是示意性的。車輛可以往任何期望方向移動,而時間延遲影像緩衝記憶體可以藉由任何安裝在車輛的合適攝影機(例如,前、後或側面攝影機)來擷取的影像數據來更新。一般來說,在任何給定時間中所有或部分來自攝影機的結合影像(例
如,俯視影像604)可儲存並顯示,而作為未來車輛周圍環境的時間延遲的模擬影像。
第5圖為描繪在儲存及顯示時間延遲影像數據,以模擬目前的車輛周圍環境中可藉由影像處理系統來執行的步驟的流程圖700。
在步驟702期間,影像處理系統可以用於儲存車輛攝影機的影像數據的適當大小來初始化影像緩衝記憶體。舉例來說,系統可基於期望或支援的最大車輛速度來決定影像緩衝記憶體大小(例如,較大的影像緩衝記憶體大小對較高之最大車輛速度,而較小的影像緩衝記憶體大小對較低之最大車輛速度)。
在步驟704期間,影像處理系統可接收新的影像數據。影像數據可從一或多個車輛攝影機來接收,且可反映目前的車輛環境。
在步驟706期間,影像處理系統可將影像數據從攝影機的視角轉換為所要的共同視角。舉例來說,可執行第2圖的座標轉換,以針對車輛及其周圍環境的期望視圖,而將從特定攝影機所接收的影像數據,投影至期望座標平面(例如,透視圖、俯視圖或任何其他期望視圖)。
在步驟708期間,影像處理系統可接收車輛數據,如車輛速度、轉向角、檔位位置及其他車輛數據,藉以識別車輛的移動及在影像數據中的對應偏移(shift)。
在隨後的步驟710期間,影像處理系統可基於所接收的影像數據來更新影像緩衝記憶體。舉例來說,影像處理系統可能已經分配部分的影像緩衝記憶體,如第4圖的區域608,來表示周圍環境的被遮住區域。在這種情況下,影像處理系統可處理車輛數據,以判定先前擷取的影像數據(例如,藉由攝影機來擷取且在目前迭代步驟704之前接收的影像數據)的哪個部分,應該被轉移或複
製到區域608。舉例來說,影像處理系統可處理車輛速度、轉向角及軸距長度,以識別哪個來自第4圖的區域606的影像數據應該被轉移到區域608的各部分。作為另一實例,影像處理系統可處理檔位資訊,如車輛是在前進檔位模式或倒退檔位模式,以判定是轉移從前方攝影機(例如,區域606)或從後方攝影機接收的影像數據。
在隨後的步驟712期間,影像處理系統可以用在步驟704期間從攝影機接收並在步驟706期間轉換的新的影像數據來更新影像緩衝記憶體。轉換的影像數據可儲存在表示周圍環境的可見部分的影像緩衝記憶體的區域中(例如,第4圖的影像604之緩衝部分)。
視需求,被遮蔽區的透視影像可在選擇性步驟714期間,與緩衝影像相疊加。舉例來說,如在第1圖中所示,車輛的透視影像可與模擬在車輛下面的道路的緩衝影像的部分來重疊(例如,使用時間延遲影像數據)。
藉由結合在步驟712期間的目前所擷取的影像數據,與在步驟710期間的先前所擷取的(例如,時間延遲)影像數據,在任何時間,儘管車輛底盤擋住攝影機視野的部分周圍環境,但影像處理系統可以藉由緩衝影像產生並維持合成影像以描繪車輛周圍環境。此過程可重複執行,以產生顯示周圍環境的視訊流,彷彿在攝影機視野並無遮蔽般。
在隨後的步驟716期間,影像處理系統可從影像緩衝記憶體取得合成影像數據並顯示合成影像。視需求,合成影像可與被遮蔽區的透視影像相疊加而一同來顯示,其可有助於通知使用者被遮蔽區的存在,且與被遮蔽區一同顯示的疊加資訊是時間延遲的。
在第5圖的實例中,車輛數據在步驟708期間所接收僅是示例性的。步驟708的操作可在任何合適的時間執行(例如,在步驟704、步驟706或步驟712之前或之後)。
第6圖繪示車輛900及安裝在車輛的攝影機(例如,在車輛車架或其他車輛部分)的示意圖。如在第6圖中所示,前攝影機906可被安裝在車輛的前側(例如,前表面),而後攝影機904可被安裝在車輛的相對後側。前攝影機906可被定向前面並擷取在車輛900的前面的周圍環境的影像,而後攝影機904可被定向並擷取靠近車輛後面的環境的影像。右攝影機908可被安裝在車輛的右側(例如,在右側的側視鏡)並擷取在車輛右側的環境的影像。同樣地,左攝影機可被安裝在車輛的左側(省略)。
第7圖繪示包含儲存及處理電路1020及一或多個攝影機(例如,攝影機1040及一或多個選擇性攝影機)的示意影像處理系統1000。各攝影機1040可包含擷取影像及/或視訊的影像感測器1060。舉例來說,影像感測器1060可包含光二極體(photodiodes)或其他感光(light-sensitive)元件。各攝影機1040可包含在各個影像感測器1060上從環境聚焦光的鏡頭1080。舉例來說,包含各自擷取光以產生影像數據的像素的水平及垂直列。來自像素的影像數據可結合以形成影像數據幀,而連續的影像數據幀可形成視訊數據。影像數據可經通訊路徑1120(例如,電纜或電線)被轉移至儲存及處理電路1020。
儲存及處理電路1020可包含處理電路,如一或多個通用處理器、如數位訊號處理器(DSPs)的專用處理器或其他數位處理電路。處理電路可接收且處理從攝影機1040接收的影像數據。舉例來說,處理電路可執行第5圖的步驟,以由目前及時間延遲影像數據產生合成的遮蔽補償影像。儲存電路可用來儲存
影像。舉例來說,處理電路可維持一或多個影像緩衝記憶體1022,以儲存所擷取及所處理的影像數據。處理電路可透過通訊路徑1160(例如,一或多個電纜,以利控制器區域網路匯流排的通訊匯流排實施於其上)與車輛控制系統1100通訊。處理電路可從車輛控制系統透過路徑1160要求且接收車輛數據,如車輛速度、轉向角及其他車輛數據。影像數據,如遮蔽補償視訊,可透過通訊路徑1200被提供至顯示器1180而加以顯示(例如,給使用者,如車輛的駕駛者或乘客)。舉例來說,儲存及處理電路1020可包含將顯示數據提供給顯示器1180的一或多個顯示緩衝記憶體(未示出)。在這種情況下,儲存及處理電路1020可在顯示操作期間,從部分的影像緩衝記憶體1022轉移要被顯示之影像數據至顯示緩衝記憶體。
第8圖為根據本發明的實施例描繪在顯示車輛周圍環境的遮蔽補償影像中,複數個緩衝記憶體如何可被連續更新以儲存目前及時間延遲攝影機影像數據的示意圖。在第8圖的實例中,影像緩衝記憶體被使用來在時間t、t-n、t-2n、t-3n、t-4n及t-5n(例如,其中n表示可基於車輛速度來決定的單位時間,以藉由影像系統來支持)連續地儲存所擷取的影像數據。
在顯示車輛周圍環境的遮蔽補償影像時,影像數據可從影像緩衝記憶體取得及結合,其可藉由減少模糊程度而有助於增進影像品質。使用的緩衝記憶體數量可基於車輛速度來決定(例如,為了較快的速度可使用較多的緩衝記憶體,而對於較慢的速度可使用較少的緩衝記憶體)。在第8圖的實例中,使用五個緩衝記憶體。
當車輛沿路徑1312移動時,影像緩衝記憶體連續地儲存所擷取的影像(例如,來自車輛上的影像感測器的結合及座標轉換影像)。對於在時間t之目前車輛位置1314,目前的車輛之周圍環境被遮住的部分可藉由結合部分在時
間t-5n、t-4n、t-3n、t-2n及t-n所擷取的影像來重建。對於被遮住的車輛之周圍環境的影像數據,可在顯示操作期間,從部分的複數個影像緩衝記憶體轉移至對應的部分的顯示緩衝記憶體1300。來自緩衝記憶體(t-5n)的影像數據可被轉移至顯示緩衝部分1302,來自緩衝記憶體(t-4n)的影像數據可被轉移至顯示部分1304等。所得到的結合影像,使用先前連續時間儲存在複數個影像緩衝記憶體中的時間延遲資訊,重建而模擬目前被遮住的車輛之周圍環境。
前述僅說明本發明的原則,且所屬技術領域中具有通常知識者在不脫離本發明的範疇及精神下可進行各種修改。前述實施例可單獨或以任何組合來實施。
100‧‧‧影像
102、108‧‧‧區域
104、106‧‧‧影像部分
Claims (20)
- 一種汽車影像系統,其包含:至少一影像感測器,係從一周圍環境擷取一視訊影像以產生連續的一影像數據幀,其中對於任一該影像數據幀,自該至少一影像感測器的視野遮住該周圍環境的一部分;以及一處理電路,係從該至少一影像感測器接收該影像數據幀,其中該處理電路處理連續的該影像數據幀,以產生描繪該周圍環境的被擋住部分的一影像數據;其中,一車輛之車架自該至少一影像感測器擋住該周圍環境的一部分,且其中該處理電路處理連續的該影像數據幀,以在該車輛的移動期間產生針對該周圍環境的被擋住部分之該影像數據。
- 如申請專利範圍第1項所述之汽車影像系統,其中該處理電路接收一車輛數據,且至少部分地基於所接收的該車輛數據而對該周圍環境的被擋住部分產生該影像數據。
- 如申請專利範圍第2項所述之汽車影像系統,其中該車輛數據包含識別一車輛轉向角的一轉向數據。
- 如申請專利範圍第3項所述之汽車影像系統,其中該車輛數據進一步包含一車輛速度數據。
- 如申請專利範圍第4項所述之汽車影像系統,其中該車輛數據識別目前之一車輛檔位模式。
- 如申請專利範圍第5項所述之汽車影像系統,其中該車輛數據進一步包含一車輛軸距長度。
- 如申請專利範圍第2項所述之汽車影像系統,其進一步包含:一影像緩衝記憶體,其中該處理電路將來自先前的該影像數據幀的一時間延遲影像數據儲存在該影像緩衝記憶體中以描繪被該車輛之車架在視野所擋住的該周圍環境的一部分。
- 如申請專利範圍第7項所述之汽車影像系統,其中該影像緩衝記憶體包含一第一緩衝記憶體部分及一第二緩衝記憶體部分,其中該處理電路將來自目前的該影像數據幀的該影像數據儲存在該第一緩衝記憶體部分,且其中該處理電路將來自先前的該影像數據幀的該時間延遲影像數據儲存在該第二緩衝記憶體部分中。
- 如申請專利範圍第8項所述之汽車影像系統,其進一步包含:一顯示器,其中該處理電路使用該顯示器從該第一緩衝記憶體部分及該第二緩衝記憶體部分顯示一合成影像。
- 如申請專利範圍第7項所述之汽車影像系統,其中該處理電路以該時間延遲影像數據重疊一透視影像至該車輛之車架處。
- 如申請專利範圍第2項所述之汽車影像系統,其中該至少一影像感測器安裝在一汽車車輛,且其中該處理電路基於該車輛數據來識別該汽車車輛的移動,且基於所識別的該汽車車輛的移動來識別來自先前所擷取的該影像數據幀對於該周圍環境的被擋住部分的該影像數據。
- 如申請專利範圍第11項所述之汽車影像系統,其中該汽車車輛具有一前表面、一後表面、一左表面及一右表面,且其中該至少一影像感測器包含安裝在該汽車車輛的該前表面的一前影像感測器、安裝在該汽車車輛的該後表面的一後影像感測器、 安裝在該汽車車輛的該左表面的一左影像感測器以及安裝在該汽車車輛的該右表面的一右影像感測器。
- 一種使用處理來自至少一影像感測器的影像的影像處理系統的方法,其中該至少一影像感測器安裝在一車輛並擷取該車輛周圍環境的該影像,該方法包含:藉由一處理電路,在一第一時間接收來自該至少一影像感測器的一第一影像數據幀;藉由該處理電路,在該第一時間後的一第二時間接收來自該至少一影像感測器的一第二影像數據幀;藉由該處理電路,識別該車輛的移動;以及藉由該處理電路,判定部分的該第一影像數據幀在該第二時間是否對應被從該至少一影像感測器的視野遮住的該車輛之該周圍環境的一部分。
- 如申請專利範圍第13項所述之方法,其進一步包含:藉由該處理電路,藉著結合該第二影像數據幀與對應該車輛之該周圍環境的被遮住部分的該第一影像數據幀的被識別部分來產生一合成影像;以及藉由一顯示器,顯示該合成影像作為描繪該車輛之該周圍環境的一視訊流的部分。
- 如申請專利範圍第14項所述之方法,其中產生該合成影像包含:在該第一影像數據幀上從一第一視角執行座標轉換至一第二視角。
- 如申請專利範圍第15項所述之方法,其中該至少一影像感測器包含位於該車輛之周遭不同位置的複數個影像感測器,且其中產生該合成影像包含:結合來自該複數個影像感測器的額外的影像數據幀與該第二影像數據幀及對應該車輛之該周圍環境的被遮住部分的該第一影像數據幀的被識別部分。
- 一種用於車輛之汽車影像處理系統,該汽車影像處理系統包含:至少一攝影機,係安裝在該車輛,其中該至少一攝影機擷取該車輛周圍環境的一視訊流,該視訊流係由連續的影像數據幀形成,而該影像數據幀係由一影像數據結合形成;以及一處理電路,係接收一車輛數據,且至少部分地基於所接收的該車輛數據而對該車輛之該周圍環境的被擋住部分產生該影像數據,且接收來自該至少一攝影機所擷取的該視訊流,且使用從所擷取的該視訊流獲得的一時間延遲影像數據修改所擷取的視訊以描繪該車輛之該周圍環境的被遮住部分。
- 如申請專利範圍第17項所述之汽車影像處理系統,其中該車輛具有相對的前側與後側及相對的左側與右側,且其中該至少一攝影機包含:一前攝影機,係擷取靠近該車輛的該前側的該車輛之該周圍環境的影像數據;一後攝影機,係擷取靠近該車輛的該後側的該車輛之該周圍環境的影像數據; 一左攝影機,係擷取靠近該車輛的該左側的該車輛之該周圍環境的影像數據;以及一右攝影機,係擷取靠近該車輛的該右側的該車輛之該周圍環境的影像數據。
- 如申請專利範圍第18項所述之汽車影像處理系統,其進一步包含:一顯示器,係顯示來自該處理電路的經修改之該視訊流。
- 如申請專利範圍第19項所述之汽車影像處理系統,其進一步包含:複數個影像緩衝記憶體,其中該處理電路將來自所擷取的該視訊的一連續視訊幀儲存在該複數個影像緩衝記憶體中,且其中該處理電路藉由結合來自該複數個影像緩衝記憶體的影像數據來獲得該時間延遲影像數據。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/935,437 US20170132476A1 (en) | 2015-11-08 | 2015-11-08 | Vehicle Imaging System |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201716267A TW201716267A (zh) | 2017-05-16 |
TWI600559B true TWI600559B (zh) | 2017-10-01 |
Family
ID=58663465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW105126779A TWI600559B (zh) | 2015-11-08 | 2016-08-22 | 用於影像處理之系統及方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20170132476A1 (zh) |
CN (1) | CN107021015B (zh) |
TW (1) | TWI600559B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI693578B (zh) * | 2018-10-24 | 2020-05-11 | 緯創資通股份有限公司 | 影像拼接處理方法以及其系統 |
CN111942288A (zh) * | 2019-05-14 | 2020-11-17 | 欧特明电子股份有限公司 | 车辆影像系统及使用车辆影像的车辆定位方法 |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102426631B1 (ko) * | 2015-03-16 | 2022-07-28 | 현대두산인프라코어 주식회사 | 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치 |
US10576892B2 (en) * | 2016-03-24 | 2020-03-03 | Ford Global Technologies, Llc | System and method for generating a hybrid camera view in a vehicle |
JP2017183914A (ja) * | 2016-03-29 | 2017-10-05 | パナソニックIpマネジメント株式会社 | 画像処理装置 |
WO2018009109A1 (en) * | 2016-07-07 | 2018-01-11 | Saab Ab | Displaying system and method for displaying a perspective view of the surrounding of an aircraft in an aircraft |
MX371375B (es) * | 2016-08-15 | 2020-01-28 | Trackmobile Llc | Asistencia visual para impulsor de vagon. |
US10678240B2 (en) * | 2016-09-08 | 2020-06-09 | Mentor Graphics Corporation | Sensor modification based on an annotated environmental model |
US10606767B2 (en) * | 2017-05-19 | 2020-03-31 | Samsung Electronics Co., Ltd. | Ethernet-attached SSD for automotive applications |
CN107274342A (zh) * | 2017-05-22 | 2017-10-20 | 纵目科技(上海)股份有限公司 | 一种车底盲区填充方法及系统、存储介质、终端设备 |
CN109532714B (zh) * | 2017-09-21 | 2020-10-23 | 比亚迪股份有限公司 | 获取车底图像的方法和系统以及车辆 |
US20190100106A1 (en) * | 2017-10-02 | 2019-04-04 | Hua-Chuang Automobile Information Technical Center Co., Ltd. | Driving around-view auxiliary device |
CN108312966A (zh) * | 2018-02-26 | 2018-07-24 | 江苏裕兰信息科技有限公司 | 一种包含汽车底部影像的全景环视系统及其实现方法 |
CN110246359A (zh) * | 2018-03-08 | 2019-09-17 | 比亚迪股份有限公司 | 用于定位车辆所在停车位的方法、车辆及系统 |
CN110246358A (zh) * | 2018-03-08 | 2019-09-17 | 比亚迪股份有限公司 | 用于定位车辆所在停车位的方法、车辆及系统 |
US11244175B2 (en) * | 2018-06-01 | 2022-02-08 | Qualcomm Incorporated | Techniques for sharing of sensor information |
EP3776485B1 (en) * | 2018-09-26 | 2022-01-26 | Coherent Logix, Inc. | Any world view generation |
JP7184591B2 (ja) * | 2018-10-15 | 2022-12-06 | 三菱重工業株式会社 | 車両用画像処理装置、車両用画像処理方法、プログラムおよび記憶媒体 |
US10694105B1 (en) * | 2018-12-24 | 2020-06-23 | Wipro Limited | Method and system for handling occluded regions in image frame to generate a surround view |
CN111836005A (zh) * | 2019-04-23 | 2020-10-27 | 东莞潜星电子科技有限公司 | 一种车载3d全景环视的行车路线显示系统 |
CN112215917A (zh) * | 2019-07-09 | 2021-01-12 | 杭州海康威视数字技术股份有限公司 | 车载全景图生成方法、装置及系统 |
CN112215747A (zh) * | 2019-07-12 | 2021-01-12 | 杭州海康威视数字技术股份有限公司 | 无车底盲区的车载全景图的生成方法、装置及存储介质 |
CN110458895B (zh) * | 2019-07-31 | 2020-12-25 | 腾讯科技(深圳)有限公司 | 图像坐标系的转换方法、装置、设备及存储介质 |
CN111086452B (zh) * | 2019-12-27 | 2021-08-06 | 合肥疆程技术有限公司 | 一种补偿车道线延迟的方法、装置及服务器 |
CN111402132B (zh) * | 2020-03-11 | 2024-02-02 | 黑芝麻智能科技(上海)有限公司 | 倒车辅助方法及系统、图像处理器及相应的辅助驾驶系统 |
TWI808321B (zh) * | 2020-05-06 | 2023-07-11 | 圓展科技股份有限公司 | 應用於畫面顯示的物件透明度改變方法及實物投影機 |
EP3979632A1 (en) * | 2020-10-05 | 2022-04-06 | Continental Automotive GmbH | Motor vehicle environment display system and method |
CN112373339A (zh) * | 2020-11-28 | 2021-02-19 | 湖南宇尚电力建设有限公司 | 一种防护性好的新能源汽车充电桩 |
US12054097B2 (en) * | 2020-12-15 | 2024-08-06 | Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America | Target identification for vehicle see-through applications |
WO2022204854A1 (zh) * | 2021-03-29 | 2022-10-06 | 华为技术有限公司 | 一种盲区图像获取方法及相关终端装置 |
CN113263978B (zh) * | 2021-05-17 | 2022-09-06 | 深圳市天双科技有限公司 | 一种车底透视的全景泊车系统及其方法 |
US20230061195A1 (en) * | 2021-08-27 | 2023-03-02 | Continental Automotive Systems, Inc. | Enhanced transparent trailer |
DE102021212154A1 (de) | 2021-10-27 | 2023-04-27 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Generieren einer Darstellung eines verdeckten Bereiches einer Umgebung einer mobilen Plattform |
DE102021132334A1 (de) * | 2021-12-08 | 2023-06-15 | Bayerische Motoren Werke Aktiengesellschaft | Abtasten eines Umfelds eines Fahrzeugs |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2909749Y (zh) * | 2006-01-12 | 2007-06-06 | 李万旺 | 汽车侧方的广角动态侦测系统 |
CN1984323A (zh) * | 2001-10-15 | 2007-06-20 | 松下电器产业株式会社 | 车辆周围监视系统及其方法 |
US20090113505A1 (en) * | 2007-10-26 | 2009-04-30 | At&T Bls Intellectual Property, Inc. | Systems, methods and computer products for multi-user access for integrated video |
CN101438590B (zh) * | 2006-05-09 | 2011-07-13 | 日产自动车株式会社 | 车辆周围图像提供装置和车辆周围图像提供方法 |
WO2012032412A2 (en) * | 2010-09-09 | 2012-03-15 | DigitalOptics Corporation Europe Limited | Stereoscopic (3d) panorama creation on handheld device |
CN101448099B (zh) * | 2008-12-26 | 2012-05-23 | 华为终端有限公司 | 一种多摄像头摄影方法和设备 |
US20130176436A1 (en) * | 2012-01-09 | 2013-07-11 | Altek Autotronics Corp. | Image Capturing Device Applied in Vehicle and Image Superimposition Method Thereof |
CN103530626A (zh) * | 2012-07-03 | 2014-01-22 | 财团法人车辆研究测试中心 | 自动校正鸟瞰影像方法 |
US20140245367A1 (en) * | 2012-08-10 | 2014-08-28 | Panasonic Corporation | Method for providing a video, transmitting device, and receiving device |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5867166A (en) * | 1995-08-04 | 1999-02-02 | Microsoft Corporation | Method and system for generating images using Gsprites |
EP1408693A1 (en) * | 1998-04-07 | 2004-04-14 | Matsushita Electric Industrial Co., Ltd. | On-vehicle image display apparatus, image transmission system, image transmission apparatus, and image capture apparatus |
US6200267B1 (en) * | 1998-05-13 | 2001-03-13 | Thomas Burke | High-speed ultrasound image improvement using an optical correlator |
CN100438623C (zh) * | 1999-04-16 | 2008-11-26 | 松下电器产业株式会社 | 图象处理装置及监视系统 |
JP4156214B2 (ja) * | 2001-06-13 | 2008-09-24 | 株式会社デンソー | 車両周辺画像処理装置及び記録媒体 |
CN1407509A (zh) * | 2001-09-04 | 2003-04-02 | 松下电器产业株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
DE60207655T2 (de) * | 2001-09-07 | 2006-06-08 | Matsushita Electric Industrial Co., Ltd., Kadoma | Vorrichtung zum Anzeigen der Umgebung eines Fahrzeuges und System zur Bildbereitstellung |
US7212653B2 (en) * | 2001-12-12 | 2007-05-01 | Kabushikikaisha Equos Research | Image processing system for vehicle |
US7119837B2 (en) * | 2002-06-28 | 2006-10-10 | Microsoft Corporation | Video processing system and method for automatic enhancement of digital video |
DE10241464A1 (de) * | 2002-09-06 | 2004-03-18 | Robert Bosch Gmbh | Vorrichtung zur Umfelderfassung eines Fahrzeugs |
US7868913B2 (en) * | 2003-10-10 | 2011-01-11 | Nissan Motor Co., Ltd. | Apparatus for converting images of vehicle surroundings |
JP2006047057A (ja) * | 2004-08-03 | 2006-02-16 | Fuji Heavy Ind Ltd | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 |
JP2006246307A (ja) * | 2005-03-07 | 2006-09-14 | Seiko Epson Corp | 画像データ処理装置 |
US20080211652A1 (en) * | 2007-03-02 | 2008-09-04 | Nanolumens Acquisition, Inc. | Dynamic Vehicle Display System |
US8199198B2 (en) * | 2007-07-18 | 2012-06-12 | Delphi Technologies, Inc. | Bright spot detection and classification method for a vehicular night-time video imaging system |
JP4595976B2 (ja) * | 2007-08-28 | 2010-12-08 | 株式会社デンソー | 映像処理装置及びカメラ |
US8791984B2 (en) * | 2007-11-16 | 2014-07-29 | Scallop Imaging, Llc | Digital security camera |
JP2009278465A (ja) * | 2008-05-15 | 2009-11-26 | Sony Corp | 記録制御装置、記録制御方法、プログラム、及び、記録装置 |
JP4770929B2 (ja) * | 2009-01-14 | 2011-09-14 | ソニー株式会社 | 撮像装置、撮像方法及び撮像プログラム。 |
EP2660104B1 (en) * | 2010-12-30 | 2015-09-23 | Wise Automotive Corporation | Apparatus and method for displaying a blind spot |
JP5699633B2 (ja) * | 2011-01-28 | 2015-04-15 | 株式会社リコー | 画像処理装置、画素補間方法およびプログラム |
US9007428B2 (en) * | 2011-06-01 | 2015-04-14 | Apple Inc. | Motion-based image stitching |
WO2012169352A1 (ja) * | 2011-06-07 | 2012-12-13 | 株式会社小松製作所 | 作業車両の周辺監視装置 |
US8786716B2 (en) * | 2011-08-15 | 2014-07-22 | Apple Inc. | Rolling shutter reduction based on motion sensors |
US9107012B2 (en) * | 2011-12-01 | 2015-08-11 | Elwha Llc | Vehicular threat detection based on audio signals |
JP5965708B2 (ja) * | 2012-04-19 | 2016-08-10 | オリンパス株式会社 | 無線通信装置、メモリ装置、無線通信システム、無線通信方法、およびプログラム |
US20140267727A1 (en) * | 2013-03-14 | 2014-09-18 | Honda Motor Co., Ltd. | Systems and methods for determining the field of view of a processed image based on vehicle information |
US9558421B2 (en) * | 2013-10-04 | 2017-01-31 | Reald Inc. | Image mastering systems and methods |
US9792709B1 (en) * | 2015-11-23 | 2017-10-17 | Gopro, Inc. | Apparatus and methods for image alignment |
-
2015
- 2015-11-08 US US14/935,437 patent/US20170132476A1/en not_active Abandoned
-
2016
- 2016-08-22 TW TW105126779A patent/TWI600559B/zh active
- 2016-10-26 CN CN201610946326.2A patent/CN107021015B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1984323A (zh) * | 2001-10-15 | 2007-06-20 | 松下电器产业株式会社 | 车辆周围监视系统及其方法 |
US7502048B2 (en) * | 2001-10-15 | 2009-03-10 | Panasonic Corporation | Method for arranging cameras in a vehicle surroundings monitoring system |
CN2909749Y (zh) * | 2006-01-12 | 2007-06-06 | 李万旺 | 汽车侧方的广角动态侦测系统 |
CN101438590B (zh) * | 2006-05-09 | 2011-07-13 | 日产自动车株式会社 | 车辆周围图像提供装置和车辆周围图像提供方法 |
US20090113505A1 (en) * | 2007-10-26 | 2009-04-30 | At&T Bls Intellectual Property, Inc. | Systems, methods and computer products for multi-user access for integrated video |
CN101448099B (zh) * | 2008-12-26 | 2012-05-23 | 华为终端有限公司 | 一种多摄像头摄影方法和设备 |
WO2012032412A2 (en) * | 2010-09-09 | 2012-03-15 | DigitalOptics Corporation Europe Limited | Stereoscopic (3d) panorama creation on handheld device |
US20130176436A1 (en) * | 2012-01-09 | 2013-07-11 | Altek Autotronics Corp. | Image Capturing Device Applied in Vehicle and Image Superimposition Method Thereof |
CN103530626A (zh) * | 2012-07-03 | 2014-01-22 | 财团法人车辆研究测试中心 | 自动校正鸟瞰影像方法 |
US20140245367A1 (en) * | 2012-08-10 | 2014-08-28 | Panasonic Corporation | Method for providing a video, transmitting device, and receiving device |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI693578B (zh) * | 2018-10-24 | 2020-05-11 | 緯創資通股份有限公司 | 影像拼接處理方法以及其系統 |
CN111942288A (zh) * | 2019-05-14 | 2020-11-17 | 欧特明电子股份有限公司 | 车辆影像系统及使用车辆影像的车辆定位方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107021015A (zh) | 2017-08-08 |
US20170132476A1 (en) | 2017-05-11 |
CN107021015B (zh) | 2020-01-07 |
TW201716267A (zh) | 2017-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI600559B (zh) | 用於影像處理之系統及方法 | |
JP7245295B2 (ja) | 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置 | |
JP4596978B2 (ja) | 運転支援システム | |
EP3186109B1 (en) | Panoramic windshield viewer system | |
KR100522218B1 (ko) | 감시 시스템, 카메라 조정방법 및 차량감시 시스템 | |
US9242602B2 (en) | Rearview imaging systems for vehicle | |
JP4248570B2 (ja) | 画像処理装置並びに視界支援装置及び方法 | |
CN107249934B (zh) | 无失真显示车辆周边环境的方法和装置 | |
JP4976685B2 (ja) | 画像処理装置 | |
JP4315968B2 (ja) | 画像処理装置並びに視界支援装置及び方法 | |
KR20090101480A (ko) | 차량용 주변 감시 장치 및 차량용 주변 감시 방법 | |
CN101404122A (zh) | 驾驶支援装置、驾驶支援方法以及计算机程序 | |
JP7000383B2 (ja) | 画像処理装置および画像処理方法 | |
CN111402132B (zh) | 倒车辅助方法及系统、图像处理器及相应的辅助驾驶系统 | |
US20190266416A1 (en) | Vehicle image system and method for positioning vehicle using vehicle image | |
US20230007190A1 (en) | Imaging apparatus and imaging system | |
JP6439233B2 (ja) | 車両用画像表示装置及び画像処理方法 | |
JP2020017942A (ja) | 車両周囲の状況をアーチファクトを低減して提示するための方法およびシステム | |
JP7332716B2 (ja) | 車両周辺部の画像を生成する方法ならびに車両周辺部の画像を生成する装置 | |
JP4696825B2 (ja) | 車両用死角映像表示装置 | |
WO2023095340A1 (ja) | 画像処理方法、画像表示方法、画像処理装置、及び画像表示装置 | |
JP6586972B2 (ja) | 車両用画像表示装置及び画像処理方法 | |
CN111942288B (zh) | 车辆影像系统及使用车辆影像的车辆定位方法 | |
JP2021524959A (ja) | 車両周辺部を表示するための方法及び装置 | |
TWI834301B (zh) | 車輛環景影像顯示方法 |