TWI688502B - 用於警告車輛障礙物的設備 - Google Patents

用於警告車輛障礙物的設備 Download PDF

Info

Publication number
TWI688502B
TWI688502B TW107124073A TW107124073A TWI688502B TW I688502 B TWI688502 B TW I688502B TW 107124073 A TW107124073 A TW 107124073A TW 107124073 A TW107124073 A TW 107124073A TW I688502 B TWI688502 B TW I688502B
Authority
TW
Taiwan
Prior art keywords
obstacle
image
vehicle
light
data
Prior art date
Application number
TW107124073A
Other languages
English (en)
Other versions
TW201934383A (zh
Inventor
張永明
賴建勳
鄭義集
劉燿維
Original Assignee
先進光電科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 先進光電科技股份有限公司 filed Critical 先進光電科技股份有限公司
Publication of TW201934383A publication Critical patent/TW201934383A/zh
Application granted granted Critical
Publication of TWI688502B publication Critical patent/TWI688502B/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本發明係提供一種用於警告車輛障礙物的設備，其包含攝影模組、環景處理單元、障礙物運算處理單元以及影像合成單元。攝影模組可設置於車輛上，且包含投影裝置及接收裝置。投影裝置可對車輛外之感興趣區域投射紅外結構光線。接收裝置可接收感興趣區域中反射之可見光線及紅外結構光線所分別產生之第一影像及第二影像。環景處理單元可接收第一影像並運算產生環景資料。障礙物運算處理單元可接收第二影像並運算產生障礙物資料。影像合成單元可接收環景資料及障礙物資料並運算產生合成影像。

Description

用於警告車輛障礙物的設備
本申請主張於2018年2月14日向美國專利及商標局(United States Patent and Trademark Office,USPTO)申請之美國臨時案申請號62/630,276之優先權，其全部內容在此引入作為參考。
本發明是有關於一種可同時接收可見光及紅外光影像，以判別障礙物的一種用於警告車輛障礙物的設備。
一般習知裝設於車輛上之防撞系統多係以影像處理技術，處理可見光下的影像，或是僅以聲音，例如倒車雷達之蜂鳴器進行提醒，然而，此種方式並無法有效地偵測到地面上的障礙物。舉例而言，以影像處理技術所偵測之障礙物多為體積較大者，因此較難以偵測到較矮的障礙物，例如小型三角錐、路面突起物等，因此在此情況之下，依舊難以保障使用者的行車安全，因此，需要一種用於警告車輛障礙物的設備以改善上述習知問題。
有鑑於上述習知之問題，本發明之目的係提出一種用於警告車輛障礙物的設備，以對障礙物進行偵測，以改善習知問題。
基於上述目的，本發明係提供一種用於警告車輛障礙物的設備，其包含至少一攝影模組、環景處理單元、障礙物運算處理單元以及影像合 成單元。攝影模組可設置於車輛上，且包含投影裝置及接收裝置。投影裝置可對車輛外之感興趣區域投射紅外結構光線。接收裝置可包含紅光接收單元、綠光接收單元、藍光接收單元及紅外光接收單元，可接收感興趣區域中反射之可見光線及紅外結構光線所分別產生之第一影像及第二影像。環景處理單元可接收第一影像並運算產生環景資料。障礙物運算處理單元可接收第二影像，並依據紅外結構光線照射於感興趣區域中之任一障礙物所產生之變形態樣運算產生障礙物資料，且障礙物資料係障礙物之頂表面至設置障礙物之基準面之高度值。影像合成單元可接收環景資料及障礙物資料並運算產生合成影像並依據高度值將合成影像中之障礙物以複數個等級或以等高線影像顯示。
較佳地，環景處理單元及障礙物運算處理單元可間隔一時間差分別接收第一影像及第二影像，且第一影像及第二影像之接收幀率分別為30fps。
較佳地，接收裝置可具有水平視野、垂直視野、光軸傾角及後掠角，水平視野可大於190度，垂直視野可大於100度，光軸傾角可朝向地面方向，且相對於水平面可介於0度至90度之間，後掠角係朝向車輛外之方向，且可介於0度至15度之間。
較佳地，感興趣區域係於車輛之行駛方向上及車輛之各側面。
較佳地，當紅外結構光線照射於感興趣區域中時，可產生複數個光點，複數個光點之最小陣列範圍係符合Dots=FOV/θ，且θ=S/R，Dots為於長度方向或寬度方向上之複數個光點之數目，FOV為接收裝置之水平視野或垂直視野，θ為任一光點相對於投影裝置之夾角，S為任兩相鄰之光點投影於感興趣區域中時之距離，R為任一光點至投影裝置之距離。
較佳地，當高度值大於閾值時，障礙物運算處理單元可運算產生提示資料。
較佳地，閾值可為10公分。
較佳地，影像合成單元可接收提示資料，並於合成影像中依據提示資料運算產生高度警示影像。
較佳地，障礙物運算處理單元更包含即時運算任一障礙物至車輛之距離並運算產生距離資料，且當任一障礙物距離車輛小於安全距離時，與影像合成單元電性連接之提示裝置可產生聲音提示、光線提示或振動提示中的一項或數項。
基於上述目的，本發明再提供一種用於警告車輛障礙物的設備，其包含複數個攝影模組、環景處理單元、障礙物運算處理單元以及影像合成單元。攝影模組可設置於車輛上，各複數個攝影模組可包含投影裝置，可對車輛外之感興趣區域投射紅外結構光線及接收裝置可包含紅光接收單元、綠光接收單元、藍光接收單元及紅外光接收單元，並接收感興趣區域中反射之可見光線及紅外結構光線所分別產生之第一影像及第二影像。環景處理單元可接收複數個第一影像並運算產生環景資料。障礙物運算處理單元可接收複數個第二影像，並依據紅外結構光線照射於感興趣區域中之任一障礙物所產生之一變形態樣運算產生障礙物資料，且障礙物資料係包含障礙物之頂表面至設置障礙物之基準面之高度值。影像合成單元可接收環景資料及障礙物資料並運算產生合成影像，並依據高度值將合成影像中之障礙物以複數個等級或以等高線影像顯示。
較佳地，環景處理單元及障礙物運算處理單元係同一時間接收複數個第一影像及複數個第二影像，且複數個第一影像及複數個第二影像之接收幀率係為30fps。
較佳地，環景處理單元可以幾何對齊及合成視圖合成演算法運算產生環景資料。
較佳地，當高度值大於閾值時，障礙物運算處理單元可運算產生提示資料。
較佳地，閾值可為30公分。
較佳地，攝影模組可設置於車輛之各側面上，並朝向車輛之行駛方向。
較佳地，影像合成單元可依據複數個第一影像、複數個第二影像及複數個攝影模組之複數個局部座標系運算產生三維幾何模型，且三維幾何模型可包含複數個局部座標系之複數個局部座標，並將三維幾何模型中面積最大之平面定義為道路基準面。
較佳地，當定義道路基準面後，影像合成單元可將複數個局部座標轉換為對應車輛位置之世界座標系下之複數個世界座標，且於世界座標系下將高於道路基準面且高度高於閾值之障礙物定義為警示障礙物。
較佳地，接收裝置可具有水平視野、垂直視野、光軸傾角及後掠角，水平視野可大於190度，垂直視野可大於100度，光軸傾角可朝向地面方向，且相對於水平面可介於0度至90度之間，後掠角係朝向車輛外之方向，且可介於0度至15度之間。
較佳地，感興趣區域可於車輛之行駛方向上及車輛之各側面，且當紅外結構光線照射於感興趣區域中時，可產生複數個光點，複數個光點之最小陣列範圍可符合Dots=FOV/θ，且θ=S/R，Dots為於長度方向或寬度方向上之複數個光點之數目，FOV為接收裝置之水平視野或垂直視野，θ為任一光點相對於投影裝置之夾角，S為任兩相鄰之光點投影於感興趣區域中時之距離，R為任一光點至投影裝置之距離。
基於上述目的，本發明再提供一種用於警告車輛障礙物的設備，其包含複數個攝影模組、環景處理單元、障礙物運算處理單元以及影像合成單元。複數個攝影模組可分別設置於車輛之頭側、門側及尾側上，且各攝影模組可包含投影裝置及接收裝置。投影裝置可對車輛外之感興趣區域投射紅外結構光線。接收裝置可接收感興趣區域中反射之可見光線及紅外結構光線所分別產生之第一影像及第二影像。環景處理單元可接收第一影像並以幾何對齊及合成視圖合成演算法運算產生環景資料。障礙物運算處理單元可接收第二影像，並依據紅外結構光線照射於感興趣區域中之任一障礙物所產生之變形態樣運算產生障礙物資料，且障礙物資料可包含障礙物之頂表面至設置障礙物之基準面之高度值。該高度值大於閾值時，障礙物運算處理單元可運算產生提示資料。影像合成單元可接收環景資料及障礙物資料並運算產生合成影像，並依據高度值將合成影像中之障礙物以複數個等級或以等高線影像顯示。
較佳地，投影裝置及接收裝置之間之距離係小於20公分。
較佳地，接收裝置可包含至少一魚眼鏡頭。
較佳地，影像合成單元可依據複數個第一影像、複數個第二影像及複數個攝影模組之複數個局部座標系運算產生三維幾何模型，且三維幾何模 型可包含複數個局部座標系之複數個局部座標，並將三維幾何模型中面積最大之平面定義為道路基準面。
較佳地，當定義道路基準面後，影像合成單元可將複數個局部座標轉換為對應車輛位置之世界座標系下之複數個世界座標，且於世界座標系下將高於道路基準面且高度高於10公分之障礙物定義為警示障礙物。
較佳地，當定義道路基準面後，影像合成單元可將複數個局部座標轉換為對應車輛位置之世界座標系下之複數個世界座標，且於世界座標系下將高於道路基準面且高度高於30公分之障礙物定義為警示障礙物。
10:警告車輛障礙物的設備
20:車輛
30:障礙物
40:道路基準面
50:感興趣區域
60:局部座標系
70:世界座標系
100:攝影模組
101:投影裝置
1011:紅外結構光線
1012:光點
102:接收裝置
112:可見光線
1021:紅光接收單元
1022:綠光接收單元
1023:藍光接收單元
1024:紅外光接收單元
1025:第一影像
1026:第二影像
200:環景處理單元
201:環景資料
300:障礙物運算處理單元
301:障礙物資料
3011:高度值
302:提示資料
400:影像合成單元
401:合成影像
第1圖係為根據本發明之實施例之用於警告車輛障礙物的設備之配置示意圖。
第2圖係為根據本發明之實施例之攝影模組之第一示意圖。
第3圖係為根據本發明之實施例之攝影模組之第二示意圖。
第4圖係為根據本發明之實施例之用於警告車輛障礙物的設備之感興趣區域示意圖。
第5圖係為根據本發明之實施例之用於警告車輛障礙物的設備之局部座標系示意圖。
第6圖係為根據本發明之實施例之用於警告車輛障礙物的設備之世界座標系示意圖。
第7圖係為根據本發明之實施例之用於警告車輛障礙物的設備之攝影模組示意圖。
第8圖係為根據本發明之實施例之用於警告車輛障礙物的設備之第一實施示意圖。
第9圖係為根據本發明之實施例之用於警告車輛障礙物的設備之第二實施示意圖。
第10圖係為根據本發明之實施例之用於警告車輛障礙物的設備之第三實施示意圖。
第11圖係為根據本發明之實施例之用於警告車輛障礙物的設備之第四實施示意圖。
第12圖係為根據本發明之實施例之用於警告車輛障礙物的設備之第五實施示意圖。
第13圖係為根據本發明之實施例之用於警告車輛障礙物的設備之第六實施示意圖。
為利 貴審查員瞭解本發明之技術特徵、內容與優點及其所能達成之功效，茲將本發明配合附圖，並以實施例之表達形式詳細說明如下，而其中所使用之圖式，其主旨僅為示意及輔助說明之用，未必為本發明實施後之真實比例與精準配置，故不應就所附之圖式的比例與配置關係解讀、侷限本發明於實際實施上的權利範圍，合先敘明。
以下將參照相關圖式，說明依本發明之用於警告車輛障礙物的設備之實施例，為使便於理解，下述實施例中之相同元件係以相同之符號標示來說明。
第一實施例
本發明是提供一種用於警告車輛障礙物的設備10，如第1圖至第3圖所示，本發明之用於警告車輛障礙物的設備10可包含至少一攝影模組100、環景處理單元200、障礙物運算處理單元300以及影像合成單元400。
攝影模組100可設置於車輛20上，且可包含投影裝置101及接收裝置102。投影裝置101可對該車輛20外之感興趣區域50(Region Of Interests,ROI)投射紅外結構光線1011，而接收裝置102可包含紅光接收單元1021、綠光接收單元1022、藍光接收單元1023及紅外光接收單元1024以接收感興趣區域50中反射之可見光線112及紅外結構光線1011所分別產生之第一影像1025及第二影像1026。
另外，在一實施例中，如第7圖所示，接收裝置102可具有水平視野(horizontal field of view，H-FOV)、垂直視野(vertical field of view，V-FOV)、光軸傾角(tilt angle，θ)及後掠角(sweep angle，
Figure 107124073-A0305-02-0011-14
)，水平視野可大於190度，垂直視野可大於100度，光軸傾角可朝向地面方向，且相對於水平面可介於0度至90度之間，後掠角係朝向車輛外之方向，且可介於0度至15度之間。
進一步說明，本發明之接收裝置102之中由於係包含了紅光接收單元1021、綠光接收單元1022、藍光接收單元1023及紅外光接收單元1024，因此可同步以紅光接收單元1021、綠光接收單元1022及藍光接收單元1023接收可見光，以及以紅外光接收單元1024接收紅外結構光線1011，因此所產生之第一影像1025及第二影像1026並不會彼此影響，例如產生光斑或其他雜訊等現象。
另外，在一實施例中，感興趣區域50可如第4圖所示，感興趣區域50可於車輛之行駛方向上及車輛之各側面，包含了前行方向、倒車方向以及車輛之各側面，以無死角地建立環景影像。進一步說明，若車輛為轎 車時，感興趣區域50可為長度為2公尺，寬度為5公尺之區域，且寬度之方向係垂直於攝影模組100之光軸，因此本發明可有效地避免車輛20撞擊或觸碰到感興趣區域50中的障礙物30，以保障行車安全。
環景處理單元200可接收第一影像1025並運算產生環景資料201，而障礙物運算處理單元300可接收第二影像1026，並依據紅外結構光線1011照射於感興趣區域50中之任一障礙物30所產生之變形態樣運算產生障礙物資料301。進一步說明，障礙物資料301係為障礙物30之頂表面至設置障礙物30之基準面之高度值3011，亦即，若是於平地上，障礙物資料301可為障礙物30之頂表面至地面之垂直高度值3011。
另外，在一實施例中，環景處理單元200及障礙物運算處理單元300可於同一時間或間隔一時間差，例如交替或同時分別地接收第一影像1025及第二影像1026，且第一影像1025及第二影像1026之接收幀率分別為30fps，因此合成影像401可具有至少30fps之幀率，以及時反應感興趣區域50中障礙物30的情況。
且在一實施例中，紅外結構光線1011可至少包含時序編碼(Time-multiplexing)、空間編碼(Spatial Neighborhood)及直接編碼(Direct Coding)等三種類型之結構光，而在本發明之各實施例中，係以空間編碼做為實施例進行說明。本發明之紅外結構光線1011可如第7圖所示，包含複數個光點1012，而當光點1012照射至障礙物30將會產生變形，因此障礙物運算處理單元300可依據紅外結構光線1011照射於感興趣區域50中之任一障礙物30所產生之變形態樣運算產生障礙物資料301。
因此在一實施例中，如第7圖所示，當紅外結構光線1011照射於感興趣區域50中時，可產生複數個光點1012，複數個光點1012之最小陣列範圍係符合Dots=FOV/θ，且θ=S/R，Dots為於該長度方向或該寬度方向上之該複數個光點1012之數目，FOV為接收裝置102之水平視野或垂直視野，θ為任一光點1012相對於投影裝置101之夾角，S為任兩相鄰之該光點1012投影於感興趣區域50中時之距離，R為任一光點1012至投影裝置101之距離，因此依據上述最小陣列範圍之關係式Dots=FOV/θ，若要觀測距離車輛20之距離為2公尺，且直徑為30公分之圓柱時，複數個光點1012之最小陣列範圍為於長度方向上約需64個光點1012，於寬度方向上約需48個光點1012；而若要觀測距離車輛20之距離為1公尺，且直徑為30公分之圓柱時，複數個光點1012之最小陣列範圍為於長度方向上約需32個光點1012，於寬度方向上約需24個光點1012。
而在得到具環景資料201之第一影像1025及具障礙物資料301之第二影像1026後，可如第9圖至12圖所示，影像合成單元400可接收環景資料201及障礙物資料301並運算產生合成影像401，並依據高度值3011將合成影像401中之障礙物30以複數個等級或以等高線影像顯示，因此可提示使用者障礙物30之位置及高度值3011，以避免碰撞。
且在一實施例中，當高度值3011大於閾值時，舉例而言，閾值為10公分時，障礙物運算處理單元300可運算產生提示資料302，影像合成單元400可接收提示資料302，並於合成影像401中依據提示資料302運算產生高度警示影像。
而在另一實施例中，障礙物運算處理單元300可更包含即時運算任一障礙物30至車輛20之距離並運算產生距離資料，且當任一障礙物30距離車 輛20小於安全距離時，與影像合成單元400電性連接之提示裝置可產生聲音提示、光線提示或振動提示中的一項或數項。
舉例而言，在一實施例中，提示裝置可包含發聲元件、發光元件、振動元件中的一項或數項，以產生聲音提示、光線提示或振動提示中的一項或數項。
因此本發明之用於警告車輛障礙物的設備10可以裝設於車輛20上，並以攝影模組100、環景處理單元200、障礙物運算處理單元300以及影像合成單元400，交替地接收第一影像1025及第二影像1026，以觀測至少10公分以上之障礙物30，以保障駕駛安全。
第二實施例
本發明再提供一種用於警告車輛障礙物的設備10，如第1圖至第3圖所示，本發明之用於警告車輛障礙物的設備10可包含複數個攝影模組100、環景處理單元200、障礙物運算處理單元300以及影像合成單元400。
攝影模組100可設置於車輛20上，且可包含投影裝置101及接收裝置102。投影裝置101可對該車輛20外之感興趣區域50投射紅外結構光線1011，而接收裝置102可包含紅光接收單元1021、綠光接收單元1022、藍光接收單元1023及紅外光接收單元1024以接收感興趣區域50中反射之可見光線112及紅外結構光線1011所分別產生之第一影像1025及第二影像1026。
另外，在一實施例中，如第7圖所示，攝影模組100之接收裝置102可具有水平視野、垂直視野、光軸傾角及後掠角，水平視野可大於190度，垂直視野可大於100度，光軸傾角可朝向地面方向，且相對於水平面可介於0度至90度之間，後掠角係朝向車輛20外之方向，且可介於0度至15度之間。
且在一實施例中，紅外結構光線1011可至少包含時序編碼(Time-multiplexing)、空間編碼(Spatial Neighborhood)及直接編碼(Direct Coding)等三種類型之結構光，而在本發明之各實施例中，係以空間編碼做為實施例進行說明。本發明之紅外結構光線1011可包含複數個光點1012，而當光點1012照射至障礙物30將會產生變形，因此障礙物運算處理單元300可依據紅外結構光線1011照射於感興趣區域50中之任一障礙物30所產生之變形態樣運算產生障礙物資料301。
因此在一實施例中，可如第8圖所示，當紅外結構光線1011照射於感興趣區域50中時，可產生複數個光點1012，複數個光點1012之最小陣列範圍係符合Dots=FOV/θ，且θ=S/R，Dots為於該長度方向或該寬度方向上之該複數個光點1012之數目，FOV為接收裝置102之水平視野或垂直視野，θ為任一光點1012相對於投影裝置101之夾角，S為任兩相鄰之該光點1012投影於感興趣區域50中時之距離，R為任一光點1012至投影裝置101之距離，因此依據上述最小陣列範圍之關係式Dots=FOV/θ，若要觀測距離車輛20之距離為2公尺，且直徑為30公分之圓柱時，複數個光點1012之最小陣列範圍為於長度方向上約需64個光點1012，於寬度方向上約需48個光點1012；而若要觀測距離車輛20之距離為1公尺，且直徑為30公分之圓柱時，複數個光點1012之最小陣列範圍為於長度方向上約需32個光點1012，於寬度方向上約需24個光點1012。
如第10圖至13圖所示，環景處理單元200可接收第一影像1025並運算產生環景資料201，而障礙物運算處理單元300可接收第二影像1026，並依據紅外結構光線1011照射於感興趣區域50中之任一障礙物30所產生之變形態樣運算產生障礙物資料301。進一步說明，如第9圖所示，障礙物資料301係為障礙 物30之頂表面至設置障礙物30之基準面之高度值3011，亦即，若是於平地上，障礙物資料301可為障礙物30之頂表面至地面之垂直高度值3011，而後可依據高度值3011將合成影像401中之障礙物30以複數個等級標示。
且在一實施例中，當高度值3011大於閾值時，舉例而言，閾值為30公分時，障礙物運算處理單元300可運算產生提示資料302，影像合成單元400可接收提示資料302，並於合成影像401中依據提示資料302運算產生高度警示影像。
此外在另一實施例中，障礙物運算處理單元300可更包含即時運算任一障礙物30至車輛20之距離並運算產生距離資料，且當任一障礙物30距離車輛20小於安全距離時，與影像合成單元400電性連接之提示裝置可產生聲音提示、光線提示或振動提示中的一項或數項。
另外，在一實施例中，環景處理單元200及障礙物運算處理單元300可同一時間接收複數個第一影像1025及複數個第二影像1026，且複數個第一影像1025及複數個第二影像1026之接收幀率係為30fps，而由於本發明之接收裝置102之中由於係包含了紅光接收單元1021、綠光接收單元1022、藍光接收單元1023及紅外光接收單元1024，因此可同步以紅光接收單元1021、綠光接收單元1022及藍光接收單元1023接收可見光，以及以紅外光接收單元1024接收紅外結構光線1011，因此所產生之第一影像1025及第二影像1026並不會彼此影響，例如產生光斑或其他雜訊等現象。
另外，在一實施例中，攝影模組可設置於該車輛之各側面上，並朝向車輛之行駛方向，特別是倒車方向上，以避免撞擊障礙物30。進一步說明，當車輛20為轎車時，設置於轎車之頭側之攝影模組100係距地面50至85 公分；設置於轎車之門側之該攝影模組100係距地面115公分；設置於該轎車之尾側之攝影模組100係距地面85至115公分，因此複數個攝影模組100所產生之複數個第一影像1025可再以環景處理單元200以幾何對齊及合成視圖合成演算法運算產生環景資料201。
進一步說明，如第5圖及第6圖所示，影像合成單元400可依據複數個第一影像1025、複數個第二影像1026及複數個攝影模組100之複數個局部座標系60運算產生三維幾何模型，且三維幾何模型可包含複數個局部座標系60之複數個局部座標，並將三維幾何模型中面積最大之平面定義為道路基準面40。
當定義道路基準面40後，影像合成單元400可將複數個局部座標轉換為對應車輛20位置之世界座標系70下之複數個世界座標，例如可以矩陣轉換方式將複數個局部座標轉換為對應車輛20位置之世界座標系70下之複數個世界座標，而於世界座標系70下可將高於道路基準面40且高度高於閾值之障礙物30係定義為警示障礙物。
而在另一實施例中，障礙物運算處理單元300可更包含即時運算任一障礙物30至車輛20之距離並運算產生距離資料，且當任一障礙物30距離車輛20小於安全距離時，與影像合成單元400電性連接之提示裝置可產生聲音提示、光線提示或振動提示中的一項或數項。
舉例而言，在一實施例中，提示裝置可包含發聲元件、發光元件、振動元件中的一項或數項，以產生聲音提示、光線提示或振動提示中的一項或數項。
因此本發明之用於警告車輛障礙物的設備10可以裝設於車輛20上，且車輛20可為轎車，並可以攝影模組100、環景處理單元200、障礙物運算 處理單元300以及影像合成單元400，同步地接收第一影像1025及第二影像1026，以觀測至少30公分以上之障礙物30，以保障駕駛安全。
第三實施例
本發明再提供一種用於警告車輛障礙物的設備10，如第1圖至第3圖所示，本發明之用於警告車輛障礙物的設備10可包含複數個攝影模組100、環景處理單元200、障礙物運算處理單元300以及影像合成單元400。
攝影模組100可分別設置於車輛20之頭側、門側及尾側上，且各攝影模組100可包含投影裝置101及接收裝置102，而在一實施例中，車輛20可包含轎車、卡車、巴士等各式車輛。投影裝置101可對車輛20外之感興趣區域50投射紅外結構光線1011，而接收裝置102可接收感興趣區域50中反射之可見光線112及紅外結構光線1011所分別產生之第一影像1025及第二影像1026，且在一實施例中，投影裝置101及接收裝置102之間之距離係小於20公分，因此接收裝置102可完整地接收第一影像1025及第二影像1026。
且在一實施例中，接收裝置102可包含至少一魚眼鏡頭，因此接收裝置102可具有較大的視野(Field Of View,FOV)，以完整地接收第一影像1025。另外，在一實施例中，環景處理單元200及障礙物運算處理單元300可於同一時間或間隔一時間差，例如交替或同時分別地接收第一影像1025及第二影像1026，且第一影像1025及第二影像1026之接收幀率分別為30fps，因此合成影像401可具有至少30fps之幀率，以及時反應感興趣區域50中障礙物30的情況。
如第10圖至13圖所示，環景處理單元200可接收第一影像1025並運算產生環景資料201，而障礙物運算處理單元300可接收第二影像1026，並依據紅外結構光線1011照射於感興趣區域50中之任一障礙物30所產生之變形態樣 運算產生障礙物資料301，且當高度值3011大於一閾值時，例如10公分至50公分時，障礙物運算處理單元300可運算產生提示資料302。進一步說明，障礙物資料301係為障礙物30之頂表面至設置障礙物30之基準面之高度值3011，亦即，若是於平地上，障礙物資料301可為障礙物30之頂表面至地面之垂直高度值3011，而後可依據高度值3011將合成影像401中之障礙物30以複數個等級標示，以提醒使用者障礙物30之方位及高度。
另外，在一實施例中，車輛20可為巴士或卡車等大型車輛，設置於車輛20之頭側、門側及尾側之攝影模組100可設置於車輛20之車體高度約2/1處之位置，且攝影模組100之接收裝置102之水平視野可大於190度，垂直視野可大於100度，光軸傾角可朝向地面方向，且相對於水平面可介於0度至90度之間，後掠角係朝向車輛20外之方向，且可介於0度至15度之間，複數個攝影模組100所產生之複數個第一影像1025可再以環景處理單元200以幾何對齊及合成視圖合成演算法運算產生環景資料201。
進一步說明，如第5圖、第6圖及第9圖所示，影像合成單元400可依據複數個第一影像1025、複數個第二影像1026及複數個攝影模組100之複數個局部座標系60運算產生三維幾何模型，且三維幾何模型可包含複數個局部座標系60之複數個局部座標，並將三維幾何模型中面積最大之平面定義為道路基準面40。
當定義道路基準面40後，影像合成單元400可將複數個局部座標轉換為對應車輛20位置之世界座標系70下之複數個世界座標，例如可以矩陣轉換方式將複數個局部座標轉換為對應車輛20位置之世界座標系70下之複數個世 界座標，而於世界座標系70下可將高於道路基準面40且高度高於閾值之障礙物30係定義為警示障礙物。
而在另一實施例中，障礙物運算處理單元300可更包含即時運算任一障礙物30至車輛20之距離並運算產生距離資料，且當任一障礙物30距離車輛20小於安全距離時，與影像合成單元400電性連接之提示裝置可產生聲音提示、光線提示或振動提示中的一項或數項。
舉例而言，在一實施例中，提示裝置可包含發聲元件、發光元件、振動元件中的一項或數項，以產生聲音提示、光線提示或振動提示中的一項或數項。
因此本發明之用於警告車輛障礙物的設備10可以裝設於車輛20上，且當車輛20可為各式車輛，可以攝影模組100、環景處理單元200、障礙物運算處理單元300以及影像合成單元400，同步或交替地接收第一影像1025及第二影像1026，以觀測至少10至50公分以上之障礙物30，以保障駕駛安全。
以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。
10:警告車輛障礙物的設備
100:攝影模組
101:投影裝置
1011:紅外結構光線
102:接收裝置
1021:紅光接收單元
1022:綠光接收單元
1023:藍光接收單元
1024:紅外光接收單元
1025:第一影像
1026:第二影像
200:環景處理單元
201:環景資料
300:障礙物運算處理單元
301:障礙物資料
302:提示資料
400:影像合成單元

Claims (16)

  1. 一種用於警告車輛障礙物的設備，係包含：至少一攝影模組，係設置於一車輛上，且包含：一投影裝置，係對該車輛外之一感興趣區域投射一紅外結構光線；及一接收裝置，係包含一紅光接收單元、一綠光接收單元、一藍光接收單元及一紅外光接收單元，接收該感興趣區域中反射之一可見光線及該紅外結構光線所分別產生之一第一影像及一第二影像；一環景處理單元，係接收該第一影像並運算產生一環景資料；一障礙物運算處理單元，係接收該第二影像，並依據該紅外結構光線照射於該感興趣區域中之任一障礙物所產生之一變形態樣運算產生一障礙物資料，且該障礙物資料係該障礙物之頂表面至設置該障礙物之基準面之一高度值；以及一影像合成單元，係接收該環景資料及該障礙物資料並運算產生一合成影像，並依據該高度值將該合成影像中之該障礙物以複數個等級或以一等高線影像顯示；其中該感興趣區域係於該車輛之一行駛方向上及該車輛之各側面；其中當該高度值大於一閾值時，該障礙物運算處理單元係運算產生一提示資料；其中該影像合成單元係接收該提示資料，並於該合成影像中依據該提示資料運算產生一高度警示影像； 其中當該紅外結構光線照射於該感興趣區域中時，係產生複數個光點，該複數個光點之一最小陣列範圍係符合Dots=FOV/θ，且θ=S/R，其中Dots為於一長度之方向或一寬度之方向上之該複數個光點之數目，FOV為該接收裝置之一水平視野或一垂直視野，θ為任一該光點相對於該投影裝置之夾角，S為任兩相鄰之該光點投影於該感興趣區域中時之距離，R為任一該光點至該投影裝置之距離。
  2. 如申請專利範圍第1項所述之用於警告車輛障礙物的設備，其中該環景處理單元及該障礙物運算處理單元係間隔一時間差分別接收該第一影像及該第二影像，且該第一影像及該第二影像之接收幀率分別為30fps。
  3. 如申請專利範圍第1項所述之用於警告車輛障礙物的設備，其中該接收裝置具有一水平視野、一垂直視野、一光軸傾角及一後掠角，該水平視野係大於190度，該垂直視野係大於100度，該光軸傾角係朝向一地面方向，且相對於一水平面係介於0度至90度之間，該後掠角係朝向該車輛外之方向，且係介於0度至15度之間。
  4. 如申請專利範圍第1項所述之用於警告車輛障礙物的設備，其中該閾值係為10公分。
  5. 如申請專利範圍第1項所述之用於警告車輛障礙物的設備，其中該障礙物運算處理單元更包含即時運算任一該障礙物至該車輛之距離並運算產生一距離資料，且當任一該障礙物距離該車輛小於一安全距離時，與該影像合成單元電性連接之一提示裝置係產生一聲音提示、一光線提示或一振動提示中的一 項或數項。
  6. 一種用於警告車輛障礙物的設備，係包含：複數個攝影模組，係設置於一車輛上，各該複數個攝影模組係包含：一投影裝置，係對該車輛外之一感興趣區域投射一紅外結構光線；及一接收裝置，係包含一紅光接收單元、一綠光接收單元、一藍光接收單元及一紅外光接收單元，並接收該感興趣區域中反射之一可見光線及該紅外結構光線所分別產生之一第一影像及一第二影像；一環景處理單元，係接收該複數個第一影像並運算產生一環景資料；一障礙物運算處理單元，係接收複數個該第二影像，並依據該紅外結構光線照射於該感興趣區域中之任一障礙物所產生之一變形態樣運算產生一障礙物資料，且該障礙物資料係包含該障礙物之頂表面至設置該障礙物之基準面之一高度值；以及一影像合成單元，係接收該環景資料及該障礙物資料並運算產生一合成影像，並依據該高度值將該合成影像中之該障礙物以複數個等級或以一等高線影像顯示；其中當該高度值大於一閾值時，該障礙物運算處理單元係運算產生一提示資料； 其中該攝影模組係設置於該車輛之各側面上，並朝向該車輛之一行駛方向；其中該感興趣區域係一長度為2公尺，一寬度為5公尺之一區域，且該寬度之方向係垂直該攝影模組之光軸，且當該紅外結構光線照射於該感興趣區域中時，係產生複數個光點，該複數個光點之一最小陣列範圍係符合Dots=FOV/θ，且θ=S/R，其中Dots為於該長度方向或該寬度方向上之該複數個光點之數目，FOV為該接收裝置之一水平視野或一垂直視野，θ為任一該光點相對於該投影裝置之夾角，S為任兩相鄰之該光點投影於該感興趣區域中時之距離，R為任一該光點至該投影裝置之距離。
  7. 如申請專利範圍第6項所述之用於警告車輛障礙物的設備，其中該環景處理單元及該障礙物運算處理單元係同一時間接收該複數個第一影像及該複數個第二影像，且該複數個第一影像及該複數個第二影像之接收幀率係為30fps。
  8. 如申請專利範圍第6項所述之用於警告車輛障礙物的設備，其中該環景處理單元係以一幾何對齊及合成視圖合成演算法運算產生該環景資料。
  9. 如申請專利範圍第6項所述之用於警告車輛障礙物的設備，其中該閾值係為30公分。
  10. 如申請專利範圍第6項所述之用於警告車輛障礙物的設備，其中該影像合成單元係依據該複數個第一影像、該複數個第二影像及該複數個攝影模組之複數個局部座標系運算產生一三維幾何模型，且該三維幾何模型係包含該複數個局部座 標系之複數個局部座標，並將該三維幾何模型中面積最大之一平面定義為一道路基準面。
  11. 如申請專利範圍第10項所述之用於警告車輛障礙物的設備，其中當定義該道路基準面後，該影像合成單元係將該複數個局部座標轉換為對應該車輛的一車輛位置之一世界座標系下之複數個世界座標，且於該世界座標系下將高於該道路基準面且高度高於一閾值之該障礙物係定義為一警示障礙物。
  12. 如申請專利範圍第6項所述之用於警告車輛障礙物的設備，其中該接收裝置具有一水平視野、一垂直視野、一光軸傾角及一後掠角，該水平視野係大於190度，該垂直視野係大於100度，該光軸傾角係朝向一地面方向，且相對於一水平面係介於0度至90度之間，該後掠角係朝向該車輛外之方向，且係介於0度至15度之間。
  13. 一種用於警告車輛障礙物的設備，係包含：複數個攝影模組，係分別設置於一車輛之頭側、門側及尾側上，且各該攝影模組係包含：一投影裝置，係對該車輛外之一感興趣區域投射一紅外結構光線；及一接收裝置，接收該感興趣區域中反射之一可見光線及該紅外結構光線所分別產生之一第一影像及一第二影像；一環景處理單元，係接收該第一影像並以一幾何對齊及合成視圖合成演算法運算產生一環景資料； 一障礙物運算處理單元，係接收該第二影像，並依據該紅外結構光線照射於該感興趣區域中之任一障礙物所產生之一變形態樣運算產生一障礙物資料，且該障礙物資料係包含該障礙物之頂表面至設置該障礙物之基準面之一高度值，當該高度值大於一閾值時，該障礙物運算處理單元係運算產生一提示資料；以及一影像合成單元，係接收該環景資料及該障礙物資料並運算產生一合成影像，並依據該高度值將該合成影像中之該障礙物以複數個等級或以一等高線影像顯示；其中該投影裝置及該接收裝置之間之一距離係小於20公分；其中該接收裝置係包含至少一魚眼鏡頭；其中該感興趣區域係一長度為2公尺，一寬度為5公尺之一區域，且該寬度之方向係垂直該攝影模組之光軸，且當該紅外結構光線照射於該感興趣區域中時，係產生複數個光點，該複數個光點之一最小陣列範圍係符合Dots=FOV/θ，且θ=S/R，其中Dots為於該長度方向或該寬度方向上之該複數個光點之數目，FOV為該接收裝置之一水平視野或一垂直視野，θ為任一該光點相對於該投影裝置之夾角，S為任兩相鄰之該光點投影於該感興趣區域中時之距離，R為任一該光點至該投影裝置之距離。
  14. 如申請專利範圍第13項所述之用於警告車輛障礙物的設備，其中該影像合成單元係依據該複數個第一影像、該複數個第二影像及該複數個攝影模組之複數個局部座標系運算產生一三維幾何模型，且該三維幾何模型係包含該複數個局部座 標系之複數個局部座標，並將該三維幾何模型中面積最大之一平面定義為一道路基準面。
  15. 如申請專利範圍第14項所述之用於警告車輛障礙物的設備，其中當定義該道路基準面後，該影像合成單元係將該複數個局部座標轉換為對應該車輛的一車輛位置之一世界座標系下之複數個世界座標，且於該世界座標系下將高於該道路基準面且高度高於10公分之該障礙物係定義為一警示障礙物。
  16. 如申請專利範圍第14項所述之用於警告車輛障礙物的設備，其中當定義該道路基準面後，該影像合成單元係將該複數個局部座標轉換為對應該車輛的一車輛位置之一世界座標系下之複數個世界座標，且於該世界座標系下將高於該道路基準面且高度高於30公分之該障礙物係定義為一警示障礙物。
TW107124073A 2018-02-14 2018-07-12 用於警告車輛障礙物的設備 TWI688502B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862630276P 2018-02-14 2018-02-14
US62/630,276 2018-02-14

Publications (2)

Publication Number Publication Date
TW201934383A TW201934383A (zh) 2019-09-01
TWI688502B true TWI688502B (zh) 2020-03-21

Family

ID=67152092

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107124073A TWI688502B (zh) 2018-02-14 2018-07-12 用於警告車輛障礙物的設備

Country Status (3)

Country Link
US (1) US10812782B2 (zh)
CN (2) CN209102902U (zh)
TW (1) TWI688502B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017119202A1 (ja) * 2016-01-06 2017-07-13 富士フイルム株式会社 構造物の部材特定装置及び方法
TWI738220B (zh) * 2020-02-21 2021-09-01 合盈光電科技股份有限公司 一種迴旋安全警示系統
CN111688577A (zh) * 2020-06-17 2020-09-22 京东数字科技控股有限公司 车辆避障告警方法及系统
CN115158372B (zh) * 2022-07-18 2023-05-19 内蒙古工业大学 一种基于声波的大型梭车避障预警方法
CN115339384A (zh) * 2022-08-18 2022-11-15 惠州市德赛西威智能交通技术研究院有限公司 车辆驾驶辅助系统、方法、存储介质及车辆
CN117302027B (zh) * 2023-11-29 2024-01-30 立胜汽车科技(苏州)有限公司 一种车载环视图像装置及快速出图方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101934771A (zh) * 2009-06-29 2011-01-05 财团法人车辆研究测试中心 车辆碰撞警示系统
CN102271966A (zh) * 2009-01-06 2011-12-07 株式会社伊美吉内柯斯特 周边影像生成方法及装置
CN102316306A (zh) * 2010-06-30 2012-01-11 富士通天株式会社 图像显示系统及图像显示方法
TW201511997A (zh) * 2013-09-24 2015-04-01 Automotive Res & Testing Ct 主動式自動駕駛輔助系統與方法
TW201601952A (zh) * 2014-07-03 2016-01-16 Univ Shu Te 以距離參數調校圖形正確性之３ｄ環車影像系統
TWM572044U (zh) * 2018-12-21 Equipment for warning vehicle obstacles

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3645196B2 (ja) * 2001-02-09 2005-05-11 松下電器産業株式会社 画像合成装置
JP3764086B2 (ja) * 2001-10-29 2006-04-05 本田技研工業株式会社 車両用情報提供装置
JP3871614B2 (ja) * 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
JP3987013B2 (ja) * 2003-09-01 2007-10-03 本田技研工業株式会社 車両周辺監視装置
KR20050036179A (ko) * 2003-10-15 2005-04-20 현대자동차주식회사 차량의 전방 감시장치 및 방법
DE102005015088B4 (de) * 2004-04-02 2015-06-18 Denso Corporation Fahrzeugumgebungsüberwachungssystem
JP2006050451A (ja) * 2004-08-06 2006-02-16 Sumitomo Electric Ind Ltd 障害物警告システム及び画像処理装置
US7489805B2 (en) * 2004-11-30 2009-02-10 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus
US8885045B2 (en) * 2005-08-02 2014-11-11 Nissan Motor Co., Ltd. Device and method for monitoring vehicle surroundings
JP4934308B2 (ja) * 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
JP4656005B2 (ja) * 2006-06-02 2011-03-23 日産自動車株式会社 画像処理システム及び画像処理方法
US7741961B1 (en) * 2006-09-29 2010-06-22 Canesta, Inc. Enhanced obstacle detection and tracking for three-dimensional imaging systems used in motor vehicles
US8493412B2 (en) * 2008-10-31 2013-07-23 Honeywell Internatioal Inc. Methods and systems for displaying sensor-based images of an external environment
US8629903B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Enhanced vision system full-windshield HUD
US8350724B2 (en) * 2009-04-02 2013-01-08 GM Global Technology Operations LLC Rear parking assist on full rear-window head-up display
KR20110068469A (ko) * 2009-12-16 2011-06-22 인하대학교 산학협력단 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법
TWI392366B (zh) * 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統
JP5059954B2 (ja) * 2011-02-22 2012-10-31 株式会社小松製作所 掘削機械の表示システム及びその制御方法。
WO2012155104A1 (en) * 2011-05-11 2012-11-15 Proiam, Llc Enrollment apparatus, system, and method featuring three dimensional camera
CN103858156B (zh) * 2011-10-18 2015-04-15 本田技研工业株式会社 车辆周围监测装置
US10565438B2 (en) * 2012-03-12 2020-02-18 Honda Motor Co., Ltd. Vehicle periphery monitor device
US9373051B2 (en) * 2012-06-14 2016-06-21 Insitu, Inc. Statistical approach to identifying and tracking targets within captured image data
WO2014046213A1 (ja) * 2012-09-21 2014-03-27 株式会社タダノ 作業車の周囲情報取得装置
KR101459835B1 (ko) * 2012-10-11 2014-11-07 현대자동차주식회사 입체물 표시 제어 장치 및 방법
EP2821308B1 (en) * 2013-07-03 2016-09-28 Volvo Car Corporation Vehicle system for control of vehicle safety parameters, a vehicle and a method for controlling safety parameters
DE102014105297A1 (de) * 2014-04-14 2015-10-15 Connaught Electronics Ltd. Verfahren zum Detektieren eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mittels eines Kamerasystems des Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
JP6459205B2 (ja) * 2014-04-25 2019-01-30 日本精機株式会社 車両用表示システム
WO2016018419A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Processing data representing an image
US10055643B2 (en) * 2014-09-19 2018-08-21 Bendix Commercial Vehicle Systems Llc Advanced blending of stitched images for 3D object reproduction
US9725040B2 (en) * 2014-10-28 2017-08-08 Nissan North America, Inc. Vehicle object detection system
US9434381B2 (en) * 2014-10-31 2016-09-06 Fca Us Llc Collision avoidance method including determining height of an object fixed to a vehicle
JP2016134090A (ja) * 2015-01-21 2016-07-25 株式会社東芝 画像処理装置及びそれを用いた運転支援システム
US9457632B1 (en) * 2015-06-11 2016-10-04 Fca Us Llc Collision avoidance method including determining height of an object fixed to a vehicle
TWI596361B (zh) * 2015-12-07 2017-08-21 Metal Ind Res And Dev Centre Using structured light sensing barrier reversing warning method
JP6383376B2 (ja) * 2016-03-31 2018-08-29 株式会社Ｓｕｂａｒｕ 周辺リスク表示装置
US10019002B2 (en) * 2016-10-13 2018-07-10 Navico Holding As Unmanned vehicle control and operation in a marine environment
CN107004039A (zh) * 2016-11-30 2017-08-01 深圳市大疆创新科技有限公司 对象测试方法、装置及系统
CN106767706B (zh) * 2016-12-09 2019-05-14 中山大学 一种无人机勘查交通事故现场的航拍图像采集方法及系统
US10915112B2 (en) * 2017-03-31 2021-02-09 Uatc, Llc Autonomous vehicle system for blending sensor data
US10486485B1 (en) * 2017-04-19 2019-11-26 Zoox, Inc. Perception based suspension control
US10108867B1 (en) * 2017-04-25 2018-10-23 Uber Technologies, Inc. Image-based pedestrian detection
CN110537365B (zh) * 2017-04-28 2022-09-02 索尼公司 信息处理装置、信息处理方法、信息处理程序、图像处理装置以及图像处理系统
BE1024859B1 (nl) * 2017-05-23 2018-07-24 Airobots Een energetisch autonome, duurzame en intelligente robot
JP6696939B2 (ja) * 2017-07-04 2020-05-20 トヨタ自動車株式会社 周辺画像表示制御装置
US20190100146A1 (en) * 2017-10-02 2019-04-04 Hua-Chuang Automobile Information Technical Center Co., Ltd. Three-dimensional driving image reminder device
US20190179979A1 (en) * 2017-12-13 2019-06-13 Uber Technologies, Inc. Simulated Sensor Testing
JP6660367B2 (ja) * 2017-12-25 2020-03-11 株式会社Ｓｕｂａｒｕ 車外環境認識装置
US10955851B2 (en) * 2018-02-14 2021-03-23 Zoox, Inc. Detecting blocking objects
US10592780B2 (en) * 2018-03-30 2020-03-17 White Raven Ltd. Neural network training system
US10726567B2 (en) * 2018-05-03 2020-07-28 Zoox, Inc. Associating LIDAR data and image data
US11042156B2 (en) * 2018-05-14 2021-06-22 Honda Motor Co., Ltd. System and method for learning and executing naturalistic driving behavior
US10614717B2 (en) * 2018-05-17 2020-04-07 Zoox, Inc. Drive envelope determination
US10315563B1 (en) * 2018-05-22 2019-06-11 Zoox, Inc. Acoustic notifications
US10414336B1 (en) * 2018-05-22 2019-09-17 Zoox, Inc. Acoustic notifications
US10810792B2 (en) * 2018-05-31 2020-10-20 Toyota Research Institute, Inc. Inferring locations of 3D objects in a spatial environment
US11326888B2 (en) * 2018-07-25 2022-05-10 Uatc, Llc Generation of polar occlusion maps for autonomous vehicles
US10816987B2 (en) * 2018-10-15 2020-10-27 Zoox, Inc. Responsive vehicle control
US11110922B2 (en) * 2018-11-05 2021-09-07 Zoox, Inc. Vehicle trajectory modification for following

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM572044U (zh) * 2018-12-21 Equipment for warning vehicle obstacles
CN102271966A (zh) * 2009-01-06 2011-12-07 株式会社伊美吉内柯斯特 周边影像生成方法及装置
CN101934771A (zh) * 2009-06-29 2011-01-05 财团法人车辆研究测试中心 车辆碰撞警示系统
CN102316306A (zh) * 2010-06-30 2012-01-11 富士通天株式会社 图像显示系统及图像显示方法
TW201511997A (zh) * 2013-09-24 2015-04-01 Automotive Res & Testing Ct 主動式自動駕駛輔助系統與方法
TW201601952A (zh) * 2014-07-03 2016-01-16 Univ Shu Te 以距離參數調校圖形正確性之３ｄ環車影像系統

Also Published As

Publication number Publication date
CN110161531A (zh) 2019-08-23
US20190253696A1 (en) 2019-08-15
CN110161531B (zh) 2024-09-03
TW201934383A (zh) 2019-09-01
CN209102902U (zh) 2019-07-12
US10812782B2 (en) 2020-10-20

Similar Documents

Publication Publication Date Title
TWI688502B (zh) 用於警告車輛障礙物的設備
KR101911610B1 (ko) 어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법 및 장치
US9858639B2 (en) Imaging surface modeling for camera modeling and virtual view synthesis
JP5944687B2 (ja) 外因パラメータのみのサラウンドビューカメラ自動較正
JP6091586B1 (ja) 車両用画像処理装置および車両用画像処理システム
US8199975B2 (en) System and method for side vision detection of obstacles for vehicles
JP6091759B2 (ja) 車両のサラウンドビューシステム
JP2021170826A (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
JP5922866B2 (ja) 車両の運転者に案内情報を提供するためのシステム及び方法
JP2018531530A6 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
CN111582080A (zh) 车辆360度环视监控实现方法及装置
JP4796676B2 (ja) 車両上方視点画像表示装置
KR101885743B1 (ko) 차량의 서라운드 뷰 시스템
CN103802725A (zh) 一种新的车载驾驶辅助图像生成方法
KR20170118077A (ko) 차량 주변을 왜곡 없이 보여주는 방법 및 장치
CN109895697B (zh) 一种行车辅助提示系统及方法
JP2004056219A (ja) 車両周辺監視装置
JP7084400B2 (ja) 三次元サラウンドビュー・システム
WO2022160232A1 (zh) 一种检测方法、装置和车辆
JP2016213759A (ja) 後方モニタ
TW201739648A (zh) 影像疊合之方法
TWM572044U (zh) Equipment for warning vehicle obstacles
JP7254967B2 (ja) 情報処理装置、センシング装置、移動体及び情報処理方法
JP2011131740A (ja) 車両の運転支援装置
Chavan et al. Three dimensional vision system around vehicle