TWI596361B - Using structured light sensing barrier reversing warning method - Google Patents

Using structured light sensing barrier reversing warning method Download PDF

Info

Publication number
TWI596361B
TWI596361B TW104140935A TW104140935A TWI596361B TW I596361 B TWI596361 B TW I596361B TW 104140935 A TW104140935 A TW 104140935A TW 104140935 A TW104140935 A TW 104140935A TW I596361 B TWI596361 B TW I596361B
Authority
TW
Taiwan
Prior art keywords
obstacle
warning
information
processing unit
light
Prior art date
Application number
TW104140935A
Other languages
English (en)
Other versions
TW201721181A (zh
Inventor
Jin-Feng Jiang
shi-jun Xu
hong-yuan Wei
zong-han Li
zu-kun Zhang
Gui-Shu Xu
jia-sui Wang
Original Assignee
Metal Ind Res And Dev Centre
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Metal Ind Res And Dev Centre filed Critical Metal Ind Res And Dev Centre
Priority to TW104140935A priority Critical patent/TWI596361B/zh
Priority to CN201610568995.0A priority patent/CN106828304A/zh
Priority to JP2016158054A priority patent/JP6474766B2/ja
Priority to US15/352,887 priority patent/US9963069B2/en
Publication of TW201721181A publication Critical patent/TW201721181A/zh
Application granted granted Critical
Publication of TWI596361B publication Critical patent/TWI596361B/zh

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/004Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors
    • B60Q9/005Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors using a video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

運用結構光感測障礙之倒車警示方法
本發明係有關於一種警示方法,特別係有關於移動載具於倒車時依據倒車速度取得目前所需的煞車距離並依據障礙的距離及所需的煞車距離發出不同警示之運用結構光感測障礙之倒車警示方法。
汽車做為日常生活中最常見的移動載具,其至少設置了左側後視鏡、右側後視鏡、車內後視鏡,用以將車輛的左後方、右後方及正後方的影像藉由後視鏡的反射呈現給汽車的駕駛人員,但是由這些後照鏡所能呈現給駕駛人員的視野範圍有限,又因為後視鏡為了給予駕駛人員更為寬廣的視野勢必要使用凸透鏡,然而凸透鏡之成像為縮小而正立的虛像,會產生近距離的障礙在透過凸透鏡成像時有此障礙較遠的錯覺,會使得駕駛人員難以掌握實際與障礙的距離。
且當汽車在道路行駛時,除了會受到視野範圍受限及距離感有誤差外,更有可能因為精神疲勞或其他用路人不守法等因素,使得駕駛人員、乘客以及行人的生命安全雙雙受到威脅。為了提高安全性,不少被動安全配備已為汽車出廠時的標準配備,而主動安全配備也在各大車廠的努力下被持續開發。
在現有技術中已有些許可即時警告使用者之安全警示功能裝置, 例如設置訊號發射器以及訊號接收器作為倒車雷達在倒車時當有其他障礙靠近車尾時,會以音效提醒駕駛人員之設備。但是對於駕駛人員而言,汽車依然存在有特定的視覺死角,特別是在倒車時駕駛人員的視野範圍會有很大一部分被車身所擋住造成視覺的死角,使得駕駛人員無法得知較靠近車身的地方是否有障礙或路面凹陷存在。
於現有技術中亦有在車外裝設攝影設備,利用影像擷取裝置取得影像並顯示在車內的顯示裝置上以供駕駛人員參考,然而影像擷取裝置所取得的影像範圍有限,且並需固定在同一位置上,使得影像擷取的拍攝範圍無法隨著汽車轉彎時的角度大小而改變,如此一來還是會有部分的視覺死角產生,而且影像擷取裝置所拍攝之影像為平面影像,駕駛人員很難依據此影像來掌握與障礙之間的距離。現在有部分廠商會在影像中加入參考線以做為駕駛人員判斷距離的依據,但是這樣的方法駕駛人員只能得知大致的距離,無法準確的判斷出障礙或路面凹陷與車體的距離。
本發明之目的,係提供一種運用結構光感測障礙之倒車警示方法,藉由裝設於移動載具後側的結構光投影模組及結構光攝像單元接收障礙所反射之複數個光圖像訊號,並在移動載具倒車時確定有後方有障礙則發出警示訊號提醒移動載具之駕駛人員。
為達上述之指稱之各目的與功效,本發明之一實施例係揭示一種運用結構光感測障礙之倒車警示方法,其步驟:使用結構光投影模組投射複數個光平面,結構光攝像單元接收所反射之複數個光圖像訊號,處理單元由光圖像訊號計算出高度及距離,並依據高 度確定是否會影響倒車安全後,再依據距離及依據移動載具之速度所計算出的警示距離資訊從資料庫中取得警示資訊,警示模組依據警示資訊發出警示。
於本發明之一實施例中,其中該處理單元依據該速度資訊、一重力加速度資訊與該移動載具之輪胎之一摩擦係數計算取得該警示距離資訊。
於本發明之一實施例中,於該處理單元依據高度判斷是否影響該移動載具倒車安全的步驟中,該處理單元依據該高度及該移動載具的一安全高度資訊判斷障礙是否會影響該移動載具的倒車安全。
於本發明之一實施例中,其中於利用該警示模組發出該警示通知之步驟中,係使用該警示模組之至少一音效單元發出該警示通知。
於本發明之一實施例中,其中該警示模組依據該警示資訊控制該音效單元發出該警示通知之頻率。
於本發明之一實施例中,其中於使用設置於該移動載具之該結構光攝像單元接收該至少一障礙經該光平面之投影而反射之複數個光圖像訊息後,其更包含步驟:使用該處理單元利用該些光圖像訊息計算該至少一障礙之輪廓;依據該至少一障礙之輪廓而分析其種類;若該至少一障礙為不影響該移動載具之倒車安全,則忽視該至少一障礙。
於本發明之一實施例中,其中於該處理單元依據該些光圖像訊息計算該至少一障礙之該高度資訊及該距離資訊之步驟後,該方法 之步驟更包含:顯示該些光圖像訊息於一顯示單元;該處理單元於該顯示單元標記該至少一障礙中最接近該移動載具者。
於本發明之一實施例中,其中於使用設置於該移動載具之該結構光投影模組連續投影複數個光平面於該移動載具周邊之該至少一障礙之步驟前,該方法之步驟更包含:使用一行進狀態感測單元取得該移動載具之一行進狀態,確定該行進狀態為倒車。
1‧‧‧移動載具
10‧‧‧結構光投影模組
101‧‧‧雷射光源單元
103‧‧‧透鏡組
105‧‧‧光平面
20‧‧‧結構光攝像單元
30‧‧‧處理單元
40‧‧‧警示模組
401‧‧‧音效單元
50‧‧‧電源供應單元
60‧‧‧顯示單元
70‧‧‧資料庫
80‧‧‧行進狀態感測單元
90‧‧‧攝像單元
2‧‧‧障礙
第一圖:其係為本發明之第一實施例之運用結構光感測障礙之倒車警示方法之系統方塊圖;第二圖:其係為本發明之第一實施例之運用結構光感測障礙之倒車警示方法之應用示意圖,用以表示光平面投影於障礙;第三圖:其係為本發明之第一實施例之運用結構光感測障礙之倒車警示方法之光平面係包含二維點陣列之示意圖;第四圖:其係為本發明之第一實施例之運用結構光感測障礙之倒車警示方法之流程圖;第五圖:其係為本發明之第二實施例之運用結構光感測障礙之倒車警示方法之流程圖;以及第六圖:其係為本發明之第二實施例之運用結構光感測障礙之倒車警示方法之系統方塊圖。
為使 貴審查委員對本發明之特徵及所達成之功效有更進一步之瞭解與認識,謹佐以較佳之實施例及配合詳細之說明,說明如後:
先前之技術中,因為一般影像擷取裝置所拍攝出之影像為平面影 像,運用在倒車時容易造成駕駛人員無法準確的判斷障礙物的距離及高度,因此本發明提出一種運用結構光感測障礙之倒車警示方法,運用結構光的反射計算出障礙物與移動載具的實際距離及障礙物之高度以供駕駛人員參考,並於障礙進入警示範圍內時向駕駛人員提出警告。
首先請一併參考第一圖以及第二圖,本發明所揭示之運用結構光感測障礙之倒車警示系統係設置於一移動載具1(例如汽車、公車或大卡車等)之後側,而此運用結構光感測障礙之倒車警示系統在硬體結構上係包含一結構光投影模組10、一結構光攝像單元20、一處理單元30、一警示模組40、一顯示單元60、一資料庫70及一行進狀態感測單元80。上述之單元及模組皆可與一電源供應單元50電性連接而獲得電力供應以進行運作。
結構光投影模組10包含一雷射光源單元101以及一透鏡組103,其係用以偵測移動載具1後方數十公尺內的空間當中是否存在可能會影響到行車安全的障礙,例如來往的行人、動物、其他移動載具,或者是固定之柵欄、灌本叢、地面之隆起或凹陷等。本發明所使用的偵測方式是透過結構光技術,其原理是利用光源向被測障礙之表面投射可控制的光點、光條或光平面,再由攝像機等感測器獲得反射之圖像,經幾何計算就可獲得障礙的立體座標。本發明在一較佳實施例中,係採用不可見雷射作為光源,利用其同調性好、衰減慢、量測距離長、精準度高等特性,加上其不易受其他光源影響,因此較一般的光線投射為佳。雷射光源單元101提供之光源在透過透鏡組103後發散,其在空間中形成一光平面105。本發明所使用的透鏡組103可包含圖案化透鏡(pattern lens),其具有圖案化之微結構而可使穿透的雷射光源所形成的光平面具有圖案化特徵,例如在二維平面呈現光點陣列,如第三圖所示。
若移動載具1的後方存在有障礙、地面之凹陷或地面之隆起等障礙2,則光平面105在投影於障礙2之表面時,光線會被反射而以作為光圖像訊息的形式被結構光攝像單元20所接收,結構光攝像單元20為可以接收不可見雷射之攝像單元。光圖像訊息為結構光投影模組10所投影之光平面105在經過障礙2本身表面的不規則性反射而形成的變形圖案,結構光攝像模組20接收到此變形圖案後,處理單元30可進一步利用這些變形圖案,重建障礙2的立體外觀輪廓。
處理單元30為一可進行算術及邏輯運算之電子元件。警示模組40包含一音效單元401,警示模組40收警示訊息後可依據警示訊息驅動音效單元401發出警示,由音效單元401所發出之警示可為音效、語音或其他可給予駕駛人員提示之聲響。顯示單元60可為液晶螢幕、電漿螢幕、陰極射線管螢幕或其他可以顯示數位影像之顯示單元。資料庫70為一可儲存數位資訊之電子元件,儲存有至少一警示資訊,其中資料庫70不限定於設置在移動載具1,亦可是設置在外部。移動載具1透過無線或有線之方式連線至資料庫70以取得警示資訊。行進狀態感測單元80可感測移動載具1之行進狀態,行進狀態感測單元80可以是依據加速度或其他可以產生加速度的感測器所產生之資訊判斷移動載具1之行進狀態;行進狀態感測單元80亦可以是依據移動載具1之排檔桿之檔位判斷移動載具1之行進狀態;行進狀態感測單元80亦可以裝設於移動載 具1之輪胎或輪軸,以感測移動載具1之輪胎或輪軸之轉動方向來判斷移動載具1之行進狀態。電源供應單元50可為電池或外接式電源。
接著說明本發明之第一實施例之運用結構光感測障礙之倒車警示方法之流程,請參閱第四圖,其係為本發明之第一實施例之運用結構光感測障礙之倒車警示方法之流程圖。如圖所示,本實施例於執行時所需之步驟包含:步驟S1:判斷行動載具之行進狀態;步驟S3:結構光攝像單元取得複數個光圖像訊息;步驟S5:處理單元依據該些光圖像訊息計算該障礙之高度資訊及距離資訊;步驟S7:確定障礙影響倒車安全;步驟S9:取得警示距離資訊;步驟S11:處理單元標記障礙;步驟S13:處理單元取得警示資訊;以及步驟S15:處理單元輸入警示資訊至警示模組。
以下將說明本發明之第一實施例之運用結構光感測障礙之倒車警示方法執行時之流程,請參閱搭配第一圖、第二圖、第三圖及第四圖。移動載具1行駛於道路上並搭載有可執行本發明之運用結構光感測障礙之倒車警示方法之系統時,將執行步驟S1至步驟S15。
於步驟S1中,判斷移動載具1之行進狀態,行進狀態感測單元80判斷移動載具1目前之行進狀態,舉例而言,當行進狀態感測單元80是加速度感測器時,可藉由該加速度感測器所感測之加速度判斷移動載具1是處於倒車還是其他狀態。當行進狀態感測單元80是依據移動載具1之排檔桿之檔位判斷移動載具1之行進狀態時,可藉由排檔桿所在之檔位是否為倒車檔判斷移動載具1是否處於倒車。當行進狀態感測單元80是裝設在移動載具1之輪胎或輪軸時,行進狀態感測單元80可以依據移動載具之輪胎或輪軸的轉動方向判斷移動載具1之行進狀態。當移動載具1並非是處於倒車時,重複步驟S1。
於步驟S3中,結構光射攝像單元20取得複數光圖像訊息,該結構光投影模組10之雷射光源單元101連續投射複數個光平面105至移動載具1周圍之至少一障礙2之表面,結構光射攝像單元20取得障礙2之表面經該些光平面105之投影後所反射之複數個光圖像訊息。雷射光源單元101所發出之雷射光因為會透過透鏡組103後發散,所以投射距離有限,不會投射至離移動載具1較遠之障礙,在一實施例中雷射光源單元101所發出之雷射光投射距離在15公尺以內。在另一實施例中,可透過調整雷射光源單元101之功率進一步的增加或降低雷射光投射之距離,例如:當移動載具1是一般小客車所需的煞車距離較短,因此可以降低雷射光源單元101之功率,使得只有較靠近移動載具1的障礙才會反射雷射光,可以降低電能的消耗,亦可減少處理單元30所需處理的資料;而當移動載具1是大客車或牽引車時其所需的煞車距離較長,因此可以提高雷射光源單元101之功率,使得離移動載具1較遠的障礙也 會反射雷射光,藉此可增加倒車的安全性。
於步驟S5中,處理單元30依據該些光圖像訊息計算障礙2之高度資訊及距離資訊之至少一者,其可將結構光攝像單元20所取得的光圖像訊息進行計算與分析,利用其變化程度而取得障礙2與移動載具1之間的距離資訊、高度資訊,以及障礙2的外觀輪廓。其中,當障礙2之高度資訊為正值時,障礙2為物體或是地面之隆起,當障礙2之高度資訊為負值時,障礙2為地面之凹陷。
於步驟S7中,處理單元30判斷障礙2會影響倒車安全,處理單元30依據障礙2之高度資訊及移動載具1之一安全高度資訊判斷障礙2是否會影響移動載具1之倒車安全,如果是則執行步驟S9,如果不是則執行步驟S3。安全高度資訊可為移動載具1之底盤離地面之高度移動載具1之輪胎半徑或是其他預先設定之數值。在此選擇移動載具1之底盤離地面之高度為安全高度資訊進行說明,當障礙2之高度值為正值且小於移動載具1之底盤離地面之高度時,此障礙2對於移動載具1的倒車不會有任何影響,同理,當障礙2之高度值為負值時,障礙2之高度值之絕對值小於移動載具1之底盤離地面之高度時,此障礙2亦對於移動載具1的倒車不會有任何影響,反之,當障礙2之高度值為正值且大於移動載具1之底盤離地面之高度時,在移動載具1倒車時會碰撞到此障礙2,當障礙2之高度值為負值時,障礙2之高度值之絕對值大於移動載具1之底盤離地面之高度時,在移動載具1倒車時則會陷入此障礙2中,對倒車安全造成影響。於一實施例中,處理單元30亦可以依據移動載具1之輪胎半徑判斷障礙2是否會影響倒車安全。駕駛人員更可以依據自身開車習慣設定安全高度資訊。
於步驟S9中,處理單元30取得警示距離資訊,當行進狀態感測單元80為加速度感測器時,可藉由加速度感測器所產生的加速度資訊計算取得速度資訊,並進一步的計算取得警示距離資訊。亦可由裝設於輪胎、輪軸或移動載具1上其他地方之感測器取得移動載具1之速度資訊。處理單元30取得速度後,計算取得警示距離資訊,此警示距離資訊為最短煞車距離,其公式如下:
其中,V為移動載具1目前之速度,G為重力加速度,u為移動載具1之輪胎之摩擦係數。
於本發明之一實施例中,處理單元更可以依據最短煞車距離及駕駛人員反應所需距離取得警示距離資訊,其公式如下:D=D b +V×R
其中,R為駕駛人員之反應時間。
於步驟S11中,處理單元30標記障礙2,於此步驟中顯示單元60顯示障礙2之所反射之光圖像訊息,處理單元30則依據障礙2之外觀輪廓於顯示單元60所顯示的光圖像訊息上標記障礙2,藉此,駕駛人員可以透過顯示單元60得知障礙2之存在。處理單元30可以標記障礙2與移動載具1之距離於顯示單元30,舉例而言,當障礙2在移動載具1附近3公尺的範圍內,障礙2之於顯示單元60上之光圖像訊息旁會標示3公尺;處理單元30更可以依據障礙2之距離資 訊改變光圖像訊息於顯示單元60上之顏色,舉例而言:當障礙2在移動載具1附近3公尺的範圍內,障礙2之光圖像訊息會被以紅色顯示於顯示單元60上,當障礙2在移動載具1附近10公尺的範圍內,障礙2之光圖像訊息會被以綠色顯示於顯示單元60上。
於步驟S13中,處理單元30取得警示資訊,處理單元30依據障礙2之高度資訊、距離資訊及警示距離資訊於資料庫70中取得警示資訊。
於步驟S15中,處理單元30輸入警示資訊至警示模組40,於此步驟中,處理單元30將於步驟S13中取得的警示資訊輸入至警示模組40,警示模組40則依據警示資訊控制音效單元401發出警示。
於本發明之一實施例中,於步驟S13,處理單元30依據障礙2之距離不同而從資料庫70取得不同之警示資訊,舉例而言,移動載具1之警示距離資訊為5公尺,當障礙2之距離資訊為3公尺時,處理單元30從資料庫70取得第一警示資訊,而當障礙2之距離資訊為10公尺時從資料庫70取得第二警示資訊。
於本發明之一實施例中,於步驟S15,當該警示訊息為第一警示訊息時,因為會有立即性的危險,警示模組40會控制音效單元401以連續的聲響提醒駕駛人員或是以語音告知即將接觸障礙2;當該警示訊息為第二警示訊息時,因為還有部分緩衝距離,警示模組40會控制音效單元401以間歇的聲響提醒駕駛人員或是以語音告知警示距離外存在有障礙2,其中當音效單元401是以聲響提醒駕駛人員時,音效單元401依據第一警示訊息所發出之聲響的頻率會高於音效單元401依據第二警示訊息所發出之聲響的頻率 。
於本發明之一實施例中,於步驟S5,處理單元30可以先計算距離資訊或高度資訊其中之一,待執行完與所計算之資訊相應之步驟後再計算另一者,再執行另一者相應之步驟。舉例而言,處理單元30可先計算高度資訊,接著執行步驟S7,之後處理單元30再回到步驟S5計算距離資訊,再接著執行步驟S7至步驟S15,或者,處理單元30亦可先計算距離資訊,接著執行步驟S7,之後處理單元30再回到步驟S5計算高度資訊,接著再執行步驟S7至步驟S15。
於上述之步驟執行完後即完成本發明之第一實施例之運用結構光感測障礙距離之倒車警示方法。本發明可依據結構光取得移動載具1後方之障礙2之高度資訊及距離資訊,並依據高度資訊及距離資訊及依據移動載具1之加速度、輪胎磨擦係數所取得之警示距離資訊判斷此障礙2是否會在移動載具1倒車時造成危險。
接著說明本發明之第二實施例之運用結構光感測障礙距離之倒車警示方法,請參閱第五圖及第六圖,其為本發明之第二實施例之運用結構光感測障礙距離之倒車警示方法流程圖及系統方塊圖。本實施例與第一實施例之差異在於:於本實施例之系統中更包含一攝像單元90,攝像單元90為攝影機或是其他可以連續擷取影像之設備。於本實施例之流程中於步驟S5後更包含步驟S6:分析障礙種類,於步驟S7後更包含步驟S8:顯示障礙影像。本實施例其餘部分與第一實施例相同,於此不再贅述。
於步驟S6中,有鑒於移動載具1的後方會存在不同類型的障礙2, 而各種障礙2對於倒車安全有不同程度的影響,例如石塊、其他車輛、路面隆起、路面凹陷或行人等皆會影響到車安全、而大量的雜草事實上對於倒車安全並不會有影響…等,因此於步驟S6中處理單元30使用光圖像訊息重建障礙2之立體外觀輪廓,並將障礙2進行分類,以判斷其是否對移動載具1造成威脅。分類的方式可利用不同障礙2的外觀特徵進行辨識,利用障礙2的特徵與資料庫70中所預先儲存的資料作比對。若經過分類,即可判斷障礙2是否不影響移動載具1的倒車安全,例如是對於倒車安全不會造成危險的草,此時處理單元30得忽視該障礙。
於本發明之一實施例中,於步驟S6,處理單元30在識別障礙2前更可以先使用一分群演算法對光圖像訊息上之障礙2進行分群。光圖像訊息中會包含地面以及至少一障礙2所反射的結構光,可以先藉由分群演算法將地面與障礙2分離,而當光圖像訊息中包含有多個障礙2時,亦可於分群演算法分離地面及障礙2時加以區分成第一障礙、第二障礙…等,使得後續進行障礙2之分類時可以有效地取得障礙2之輪廓。
於本發明之一實施例中,分群演算法為K平均演算法(K-means clustering)。
於步驟S8中,攝像單元90會連續拍攝周圍取得一影像,處理單元30則依據於步驟S5中所取得障礙2之輪廓及障礙之位置將影像中之障礙2顯示於顯示單元60。
於本發明之第二實施例中,駕駛人員更可以藉由顯示單元上所顯示之障礙影像更準確的判斷障礙的種類及距離。
於本發明之一實施例中,結構光投影模組10及結構光攝像單元20、攝像單元90是設置於移動載具1之後側。
於本發明之一實施例中,結構光投影模組10或\及結構光攝像單元20或\及攝像單元90與地面之夾角小於等於90度,於實際使用時,移動載具1在倒車的時候駕駛人員只需知道後方是否有會影響倒車安全的障礙2存在,換而言之,只要提供障礙2的部分輪廓,而無須取得障礙2之全貌,藉由調整結構光投影模組10或\及結構光攝像單元20或\及攝像單元90與地面之夾角,可以使所取得之障礙2之光圖像訊息或\及影像並不會為障礙2之全貌,可藉此減少處理單元30之運算量及駕駛人員接收的資訊量。
惟以上所述者,僅為本發明之較佳實施例而已,並非用來限定本發明實施之範圍,舉凡依本發明申請專利範圍所述之形狀、構造、特徵及精神所為之均等變化與修飾,均應包括於本發明之申請專利範圍內。

Claims (18)

  1. 一種運用結構光感測障礙之倒車警示方法,其用於一移動載具,其步驟包含:使用設置於該移動載具之一結構光投影模組連續投影複數個光平面於該移動載具周圍之至少一障礙;使用設置於該移動載具之一結構光攝像單元接收該至少一障礙之表面經該些光平面之投影所反射之複數個光圖像訊息;該處理單元依據該些光圖像訊息計算該至少一障礙之一高度資訊;以及該處理單元依據該高度資訊判斷是否影響該移動載具之倒車安全。
  2. 如專利申請範圍第1項所述之運用結構光感測障礙之倒車警示方法,其中於該處理單元依據該高度資訊判斷是否影響該移動載具之倒車安全之步驟後,該方法更包含:該處理單元依據該些光圖像訊息計算該至少一障礙之一距離資訊;輸入該移動載具之一速度資訊至該處理單元,該處理單元依據該速度資訊計算取得一警示距離資訊;該處理單元依據該警示距離資訊及該距離資訊從一資料庫中取得一警示資訊;一警示模組依據該警示資訊發出警示通知。
  3. 如專利申請範圍第2項所述之運用結構光感測障礙之倒車警示方 法,其中該處理單元依據該速度資訊、一重力加速度資訊與該移動載具之輪胎之一摩擦係數計算取得該警示距離資訊。
  4. 如專利申請範圍第1項所述之運用結構光感測障礙之倒車警示方法,其中於該處理單元依據該高度資訊判斷是否影響該移動載具之倒車安全步驟中,該處理單元依據該障礙之高度資訊及該移動載具之一安全高度資訊判斷該障礙是否會影響該移動載具之倒車安全。
  5. 如專利申請範圍第1項所述之運用結構光感測障礙之倒車警示方法,其中於一警示模組依據該警示資訊發出警示通知之步驟中,係使用該警示模組之至少一音效單元發出警示通知,該警示模組依據該警示資訊控制該音效單元發出警示通知之頻率。
  6. 如專利申請範圍第1項所述之運用結構光感測障礙之倒車警示方法,其中於使用設置於該移動載具之一結構光攝像單元接收該至少一障礙之表面經該些光平面之投影所反射之複數個光圖像訊息的步驟後,其更包含步驟:該處理單元利用該些光圖像訊息計算該至少一障礙之輪廓;依據該至少一障礙之輪廓而分析其種類;若該至少一障礙為不影響該移動載具之倒車安全,則忽視該至少一障礙。
  7. 如專利申請範圍第1項所述之運用結構光感測障礙之倒車警示方法,其中於該處理單元依據該些光圖像訊息計算該至少一障礙之一高度資訊之步驟後,該方法之步驟更包含:使用一攝像模組取得至少一影像,一顯示單元顯示該影像。
  8. 如專利申請範圍第1項所述之運用結構光感測障礙之倒車警示方法,其中於使用設置於該移動載具之一結構光投影模組連續投影 複數個光平面於該移動載具周圍之至少一障礙之步驟前,該方法之步驟更包含:使用一行進狀態感測單元取得該移動載具之一行進狀態,確定該行進狀態為倒車。
  9. 如專利申請範圍第1項所述之運用結構光感測障礙的倒車警示方法,其中於使用設置於該移動載具之一結構光攝像單元接收該至少一障礙之表面經該些光平面之投影所反射之多個光圖像資訊之步驟後,其更包含步驟:該處理單元利用該些光圖像資訊計算該至少一障礙之輪廓;該處理單元依據該至少一障礙之輪廓於一顯示單元顯示並標記該至少一障礙。
  10. 一種運用結構光感測障礙之倒車警示方法,其用於一移動載具,其步驟包含:使用設置於該移動載具之一結構光投影模組連續投影複數個光平面於該移動載具周圍之至少一障礙;使用設置於該移動載具之一結構光攝像單元接收該至少一障礙之表面經該些光平面之投影所反射之複數個光圖像訊息;該處理單元依據該些光圖像訊息計算該至少一障礙之一距離資訊;輸入該移動載具之一速度資訊至該處理單元,該處理單元依據該速度資訊計算取得一警示距離資訊;該處理單元依據該警示距離資訊及該距離資訊從一資料庫中取得一警示資訊;以及一警示模組依據該警示資訊發出警示通知。
  11. 如專利申請範圍第10項所述之運用結構光感測障礙之倒車警示方 法,其中於輸入該移動載具之一速度資訊至一處理單元之步驟後,該方法更包含:該處理單元依據該些光圖像訊息計算一高度資訊;該處理單元依據該高度資訊判斷是否影響該移動載具之倒車安全。
  12. 如專利申請範圍第10項所述之運用結構光感測障礙之倒車警示方法,其中該處理單元依據該速度資訊、一重力加速度資訊與該移動載具之輪胎之一摩擦係數計算取得該警示距離資訊。
  13. 如專利申請範圍第11項所述之運用結構光感測障礙之倒車警示方法,其中於該處理單元依據該高度資訊判斷是否影響該移動載具之倒車安全之步驟中,該處理單元是依據該障礙之高度資訊及該移動載具之一安全高度資訊判斷該障礙是否會影響該移動載具之倒車安全。
  14. 如專利申請範圍第10項所述之運用結構光感測障礙之倒車警示方法,其中於一警示模組依據該警示資訊發出警示通知之步驟中,係使用該警示模組之至少一音效單元發出警示通知,警示模組依據該警示資訊控制該音效單元發出警示通知之頻率。
  15. 如專利申請範圍第10項所述之運用結構光感測障礙之倒車警示方法,其中於使用設置於該移動載具之一結構光攝像單元接收該至少一障礙的表面經該些光平面之投影所反射之複數個光圖像訊息之步驟後,其更包含步驟:該處理單元利用該些光圖像訊息計算該至少一障礙之輪廓;依據該至少一障礙之輪廓而分析其種類;若該至少一障礙為不影響該移動載具之倒車安全,則忽視該至少一障礙。
  16. 如專利申請範圍第10項所述之運用結構光感測障礙之倒車警示方法,其中於該處理單元依據該些光圖像訊息計算該至少一障礙之一距離資訊後,該方法之步驟更包含:使用一攝像模組取得至少一影像,一顯示單元顯示該影像。
  17. 如專利申請範圍第10項所述之運用結構光感測障礙之倒車警示方法,其中於使用設置於該移動載具之一結構光投影模組連續投影複數個光平面於該移動載具周圍之至少一障礙之步驟前,該方法之步驟更包含:使用一行進狀態感測單元取得該移動載具之一行進狀態,確定該行進狀態為倒車。
  18. 如專利申請範圍第10項所述之運用結構光感測障礙之倒車警示方法,其中於使用設置於該移動載具之一結構光攝像單元接收該至少一障礙的表面經該些光平面之投影所反射之多個光圖像資訊之步驟後,其更包含步驟:該處理單元利用該些光圖像資訊計算該至少一障礙之輪廓;該處理單元依據該障礙的輪廓於一顯示單元顯示並標記該至少一障礙。
TW104140935A 2015-12-07 2015-12-07 Using structured light sensing barrier reversing warning method TWI596361B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW104140935A TWI596361B (zh) 2015-12-07 2015-12-07 Using structured light sensing barrier reversing warning method
CN201610568995.0A CN106828304A (zh) 2015-12-07 2016-07-19 运用结构光感测障碍的倒车警示方法
JP2016158054A JP6474766B2 (ja) 2015-12-07 2016-08-10 構造光を運用し障害を感知するバック警告方法
US15/352,887 US9963069B2 (en) 2015-12-07 2016-11-16 Alarm method for reversing a vehicle by sensing obstacles using structured light

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104140935A TWI596361B (zh) 2015-12-07 2015-12-07 Using structured light sensing barrier reversing warning method

Publications (2)

Publication Number Publication Date
TW201721181A TW201721181A (zh) 2017-06-16
TWI596361B true TWI596361B (zh) 2017-08-21

Family

ID=58799660

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104140935A TWI596361B (zh) 2015-12-07 2015-12-07 Using structured light sensing barrier reversing warning method

Country Status (4)

Country Link
US (1) US9963069B2 (zh)
JP (1) JP6474766B2 (zh)
CN (1) CN106828304A (zh)
TW (1) TWI596361B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109839628A (zh) * 2017-11-29 2019-06-04 杭州萤石软件有限公司 一种障碍物确定方法及移动机器人
AT520794B1 (de) * 2017-12-20 2019-11-15 Prinoth Ag Schneefahrzeug
TWI688502B (zh) * 2018-02-14 2020-03-21 先進光電科技股份有限公司 用於警告車輛障礙物的設備
TWI733449B (zh) * 2020-05-14 2021-07-11 國立雲林科技大學 自由空間偵測系統及自由空間偵測方法
CN113734048B (zh) * 2020-05-29 2024-05-07 广州汽车集团股份有限公司 一种倒车预警方法和装置
DE102020211461B4 (de) * 2020-09-11 2022-03-24 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Rückfahrassistenzsystems für ein Fahrzeug und Rückfahrassistenzsystem
CN112339762A (zh) * 2020-10-29 2021-02-09 三一专用汽车有限责任公司 倒车影像安全预警方法、搅拌车和计算机可读存储介质
CN112744216A (zh) * 2020-12-25 2021-05-04 南京爱动信息技术有限公司 一种基于工业叉车智能化的后方车距检测装置及检测方法
CN113370979B (zh) * 2021-07-09 2022-10-18 北京福田戴姆勒汽车有限公司 行车安全预警方法及系统、车辆、电子设备和存储介质
CN113581080B (zh) * 2021-08-18 2022-07-15 苏州双福智能科技有限公司 一种新能源汽车用倒车盲区辅助显示装置
CN113936500B (zh) * 2021-10-08 2022-12-27 奇瑞新能源汽车股份有限公司 车辆的后向交通穿行预警方法及装置
CN115951621B (zh) * 2023-03-15 2023-05-30 临工重机股份有限公司 高空作业平台避障控制方法、装置、电子设备及存储介质
CN116883478B (zh) * 2023-07-28 2024-01-23 广州瀚臣电子科技有限公司 一种基于汽车摄像头的障碍物距离确认系统及方法
CN116908828B (zh) * 2023-09-12 2023-12-19 永林电子股份有限公司 一种车用尾灯距离感应控制方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100253595A1 (en) * 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Virtual controls and displays by laser projection
CN101987597A (zh) * 2009-08-03 2011-03-23 袁克虹 基于角度信息的可视化倒车轨迹线形成系统及方法
TW201226234A (en) * 2010-12-28 2012-07-01 Automotive Res & Testing Ct Image type obstacle detection car reversing warning system and method
TW201432222A (zh) * 2013-02-06 2014-08-16 Flex Instr Co Ltd 立體距離測定方法及其系統
TWM507874U (zh) * 2015-04-17 2015-09-01 Hua Chuang Automobile Information Technical Ct Co Ltd 行車測距三維影像輔助系統

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0659038A (ja) * 1992-08-07 1994-03-04 Nissan Motor Co Ltd 車両用レーザレーダ
JPH0687377A (ja) * 1992-09-04 1994-03-29 Yazaki Corp 車両周辺監視装置
JP2001343460A (ja) * 2000-06-02 2001-12-14 Mitsubishi Electric Corp 周辺車両検出装置
DE102005015088B4 (de) * 2004-04-02 2015-06-18 Denso Corporation Fahrzeugumgebungsüberwachungssystem
JP4470041B2 (ja) * 2004-06-22 2010-06-02 株式会社エクォス・リサーチ 障害物検知支援装置
JP2006168459A (ja) * 2004-12-14 2006-06-29 Takenobu Yabe 車両周囲監視警報装置
EP1876829A4 (en) * 2005-04-28 2010-06-09 Aisin Seiki SYSTEM FOR MONITORING THE PERIPHERY OF A VEHICLE
JP2007112317A (ja) * 2005-10-21 2007-05-10 Fujitsu Ten Ltd 接触回避支援装置
JP2010188988A (ja) * 2009-02-18 2010-09-02 Tomotada Enami 青色光線衝突防止装置
US20130258108A1 (en) * 2010-12-24 2013-10-03 Hitachi, Ltd. Road Surface Shape Recognition System and Autonomous Mobile Apparatus Using Same
CN103129536A (zh) * 2011-12-05 2013-06-05 镁骅科技有限公司 车辆倒车安全装置
KR102129588B1 (ko) * 2013-06-26 2020-07-02 현대모비스(주) 물체 인식 시스템
CN104700065B (zh) * 2013-12-04 2018-09-28 财团法人车辆研究测试中心 可提高分类效能的物体影像检测方法与装置
CN103822614B (zh) * 2014-03-14 2015-12-30 河北工业大学 倒车影像的三维测量方法
CN104802710B (zh) * 2015-04-17 2017-07-11 浙江大学 一种智能汽车倒车辅助系统及辅助方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100253595A1 (en) * 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Virtual controls and displays by laser projection
CN101987597A (zh) * 2009-08-03 2011-03-23 袁克虹 基于角度信息的可视化倒车轨迹线形成系统及方法
TW201226234A (en) * 2010-12-28 2012-07-01 Automotive Res & Testing Ct Image type obstacle detection car reversing warning system and method
TW201432222A (zh) * 2013-02-06 2014-08-16 Flex Instr Co Ltd 立體距離測定方法及其系統
TWM507874U (zh) * 2015-04-17 2015-09-01 Hua Chuang Automobile Information Technical Ct Co Ltd 行車測距三維影像輔助系統

Also Published As

Publication number Publication date
US20170158128A1 (en) 2017-06-08
TW201721181A (zh) 2017-06-16
CN106828304A (zh) 2017-06-13
JP2017107537A (ja) 2017-06-15
US9963069B2 (en) 2018-05-08
JP6474766B2 (ja) 2019-02-27

Similar Documents

Publication Publication Date Title
TWI596361B (zh) Using structured light sensing barrier reversing warning method
US10528827B2 (en) Apparatus for presenting result of recognizing recognition target
JP6113375B2 (ja) 運転支援装置および運転支援方法
TWI596362B (zh) Method and system for detecting wheel slip within object distance using structured light
JP6933457B2 (ja) 認識結果提示装置、認識結果提示方法及び自律移動体
EP3576973B1 (en) Method and system for alerting a truck driver
JP5769163B2 (ja) 警報装置
JPWO2017056995A1 (ja) 車両状態表示システム
US10732420B2 (en) Head up display with symbols positioned to augment reality
WO2016035214A1 (ja) 衝突回避システム及び衝突回避方法
CN106476695B (zh) 用于可视性增强的系统和方法
JP5547160B2 (ja) 車両周辺監視装置
JP2007241898A (ja) 停止車両分別検出装置および車両の周辺監視装置
TWI595457B (zh) Anti-collision three-dimensional depth sensing system and its operation method
JP2017159698A (ja) 車両用照明装置
TWM454349U (zh) 車用全向性警示系統
US20130271606A1 (en) Method of displaying an assistant screen for improving driving safety of a vehicle
JP2009154775A (ja) 注意喚起装置
KR20130074259A (ko) 위험도에 따른 차량 색상 변경 시스템 및 그 방법
KR20110118882A (ko) 차량의 사이드미러를 대체하는 측방충돌방지 경보시스템
TWI618644B (zh) Image overlay method
KR20160118014A (ko) Hud에서 가상이미지를 생성하는 장치 및 방법
TWM607656U (zh) 移動載具內輪差之警示系統
TWM515244U (zh) 三維行車影像提醒裝置
TWM482526U (zh) 行車監控裝置