TWI686747B - 移動載具全周障礙迴避之方法 - Google Patents

移動載具全周障礙迴避之方法 Download PDF

Info

Publication number
TWI686747B
TWI686747B TW107142647A TW107142647A TWI686747B TW I686747 B TWI686747 B TW I686747B TW 107142647 A TW107142647 A TW 107142647A TW 107142647 A TW107142647 A TW 107142647A TW I686747 B TWI686747 B TW I686747B
Authority
TW
Taiwan
Prior art keywords
obstacle
information
depth
images
peripheral
Prior art date
Application number
TW107142647A
Other languages
English (en)
Other versions
TW202020733A (zh
Inventor
李宗翰
魏宏源
江進豐
徐世鈞
張祖錕
Original Assignee
財團法人金屬工業研究發展中心
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人金屬工業研究發展中心 filed Critical 財團法人金屬工業研究發展中心
Priority to TW107142647A priority Critical patent/TWI686747B/zh
Priority to CN201910985251.2A priority patent/CN111231830A/zh
Priority to US16/662,342 priority patent/US11468686B2/en
Priority to SG10201910618VA priority patent/SG10201910618VA/en
Priority to JP2019215138A priority patent/JP7061104B2/ja
Application granted granted Critical
Publication of TWI686747B publication Critical patent/TWI686747B/zh
Publication of TW202020733A publication Critical patent/TW202020733A/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G06V10/85—Markov-related models; Markov random fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Transportation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本發明為關於一種移動載具全周障礙迴避之方法，其先取得深度資訊建構出環境資訊後在進行圖像拼合具有更高精確度，移動載具使用多個深度攝影單元而設置一個全向式深度感測模組，以取得移動載具周遭環境之深度資訊，並透過深度資訊來判斷道路環境中之障礙物，且針對地面平整度進行掃描，區隔出固定障礙物及移動障礙物，並驅使控制電路控制移動載具進行減速或規避危險。

Description

移動載具全周障礙迴避之方法
本發明係有關於一種障礙規避之方法，尤指一種移動載具全周障礙迴避之方法。
現今將影像擷取裝置設置於移動載具上，為相當成熟的技術，例如:一種以距離參數調校圖形正確性之3D環車影像系統，其主要將擷取單元、感測單元及處理單元設置於車輛上。擷取單元用以擷取車輛周遭之多方位之鳥瞰影像並傳送鳥瞰影像；感測單元用以感測車輛與車輛周遭物體之距離以產生複數個距離訊號並傳送距離訊號；處理單元具有校正模組、拼接模組及運算模組，處理單元係接收擷取單元所傳送之鳥瞰影像及感測單元所傳送之距離訊號，藉由校正模組依據距離訊號校正鳥瞰影像之座標系統之位置，再藉由運算模組利用演算法及插補技術以得到3D環車影像。擷取單元係用以擷取車輛周邊之多方位之複數個鳥瞰影像，並傳送鳥瞰影像。感測單元係用以感測車輛與車輛周遭至少一物體之距離以產生複數個距離訊號，並傳送距離訊號。但因超音波感測器距離較近時才能得到完整距離資訊，且感測精確度不高，較不適用於車輛移動中障礙物偵測。
為了改進感測精確度，現有利用多個相機鏡頭組建相機鏡頭組。每個攝像機鏡頭分別設置車輛周圍的不同位置部門以分別拍攝多個外部圖像並在車輛周圍輸出。接收圖像的三維圖像處理模塊和圍繞投影圖像輸出的合成三維圖像，並依據該駕駛人視角對應的視野擷取局部的該三維環場投影影像並輸出一局部三維車外影像。但是，行進間其他角度的影像並未能同時觀察，且未能及時獲得一動載具周邊障礙物的距離資訊。
之後，雖然針對移動載具周邊障礙物偵測有諸多改良，以達成監控，但移動載具之行進過程中，除了其他載具所造成之危險外，還有更多的人事物會造成影響，例如：行人、動物、移動物體等可視為移動載具之障礙物，都會造成在行進過程中導致緊急狀況發生，如此影響在壅擠之都市街道最為嚴重。
針對上述之問題，本發明提供一種移動載具全周障礙迴避之方法，其透過取得全周影像與全周之深度資訊，而進一步即時獲得移動載具之周邊障礙物資訊，並針對危險程度較高的障礙控制移動載具進行迴避，以達成全周障礙迴避。
本發明之一目的，在於提供一種移動載具全周障礙迴避之方法，其提供一融合之全周影像，藉此搭配深度資訊進行全周障礙物監測，以警示需迴避之障礙物。
本發明之一目的，在於提供一種移動載具全周障礙迴避之方法，其提供全周障礙物迴避之警示並進一步控制移動載具迴避障礙物。
本發明揭示一移動載具全周障礙迴避之方法，其先依據一移動載具之複數個深度攝影單元進行擷取複數周邊深度影像並依據一感測演算法取得複數個周邊深度資訊；接續依據一融合演算法融合該些個周邊影像為複數個全周環境影像並將該移動載具之一側分割為複數個偵測區域；然後依據該些個偵測區域運算該些個周邊深度資訊與該些個全周環境影像，以獲得該障礙物之一加速度向量資訊與一距離資訊；再依據該至少一障礙物之該加速度向量資訊與該距離資訊估測該至少一障礙物之一移動路徑；以及依據該至少一障礙物之該移動路徑產生一警示資訊。因此，本發明可針對移動載具而提供全周環境之障礙物迴避警示，以讓移動載具的駕駛者避免因周邊環境之障礙物產生危險。
本發明提供一實施例，其在於依據一移動載具之複數個深度攝影單元並依據一感測演算法取得複數個周邊深度資訊之步驟中，依據該些個深度攝影單元之感測結果與該感測演算法求得該些個周邊三維深度資訊。
本發明提供一實施例，其在於融合該些個周邊影像為一全周環境影像之步驟中，依據一融合演算法消除該些個周邊影像之複數個重疊區域並融合成該全周環境影像。
本發明提供一實施例，其在於該融合演算法進一步依據該影像擷取模組之複數個偵測範圍偵測該些個周邊影像之邊緣，以求得該些個重疊區域並消除。
本發明提供一實施例，其在於依據該至少一障礙物之該加速度向量資訊與該距離資訊估測該至少一障礙物之一移動路徑之步驟中，進一步估測該至少一障礙物之一移動速度與一移動距離。
本發明提供一實施例，其在於依據該至少一障礙物之該加速度向量資訊與該距離資訊估測該至少一障礙物之一移動路徑之步驟中，利用影像差分方式求得複數個光流向量，並依據該些個光流向量估測該至少一障礙物之該加速度向量資訊、該距離資訊、該移動速度與該移動距離。
本發明提供一實施例，其在於依據該至少一障礙物之該移動路徑產生一警示資訊之步驟中，進一步控制該移動載具迴避該至少一障礙物。
本發明提供一實施例，其在於依據該至少一障礙物之該移動路徑產生一警示資訊之步驟前，進一步包含:分類該至少一障礙物；以及標示該至少一障礙物。
本發明提供一實施例，其在於該警示資訊包含一障礙物警示資訊與一迴避資訊。
為使對本發明之特徵及所達成之功效有更進一步之瞭解與認識，謹佐以實施例及配合圖式說明如後：
請參閱第一圖，其為本發明之一實施例之流程圖。如圖所示，本發明之移動載具全周障礙迴避之方法，其步驟包括：
步驟S10：依據移動載具之深度攝影單元進行擷取周邊深度影像並依據感測演算法取得周邊深度資訊；
步驟S20：依據融合演算法融合周邊影像為全周環境影像並將移動載具之一側分割為偵測區域；
步驟S30：依據偵測區域運算周邊深度資訊與全周環境影像，以獲得障礙物之加速度向量資訊與距離資訊；
步驟S40：依據障礙物之加速度向量資訊與距離資訊估測障礙物之移動路徑；以及
步驟S50：依據障礙物之移動路徑產生警示資訊。
於步驟S10中，如第二A圖所示，一移動載具10透過一深度感測模組20之複數個深度攝影單元22針對周邊進行取像，而藉由車用控制晶片12之運算處理單元122獲得複數個周邊深度資訊Info(如第二B圖所示)，並透過車用控制晶片12之影像處理單元124獲得複數個周邊影像I1(如第二B圖所示)，本實施例中，該些個深度攝影單元22分別位於該移動載具10的周邊，以將該移動載具10之全周邊環境的該些個周邊影像一次擷取下來，且本實施例中，該深度感測模組20為設置複數個精度較高的深度攝影單元22，以取得半徑15米內的深度影像，而該些個深度攝影單元22為取得該移動載具10外之複數個全周邊深度資訊Info。
車用控制晶片12連接該些個深度攝影單元22，而構成該深度感測模組20，以分別取得全周邊的深度影像並經運算處理單元122與影像處理單元124之運算處理，而獲得該些個周邊深度資訊Info1與該些個周邊影像I1。其中，該些個深度攝影單元22更可透過紅外線、超音波等方式進行感測。再者，如第二B圖所示，本實施例中，該些個深度攝影單元22感測之結果經運算處理單元122依據一感測演算法進行運算，而產生該些個周邊深度資訊info並經該運算處理單元122整合為複數個全周邊深度資訊Dinfo。
其中，運算處理單元122所執行之感測演算法如下:
Sobel邊緣偵測:
影像圖形中每一點的像素與其鄰近點用矩陣方式呈現(Pixel)呈現九宮格方式並以:P1、P2、P3、P4…P9表示如下式(一)
Figure 02_image001
式(一)
Figure 02_image005
，            式(二)
Figure 02_image007
式(三)
Figure 02_image009
式(四)
Figure 02_image011
式(五)
Figure 02_image013
式(六)
Figure 02_image017
式(七)
依據二深度感測器之感測器夾角
Figure 02_image019
角對應於周邊環境之世界座標而求取成像，其中世界坐標Ow－XwYwZw， Xc=Xw，Yc=-Yw，Zc=L-Zw，而A的成像為A'，因此改寫成下式:
Figure 02_image021
式(八)
如此依據世界坐標所改寫之式(八)，而將前述感測器平面方程式套入世界座標用以求取周邊環境之感測結果，如下式:
Figure 02_image023
式(九)
Figure 02_image025
式(十)
Figure 02_image027
式(十一)
Figure 02_image029
式(十二)
Figure 02_image031
式(十三)
Figure 02_image033
式(十四)
Figure 02_image035
式(十五)
Figure 02_image037
式(十六)
Figure 02_image039
式(十七)
於步驟S20中，如第二D圖所示，融合該些個周邊影像I1為一全周環境影像I2。本實施例中，所採用的融合演算法透過特徵函數f(x,y)，f(x,y)表示如式(十八)所示，當x,y滿足某一事實其特徵函數值為1。
Figure 02_image041
式(十八)
在某一觀測值對應的隱藏狀態是由上下文環境(觀測，狀態)決定的，引入特徵函數可選取環境特徵(觀測或狀態的組合)。可以說是用特徵(觀測組合)來代替觀測，避免生成模型HMM, naive bayes的觀測獨立性假設的局限性。
根據大小為T的訓練數據
Figure 02_image043
得到一個經驗期望(如式(十九)所示)和模型期望(如式(二十)所示) ，最大熵模型的學習等價於約束的最優化。
Figure 02_image045
式(十九)
Figure 02_image047
式(二十)
假設經驗期望與模型期望相等，那麼就存在多個滿足此約束的有關任意特徵函數fi的條件概率分布的集合C，於是彙整如下式(二十一)所示：
Figure 02_image049
式(二十一)
最大熵原理認為，從不完整的信息（例如有限數量的訓練數據）推導出的唯一合理的概率分布應該在滿足這些信息提供的約束條件下擁有最大熵值，即最大熵的分布在有限條件下之概率集合是最優的分布，因此，最大熵函數模型變為凸函數的約束優化問題。
Figure 02_image051
式(二十二)
Figure 02_image053
式(二十三)
Figure 02_image055
式(二十四)
我們通常使用拉格朗日對偶原理來將原式變形為無約束的極值求解：
Figure 02_image057
式(二十五)
Figure 02_image059
式(二十六)
在拉格朗日函數對p求偏導，並使之等於0，求解方程，省略N步整型可得下列式:
Figure 02_image061
式(二十七)
Figure 02_image063
式(二十八)
最大熵馬爾可夫模型(MEMM)
Figure 02_image065
式(二十九)
用
Figure 02_image067
分布來替代HMM中的兩個條件概率分布，它表示從先前狀態，在觀測值下得到當前狀態的概率，即根據前一狀態和當前觀測預測當前狀態。每個這樣的分布函數
Figure 02_image069
都是一個服從最大熵的指數模型。
假設找到離散概率分佈上的點
Figure 02_image071
與最大的信息熵。要找到的最小偏上點的概率分佈
Figure 02_image071
。最大限度的熵公式：
Figure 02_image074
式(三十)
為這是一個概率分佈的概率之和
Figure 02_image076
在每一個點
Figure 02_image078
必須等於1：
Figure 02_image079
式(三十一)
透過使用拉格朗日乘子求得最大熵的角度，
Figure 02_image081
跨越所有離散概率分佈
Figure 02_image083
上
Figure 02_image085
。設定下式條件：
Figure 02_image087
式(三十二)
獲得了一個系統Ñ方程 ，使得：
Figure 02_image090
式(三十三)
開展這些分化ñ方程，得到下式
Figure 02_image092
式(三十四)
表明，所有
Figure 02_image094
相等（因為它們依賴於λ只）。通過使用下式約束:
Figure 02_image096
Figure 02_image098
式(三十五)
求得
Figure 02_image098
式(三十六)
因此，均勻分佈是具有最大熵的分佈，上分佈之間Ñ分。
Figure 02_image101
式(三十七)
透過上式(三十七)獲得最大熵分佈，而如第二C圖所示，在融合影像過程中，將影像疊合區域O消除，再產生如第二D圖所示之一全周環境影像I2，也就是透過上式(三十七)所得之最大熵的分布而將所有周邊影像I1融合並消除影像疊合區域O而生成全周環境影像I2。
此外，如第二A圖與第二B圖所示，於步驟S20中，依據該些個全周環境影像I2與該些個全周深度資訊Dinfo將移動載具10周邊區域分割為複數個偵測區域A。
於步驟S30中，並參考第二A圖與第二B圖，透過該些個偵測區域A，並利用盧卡斯-卡納德光流法演算法(Lucas–Kanade Optical Flow)演算法進行障物物的估測，先以影像差分方式，對圖像約束方程使用泰勒公式而求得：
Figure 02_image103
Figure 02_image105
式(三十八)
其中，H.O.T. 為表示更高階之方程式，在移動足夠小的情況下可以忽略。從這個方程中我們可以得到：
Figure 02_image107
式(三十九) 或者
Figure 02_image109
式(四十) 而求得：
Figure 02_image111
式(四十一)
V x,V y,V z分別是I(x,y,z,t)的光流向量中x、y、z的組成。
Figure 02_image113
,
Figure 02_image115
,
Figure 02_image117
和
Figure 02_image119
則是圖像在(x,y,z,t)這一點向相應方向的差分，所以式(四十一)轉換為下式 I xV x+I yV y+I zV z= −I t式(四十二)
進一步將式(二十四)寫成如下式:
Figure 02_image121
式(四十三)
由於式(四十一)中有三個未知量(Vx,Vy,Vz)交由接續演算法運算出未知量：
先假設流(V x,V y,V z)在一個大小為m*m*m(m＞1)的小窗中是一個常數，那麼從圖元1...n , n = m 3中可以得到下列一組方程：
Figure 02_image123
Figure 02_image125
Figure 02_image127
Figure 02_image128
式(四十四)
以上多個方程式皆為包含三個未知數，而形成方程組，且為超定方程，也就是說方程組內有冗餘，方程組可以表示為：
Figure 02_image130
式(四十五)
記作：
Figure 02_image132
式(四十六)
為了解決這個超定問題，式(四十六)為採用最小二乘法而求得：
Figure 02_image134
or                式(四十七)
Figure 02_image136
式(四十八)
得到：
Figure 02_image138
式(四十九)
將式(四十九)的結果代入式(四十一)，以估計該至少一障礙物之一加速度向量資訊與一距離資訊。
於步驟S40中，如第二E圖所示，透過前一步驟S30所獲得之該加速度向量資訊與該距離資訊，因而獲得該至少一障礙物在該移動載具10周遭的移動方向而估測該至少一障礙物OB之一移動路徑P1，且本實施例之移動載具10更可透過車用控制晶片12上的運算處理單元122進一步求得估測一第一障礙物OB1之一移動速度V1與一移動距離D1。本實施例之第一障礙物OB1會從移動載具10前方經過，而移動載具10會通過第一障礙物OB1的移動路徑P1。
於步驟S50中，移動載具10上的車用控制晶片12依據該至少一障礙物之該移動路徑產生一警示資訊，本實施例中，車用控制晶片12判斷移動載具10與第一障礙物OB1之間的一第一警示距離DA1，為第一門檻值，因而發出一般障礙物警示的警示資訊，例如顯示該警示資訊於抬頭顯示器(head up display，HUD)。當該第一警示距離DA1為進入第二門檻值時，車用控制晶片12為輸出單一警示音與控制抬頭顯示器(head up display，HUD) 顯示該警示資訊。當該第一警示距離DA1為進入第三門檻值時，車用控制晶片12為輸出間歇式警示音與控制抬頭顯示器(head up display，HUD)(圖未示) 顯示該警示資訊。當該第一警示距離DA1為進入第四門檻值時，車用控制晶片12為輸出連續式警示音與控制抬頭顯示器(head up display，HUD) 顯示該警示資訊，由於該第四門檻值即表示障礙物OB已相當貼近移動載具10，因此車用控制晶片12以較為急迫性的方式表示警示資訊。
如第二F圖所示，其為本發明之另一實施例，利用本發明之移動載具全周障礙迴避之方法，而偵測到一第二障礙物OB2，並經估測該第二障礙物OB2之移動路徑P2，經該車用控制晶片12判斷移動載具10並不會通過該第二障礙物OB2之移動路徑P2，且經判斷該第二障礙物OB2之移動距離D2與移動速度V2並無其他移動上的變化，因此當該移動載具10與該第二障礙物OB2距離一第二警示距離DA2，且該第二警示距離DA2為第一門檻值，甚至第四門檻值時，車用控制晶片12僅為控制抬頭顯示器顯示警示資訊。以上所述之抬頭顯示器為現今移動載具技術上較為成熟的技術且本案技術特徵並非著重於抬頭顯示器上，因此僅以揭露其顯示方式，且本案之警示資訊更可顯示於移動載具10之儀表板上的顯示器，例如:車用影音顯示器。
此外，本發明更可進一步於步驟S50之前，由車用控制晶片12對障礙物做分類並接續標示，例如:分類該第一障礙物OB1為危險障礙物，分類該第二障礙物OB2為非危險障礙物，並分別標示於全周邊環境影像I2中，或是顯示於抬頭顯示器上，或顯示於車用影音顯示器上。
綜上所述，本發明提供一種移動載具全周障礙迴避之方法，其主要為預防性提前規避方法，針對感測器得到之障礙物距離、位置、速度、加速度、估測移動方向等多項資訊，依所得資訊評估是否有行車風險並及時提供駕駛者參考，並同時提供移動載具於移動過程中遭遇危險時其得到之障礙物資訊為參考資料，因而執行行車預防、規避判斷的重要數據，讓移動載具可提前避開風險較高之行為及有效降低風險，而達成以下功效: 1.          全周障礙迴避技術可應用於各種環境，例如倒車可搭配倒車雷達，除了可以更加詳細得到距離資訊且辨識範圍更大，可以針對移動載具之移動方向提前給予警示，進而避免意外發生，藉此達到較好的警示效果。 2.          側邊盲點提醒可針對駕駛者開門下車前提供警示，提醒駕駛注意用路人，並可用於轉彎和切換車道之應用，比起現行之方式提供更多有利於駕駛這判別之行車資訊，現今行車意外都以駕駛者分心導致，本專利可大幅度避免駕駛者分心注意周邊車況讓視線離開路面造成行車風險。
綜上所述，乃僅記載本發明為呈現解決問題所採用的技術手段之較佳實施方式或實施例而已，並非用來限定本發明專利實施之範圍。即凡與本發明專利申請範圍文義相符，或依本發明專利範圍所做的均等變化與修飾，皆為本發明專利範圍所涵蓋。
10:移動載具
12:車用控制晶片
122:運算處理單元
124:影像處理單元
20:深度感測模組
22:深度攝影單元
A:偵測區域
I1:周邊影像
I2:全周環境影像
info:周邊深度資訊
Dinfo:全周邊深度資訊
O:重疊區域
OB1:第一障礙物
OB2:第二障礙物
DA1:第一警示距離
DA2:第二警示距離
D1:移動距離
D2:移動距離
P1:移動路徑
P2:移動路徑
V1:移動速度
V2:移動速度
S10:依據移動載具之深度攝影單元進行擷取周邊深度影像並依據感測演算法取得周邊深度資訊
S20:依據融合演算法融合周邊影像為全周環境影像並將移動載具之一側分割為偵測區域
S30:依據偵測區域運算周邊深度資訊與全周環境影像，以獲得障礙物之加速度向量資訊與距離資訊
S40:依據障礙物之加速度向量資訊與距離資訊估測障礙物之移動路徑
S50:依據障礙物之移動路徑產生警示資訊
第一圖：其為本發明之一實施例之流程圖； 第二A圖：其為本發明之一實施例的深度感測模組示意圖； 第二B圖：其為本發明之一實施例的整合深度資訊示意圖； 第二C圖：其為本發明之一實施例的重疊區域示意圖； 第二D圖：其為本發明之一實施例的融合影項示意圖； 第二E圖：其為本發明之一實施例的障礙物偵測示意圖；以及 第二F圖：其為本發明之另一實施例的障礙物偵測示意圖。
S10:依據移動載具之深度攝影單元進行擷取周邊深度影像並依據感測演算法取得周邊深度資訊
S20:依據融合演算法融合周邊影像為全周環境影像並將移動載具之一側分割為偵測區域
S30:依據偵測區域運算周邊深度資訊與全周環境影像，以獲得障礙物之加速度向量資訊與距離資訊
S40:依據障礙物之加速度向量資訊與距離資訊估測障礙物之移動路徑
S50:依據障礙物之移動路徑產生警示資訊

Claims (7)

  1. 一種移動載具全周障礙迴避之方法，其包含：依據一移動載具之複數個深度攝影單元進行擷取複數周邊深度影像，並依據一感測演算法取得複數個周邊深度資訊，該些個周邊深度影像包含有一障礙物，該障礙物位於該移動載具之一側；依據一融合演算法融合該些個周邊影像為複數個全周環境影像並將該移動載具之該側分割為複數個偵測區域，且消除該些個周邊影像之複數個重疊區域並融合成該全周環境影像；依據該些個偵測區域運算該些個周邊深度資訊與該些個全周環境影像，以獲得該障礙物之一加速度向量資訊與一距離資訊；依據該至少一障礙物之該加速度向量資訊與該距離資訊估測該障礙物之一移動路徑；以及依據該障礙物之該移動路徑產生一警示資訊。
  2. 如請求項第1項所述之方法，其中於依據一移動載具之複數個深度攝影單元進行擷取複數周邊深度影像，並依據一感測演算法取得複數個周邊深度資訊之步驟中，依據該些個深度攝影單元之感測結果與該感測演算法求得該些個周邊深度資訊。
  3. 如請求項第1項所述之方法，其中於依據該至少一障礙物之該加速度向量資訊與該距離資訊估測該至少一障礙物之一移動路徑之步驟中，進一步估測該至少一障礙物之一移動速度與一移動距離。
  4. 如請求項第1項所述之方法，其中於依據該至少一障礙物之該移動路徑產生一警示資訊之步驟中，進一步控制該移動載具迴避該至少一障礙物。
  5. 如請求項第1項所述之方法，其中於依據該至少一障礙物之該移動路徑產生一警示資訊之步驟前，進一步分類並標示該至少一障礙物。
  6. 如請求項第1項所述之方法，其中該警示資訊包含一障礙物警示資訊與一迴避資訊。
  7. 一種移動載具全周障礙迴避之方法，其包含：依據一移動載具之複數個深度攝影單元進行擷取複數周邊深度影像，並依據一感測演算法取得複數個周邊深度資訊，該些個周邊深度影像包含有一障礙物，該障礙物位於該移動載具之一側；依據一融合演算法融合該些個周邊影像為複數個全周環境影像並將該移動載具之該側分割為複數個偵測區域；依據該些個偵測區域運算該些個周邊深度資訊與該些個全周環境影像，以獲得該障礙物之一加速度向量資訊與一距離資訊，其中利用一影像差分方式而依據該些個周邊深度資訊與該些個全周環境影像進行運算，以求得複數個光流向量，並進一步依據該些個光流向量求得該障礙物之該加速度向量資訊與該距離資訊；依據該至少一障礙物之該加速度向量資訊與該距離資訊估測該障礙物之一移動路徑；以及依據該障礙物之該移動路徑產生一警示資訊。
TW107142647A 2018-11-29 2018-11-29 移動載具全周障礙迴避之方法 TWI686747B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
TW107142647A TWI686747B (zh) 2018-11-29 2018-11-29 移動載具全周障礙迴避之方法
CN201910985251.2A CN111231830A (zh) 2018-11-29 2019-10-16 移动载具全周障碍回避的方法
US16/662,342 US11468686B2 (en) 2018-11-29 2019-10-24 Omnidirectional obstacle avoidance method for vehicles
SG10201910618VA SG10201910618VA (en) 2018-11-29 2019-11-13 Omnidirectional obstacle avoidance method for vehicles
JP2019215138A JP7061104B2 (ja) 2018-11-29 2019-11-28 車両の全方位の障害物回避方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107142647A TWI686747B (zh) 2018-11-29 2018-11-29 移動載具全周障礙迴避之方法

Publications (2)

Publication Number Publication Date
TWI686747B true TWI686747B (zh) 2020-03-01
TW202020733A TW202020733A (zh) 2020-06-01

Family

ID=70767137

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107142647A TWI686747B (zh) 2018-11-29 2018-11-29 移動載具全周障礙迴避之方法

Country Status (5)

Country Link
US (1) US11468686B2 (zh)
JP (1) JP7061104B2 (zh)
CN (1) CN111231830A (zh)
SG (1) SG10201910618VA (zh)
TW (1) TWI686747B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102439644A (zh) * 2009-06-04 2012-05-02 丰田自动车株式会社 车辆用周边监控装置及车辆用周边监控方法
CN104809901A (zh) * 2014-01-28 2015-07-29 通用汽车环球科技运作有限责任公司 使用街道级图像增强车辆的自动驾驶模式的方法
TW201712298A (zh) * 2015-09-18 2017-04-01 國立交通大學 全景影像三維深度估測系統及全景影像三維深度估測方法
CN108881717A (zh) * 2018-06-15 2018-11-23 深圳奥比中光科技有限公司 一种深度成像方法及系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US6268803B1 (en) * 1998-08-06 2001-07-31 Altra Technologies Incorporated System and method of avoiding collisions
JP2007304841A (ja) * 2006-05-11 2007-11-22 Toyota Motor Corp 交通監視装置
JP5262986B2 (ja) * 2009-03-05 2013-08-14 日産自動車株式会社 走行経路生成装置、走行経路生成方法、及び運転操作支援装置
CN102143302A (zh) * 2010-01-29 2011-08-03 财团法人工业技术研究院 全周鸟瞰影像无缝接合方法与系统
US20110190972A1 (en) * 2010-02-02 2011-08-04 Gm Global Technology Operations, Inc. Grid unlock
US8704887B2 (en) * 2010-12-02 2014-04-22 GM Global Technology Operations LLC Multi-object appearance-enhanced fusion of camera and range sensor data
CN103085716A (zh) * 2011-10-31 2013-05-08 鸿富锦精密工业（深圳）有限公司 交通意外防止系统及方法
US9187091B2 (en) * 2012-07-30 2015-11-17 Ford Global Technologies, Llc Collision detection system with a plausibiity module
US9083960B2 (en) * 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
US9090260B2 (en) * 2013-12-04 2015-07-28 Mobileye Vision Technologies Ltd. Image-based velocity control for a turning vehicle
KR101603609B1 (ko) 2014-07-15 2016-03-28 현대모비스 주식회사 차량용 어라운드 뷰 모니터링 시스템 및 이의 방법
CN105711492A (zh) * 2014-12-02 2016-06-29 财团法人金属工业研究发展中心 障碍物警示系统及其运作方法
JP6485732B2 (ja) * 2014-12-10 2019-03-20 株式会社リコー 情報提供装置、情報提供方法及び情報提供用制御プログラム
JP2016142647A (ja) * 2015-02-03 2016-08-08 クラリオン株式会社 画像処理装置、および車両システム
CN106167008A (zh) * 2015-05-21 2016-11-30 财团法人车辆研究测试中心 自动刹车系统及自动刹车方法
JP6793448B2 (ja) * 2015-10-26 2020-12-02 株式会社デンソーテン 車両状態判定装置、表示処理装置および車両状態判定方法
US10618467B2 (en) 2016-03-22 2020-04-14 Research & Business Foundation Sungkyunkwan University Stereo image generating method using mono cameras in vehicle and providing method for omnidirectional image including distance information in vehicle
TWI607911B (zh) 2016-04-28 2017-12-11 H P B Optoelectronic Co Ltd Vehicle safety protection system and method
CN107944390B (zh) 2017-11-24 2018-08-24 西安科技大学 机动车行驶前方物体视频测距及方向定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102439644A (zh) * 2009-06-04 2012-05-02 丰田自动车株式会社 车辆用周边监控装置及车辆用周边监控方法
CN104809901A (zh) * 2014-01-28 2015-07-29 通用汽车环球科技运作有限责任公司 使用街道级图像增强车辆的自动驾驶模式的方法
TW201712298A (zh) * 2015-09-18 2017-04-01 國立交通大學 全景影像三維深度估測系統及全景影像三維深度估測方法
CN108881717A (zh) * 2018-06-15 2018-11-23 深圳奥比中光科技有限公司 一种深度成像方法及系统

Also Published As

Publication number Publication date
TW202020733A (zh) 2020-06-01
SG10201910618VA (en) 2020-06-29
CN111231830A (zh) 2020-06-05
JP7061104B2 (ja) 2022-04-27
US11468686B2 (en) 2022-10-11
JP2020087476A (ja) 2020-06-04
US20200175288A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
Datondji et al. A survey of vision-based traffic monitoring of road intersections
JP4612635B2 (ja) 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出
US11527077B2 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
Jebamikyous et al. Autonomous vehicles perception (avp) using deep learning: Modeling, assessment, and challenges
US20130286205A1 (en) Approaching object detection device and method for detecting approaching objects
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
WO2020185489A1 (en) Sensor validation using semantic segmentation information
US20110169957A1 (en) Vehicle Image Processing Method
JP2008219063A (ja) 車両周辺監視装置及び方法
WO2019140860A1 (en) Method and apparatus for tracking an at least partially occluded object, vehicle and computer-program product thereof
JP4344860B2 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
KR102031635B1 (ko) 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
CN114359714A (zh) 基于事件相机的无人体避障方法、装置及智能无人体
KR101239718B1 (ko) 차량 주변 물체 검출 시스템 및 방법
Berriel et al. A particle filter-based lane marker tracking approach using a cubic spline model
JP2011513876A (ja) 物体の動作を特徴づけるための方法およびシステム
JP4967758B2 (ja) 物体移動の検出方法及び検出装置
Brauckmann et al. Towards all around automatic visual obstacle sensing for cars
US20180186287A1 (en) Image processing device and image processing method
Naser et al. Infrastructure-free NLoS obstacle detection for autonomous cars
TWI686747B (zh) 移動載具全周障礙迴避之方法
JP2021092996A (ja) 計測システム、車両、計測方法、計測装置及び計測プログラム
Song et al. Lateral driving assistance using optical flow and scene analysis
JP2022161066A (ja) 表示制御システム、表示制御方法及びプログラム
JP2006317193A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム