TWI532619B - Dual Image Obstacle Avoidance Path Planning Navigation Control Method - Google Patents
Dual Image Obstacle Avoidance Path Planning Navigation Control Method Download PDFInfo
- Publication number
- TWI532619B TWI532619B TW103107700A TW103107700A TWI532619B TW I532619 B TWI532619 B TW I532619B TW 103107700 A TW103107700 A TW 103107700A TW 103107700 A TW103107700 A TW 103107700A TW I532619 B TWI532619 B TW I532619B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- map
- disparity map
- obstacle avoidance
- path
- Prior art date
Links
Landscapes
- Traffic Control Systems (AREA)
Description
本發明雙影像避障路徑規劃導航控制方法,係關於一種移動式平台自主導航的方法,特別關於一種自主導航的方法,該導航係利用雙台攝影機取得影像,來進行判斷可移動的路徑並進行規劃避障。
目前在汽車導航機器人領域裡,導航避障的相關研究已越來越多,常見的方式是透過超音波感測器或是雷射掃描器來實現,由感測器直接回饋前方的狀況,雖然是很直接的方式,但還是有一些需要再突破的挑戰,例如形狀較尖的障礙物或是地面有凹洞等狀況;現狀是以單眼攝影機取得影像感測數據來實現避障的功能,但由單眼攝影機僅可取得2D的影像來計算3D的資訊,必須要許多已知的資訊補助以進行影像校準,方能得到影像的大小與世界座標的比例關係,而障礙物在避障前都必須建立好特定的演算方式,方能達到單眼攝影機避障的功能。
因此,本發明將採用雙台攝影機取得感測數據,再取得的感測數據進行立體空間計算的方式,藉此,能夠在不管障礙物形狀、特徵、顏色的情形下,以更精準的立體空間計算方式,使移動式平台能自主的閃避障礙物。
本發明雙影像避障路徑規劃導航控制方法,指在提供一種能夠讓移動式平台自主式導航的方法,藉由兩台攝影機做為感測外在環境的感測器並取得感測數據,獲得影像感測數據後,以移動平均演算法處理,先將影像梯度化,並假設影像是連續的,因此取上一次產生的視差圖與兩張梯度影像做計算,產生新的視差圖;在獲得視差圖後,依地面影
像視差的線性特徵,偵測可行空間,利用地面與攝影機的幾何關係,找出地面在視差圖中的特徵,來偵測可行走的地面。
本發明雙影像避障路徑規劃導航控制方法,以雙眼立體視覺的匹配法來產生視差圖,再設計避障的演算法處理視差圖得到無障礙空間,其方法以亮度梯度差取代亮度差,並加入視差圖的平滑程度,處理左右影像得到視差圖。
1‧‧‧攝影機得到的影像
11‧‧‧生成視差圖的處理過程
12‧‧‧路徑規劃演算法
13‧‧‧決定車體的方向和速度
21‧‧‧攝影機
22‧‧‧光學中心
23‧‧‧兩鏡頭的光學中心距離
31‧‧‧極線幾何限制
32‧‧‧空間任一點
33‧‧‧焦距
34‧‧‧P R
35‧‧‧P T
41‧‧‧極線
42‧‧‧目標影像
43‧‧‧參考影像
51‧‧‧原始影像
52‧‧‧水平梯度影像
53‧‧‧垂直梯度影像
54‧‧‧邊緣偵測影像
61‧‧‧參考視窗
62‧‧‧搜尋區域範圍
63‧‧‧視差值
72‧‧‧視差圖DM
81‧‧‧從影像最下方開始偵測起的程式列
82‧‧‧搜索無障礙路徑的程式列
83‧‧‧重新設定車寬及下一列搜尋起始點位置的程式列
91‧‧‧路面可行空間偵測
92‧‧‧搜尋路徑點
93‧‧‧刪除或堆疊路徑點並執行迴圈到最後一列
94‧‧‧估計影像中的車寬
111‧‧‧自走車車寬
Z‧‧‧深度資訊
圖1系本發明之方法流程圖。
圖2系本發明之標準立體視覺攝影機的架設示意圖。
圖3系本發明之標準立體視覺的影像模型。
圖4系本發明之標準立體視覺的影像資料。
圖5系本發明之Sobel梯度及邊緣影像處理。
圖6系本發明之匹配視窗估測視差示意圖。
圖7系本發明之視差圖生成流程圖。
圖8系本發明之選擇匹配點示意圖。
圖9系本發明之路徑規劃流程圖。
圖10系本發明之地面與攝影機的幾何關係示意圖。
圖11系本發明之可行走空間的範圍圖。
圖12系本發明之平行線的透視投影圖。
圖13系本發明之可行走空間二值化結果圖。
圖14系本發明之視差圖推算影像中的車寬圖。
圖15系本發明之路徑規劃結果圖。
圖16系本發明之搜尋路徑點演算法說明圖。
圖17系本發明之計算轉彎角範例圖。
圖18系本發明之自走車轉向運動示意圖。
圖19系本發明之最小迴轉半徑交集區示意圖。
圖20系本發明之硬體系統架構圖。
圖21系本發明之室外場景、實驗場地視差圖結果。
圖22系本發明之框出可行空間及路徑規劃之結果。
圖23系本發明之實驗一結果路徑圖。
圖24系本發明之實驗二結果路徑圖。
圖25系本發明之實驗三結果路徑圖。
圖26系本發明之實驗四結果路徑圖。
為了充分瞭解本發明,以下將列舉較佳實例並配合附圖式作詳細說明,茲再配合本發明較佳實施例之圖式進一步說明如後,以期能使熟悉本發明相關技術之人士,得依本說明書之陳述據以實施,且其並非用以限定本發明之技術範圍。
本發明雙影像避障路徑規劃導航控制方法,如圖1所示,以控制流程圖來說明本專利的方法,其包括:攝影機得到的影像(1)、生成視差圖的處理過程(11)、路徑規劃演算法(12)以及決定車體的方向和速度(13),系統的操作是用平行並列的左右兩台攝影機(21)擷取場景影像,兩張影像透過本專利的視差圖演算法來得到3D的環境影像資訊,藉由本專利的避障演算法來處理環境影像資訊,並偵測可行走空間及路徑規劃,再設計一種演算法利用車寬決定行駛車輛的運動方向與速度。內文第一部分說明視差圖的演算法,第二部分說明避障路徑規劃的演算法,第三個部分為決定車速與轉向的控制演算法,最後用實驗結果來說明本專利的功能。
1.視差圖:下面說明由兩部攝影機(21)獲得重疊視野的影像資訊來計算影像的景深,以兩部攝影機(21)重疊視野裡的一目標點,來說明該目標點與兩個影像點的關係,如圖2所示,所述攝影機(21)具有光學中心
(22)(Optical Center),假設此兩部攝影機(21)的架設,除了基線(Base Line,沿X軸的平移量)之外,其餘影像座標系統皆一致,其光軸(Optical Axes)互相平行,兩鏡頭的光學中心距離(23)為B。
在上述情況下的影像模型如圖3所示,X、Y、Z為世界座標,假設P (X,Y.Z )為場景中二部攝影機(21)之重疊視野內的空間任一點(32)且無遮蔽現象,並分別沿著二部攝影機(21)各自的光學中心(22)O,投影在焦距(33)為f處的參考影像(43)上P R (34)及目標影像(42)上P T (35),其中,P R (34)為空間點P於右影像的成像點,P T (35)為空間點P於左影像的成像點。當滿足標準立體視覺幾何的限制時,兩影像平面在同一平面上,並出現兩影像對應的極線(41)會在同一條線上,使得P R (34)與P T (35)在左右影像平面Y軸上的位置一致。
繼續,令P R (34)的影像座標為(x R ,y R ),C R 為參考影像(43)的影像中心點,P T (35)的影像座標為(x T ,y T ),藉由相似三角形的幾何關係可求得場景中某點的深度資訊(Z):
式1中B與f均為常數,因此要求得場景中某點的深度資訊(Z),最主要的是(x T -x R ),一般稱(x T -x R )為視差(disparity),以d來表示。而如何從參考影像(43)的P R (34)找出目標影像(42)中的相對應點P T (35),就成為設計立體視覺的核心技術。
由於在雙眼視覺架構下,極線(41)是在同一水平線上,因此可以從影像資料沿著同一列搜尋,如圖4所示,又因為x T ≦x R ,所以只需要往單一方向搜尋,可大幅減少搜尋的時間,但如何從候選對象中找出最
佳匹配點的方法,便是視差圖中匹配演算法所探討的重點。為了尋找相對應的匹配點,事先做一些影像處理得到較明顯的比對特徵是有必要的,下文將說明藉由影像的濾波處理來得到影像特徵,用以尋找目標影像(42)與參考影像(43)的相對應點。
關於空間濾波:一般影像像素的亮度用灰階值表示,而影像的梯度(Gradient)是指像素的亮度變化,是在影像空間中亮度對像素的偏微分,如影像I(u,v)於(u,v)處的梯度向量,可用下式表示:
要實現式(3)可以用相關聯運算來實現,運算說明如下,令原始影像I(u,v)經過迴旋積運算後得到新影像G(u,v),則可用下式表示:
式中h(u,v)的遮罩大小為W×W的奇數方陣,a=(W-1)/2。因式(4)直接在影像上處理,h(u,v)可以稱為空間濾波器。利用式(4),可設計不同的遮罩h(u,v)來完成影像邊緣的偵測。
使用空間濾波器來實現邊緣偵測,可用Sobel遮罩來處理,3×3大小的Sobel遮罩如式(5)所示,式(5)的g u 為水平方向的遮罩,只對影像水平方向的變化有反應,另外式(5)的g v 為垂直方向的遮罩。將Sobel遮罩用於式(5)的運算為:
以圖5中原始影像(51)為原始圖,用g u 和g v 這兩遮罩與原始影像(51)進行迴旋積運算後,可分別得到水平方向的梯度影像G u ,如圖5
中的水平梯度影像(52),以及垂直方向的梯度影像G v ,如圖5中的垂直梯度影像(53)。梯度影像具有方向性,由暗變亮的梯度為正值,由亮變暗的梯度為負值,所述的水平梯度影像(52)和垂直梯度影像(53)兩張影像取平方相加開根號,可得到原始影像(51)梯度的大小。在影像中的邊緣處梯度會比較大,利用此特性設定一個用來辨別邊緣的閥值T,如式(6)所示,梯度大於閥值T的像素即為邊緣,閾值T越低所檢測的邊越多,雜訊也會越容易影響結果,相反的,太高的閥值T會遺失細節的部分。用此方法進行影像二值化的影像E,即為邊緣檢測,如圖5中的邊緣偵測影像(54)。
關於局部匹配(Local Matching):先決定匹配視窗的大小,從參考影像(43)(Reference Image)依匹配視窗提取比對影像,然後在目標影像(42)(Target Image)中比對,找出最匹配的位置,可找出參考影像(43)與目標影像(42)的相對應點。如圖6所示,以左邊參考影像(43)的(u,v)為中心,取一個搜尋用的匹配視窗W做為參考視窗(61),並形成一個搜尋區域範圍(62),在右邊目標影像(42)沿同一極線(41)進行搜尋,在搜尋區域範圍(62)中找出彼此相異程度最小的匹配視窗,相異程度的計算方法有差值絕對和(SAD)或差值平方和(SSD),分別用式(7)及式(8)所示,沿極線(41)以式(7)或式(8)計算後,可獲得(d max-d min)張的代價(Cost)評分圖,再從中搜索最適合的視差值(63)d。
本專利提出的匹配方法,以亮度梯度差取代亮度差,並加入視差圖的平滑程度,處理左右影像得到視差圖的流程圖,如圖7所示。亮度梯度差可解決於因攝影機(21)之間進光量的不同,所造成的匹配誤差,
由於攝影機(21)在拍攝時是連續取像,在影像序列中,兩相鄰影像具有前後關連性,設視差圖DM(72)為上一次計算輸出的視差圖,從視差圖DM(72)中取匹配視窗W,與d相減後取絕對值加總,當d越接近W中的視差平均值時,計算結果越小,類似將視差圖做平均化的效果。由於攝影機(21)的雜訊通常在影像中是孤立的,且在時序中是不連續的,因此,這個演算法也具有抑制攝影機(21)雜訊的效果。
圖7的Cost計算方法如下:
C(x,y,d)=C GRAD (x,y,d)+ω*C Smooth (x,y,d) (9)
式中ω為兩者之間的權重比,C Smooth 比重越大得到的視差圖越平滑,但是當比重過大時,由於C Smooth 的計算是使用上一次輸出的視差圖,且在非紋理區的C GRAD 影響力較弱,因此容易在非紋理區留下視差的殘影。d從d min 逐步執行到d max 後,影像中的每個pixel會有(d max d min)個評分結果,如圖8所示,影像的評分資料多出一維,即d軸,接著每個pixel從評分結果中搜索Cost最小的d做為視差值(63),這是由於Cost越小表示相似度越高,因此搜索每個pixel中Cost最小的d,並以此d做為視差圖中,該pixel的視差值(63)。
若從d min做到d max後再找最小值,需佔用大量的記憶體,因此,本專利將影像做整幅運算,減少記憶體的使用量。在介紹如何整幅運算視差圖之前,先定義一些代號如下:
●Cost評分圖(C):用於計算Cost的暫存空間,初始影像的pixel值皆為無窮大,Cost評分圖(C)的大小與影像一致。
●視差圖(D):用於計算視差圖的暫存空間,初始影像的pixel值皆為零,視差圖(D)的大小與影像一致。
●輸出的視差圖(DM):為視差圖的輸出結果,初始影像的pixel值皆為零,視差圖(DM)的大小與影像一致。
●視差(d):對應點在水平上的位置差(pixel),搜尋範圍為d min~d max。
●W遮罩:由全1組成,用於影像的迴旋積可代替鄰邊像素灰階值的加總計算。
使用整幅運算得到視差圖的方法,步驟如下:
步驟1. 沿用上一次的視差圖的輸出結果視差圖DM(72),將視差圖DM(72)整幅影像複製到D,而C做整幅初始化,初始值為無窮大。
步驟2. 取得左右兩張影像的亮度梯度影像。
步驟3. 目標影像(42)的梯度影像水平移動d行。
步驟4. 分別取得垂直梯度、水平梯度的兩邊整幅相差的絕對值,及上一次的視差圖結果視差圖DM(72)與常數d整幅相差的絕對值。
步驟5. 使用W遮罩做迴旋積,遮罩大小同匹配窗口大小,求得公式(11)的能量圖。
步驟6. 求得的能量圖與C做比較,比C小的區塊用目前的能量值取代C的值,同一區塊用目前的d取代D的值,不斷的修改。
步驟7. 回到步驟3,d從d min執行到d max結束後做下一步。
步驟8. D成為新的視差圖,將D複製到視差圖DM(72)做為視差圖的輸出結果。
2.影像導航避障控制流程:本專利的雙眼視覺避障導航控制,其功能可以讓無人駕駛車在行走之前沒有環境模型,完全靠本專利的方法,從運動環境中的視差圖偵測可行走的空間,藉此無人駕駛車可以自行劃運動路徑,在充滿障礙的環境中移動,避免與障礙發生碰撞並完成導航控制。
本專利研究的無人駕駛車影像導航控制流程如圖9所示,兩台攝影機(21)是系統中唯一感測外在環境的感測器,這兩台攝影機(21)已經過極線幾何限制(31)校正,獲得影像後,先將影像梯度化,假設影像是連續的,因此取上一次產生的視差圖與兩張梯度影像做計算,產生新的視差圖。獲得視差圖後,依地面影像視差的線性特徵,偵測可行空間,從影像的第一列,依照初始車寬及初始起始點,搜尋視差圖中的路徑點,判斷路徑點是否合理之後更新車寬及起始點,其中,更新車寬即為圖9中估計影像中的車寬(94)的部份,而更新起始點即為圖9中路面可行空間偵測(91)的部份,循環掃描至最後一列,規劃出避障路徑即圖9中搜尋路徑點(92)的部份,從路徑決定車體行駛的方向,如圖9中刪除或堆疊路徑點並執行迴圈到最後一列(93)處,按最小迴轉半徑內偵測障礙物的情況決定車體的速度,即進行決定車體的方向和速度(13),關於詳細的可行走路徑之演算法說明如後。
本專利的無人駕駛車導航方法是利用地面與攝影機(21)的幾何關係,找出地面在視差圖中的特徵,來偵測可行走的地面。地面影像視差與攝影機(21)的幾何關係如圖10所示,圖10中令攝影機(21)的光學中心點(22)為O,離地高h,Y軸與Z軸為攝影機(21)的座標系統,影像平面的焦距(33)為f,令P為地面上空間任一點(32)在影像中距離影像中心點C的Y軸方向為y,h與Z軸的夾角為θ角,α=tan-1(y/f),由式(1)及圖10
得知,因此地面在視差圖中的d為:
式中,與為常數係數。由式(12)推得到地面在視差圖中的d=a.y+b,為一條直線,因此利用此特徵來找出沒有障礙可行走的地面,其結果如圖11所示。
關於估計車寬的部份,由視差圖判斷可行走空間後,也要知道無人駕駛車在視差圖中的車寬,才能滿足可行走路徑規劃的需求。假想車體兩旁有一對平行線,沿著車體正前方無限延伸,如圖12所示,此平行線會在影像中相交於消失點(Vanishing Point),以V點表示,路徑起始點S位置與V點同行,藉由式(12)及圖3,得知,並由式(1)中得知
,可推得下式:
令車體實際的右端點X 1與左端點X 2的距離為車寬W=(X 1-X 2),將X 1、X 2代入式(13)分別得到影像中的x R2 、x R1 ,則影像中可供自行車行走的車寬w即為:
由式(14)得知行走車寬w與可行走空間的視差d成正比。
在視差圖中估計車寬在列方向所佔的pixel數,提供搜尋路徑點做為是否容許無人駕駛車通過的依據,搜尋到路徑點的位置後,取該
位置在視差圖的w筆視差d值的中間數,重新計算視差圖中的車寬w。
本專利的路徑搜尋是由遠至近,位於遠處時視差趨近於零,當w過短時資料量太少,容易發生誤判,故限定w的最少pixel數。下文將以攝影機(21)置於無人駕駛車的的中間位置,來說明可行走的路徑的搜尋方法。
關於路徑搜尋,如圖13所示,設E為目標點,與行車方向目的地之成像位置同行,設S為路徑起始點,與車寬中央的成像位置同行,由於無人駕駛車是朝最直的方向前進,因此將目的地設為與路徑起始點同行。搜尋路徑是從第一列並與E點同行的位置開始搜尋,分別往左及往右方向搜尋,依車寬長度w讀取資料,找出沒有障礙物的位置,換言之,可行走空間二值化影像的資料皆為零的位置。當車寬長度w<1或者太短時,會出現錯誤或資料太少而不可靠,因此必須設定最小車寬。向右搜尋或向左搜尋的最大範圍為影像寬向右加w/2向左減w/2,搜尋的可能結果有(1)向右或向左均無可行走空間,(2)向右或向左其中之一搜尋到可行走空間,(3)向右或向左皆搜尋到可行走空間。情況(1)時直接往下一列搜尋,情況(2)或(3)時表示出現可行走空間,為使路徑點能連成連續的曲線,且最終與S點連接,依搜尋位置與影像底部的差ħ與無人駕駛車現在位置(水平方向)與影像邊界的差l的比例關係設定下一次的搜尋點,如圖13所示,ħ為(Bottom-i),l為(找到的路徑點-S)。找到可行走的位置後,以該位置的中央做路徑的標記點,為了加快搜尋速度,分別按個自讀取的資料總值做讀取軌跡的移動,若往左、往右搜尋的讀取軌跡皆完全超出影像範圍,則代表這一列找不到路徑點,換搜尋下一列。當搜尋到路徑點後,以視差圖中相同位置上的視差值(63)d的中間數,配合式(14)計算無人駕駛車位於視差圖下一列的車寬w,如圖14所示,下一列的搜尋起始點往S點做線性趨近,為了解決在靠近影像底端搜尋時,車體在影像中的寬往往會超出影像大小的問題,因此設計換列搜尋的條件為讀取軌跡完全的超出影像範圍外,所以路徑點(讀取軌跡的中央)出現在影像外是合理的。當找不到路徑點時,下一列搜尋的起始點位置重新與E點同行,刪除之前的路徑點,圖13中的刪
除標記表示在這一列之前的所有路徑點皆無效。透過以上的演算,即可計算出可行走空間,其結果如圖15所示,其中a和c為可行走空間的範圍,b為演算規劃車體行走之路徑。由上述的說明歸納出的路徑搜尋的演算法如圖16所示,影像中的地面是從下往上延伸至無窮遠,因此搜尋路徑是從最遠處開始搜尋可行走的路徑,所以搜尋路徑點時,從第一列開始搜尋到最後一列,如圖16中第3行所示,即為從影像最下方開始偵測起的程式列(81)。圖16中第9至第16行為搜索無障礙路徑的程式列(82),假如第14行不成立,即找到路徑點,需再判斷是否完全超出影像範,圖16中第17行至第28行是說明若未超出則重新設定車寬及下一列搜尋起始點位置的程式列(83)並加以記錄。此一演算法的範例結果如圖15所示,圖中標示a、b及c藍色線為可行走路徑點連成的路徑,中央線段b為依車寬所規畫的行走區域,用來表式車體依路徑在影像中所佔的空間。
3.車輛的運動方向與速度:規劃路徑後,取靠近S端的路徑點計算與S之垂直線的夾角θ,以θ做為無人駕駛車轉向控制的依據,如圖17所示。
一般的車輛是由前輪控制前進方向,主要依靠左右輪的速度差轉向,其轉向運動如圖18所示,令v L 和v R 分別為左輪與右輪前進的速度(m/sec),v C 為車前進的速度(m/sec),ω C 為車行駛的轉彎的角速度(rad/sec),w為左右兩輪的間距(m),其運動方程式如下:
若車的最小迴轉半徑為k min,則方程式為:
在限定的最小迴轉半徑下,由式(16)可計算最大轉角速度ω C 的最大上限ω C_max。
速度方面,由於已限制最小迴轉半徑,因此左右最小迴轉半徑的交集區域內出現障礙物時,無人駕駛車是避不掉的,此時無人駕駛車應進行煞車的動作。兩最小迴轉半徑的軌跡在影像中的交集區,類似三角形的形狀,如圖19所示,用三角形圍成的區域較易於搜索,當可行空間二值化圖的此區域內出現障礙物時,就命令車速降為零。為預防煞車不及,放大交集區的區域,依此區域出現障礙物的情況做減速的動作。
4.無人駕駛車導航控制實驗:本專利的雙影像避障路徑規劃導航控制方法之實驗系統,如圖20所示,實驗用車輛為左右前輪由馬達驅動之電動車,車體裝載二部攝影機(21),經取像裝置得到環境影像。首先,由平行的左右二部攝影機(21)取得環境的影像,透過電腦做影像處理產生視差圖,辨識可行空間,並經過路徑規劃演算法(12)決定行駛方向及速度後,傳送命令給馬達控制電路及馬達回授訊號處理介面電路,即時地運算左右輪馬達需要達到的轉速,輸出控制電壓訊號給左右輪的馬達驅動器使馬達運轉,達成無人駕駛車的前進及轉向控制。導航過程中,攝影機(21)是隨著無人駕駛車在環境中移動,更新無人駕駛車的動向,即使出現新的障礙物,也能隨時修正其行駛路徑。關於路徑規劃測試及導航測試說明於後。
路徑規劃測試:取不同場景進行的實驗,來說明本專利的功能。如圖21所示,有兩處是室外場景,一處室內場景,圖21中左右攝影機(21)的進光量並不相同,但對於本專利的方法,產生視差圖結果影響不大,而且匹配結果少有雜點出現。圖22取視差圖偵測可行空間再做路徑規劃,左圖所標示的框選範圍即為用本專利的方法所偵測的可行空間,右圖標示的線段為採用本專利的方法規劃之路徑結果,線段所標示的範圍為車寬在影像中所佔的區域。實驗的結果顯示在室內室外不同的場景皆可用本專利的方法,進行偵測可行空間並完成路徑規劃。
導航測試:實驗之目的是測試實驗車是否可在不同環境下能通過多重障礙,以下說明實驗車使用本專利的演算法完成避障路徑規劃
的實驗結果。
實驗場地一是室內多障礙的環境,如圖23所示,讓實驗車避開障礙物並通過寬0.75m的門,實驗車的車身寬為0.6m,透過調整程式中的參數設定車寬,以及根據攝影機(21)架設在實驗車上的位置,調整攝影機(21)位於車寬的比值,經過這些校正後,實驗的車能順利的經過狹窄的門,實驗過程中,記錄實驗車左右輪馬達編碼器的值,來標定實驗車的行走軌跡,如圖23的虛線所示,此外在地上放置一張紙板,並與地面貼齊,由於本專利的方法主要是用立體視覺辨識可行空間,應當不受地面紙板的干擾,可直接從上面走過,由實驗結果證實本專利的方法具有此一功能;實驗場地二是大樓內走廊,如圖24所示,走廊的走道寬3m長13.5m,並在走廊上放置多個障礙物,實驗車根據雙眼攝影機(21)匹配的視差圖,偵測可行空間,經由本專利的路徑規劃演算法(12)規劃運動路線通過走廊,實驗車因牆壁及障礙物的阻撓而不斷修正行駛的方向,根據實驗顯示,實驗車在13.5m的障礙區中尋找出可行路徑,順利通過障礙區;實驗場地三為室外5m長3m寬的柏油道路,在寬闊的場地下沒有牆壁的限制,在路上放置多個障礙物,實驗車可以在柏油路面行駛,且都能順利的避開障礙物,實驗結果如圖25所示;實驗場地四同實驗場地三的場地,障礙物放置與場地三相同,但改變實驗車的初始位置,同時安排行人做為移動障礙物,實驗結果如圖26所示,由於在寬闊的場地下周圍沒有牆壁的限制,實驗車可以容易的離開障礙區,當實驗車遇上路旁移動的行人,實驗車可以正確的轉向,避開行人朝沒有障礙的區域行走;經多種實驗場景環境測試證明,本專利所提出的雙影像避障路徑規劃導航控制方法,可控制車輛成功避開不同類型的障礙物,並安全的通過障礙區,故本專利的方法可應用於無人駕駛的導航系統中。
5.結論:本專利的雙影像避障路徑規劃導航控制方法,透過兩部攝影機(21)取運動環境影像,經過影像處理獲得視差圖,從視差圖中偵測可行的空間,並規劃導航路徑,再依車寬決定車速與轉向控制,可控
制車輛行駛達到無人駕駛的目的。
綜上所陳,僅為本發明之一較佳實施例而已,並非用來限定本發明實施之範圍。即凡依本發明申請專利範圍所做之均等變化與修飾,皆為本發明專利範圍所涵蓋。
1‧‧‧攝影機得到的影像
11‧‧‧生成視差圖的處理過程
12‧‧‧路徑規劃演算法
13‧‧‧決定車體的方向和速度
Claims (2)
- 一種雙影像避障路徑規劃導航控制方法,主要以雙眼視覺匹配的方法,再設計避障的演算法處理視差圖得到無障礙空間,其方法以亮度梯度差取代亮度差,並加入視差圖的平滑程度,處理左右影像得到視差圖。
- 一種雙影像避障路徑規劃導航控制方法,係透過雙眼攝影機取像,經影像處理得到視差圖後,以移動平均演算法處理,先將影像梯度化,並假設影像是連續的,因此取上一次產生的視差圖與兩張梯度影像做計算,產生新的視差圖,在獲得視差圖後,依地面影像視差的線性特徵,進行偵測可行空間,利用地面與攝影機的幾何關係,找出地面在視差圖中的特徵,來偵測可行走的地面。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW103107700A TWI532619B (zh) | 2014-03-06 | 2014-03-06 | Dual Image Obstacle Avoidance Path Planning Navigation Control Method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW103107700A TWI532619B (zh) | 2014-03-06 | 2014-03-06 | Dual Image Obstacle Avoidance Path Planning Navigation Control Method |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201534512A TW201534512A (zh) | 2015-09-16 |
TWI532619B true TWI532619B (zh) | 2016-05-11 |
Family
ID=54695077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW103107700A TWI532619B (zh) | 2014-03-06 | 2014-03-06 | Dual Image Obstacle Avoidance Path Planning Navigation Control Method |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI532619B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI831176B (zh) * | 2022-04-08 | 2024-02-01 | 鴻海精密工業股份有限公司 | 影像處理方法、裝置、電腦裝置及儲存介質 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105869166B (zh) * | 2016-03-29 | 2018-07-10 | 北方工业大学 | 一种基于双目视觉的人体动作识别方法及系统 |
CN107329490B (zh) * | 2017-07-21 | 2020-10-09 | 歌尔科技有限公司 | 无人机避障方法及无人机 |
CN108052111B (zh) * | 2017-10-24 | 2021-02-09 | 南京奇蛙智能科技有限公司 | 一种基于双目视觉技术的无人机实时避障方法 |
TWI657011B (zh) | 2017-11-30 | 2019-04-21 | 財團法人工業技術研究院 | 無人機、無人機控制系統及控制方法 |
-
2014
- 2014-03-06 TW TW103107700A patent/TWI532619B/zh not_active IP Right Cessation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI831176B (zh) * | 2022-04-08 | 2024-02-01 | 鴻海精密工業股份有限公司 | 影像處理方法、裝置、電腦裝置及儲存介質 |
Also Published As
Publication number | Publication date |
---|---|
TW201534512A (zh) | 2015-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107144285B (zh) | 位姿信息确定方法、装置和可移动设备 | |
CN111788102B (zh) | 用于跟踪交通灯的里程计系统和方法 | |
WO2022110049A1 (zh) | 一种导航方法、装置和系统 | |
KR101725060B1 (ko) | 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
US11670087B2 (en) | Training data generating method for image processing, image processing method, and devices thereof | |
KR101776622B1 (ko) | 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
Pfeiffer et al. | Efficient representation of traffic scenes by means of dynamic stixels | |
Konolige et al. | Mapping, navigation, and learning for off‐road traversal | |
Chen et al. | Qualitative vision-based path following | |
KR101776621B1 (ko) | 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
TWI532619B (zh) | Dual Image Obstacle Avoidance Path Planning Navigation Control Method | |
KR101784183B1 (ko) | ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
WO2015024407A1 (zh) | 基于电力机器人的双目视觉导航系统及方法 | |
JP7077910B2 (ja) | 区画線検出装置及び区画線検出方法 | |
JP2015518600A5 (zh) | ||
JPH03201110A (ja) | 自律走行車の位置方位検出装置 | |
CN110163963B (zh) | 一种基于slam的建图装置和建图方法 | |
CN111837136A (zh) | 基于本地感测的自主导航以及相关联的系统和方法 | |
JP2020126612A (ja) | スマートフォンを利用する歩行者を保護するための先端歩行者補助システムを提供する方法及び装置 | |
KR102373492B1 (ko) | 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하는 방법 및 이를 이용한 장치 | |
US20220101534A1 (en) | Sidewalk edge finder device, system and method | |
Carrera et al. | Lightweight SLAM and Navigation with a Multi-Camera Rig. | |
KR100906991B1 (ko) | 로봇의 비시인성 장애물 탐지방법 | |
Roggeman et al. | Embedded vision-based localization and model predictive control for autonomous exploration | |
Chang et al. | Real-Time Visual-Servo Navigation for Map-Free Self-Driving in Unstructured Outdoor Environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |